CN111882588A - 图像块配准方法及相关产品 - Google Patents
图像块配准方法及相关产品 Download PDFInfo
- Publication number
- CN111882588A CN111882588A CN202010746473.1A CN202010746473A CN111882588A CN 111882588 A CN111882588 A CN 111882588A CN 202010746473 A CN202010746473 A CN 202010746473A CN 111882588 A CN111882588 A CN 111882588A
- Authority
- CN
- China
- Prior art keywords
- image block
- registered
- pixel
- reference image
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000006073 displacement reaction Methods 0.000 claims abstract description 225
- 230000003287 optical effect Effects 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像块配准方法及相关产品，该图像块配准方法包括：终端设备确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，计算所述待配准图像块与所述参考图像块之间的像素位移；根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对，计算所述配准后的图像块对之间的亚像素位移；将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。本申请实施例可以提高图像块配准精度。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像块配准方法及相关产品。
背景技术
在图像处理领域中，多帧图像处理是一种被广泛使用的技术，在专业摄影、工业检测以及手机应用中得到有效验证以及大量使用，多帧图像处理的首要环节为多帧图像配准。图像配准即一张图像对另外一张图像进行位置校正，所以图像配准算法目的是求出一张图像到另外一张图像的位移。图像块配准算法以图像像素块为单位，设定搜索区间，比较来自两图同等大小的块，找到局部最小差异的块，同时得到两个图像块的位移。
由于图像块配准算法需要设定搜素区域的局限性，往往配准成功的像素块之间就存在一定比例的像素偏移。图片配准后相差1到3个像素偏移属于较为常见的情况。对于图像超分辨、图像运动物体跟踪等涉及图像或者目标尺度变化的应用等场景，图像块配准算法的配准精度不能满足这些应用的需求。
发明内容
本申请实施例提供一种图像块配准方法及相关产品，可以提高图像块配准精度。
本申请实施例的第一方面提供了一种图像块配准方法，包括：
确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，计算所述待配准图像块与所述参考图像块之间的像素位移；
根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对，计算所述配准后的图像块对之间的亚像素位移；
将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。
本申请实施例的第二方面提供了一种图像块配准装置，包括：
确定单元，用于确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块；
第一计算单元，用于计算所述待配准图像块与所述参考图像块之间的像素位移；
配准单元，用于根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对；
第二计算单元，用于计算所述配准后的图像块对之间的亚像素位移；
第三计算单元，用于将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。
本申请实施例的第三方面提供了一种终端设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中，确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，计算所述待配准图像块与所述参考图像块之间的像素位移；若所述待配准图像块与所述参考图像块的匹配度大于第二匹配度阈值，根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对，计算所述配准后的图像块对之间的亚像素位移；将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。
本申请实施例的图像块配准方法，在计算得到待配准图像块与参考图像块之间的像素位移之后，计算得到配准后的图像块对的亚像素级别位移，将像素位移和亚像素位移叠加得到待配准图像与参考图像的图像位移。可以通过计算的亚像素位移对图像块配准的像素位移进行修正，减少由于搜索空间局限性带来的像素级别位移误差，进而提高图像块配准精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像块配准方法的流程示意图；
图2A是本申请实施例提供的一种参考图像的示意图；
图2B是本申请实施例提供的一种待配准图像的示意图；
图3是本申请实施例提供的一种待配准图像中搜索区域内每个图像块与参考图像块的均方误差示意图；
图4是本申请实施例提供的一种像素级别块配准的像素位移与亚像素级别块配准的亚像素位移的叠加示意图；
图5是本申请实施例提供的另一种图像块配准方法的流程示意图；
图6是本申请实施例提供的一种匹配度计算的流程示意图；
图7是本申请实施例提供的一种n张图像进行配准的方法流程示意图；
图8A是本申请实施例提供的实际处理的参考图像的示意图；
图8B是本申请实施例提供的实际处理的待配准图像的示意图；
图9A是本申请实施例提供的一种针对图8A和8B提供的参考图像和待配准图像，采用一般块配准算法的效果图；
图9B是本申请实施例提供的一种针对图8A和8B提供的参考图像和待配准图像，采用图1或图5的块配准算法的效果图；
图10为本申请实施例提供的一种图像块配准装置的结构示意图；
图11是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的终端设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为终端设备。
请参阅图1，图1是本申请实施例提供的一种图像块配准方法的流程示意图。如图1所示，该图像块配准方法可以包括如下步骤。
101，终端设备确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，计算待配准图像块与参考图像块之间的像素位移。
本申请实施例中，终端设备可以采用块匹配算法确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，块匹配算法，也可以称为图像块搜索匹配算法。图像块搜索匹配算法是以图像块为单位，设定搜索区间，比较来自两张图像的同等大小的图像块，找到局部最小差异的图像块对(参考图像中的参考图像块与待配准图像中的待配准图像块组成图像块对)，同时得到两张图像中的图像块对之间的位移。图像块的大小可以根据需要选择，具体的，如果需要较高的匹配精度，可以选的小一些，如果不需要那么准确，则可以选择大一些。图像块可以为矩形框，比如，图像块可以使正方形框，即长和宽大小相同。举例来说，图像块的大小可以为16*16像素，64*64像素，100*100像素等。参考图像块的位置也可以根据需要选择，也可以随机选择。比如，可以选择特定位置的图像块，选择非背景区域的图像块。
其中，待配准图像和参考图像可以都是灰度图。在手机等终端设备中，如果拍摄的图像是RGB格式图像，则可以将RGB格式图像转为YUV格式图像，用图像中的Y值作为灰度。如果终端设备拍摄的图像是YUV格式图像，则不用将图像转为灰度图，直接用图像中的Y值作为灰度。
可选的，步骤101中，终端设备确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，可以包括如下步骤：
(11)终端设备确定参考图像，从所述参考图像中选择参考图像块，设定搜索区域，所述参考图像块位于所述确定参考图像的搜索区域内；
(12)终端设备以所述参考图像块为单位，从待配准图像的搜索区域中确定与所述参考图像块的匹配误差最小的图像块为所述待配准图像块。
步骤(11)和(12)为图像块搜索匹配算法计算待配准图像块与参考图像块之间的像素位移的具体流程。下面结合图2A和图2B描述图像块搜索匹配算法的具体过程。
请参阅图2A，图2A是本申请实施例提供的一种参考图像的示意图。如图2A所示，参考图像是一张狗的图像，请参阅图2B，图2B是本申请实施例提供的一种待配准图像的示意图。待配准图像也是一张狗的图像，区别是待配准图像中的狗的位置与参考图像中的狗的位置发生了变化。为了计算待配准图像相对于参考图像的像素位移，首先从参考图像中选择参考图像块，图2A中的参考图像块为参考图像的搜索区域的9宫格的第二行第二列的图像块，在确定参考图像块后，在待配准图像的搜索区域的9宫格内搜索与参考图像块的差别最小的图像块为待配准图像块，图2B中显示的待配准图像块为待配准图像的搜索区域的9宫格的第二行第三列的图像块。其中，差别最小的图像块可以按照均方误差的方式计算，计算待配准图像中9宫格内每个图像块与参考图像块的均方误差，举例来说，请参阅图3，图3是本申请实施例提供的一种待配准图像中搜索区域内每个图像块与参考图像块的均方误差示意图。如图3所示，9宫格内的数字分别对应待配准图像中搜索区域内每个图像块与参考图像块的均方误差，则待配准图像中9宫格内与参考图像块的均方误差最小的图像块为待配准图像的搜索区域的9宫格的第二行第三列的图像块。
需要说明的是，待配准图像中9宫格中的每个图像块与参考图像块的大小相同。举例来说，待配准图像中9宫格中的每个图像块均为16×16像素，参考图像块的大小也为16×16像素。
其中，搜索区域的大小可以根据需要进行设定，设定的越大，需要的计算量越大，相应的匹配的精度也越高；反之，设定的越小，需要的计算量越小，相应的匹配的精度也越小。图2A和图2B中的搜索区域设置为9个图像块的大小，且形状为正方形。图2A和图2B仅为一种可能的示例，搜索区域的大小还可以设置为其他的大小，其形状也不一定为正方形，具体的需要依据图像处理的精度需求来决定。
从图2A和图2B可以看出，待配准图像块的内容与参考图像块的内容实际上存在一定的差异，这是由于搜索空间局限性带来的。可见，步骤101得到的待配准图像块与参考图像块之间的像素位移并不精准，存在像素级别的位移误差。
可选的，步骤101中，终端设备计算待配准图像块与参考图像块之间的像素位移，可以包括如下步骤：
终端设备构建所述待配准图像块的图像金字塔和所述参考图像块的图像金字塔，通过逐层金字塔图像配准，输出所述待配准图像块与所述参考图像块之间的像素位移。
本申请实施例中，终端设备构建待配准图像块的图像金字塔具体为：
确定图像金字塔的层数，将待配准图像块作为金字塔的底层，对待配准图像块进行下采样，得到金字塔的上一层，再对这一层进行下采样，得到金字塔的上一层。比如，每次下采样可以是二分之一下采样、四分之一下采样等。
类似的，终端设备可以按照上述方法构建参考图像块的图像金字塔。
例如，对于三层图像金字塔，则原始大小图像的作为图像金字塔的下层，将原始大小图像做二分之一下采样得到图像金字塔的中间层，再将中间层进行二分之一下采样得到图像金字塔的上层。
终端设备通过逐层金字塔图像配准，输出所述待配准图像块与所述参考图像块之间的像素位移，具体为：
终端设备首先将待配准图像块的图像金字塔的最上层与参考图像块的图像金字塔的最上层做匹配，得到匹配好的像素位移，按照倍数上采样(比如，若之前下采样为二分之一，则此时上采样的倍数为2倍；若之前下采样为四分之一，则此时上采样的倍数为4倍)到下一层，下一层里面再做重复的事情。
举例来说，首先对金字塔的最上面一层做图像配准，得到最上面一层的像素位移结果，然后对最上面一层的图像进行上采样，就变为和下一层一样大了。
Xi＝上采样倍数*Xi-1；
上一层的结果会变为下一层的初始结果。比如，上一层中参考图像块中的像素点(1，1)配到待配准图像块中的结果是像素点(1，2)，上采样后，待配准图像块中的结果变为像素点(2,4)。其他的空余的地方，可以进行数据填充。下一层的结果，就从像素点(2,4)开始做匹配。
通过逐层金字塔图像配准，可以降低配准的图像块之间像素偏移。
102，终端设备根据像素位移将待配准图像块与参考图像块进行配准，得到配准后的图像块对，计算配准后的图像块对之间的亚像素位移。
配准后的图像块对指的是将参考图像块与待配准图像块对齐后的图像对。配准后的图像对包括像素级配准后的配准图像块和参考图像块。从步骤101可知，由于选取的图像块的大小的不同，将像素级配准后的配准图像块与参考图像块对齐后，仍然可能会存在像素上的偏移。如图2A和图2B所示，将参考图像块与待配准图像块对齐后，可以发现像素级配准后的配准图像块中的像素相较于参考图像块向右存在像素上的偏移。
配准后的图像块对之间的亚像素位移，指的是经过像素级配准后的配准图像块与参考图像块之间的亚像素位移。亚像素位移与像素位移不同。像素位移的最小单位是一个像素，像素位移是整数个像素的大小，比如，像素位移可以是16个像素。而亚像素位移的最小单位可以是0.1个像素、0.25个像素、0.5个像素等小数。亚像素位移可以是小数个像素的大小，比如亚像素位移可以是0.5个像素。
终端设备可以采用迭代光流算法或最小二乘法计算配准后的图像块对之间的亚像素位移。
可选的，步骤102中，终端设备计算配准后的图像块对之间的亚像素位移，包括：
终端设备采用迭代光流算法计算配准后的图像块对之间的亚像素位移。
光流(Optical flow or optic flow)是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者(比如眼睛、摄像头等)和背景之间形成的明显移动。其中，迭代光流算法具体可以是卢卡斯-卡纳德光流(Lucas-Kanade optical flow，LK光流)算法。LK光流满足以下条件：
(1)亮度恒定：一个像素点随着时间的变化，其亮度值(像素灰度值)是恒定不变的。这是光流法的基本设定，所有光流法都应当满足。
(2)小运动：时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法都应当满足。
(3)空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。
可选的，步骤102中，终端设备采用迭代光流算法计算配准后的图像块对之间的亚像素位移，具体可以包括如下步骤：
(21)终端设备通过当前次光流计算得到当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移；其中，第一次光流计算为所述配准后的配准图像块与所述参考图像块之间的亚像素位移；
(22)若累计光流计算次数未达到预设阈值，或者所述当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度小于第一匹配度阈值，终端设备根据所述当前亚像素位移将所述当前次亚像素级配准后的配准图像块映射到用于下一次光流计算的下一次亚像素级配准后的配准图像块；
(23)若累计光流计算次数达到所述预设阈值，或者所述当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度大于所述第一匹配度阈值，终端设备将每次光流计算得到的亚像素位移叠加得到所述配准后的图像块对之间的亚像素位移。
本申请实施例中，每一次光流计算得到一个亚像素位移，根据计算的亚像素位移将当前次光流计算的亚像素级配准后的配准图像块映射到用于下一次光流计算的下一次亚像素级配准后的配准图像块；相较于当前次亚像素级配准后的配准图像块，下一次亚像素级配准后的配准图像块与参考图像块之间亚像素位移更小，下一次亚像素级配准后的配准图像块与参考图像块的匹配度越高。
终端设备根据所述当前亚像素位移将所述当前次亚像素级配准后的配准图像块映射到用于下一次光流计算的下一次亚像素级配准后的配准图像块，具体为：
终端设备将当前次亚像素级配准后的配准图像块的像素按照计算的当前亚像素位移(比如，Vx、Vy)移动后得到新的图像，即下一次亚像素级配准后的配准图像块。相当于将当前次亚像素级配准后的配准图像块与参考图像块做了一次对齐，将对齐后的新的图像(即下一次亚像素级配准后的配准图像块)与参考图像块再做一次光流计算。
其中，算法的迭代次数可以预先设定，比如预设阈值可以设定为5次。一般而言，迭代次数越多，计算的亚像素位移的精度相对越高。预设阈值可以根据需要的精度进行设定。
第一匹配度阈值是用来衡量当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度是否达到要求。第一匹配度阈值可以根据需要的精度进行设定。当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度等于第一匹配度阈值时，终端设备可以执行根据所述当前亚像素位移将所述当前次亚像素级配准后的配准图像块映射到用于下一次光流计算的下一次亚像素级配准后的配准图像块的步骤，也可以执行将每次光流计算得到的亚像素位移叠加得到所述配准后的图像块对之间的亚像素位移的步骤。本申请实施例不做限定。
本申请实施例的迭代光流算法，每次光流计算，得到亚像素位移后，都将亚像素级配准后的配准图像块向参考图像块靠近一点，达到一定迭代次数后，亚像素级配准后的配准图像块与参考图像块几乎处于重合状态，此时将每次光流计算的亚像素位移叠加，即可得到最终的配准后的图像块对之间的亚像素位移。
可选的，步骤(21)中，终端设备通过当前次光流计算得到当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移，具体可以包括如下步骤：
(211)终端设备根据所述当前次亚像素级配准后的配准图像块和所述参考图像块计算所述当前次亚像素级配准后的配准图像块中的像素对应的x方向梯度和y方向梯度，得到所述当前次亚像素级配准后的配准图像块的梯度信息；
(212)终端设备根据所述当前次亚像素级配准后的配准图像块的梯度信息和所述当前次亚像素级配准后的配准图像块的像素值信息计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移。
可选的，步骤(212)可以包括如下步骤：
终端设备按照如下公式计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移：
其中，Ixi为所述当前次亚像素级配准后的配准图像块的当前像素对应的x方向梯度，Iyi为所述当前次亚像素级配准后的配准图像块的当前像素对应的y方向梯度，Iti为所述当前次亚像素级配准后的配准图像块的当前像素对应的像素值，Vx为所述当前次亚像素级配准后的配准图像块与所述参考图像块在x方向的当前亚像素位移，Vy为所述当前次亚像素级配准后的配准图像块与所述参考图像块在y方向的当前亚像素位移。
本申请实施例中，图像光流的基本方程如下：
I(x，y，t)＝I(x+Δx，y+Δy，t+Δt) (1)；
其中，I(x，y，t)表示某时刻某位置的像素值，不同的t时刻代表不同的图像块。比如，t0时刻，代表参考图像块，t1时刻，代表当前次亚像素级配准后的配准图像块。I(x，y，t0)代表参考图像块某位置的像素值，I(x，y，t1)代表当前次亚像素级配准后的配准图像块某位置的像素值。
光流算法满足两个基本条件：1)亮度不变，2)位移高阶项可以忽略不计(即，忽略小的位移)。
通过对时间求导可以得到公式(2)，Ix为图像在x方向偏导数，Iy为图像在y方向的偏导数，Vx为x方向位移，Vy为y方向位移，It为图像对时间Δt的差分，It＝Icurrent-Inext；
IxVx+IyVy＝-It (2)；
LK光流通过图像梯度信息求取当前位移Vx，Vy，应用上按如下公式(3)计算LK光流的位移，Ixi为当前像素对应x方向梯度，Iyi为当前像素对应y方向梯度，Iti为当前像素对应的像素值；
使用公式(3)可以计算一次LK光流得到位移Vx，Vy，本申请实施例可以利用得到的位移Vx，Vy按照对应像素位置重新转换图像得到一个新的图像Inew，令Inew＝Icurrent，即可以再次计算LK光流。利用此方法可以多次迭代LK光流得到更准确的位移。比如本申请实施例可以采用5次迭代计算。
本申请实施例使用速度较块的LK光流计算图像之间的亚像素位移，对整体图像位移的计算时间增加有限，同时增加图像配准的准确率。
103，终端设备将像素位移和亚像素位移叠加，得到待配准图像与参考图像的图像位移。
请参阅图4，图4是本申请实施例提供的一种像素级别块配准的像素位移与亚像素级别块配准的亚像素位移的叠加示意图。如图4所示，图4左边为参考图像20，图4的中间为像素级别块配准的待配准图像30，图4的右边为亚像素级别块配准的待配准图像40，采用图像块搜索匹配算法，在图4中间的待配准图像30中找到与图4的左边的参考图像20中的参考图像块21最接近的待配准图像块31，并计算该待配准图像块31与参考图像块21之间的像素位移(从图4可以看出，其像素位移在x方向存在一个图像块的长度的位移，在y方向为0；如果图像块为16*16像素，则其像素位移为(16,0))。按照该像素位移将该待配准图像块31与参考图像块21进行配准，得到配准后的图像块对后，将图4左边的参考图像块21与图4中间的待配准图像块31对齐，以实现(像素级)配准(具体的，将图4左边的参考图像块21向右平移16个像素后，与待配准图像块31对齐，或者将图4中间的待配准图像块31向左平移16个像素后，与参考图像块21对齐)，得到配准后的图像块对，经过像素级的配准后，待配准图像块31变为像素级配准后的配准图像块31，采用迭代光流算法计算配准后的图像块对之间的亚像素位移，即图4右边的待配准图像40(与图4中间的待配准图像一样，区别在于图4中间的像素级配准后的配准图像块31与图4右边的亚像素级配准后的配准图像块41发生了亚像素级别的位移)经过亚像素级配准后的配准图像块41与图4中间的像素级配准后配准图像块31之间的位移，比如x方向0.5个像素的位移，y方向位移为0。将像素位移和亚像素位移叠加，即得到待配准图像30与参考图像20的图像位移为：x方向16.5个像素的位移，y方向位移为0。
本申请实施例中，在计算得到待配准图像块与参考图像块之间的像素位移之后，计算得到配准后的图像块对的亚像素级别位移，将像素位移和亚像素位移叠加得到待配准图像与参考图像的图像位移。可以通过计算的亚像素位移对图像块配准的像素位移进行修正，减少由于搜索空间局限性带来的像素级别位移误差，进而提高图像块配准精度。
请参阅图5，图5是本申请实施例提供的另一种图像块配准方法的流程示意图。如图5所示，该图像块配准方法可以包括如下步骤。
501，终端设备确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，计算待配准图像块与参考图像块之间的像素位移。
其中，步骤501的具体实施可以参见图1所示的步骤101的具体描述，此处不再赘述。
502，终端设备计算待配准图像块与参考图像块的绝对误差，根据绝对误差计算待配准图像块与参考图像块的匹配度。
本申请实施例中，待配准图像块与参考图像块的绝对误差可以通过两个图像块中对应的像素值的差值来衡量。可以根据待配准图像块与参考图像块的匹配度大小决定是否进行后续的光流计算。当匹配度较高时，则可以进一步通过光流算法提高待配准图像与参考图像的图像位移的计算精度。当匹配度较低时，则后续的光流算法微调的作用已经不大，不会对图像位移的计算精度有大的提升，则直接使用待配准图像块与参考图像块之间的像素位移作为待配准图像与参考图像的图像位移。
本申请实施例中，待配准图像块与参考图像块的匹配度可以依据待配准图像块中的像素点的像素值与参考图像块中对应的像素点的差值来确定，如果二者的差值越小，则表明待配准图像块与参考图像块的匹配度越大。
可选的，步骤502中，终端设备计算待配准图像块与参考图像块的绝对误差，可以包括如下步骤：
终端设备按照如下公式计算所述待配准图像块与所述参考图像块的绝对误差：
W＝∑x,y∈Ω|T(x,y)-M(x,y)|；
其中，T(x，y)为所述参考图像块中的像素值，M(x，y)为所述待配准图像块中对应的横坐标为x，纵坐标为y的像素点的像素值，Ω为所述参考图像块和所述待配准图像块所属的坐标域，W为所述待配准图像块与所述参考图像块的绝对误差。
本申请实施例可以计算参考图像块中的每个像素点与待配准图像块中的对应像素点的差值的绝对值之和来计算待配准图像块与参考图像块的绝对误差，算法简单可靠，可以降低计算量。
可选的，步骤502中，终端设备根据所述绝对误差计算所述待配准图像块与所述参考图像块的匹配度，可以包括如下步骤：
终端设备按照如下公式计算所述待配准图像块与所述参考图像块的绝对误差：
p＝exp(-W)；
其中，W为所述待配准图像块与所述参考图像块的绝对误差，P为所述待配准图像块与所述参考图像块的匹配度。
请参阅图6，图6是本申请实施例提供的一种匹配度计算的流程示意图。如图6所示，首先通过匹配误差确定待匹配图像中与参考图像块匹配误差最小的图像块为待配准图像块31，然后计算待配准图像块31与参考图像块21的绝对误差，再根据绝对误差计算待配准图像块31与参考图像块21的匹配度。其中，图6左边的匹配误差为待匹配图像中每个图像块与参考图像块匹配误差，从而确定待匹配图像中匹配误差最小的图像块为第二行第三列的图像块，即为待配准图像块31。
本申请实施例的匹配度计算方法可以快速的计算图像块之间的匹配度，可以根据匹配度判断图像块搜索匹配算法找到的匹配图像块是否准确。
503，若待配准图像块与参考图像块的匹配度大于第二匹配度阈值，终端设备根据像素位移将待配准图像块与参考图像块进行配准，得到配准后的图像块对，计算配准后的图像块对之间的亚像素位移。
其中，第二匹配度阈值是用来衡量待配准图像块与参考图像块的匹配度是否符合光流计算所需的匹配度。
504，终端设备将像素位移和亚像素位移叠加，得到待配准图像与参考图像的图像位移。
其中，步骤503至504的具体实施可以参见图1所示的步骤102至103的具体描述，此处不再赘述。
可选的，图5所示的方法还可以包括步骤505。
505，若待配准图像块与参考图像块的匹配度小于第二匹配度阈值，终端设备将像素位移作为待配准图像与参考图像的图像位移。
本申请实施例中，待配准图像块与参考图像块的匹配度等于第二匹配度阈值时，终端设备可以执行步骤503或者步骤505，本申请实施例不做限定。
本申请实施例中，在图1的基础上增加图像块的匹配度计算，判断搜索匹配算法确定的待配准图像块是否存在配准误差过大的情况，在图像块的匹配度大于第二匹配度阈值的情况下才进行后续的亚像素位移的计算，可以进一步提高待配准图像与参考图像的图像位移的计算精度。当待配准图像块与参考图像块的匹配度较低时，表明采用图像块搜索匹配算法确定的待配准图像块的误差较大，则后续的计算亚像素位移的作用已经不大，不会对图像位移的计算精度有大的提升，则直接使用待配准图像块与参考图像块之间的像素位移作为待配准图像与参考图像的图像位移，从而降低整体的计算量，节省图像位移的计算时间。
可选的，当待配准图像块与参考图像块的匹配度小于第二匹配度阈值，终端设备可以扩大搜索区域或者缩小参考图像块的大小后，重新采用图像块搜索匹配算法确定待配准图像中与参考图像中的参考图像块匹配的新的待配准图像块。本申请实施例可以在找到的待配准图像块的误差较大的情况下，通过扩大搜索区域或者缩小参考图像块方法，提高图像块搜索匹配算法找到的待配准图像块与参考图像块的匹配度。
上述实施例均以一张待配准图像与参考图像之间的图像配准为例。在实际应用中，往往需要多张图像进行配准，即需要输出多张图像与参考图像之间的图像位移。请参阅图7，图7是本申请实施例提供的一种n张图像进行配准的方法流程示意图。如图7所示，该方法流程可以包括如下步骤。
701，输入n张图像；
702，将n张图像分别转换为n张灰度图；
703，从n张灰度图中确定1张参考图像和n-1张待配准图像；
704，遍历n-1张待配准图像；若遍历结束，则执行步骤712；若遍历未结束，则执行步骤705；
705，对n-1张待配准图像中遍历到的一张待配准图像构建图像金字塔；
706，将该待配准图像与参考图像逐层金字塔图像块配准；
707，输出该待配准图像与参考图像的像素位移；
708，计算该待配准图像与参考图像的匹配度；
709，匹配度是否大于匹配阈值；若是，则执行步骤710；若否，则继续执行步骤704。
710，采用LK光流计算该待配准图像的亚像素位移；
711，更新该待配准图像与参考图像的图像位移。其中，该待配准图像的图像位移为该待配准图像与参考图像的像素位移与该待配准图像的亚像素位移之和；
712，输出n-1张待配准图像与参考图像的图像位移。
图7所示的方法可以对多张图像进行图像配准，输出每张图像的图像位移。可以用于多帧图像融合，多帧降噪等多帧图像处理中。
图7中的各个方法的实施可以参见图1至图5所示的方法实施例，此处不再赘述。
为了更直接的体现图像块搜索匹配算法、图像块搜索匹配算法+光流算法的图像配准效果。下面给出一般图像块配准(图像块搜索匹配算法)与本申请实施例的图像块配准(图像块搜索匹配算法+光流算法)的效果比较，图8A中为参考图，图8B中为待配准图；匹配效果如图9A和图9B所示，图9A为一般块配准算法的效果，图9B为采用图1或图5的块配准算法的效果，图像使用HSV图像表示，色调表示位移方向，饱和度表示位移强度，白色表示没有运动位移。从图9A和图9B可以看出，与图9A相比，图9B的位移强度和位移方向更加符合实际情况，匹配效果更好。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图10，图10为本申请实施例提供的一种图像块配准装置的结构示意图，该图像块配准装置1000应用于终端设备，该图像块配准装置1000可以包括确定单元1001、第一计算单元1002、配准单元1003、第二计算单元1004和第三计算单元1005，其中：
所述确定单元1001，用于确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块；
所述第一计算单元1002，用于计算所述待配准图像块与所述参考图像块之间的像素位移；
所述配准单元1003，用于根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对；
所述第二计算单元1004，用于计算所述配准后的图像块对之间的亚像素位移；
所述第三计算单元1005，用于将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。
可选的，所述第二计算单元1004计算所述配准后的图像块对之间的亚像素位移，具体为：采用迭代光流算法计算所述配准后的图像块对之间的亚像素位移。
可选的，所述配准后的图像块对包括像素级配准后的配准图像块和参考图像块，所述第二计算单元1004采用迭代光流算法计算所述配准后的图像块对之间的亚像素位移，具体为：通过当前次光流计算得到当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移；其中，第一次光流计算为所述像素级配准后的配准图像块与所述参考图像块之间的亚像素位移；若累计光流计算次数未达到预设阈值，或者所述当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度小于第一匹配度阈值，根据所述当前亚像素位移将所述当前次亚像素级配准后的配准图像块映射到用于下一次光流计算的下一次亚像素级配准后的配准图像块；若累计光流计算次数达到所述预设阈值，或者所述当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度大于所述第一匹配度阈值，将每次光流计算得到的亚像素位移叠加得到所述配准后的图像块对之间的亚像素位移。
可选的，所述第二计算单元1004通过当前次光流计算得到当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移，具体为：根据所述当前次亚像素级配准后的配准图像块和所述参考图像块计算所述当前次亚像素级配准后的配准图像块中的像素对应的x方向梯度和y方向梯度，得到所述当前次亚像素级配准后的配准图像块的梯度信息；根据所述当前次亚像素级配准后的配准图像块的梯度信息和所述当前次亚像素级配准后的配准图像块的像素值信息计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移。
可选的，所述第二计算单元1004根据所述当前次亚像素级配准后的配准图像块的梯度信息和所述当前次亚像素级配准后的配准图像块的像素值信息计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移，具体为：按照如下公式计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移：
其中，Ixi为所述当前次亚像素级配准后的配准图像块的当前像素对应的x方向梯度，Iyi为所述当前次亚像素级配准后的配准图像块的当前像素对应的y方向梯度，Iti为所述当前次亚像素级配准后的配准图像块的当前像素对应的像素值，Vx为所述当前次亚像素级配准后的配准图像块与所述参考图像块在x方向的当前亚像素位移，Vy为所述当前次亚像素级配准后的配准图像块与所述参考图像块在y方向的当前亚像素位移。
可选的，该图像块配准装置1000还可以包括第四计算单元1006；
所述第四计算单元1006，用于在所述第一计算单元1002计算所述待配准图像块与所述参考图像块之间的像素位移之后，计算所述待配准图像块与所述参考图像块的绝对误差，根据所述绝对误差计算所述待配准图像块与所述参考图像块的匹配度；
所述配准单元1003，还用于在所述待配准图像块与所述参考图像块的匹配度大于第二匹配度阈值的情况下，根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对。
可选的，所述第四计算单元1006计算所述待配准图像块与所述参考图像块的绝对误差，具体为：按照如下公式计算所述待配准图像块与所述参考图像块的绝对误差：
W＝∑x,y∈Ω|T(x,y)-M(x,y)|；
其中，T(x，y)为所述参考图像块中的像素值，M(x，y)为所述待配准图像块中的像素值，Ω为所述参考图像块和所述待配准图像块所属的坐标域，W为所述待配准图像块与所述参考图像块的绝对误差。
可选的，所述第四计算单元1006根据所述绝对误差计算所述待配准图像块与所述参考图像块的匹配度，具体为：按照如下公式计算所述待配准图像块与所述参考图像块的绝对误差：
p＝exp(-W)；
其中，W为所述待配准图像块与所述参考图像块的绝对误差，P为所述待配准图像块与所述参考图像块的匹配度。
可选的，所述确定单元1001确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，具体为：确定参考图像，从所述参考图像中选择参考图像块，设定搜索区域，所述参考图像块位于所述确定参考图像的搜索区域内；以所述参考图像块为单位，从待配准图像的搜索区域中确定与所述参考图像块的匹配误差最小的图像块为所述待配准图像块。
可选的，所述第一计算单元1002计算所述待配准图像块与所述参考图像块之间的像素位移，具体为：构建所述待配准图像块的图像金字塔和所述参考图像块的图像金字塔，通过逐层金字塔图像配准，输出所述待配准图像块与所述参考图像块之间的像素位移。
可选的，该图像块配准装置1000还可以包括处理单元1007；
所述处理单元10，用于在所述待配准图像块与所述参考图像块的匹配度小于所述第二匹配度阈值的情况下，将所述像素位移作为所述待配准图像与所述参考图像的图像位移。
其中，本申请实施例中的确定单元1001、第一计算单元1002、配准单元1003、第二计算单元1004、第三计算单元1005、第四计算单元1006和处理单元1007可以是终端设备中的处理器。
本申请实施例中，在计算得到待配准图像块与参考图像块之间的像素位移之后，计算得到配准后的图像块对的亚像素级别位移，将像素位移和亚像素位移叠加得到待配准图像与参考图像的图像位移。可以通过计算的亚像素位移对图像块配准的像素位移进行修正，减少由于搜索空间局限性带来的像素级别位移误差，进而提高图像块配准精度。
请参阅图11，图11是本申请实施例提供的一种终端设备的结构示意图，如图11所示，该终端设备1100包括处理器1101和存储器1102，处理器1101、存储器1102可以通过通信总线1103相互连接。通信总线1103可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。通信总线1103可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器1102用于存储计算机程序，计算机程序包括程序指令，处理器1101被配置用于调用程序指令，上述程序包括用于执行图1～5所示的方法中的部分或全部步骤。
处理器1101可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
存储器1102可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
此外，该终端设备1100还可以包括通信接口、天线等通用部件，在此不再详述。
本申请实施例中，在计算得到待配准图像块与参考图像块之间的像素位移之后，计算得到配准后的图像块对的亚像素级别位移，将像素位移和亚像素位移叠加得到待配准图像与参考图像的图像位移。可以通过计算的亚像素位移对图像块配准的像素位移进行修正，减少由于搜索空间局限性带来的像素级别位移误差，进而提高图像块配准精度。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像块配准方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种图像块配准方法，其特征在于，包括：
确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，计算所述待配准图像块与所述参考图像块之间的像素位移；
根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对，计算所述配准后的图像块对之间的亚像素位移；
将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。
2.根据权利要求1所述的方法，其特征在于，所述计算所述配准后的图像块对之间的亚像素位移，包括：
采用迭代光流算法计算所述配准后的图像块对之间的亚像素位移。
3.根据权利要求2所述的方法，其特征在于，所述配准后的图像块对包括像素级配准后的配准图像块和所述参考图像块，所述采用迭代光流算法计算所述配准后的图像块对之间的亚像素位移，包括：
通过当前次光流计算得到当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移；其中，第一次光流计算为所述像素级配准后的配准图像块与所述参考图像块之间的亚像素位移；
若累计光流计算次数未达到预设阈值，或者所述当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度小于第一匹配度阈值，根据所述当前亚像素位移将所述当前次亚像素级配准后的配准图像块映射到用于下一次光流计算的下一次亚像素级配准后的配准图像块；
若累计光流计算次数达到所述预设阈值，或者所述当前次亚像素级配准后的配准图像块与所述参考图像块的匹配度大于所述第一匹配度阈值，将每次光流计算得到的亚像素位移叠加得到所述配准后的图像块对之间的亚像素位移。
4.根据权利要求3所述的方法，其特征在于，所述通过当前次光流计算得到当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移，包括：
根据所述当前次亚像素级配准后的配准图像块和所述参考图像块计算所述当前次亚像素级配准后的配准图像块中的像素对应的x方向梯度和y方向梯度，得到所述当前次亚像素级配准后的配准图像块的梯度信息；
根据所述当前次亚像素级配准后的配准图像块的梯度信息和所述当前次亚像素级配准后的配准图像块的像素值信息计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移。
5.根据权利要求4所述的方法，其特征在于，所述根据所述当前次亚像素级配准后的配准图像块的梯度信息和所述当前次亚像素级配准后的配准图像块的像素值信息计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移，包括：
按照如下公式计算所述当前次亚像素级配准后的配准图像块与所述参考图像块之间的当前亚像素位移：
其中，Ixi为所述当前次亚像素级配准后的配准图像块的当前像素对应的x方向梯度，Iyi为所述当前次亚像素级配准后的配准图像块的当前像素对应的y方向梯度，Iti为所述当前次亚像素级配准后的配准图像块的当前像素对应的像素值，Vx为所述当前次亚像素级配准后的配准图像块与所述参考图像块在x方向的当前亚像素位移，Vy为所述当前次亚像素级配准后的配准图像块与所述参考图像块在y方向的当前亚像素位移。
6.根据权利要求1～5任一项所述的方法，其特征在于，所述计算所述待配准图像块与所述参考图像块之间的像素位移之后，所述方法还包括：
计算所述待配准图像块与所述参考图像块的绝对误差，根据所述绝对误差计算所述待配准图像块与所述参考图像块的匹配度；
若所述待配准图像块与所述参考图像块的匹配度大于第二匹配度阈值，执行所述根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对的步骤。
7.根据权利要求6所述的方法，其特征在于，所述计算所述待配准图像块与所述参考图像块的绝对误差，包括：
按照如下公式计算所述待配准图像块与所述参考图像块的绝对误差：
W＝∑x，y∈Ω|T(x，y)-M(x，y)|；
其中，T(x，y)为所述参考图像块中的像素值，M(x，y)为所述待配准图像块中的像素值，Ω为所述参考图像块和所述待配准图像块所属的坐标域，W为所述待配准图像块与所述参考图像块的绝对误差。
8.根据权利要求7所述的方法，其特征在于，所述根据所述绝对误差计算所述待配准图像块与所述参考图像块的匹配度，包括：
按照如下公式计算所述待配准图像块与所述参考图像块的绝对误差：
p＝exp(-W)；
其中，W为所述待配准图像块与所述参考图像块的绝对误差，P为所述待配准图像块与所述参考图像块的匹配度。
9.根据权利要求1～8任一项所述的方法，其特征在于，所述确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块，包括：
确定参考图像，从所述参考图像中选择参考图像块，设定搜索区域，所述参考图像块位于所述确定参考图像的搜索区域内；
以所述参考图像块为单位，从待配准图像的搜索区域中确定与所述参考图像块的匹配误差最小的图像块为所述待配准图像块。
10.根据权利要求1～9任一项所述的方法，其特征在于，所述计算所述待配准图像块与所述参考图像块之间的像素位移，包括：
构建所述待配准图像块的图像金字塔和所述参考图像块的图像金字塔，通过逐层金字塔图像配准，输出所述待配准图像块与所述参考图像块之间的像素位移。
11.根据权利要求6～8任一项所述的方法，其特征在于，所述方法还包括：
若所述待配准图像块与所述参考图像块的匹配度小于所述第二匹配度阈值，将所述像素位移作为所述待配准图像与所述参考图像的图像位移。
12.一种图像块配准装置，其特征在于，包括：
确定单元，用于确定待配准图像中与参考图像中的参考图像块匹配的待配准图像块；
第一计算单元，用于计算所述待配准图像块与所述参考图像块之间的像素位移；
配准单元，用于根据所述像素位移将所述待配准图像块与所述参考图像块进行配准，得到配准后的图像块对；
第二计算单元，用于计算所述配准后的图像块对之间的亚像素位移；
第三计算单元，用于将所述像素位移和所述亚像素位移叠加，得到所述待配准图像与所述参考图像的图像位移。
13.一种终端设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～11任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010746473.1A CN111882588A (zh) | 2020-07-29 | 2020-07-29 | 图像块配准方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010746473.1A CN111882588A (zh) | 2020-07-29 | 2020-07-29 | 图像块配准方法及相关产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111882588A true CN111882588A (zh) | 2020-11-03 |
Family
ID=73201960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010746473.1A Pending CN111882588A (zh) | 2020-07-29 | 2020-07-29 | 图像块配准方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882588A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897950A (zh) * | 2022-04-29 | 2022-08-12 | 上海精积微半导体技术有限公司 | 图像配准及缺陷检测方法 |
| CN117152221A (zh) * | 2023-10-26 | 2023-12-01 | 山东科技大学 | 一种图像非刚性配准方法、系统、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130077891A1 (en) * | 2011-09-26 | 2013-03-28 | Northrop Grumman Systems Corporation | Automated Image Registration With Varied Amounts of a Priori Information Using a Minimum Entropy Method |
| CN103440676A (zh) * | 2013-08-13 | 2013-12-11 | 南方医科大学 | 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法 |
| CN104299209A (zh) * | 2014-09-18 | 2015-01-21 | 南方医科大学 | 基于快速亚像素运动估计的肺4d-ct图像超分辨率重建方法 |
| CN107481275A (zh) * | 2017-07-04 | 2017-12-15 | 河南工业大学 | 一种基于参考图像补偿的两步图像配准方法 |
-
2020
- 2020-07-29 CN CN202010746473.1A patent/CN111882588A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130077891A1 (en) * | 2011-09-26 | 2013-03-28 | Northrop Grumman Systems Corporation | Automated Image Registration With Varied Amounts of a Priori Information Using a Minimum Entropy Method |
| CN103440676A (zh) * | 2013-08-13 | 2013-12-11 | 南方医科大学 | 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法 |
| CN104299209A (zh) * | 2014-09-18 | 2015-01-21 | 南方医科大学 | 基于快速亚像素运动估计的肺4d-ct图像超分辨率重建方法 |
| CN107481275A (zh) * | 2017-07-04 | 2017-12-15 | 河南工业大学 | 一种基于参考图像补偿的两步图像配准方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897950A (zh) * | 2022-04-29 | 2022-08-12 | 上海精积微半导体技术有限公司 | 图像配准及缺陷检测方法 |
| CN117152221A (zh) * | 2023-10-26 | 2023-12-01 | 山东科技大学 | 一种图像非刚性配准方法、系统、设备和存储介质 |
| CN117152221B (zh) * | 2023-10-26 | 2024-01-16 | 山东科技大学 | 一种图像非刚性配准方法、系统、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110622497B (zh) | 具备具有不同焦距的相机的设备及实现相机的方法 | |
| JP7164706B2 (ja) | 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体 | |
| WO2021088473A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
| JP6216468B2 (ja) | 無特徴抽出の高密度ｓｆｍ三次元再構成法 | |
| CN106027851B (zh) | 用于处理图像的方法和系统 | |
| CN109934772B (zh) | 一种图像融合方法、装置及便携式终端 | |
| Je et al. | Optimized hierarchical block matching for fast and accurate image registration | |
| US9076234B2 (en) | Super-resolution method and apparatus for video image | |
| US20150097827A1 (en) | Target Region Fill Utilizing Transformations | |
| CN108573269B (zh) | 图像特征点匹配方法、匹配装置、电子设备及存储介质 | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| WO2010095460A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| KR20180122548A (ko) | 이미지를 처리하는 방법 및 장치 | |
| CN111882588A (zh) | 图像块配准方法及相关产品 | |
| CN107784631B (zh) | 图像去模糊方法及装置 | |
| KR20150050347A (ko) | 초-해상도 이미지 프로세싱을 수행하는 이미징 디바이스 및 컴퓨터 그리고 그 수행 방법 | |
| US20160005158A1 (en) | Image processing device and image processing method | |
| JP4649559B2 (ja) | ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体 | |
| CN107886101A (zh) | 一种基于rgb‑d的场景三维特征点高效提取方法 | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| CN113935934A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US20120038785A1 (en) | Method for producing high resolution image | |
| JP7145440B2 (ja) | 学習データ生成方法、学習データ生成装置、及び、プログラム | |
| CN113298098B (zh) | 基础矩阵估计方法及相关产品 | |
| CN103136754B (zh) | 一种基于特征块方向微分的图像模糊方向鉴别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |