CN113496504A - 图像对齐方法及装置、存储介质、终端 - Google Patents

图像对齐方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN113496504A
CN113496504A CN202010205571.4A CN202010205571A CN113496504A CN 113496504 A CN113496504 A CN 113496504A CN 202010205571 A CN202010205571 A CN 202010205571A CN 113496504 A CN113496504 A CN 113496504A
Authority
CN
China
Prior art keywords
image
alignment
decomposed
block
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010205571.4A
Other languages
English (en)
Other versions
CN113496504B (zh
Inventor
冯召东
张晓盟
陈欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010205571.4A priority Critical patent/CN113496504B/zh
Publication of CN113496504A publication Critical patent/CN113496504A/zh
Application granted granted Critical
Publication of CN113496504B publication Critical patent/CN113496504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种图像对齐方法及装置、存储介质、终端，所述方法包括：提供参考图像以及待对齐图像；对所述待对齐图像进行金字塔分解，以得到多层分解图像；自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量；依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量。本发明有机会通过采用两种算法在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。

Description

图像对齐方法及装置、存储介质、终端
技术领域
本发明涉及图像处理领域，尤其涉及一种图像对齐方法及装置、存储介质、终端。
背景技术
图像对齐问题在图像去噪、超分辨增强、图像拼接、视频压缩，视频防抖、物体追踪等领域都有重要应用，是图像和视频处理领域的基本问题。图像对齐算法也是计算机视觉领域中最古老和最广泛运用的算法之一。
图像对齐的方法从原理上可以分为两大类：基于像素块的图像对齐方法和基于特征点匹配的图像对齐方法，分别存在有算法复杂以及设计需求较高的问题。
基于像素块的图像对齐方法中一种广泛使用的方法是块匹配算法，一般做法是将图像分块，对每块进行块匹配。块匹配算法包含两个重要参数：图像块的大小和块匹配搜索范围。对于图像块的大小的选择，是一个矛盾的过程：采用的图像块太大，无法解决局部运动的问题；采用的图像块太小，容易导致误匹配，而且计算量会增加。搜索范围的大小的选择也是算法复杂度与对齐精度之间的权衡。
在现有技术的一种具体应用中，可以采用金字塔分层再逐层对齐的办法，以同时兼顾图像块大小和块匹配搜索区域大小。基于金字塔分层的图像块匹配方法的具体做法是对图像进行金字塔分解，从金字塔的最高层开始进行块匹配，块匹配采样的方法是全局搜索，得到的结果传给下一层，直至图像原尺寸对齐结束。这样的分层对齐并将结果往下传递能减小块匹配的搜索区域，优于直接在原图尺寸做块匹配的算法。
然而，在现有的基于金字塔分解的图像对齐方法中，容易存在计算量过大，或者准确性不足的问题，难以满足需求。
发明内容
本发明解决的技术问题是提供一种图像对齐方法及装置、存储介质、终端，有机会通过采用两种算法在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
为解决上述技术问题，本发明实施例提供一种图像对齐方法，包括以下步骤：提供参考图像以及待对齐图像；对所述待对齐图像进行金字塔分解，以得到多层分解图像，其中，每层分解图像包含预设数量个图像块，相邻层分解图像之间的图像块一一对应；自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量，所述第二级别对齐的粒度小于所述第一级别对齐的粒度；采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量；其中，每层分解图像的多个图像块包括纹理区域图像块以及平坦区域图像块，采用第一对齐算法对所述纹理区域图像块进行第一级别对齐，采用第二对齐算法对所述平坦区域图像块进行第一级别对齐，所述第一对齐算法与所述第二对齐算法不同。
可选的，所述参考图像包含所述预设数量个图像块，所述参考图像与待对齐图像之间的图像块一一对应；所述方法还包括：分别采用所述最底层分解图像中每个图像块的第二对齐运动向量，将所述最底层分解图像中每个图像块与所述参考图像中的每个图像块一一对齐。
可选的，在对所述分解图像的每个图像块分别进行第一级别对齐之前，所述的图像对齐方法还包括：分别确定每层分解图像的每个图像块的梯度值；如果所述梯度值大于等于预设梯度阈值，则确定所述图像块为纹理区域图像块；如果所述梯度值小于所述预设梯度阈值，则确定所述图像块为平坦区域图像块。
可选的，所述预设梯度阈值选自以参考图像的梯度值为中心的预设梯度值范围。
可选的，所述第一级别对齐包括像素级别对齐，所述第一对齐算法为自适应的十字搜索算法，所述第二对齐算法为全局搜索算法，对所述分解图像的每个图像块分别进行第一级别对齐包括：采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到所述分解图像的第一对齐运动向量。
可选的，所述参考图像被金字塔分解为多层参考图像分解图像，其中，每层参考图像分解图像包含所述预设数量个参考图像块，且所述参考图像块与所述待对齐图像的图像块一一对应；采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到所述分解图像的第一对齐运动向量包括：采用所述自适应的十字搜索算法，对各个纹理区域图像块与对应的参考图像块进行像素级别对齐，以得到各个纹理区域图像块的图像差异；采用所述全局搜索算法，对各个平坦区域图像块与对应的参考图像块进行像素级别对齐，以得到各个平坦区域图像块的图像差异；在各个纹理区域图像块的图像差异与各个平坦区域图像块的图像差异之间，确定图像差异的最小值；确定所述图像差异最小值对应的图像块的对齐运动向量，作为所述分解图像的第一对齐运动向量。
可选的，在对所述分解图像的每个图像块分别进行第一级别对齐之前，还包括：选取最高层分解图像的中心区域作为对齐目标，对所述多层分解图像进行全局对齐，以使得各层分解图像的中心区域重合。
可选的，采用自适应的十字搜索算法进行全局对齐。
可选的，所述对移动后的分解图像的每个图像块分别进行第二级别对齐包括：采用光流法或者二次曲面拟合对移动后的分解图像的每个图像块分别进行第二级别对齐。
可选的，所述第二级别对齐包括亚像素级别对齐，所述移动后的分解图像的各个图像块被分为纹理区域图像块以及平坦区域图像块；所述对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐包括：当所述移动后的分解图像的各个图像块属于所述最底层分解图像时，仅对移动后的分解图像的各个纹理区域图像块分别进行亚像素级别对齐；当所述移动后的分解图像的各个图像块不属于所述最底层分解图像时，对移动后的分解图像的全部图像块分别进行亚像素级别对齐。
为解决上述技术问题，本发明实施例提供一种图像对齐装置，包括：图像提供模块，用于提供参考图像以及待对齐图像；分解模块，用于对所述待对齐图像进行金字塔分解，以得到多层分解图像，其中，每层分解图像包含预设数量个图像块，相邻层分解图像之间的图像块一一对应；第一对齐模块，用于自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量，所述第二级别对齐的粒度小于所述第一级别对齐的粒度；第二对齐模块，用于采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量；其中，每层分解图像的多个图像块包括纹理区域图像块以及平坦区域图像块，采用第一对齐算法对所述纹理区域图像块进行第一级别对齐，采用第二对齐算法对所述平坦区域图像块进行第一级别对齐，所述第一对齐算法与所述第二对齐算法不同。
为解决上述技术问题，本发明实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图像对齐方法的步骤。
为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图像对齐方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，通过对待对齐图像进行金字塔分解，并在对所述分解图像的每个图像块分别进行第一级别对齐的过程中，采用不同的对齐算法对纹理区域图像块以及平坦区域图像块进行第一级别对齐，然后对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，所述第二级别对齐的粒度小于所述第一级别对齐的粒度，其中，粒度是对齐的最小尺寸，相比于现有技术中仅采用单种对齐算法，且往往存在计算量过大或者准确性较差的问题，采用本发明实施例，有机会通过采用两种算法在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
进一步，分别确定每层分解图像的每个图像块的梯度值；如果所述梯度值大于等于预设梯度阈值，则确定所述图像块为纹理区域图像块，否则确定所述图像块为平坦区域图像块。采用本发明实施例的方案，可以根据梯度值判断需要采用提高准确性的对齐算法，还是需要采用降低计算量的对齐算法，从而进一步在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
进一步，采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到每个图像块的第一对齐运动向量，可以利用自适应的十字搜索算法计算量小、全局搜索算法准确性高的特点，在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
进一步，选取最高层分解图像的中心区域作为对齐目标，对所述多层分解图像进行全局对齐，有助于解决块匹配搜索到图像边界外的问题，尤其在全局移动较大到时候，可以有效提高图像对齐效果。
进一步，采用光流法对移动后的分解图像的每个图像块分别进行亚像素级别对齐，由于光流法是建立在小范围运动的假设之上，对于大范围运动的情况存在求矩阵逆的操作不稳定的问题，在本发明实施例中，通过设置在对所述分解图像的每个图像块分别进行像素级别对齐之后，才采用光流法对移动后的分解图像的每个图像块分别进行亚像素级别对齐，有助于提高光流法的对齐效果。
附图说明
图1是本发明实施例中一种图像对齐方法的流程图；
图2是本发明实施例中一种FS与ARPS的计算位置示意图；
图3是本发明实施例中一种确定所述分解图像的第一对齐运动向量的流程图；
图4是本发明实施例中一种图像对齐装置的结构示意图。
具体实施方式
如前所述，图像对齐的方法从原理上可以分为两大类：基于像素块的图像对齐方法和基于特征点匹配的图像对齐方法。基于特征点匹配的方法算法复杂度一般比基于像素的对齐方法要高，需要首先进行特征点提取，再进行特制点的匹配，依据特征点之间的映射关系实现图像对齐的目的。基于像素块的图像对齐简单直观，但是如果方法设计不合理也会导致算法复杂度高而且效果不佳等问题。对于像素块的图像对齐方法根据作用域的不同又可分为空域对齐方法和频域对齐方法，频域的图像对齐方法相比空域多了频域变换的步骤，故在算法复杂度上高出不少；更重要的是，频域对齐算法要求待对齐图像与参考图像有较大的重叠区域，也就是运动范围较小时，频域对齐算法才能发挥较好效果。
基于像素块的图像对齐方法中一种广泛使用的方法是块匹配算法，一般做法是将图像分块，对每块进行块匹配。块匹配算法包含两个重要参数：图像块的大小和块匹配搜索范围。对于图像块的大小的选择，是一个矛盾的过程：采用的图像块太大，无法解决局部运动的问题；采用的图像块太小，容易导致误匹配，而且计算量会增加。搜索范围的大小的选择也是算法复杂度与对齐精度之间的权衡。解决以上问题的一个已公开的技术方案是利用金字塔分层再逐层对齐的办法，同时兼顾了图像块大小和块匹配搜索区域大小，是一种使用广泛的图像对齐方法。基于金字塔分层的图像块匹配方法的具体做法是对图像进行金字塔分解，从金字塔的最高层开始进行块匹配，块匹配采样的方法是全局搜索，得到的结果传给下一层，直至图像原尺寸对齐结束。这样的分层对齐并将结果往下传递能极大地减小块匹配的搜索区域，相比于直接在原图尺寸做块匹配的算法复杂度大大降低。但基于金字塔分解的图像对齐方法仍有较大的提升空间。
图像对齐算法的精度和复杂度越来越成为决定某一技术最终效果的因素，例如，基于多帧图像的超分辨成像技术，对齐精度直接决定超分辨重建的分辨率，故要求达到亚像素的对齐精度。从已公开的算法来看，光流法是一种对齐精度较高的对齐方法，但单纯使用光流法并不能得到稳定的结果。
纵观现存的图像对齐方法，大多都可以分为基于像素块和基于特征点这两大类。像素块的图像对齐方法中的频域对齐方法和基于特征点的对齐方法复杂度都较高，而且频域对齐方法使用的条件是小范围的运动。利用金字塔分层再逐层对齐的办法，同时兼顾了图像块大小和块匹配搜索区域大小，但在金字塔的每一层所采用的是全局搜索块匹配方法。全局搜索块匹配是一种蛮力搜索算法，算法复杂度较高，计算量取决于搜索半径：(2r+1)2，r为搜索半径。另外，在图像边界处，全局搜索块匹配也会遇到问题，其搜索区域会落在图像边界之外。
本发明的发明人经过研究发现，在现有技术中，仅采用单种对齐算法，往往存在计算量过大或者准确性较差的问题，例如采用全局搜索算法准确性高，然而计算量较大，较之全局搜索算法，其他算法则存在计算量较小，然而准确性较差的问题，在计算量和准确性两种需求之间难以达到平衡。
在本发明实施例中，通过对待对齐图像进行金字塔分解，并在对所述分解图像的每个图像块分别进行第一级别对齐的过程中，采用不同的对齐算法对纹理区域图像块以及平坦区域图像块进行第一级别对齐，然后对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，所述第二级别对齐的粒度小于所述第一级别对齐的粒度，其中，粒度是对齐的最小尺寸，相比于现有技术中仅采用单种对齐算法，且往往存在计算量过大或者准确性较差的问题，采用本发明实施例，有机会通过采用两种算法在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参照图1，图1是本发明实施例中一种图像对齐方法的流程图。所述图像对齐方法可以包括步骤S11至步骤S14：
步骤S11：提供参考图像以及待对齐图像；
步骤S12：对所述待对齐图像进行金字塔分解，以得到多层分解图像，其中，每层分解图像包含预设数量个图像块，相邻层分解图像之间的图像块一一对应；
步骤S13：自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量，所述第二级别对齐的粒度小于所述第一级别对齐的粒度；
步骤S14：采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量；
其中，每层分解图像的多个图像块包括纹理区域图像块以及平坦区域图像块，采用第一对齐算法对所述纹理区域图像块进行第一级别对齐，采用第二对齐算法对所述平坦区域图像块进行第一级别对齐，所述第一对齐算法与所述第二对齐算法不同。
在步骤S11的具体实施中，所述参考图像与待对齐图像可以分别为连续数帧图像中的前一帧和后一帧，以进行两者之间的对齐。
在步骤S12的具体实施中，可以采用常规的金字塔分解方法，对所述待对齐图像进行金字塔分解，以得到多层分解图像，本发明实施例对于具体的分解参数和步骤不作限制。
具体地，每层分解图像可以包含相同数量个图像块，例如8×8块，或者64×64块，不同层分解图像之间的图像块具有一一对应关系。
进一步地，在采用步骤S13对所述分解图像的每个图像块分别进行第一级别对齐之前，所述的图像对齐方法还可以包括：分别确定每层分解图像的每个图像块的梯度值；如果所述梯度值大于等于预设梯度阈值，则确定所述图像块为纹理区域图像块；如果所述梯度值小于所述预设梯度阈值，则确定所述图像块为平坦区域图像块。
具体地，图像按梯度分为平坦区域和纹理区域，平坦区域像素值的差异较小，纹理区域的像素值差异较大。
在本发明实施例中，分别确定每层分解图像的每个图像块的梯度值；如果所述梯度值大于等于预设梯度阈值，则确定所述图像块为纹理区域图像块，否则确定所述图像块为平坦区域图像块。采用本发明实施例的方案，可以根据梯度值判断需要采用提高准确性的对齐算法，还是需要采用降低计算量的对齐算法，从而进一步在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
更进一步地，所述预设梯度阈值可以选自以参考图像的梯度值为中心的预设梯度值范围。
具体地，可以在参考图像的梯度值已知的基础上，确定所述预设梯度阈值。例如采用参考图像的梯度值作为预设梯度阈值，或者在预设的正负范围内取值作为所述预设梯度阈值。
在本发明实施例中，通过设置所述预设梯度阈值可以选自以参考图像的梯度值为中心的预设梯度值范围，可以使得所述预设梯度阈值的选值更接近实际值，提高判断的准确性。
在步骤S13的具体实施中，自最高层分解图像起，逐层进行第一级别对齐以及第二级别对齐，以得到第二对齐运动向量。需要指出的是，在计算过程中，需要依照自高至低的顺序，逐层计算，并且前一层的第二对齐运动向量将会被用到后一层的运算中。
进一步地，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量的步骤可以包括：采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到所述分解图像的第一对齐运动向量。
其中，所述第一级别对齐包括像素级别对齐，所述第一对齐算法为自适应的十字搜索算法，所述第二对齐算法为全局搜索算法。
具体地，可以将图像对齐分为像素级别的对齐与亚像素级别的对齐两部分，图像按梯度分为平坦区域和纹理区域，平坦区域由于像素值的差异较小，在进行像素级别的对齐时采用全局搜索(Full Search，FS)；而对于纹理区域，像素级别的对齐可以采用自适应的十字搜索算法(Adaptive Rood Pattern Search，ARPS)。相比较FS，ARPS方法的计算量大大降低。
参照图2，图2是本发明实施例中一种FS与ARPS的计算位置示意图。
如图2所示，以图像块为7×7＝49为例，假如搜索半径为3，FS的计算次数为49次，而ARPS的典型计算次数仅为10。ARPS采用的十字搜索方法，外加其邻域像素块的对齐结果作为该图像块的预测的运动向量(Motion Vector，MV)。
继续参照图1，在步骤S13的具体实施中，还可以对所述参考图像进行金字塔分解，以得到多层参考图像分解图像，其中，每层参考图像分解图像包含所述预设数量个参考图像块，且所述参考图像块与所述待对齐图像的图像块一一对应。
参照图3，图3是本发明实施例中一种确定所述分解图像的第一对齐运动向量的流程图。采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到所述分解图像的第一对齐运动向量的步骤可以包括步骤S31至步骤S34，以下对各个步骤进行说明。
在步骤S31中，采用所述自适应的十字搜索算法，对各个纹理区域图像块与对应的参考图像块进行像素级别对齐，以得到各个纹理区域图像块的图像差异。
具体地，由于所述参考图像块与所述待对齐图像的图像块一一对应，因此可以将每个纹理区域图像块与对应的参考图像块进行像素级别对齐，采用的算法为自适应的十字搜索算法，以降低计算量。
在步骤S32中，采用所述全局搜索算法，对各个平坦区域图像块与对应的参考图像块进行像素级别对齐，以得到各个平坦区域图像块的图像差异。
具体地，由于所述参考图像块与所述待对齐图像的图像块一一对应，因此可以将每个平坦区域图像块与对应的参考图像块进行像素级别对齐，采用的算法为全局搜索算法，以保持准确性。
在步骤S33中，在各个纹理区域图像块的图像差异与各个平坦区域图像块的图像差异之间，确定图像差异的最小值。
换而言之，会对包括纹理区域图像块以及平坦区域图像块在内的全部图像块计算图像差异，之后在全部图像差异中，确定最小值。
在步骤S34中，确定所述图像差异最小值对应的图像块的对齐运动向量，作为所述分解图像的第一对齐运动向量。
具体地，可以确定所述图像差异最小的那个图像块，进而确定所述图像块的对齐运动向量，作为所述分解图像的第一对齐运动向量。
在本发明实施例中，通过采用确定所述图像差异最小值对应的图像块的对齐运动向量，作为所述分解图像的第一对齐运动向量，且分别采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到每个图像块的第一对齐运动向量，可以利用自适应的十字搜索算法计算量小、全局搜索算法准确性高的特点，在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
进一步地，在采用步骤S13对所述分解图像的每个图像块分别进行第一级别对齐之前，还可以包括：选取最高层分解图像的中心区域作为对齐目标，对所述多层分解图像进行全局对齐，以使得各层分解图像的中心区域重合。
在本发明实施例中，选取最高层分解图像的中心区域作为对齐目标，对所述多层分解图像进行全局对齐，有助于解决块匹配搜索到图像边界外的问题，尤其在全局移动较大到时候，可以有效提高图像对齐效果。
更进一步地，采用自适应的十字搜索算法进行全局对齐。
在本发明实施例中，通过采用自适应的十字搜索算法进行全局对齐，可以降低运算量，提高对齐效率。
继续参照图1，在步骤S13的具体实施中，在得到所述分解图像的第一对齐运动向量之后，可以对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量。
需要指出的是，在对所述分解图像进行移动并得到移动后的分解图像的步骤中，采用第一对齐运动向量进行移动。
需要指出的是，在对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐的步骤中，根据所述移动后的分解图像是否为最底层分解图像，可以分为对全部图像块进行第二级别对齐，或者，仅对纹理区域图像块进行第二级别对齐，而对平坦区域图像块不进行第二级别对齐。
进一步地，所述第二级别对齐可以包括亚像素级别对齐，所述移动后的分解图像的各个图像块被分为纹理区域图像块以及平坦区域图像块；所述对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐的步骤可以包括：当所述移动后的分解图像的各个图像块属于所述最底层分解图像时，仅对移动后的分解图像的各个纹理区域图像块分别进行亚像素级别对齐；当所述移动后的分解图像的各个图像块不属于所述最底层分解图像时，对移动后的分解图像的全部图像块分别进行亚像素级别对齐。
在本发明实施例中，当所述移动后的分解图像的各个图像块属于所述最底层分解图像时，仅对移动后的分解图像的各个纹理区域图像块分别进行亚像素级别对齐，由于平坦区域没有细节，故在金字塔最底层不用对平坦区域进行亚像素级别对齐，有助于提高对齐效率，降低计算量。
进一步地，所述对移动后的分解图像的每个图像块分别进行第二级别对齐的步骤可以包括：采用光流法或者二次曲面拟合对移动后的分解图像的每个图像块分别进行第二级别对齐。
在本发明实施例中，在得到像素级别对齐结果的基础上，分别对纹理区域和平坦区域进行拟合，可以得到更高精度的对齐结果。
以光流法为例，I0(x,y)和I1(x,y)分别表示参考图像与待对齐图像，两者的差异可以用差异平方的和(SSD)表示如下：
ESSD＝∑∑(I0(x,y)-I1(x+Δ1,y+Δ2))2 (1)
光流法对齐就是求出相应的运动向量MV＝(Δ1,Δ2)使得ESSD最小:
Figure BDA0002420115610000131
Figure BDA0002420115610000132
当Δ1,Δ2较小时，对I1(x+Δ1,y+Δ2)进行泰勒展开有：
Figure BDA0002420115610000133
化简可得：
Figure BDA0002420115610000134
其中
Figure BDA0002420115610000135
令
Figure BDA0002420115610000136
方程(5)变为
Figure BDA0002420115610000137
可得最终的结果为：
Figure BDA0002420115610000138
需要指出的是，由于在光流法原理的推导过程中采用了一级泰勒近似展开，而条件是Δ1,Δ2较小时才成立，故光流法只适用于在得到像素级别对齐结果的基础之上提高对齐精度；当条件不满足时，光流法不能得到好的结果。
在本发明实施例中，采用光流法对移动后的分解图像的每个图像块分别进行亚像素级别对齐，由于光流法是建立在小范围运动的假设之上，对于大范围运动的情况存在求矩阵逆的操作不稳定的问题，采用本发明实施例的方案，通过设置在对所述分解图像的每个图像块分别进行像素级别对齐之后，才采用光流法对移动后的分解图像的每个图像块分别进行亚像素级别对齐，有助于提高光流法的对齐效果。
需要指出的是，在对所述分解图像的每个图像块分别进行像素级别对齐之后，才采用二次曲面拟合对移动后的分解图像的每个图像块分别进行亚像素级别对齐，也同样可以提高二次曲面拟合的对齐效果。
在步骤S14的具体实施中，采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量。
具体地，每层得到的对齐结果传递至下一层，作为下一层的初始位置，直到到达金字塔最底层。
在本发明实施例中，通过对待对齐图像进行金字塔分解，并在对所述分解图像的每个图像块分别进行第一级别对齐的过程中，采用不同的对齐算法对纹理区域图像块以及平坦区域图像块进行第一级别对齐，然后对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，所述第二级别对齐的粒度小于所述第一级别对齐的粒度，其中，粒度是对齐的最小尺寸，相比于现有技术中仅采用单种对齐算法，且往往存在计算量过大或者准确性较差的问题，采用本发明实施例，有机会通过采用两种算法在计算量和准确性两种需求之间达到平衡，提高图像对齐的效果。
进一步地，所述参考图像包含所述预设数量个图像块，所述参考图像与待对齐图像之间的图像块一一对应；所述图像对齐方法还包括：分别采用所述最底层分解图像中每个图像块的第二对齐运动向量，将所述最底层分解图像中每个图像块与所述参考图像中的每个图像块一一对齐。
在本发明实施例中，通过分别采用所述最底层分解图像中每个图像块的第二对齐运动向量，将所述最底层分解图像中每个图像块与所述参考图像中的每个图像块一一对齐，可以使每个图像块都采用适当的对齐运动向量进行对齐，相比于整个图像采用同样的对齐运动向量，采用本发明实施例的方案，可以提高对齐效果。
参照图4，图4是本发明实施例中一种图像对齐装置的结构示意图。所述图像对齐装置可以包括：
图像提供模块41，用于提供参考图像以及待对齐图像；
分解模块42，用于对所述待对齐图像进行金字塔分解，以得到多层分解图像，其中，每层分解图像包含预设数量个图像块，相邻层分解图像之间的图像块一一对应；
第一对齐模块43，用于自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量，所述第二级别对齐的粒度小于所述第一级别对齐的粒度；
第二对齐模块44，用于采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量；
其中，每层分解图像的多个图像块包括纹理区域图像块以及平坦区域图像块，采用第一对齐算法对所述纹理区域图像块进行第一级别对齐，采用第二对齐算法对所述平坦区域图像块进行第一级别对齐，所述第一对齐算法与所述第二对齐算法不同。
关于该图像对齐装置的原理、具体实现和有益效果请参照前文及图1至图3示出的关于图像对齐方法的相关描述，此处不再赘述。
本发明实施例还提供了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种图像对齐方法，其特征在于，包括以下步骤：
提供参考图像以及待对齐图像；
对所述待对齐图像进行金字塔分解，以得到多层分解图像，其中，每层分解图像包含预设数量个图像块，相邻层分解图像之间的图像块一一对应；
自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量，所述第二级别对齐的粒度小于所述第一级别对齐的粒度；
采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量；
其中，每层分解图像的多个图像块包括纹理区域图像块以及平坦区域图像块，采用第一对齐算法对所述纹理区域图像块进行第一级别对齐，采用第二对齐算法对所述平坦区域图像块进行第一级别对齐，所述第一对齐算法与所述第二对齐算法不同。
2.根据权利要求1所述的图像对齐方法，其特征在于，所述参考图像包含所述预设数量个图像块，所述参考图像与待对齐图像之间的图像块一一对应；所述方法还包括：
分别采用所述最底层分解图像中每个图像块的第二对齐运动向量，将所述最底层分解图像中每个图像块与所述参考图像中的每个图像块一一对齐。
3.根据权利要求1所述的图像对齐方法，其特征在于，在对所述分解图像的每个图像块分别进行第一级别对齐之前，还包括：
分别确定每层分解图像的每个图像块的梯度值；
如果所述梯度值大于等于预设梯度阈值，则确定所述图像块为纹理区域图像块；
如果所述梯度值小于所述预设梯度阈值，则确定所述图像块为平坦区域图像块。
4.根据权利要求3所述的图像对齐方法，其特征在于，所述预设梯度阈值选自以参考图像的梯度值为中心的预设梯度值范围。
5.根据权利要求1所述的图像对齐方法，其特征在于，所述第一级别对齐包括像素级别对齐，所述第一对齐算法为自适应的十字搜索算法，所述第二对齐算法为全局搜索算法，
对所述分解图像的每个图像块分别进行第一级别对齐包括：
采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到所述分解图像的第一对齐运动向量。
6.根据权利要求5所述的图像对齐方法，其特征在于，所述参考图像被金字塔分解为多层参考图像分解图像，其中，每层参考图像分解图像包含所述预设数量个参考图像块，且所述参考图像块与所述待对齐图像的图像块一一对应；
采用所述自适应的十字搜索算法对所述纹理区域图像块进行像素级别对齐，采用所述全局搜索算法对所述平坦区域图像块进行像素级别对齐，以得到所述分解图像的第一对齐运动向量包括：
采用所述自适应的十字搜索算法，对各个纹理区域图像块与对应的参考图像块进行像素级别对齐，以得到各个纹理区域图像块的图像差异；
采用所述全局搜索算法，对各个平坦区域图像块与对应的参考图像块进行像素级别对齐，以得到各个平坦区域图像块的图像差异；
在各个纹理区域图像块的图像差异与各个平坦区域图像块的图像差异之间，确定图像差异的最小值；
确定所述图像差异最小值对应的图像块的对齐运动向量，作为所述分解图像的第一对齐运动向量。
7.根据权利要求1所述的图像对齐方法，其特征在于，在对所述分解图像的每个图像块分别进行第一级别对齐之前，还包括：
选取最高层分解图像的中心区域作为对齐目标，对所述多层分解图像进行全局对齐，以使得各层分解图像的中心区域重合。
8.根据权利要求7所述的图像对齐方法，其特征在于，采用自适应的十字搜索算法进行全局对齐。
9.根据权利要求1至7任一项所述的图像对齐方法，其特征在于，所述对移动后的分解图像的每个图像块分别进行第二级别对齐包括：
采用光流法或者二次曲面拟合对移动后的分解图像的每个图像块分别进行第二级别对齐。
10.根据权利要求1所述的图像对齐方法，其特征在于，所述第二级别对齐包括亚像素级别对齐，所述移动后的分解图像的各个图像块被分为纹理区域图像块以及平坦区域图像块；
所述对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐包括：
当所述移动后的分解图像的各个图像块属于所述最底层分解图像时，仅对移动后的分解图像的各个纹理区域图像块分别进行亚像素级别对齐；
当所述移动后的分解图像的各个图像块不属于所述最底层分解图像时，对移动后的分解图像的全部图像块分别进行亚像素级别对齐。
11.一种图像对齐装置，其特征在于，包括：
图像提供模块，用于提供参考图像以及待对齐图像；
分解模块，用于对所述待对齐图像进行金字塔分解，以得到多层分解图像，其中，每层分解图像包含预设数量个图像块，相邻层分解图像之间的图像块一一对应；
第一对齐模块，用于自最高层分解图像起，对所述分解图像的每个图像块分别进行第一级别对齐，以得到所述分解图像的第一对齐运动向量，对所述分解图像进行移动并得到移动后的分解图像，对移动后的分解图像的各个图像块的至少一部分分别进行第二级别对齐，以得到每个图像块的第二对齐运动向量，所述第二级别对齐的粒度小于所述第一级别对齐的粒度；
第二对齐模块，用于采用前一层分解图像中各个图像块的第二对齐运动向量作为后一层分解图像中对应的图像块的初始像素坐标，依次确定后一层分解图像中各个图像块的第二对齐运动向量，直至确定最底层分解图像中各个图像块的第二对齐运动向量；
其中，每层分解图像的多个图像块包括纹理区域图像块以及平坦区域图像块，采用第一对齐算法对所述纹理区域图像块进行第一级别对齐，采用第二对齐算法对所述平坦区域图像块进行第一级别对齐，所述第一对齐算法与所述第二对齐算法不同。
12.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至10任一项所述图像对齐方法的步骤。
13.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至10任一项所述图像对齐方法的步骤。
CN202010205571.4A 2020-03-20 2020-03-20 图像对齐方法及装置、存储介质、终端 Active CN113496504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010205571.4A CN113496504B (zh) 2020-03-20 2020-03-20 图像对齐方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010205571.4A CN113496504B (zh) 2020-03-20 2020-03-20 图像对齐方法及装置、存储介质、终端

Publications (2)

Publication Number Publication Date
CN113496504A true CN113496504A (zh) 2021-10-12
CN113496504B CN113496504B (zh) 2022-11-29

Family

ID=77993115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010205571.4A Active CN113496504B (zh) 2020-03-20 2020-03-20 图像对齐方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN113496504B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065975A (zh) * 2014-06-30 2014-09-24 山东大学 基于适应性运动估计的帧率提升方法
CN104602018A (zh) * 2014-10-21 2015-05-06 腾讯科技（北京）有限公司 视频数据的运动信息的获取方法和装置、编码方法和装置
CN104811728A (zh) * 2015-04-23 2015-07-29 湖南大目信息科技有限公司 一种视频内容自适应的运动搜索方法
US20170278293A1 (en) * 2013-07-18 2017-09-28 Google Inc. Processing a Texture Atlas Using Manifold Neighbors
CN109801318A (zh) * 2019-01-30 2019-05-24 东北大学 一种快速物体匹配算法
CN110650346A (zh) * 2019-09-26 2020-01-03 西安邮电大学 一种3d-hevc深度图运动估计并行实现方法及结构

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278293A1 (en) * 2013-07-18 2017-09-28 Google Inc. Processing a Texture Atlas Using Manifold Neighbors
CN104065975A (zh) * 2014-06-30 2014-09-24 山东大学 基于适应性运动估计的帧率提升方法
CN104602018A (zh) * 2014-10-21 2015-05-06 腾讯科技（北京）有限公司 视频数据的运动信息的获取方法和装置、编码方法和装置
CN104811728A (zh) * 2015-04-23 2015-07-29 湖南大目信息科技有限公司 一种视频内容自适应的运动搜索方法
CN109801318A (zh) * 2019-01-30 2019-05-24 东北大学 一种快速物体匹配算法
CN110650346A (zh) * 2019-09-26 2020-01-03 西安邮电大学 一种3d-hevc深度图运动估计并行实现方法及结构

Also Published As

Publication number Publication date
CN113496504B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
US20230419437A1 (en) Systems and methods for fusing images
CN109064514B (zh) 一种基于投影点坐标回归的六自由度位姿估计方法
Jo et al. Practical single-image super-resolution using look-up table
CN110223330B (zh) 一种可见光和红外图像的配准方法及系统
CN103167218B (zh) 一种基于非局部性的超分辨率重建方法和设备
KR20160036662A (ko) 이미지 아티팩트들을 보정하는 시스템 및 방법
US8774276B2 (en) Image processing method for determining motion vectors of interpolated picture and related apparatus
CN106780370A (zh) 一种图像去抖动设备及其方法
WO2021135702A1 (zh) 一种视频去噪方法和电子设备
CN108270945B (zh) 一种运动补偿去噪方法及装置
Zhu et al. Video super-resolution based on automatic key-frame selection and feature-guided variational optical flow
CN110322477B (zh) 特征点观察窗口设置方法、跟踪方法、装置、设备和介质
CN114514746B (zh) 用于作为对视频编码的预处理的运动自适应滤波的系统和方法
Al-Amaren et al. A very fast edge map-based algorithm for accurate motion estimation
CN113496504B (zh) 图像对齐方法及装置、存储介质、终端
Ponomaryov et al. Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise
US9215474B2 (en) Block-based motion estimation method
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
CN115170413A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Liu et al. One-dimensional block-matching motion estimation algorithm
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
WO2012028480A1 (en) Global motion vector estimation
US20230281830A1 (en) Optical flow techniques and systems for accurate identification and tracking of moving objects
Jeong Fast sub-pixel motion estimation having lower complexity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant