CN109166077A - 图像对齐方法、装置、可读存储介质及计算机设备 - Google Patents

图像对齐方法、装置、可读存储介质及计算机设备 Download PDF

Info

Publication number
CN109166077A
CN109166077A CN201810943301.6A CN201810943301A CN109166077A CN 109166077 A CN109166077 A CN 109166077A CN 201810943301 A CN201810943301 A CN 201810943301A CN 109166077 A CN109166077 A CN 109166077A
Authority
CN
China
Prior art keywords
image
matched
reference picture
pixel
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810943301.6A
Other languages
English (en)
Other versions
CN109166077B (zh
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810943301.6A priority Critical patent/CN109166077B/zh
Publication of CN109166077A publication Critical patent/CN109166077A/zh
Application granted granted Critical
Publication of CN109166077B publication Critical patent/CN109166077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种图像对齐方法、装置、可读存储介质及计算机设备，该方法包括：获取参考图像对应的深度信息图，并对所述深度信息图进行超像素分割，得到多个超像素区域；根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像，并计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵；根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像；将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。本发明实施例能达到更好图像对齐的效果，图像间对齐精度高。

Description

图像对齐方法、装置、可读存储介质及计算机设备
技术领域
本发明涉及图像处理领域，特别是涉及一种图像对齐方法、装置、可读存储介质及计算机设备。
背景技术
对于多帧夜景图像增强、多帧HDR(高动态范围图像)、多帧图像拼接等多帧合成应用场景，需要计算帧间运动参数对多帧图像对齐。
现有技术中，对于平面图像，帧间的运动参数可以用一个单应矩阵精确描述。所述平面图像指的是场景本身是一个平面或者场景目标离摄像头较远可以近似为一个平面。但在实际应用中，拍摄的图像一般为非平面的，一个单应矩阵无法完整描述帧间运动，通过现有技术中的方法进行图像件的对齐精度差，其图像处理效果不理想。
发明内容
鉴于上述状况，有必要针对现有技术中图像对齐精度差的问题，提供一种图像对齐方法、装置、可读存储介质及计算机设备。
一种图像对齐方法，包括：
获取参考图像对应的深度信息图，并对所述深度信息图进行超像素分割，得到多个超像素区域；
根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像，并计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵；
根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像；
将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
上述图像对齐方法，其中，
所述计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵的步骤包括：
提取所述参考图像和所述待匹配图像的区域图像的特征点集合；
根据所述参考图像和所述待匹配图像之间的对应区域图像的特征点集合，求解各对应的区域图像之间的单应矩阵。
上述图像对齐方法，其中，所述获取参考图像对应的深度信息图的步骤包括：
获取所述参考图像对应的场景的另一拍摄视角的图像；
采用立体匹配算法对所述图像和所述参考图像进行处理得到所述参考图像的深度信息图。
上述图像对齐方法，其中，所述对所述待匹配图像和所述参考图像的深度信息图进行超像素分割，得到多个超像素区域的步骤包括：
基于SLIC超像素分割算法，根据所述深度信息图的像素距离信息以及像素邻近性信息，将所述深度信息图划分为多个超像素区域。
上述图像对齐方法，其中，所述深度信息图划分为多个超像素区域的公式包括：
dd＝abs(dispartyi-dispartyk)；
dxy＝abs(xi-xk)+abs(yi-yk)；
dist＝dd+k*dxy；
其中，dd表示的是第k个种子周边2S*2S邻域内的第i个像素处的视差值与种子k坐标点处视差值的差；dispartyi表示这第k个种子点周围2S*2S范围内的第i个像素点的视差值；dxy表示距离邻近性；yk和xk，分别表示的是第k个种子的坐标点；xi和yi分别表示第k个种子点周围2S*2S范围第i个像素的坐标值。
上述图像对齐方法，其中，所述将多个所述目标区域图像进行拼接处理得到完整的目标待匹配图像的步骤包括：
将每个所述目标区域进行边界沿拓，对沿拓后的目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
本发明实施例还提供了一种图像对齐装置，包括：
获取模块，用于获取参考图像对应的深度信息图；
分割模块，用于对所述深度信息图进行超像素分割，得到多个超像素区域；
确定模块，用于根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像；
计算模块，用于计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵；
单应矩阵变换模块，用于根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像；
拼接融合处理模块，用于将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
上述图像对齐装置，其中，所述计算模块包括：
提取模块，用于提取所述参考图像和所述待匹配图像的区域图像的特征点集合；
计算子模块，用于根据所述参考图像和所述待匹配图像之间的对应区域图像的特征点集合，求解各对应的区域图像之间的单应矩阵。
上述图像对齐装置，其中，所述获取模块用于：
获取所述参考图像对应的场景的另一拍摄视角的图像；
采用立体匹配算法对所述图像和所述参考图像进行处理得到所述参考图像的深度信息图。
上述图像对齐装置，其中，分割模块具体用于：基于SLIC超像素分割算法，根据所述深度信息图的像素距离信息以及像素邻近性信息，将所述深度信息图划分为多个超像素区域。
上述图像对齐装置，其中，所述深度信息图划分为多个超像素区域的公式包括：
dd＝abs(dispartyi-dispartyk)；
dxy＝abs(xi-xk)+abs(yi-yk)；
dist＝dd+k*dxy；
其中，dd表示的是第k个种子周边2S*2S邻域内的第i个像素处的视差值与种子k坐标点处视差值的差；dispartyk表示的是第k个种子点的视差值；dispartyi表示这第k个种子点周围2S*2S范围内的第i个像素点的视差值；dxy表示距离邻近性；yk和xk，分别表示的是第k个种子的坐标点；xi和yi分别表示第k个种子点周围2S*2S范围第i个像素的坐标值。
上述图像对齐装置，其中，拼接融合处理模块具体用于将每个所述目标区域进行边界沿拓，对沿拓后的目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一项所述的方法的步骤。
本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的方法的步骤。
本发明实施例中，获取参考图像的深度图像，并对深度图像进行超像素分割，得到多个超像素区域。对于每一个超像素区域图像，在参考图像和待匹配图像中的对应区域计算各自区域的单应矩阵。并根据单应矩阵对待匹配图像进行单应变换，得到映射变换后的多个目标区域图像，再对该多个目标区域图像进行拼接融合处理即可得到对齐后的完整待匹配图像。本实施例的参考图像和待匹配图像的区域划分与深度信息图的区域分划对应，都是依据场景距离信息，自适应分割为多个区域，对不同的区域使用不同的单应矩阵进行对齐，能达到更好的效果，图像间对齐精度高。
附图说明
图1为本发明第一实施例中的图像对齐方法的流程图；
图2a为深度信息图的分割区域示意图；
图2b为参考图像的分割区域示意图；
图2c为待匹配图像的分割区域示意图；
图3为本发明第二实施例中的图像对齐方法的流程图；
图4为边缘沿拓后的待匹配图像的示意图；
图5为本发明第三实施例中的图像对齐装置的结构框图；
图6为本发明实施例中计算机设备的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为本发明第一实施例中的图像对齐方法，包括步骤S11～S14。
步骤S11，获取参考图像对应的深度信息图，并对所述深度信息图进行超像素分割，得到多个超像素区域。
本实施例中的方法用于对两张图像进行对齐。其中参考图像为被对齐图像，待匹配图像为对齐图像。即待匹配图像中的各个特征点要与参考图像中的各个特征点进行对齐。
图像深度是指两帧图像之间的视差，其中参考图像对应的深度信息图的获取方法有多种，例如看可以通过深度传感器在与参考图像相同视角和相同拍照对象的情况下拍摄图像，深度传感器可直接获取深度信息图。还有一种方法是通过立体匹配算法计算多视图，得到深度信息图。根据多视图集合原理，对于静止的场景，如果从不同位置拍摄多幅图像，且不同图像之间有公共内容，那么理论上就能从这些图像自动地恢复出摄像机的内外参数以及场景的三维信息。通常根据不同角度拍摄的图像获取深度信息图的方法有多种，其中，业内熟知的有半全局匹配算法和全局匹配算法。
对深度信息图进行超像素分割可采用SLIC(simple linear iterativeclustering，简单的线性迭代聚类)超像素分割算法。SLIC超像素分割算法是一种简单、实现方便的算法，将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。
由于本实施例中的超像素分割对象为一深度信息图，其表示拍摄场景中物体的远近信息。因此本实施例中的图像分割原理依据像素之间深度相似性和距离邻近性。通过对深度信息图进行分割充分考虑了非平面场景的为题，其分割更为合理。
步骤S12，根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像，并计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵。
例如，如图2a～2c所示，超像素图像2a中，依据超像素分割原理分割成3个区域I1、I2和I3。参考图像和待匹配图像按照深度信息图的分割区域进行对应分割，形成3个区域。如图2b所示，参考图像对应分割为R1、R2、R3三个区域，待匹配图像对应分割为H1、H2和H3三个区域。参考图像和待匹配图像进行分割的区域分别与深度信息图的分割区域一一对应，由于深度信息图分割原理依据拍摄场景的距离信息，因此参考图像和待匹配图像的分割也依据拍摄场景的距离信息，符合非平面拍摄的图像的分割要求。
参考图像和待匹配图像的分割区域也一一对应，即R1、R2和R3分别对应H1、H2和H3。计算每对对应区域的单应矩阵(homography矩阵)，其计算方法可参考现有技术中的单应矩阵的计算方法。
步骤S13，根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像。
步骤S14，将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
计算得到参考图像和待匹配图像的对应区域图像的单应矩阵后后，根据各个对应区域图像的单应矩阵对待匹配图像的各个区域图像进行坐标换算，得到映射变换后的多个目标区域图像。该多个目标区域图像与参考图像的各个区域图像精确对齐。
将多个目标区图像进行拼接融合得到一完整的图像，即对齐后的目标区域图像。将各个目标区域进行拼接融合可采用现有技术中的拼接技术或拼接算法如羽化算法即可实现。
本实施例中，获取参考图像的深度图像，并对深度图像进行超像素分割，得到多个超像素区域。对于每一个超像素区域图像，在参考图像和待匹配图像中的对应区域计算各自区域的单应矩阵。并根据单应矩阵对待匹配图像进行单应变换，得到映射变换后的多个目标区域图像，再对该多个目标区域图像进行拼接融合处理即可得到对齐后的完整待匹配图像。本实施例的参考图像和待匹配图像的区域划分与深度信息图的区域分划对应，都是依据场景距离信息，自适应分割为多个区域，对不同的区域使用不同的单应矩阵进行对齐，能达到更好的效果，图像间对齐精度高。
请参阅图3，为本发明第二实施例中的图像对齐方法，包括步骤S21～S27。
步骤S21，获取参考图像和所述参考图像对应的场景的另一拍摄视角的图像。
具体实施时，可获取一拍摄场景下不同视角的两张图像，其中一张图像为所需要的参考图像。
步骤S22，采用立体匹配算法对所述图像和所述参考图像进行处理得到所述参考图像的深度信息图。
立体匹配算法包括半全局匹配算法和全局匹配算法，这两种方法均可用于本实施例中的图像处理，得到深度信息图。其中半全局匹配算法，其复杂程度低，计算过程简单。因此本实施例中深度信息图的获取可通过单摄像头在不同视角拍摄的两帧图像，其中一个图像为参考图像，采用半全局匹配算法(semi-global matching)，对两个不同视角的两帧图像进行计算，得到一个深度信息图。半全局匹配算法一般采用基于窗口的匹配方法，每个像素独立估计深度，相邻像素之间没有关联。基于半全局匹配算法通常是将匹配问题转换为一个能量方程，然后通过求解该能量方程的最小值来求取视差值。能量方程通常具有以下的形式：
其中Cdata(dx)是数据项用来约束像素点在偏移前后的变化尽量小，V(dx，dx-1)是光滑项，约束像素点在偏移前后与周围像素点的关系变化尽量小。
步骤S23，基于SLIC超像素分割算法，根据所述深度信息图的像素距离信息以及像素邻近性信息，将所述深度信息图划分为多个超像素区域。
一般图像的分割依据颜色相似和邻近性，而本实施例中是对深度信息图进行分割，其分割的依据不同于一般图像。本实施例的分割依据是像素之间深度相似性和距离邻近性。
例如，对一张尺寸为w*h的图像，初始化n＝m1*m2个超像素分块，记录这n个超像素分块的种子坐标(li，ai，bi，xi，yi)，i＝1～n，超像素块的初始化像素尺寸S＝w/m；1＝h/m2；
迭代：以每一个超像素种子为中心计算n个超像素分块周围2S*2S范围内每一个像素的距离度量值dist，如果计算得到新的距离度量值比之前存储的值更小，则将新的距离度量值记录下来，并将当前处理的像素标记为当前种子编号；并重复迭代的步骤。
其中，总的距离度量因子dist由下式计算得到：
dd＝abs(dispartyi-dispartyk)；
dxy＝abs(xi-xk)+abs(yi-yk)；
dist＝dd+k*dxy；
上式中，dd表示的是第k个种子周边2S*2S邻域内的第i个像素处的视差值与种子k坐标点处视差值的差；dispartyk表示的是第k个种子点的视差值；dispartyi表示这第k个种子点周围2S*2S范围内的第i个像素点的视差值；dxy表示距离邻近性；yk和xk，分别表示的是第k个种子的坐标点；xi和yi分别表示第k个种子点周围2S*2S范围第i个像素的坐标值。
通过多深度信息图进行分割，可将拍摄场景中的物体的距离远近因素作为分割依据，解决非平面场景的图像对齐的根本问题。
步骤S24，根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像，并提取多个所述区域图像的特征点集合。
本实施例可根据特征点检测匹配算法计算深度信息图中的特征点，并根据同样的算法检测参考图像和待匹配图像中的对应的特征点。将根据参考图像和待匹配图像中的对应特征点进行匹配确定对应的区域图像。
步骤S25，根据所述参考图像和待匹配图像之间对应的区域图像的特征点集合，求解各对应区域图像之间的单应矩阵。
对于参考图像和待匹配图像中的多组对应区域图像，根据特征点检测和匹配算法，对应计算各个对应块之间的单应变换矩阵。单应矩阵的计算方式采用业内熟知的DLT算法。
对于两幅图像上的一对对应特征点mi和mi’,
mi＝[xi 1,yi 1,1]mi 2＝[xi 2,yi 2,1]
存在:
smi'＝Hm (1)
其中，s是一个比例因子，H是一个3*3的线性矩阵，也即是实施例中的单应矩阵。
通过至少4对对应点构建8个线性方程，可以通过最小二乘法求解H矩阵中8个参数。具体求解公式描述如下：
将公式(1)展开得到：
Ah＝b (2)
其中：
h＝[h1 h2 h3 h4 h5 h6 h7 h8]
根据公式(2)，取四组对应点，构建一个8x8的线性方程组，可以求解H矩阵。
具体实施时，对于超像素分割块内对应点稀疏不足以求解H矩阵或者没有对应点的情况，采用最邻近区域的H矩阵进行替代。
步骤S26，根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像。
根据每组对应区域图像的单应矩阵可对待匹配图像的各个区域图像进行单应变换，即可得到与参考图像的各区域图像对齐的目标区域图像。具体步骤如下：
步骤S1，将超像素分割得到的标记图像作为掩模，对第j个在掩模下的参考图像的特征点Mi，使用第j个单应矩阵Hi，求待匹配图像下的映射坐标Mi 2；
Mi 2＝HiMi 1
其中，Mi 2为对应待匹配图像下的浮点坐标，i∈(1,2,…,k)；
步骤S2，通过最邻近插值方式，将Mi 1点的像素值填充到Mi 2最邻近坐标处，得到掩模下的区域映射图像。
上述步骤中，将对于深度图分割得到的k个超像素块，参考步骤S1和S2，可实现所有k个超像素区域图像的映射插值，得到k个映射插值后的目标区域图像。
步骤S27，将每个所述目标区域进行边界沿拓，对沿拓后的目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
如图4所示，本实施例中还将待匹配图像的各个目标区域图像的边缘进行沿拓，在每个区域图像的相邻边界形成加权融合区域。对沿拓后的目标区域进行拼接融合得到完整的目标待匹配图像。本实施例中，通过将目标区域图像的边界进行沿拓处理，可便于各区域图像之间的拼接融合，实现更好的拼接融合效果。
请参阅图5，为本发明第三实施例中的本发明实施例还提供了一种图像对齐装置，包括：
获取模块100，用于获取参考图像对应的深度信息图；
分割模块200，用于对所述深度信息图进行超像素分割，得到多个超像素区域；
确定模块300，用于根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像；
计算模块400，用于计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵；
单应矩阵变换模块500，用于根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像；
拼接融合处理模块600，用于将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
进一步的，上述图像对齐装置，其中，所述所述计算模块400包括：
提取模块，用于提取所述参考图像和所述待匹配图像的区域图像的特征点集合；
计算子模块，用于根据所述参考图像和所述待匹配图像之间的对应区域图像的特征点集合，求解各对应的区域图像之间的单应矩阵。
进一步的，上述图像对齐装置，其中，所述获取模块100用于：
获取所述参考图像对应的场景的另一拍摄视角的图像；
采用立体匹配算法对所述图像和所述参考图像进行处理得到所述参考图像的深度信息图。
进一步的，上述图像对齐装置，其中，分割模块200具体用于：基于SLIC超像素分割算法，根据所述深度信息图的像素距离信息以及像素邻近性信息，将所述深度信息图划分为多个超像素区域。
进一步的，上述图像对齐装置，其中，所述深度信息图划分为多个超像素区域的公式包括：
dd＝abs(dispartyi-dispartyk)；
dxy＝abs(xi-xk)+abs(yi-yk)；
dist＝dd+k*dxy；
其中，dd表示的是第k个种子周边2S*2S邻域内的第i个像素处的视差值与种子k坐标点处视差值的差；dispartyk表示的是第k个种子点的视差值；dispartyi表示这第k个种子点周围2S*2S范围内的第i个像素点的视差值；dxy表示距离邻近性；yk和xk，分别表示的是第k个种子的坐标点；xi和yi分别表示第k个种子点周围2S*2S范围第i个像素的坐标值。
进一步的，上述图像对齐装置，其中，拼接融合处理模块600具体用于：将每个所述目标区域进行边界沿拓，对沿拓后的目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
本实施例的图像对齐装置，可以用于执行图1至图2任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明还提供了一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述实施例1至2中任意一个的方法的步骤。
如图6所示，为本发明实施例中的计算机设备的结构示意图，包括存储器11、处理器12以及存储在存储器11上并可在处理器12上运行的计算机程序，所述处理器12执行所述程序时实现上述实施例1至2中任意一个的方法的步骤。该计算机设备还包括一显示装置13和输入装置14。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像对齐方法，其特征在于，包括：
获取参考图像对应的深度信息图，并对所述深度信息图进行超像素分割，得到多个超像素区域；
根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像，并计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵；
根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像；
将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
2.如权利要求1所述的图像对齐方法，其特征在于，所述计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵的步骤包括：
提取所述参考图像和所述待匹配图像的区域图像的特征点集合；
根据所述参考图像和所述待匹配图像之间的对应区域图像的特征点集合，求解各对应的区域图像之间的单应矩阵。
3.如权利要求1所述的图像对齐方法，其特征在于，所述获取参考图像对应的深度信息图的步骤包括：
获取所述参考图像对应的场景的另一拍摄视角的图像；
采用立体匹配算法对所述图像和所述参考图像进行处理得到所述参考图像的深度信息图。
4.如权利要求1所述的图像对齐方法，其特征在于，所述对所述待匹配图像和所述参考图像的深度信息图进行超像素分割，得到多个超像素区域的步骤包括：
基于SLIC超像素分割算法，根据所述深度信息图的像素距离信息以及像素邻近性信息，将所述深度信息图划分为多个超像素区域。
5.如权利要求4所述的图像对齐方法，其特征在于，所述深度信息图划分为多个超像素区域的公式包括：
dd＝abs(dispartyi-dispartyk)；
dxy＝abs(xi-xk)+abs(yi-yk)；
dist＝dd+k*dxy；
其中，dd表示的是第k个种子周边2S*2S邻域内的第i个像素处的视差值与种子k坐标点处视差值的差；dispartyk表示的是第k个种子点的视差值；dispartyi表示这第k个种子点周围2S*2S范围内的第i个像素点的视差值；dxy表示距离邻近性；yk和xk，分别表示的是第k个种子的坐标点；xi和yi分别表示第k个种子点周围2S*2S范围第i个像素的坐标值。
6.如权利要求1所述的图像对齐方法，其特征在于，所述将多个所述目标区域图像进行拼接处理得到完整的目标待匹配图像的步骤包括：
将每个所述目标区域进行边界沿拓，对沿拓后的所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
7.一种图像对齐装置，其特征在于，包括：
获取模块，用于获取参考图像对应的深度信息图；
分割模块，用于对所述深度信息图进行超像素分割，得到多个超像素区域；
确定模块，用于根据多个所述超像素区域确定所述参考图像与待匹配图像之间对应的多个区域图像；
计算模块，用于计算所述参考图像和待匹配图像对应的区域图像之间的单应矩阵；
单应矩阵变换模块，用于根据所述单应矩阵对所述待匹配图像的每个区域图像进行单应变换，得到映射变换后的多个目标区域图像；
拼接融合处理模块，用于将多个所述目标区域图像进行拼接融合处理得到完整的目标待匹配图像。
8.如权例要求7所述的图像对齐装置，其特征在于，所述计算模块包括：
提取模块，用于提取所述参考图像和所述待匹配图像的区域图像的特征点集合；
计算子模块，用于根据所述参考图像和所述待匹配图像之间的对应区域图像的特征点集合，求解各对应的区域图像之间的单应矩阵。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1－6中任意一项所述的方法的步骤。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－6中任意一项所述的方法的步骤。
CN201810943301.6A 2018-08-17 2018-08-17 图像对齐方法、装置、可读存储介质及计算机设备 Active CN109166077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810943301.6A CN109166077B (zh) 2018-08-17 2018-08-17 图像对齐方法、装置、可读存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810943301.6A CN109166077B (zh) 2018-08-17 2018-08-17 图像对齐方法、装置、可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN109166077A true CN109166077A (zh) 2019-01-08
CN109166077B CN109166077B (zh) 2023-04-18

Family

ID=64895922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810943301.6A Active CN109166077B (zh) 2018-08-17 2018-08-17 图像对齐方法、装置、可读存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN109166077B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096922A (zh) * 2019-05-08 2019-08-06 深圳市易尚展示股份有限公司 编码点的处理方法、装置、计算机设备和存储介质
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN110766611A (zh) * 2019-10-31 2020-02-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、存储介质及电子设备
CN110971841A (zh) * 2019-12-09 2020-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028276A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像对齐方法、装置、存储介质及电子设备
CN111275622A (zh) * 2020-01-18 2020-06-12 中国人民解放军陆军工程大学 图像拼接方法、装置及终端设备
CN111583317A (zh) * 2020-04-29 2020-08-25 深圳市优必选科技股份有限公司 图像对齐方法、装置及终端设备
CN111861871A (zh) * 2020-07-17 2020-10-30 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备和存储介质
CN112017218A (zh) * 2020-09-09 2020-12-01 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置、电子设备及存储介质
CN112686806A (zh) * 2021-01-08 2021-04-20 腾讯科技（深圳）有限公司 图像拼接方法及装置、电子设备、存储介质
CN112991179A (zh) * 2021-03-25 2021-06-18 北京百度网讯科技有限公司 用于输出信息的方法、装置、设备以及存储介质
CN113592706A (zh) * 2021-07-28 2021-11-02 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置
CN113658080A (zh) * 2021-08-23 2021-11-16 宁波棱镜空间智能科技有限公司 一种基于特征点匹配的线扫圆柱体几何校正方法及装置
CN113689478A (zh) * 2021-09-03 2021-11-23 凌云光技术股份有限公司 量测设备的对齐方法、装置及系统
CN114862658A (zh) * 2022-04-01 2022-08-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质
WO2023206475A1 (zh) * 2022-04-29 2023-11-02 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质
CN117291790A (zh) * 2023-09-19 2023-12-26 北京化工大学 一种sar图像配准方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504194A (zh) * 2016-11-03 2017-03-15 重庆邮电大学 一种基于最佳拼接平面和局部特征的图像拼接方法
US20170126968A1 (en) * 2015-11-03 2017-05-04 Intel Corporation Fusion of panoramic background images using color and depth data
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN107578376A (zh) * 2017-08-29 2018-01-12 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN108171651A (zh) * 2017-12-26 2018-06-15 天津大学 基于多模型几何拟合和分层单应变换的图像对齐方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170126968A1 (en) * 2015-11-03 2017-05-04 Intel Corporation Fusion of panoramic background images using color and depth data
CN106504194A (zh) * 2016-11-03 2017-03-15 重庆邮电大学 一种基于最佳拼接平面和局部特征的图像拼接方法
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN107578376A (zh) * 2017-08-29 2018-01-12 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN108171651A (zh) * 2017-12-26 2018-06-15 天津大学 基于多模型几何拟合和分层单应变换的图像对齐方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096922A (zh) * 2019-05-08 2019-08-06 深圳市易尚展示股份有限公司 编码点的处理方法、装置、计算机设备和存储介质
CN110096922B (zh) * 2019-05-08 2022-07-12 深圳市易尚展示股份有限公司 编码点的处理方法、装置、计算机设备和存储介质
CN110636276B (zh) * 2019-08-06 2021-12-28 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN110766611A (zh) * 2019-10-31 2020-02-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、存储介质及电子设备
CN110971841A (zh) * 2019-12-09 2020-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028276A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像对齐方法、装置、存储介质及电子设备
CN111028189B (zh) * 2019-12-09 2023-06-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110971841B (zh) * 2019-12-09 2022-07-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111275622A (zh) * 2020-01-18 2020-06-12 中国人民解放军陆军工程大学 图像拼接方法、装置及终端设备
CN111275622B (zh) * 2020-01-18 2022-10-14 中国人民解放军陆军工程大学 图像拼接方法、装置及终端设备
CN111583317A (zh) * 2020-04-29 2020-08-25 深圳市优必选科技股份有限公司 图像对齐方法、装置及终端设备
CN111583317B (zh) * 2020-04-29 2024-02-09 深圳市优必选科技股份有限公司 图像对齐方法、装置及终端设备
CN111861871A (zh) * 2020-07-17 2020-10-30 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备和存储介质
CN112017218A (zh) * 2020-09-09 2020-12-01 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置、电子设备及存储介质
CN112686806A (zh) * 2021-01-08 2021-04-20 腾讯科技（深圳）有限公司 图像拼接方法及装置、电子设备、存储介质
CN112991179A (zh) * 2021-03-25 2021-06-18 北京百度网讯科技有限公司 用于输出信息的方法、装置、设备以及存储介质
CN112991179B (zh) * 2021-03-25 2023-06-27 北京百度网讯科技有限公司 用于输出信息的方法、装置、设备以及存储介质
CN113592706A (zh) * 2021-07-28 2021-11-02 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置
CN113592706B (zh) * 2021-07-28 2023-10-17 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置
CN113658080B (zh) * 2021-08-23 2023-12-22 宁波棱镜空间智能科技有限公司 一种基于特征点匹配的线扫圆柱体几何校正方法及装置
CN113658080A (zh) * 2021-08-23 2021-11-16 宁波棱镜空间智能科技有限公司 一种基于特征点匹配的线扫圆柱体几何校正方法及装置
CN113689478A (zh) * 2021-09-03 2021-11-23 凌云光技术股份有限公司 量测设备的对齐方法、装置及系统
CN113689478B (zh) * 2021-09-03 2024-02-09 凌云光技术股份有限公司 量测设备的对齐方法、装置及系统
CN114862658B (zh) * 2022-04-01 2023-05-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质
WO2023184740A1 (zh) * 2022-04-01 2023-10-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质
CN114862658A (zh) * 2022-04-01 2022-08-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质
WO2023206475A1 (zh) * 2022-04-29 2023-11-02 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质
CN117291790A (zh) * 2023-09-19 2023-12-26 北京化工大学 一种sar图像配准方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109166077B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109166077A (zh) 图像对齐方法、装置、可读存储介质及计算机设备
Ham et al. Computer vision based 3D reconstruction: A review
JP5905540B2 (ja) 画像の少なくとも１つの特徴として記述子を提供する方法及び特徴をマッチングする方法
JP2017022694A (ja) ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品
CN110866953A (zh) 地图构建方法及装置、定位方法及装置
US20170171525A1 (en) Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
KR20070026403A (ko) 깊이 맵 생성
CN109559349A (zh) 一种用于标定的方法和装置
CN102222348B (zh) 一种三维目标运动矢量计算方法
CN115035235A (zh) 三维重建方法及装置
CN110517211A (zh) 一种基于梯度域映射的图像融合方法
Zhang et al. Synthetic aperture based on plenoptic camera for seeing through occlusions
WO2023169281A1 (zh) 图像配准方法、装置、存储介质及电子设备
Bartoli et al. From video sequences to motion panoramas
Gava et al. Dense scene reconstruction from spherical light fields
CN109089100B (zh) 一种双目立体视频的合成方法
CN106131498A (zh) 全景视频拼接方法及装置
CN112017138B (zh) 一种基于场景三维结构的图像拼接方法
Diskin et al. UAS exploitation by 3D reconstruction using monocular vision
Ni et al. Large field of view cooperative infrared and visible spectral sensor for visual odometry
Pramod et al. Techniques in Virtual Reality
Zhang et al. A gigapixel image mosaicking approach based on SURF and color transfer
CN117994332A (zh) 位姿确定方法及装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant