CN109242811B - 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 - Google Patents
一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN109242811B CN109242811B CN201810936452.9A CN201810936452A CN109242811B CN 109242811 B CN109242811 B CN 109242811B CN 201810936452 A CN201810936452 A CN 201810936452A CN 109242811 B CN109242811 B CN 109242811B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- frames
- pixel block
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及一种图像对齐方法及其装置、计算机可读存储介质和计算机设备，其中方法包括：获取两帧图像之间的光流信息图；对光流信息图进行超像素分割，获得多个超像素块区域；计算每个超像素块区域的单应矩阵；根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；延拓各个超像素块区域的映射图的边缘，并融合得到对齐图像。本发明实施例提出的图像对齐方法及其装置、计算机可读存储介质和计算机设备能够达到更好的图像对齐效果，并且帧间对齐精度高。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种图像对齐方法及其装置、计算机可读存储介质和计算机设备。
背景技术
在用单摄像头连续拍摄多帧图像，实现夜景图像增强、多帧HDR、多帧图像拼接等多帧合成的应用场景中，需要计算帧间的运动参数，以对齐多帧图像。对于平面图像，帧间的运动参数可以用一个单应矩阵精确描述；所述平面图像指的是场景本身是一个平面或者场景目标离摄像头较远可以近似为一个平面。对于非平面场景，帧间的运动参数无法用一个单应矩阵完整描述。对于非平面场景，帧间的运动参数的描述目前在业界主要有两种解决方案。第一种解决方案是，通过最优化模型求解两帧图像之间一个最优的单应矩阵，来适应整幅图像的映射合成，这种解决方案采用最优的单个单应矩阵来描述帧间的运动参数，可以从一定程度上改善多帧图像对齐效果，但显然无法真正解决非平面场景的问题。第二种解决方案是，对目标帧图像进行分块，对于每块目标帧图像，计算其与参考帧图像对应块之间的一个单应矩阵，来描述帧间相应块的运动参数，通过多个单应矩阵来实现多帧图像不同区域的对齐，从而实现多帧图像整个区域的对齐。第二种解决方案通过多区域均分求解多个单应矩阵的方式，分摊了单个单应矩阵的对齐风险，因此第二种解决方案的多帧图像对齐效果优于第一种解决方案，但依然没有从根本上解决非平面场景下的多帧图像对齐问题。
发明内容
为了解决上述非平面场景下多帧图像对齐的技术问题，本发明实施例提出了一种图像对齐方法及其装置、计算机可读存储介质和计算机设备。
一种图像对齐方法，包括以下步骤：
获取两帧图像之间的光流信息图；
对光流信息图进行超像素分割，获得多个超像素块区域；
计算每个超像素块区域的单应矩阵；
根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；
延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像。
进一步地，所述两帧图像中的一帧图像为参考图像，一帧图像为匹配图像；
所述获取两帧图像之间的光流信息图，包括：以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图,并根据x方向光流图和y方向光流图，计算光流信息图。
进一步地，所述对光流信息图进行超像素分割，获得多个超像素块区域，包括：根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域。
进一步地，所述计算每个超像素块区域的单应矩阵，包括：对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵。
进一步地，所述根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图，包括：根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图。
进一步地，所述延拓各个超像素块区域的映射图的边缘，并融合得到对齐图像，包括：对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合。
进一步地，所述两帧图像为多帧图像中的两帧图像，所述方法在所述获取两帧图像之间的光流信息图之前，还包括：从多帧图像中选取两帧图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像。
进一步地，在所述延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像之后，还包括：判断多帧图像中是否有图像未进行对齐操作，如果有图像未进行对齐操作，则将融合得到的对齐图像作为参考图像，多帧图像中未进行对齐操作的图像中的一帧图像作为匹配图像，返回所述获取两帧图像之间的光流信息图的步骤继续执行。
进一步地，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根。
一种图像对齐装置，包括：依次连接的获取模块、分割模块、第一计算模块、第二计算模块和融合模块；
获取模块用于获取两帧图像之间的光流信息图；
分割模块用于对光流信息图进行超像素分割，获得多个超像素块区域；
第一计算模块用于计算每个超像素块区域的单应矩阵；
第二计算模块用于根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；
融合模块用于延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像。
进一步地，所述两帧图像中的一帧图像为参考图像，一帧图像为匹配图像；
所述获取模块以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图,并根据x方向光流图和y方向光流图，计算光流信息图。
进一步地，所述分割模块根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域。
进一步地，所述第一计算模块对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵。
进一步地，所述第二计算模块根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图。
进一步地，所述融合模块对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合。
进一步地，所述两帧图像为多帧图像中的两帧图像，所述图像对齐装置还包括选取模块，选取模块与所述获取模块连接，所述选取模块用于从多帧图像中选取两帧图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像。
进一步地，所述图像对齐装置还包括判断模块，判断模块与所述融合模块和所述获取模块连接，所述判断模块用于判断多帧图像中是否有图像未进行对齐操作，如果有图像未进行对齐操作，则将融合得到的对齐图像作为参考图像，多帧图像中未进行对齐操作的图像中的一帧图像作为匹配图像，通知获取模块继续执行。
进一步地，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根。
一种计算机可读存储介质，所述计算机可读存储介质存储有执行如前任一项所述的图像对齐方法的计算机程序。
一种计算机设备，包括处理器和操作上与所述处理器连接的如前所述的计算机可读存储介质，所述处理器运行执行计算机可读介质中的计算机程序。
本发明的有益效果：本发明实施例提出的图像对齐方法及其装置、计算机可读存储介质和计算机设备，依据场景距离信息，自适应分割多个区域，对不同的区域使用不同的单应矩阵进行对齐，通过这种自适应的方式求解多个单应矩阵，能够精确求解多帧图像之间的运动参数，实现两帧图像的高精度对齐。本发明实施例提出的图像对齐方法及其装置、计算机可读存储介质和计算机设备，相对于现有的单个单应矩阵的图像对齐方法或者简单划分方格区域计算多个单应矩阵的方式进行图像对齐的方法来说，能够达到更好的图像对齐效果，并且帧间对齐精度高。
附图说明
图1a是本发明实施例1提出的图像对齐方法的流程图；
图1b是本发明实施例1提出的图像对齐装置的结构示意图；
图2a是本发明实施例2提出的图像对齐方法的流程图；
图2b是本发明实施例2提出的图像对齐装置的结构示意图；
图3a是本发明实施例3提出的图像对齐方法的流程图；
图3b是本发明实施例3提出的图像对齐装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
实施例1：
本发明实施例提出了一种图像对齐方法，如图1a所示，包括以下步骤：
步骤S11、获取两帧图像之间的光流信息图；
步骤S12、对光流信息图进行超像素分割，获得多个超像素块区域；
步骤S13、计算每个超像素块区域的单应矩阵；
步骤S14、根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；
步骤S15、延拓各个超像素块区域的映射图的边缘，并融合得到对齐图像。
本发明实施例提出的图像对齐方法通过对两帧图像之间的光流信息图进行超像素分割，并计算分割后的每个子区域的单应矩阵，根据每个子区域的单应矩阵进行图像对齐，提高了图像对齐效果。
本发明实施例提出了一种图像对齐装置，如图1b所示，包括：依次连接的获取模块11、分割模块12、第一计算模块13、第二计算模块14和融合模块15；
获取模块11：获取两帧图像之间的光流信息图；
分割模块12：对光流信息图进行超像素分割，获得多个超像素块区域；
第一计算模块13：计算每个超像素块区域的单应矩阵；
第二计算模块14：根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；
融合模块15：延拓各个超像素块区域的映射图的边缘，并融合得到对齐图像。
本发明实施例提出的图像对齐装置通过对两帧图像之间的光流信息图进行超像素分割，并计算分割后的每个子区域的单应矩阵，根据每个子区域的单应矩阵进行图像对齐，提高了图像对齐效果。
实施例2：
本发明实施例2以两帧图像对齐为例，对本发明实施例1提出的图像对齐方法及其装置作进一步的说明。两帧图像均为彩色图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像。
本发明实施例2提出的图像对齐方法如图2a所示，包括以下步骤：
步骤S21、基于深度学习的方法，以参考图像为基准，计算两帧图像之间的x方向光流图Dx和y方向光流图Dy,并根据x方向光流图Dx和y方向光流图Dy，计算光流信息图，其中，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根；
步骤S22、基于SLIC(simple linear iterative clustering，简单的线性迭代聚类)超像素分割算法，根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域；
步骤S23、对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵；
步骤S24、根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图；
步骤S25、对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合，从而实现两帧图像的精确对齐。
本发明实施例2提出的图像对齐装置如图2b所示，包括：依次连接的获取模块21、分割模块22、第一计算模块23、第二计算模块24和融合模块25；
获取模块21：基于深度学习的方法，以参考图像为基准，计算两帧图像之间的x方向光流图Dx和y方向光流图Dy,并根据x方向光流图Dx和y方向光流图Dy，计算光流信息图，其中，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根；
分割模块22：基于SLIC(simple linear iterative clustering，简单的线性迭代聚类)超像素分割算法，根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域；
第一计算模块23：对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵；
第二计算模块24：根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图；
融合模块25：对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合，从而实现两帧图像的精确对齐。
实施例3：
本发明实施例3在实施例2的基础上，对超过两帧的多帧图像的图像对齐方法及其装置作进一步的说明。
本发明实施例3提出的图像对齐方法如图3a所示，包括以下步骤：
步骤S30、从多帧图像中选取两帧图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像；
步骤S31、基于深度学习的方法，以参考图像为基准，计算两帧图像之间的x方向光流图Dx和y方向光流图Dy,并根据x方向光流图Dx和y方向光流图Dy，计算光流信息图，其中，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根；
步骤S32、基于SLIC(simple linear iterative clustering，简单的线性迭代聚类)超像素分割算法，根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域；
步骤S33、对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵；
步骤S34、根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图；
步骤S35、对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合，从而实现两帧图像的精确对齐；
步骤S36、判断多帧图像中是否有图像未进行对齐操作，如果有图像未进行对齐操作，则将融合得到的对齐图像作为参考图像，多帧图像中未进行对齐操作的图像中的一帧图像作为匹配图像，返回步骤S31继续执行；如果多帧图像中的所有图像均进行了对齐操作，则完成对多帧图像的图像对齐操作。
本发明实施例3提出的图像对齐方法在对超过两帧的多帧图像进行对齐时，首先从多帧图像中选取两帧图像，按照实施例2所述的图像对齐方法进行对齐操作，然后将对齐操作后得到图像与多帧图像的剩余图像中的一帧图像进行对齐操作，以此类推，直到多帧图像中的所有图像均进行了对齐操作，从而实现超过两帧的多帧图像的精确对齐。
本发明实施例3提出的图像对齐装置如图3b所示，包括：选取模块30、获取模块31、分割模块32、第一计算模块33、第二计算模块34、融合模块35和判断模块36，其中，选取模块30、获取模块31、分割模块32、第一计算模块33、第二计算模块34和融合模块35依次连接，判断模块36连接所述获取模块31和所述融合模块35；
选取模块30：从多帧图像中选取两帧图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像；
获取模块31：基于深度学习的方法，以参考图像为基准，计算两帧图像之间的x方向光流图Dx和y方向光流图Dy,并根据x方向光流图Dx和y方向光流图Dy，计算光流信息图，其中，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根；
分割模块32：基于SLIC(simple linear iterative clustering，简单的线性迭代聚类)超像素分割算法，根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域；
第一计算模块33：对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵；
第二计算模块34：根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图；
融合模块35：对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合，从而实现两帧图像的精确对齐；
判断模块36：判断多帧图像中是否有图像未进行对齐操作，如果有图像未进行对齐操作，则将融合得到的对齐图像作为参考图像，多帧图像中未进行对齐操作的图像中的一帧图像作为匹配图像，通知获取模块31继续执行；如果多帧图像中的所有图像均进行了对齐操作，则完成对多帧图像的图像对齐操作。
本发明实施例3提出的图像对齐装置在对超过两帧的多帧图像进行对齐时，首先从多帧图像中选取两帧图像，对选取的两帧图像进行对齐操作，然后将对齐操作后得到图像与多帧图像的剩余图像中的一帧图像进行对齐操作，以此类推，直到多帧图像中的所有图像均进行了对齐操作，从而实现超过两帧的多帧图像的精确对齐。
本发明实施例还提出一种计算机可读存储介质，存储有执行前述方法的计算机程序。
本发明实施例还提出一种计算机设备，包括处理器和操作上与所述处理器连接的上述计算机可读存储介质，所述处理器运行执行计算机可读介质中的计算机程序。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种图像对齐方法，其特征在于，包括以下步骤：
获取两帧图像之间的光流信息图，所述两帧图像均为彩色图像；
根据场景距离信息对光流信息图进行超像素自适应分割，获得多个超像素块区域；
计算每个超像素块区域的单应矩阵；
根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；
延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像；
其中，所述两帧图像中的一帧图像为参考图像，一帧图像为匹配图像；
所述获取两帧图像之间的光流信息图，包括：以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图，并根据x方向光流图和y方向光流图，计算光流信息图；
所述对光流信息图进行超像素自适应分割，获得多个超像素块区域，包括：根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域；
所述计算每个超像素块区域的单应矩阵，包括：对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵；
所述根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图，包括：根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图；
所述延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像，包括：对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合。
2.根据权利要求1所述的图像对齐方法，其特征在于，所述根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域，包括：基于简单的线性迭代聚类SLIC超像素分割算法，根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域。
3.根据权利要求1所述的图像对齐方法，其特征在于，所述以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图，包括：基于深度学习的方法，以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图。
4.根据权利要求1至3中任一项所述的图像对齐方法，其特征在于，所述两帧图像为多帧图像中的两帧图像，所述方法在所述获取两帧图像之间的光流信息图之前，还包括：从多帧图像中选取两帧图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像。
5.根据权利要求4所述的图像对齐方法，其特征在于，在所述延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像之后，还包括：判断多帧图像中是否有图像未进行对齐操作，如果有图像未进行对齐操作，则将融合得到的对齐图像作为参考图像，多帧图像中未进行对齐操作的图像中的一帧图像作为匹配图像，返回所述获取两帧图像之间的光流信息图的步骤继续执行。
6.根据权利要求1至3中任一项所述的图像对齐方法，其特征在于，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根。
7.一种图像对齐装置，其特征在于，包括：依次连接的获取模块、分割模块、第一计算模块、第二计算模块和融合模块；
获取模块用于获取两帧图像之间的光流信息图，所述两帧图像均为彩色图像；
分割模块用于根据场景距离信息对光流信息图进行超像素自适应分割，获得多个超像素块区域；
第一计算模块用于计算每个超像素块区域的单应矩阵；
第二计算模块用于根据每个超像素块区域的单应矩阵，计算每个超像素块区域的映射图；
融合模块用于延拓各个超像素块区域的映射图的边缘，并融合得到所述两帧图像的对齐图像；
其中，所述两帧图像中的一帧图像为参考图像，一帧图像为匹配图像；
所述获取模块以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图，并根据x方向光流图和y方向光流图，计算光流信息图；
所述分割模块根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域；
所述第一计算模块对每个超像素块区域的图像，采用特征点检测匹配算法，在对应的参考图像中计算每个超像素块区域的单应矩阵；
所述第二计算模块根据每个超像素块区域的单应矩阵，对匹配图像的相应区域的图像进行单应变换，得到匹配图像对应于每个超像素块区域的子区域映射图；
所述融合模块对匹配图像的各个子区域映射图进行边界延拓，对延拓后的每个子区域映射图的连接区域计算融合权重图，根据融合权重图对延拓后的映射图进行融合。
8.根据权利要求7所述的图像对齐装置，其特征在于，所述分割模块根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域，包括：基于简单的线性迭代聚类SLIC超像素分割算法，根据光流信息图的距离信息以及像素邻近性信息，将光流信息图划分为多个超像素块区域。
9.根据权利要求7所述的图像对齐装置，其特征在于，所述获取模块以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图，包括：基于深度学习的方法，以参考图像为基准，计算两帧图像之间的x方向光流图和y方向光流图。
10.根据权利要求7至9中任一项所述的图像对齐装置，其特征在于，所述两帧图像为多帧图像中的两帧图像，所述图像对齐装置还包括选取模块，选取模块与所述获取模块连接，所述选取模块用于从多帧图像中选取两帧图像，其中一帧图像作为参考图像，另一帧图像作为匹配图像。
11.根据权利要求10所述的图像对齐装置，其特征在于，所述图像对齐装置还包括判断模块，判断模块与所述融合模块和所述获取模块连接，所述判断模块用于判断多帧图像中是否有图像未进行对齐操作，如果有图像未进行对齐操作，则将融合得到的对齐图像作为参考图像，多帧图像中未进行对齐操作的图像中的一帧图像作为匹配图像，通知获取模块继续执行。
12.根据权利要求7至9中任一项所述的图像对齐装置，其特征在于，光流信息图上每一个点的值为该点在x方向光流图中的值的平方与该点在y方向光流图的值的平方之和的平方根。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行如权利要求1至6中任一项所述的图像对齐方法的计算机程序。
14.一种计算机设备，其特征在于，包括处理器和操作上与所述处理器连接的如权利要求13所述的计算机可读存储介质，所述处理器运行计算机可读介质中的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810936452.9A CN109242811B (zh) | 2018-08-16 | 2018-08-16 | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810936452.9A CN109242811B (zh) | 2018-08-16 | 2018-08-16 | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109242811A CN109242811A (zh) | 2019-01-18 |
| CN109242811B true CN109242811B (zh) | 2021-09-17 |
Family
ID=65070581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810936452.9A Active CN109242811B (zh) | 2018-08-16 | 2018-08-16 | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242811B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241982A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及机器可读存储介质 |
| CN110728644B (zh) * | 2019-10-11 | 2022-06-21 | 厦门美图之家科技有限公司 | 图像生成方法、装置、电子设备和可读存储介质 |
| CN110971841B (zh) * | 2019-12-09 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111627041B (zh) * | 2020-04-15 | 2023-10-10 | 北京迈格威科技有限公司 | 多帧数据的处理方法、装置及电子设备 |
| CN111882589A (zh) * | 2020-06-23 | 2020-11-03 | 广州万维创新科技有限公司 | 基于图像的单目视觉slam的初始化方法 |
| CN112700393A (zh) * | 2020-12-29 | 2021-04-23 | 维沃移动通信（杭州）有限公司 | 一种图像融合方法、装置和电子设备 |
| CN113592776A (zh) * | 2021-06-30 | 2021-11-02 | 北京旷视科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504194A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
| CN107465911A (zh) * | 2016-06-01 | 2017-12-12 | 东南大学 | 一种深度信息提取方法及装置 |
| CN107734268A (zh) * | 2017-09-18 | 2018-02-23 | 北京航空航天大学 | 一种结构保持的宽基线视频拼接方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107798702B (zh) * | 2016-08-30 | 2021-04-30 | 成都理想境界科技有限公司 | 一种用于增强现实的实时图像叠加方法以及装置 |
| CN107274337B (zh) * | 2017-06-20 | 2020-06-26 | 长沙全度影像科技有限公司 | 一种基于改进光流的图像拼接方法 |
| CN107886471B (zh) * | 2017-11-03 | 2020-12-01 | 北京航空航天大学 | 一种基于超像素投票模型的照片多余物体去除方法 |
-
2018
- 2018-08-16 CN CN201810936452.9A patent/CN109242811B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107465911A (zh) * | 2016-06-01 | 2017-12-12 | 东南大学 | 一种深度信息提取方法及装置 |
| CN106504194A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
| CN107734268A (zh) * | 2017-09-18 | 2018-02-23 | 北京航空航天大学 | 一种结构保持的宽基线视频拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| Accurate Depth Map Estimation from a Lenslet Light Field Camera;Hae-Gon Jeon等;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151015;第1547-1555页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109242811A (zh) | 2019-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242811B (zh) | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 | |
| KR102302352B1 (ko) | 관심 영역의 자동 노출 제어를 위한 조절 방법, 단말 장치 및 비 일시적 컴퓨터 판독 가능 저장 매체 | |
| CN109166077B (zh) | 图像对齐方法、装置、可读存储介质及计算机设备 | |
| US9224063B2 (en) | Apparatus and method for digital microscopy imaging | |
| CN103916603B (zh) | 逆光检测方法及设备 | |
| EP2811457B1 (en) | Image processing method and apparatus | |
| US20120219214A1 (en) | Mapping colors of an image | |
| CN105205796A (zh) | 广域图像获取方法和装置 | |
| CN107748882B (zh) | 一种车道线检测方法及装置 | |
| JP2009230233A (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
| CN105376490A (zh) | 一种模式切换方法、装置及使用模式切换方法的终端设备 | |
| CN111263067B (zh) | 图像处理方法、装置、终端设备和存储介质 | |
| CN108182666B (zh) | 一种视差校正方法、装置和终端 | |
| CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
| CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN110334652B (zh) | 图像处理方法、电子设备及存储介质 | |
| CN111563517A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| CN112184609B (zh) | 图像融合方法及装置、存储介质、终端 | |
| CN113191221B (zh) | 基于全景相机的车辆检测方法、装置以及计算机存储介质 | |
| CN110070009A (zh) | 路面物体识别方法和装置 | |
| CN112150355A (zh) | 一种图像处理方法及相关设备 | |
| CN115619636A (zh) | 图像拼接方法、电子设备以及存储介质 | |
| CN113724129B (zh) | 一种图像虚化方法、存储介质以及终端设备 | |
| CN109816613B (zh) | 图像补全方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |