CN110580715B - 一种基于照度约束和格网变形的图像对齐方法 - Google Patents

一种基于照度约束和格网变形的图像对齐方法 Download PDF

Info

Publication number
CN110580715B
CN110580715B CN201910720981.XA CN201910720981A CN110580715B CN 110580715 B CN110580715 B CN 110580715B CN 201910720981 A CN201910720981 A CN 201910720981A CN 110580715 B CN110580715 B CN 110580715B
Authority
CN
China
Prior art keywords
grid
points
image
deformation
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910720981.XA
Other languages
English (en)
Other versions
CN110580715A (zh
Inventor
姚剑
陈凯
涂静敏
李寅暄
赵琳钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910720981.XA priority Critical patent/CN110580715B/zh
Publication of CN110580715A publication Critical patent/CN110580715A/zh
Application granted granted Critical
Publication of CN110580715B publication Critical patent/CN110580715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于照度约束和格网变形的图像对齐方法，对具有重叠的图像进行精确的对齐。包括色彩映射模型的初始化，格网坐标与色彩映射模型的联合优化，模型参数的优化调整；实现了对格网变形中模型参数稳健地估计。最后，根据变形前后格网点坐标的对应关系，计算每个格网内局部的单应变换矩阵，并利用图像变形与纹理映射的技术实现图像之间的精确对齐。本发明在传统几何约束的基础上，进一步利用了照度约束，使得对齐算法可以处理纹理不丰富的场景。此外，本发明对传统图像变形框架进行了色彩映射模型的扩展，使基于格网变形的图像对齐算法可以在具有显著颜色差异的图像之间实现精确的对齐。

Description

一种基于照度约束和格网变形的图像对齐方法
技术领域
本发明属于图像对齐技术领域，特别是涉及一种基于照度约束和格网变形的图像对齐技术方案及系统。
背景技术
图像对齐是指将具有一定重叠度的图像在重叠区域内对图像内容进行对齐的过程。当需要被对齐的图像来自具有一定重叠度的不同视角时，图像对齐技术可以用来生成具有更大视场角范围的全景图像，因而在虚拟现实和增强现实中具有广泛的应用。当被对齐图像来自同一摄像机在不同时刻拍摄得到的序列图像时，图像对齐结果反映了图像内容在时间序列上的对应关系，这种对应关系在视频稳像、视频去噪等多媒体应用问题中尤为重要。总的来说，图像对齐技术建立了不同图像之间在空间和时间上的对应关系，在图像拼接、图像去模糊、图像颜色矫正、视频稳像和视频去噪等一系列应用中起到关键的作用，因而具有很高的研究价值与应用前景。
现有的图像对齐算法总体上可以分为以下两种：非参数化对齐算法和参数化对齐算法。在参数化对齐算法中，又可进一步细分为基于全局单模型的图像对齐算法和基于局部多模型的图像对齐算法。
非参数化图像对齐算法通过对重叠区域内所有像素点逐一指定对应的位置关系来实现图像之间的对齐，其中最典型的一类非参数图像对齐算法是光流法。该方法通过最小化图像之间的低阶差异(如：图像灰度)和高阶差异(如：图像梯度)来对图像重叠区域内的所有像素点均估计出一个二维的运动向量，这个运动向量表达了从一张图像上的一个像素点到另一张图像对应像素点位置在图像坐标系下的运动关系，然后根据估计出的运动关系进行图像对齐。这类算法对重叠区域的每个像素点都要估计出一个二维的运动向量，因此计算复杂度高，速度慢。并且，这类算法对长基线、大视差图像之间的对齐并不适用。
参数化对齐算法弥补了非参数算法时间复杂度高、速度慢的缺陷。这类算法利用参数化的模型来表达图像之间的对齐关系，因而将图像对齐问题转换成了模型的参数估计问题。由于用来表征对齐模型的参数数目远少于重叠区域的像素数，因此，参数化对齐算法比非参数算法具有更高的效率。根据采用的模型类型不同，参数化图像对齐算法可以进一步分为两类：基于全局单模型的图像对齐算法和基于局部多模型的图像对齐算法。
基于全局单模型的对齐算法假设图像之间的变换关系满足一个具有八自由度的单应变换，并通过图像之间匹配的特征点来估计单应矩阵中包含的8个参数，最后利用估计出的单应矩阵实现图像之间的对齐。但是，由于单应变化的假设前提只有在摄像机不同拍摄时刻的成像中心同心或者被拍摄场景可以近似为平面场景时才成立，因而这类算法在上述两个条件不满足的复杂真实场景中效果不好，对齐后的图像在重叠区域会存在严重的错位与重影。
基于局部多模型的对齐算法首先利用规则格网对图像进行划分，然后对规则格网内每一个单个的格网都估计出一个单应矩阵，最后利用局部的多单应模型进行图像对齐。这类方法可以视为先对图像进行格网划分，然后通过基于格网的图像变形实现图像对齐。由于采用的局部单应模型降低了对场景的要求，因而这类方法适用于处理复杂的真实场景。但是，相比于全局单模型，局部多模型具有更多的未知参数，因而需要借助更多的约束来对参数进行稳健的估计。常用的约束条件通常包括图像之间的匹配点和匹配线段等几何约束，但是这类约束在场景缺乏纹理时容易造成欠约束，从而无法有效估计出模型参数。同时，特征点与线段匹配过程中可能存在的错误匹配会严重影响最终的参数估计结果，从而无法准确地对图像进行对齐。
发明内容
为了解决以上方法中存在的问题，在复杂且具有挑战的真实场景中实现更加准确的图像对齐结果，本发明提供了一种基于照度约束和格网变形的图像对齐方法。
假设待对齐的两张图像分别表示为Is和It，其中Is为源图像，It为目标图像，且Is和It假设在重叠区域内是被粗略对齐在一起的。这一假设在Is和It分别表示同一视频的相邻两帧，或者表示两张图像的全局单模型粗对齐结果时是成立的。本发明提出的对齐方法拟对Is进一步地进行基于格网的图像变形，使其在图像的重叠区域内向It进行精确的对齐。在Is上划分分辨率为m×n的规则格网，设初始的规则格网点的坐标集合为
Figure GDA0003259528550000021
所有单个格网的集合表示为
Figure GDA0003259528550000022
本发明通过以下步骤找到可以将Is与It精确对齐在一起的变换后的格网点坐标
Figure GDA0003259528550000023
包括如下步骤：
步骤1，克服色彩差异的照度约束的提取，包括如下子步骤；
步骤1.1，重叠区域内锚点的均匀采样；
步骤1.2，色彩映射模型的构建，将模型参数估计的规模从{V}扩充为{V,G,B}；
步骤1.3，基于色彩映射模型的照度约束；
步骤1.4，照度约束的泰勒展开；
步骤2，色彩映射模型的初始化；
步骤3，格网点坐标与色彩映射模型的联合优化，
Figure GDA0003259528550000031
式中，
Figure GDA0003259528550000032
表示初始的规则格网点的坐标集合，m和n表示规则格网的大小，i和j表示格网中的坐标，G与B分别表示仿射模型中的增益参数与偏置参数，其中，
Figure GDA0003259528550000033
特征点项Ef、匹配线段项El、相似变换约束项Es、照度项Ep、颜色平滑项Ec和轮廓线形变项Eo为联合优化时能量函数中所包含的6项参数，λ1、λ2、λ3、λ4、λ5和λ6分别为其对应的权重系数；
步骤4，模型参数
Figure GDA0003259528550000034
的进一步修正；
步骤5，基于图像变形的图像对齐。
进一步的，步骤1.1中，在Is和It的重叠区域内，每隔3个像素提取一个像素点作为照度约束的锚点，构成的锚点集合表示为
Figure GDA0003259528550000035
其中K表示在图像重叠区域内提取得到的锚点总数。
进一步的，步骤1.2的具体实现方式如下，
对于任意一个格网q∈Q，都采用一个仿射模型表达对应像素点从Is到It的色彩映射关系，记格网q内对应的仿射变换参数为g和b，则对任意一个像素点u∈q，u在Is上的灰度值与It中的对应点u′在It上的灰度值之间满足下式：
It(u′)＝Is(u)×g+b，
其中Is(.)和It(.)分别表示像素点在源图像与目标图像上的灰度值，考虑所有格网内的色彩映射模型参数，得到总的色彩模型参数的集合为
Figure GDA0003259528550000036
和
Figure GDA0003259528550000037
G与B分别表示仿射模型中的增益参数与偏置参数。
进一步的，步骤3的具体实现方式如下，
对任意锚点p∈P，估计出一个对应的二维坐标偏移量d(p)，使p′＝p+d(p)，且p在Is上经过色彩映射后的灰度值与p′在It上的灰度值的差异最小，这一灰度差异表示为：
Figure GDA0003259528550000038
其中G(p)和B(p)分别表示当前锚点p所在的格网所对应的色彩增益参数与色彩偏置参数。
进一步的，步骤1.4的具体实现方式如下，
将步骤1.3中所述的照度约束利用泰勒公式近似展开为：
Figure GDA0003259528550000039
其中
Figure GDA00032595285500000310
表示像素点在It上对应的梯度值，对于每一个锚点位置p，均通过估计一个二维的坐标偏移量，使其对应的灰度差异值ep最小。
进一步的，步骤2的具体实现方式如下，
对待估计的参数{G,B}进行初始化估计，以提供一个可靠的初始值{G0,B0}，
Figure GDA0003259528550000041
其中
Figure GDA0003259528550000042
和
Figure GDA0003259528550000043
分别为色彩模型初始化时所优化的能量函数的三项，
Figure GDA0003259528550000044
将所有锚点位置的二位坐标偏移量固定为(0,0)，然后计算所有锚点位置的灰度差异值的总和：
Figure GDA0003259528550000045
Figure GDA0003259528550000046
约束了在图像非重叠区域的色彩映射模型接近恒等映射：
Figure GDA0003259528550000047
其中Ω＝Is∩It，表示两张图像之间的重叠区域，G(q)和B(q)分别表示格网q所对应的色彩增益与色彩偏置参数，
Figure GDA0003259528550000048
约束了空间上相邻的格网之间色彩映射模型的相似性：
Figure GDA0003259528550000049
其中
Figure GDA00032595285500000410
表示格网q1的八邻域区域，A(.)表示格网对应的仿射变换模型，联合上述三项对最终的能量函数进行最小化，得到色彩映射模型的初始估计值{G0,B0}。
进一步的，步骤3的具体实现方式如下，
步骤3.1，特征点项Ef的计算；
对Is与It进行特征点的提取与匹配，记得到的匹配特征点集合为F＝{(fi,f′i)|fi∈Is,f′i∈It,i＝1,2,…,N}，其中fi和fi′表示第i对匹配特征点的二维图像坐标，N表示提取出的匹配特征点总数；通过将fi用其所在格网的四个顶点进行双线性内插表示，并约束fi在图像变形后的位置接近于fi′在It中的位置，得到能量函数中的Es项：
Figure GDA00032595285500000411
其中
Figure GDA00032595285500000412
表示f所在的格网的四个顶点坐标，
Figure GDA00032595285500000413
为对应的双线性内插系数；
步骤3.2，匹配线段项El的计算；
分别对Is与It进行线段检测，然后在线段检测的基础上进行线段匹配，设匹配结果的集合表示为
Figure GDA00032595285500000414
且
Figure GDA00032595285500000415
M为匹配得到的线段对数；对每一对匹配线段
Figure GDA00032595285500000416
首先对
Figure GDA00032595285500000417
沿着线段方向进行均匀采样，得到采样点集为
Figure GDA00032595285500000418
Ni表示在当前线段上采样得到的点数，则El按下式进行计算得到：
Figure GDA0003259528550000051
其中，
Figure GDA0003259528550000052
表示线段上采样点
Figure GDA0003259528550000053
经过图像变形后的坐标位置，dis()表示计算对应点到对应线段的垂直距离，
Figure GDA0003259528550000054
利用对应的格网点进行双线性插值表示；
步骤3.3，相似变换约束项Es的计算；
首先将规则格网中每一个格网q划分成两个互补的三角形
Figure GDA0003259528550000055
和
Figure GDA0003259528550000056
然后如在
Figure GDA0003259528550000057
与
Figure GDA0003259528550000058
定义的局部坐标系下计算
Figure GDA0003259528550000059
与
Figure GDA00032595285500000510
的局部二维坐标分别为(aq，bq)与(cq，dq)，通过约束图像变形后的局部二维坐标应该与变形前的局部坐标接近，得到针对单个格网q的相似变换约束为：
Figure GDA00032595285500000511
其中
Figure GDA00032595285500000512
考虑规则格网内所有的单个格网，得到总的相似变换约束为：
Figure GDA00032595285500000513
步骤3.4，照度项Ep的计算；
对于步骤1.1中采样得到的每一个锚点p，其在源图像与目标图像之间基于泰勒公式近似展开的灰度差异计算公式已经在步骤1.4中给出，为了将最小化ep的问题转化为基于格网的图像变形问题，因而将ep的计算公式中的d(p)利用格网点坐标进行类似于步骤3.1中的双线性插值表示；假设p′为锚点p进行图像变形后的坐标位置，通过将p′进行近似的双线性插值表示从而实现d(p)的双线性插值表示：
Figure GDA00032595285500000514
式中，
Figure GDA00032595285500000515
表示锚点p所在的格网的四个顶点坐标，
Figure GDA00032595285500000516
为对应的双线性内插系数；该式在单个格网区域内，近似使用原始锚点位置p的插值系数作为图像变形后锚点位置p′的插值系数，将d(p)利用格网顶点坐标进行线性表达后，计算所有锚点位置灰度差异值的总和，得到总的照度项为：
Ep＝∑p∈P ep.
步骤3.5，颜色平滑项Ec的计算；
与步骤2中的
Figure GDA0003259528550000061
项相似，联合优化的能量函数约束了空间上相邻的格网之间对应的色彩映射模型的相似性：
Figure GDA0003259528550000062
其中，
Figure GDA0003259528550000063
表示格网q1的八邻域区域，A(.)表示格网对应的仿射变换模型；
步骤3.6，轮廓线形变项Eo的计算；
在Is中进行轮廓提取，设提取得到的轮廓线集合为
Figure GDA0003259528550000064
Nc为提取到的轮廓线总数；对任意轮廓ci∈C，设
Figure GDA0003259528550000065
和
Figure GDA0003259528550000066
分别表示其所对应的首末两个端点坐标，沿着ci从
Figure GDA0003259528550000067
出发，到
Figure GDA0003259528550000068
结束，均匀采样得到轮廓线ci上的关键点集合为
Figure GDA0003259528550000069
Figure GDA00032595285500000610
为在ci上采样到的关键点总数；对于ci上的任一关键点
Figure GDA00032595285500000611
在
Figure GDA00032595285500000612
和
Figure GDA00032595285500000613
定义的局部坐标系下计算
Figure GDA00032595285500000614
对应的二维局部坐标
Figure GDA00032595285500000615
使其满足：
Figure GDA00032595285500000616
其中，
Figure GDA00032595285500000617
则遍历源图像上所有轮廓线上的所有关键点后，计算出总的轮廓线形变项为：
Figure GDA00032595285500000618
所有轮廓线的首末端点和关键点都按照步骤3.1中，利用格网点的4个顶点坐标进行双线性插值表示；
综合步骤3.1到步骤3.6计算出的6项得到的总的能量函数，其对应的优化参数为图像变形后的格网点坐标集合
Figure GDA00032595285500000619
以及所有格网对应的色彩映射模型参数
Figure GDA00032595285500000620
进一步的，步骤4的具体实现方式如下，
首先将步骤1.1中所有的锚点标记为内点，然后利用步骤3进行参数估计，得到
Figure GDA00032595285500000621
对于任一被标记为内点锚点位置p，利用估计出的参数计算其灰度差异值的残差：
Figure GDA00032595285500000622
其中，p′表示p经过
Figure GDA00032595285500000623
定义的图像变形后的对应位置；若残差值
Figure GDA00032595285500000624
大于给定阈值τ，则将p标记为外点，否则标记为内点；按照上述步骤遍历当前被标记为内点的所有锚点后，基于所有被标记为内点的锚点，重新利用步骤3修正模型参数，得到修正后的参数值；然后利用修正后的参数值对当前标记为内点的所有锚点的残差值进行计算，若残差值大于阈值τ，则被标记为外点；重复以上步骤，直至每次参数修正后，新增的外点总数少于阈值D，最终得到修正后的模型参数估计值为
Figure GDA0003259528550000071
对于每一个格网q∈Q，有其图像变形前的4个规则格网点坐标为
Figure GDA0003259528550000072
以及变形后的4个对应的格网点坐标为
Figure GDA0003259528550000073
利用4组对应点可以计算出一个局部单应矩阵Hq；在每一个格网中，都按照这一流程计算出局部的单应变换矩阵，最后利用这些局部单应矩阵对Is进行图像变形，实现Is与It的精确对齐。
进一步的，步骤3中λ1＝1.0，λ2＝1.0，λ3＝0.5，λ4＝100.0，λ5＝1.0，λ6＝1.0。
与现有技术相比，本发明的有益效果是：
本发明利用格网变形技术和图像重叠区域内的照度约束，实现了高鲁棒性、高精度的图像对齐，它具有以下特点：
1.简单易懂，易于实现，且复杂度较低。
2.不同于传统的仅仅基于点线特征的图像对齐思路，通过利用重叠区域内的照度约束显著提升了图像对齐算法在具有挑战的场景下(如纹理缺乏场景)的稳定性与精度。
3.对于图像对齐问题，提出了一种新思路。不仅仅只优化几何上的格网点坐标，还同时优化了格网内的局部色彩映射模型，进一步提升了图像对齐算法的稳定性。
附图说明
图1为本发明采用的照度约束的示意图。
图2为本发明所提技术方案主要流程的示意图。
图3为对图像进行格网划分后，单个格网的相关示意图。
图4为5种实验方法的结果比较，从左到右依次是：(a)全局单应变换对齐结果；(b)基于局部多单应的对齐结果；(c)基于点特征匹配的对齐结果；(d)基于点线混合特征匹配的对齐结果；(e)本发明所提方案得到的对其结果。虚线框中为放大后的局部对比结果。
具体实施方式
下面结合附图对本发明进一步说明。
本发明提供了一种基于照度约束和格网变形的图像对齐方法。
假设待对齐的两张图像分别表示为Is和It，其中Is为源图像，It为目标图像，且Is和It假设在重叠区域内是被粗略对齐在一起的。这一假设在Is和It分别表示同一视频的相邻两帧，或者表示两张图像的全局单模型粗对齐结果时是成立的。本发明提出的对齐方法拟对Is进一步地进行基于格网的图像变形，使其在图像的重叠区域内向It进行精确的对齐。在Is上划分分辨率为m×n的规则格网，设初始的规则格网点的坐标集合为
Figure GDA0003259528550000081
所有单个格网的集合表示为
Figure GDA0003259528550000082
本发明通过以下步骤找到可以将Is与It精确对齐在一起的变换后的格网点坐标
Figure GDA0003259528550000083
步骤1，克服色彩差异的照度约束的提取。
利用传统几何约束在极端场景下存在欠约束的问题，如图1所示，本发明在此基础上，进一步提出了一种可以克服颜色差异的照度约束。
步骤1.1，重叠区域内锚点的均匀采样。
在Is和It的重叠区域内，每隔3个像素(行或列相差3个像素)提取一个像素点作为照度约束的锚点，构成的锚点集合表示为
Figure GDA0003259528550000084
其中K表示在图像重叠区域内提取得到的锚点总数。
步骤1.2，色彩映射模型的构建。
为了使照度约束可以克服图像之间可能存在的色彩差异所带来的影响，本发明显式地表达了Is与It之间的色彩映射关系。对于任意一个格网q∈Q，都采用一个仿射模型表达对应像素点从Is到It的色彩映射关系。记格网q内对应的仿射变换参数为g和b，则对任意一个像素点u∈q，u在Is上的灰度值与It中的对应点u′在It上的灰度值之间满足下式：
It(u′)＝Is(u)×g+b，
其中Is(.)和It(.)分别表示像素点在源图像与目标图像上的灰度值。考虑所有格网内的色彩映射模型参数，得到总的色彩模型参数的集合为
Figure GDA0003259528550000085
和
Figure GDA0003259528550000086
G与B分别表示仿射模型中的增益参数与偏置参数。
步骤1.3，基于色彩映射模型的照度约束。
本发明在所有提取出的锚点位置上添加照度约束。对任意锚点p∈P，估计出一个对应的二维坐标偏移量d(p)，使p′＝p+d(p)，且p在Is上经过色彩映射后的灰度值与p′在It上的灰度值的差异最小，这一灰度差异可以表示为：
Figure GDA0003259528550000087
其中G(p)和B(p)分别表示当前锚点p所在的格网所对应的色彩增益参数与色彩偏置参数。
步骤1.4，照度约束的泰勒展开。
由于假设Is与It在重叠区域内是粗略对齐的，因此对于任意的锚点p，其对应的二维坐标偏移量d(p)应该是一个小值，从而可以将It(p+d(p))在p处利用泰勒公式近似展开为
Figure GDA0003259528550000088
其中
Figure GDA0003259528550000089
表示像素点在It上对应的梯度值。则步骤1.3中所述的照度约束可以利用泰勒公式近似展开为：
Figure GDA0003259528550000091
对于每一个锚点位置p，均通过估计一个二维的坐标偏移量，使其对应的灰度差异值ep最小，此即本发明所提出的照度约束。
步骤2，色彩映射模型的初始化。
由于在步骤1.2中，本发明对Is与It之间的色彩映射进行了建模，使得模型参数估计的规模从{V}扩充为{V，G，B}。在本步骤中，如图2(a)所示，本发明拟对待估计的参数{G，B}进行初始化估计，以提供一个可靠的初始值{G0，B0}。{G0，B0}可通过下式得到：
Figure GDA0003259528550000092
其中
Figure GDA0003259528550000093
和
Figure GDA0003259528550000094
分别为色彩模型初始化时所优化的能量函数的三项。
Figure GDA0003259528550000095
将所有锚点位置的二位坐标偏移量固定为(0，0)，然后计算所有锚点位置的灰度差异值的总和：
Figure GDA0003259528550000096
Figure GDA0003259528550000097
约束了在图像非重叠区域的色彩映射模型接近恒等映射：
Figure GDA0003259528550000098
其中
Figure GDA0003259528550000099
表示两张图像之间的重叠区域，G(q)和B(q)分别表示格网q所对应的色彩增益与色彩偏置参数。
Figure GDA00032595285500000910
约束了空间上相邻的格网之间色彩映射模型的相似性：
Figure GDA00032595285500000911
其中
Figure GDA00032595285500000912
表示格网q1的八邻域区域，A(.)表示格网对应的仿射变换模型。联合上述三项对最终的能量函数进行最小化，便可得到色彩映射模型的初始估计值{G0，B0}。
步骤3，格网点坐标与色彩映射模型的联合优化。
在对色彩映射模型进行了初始化估计后，基于其初始估计值{G0，B0}与规则格网点坐标{V}，如图2(b)所示，本发明将步骤1中提取出的照度约束与其他多种约束进行结合，然后通过下式对这两部分参数进行联合优化估计：
Figure GDA00032595285500000913
式中，Ef、El、Es、Ep、Ec和Eo为联合优化时能量函数中所包含的6项，λ1、λ2、λ3、λ4、λ5和λ6分别为其对应的权重系数，在本发明中推荐的权重值分别为λ1＝1.0，λ2＝1.0，λ3＝0.5，λ4＝100.0，λ5＝1.0，λ6＝1.0。能量函数中所包含的6项分别按照以下六个步骤进行计算得到。
步骤3.1，特征点项Ef的计算。
对Is与It进行特征点的提取与匹配，记得到的匹配特征点集合为F＝{(fi，fi′)|fi∈Is，fi′∈It，i＝1，2，...，N}，其中fi和fi′表示第i对匹配特征点的二维图像坐标，N表示提取出的匹配特征点总数。通过将fi用其所在格网的四个顶点进行双线性内插表示，并约束fi在图像变形后的位置接近于fi′在It中的位置，得到能量函数中的Es项：
Figure GDA0003259528550000101
其中
Figure GDA0003259528550000102
表示f所在的格网的四个顶点坐标，
Figure GDA0003259528550000103
为对应的双线性内插系数。
步骤3.2，匹配线段项El的计算。
分别对Is与It进行线段检测，然后在线段检测的基础上进行线段匹配，设匹配结果的集合表示为
Figure GDA0003259528550000104
M为匹配得到的线段对数。对每一对匹配线段
Figure GDA0003259528550000105
首先对
Figure GDA0003259528550000106
沿着线段方向进行均匀采样，得到采样点集为
Figure GDA0003259528550000107
Ni表示在当前线段上采样得到的点数。则El按下式进行计算得到：
Figure GDA0003259528550000108
其中，
Figure GDA0003259528550000109
表示线段上采样点
Figure GDA00032595285500001010
经过图像变形后的坐标位置，dis()表示计算对应点到对应线段的垂直距离，
Figure GDA00032595285500001011
利用对应的格网点进行双线性插值表示。
步骤3.3，相似变换约束项Es的计算。
如图3(c)所示，首先将规则格网中每一个格网q划分成两个互补的三角形
Figure GDA00032595285500001012
和
Figure GDA00032595285500001013
然后如图3(d)所示，在
Figure GDA00032595285500001014
与
Figure GDA00032595285500001015
定义的局部坐标系下计算
Figure GDA00032595285500001016
与
Figure GDA00032595285500001021
的局部二维分标分别为(aq，bq)与(cq，dq)。通过约束图像变形后的局部二维坐标应该与变形前的局部坐标接近，得到针对单个格网q的相似变换约束为：
Figure GDA00032595285500001018
其中
Figure GDA00032595285500001019
考虑规则格网内所有的单个格网，得到总的相似变换约束为：
Figure GDA00032595285500001020
步骤3.4，照度项Ep的计算。
对于步骤1.1中采样得到的每一个锚点p，其在源图像与目标图像之间基于泰勒公式近似展开的灰度差异计算公式已经在步骤1.4中给出。为了将最小化ep的问题转化为基于格网的图像变形问题，因而将ep的计算公式中的d(p)利用格网点坐标进行类似于步骤3.1中的双线性插值表示。假设p′为锚点p进行图像变形后的坐标位置，通过将p′进行近似的双线性插值表示从而实现d(p)的双线性插值表示：
Figure GDA0003259528550000111
式中，
Figure GDA0003259528550000112
表示锚点p所在的格网的四个顶点坐标，
Figure GDA0003259528550000113
为对应的双线性内插系数。该式在单个格网区域内，近似使用原始锚点位置p的插值系数作为图像变形后锚点位置p′的插值系数。将d(p)利用格网顶点坐标进行线性表达后，计算所有锚点位置灰度差异值的总和，得到总的照度项为：
Ep＝∑p∈P ep.
步骤3.5，颜色平滑项Ec的计算。
与步骤2中的
Figure GDA0003259528550000114
项相似，联合优化的能量函数约束了空间上相邻的格网之间对应的色彩映射模型的相似性：
Figure GDA0003259528550000115
其中，
Figure GDA0003259528550000116
表示格网q1的八邻域区域，A(.)表示格网对应的仿射变换模型。
步骤3.6，轮廓线形变项Eo的计算。
在Is中进行轮廓提取，设提取得到的轮廓线集合为
Figure GDA0003259528550000117
Nc为提取到的轮廓线总数。对任意轮廓ci∈C，设
Figure GDA0003259528550000118
和
Figure GDA0003259528550000119
分别表示其所对应的首末两个端点坐标。沿着ci从
Figure GDA00032595285500001110
出发，到
Figure GDA00032595285500001111
结束，均匀采样得到轮廓线ci上的关键点集合为
Figure GDA00032595285500001112
Figure GDA00032595285500001113
为在ci上采样到的关键点总数。对于ci上的任一关键点
Figure GDA00032595285500001114
在
Figure GDA00032595285500001115
和
Figure GDA00032595285500001116
定义的局部坐标系下计算
Figure GDA00032595285500001117
对应的二维局部坐标
Figure GDA00032595285500001118
使其满足：
Figure GDA00032595285500001119
其中，
Figure GDA00032595285500001120
则遍历源图像上所有轮廓线上的所有关键点后，可以计算出总的轮廓线形变项为：
Figure GDA00032595285500001121
为了将上式与格网变形的过程进行关联，所有轮廓线的首末端点和关键点都按照步骤3.1中的类似过程，利用格网点的4个顶点坐标进行双线性插值表示。
综合步骤3.1到步骤3.6计算出的6项得到的总的能量函数，其对应的优化参数为图像变形后的格网点坐标集合
Figure GDA0003259528550000121
以及所有格网对应的色彩映射模型参数
Figure GDA0003259528550000122
该能量函数可以在任意的线性系统下进行高效地优化与求解，从而得到两部分参数联合优化后的结果。
步骤4，模型参数的进一步修正。
当均匀采样的锚点位于图像重叠区域内的运动目标或者遮挡区域时，按照上述工作流程估计出的模型参数存在偏差，因此，本发明按照以下流程来对步骤3中估计出的模型参数进行进一步的修正。
首先将步骤1.1中所有的锚点标记为内点，然后利用步骤3进行参数估计，得到
Figure GDA0003259528550000129
对于任一被标记为内点锚点位置p，利用估计出的参数计算其灰度差异值的残差：
Figure GDA0003259528550000123
其中，p′表示p经过
Figure GDA0003259528550000128
定义的图像变形后的对应位置。若残差值
Figure GDA0003259528550000124
大于给定阈值τ，则将p标记为外点，否则标记为内点。按照上述步骤遍历当前被标记为内点的所有锚点后，基于所有被标记为内点的锚点，重新利用步骤3修正模型参数，得到修正后的参数值。然后利用修正后的参数值对当前标记为内点的所有锚点的残差值进行计算，若残差值大于阈值τ，则被标记为外点。重复以上步骤，直至每次参数修正后，新增的外点总数少于阈值D。最终得到修正后的模型参数估计值为
Figure GDA0003259528550000125
步骤5，基于图像变形的图像对齐。
对于每一个格网q∈Q，有其图像变形前的4个规则格网点坐标为
Figure GDA0003259528550000126
以及变形后的4个对应的格网点坐标为
Figure GDA0003259528550000127
利用4组对应点可以计算出一个局部单应矩阵Hq。因而，在每一个格网中，都可以按照这一流程计算出局部的单应变换矩阵。最后利用这些局部单应矩阵对Is进行图像变形，实现Is与It的精确对齐。
图4展示了本发明所提技术方案与其他现有方法的图像对齐对比结果。其中：(a)是利用全局单应模型得到的对齐结果，(b)(c)(d)和本发明方案(e)一样，是采用局部的多单应模型得到的对齐结果。具体地，(b)所对应的APAP算法和(c)所对应的CPW算法是两种基于匹配特征点的图像对齐解决方案，由于所展示的场景中特征点数量少，且分布不均匀，这两种技术得到的对齐结果在重叠区域内存在明显的错位，对齐质量较差。(d)所对应的DFW算法是一种基于匹配特征点和匹配线段的图像对齐解决方案，这一方案在一定程度上提升了(b)(c)所对应的两种技术的对齐结果，但是由于存在错误的线段匹配结果，在部分场景下的对齐结果存在明显的扭曲变形位。相比之下，本发明所提出的方案利用了重叠区域内稠密的像素点照度约束，对图像点线特征的依赖小，因而在所展示的纹理缺乏场景中普遍可以得到更好的图像对齐精度。图中的虚线框内展示了图像对齐结果中的错位问题，其中椭圆框是直接标出来的错位，大方框是小方框的局部放大图，从中可以观察到不同方法的对齐结果中所存在的错位现象。

Claims (9)

1.一种基于照度约束和格网变形的图像对齐方法，假设待对齐的两张图像分别表示为Is和It，其中Is为源图像，It为目标图像，且假设Is和It在重叠区域内是被粗略对齐在一起的，对Is进一步地进行基于格网的图像变形，使其在图像的重叠区域内向It进行精确的对齐，在Is上划分分辨率为m×n的规则格网，设初始的规则格网点的坐标集合为
Figure FDA0003249552770000011
所有单个格网的集合表示为
Figure FDA0003249552770000012
其特征在于：通过以下步骤找到将Is与It精确对齐在一起的变换后的格网点坐标
Figure FDA0003249552770000013
步骤1，克服色彩差异的照度约束的提取，包括如下子步骤；
步骤1.1，重叠区域内锚点的均匀采样；
步骤1.2，色彩映射模型的构建，将模型参数估计的规模从{V}扩充为{V,G,B}；
步骤1.3，基于色彩映射模型的照度约束；
步骤1.4，照度约束的泰勒展开；
步骤2，色彩映射模型的初始化；
步骤3，格网点坐标与色彩映射模型的联合优化，
Figure FDA0003249552770000014
式中，
Figure FDA0003249552770000015
表示初始的规则格网点的坐标集合，m和n表示规则格网的大小，i和j表示格网中的坐标，G与B分别表示仿射模型中的增益参数与偏置参数，其中，
Figure FDA0003249552770000016
特征点项Ef、匹配线段项El、相似变换约束项Es、照度项Ep、颜色平滑项Ec和轮廓线形变项Eo为联合优化时能量函数中所包含的6项参数，λ1、λ2、λ3、λ4、λ5和λ6分别为其对应的权重系数；
步骤4，模型参数
Figure FDA0003249552770000017
的进一步修正；
步骤5，基于图像变形的图像对齐。
2.如权利要求1所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤1.1中，在Is和It的重叠区域内，每隔3个像素提取一个像素点作为照度约束的锚点，构成的锚点集合表示为
Figure FDA0003249552770000018
其中K表示在图像重叠区域内提取得到的锚点总数。
3.如权利要求2所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤1.2的具体实现方式如下，
对于任意一个格网q∈Q，都采用一个仿射模型表达对应像素点从Is到It的色彩映射关系，记格网q内对应的仿射变换参数为g和b，则对任意一个像素点u∈q，u在Is上的灰度值与It中的对应点u′在It上的灰度值之间满足下式：
It(u′)＝Is(u)×g+b，
其中Is(.)和It(.)分别表示像素点在源图像与目标图像上的灰度值，考虑所有格网内的色彩映射模型参数，得到总的色彩模型参数的集合为
Figure FDA0003249552770000021
和
Figure FDA0003249552770000022
G与B分别表示仿射模型中的增益参数与偏置参数。
4.如权利要求3所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤3的具体实现方式如下，
对任意锚点p∈P，估计出一个对应的二维坐标偏移量d(p)，使p′＝p+d(p)，且p在Is上经过色彩映射后的灰度值与p′在It上的灰度值的差异最小，这一灰度差异表示为：
Figure FDA0003249552770000023
其中G(p)和B(p)分别表示当前锚点p所在的格网所对应的色彩增益参数与色彩偏置参数。
5.如权利要求4所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤1.4的具体实现方式如下，
将步骤1.3中所述的照度约束利用泰勒公式近似展开为：
Figure FDA0003249552770000024
其中
Figure FDA0003249552770000025
表示像素点在It上对应的梯度值，对于每一个锚点位置p，均通过估计一个二维的坐标偏移量，使其对应的灰度差异值ep最小。
6.如权利要求5所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤2的具体实现方式如下，
对待估计的参数{G,B}进行初始化估计，以提供一个可靠的初始值{G0,B0}，
Figure FDA0003249552770000026
其中
Figure FDA0003249552770000027
和
Figure FDA0003249552770000028
分别为色彩模型初始化时所优化的能量函数的三项，
Figure FDA0003249552770000029
将所有锚点位置的二位坐标偏移量固定为(0,0)，然后计算所有锚点位置的灰度差异值的总和：
Figure FDA00032495527700000210
Figure FDA00032495527700000211
约束了在图像非重叠区域的色彩映射模型接近恒等映射：
Figure FDA0003249552770000031
其中Ω＝Is∩It，表示两张图像之间的重叠区域，G(q)和B(q)分别表示格网q所对应的色彩增益与色彩偏置参数，
Figure FDA0003249552770000032
约束了空间上相邻的格网之间色彩映射模型的相似性：
Figure FDA0003249552770000033
其中
Figure FDA0003249552770000034
表示格网q1的八邻域区域，A(.)表示格网对应的仿射变换模型，联合上述三项对最终的能量函数进行最小化，得到色彩映射模型的初始估计值{G0,B0}。
7.如权利要求6所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤3的具体实现方式如下，
步骤3.1，特征点项Ef的计算；
对Is与It进行特征点的提取与匹配，记得到的匹配特征点集合为F＝{(fi,f′i)|fi∈Is,f′i∈It,i＝1,2,…,N}，其中fi和fi′表示第i对匹配特征点的二维图像坐标，N表示提取出的匹配特征点总数；通过将fi用其所在格网的四个顶点进行双线性内插表示，并约束fi在图像变形后的位置接近于fi′在It中的位置，得到能量函数中的Es项：
Figure FDA0003249552770000035
其中
Figure FDA0003249552770000036
表示f所在的格网的四个顶点坐标，
Figure FDA0003249552770000037
为对应的双线性内插系数；
步骤3.2，匹配线段项El的计算；
分别对Is与It进行线段检测，然后在线段检测的基础上进行线段匹配，设匹配结果的集合表示为
Figure FDA0003249552770000038
且
Figure FDA0003249552770000039
M为匹配得到的线段对数；对每一对匹配线段
Figure FDA00032495527700000310
首先对
Figure FDA00032495527700000311
沿着线段方向进行均匀采样，得到采样点集为
Figure FDA00032495527700000312
Ni表示在当前线段上采样得到的点数，则El按下式进行计算得到：
Figure FDA00032495527700000313
其中，
Figure FDA00032495527700000314
表示线段上采样点
Figure FDA00032495527700000315
经过图像变形后的坐标位置，dis()表示计算对应点到对应线段的垂直距离，
Figure FDA00032495527700000316
利用对应的格网点进行双线性插值表示；
步骤3.3，相似变换约束项Es的计算；
首先将规则格网中每一个格网q划分成两个互补的三角形
Figure FDA00032495527700000317
和
Figure FDA00032495527700000318
然后如在
Figure FDA0003249552770000041
与
Figure FDA0003249552770000042
定义的局部坐标系下计算
Figure FDA0003249552770000043
与
Figure FDA0003249552770000044
的局部二维坐标分别为(aq,bq)与(cq,dq)，通过约束图像变形后的局部二维坐标应该与变形前的局部坐标接近，得到针对单个格网q的相似变换约束为：
Figure FDA0003249552770000045
其中
Figure FDA0003249552770000046
考虑规则格网内所有的单个格网，得到总的相似变换约束为：
Figure FDA0003249552770000047
步骤3.4，照度项Ep的计算；
对于步骤1.1中采样得到的每一个锚点p，其在源图像与目标图像之间基于泰勒公式近似展开的灰度差异计算公式已经在步骤1.4中给出，为了将最小化ep的问题转化为基于格网的图像变形问题，因而将ep的计算公式中的d(p)利用格网点坐标进行类似于步骤3.1中的双线性插值表示；假设p′为锚点p进行图像变形后的坐标位置，通过将p′进行近似的双线性插值表示从而实现d(p)的双线性插值表示：
Figure FDA0003249552770000048
式中，
Figure FDA0003249552770000049
表示锚点p所在的格网的四个顶点坐标，
Figure FDA00032495527700000410
为对应的双线性内插系数；该式在单个格网区域内，近似使用原始锚点位置p的插值系数作为图像变形后锚点位置p′的插值系数，将d(p)利用格网顶点坐标进行线性表达后，计算所有锚点位置灰度差异值的总和，得到总的照度项为：
Ep＝∑p∈Pep.
步骤3.5，颜色平滑项Ec的计算；
与步骤2中的
Figure FDA00032495527700000411
项相似，联合优化的能量函数约束了空间上相邻的格网之间对应的色彩映射模型的相似性：
Figure FDA00032495527700000412
其中，
Figure FDA00032495527700000413
表示格网q1的八邻域区域，A(.)表示格网对应的仿射变换模型；
步骤3.6，轮廓线形变项Eo的计算；
在Is中进行轮廓提取，设提取得到的轮廓线集合为
Figure FDA0003249552770000051
Nc为提取到的轮廓线总数；对任意轮廓ci∈C，设
Figure FDA0003249552770000052
和
Figure FDA0003249552770000053
分别表示其所对应的首末两个端点坐标，沿着ci从
Figure FDA0003249552770000054
出发，到
Figure FDA0003249552770000055
结束，均匀采样得到轮廓线ci上的关键点集合为
Figure FDA0003249552770000056
为在ci上采样到的关键点总数；对于ci上的任一关键点
Figure FDA0003249552770000057
在
Figure FDA0003249552770000058
和
Figure FDA0003249552770000059
定义的局部坐标系下计算
Figure FDA00032495527700000510
对应的二维局部坐标
Figure FDA00032495527700000511
使其满足：
Figure FDA00032495527700000512
其中，
Figure FDA00032495527700000513
则遍历源图像上所有轮廓线上的所有关键点后，计算出总的轮廓线形变项为：
Figure FDA00032495527700000514
所有轮廓线的首末端点和关键点都按照步骤3.1中，利用格网点的4个顶点坐标进行双线性插值表示；
综合步骤3.1到步骤3.6计算出的6项得到的总的能量函数，其对应的优化参数为图像变形后的格网点坐标集合
Figure FDA00032495527700000515
以及所有格网对应的色彩映射模型参数
Figure FDA00032495527700000516
8.如权利要求7所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤4的具体实现方式如下，
首先将步骤1.1中所有的锚点标记为内点，然后利用步骤3进行参数估计，得到
Figure FDA00032495527700000517
对于任一被标记为内点锚点位置p，利用估计出的参数计算其灰度差异值的残差：
Figure FDA00032495527700000518
其中，p′表示p经过
Figure FDA00032495527700000519
定义的图像变形后的对应位置；若残差值
Figure FDA00032495527700000520
大于给定阈值τ，则将p标记为外点，否则标记为内点；按照上述步骤遍历当前被标记为内点的所有锚点后，基于所有被标记为内点的锚点，重新利用步骤3修正模型参数，得到修正后的参数值；然后利用修正后的参数值对当前标记为内点的所有锚点的残差值进行计算，若残差值大于阈值τ，则被标记为外点；重复以上步骤，直至每次参数修正后，新增的外点总数少于阈值D，最终得到修正后的模型参数估计值为
Figure FDA00032495527700000521
对于每一个格网q∈Q，有其图像变形前的4个规则格网点坐标为
Figure FDA00032495527700000522
以及变形后的4个对应的格网点坐标为
Figure FDA0003249552770000061
利用4组对应点可以计算出一个局部单应矩阵Hq；在每一个格网中，都按照这一流程计算出局部的单应变换矩阵，最后利用这些局部单应矩阵对Is进行图像变形，实现Is与It的精确对齐。
9.如权利要求1所述的一种基于照度约束和格网变形的图像对齐方法，其特征在于：步骤3中λ1＝1.0,λ2＝1.0,λ3＝0.5,λ4＝100.0,λ5＝1.0,λ6＝1.0。
CN201910720981.XA 2019-08-06 2019-08-06 一种基于照度约束和格网变形的图像对齐方法 Active CN110580715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720981.XA CN110580715B (zh) 2019-08-06 2019-08-06 一种基于照度约束和格网变形的图像对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720981.XA CN110580715B (zh) 2019-08-06 2019-08-06 一种基于照度约束和格网变形的图像对齐方法

Publications (2)

Publication Number Publication Date
CN110580715A CN110580715A (zh) 2019-12-17
CN110580715B true CN110580715B (zh) 2022-02-01

Family

ID=68810525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720981.XA Active CN110580715B (zh) 2019-08-06 2019-08-06 一种基于照度约束和格网变形的图像对齐方法

Country Status (1)

Country Link
CN (1) CN110580715B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313147B (zh) * 2021-05-12 2023-10-20 北京大学 一种基于深度语义对齐网络模型的图像匹配方法
CN115839675B (zh) * 2023-02-20 2023-05-12 宜科(天津)电子有限公司 一种物体轮廓线的识别系统
CN117146729B (zh) * 2023-10-31 2024-02-20 能科科技股份有限公司 一种伺服压机控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799927A (zh) * 2010-03-23 2010-08-11 浙江大学 基于关键帧的卡通角色轮廓跟踪方法
CN103530848A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种非均匀光照图像二次曝光的实现方法
WO2018011546A1 (en) * 2016-07-15 2018-01-18 De La Rue International Limited Methods of manufacturing a security device
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN108009985A (zh) * 2017-11-24 2018-05-08 武汉大学 一种基于图割的视频拼接方法
CN108038423A (zh) * 2017-11-22 2018-05-15 广东数相智能科技有限公司 基于图像识别的汽车车型的识别方法及装置
CN110032927A (zh) * 2019-02-27 2019-07-19 视缘(上海)智能科技有限公司 一种人脸识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052762B (zh) * 2017-12-26 2018-11-13 哈尔滨工业大学 一种基于局地光气候的严寒地区建筑自然采光性能仿真方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799927A (zh) * 2010-03-23 2010-08-11 浙江大学 基于关键帧的卡通角色轮廓跟踪方法
CN103530848A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种非均匀光照图像二次曝光的实现方法
WO2018011546A1 (en) * 2016-07-15 2018-01-18 De La Rue International Limited Methods of manufacturing a security device
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN108038423A (zh) * 2017-11-22 2018-05-15 广东数相智能科技有限公司 基于图像识别的汽车车型的识别方法及装置
CN108009985A (zh) * 2017-11-24 2018-05-08 武汉大学 一种基于图割的视频拼接方法
CN110032927A (zh) * 2019-02-27 2019-07-19 视缘(上海)智能科技有限公司 一种人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NON-RIGID IMAGE REGISTRATION USING ADAPTIVE GRID GENERATION:PRELIMINARY RESULTS;Hua-mei Chen 等;《2007 4th IEEE International Symposium on Biomedical Imaging: From Nano to Macro》;20071231;全文 *
一种街景全景生成的改进算法;任静 等;《计算机工程与应用》;20171231;第53卷(第6期);全文 *

Also Published As

Publication number Publication date
CN110580715A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
CN107845134B (zh) 一种基于彩色深度相机的单个物体的三维重建方法
CN107292921B (zh) 一种基于kinect相机的快速三维重建方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
JP6216468B2 (ja) 無特徴抽出の高密度ｓｆｍ三次元再構成法
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN112102458A (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN110070598B (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN107767339B (zh) 一种双目立体图像拼接方法
JP2007257287A (ja) 画像レジストレーション方法
WO2006083297A2 (en) Method and apparatus for aligning video to three-dimensional point clouds
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
JP2012194751A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN117523100A (zh) 基于神经网络与多视图一致性的三维场景重建方法和装置
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
He et al. Whole-pixel registration of non-rigid images using correspondences interpolation on sparse feature seeds
Yuan et al. An Improved Method of 3D Scene Reconstruction Based on SfM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant