CN108280805B - 一种基于流形优化的图像拼接方法 - Google Patents

一种基于流形优化的图像拼接方法 Download PDF

Info

Publication number
CN108280805B
CN108280805B CN201810087985.4A CN201810087985A CN108280805B CN 108280805 B CN108280805 B CN 108280805B CN 201810087985 A CN201810087985 A CN 201810087985A CN 108280805 B CN108280805 B CN 108280805B
Authority
CN
China
Prior art keywords
image
matrix
equation
grid
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810087985.4A
Other languages
English (en)
Other versions
CN108280805A (zh
Inventor
张磊
庞荣
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810087985.4A priority Critical patent/CN108280805B/zh
Publication of CN108280805A publication Critical patent/CN108280805A/zh
Application granted granted Critical
Publication of CN108280805B publication Critical patent/CN108280805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于流形优化的图像拼接方法，属于图像拼接技术领域。该拼接方法首先将图像重叠，即将图像网格化，再通过在流形空间利用迭代优化方式来优化重叠部分匹配特征点的残差，以此对齐图像重叠部分；再处理图像的非重叠部分，将之前得到的各个网格的单应矩阵与全局相似变换在流形空间按距离权重进行插值。相比现有技术的直接插值方式，流形空间下的插值更具有合理性，效果也有明显提升；在实验结果表明，在流形空间上得到的结果与在普通欧氏空间的结果相比，拼接效果更加自然平滑，效果更好。

Description

一种基于流形优化的图像拼接方法
技术领域
本发明涉及一种图像拼接方法，特别涉及一种基于流形优化的图像拼接方法，属于图像处理以及图像拼接技术领域。
背景技术
随着可视化媒体的逐渐发展，社会大众对于媒体信息也有了更高的需求。除了希望可以得到更高的分辨率和更清晰的图像之外，人们还希望图像中可以涵盖更大视角的场景信息。但是当前一般的拍摄设备因为摄像头硬件条件的限制，无法获取到更大视角的图像。虽然有可以拍摄出更大视角的广角相机或是超广角相机，但是这类相机的成本一般会比较高，而且操作起来会非常复杂，只有专业的人士才可以使用，在普通用户中很难推广。为了可以迎合大众在这方面的需求，利用图像拼接获取广视角图像的科研方向逐步发展起来。
之前的图像拼接方法都是在欧氏空间操作，得到的图像可能会有扭曲的产生，本发明的操作基本都是在流形空间中进行，可以有效避免在欧氏空间中可能会产生的问题，从而得到一幅平滑而自然的拼接图像。
发明内容
本发明的目的就是要利用流形优化的优势来实现图像的拼接，并得到一幅平滑自然的广角图像，提出了一种基于流形优化的图像拼接方法。
本发明的核心思想是将图像拼接的中的变换矩阵映射到流形空间去，在流形空间中通过一系列的优化插值得到最后的图像变换矩阵，然后再将该矩阵映射到欧氏空间并作用到变换图像上，最后将参照图像和变换图像融合到一起得到最后的广角图像；之所以将矩阵的操作放到流形空间是因为从李群的角度俩看，变换矩阵在欧氏空间中的加减运算是不合理的，容易产生奇异的结果，而在流形空间则会避免这样的情况，所以将变换矩阵的操作放入流形空间。
本发明的具体实现步骤如下：
一种基于流形优化的图像拼接方法，该方法包括以下步骤：
步骤一、将待拼接的两幅图像的重叠部分进行对齐；
其中，使用I1和I2来表示待拼接的两幅图像；
步骤1.1、求取待拼接的两幅图像的对应特征点；具体为：
首先使用特征点提取的算法检测图像I1和图像I2的特征点；然后进行粗匹配；再利用RANSAC算法进一步筛选出准确的匹配特征点；
步骤1.2、利用流形优化的方法获取图像变换矩阵，具体为：
步骤1.2.1、将图像I2网格化，即将图像I2为w×h个网格；
其中，w为宽，h为高，共M＝w×h个网格；
步骤1.2.2、在流形空间中获取步骤1.2.1中w×h个网格的变换矩阵；
在流形空间中获取w×h个网格中的每一个网格的变换矩阵，具体通过迭代优化能量函数(1)来得到：
Figure BDA0001562932630000021
其中，M＝w×h表示所有的网格数；i表示w×h个网格按行排列后的第i个网格；Ni表示第i个网格内的所有匹配特征点数；
Figure BDA0001562932630000022
是第i个网格前一次迭代后得到的变换矩阵，初始的值设为直接线性变换得到的全局单应矩阵；
Hi(xi)表示第i个网格每次迭代要更新的值，而xi就是Hi(xi)在流形空间中的表示形式，第i个网格在每一次迭代后都会得到xi，将其转换到欧氏空间后利用
Figure BDA0001562932630000023
更新
Figure BDA0001562932630000024
之后再次迭代；w(H)(pj)表示变换矩阵H与点pj坐标的齐次形式相乘得到新的坐标位置；
Figure BDA0001562932630000031
表示利用第i个网格变换矩阵变换该网格内的特征点pj后得到的特征点与实际检测到的特征点p'j之间的距离；K表示第i个网格的四个顶点；k表示第i个网格内按行排列的第k个顶点；μk表示与顶点qk相连接的网格集合；
Figure BDA0001562932630000032
表示第i个网格变换矩阵和第l个网格变换矩阵变换同一个网格顶点qk后相差的距离；λ是为了平衡匹配项和平滑项而设立的参数；
为了求解能量函数，令：
Figure BDA0001562932630000033
其中，yi(x)表示与第i个网格优化所涉及的所有能量项组成的向量；Ni表示在第i个网格内的特征点对数；
Figure BDA0001562932630000034
表示在第i个网格中，利用第j对特征点建立的能量项，可以表示为
Figure BDA0001562932630000035
其中
Figure BDA0001562932630000036
表示利用
Figure BDA0001562932630000037
对pj i做变换，也可以表示为
Figure BDA0001562932630000038
“○”代表操作的叠加：先用Hi(xi)与pj i的齐次形式相乘得到新的坐标位置，再用
Figure BDA0001562932630000039
与之前得到的新的坐标位置相乘；Fi表示第i个网格的顶点数，Fi＝4；vk i(x)表示与第i个网格中的第k(k∈Fi)个顶点建立的能量项，可以表示为
Figure BDA00015629326300000310
l∈μk；
将公式(2)带入公式(1)推出
Figure BDA00015629326300000311
通过优化w×h个网格的y(x)，就可得能量函数(1)的优化结果，进而就可得到w×h个网格的变换矩阵；由于w ×h个网格计算的过程是一样的，而且是独立进行的，为了简化表示就用y(x)来表示当前处理网格的yi(x)；
步骤1.2.2，又具体包括如下子步骤：
步骤1.2.2.A、将y(x)按照泰勒公式展开，得到了如下公式(3)：
Figure BDA0001562932630000041
其中，J(x)为y(x)的雅各比矩阵，如公式(4)；M(0,x)，即M(x1＝0,x2＝x)，它的计算过程如公式(5)所示：
Figure BDA0001562932630000042
Figure BDA0001562932630000043
再将公式(3)带入
Figure BDA0001562932630000044
得到(6)：
J(x)＝J(0)+M(0,x)+O(||x||2)(6)
将公式(6)带入公式(3)得到(7)：
Figure BDA0001562932630000045
(7)公式的近似表示为(8)：
Figure BDA0001562932630000046
至此，网格y(x)优化的目标是为了找一个x0使得y(x0)≈0；将y(x0)＝0带入公式(8)后，可得x0＝-2(J(0)+J(x0))+*y(0)；
其中，(J(0)+J(x0))+表示(J(0)+J(x0))的伪逆矩阵；从x0＝-2(J(0)+J(x0))+*y(0)看出，求出J(0)和J(x0)，可得x0；
步骤1.2.2.B、求解J(0)；
将公式(2)带入公式(5)，并令x＝0得得
Figure BDA0001562932630000047
其中：
Figure BDA0001562932630000048
Figure BDA0001562932630000049
Figure BDA00015629326300000410
是上一次迭代第l个网格的变换矩阵；由公式(9)和(10)看出，yi(x)和 vi(x)都是由三个函数复合而成的，所有
Figure BDA00015629326300000411
和
Figure BDA00015629326300000412
的求解可以由三个雅各比矩阵相乘得到，即
Figure BDA00015629326300000413
为了求解
Figure BDA00015629326300000414
和
Figure BDA0001562932630000051
需要求解JI、Jw、JG、
Figure BDA0001562932630000052
步骤1.2.2.B.A、通过公式(11)求解JI；
Figure BDA0001562932630000053
其中，
Figure BDA0001562932630000054
表示矩阵
Figure BDA0001562932630000055
的雅各比矩阵；
步骤1.2.2.B.B、通过公式(12)求解Jw:
Figure BDA0001562932630000056
令特征点pi＝[ui vi 1]T那么Jw就可以表示为(13):
Figure BDA0001562932630000057
步骤1.2.2.B.C、通过公式(14)求解JG:
Figure BDA0001562932630000058
通过利用流形映射的方式，将(14)表示为(15)；
JG＝[[A1]v [A2]v … [A8]v](15)
[Ai]v是将Ai按行变换为一个向量；其中
Figure BDA0001562932630000059
Figure BDA00015629326300000510
步骤1.2.2.B.D、通过公式(16)求解
Figure BDA00015629326300000511
Figure BDA00015629326300000512
其中，
Figure BDA00015629326300000513
表示矩阵
Figure BDA00015629326300000514
的雅各比矩阵；
步骤1.2.2.B.E、通过公式(17)求解
Figure BDA00015629326300000515
Figure BDA00015629326300000516
令特征点qk＝[ek rk 1]T那么
Figure BDA0001562932630000061
就可以表示为公式(18)；
Figure BDA0001562932630000062
由
Figure BDA0001562932630000063
和
Figure BDA0001562932630000064
就可以得到
Figure BDA0001562932630000065
和
Figure BDA0001562932630000066
通过计算
Figure BDA0001562932630000067
和
Figure BDA0001562932630000068
得到J(0)；
步骤1.2.2.C、通过公式(19)求解J(x0)；
将公式(2)带入公式(5)，并令x＝x0得公式(19)：
Figure BDA0001562932630000069
其中
Figure BDA00015629326300000610
表示为公式(20)：
Figure BDA00015629326300000611
假设
Figure BDA00015629326300000612
即
Figure BDA00015629326300000613
那么
Figure BDA00015629326300000614
可表示为公式(21)：
Figure BDA00015629326300000615
令
Figure BDA00015629326300000616
将(21)表示为公式(22)：
Figure BDA00015629326300000617
令
Figure BDA00015629326300000618
可以表示为公式(23)：
Figure BDA00015629326300000619
从公式(22)和(23)看出，yi(x)和vi(x)都是由三个函数复合而成的，所以
Figure BDA00015629326300000620
和
Figure BDA00015629326300000621
的求解可以由三个雅各比矩阵相乘得到，即
Figure BDA00015629326300000622
步骤1.2.2.C.A、通过公式(24)求解
Figure BDA00015629326300000626
:
Figure BDA00015629326300000623
其中，
Figure BDA00015629326300000624
表示矩阵
Figure BDA00015629326300000625
的雅各比矩阵；
步骤1.2.2.C.B、通过公式(25)求解
Figure BDA00015629326300000717
:
Figure BDA0001562932630000071
令
Figure BDA0001562932630000072
那么
Figure BDA00015629326300000718
可以表示为式(26)：
Figure BDA0001562932630000073
步骤1.2.2.C.C、通过公式(27)求解
Figure BDA0001562932630000074
Figure BDA0001562932630000075
其中，
Figure BDA0001562932630000076
表示矩阵
Figure BDA0001562932630000077
的雅各比矩阵；
步骤1.2.2.C.D、通过公式(28)求解
Figure BDA00015629326300000719
:
Figure BDA0001562932630000078
令
Figure BDA0001562932630000079
那么
Figure BDA00015629326300000710
可以表示为公式(29)：
Figure BDA00015629326300000711
由
Figure BDA00015629326300000712
就可以得到
Figure BDA00015629326300000713
和
Figure BDA00015629326300000714
进而就可以得到J(x0)；
计算出J(x0)和J(0)后，结合x0＝-2(J(0)+J(x0))+*y(0)得到x0，然后利用黎曼指数函数将x0转换到欧氏空间，即H(x0)；之后利用H(x0)更新
Figure BDA00015629326300000715
步骤1.2.2是一个网格在一次迭代过程中的计算，每一次迭代会将所有的网格变换矩阵更新一遍，然后再次迭代计算，一直到所有网格的x0的模长都小于阈值后停止迭代，此时每个网格得到的
Figure BDA00015629326300000716
就是w×h个网格得到的变换矩阵；
步骤二、在流形空间中矫正非重叠部分的扭曲，得到变换后的图像；
步骤二之前的变换矩阵可以将图像I1和I2的重叠部分对齐，但是会让图像 I2的非重叠部分产生投影扭曲，所以需要矫正这部分扭曲；
首先要利用之前的匹配特征点求取图像I2到I1的全局相似变换矩阵S，具体的公式如(30)和(31)：
di＝Hi*(S)-1(30)
Figure BDA0001562932630000081
Hi表示图像I2中第i个网格插值前的矩阵，
Figure BDA0001562932630000082
表示图像I2中第i个网格插值后的变换矩阵，exp(A)表示黎曼指数函数，可以将流形空间的矩阵转换到欧氏空间中，log(A)表示黎曼对数函数，可以将欧氏空间中的矩阵转换到流形空间中， ti表示第i个网格插值的权重；该权重是通过如下的公式(32)计算：
Figure BDA0001562932630000083
其中，pi表示第i个网格的网格中心点，pmin和pmax的计算是通过下面的公式 (33)：
Figure BDA0001562932630000084
O是图像I2原始状态对应点的中心点，O′是图像I2目标状态对应点的中心
点，用
Figure BDA0001562932630000088
表示图像变换的偏移向量；pi表示当前的网格中心点，pmin和pmax分别表示ai最小和最大时所对应网格中心点在
Figure BDA0001562932630000086
方向上的投影点；在得到pmin和pmax后再按照公式(32)取权重ti，并得到新的网格变换矩阵；ti的计算可以使重叠部分的网格趋于步骤二中计算出的变换，非重叠部分的网格趋于相似变换；最后通过新的变换矩阵变换图像I2得到新的变换结果；
但是由于插值操作是针对整幅图像的，重叠部分也发生了变换，为了可以使插值后的图像I2依然可以与图像I1对齐，需要对图像I1也网格化为w×h个网格，并按照公式(34)求解图像I1w×h个网格的变换矩阵：
Figure BDA0001562932630000087
其中，
Figure BDA0001562932630000094
表示图像I2第i个网格插值后的矩阵，
Figure BDA0001562932630000092
表示图像I1第i个网格矫正后的矩阵，
Figure BDA0001562932630000093
表示图像I2第i个网格插值前的矩阵；通过公式(34)调整图像 I1的各个网格变换之后就可以使图像I1和图像I2的重叠部分重新对齐了，即得到了变换后的图像I1和I2；
步骤三、图像融合，具体基于步骤二得到变换后的图像，再利用线性融合的方式将这两幅图像融合到一起，得到了一幅包含更大视角的图像；
至此，从步骤一到步骤三，完成了一种基于流形空间的图像拼接方法。
有益效果
本发明一种基于流形优化的图像拼接方法，对比现有技术，具有以下特点：
(1)本发明所述方法与传统欧氏空间的图像拼接方法相比，拼接的效果会更加自然平滑；之前的图像拼接方法都是在欧氏空间中操作图像的变换矩阵，例如变换矩阵的获取或是插值，但是从李群的角度来看，欧氏空间中的变换矩阵是不可以相加减的，那么诸如插值这样的操作如果放到欧氏空间中的话很容易就会产生奇异的结果，反映到图像上就是扭曲；而本发明将其放入流形空间中就避免了这种情况。
(2)本发明所述方法与传统欧氏空间的图像拼接方法相比，处理效率也会有所提升；从欧氏空间转换到流形空间，向量的维度会有所降低，这样就大大减小了优化过程中的计算量，计算的速度会更快。
附图说明
图1是本发明一种基于流形优化的图像拼接方法及实施例1中的流程示意图。
具体实施方式
下面结合附图和实施例对本发明所述方法的具体实施做详细说明。
实施例1
本实施例叙述了本发明一种基于流形优化的图像拼接方法的具体实现过程。图1本实施例的实现流程示意图。
从图1中可以看出，本发明及本实施例的具体实现步骤如下：
步骤A、将图像的重叠部分进行对齐；
在本次的步骤说明中使用I1和I2来表示待拼接的两幅图像；
步骤A.1、求取两幅图像的对应特征点；具体为：
首先使用SIFT(Lowe D G.Object recognition from local scale-invariantfeatures[C]//Computer vision,1999.The proceedings of the seventh IEEEinternational conference on.Ieee,1999,2:1150-1157.)算法检测图像I1和图像I2的特征点；然后进行粗匹配；再利用RANSAC算法进一步筛选出准确的匹配特征点；
步骤A.2、利用流形优化的方法获取图像变换矩阵，具体为：
步骤A.2.1、将图像I2网格化，即将图像I2为w×h个网格；
其中，w＝50为宽，h＝50为高，共M＝w×h＝2500个网格；
步骤A.2.2、在流形空间中获取步骤A.2.1中w×h个网格的变换矩阵；
在流形空间中获取w×h个网格中的每一个网格的变换矩阵，具体通过迭代优化能量函数(35)来得到：
Figure BDA0001562932630000101
其中，M＝50×50＝2500表示所有的网格数；i表示50×50个网格按行排列后的第i个网格；Ni表示第i个网格内的所有匹配特征点数；
Figure BDA0001562932630000102
是第i个网格前一次迭代后得到的变换矩阵，初始的值设为直接线性变换得到的全局单应矩阵；
Hi(xi)表示第i个网格每次迭代要更新的值，而xi就是Hi(xi)在流形空间中的表示形式，第i个网格在每一次迭代后都会得到xi，将其转换到欧氏空间后利用
Figure BDA0001562932630000111
更新
Figure BDA0001562932630000112
之后再次迭代；w(H)(pj)表示变换矩阵H与点pj坐标的齐次形式相乘得到新的坐标位置；
Figure BDA0001562932630000113
表示利用第i个网格变换矩阵变换该网格内的特征点pj后得到的特征点与实际检测到的特征点p'j之间的距离；K表示第i个网格的四个顶点；k表示第i个网格内按行排列的第k个顶点；μk表示与顶点qk相连接的网格集合；
Figure BDA0001562932630000114
表示第i个网格变换矩阵和第l个网格变换矩阵变换同一个网格顶点qk后的距离；λ是为了平衡匹配项和平滑项而设立的参数，设置为1.5；
为了求解能量函数，令：
Figure BDA0001562932630000115
其中，yi(x)表示与第i个网格优化所涉及的所有能量项组成的向量；Ni表示在第i个网格内的特征点对数；
Figure BDA0001562932630000116
表示在第i个网格中，利用第j对特征点建立的能量项，可以表示为
Figure BDA0001562932630000117
其中
Figure BDA0001562932630000118
表示利用
Figure BDA0001562932630000119
对pj i做变换，也可以表示为
Figure BDA00015629326300001110
“○”代表操作的叠加：先用Hi(xi)与pj i的齐次形式相乘得到新的坐标位置，再用
Figure BDA00015629326300001111
与之前得到的新的坐标位置相乘；Fi表示第i个网格的顶点数，Fi＝4；vk i(x)表示与第i个网格中的第k(k∈Fi)个顶点建立的能量项，可以表示为
Figure BDA00015629326300001112
l∈μk；
将公式(36)带入公式(35)推出
Figure BDA00015629326300001113
通过优化50×50个网格的 y(x)，就可得能量函数(35)的优化结果，进而就可得到50×50个网格的变换矩阵；由于2500个网格计算的过程是一样的，而且是独立进行的，为了简化表示就用 y(x)来表示当前处理网格的yi(x)；
步骤A.2.2，又具体包括如下子步骤：
步骤A.2.2.A、将y(x)按照泰勒公式展开，得到了如下公式(37)：
Figure BDA0001562932630000121
其中，J(x)为y(x)的雅各比矩阵，如公式(38)；M(0,x)，即M(x1＝0,x2＝x)，它的计算过程如公式(39)所示：
Figure BDA0001562932630000122
Figure BDA0001562932630000123
再将公式(37)带入
Figure BDA0001562932630000124
得到(40)：
J(x)＝J(0)+M(0,x)+O(||x||2)(40)
将公式(40)带入公式(37)得到(41)：
Figure BDA0001562932630000125
(41)公式的近似表示为(42)：
Figure BDA0001562932630000126
至此，网格y(x)优化的目标是为了找一个x0使得y(x0)≈0；将y(x0)＝0带入公式(42)后，可得x0＝-2(J(0)+J(x0))+*y(0)；
其中，(J(0)+J(x0))+表示(J(0)+J(x0))的伪逆矩阵；从x0＝-2(J(0)+J(x0))+*y(0)看出，求出J(0)和J(x0)，可得x0；
步骤A.2.2.B、求解J(0)；
将公式(36)带入公式(39)，并令x＝0得
Figure BDA0001562932630000127
其中：
Figure BDA0001562932630000128
Figure BDA0001562932630000131
Figure BDA0001562932630000132
是上一次迭代第l个网格的变换矩阵；由公式(43)和(44)看出，yi(x)和 vi(x)都是由三个函数复合而成的，所有
Figure BDA0001562932630000133
和
Figure BDA0001562932630000134
的求解可以由三个雅各比矩阵相乘得到，即
Figure BDA0001562932630000135
为了求解
Figure BDA0001562932630000136
和
Figure BDA0001562932630000137
需要求解JI、Jw、JG、
Figure BDA0001562932630000138
步骤A.2.2.B.A、通过公式(45)求解JI；
Figure BDA0001562932630000139
其中，
Figure BDA00015629326300001310
表示矩阵
Figure BDA00015629326300001311
的雅各比矩阵；
步骤A.2.2.B.B、通过公式(46)求解Jw:
Figure BDA00015629326300001312
令特征点pi＝[ui vi 1]T那么Jw就可以表示为(47):
Figure BDA00015629326300001313
步骤A.2.2.B.C、通过公式(48)求解JG:
Figure BDA00015629326300001314
通过利用流形映射的方式，将(48)变换为(49)；
JG＝[[A1]v [A2]v … [A8]v](49)
[Ai]v是将Ai按行变换为一个向量；其中
Figure BDA00015629326300001315
Figure BDA00015629326300001316
步骤A.2.2.B.D、通过公式(50)求解
Figure BDA00015629326300001317
Figure BDA0001562932630000141
其中，
Figure BDA0001562932630000142
表示矩阵
Figure BDA0001562932630000143
的雅各比矩阵；
步骤A.2.2.B.E、通过公式(51)求解
Figure BDA0001562932630000144
Figure BDA0001562932630000145
令特征点qk＝[ek rk 1]T那么
Figure BDA0001562932630000146
就可以表示为公式(52)；
Figure BDA0001562932630000147
由
Figure BDA0001562932630000148
和
Figure BDA0001562932630000149
就可以得到
Figure BDA00015629326300001410
和
Figure BDA00015629326300001411
通过计算
Figure BDA00015629326300001412
和
Figure BDA00015629326300001413
得到J(0)；
步骤1.2.2.C、求解J(x0)；
将公式(36)带入公式(39)，并令x＝x0得公式(53)：
Figure BDA00015629326300001414
其中
Figure BDA00015629326300001415
表示为公式(54)：
Figure BDA00015629326300001416
假设
Figure BDA00015629326300001417
即
Figure BDA00015629326300001418
那么
Figure BDA00015629326300001419
可表示为公式(55)：
Figure BDA00015629326300001420
令
Figure BDA00015629326300001421
将(55)表示为公式(56)：
Figure BDA00015629326300001422
令
Figure BDA00015629326300001423
可以表示为公式(57)：
Figure BDA00015629326300001424
从公式(22)和(23)看出，yi(x)和vi(x)都是由三个函数复合而成的，所以
Figure BDA00015629326300001425
和
Figure BDA00015629326300001426
的求解可以由三个雅各比矩阵相乘得到，即
Figure BDA0001562932630000151
步骤A.2.2.C.A、通过公式(58)求解
Figure BDA00015629326300001520
:
Figure BDA0001562932630000152
其中，
Figure BDA0001562932630000153
表示矩阵
Figure BDA0001562932630000154
的雅各比矩阵；
步骤A.2.2.C.B、通过公式(59)求解
Figure BDA00015629326300001521
:
Figure BDA0001562932630000155
令
Figure BDA0001562932630000156
那么
Figure BDA00015629326300001522
可以表示为式(60)：
Figure BDA0001562932630000157
步骤A.2.2.C.C、通过公式(61)求解
Figure BDA0001562932630000158
Figure BDA0001562932630000159
其中，
Figure BDA00015629326300001510
表示矩阵
Figure BDA00015629326300001511
的雅各比矩阵；
步骤A.2.2.C.D、通过公式(62)求解
Figure BDA00015629326300001523
:
Figure BDA00015629326300001512
令
Figure BDA00015629326300001513
那么
Figure BDA00015629326300001514
可以表示为公式(63)：
Figure BDA00015629326300001515
由
Figure BDA00015629326300001516
就可以得到
Figure BDA00015629326300001517
和
Figure BDA00015629326300001518
进而就可以得到J(x0)；
计算出J(x0)和J(0)后，结合x0＝-2(J(0)+J(x0))+*y(0)得到x0，然后利用黎曼指数函数将x0转换到欧氏空间，即H(x0)；之后利用H(x0)更新
Figure BDA00015629326300001519
步骤1.2.2是一个网格在一次迭代过程中的计算，每一次迭代会将所有的网格变换矩阵更新一遍，然后再次迭代计算，一直到所有网格的x0的模长都小于阈值后停止迭代，阈值设为0.1，此时每个网格得到的
Figure BDA0001562932630000161
就是50×50个网格得到的变换矩阵。
步骤B、在流形空间中矫正非重叠部分的扭曲；
之前的变换矩阵可以将图像I1和I2的重叠部分对齐，但是会让图像I2的非重叠部分产生投影扭曲，所以需要矫正这部分扭曲；
首先要利用之前的匹配特征点求取图像I2到I1的全局相似变换矩阵S，具体的公式如(64)和(65)：
di＝Hi*(S)-1(64)
Figure BDA0001562932630000162
Hi表示图像I2中第i个网格插值前的矩阵，
Figure BDA0001562932630000163
表示图像I2中第i个网格插值后的变换矩阵，exp(A)表示黎曼指数函数，可以将流形空间的矩阵转换到欧氏空间中，可以使用Matlab中的expm函数求取；log(A)表示黎曼对数函数，可以将欧氏空间中的矩阵转换到流形空间中，可以使用Matlab中的logm函数求取；ti表示第i个网格插值的权重；该权重是通过如下的公式计算：
Figure BDA0001562932630000164
其中，pi表示第i个网格的网格中心点，pmin和pmax的计算是通过下面的公式 (67)：
Figure BDA0001562932630000165
O是图像I2原始状态对应点的中心点，O′是图像I2目标状态对应点的中心点，用
Figure BDA0001562932630000166
表示图像变换的偏移向量；pi表示当前的网格中心点，pmin和pmax分别表示ai最小和最大时所对应网格中心点在
Figure BDA0001562932630000167
方向上的投影点；在得到pmin和pmax后再按照公式(66)取权重ti，并得到新的网格变换矩阵；ti的计算可以使重叠部分的网格趋于步骤B中计算出的变换，非重叠部分的网格趋于相似变换；最后通过新的变换矩阵变换图像I2得到新的变换结果；
但是由于插值操作是针对整幅图像的，重叠部分也发生了变换，为了可以使插值后的图像I2依然可以与图像I1对齐，需要对图像I1也网格化50×50个网格，并按照公式(68)求解图像I150×50个网格的变换矩阵：
Figure BDA0001562932630000171
其中，
Figure BDA0001562932630000175
表示图像I2第i个网格插值后的矩阵，
Figure BDA0001562932630000173
表示图像I1第i个网格矫正后的矩阵，
Figure BDA0001562932630000174
表示图像I2第i个网格插值前的矩阵；通过公式(68)调整图像 I1的各个网格变换之后就可以使图像I1和图像I2的重叠部分重新对齐了；
步骤C、图像融合，具体基于步骤B得到变换后的图像I1和I2，再利用线性融合的方式将这两幅图像融合到一起，得到了一幅包含更大视角的图像；
按照步骤A到步骤C中方法，就可以将两幅不同视角拍摄的图像拼接成一幅广视角的图像。相比于之前的拼接方法，本发明将变换矩阵的一系列操作都放到流形空间中去执行，由此避免了欧氏空间中的很多限制，最后得到的拼接图像相比之前的方法也会更加平滑自然。
为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (2)

1.一种基于流形优化的图像拼接方法，其特征在于：核心思想是将图像拼接的中的变换矩阵映射到流形空间去，在流形空间中通过一系列的优化插值得到最后的图像变换矩阵，然后再将该矩阵映射到欧氏空间并作用到变换图像上，最后将参照图像和变换图像融合到一起得到最后的广角图像；之所以将矩阵的操作放到流形空间是因为从李群的角度来看，变换矩阵在欧氏空间中的加减运算是不合理的，容易产生奇异的结果，而在流形空间则会避免这样的情况，所以将变换矩阵的操作放入流形空间；具体实现步骤如下：
步骤一、将待拼接的两幅图像的重叠部分进行对齐，具体为：
步骤1.1、求取待拼接的两幅图像的对应特征点；具体为：
首先使用特征点提取的算法检测图像I1和图像I2的特征点；然后进行粗匹配；再利用RANSAC算法进一步筛选出准确的匹配特征点；
步骤1.2、利用流形优化的方法获取图像变换矩阵，具体为：
步骤1.2.1、将图像I2网格化，即将图像I2为w×h个网格；
其中，w为宽，h为高，共M＝w×h个网格；
步骤1.2.2、在流形空间中获取步骤1.2.1中w×h个网格的变换矩阵；
在流形空间中获取w×h个网格中的每一个网格的变换矩阵，具体通过迭代优化能量函数(1)来得到：
Figure FDA0003100521100000011
其中，M＝w×h表示所有的网格数；i表示w×h个网格按行排列后的第i个网格；Ni表示第i个网格内的所有匹配特征点数；
Figure FDA0003100521100000012
是第i个网格前一次迭代后得到的变换矩阵，初始的值设为直接线性变换得到的全局单应矩阵；
Hi(xi)表示第i个网格每次迭代要更新的值，而xi就是Hi(xi)在流形空间中的表示形式，第i个网格在每一次迭代后都会得到xi，将其转换到欧氏空间后利用
Figure FDA0003100521100000021
更新
Figure FDA0003100521100000022
之后再次迭代；w(H)(pj)表示变换矩阵H与点pj坐标的齐次形式相乘得到新的坐标位置；
Figure FDA0003100521100000023
表示利用第i个网格变换矩阵变换该网格内的特征点pj后得到的特征点与实际检测到的特征点p'j之间的距离；K表示第i个网格的四个顶点；k表示第i个网格内按行排列的第k个顶点；μk表示与顶点qk相连接的网格集合；
Figure FDA0003100521100000024
表示第i个网格变换矩阵和第l个网格变换矩阵变换同一个网格顶点qk后相差的距离；λ是为了平衡匹配项和平滑项而设立的参数；
为了求解能量函数，令：
Figure FDA0003100521100000025
其中，yi(x)表示与第i个网格优化所涉及的所有能量项组成的向量；Ni表示在第i个网格内的特征点对数；
Figure FDA0003100521100000026
表示在第i个网格中，利用第j对特征点建立的能量项，可以表示为
Figure FDA0003100521100000027
其中
Figure FDA0003100521100000028
表示利用
Figure FDA0003100521100000029
对pj i做变换，也可以表示为
Figure FDA00031005211000000210
Figure FDA00031005211000000211
代表操作的叠加：先用Hi(xi)与pj i的齐次形式相乘得到新的坐标位置，再用
Figure FDA00031005211000000212
与之前得到的新的坐标位置相乘；Fi表示第i个网格的顶点数，Fi＝4；vk i(x)表示与第i个网格中的第k个顶点建立的能量项，可以表示为：
Figure FDA00031005211000000213
将公式(2)带入公式(1)推出
Figure FDA00031005211000000214
通过优化w×h个网格的y(x)，就可得能量函数(1)的优化结果，进而就可得到w×h个网格的变换矩阵；由于w×h个网格计算的过程是一样的，而且是独立进行的，为了简化表示就用y(x)来表示当前处理网格的yi(x)；
步骤1.2.2，又具体包括如下子步骤：
步骤1.2.2.A、将y(x)按照泰勒公式展开，得到了如下公式(3)：
Figure FDA0003100521100000031
其中，J(x)为y(x)的雅各比矩阵，如公式(5)；M(0,x)，即M(x1＝0,x2＝x)，它的计算过程如公式(4)所示：
Figure FDA0003100521100000032
Figure FDA0003100521100000033
再将公式(3)带入
Figure FDA0003100521100000034
得到(6)：
J(x)＝J(0)+M(0,x)+O(||x||2) (6)
将公式(6)带入公式(3)得到(7)：
Figure FDA0003100521100000035
(7)公式的近似表示为(8)：
Figure FDA0003100521100000036
至此，网格y(x)优化的目标是为了找一个x0使得y(x0)≈0；将y(x0)＝0带入公式(8)后，可得x0＝-2(J(0)+J(x0))+*y(0)；
其中，(J(0)+J(x0))+表示(J(0)+J(x0))的伪逆矩阵；从x0＝-2(J(0)+J(x0))+*y(0)看出，求出J(0)和J(x0)，可得x0；
步骤1.2.2.B、求解J(0)；
将公式(2)带入公式(5)，并令x＝0得
Figure FDA0003100521100000037
其中：
Figure FDA0003100521100000038
Figure FDA0003100521100000039
Figure FDA00031005211000000310
是上一次迭代第l个网格的变换矩阵；由公式(9)和(10)看出，yi(x)和vi(x)都是由三个函数复合而成的，所有
Figure FDA0003100521100000041
和
Figure FDA0003100521100000042
的求解可以由三个雅各比矩阵相乘得到，即
Figure FDA0003100521100000043
为了求解
Figure FDA0003100521100000044
和
Figure FDA0003100521100000045
需要求解JI、Jw、JG、
Figure FDA0003100521100000046
步骤1.2.2.B.A、通过公式(11)求解JI；
Figure FDA0003100521100000047
其中，
Figure FDA0003100521100000048
表示矩阵
Figure FDA0003100521100000049
的雅各比矩阵；
步骤1.2.2.B.B、通过公式(12)求解Jw:
Figure FDA00031005211000000410
令特征点pi＝[ui vi l]T那么Jw就可以表示为(13)：
Figure FDA00031005211000000411
步骤1.2.2.B.C、通过公式(14)求解JG:
Figure FDA00031005211000000412
通过利用流形映射的方式，将(14)表示为(15)；
JG＝[[A1]v [A2]v … [A8]v] (15)
[Ai]v是将Ai按行变换为一个向量；其中
Figure FDA00031005211000000413
Figure FDA00031005211000000414
步骤1.2.2.B.D、通过公式(16)求解
Figure FDA00031005211000000415
Figure FDA00031005211000000416
其中，
Figure FDA00031005211000000417
表示矩阵
Figure FDA00031005211000000418
的雅各比矩阵；
步骤1.2.2.B.E、通过公式(17)求解
Figure FDA0003100521100000051
Figure FDA0003100521100000052
令特征点qk＝[ek rk 1]T那么
Figure FDA0003100521100000053
就可以表示为公式(18)；
Figure FDA0003100521100000054
由
Figure FDA0003100521100000055
和
Figure FDA0003100521100000056
就可以得到
Figure FDA0003100521100000057
和
Figure FDA0003100521100000058
通过计算
Figure FDA0003100521100000059
和
Figure FDA00031005211000000510
得到J(0)；
步骤1.2.2.C、通过公式(19)求解J(x0)；
将公式(2)带入公式(5)，并令x＝x0得公式(19)：
Figure FDA00031005211000000511
其中
Figure FDA00031005211000000512
表示为公式(20)：
Figure FDA00031005211000000513
假设
Figure FDA00031005211000000514
即
Figure FDA00031005211000000515
那么
Figure FDA00031005211000000516
可表示为公式(21)：
Figure FDA00031005211000000517
令
Figure FDA00031005211000000518
将(21)表示为公式(22)：
Figure FDA00031005211000000519
令
Figure FDA00031005211000000520
可以表示为公式(23)：
Figure FDA00031005211000000521
从公式(22)和(23)看出，yi(x)和vi(x)都是由三个函数复合而成的，所以
Figure FDA00031005211000000522
和
Figure FDA00031005211000000523
的求解可以由三个雅各比矩阵相乘得到，即
Figure FDA00031005211000000524
步骤1.2.2.C.A、通过公式(24)求解
Figure FDA00031005211000000525
Figure FDA0003100521100000061
其中，
Figure FDA0003100521100000062
表示矩阵
Figure FDA0003100521100000063
的雅各比矩阵；
步骤1.2.2.C.B、通过公式(25)求解
Figure FDA00031005211000000621
Figure FDA0003100521100000064
令
Figure FDA0003100521100000065
那么
Figure FDA00031005211000000622
可以表示为式(26)：
Figure FDA0003100521100000066
步骤1.2.2.C.C、通过公式(27)求解
Figure FDA0003100521100000067
Figure FDA0003100521100000068
其中，
Figure FDA0003100521100000069
表示矩阵
Figure FDA00031005211000000610
的雅各比矩阵；
步骤1.2.2.C.D、通过公式(28)求解
Figure FDA00031005211000000611
Figure FDA00031005211000000612
令
Figure FDA00031005211000000613
那么
Figure FDA00031005211000000614
可以表示为公式(29)：
Figure FDA00031005211000000615
由
Figure FDA00031005211000000616
就可以得到
Figure FDA00031005211000000617
和
Figure FDA00031005211000000618
进而就可以得到J(x0)；
计算出J(x0)和J(0)后，结合x0＝-2(J(0)+J(x0))+*y(0)得到x0，然后利用黎曼指数函数将x0转换到欧氏空间，即H(x0)；之后利用H(x0)更新
Figure FDA00031005211000000619
步骤1.2.2是一个网格在一次迭代过程中的计算，每一次迭代会将所有的网格变换矩阵更新一遍，然后再次迭代计算，一直到所有网格的x0的模长都小于阈值后停止迭代，此时每个网格得到的
Figure FDA00031005211000000620
就是w×h个网格得到的变换矩阵；
其中，使用I1和I2来表示待拼接的两幅图像；
步骤二、在流形空间中矫正非重叠部分的扭曲，得到变换后的图像；
步骤二之前的变换矩阵可以将图像I1和I2的重叠部分对齐，但是会让图像I2的非重叠部分产生投影扭曲，所以需要矫正这部分扭曲；
步骤三、图像融合，具体基于步骤二得到变换后的图像，再利用线性融合的方式将这两幅图像融合到一起，得到了一幅包含更大视角的图像；
至此，从步骤一到步骤三，完成了一种基于流形空间的图像拼接方法。
2.根据权利要求1所述的一种基于流形优化的图像拼接方法，其特征在于：步骤二首先要利用之前的匹配特征点求取图像I2到I1的全局相似变换矩阵S，具体的公式如(30)和(31)：
di＝Hi*(S)-1 (30)
Figure FDA0003100521100000071
Hi表示图像I2中第i个网格插值前的矩阵，
Figure FDA0003100521100000072
表示图像I2中第i个网格插值后的变换矩阵，exp(A)表示黎曼指数函数，可以将流形空间的矩阵转换到欧氏空间中，log(A)表示黎曼对数函数，可以将欧氏空间中的矩阵转换到流形空间中，ti表示第i个网格插值的权重；该权重是通过如下的公式(32)计算：
Figure FDA0003100521100000073
其中，pi表示第i个网格的网格中心点，pmin和pmax的计算是通过下面的公式(33)：
Figure FDA0003100521100000074
O是图像I2原始状态对应点的中心点，O′是图像I2目标状态对应点的中心点，用
Figure FDA0003100521100000075
表示图像变换的偏移向量；pi表示当前的网格中心点，pmin和pmax分别表示ai最小和最大时所对应网格中心点在
Figure FDA0003100521100000076
方向上的投影点；在得到pmin和pmax后再按照公式(32)取权重ti，并得到新的网格变换矩阵；ti的计算可以使重叠部分的网格趋于步骤二中计算出的变换，非重叠部分的网格趋于相似变换；最后通过新的变换矩阵变换图像I2得到新的变换结果；
但是由于插值操作是针对整幅图像的，重叠部分也发生了变换，为了可以使插值后的图像I2依然可以与图像I1对齐，需要对图像I1也网格化为w×h个网格，并按照公式(34)求解图像I1w×h个网格的变换矩阵：
Figure FDA0003100521100000081
其中，
Figure FDA0003100521100000082
表示图像I2第i个网格插值后的矩阵，
Figure FDA0003100521100000083
表示图像I1第i个网格矫正后的矩阵，
Figure FDA0003100521100000084
表示图像I2第i个网格插值前的矩阵；通过公式(34)调整图像I1的各个网格变换之后就可以使图像I1和图像I2的重叠部分重新对齐了，即得到了变换后的图像I1和I2。
CN201810087985.4A 2018-01-30 2018-01-30 一种基于流形优化的图像拼接方法 Active CN108280805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810087985.4A CN108280805B (zh) 2018-01-30 2018-01-30 一种基于流形优化的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810087985.4A CN108280805B (zh) 2018-01-30 2018-01-30 一种基于流形优化的图像拼接方法

Publications (2)

Publication Number Publication Date
CN108280805A CN108280805A (zh) 2018-07-13
CN108280805B true CN108280805B (zh) 2021-07-20

Family

ID=62805753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810087985.4A Active CN108280805B (zh) 2018-01-30 2018-01-30 一种基于流形优化的图像拼接方法

Country Status (1)

Country Link
CN (1) CN108280805B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961398B (zh) * 2019-02-18 2023-04-07 鲁能新能源(集团)有限公司 风机叶片图像分割与网格优化拼接方法
CN112381726B (zh) * 2020-10-29 2023-05-23 浙江吉利控股集团有限公司 一种地下车库全局图的构建方法及装置
WO2022126614A1 (zh) * 2020-12-18 2022-06-23 中国科学院深圳先进技术研究院 基于流形优化的用于磁共振动态成像的深度学习方法
CN112927276B (zh) * 2021-03-10 2024-03-12 杭州海康威视数字技术股份有限公司 图像配准方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101609503A (zh) * 2009-07-16 2009-12-23 复旦大学 基于双流形对齐的人脸超分图像处理方法
CN102521843A (zh) * 2011-11-28 2012-06-27 大连大学 一种基于流形学习的三维人体运动分析与合成方法
CN102881032A (zh) * 2012-09-14 2013-01-16 北京理工大学 一种基于改进算法的图片拼接方法
CN105405097A (zh) * 2015-10-29 2016-03-16 武汉大学 基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统
CN105447884A (zh) * 2015-12-21 2016-03-30 宁波大学 一种基于流形特征相似度的图像质量客观评价方法
CN106530338A (zh) * 2016-10-31 2017-03-22 武汉纺织大学 生物组织非线性形变前后mr影像特征点匹配方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421098B2 (en) * 2002-10-07 2008-09-02 Technion Research & Development Foundation Ltd. Facial recognition and the open mouth problem
JP4987688B2 (ja) * 2007-12-25 2012-07-25 株式会社東芝 画像高解像度化方法および装置
US9699379B1 (en) * 2012-09-17 2017-07-04 Amazon Technologies, Inc. Camera arrangements for wide-angle imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101609503A (zh) * 2009-07-16 2009-12-23 复旦大学 基于双流形对齐的人脸超分图像处理方法
CN102521843A (zh) * 2011-11-28 2012-06-27 大连大学 一种基于流形学习的三维人体运动分析与合成方法
CN102881032A (zh) * 2012-09-14 2013-01-16 北京理工大学 一种基于改进算法的图片拼接方法
CN105405097A (zh) * 2015-10-29 2016-03-16 武汉大学 基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统
CN105447884A (zh) * 2015-12-21 2016-03-30 宁波大学 一种基于流形特征相似度的图像质量客观评价方法
CN106530338A (zh) * 2016-10-31 2017-03-22 武汉纺织大学 生物组织非线性形变前后mr影像特征点匹配方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Discriminative human action recognition in the learned hierarchical manifold space;Lei Han 等;《Image and Vision Computing》;20100531;第28卷(第5期);第836-849页 *
基于黎曼流形的图像投影配准算法;刘云鹏 等;《自动化学报》;20091130;第35卷(第11期);第1379-1386页 *
黎曼流形上内蕴方式的图像轮廓提取;范劲松 等;《华东师范大学学报 (白然科学版)》;20070930;第2007年卷(第5期);第70-77页 *

Also Published As

Publication number Publication date
CN108280805A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280805B (zh) 一种基于流形优化的图像拼接方法
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN108470370B (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN101866482B (zh) 基于摄像设备自标定技术的全景图拼接方法和装置
WO2019219012A1 (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN110070598B (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN109767388B (zh) 基于超像素提升图像拼接质量的方法、移动终端、相机
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN107767339B (zh) 一种双目立体图像拼接方法
CN110276768B (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN110580720B (zh) 一种基于全景图的相机位姿估计方法
CN112288628B (zh) 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统
CN112862683B (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN107220955A (zh) 一种基于重叠区域特征点对的图像亮度均衡方法
CN113436270A (zh) 传感器标定方法及装置、电子设备和存储介质
CN109141432B (zh) 一种基于影像空间和全景辅助的室内定位导航方法
CN111932452B (zh) 基于可见光图像增强的红外图像卷积神经网络超分辨方法
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
CN111402412A (zh) 数据采集方法及装置、设备、存储介质
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
CN108986204B (zh) 一种基于双重校准的全自动快速室内场景三维重建装置
CN108093188B (zh) 一种基于混合投影变换模型的大视场视频全景图拼接的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant