CN106023086B - 一种基于orb特征匹配的航拍影像及地理数据拼接方法 - Google Patents
一种基于orb特征匹配的航拍影像及地理数据拼接方法 Download PDFInfo
- Publication number
- CN106023086B CN106023086B CN201610529983.7A CN201610529983A CN106023086B CN 106023086 B CN106023086 B CN 106023086B CN 201610529983 A CN201610529983 A CN 201610529983A CN 106023086 B CN106023086 B CN 106023086B
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- images
- matrix
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 95
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 238000001228 spectrum Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- OTMSDBZUPAUEDD-UHFFFAOYSA-N Ethane Chemical compound CC OTMSDBZUPAUEDD-UHFFFAOYSA-N 0.000 description 1
- 101150096839 Fcmr gene Proteins 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于ORB特征匹配的航拍影像及地理数据拼接方法，包括：步骤1，读取待拼接图像及地理信息；步骤2，对处理器进行任务分配；步骤3，提取待拼接图像的ORB特征；步骤4，对拍摄待拼接图像的相机参数进行初始化估计并求出旋转矩阵；步骤5，用光束法平差提高估计精度；步骤6，对待拼接图像进行初始拼接；步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像。
Description
技术领域
本发明属于图像与地理信息融合处理技术，利用了图像拼接技术与地理数据的融合，尤其涉及一种基于ORB(Oriented FAST and Rotated BRIEF，有方向的加速分割测试特征和有旋转的二进制鲁棒独立基本特征)特征匹配的航拍影像及地理数据拼接方法。
背景技术
图像拼接技术是图像配准、图像融合的综合体，综合运用了图像配准与融合技术，其目的是将多幅有一定重叠区域的图像拼接融合为一副图像，其在虚拟现实、虚拟漫游、海底探测、卫星遥感图像等方面有广泛的应用。其中，图像配准主要包括基于频域的方法、基于区域的方法和基于特征的图像配准方法。
一般的图像拼接技术仅仅对图像本身进行拼接而忽略了无人机图像带有的地理数据信息。无人机遥感具有机动、高效、成本低的特点，且能够在云下低空飞行，在侦查土地、矿产资源、地质环境评估、灾害防治及空间信息快速采集方面，地理数据信息格外重要。由于无人机机载摄像机拍摄范围的限制，侦察人员往往希望能够在拼接后的图像上以全局视角观察侦察的地理范围及目标的具体位置。为了满足侦察人员的需要，结合图像配准、融合、拼接技术，将地理信息融合到图像拼接过程中，实现了图像地理数据的拼接与融合。
图像配准主要通过检测图像中的特征点进行配准，常用的特征点检测算法主要是局部图像特征检测算法。局部图像特征描述是计算机视觉领域特征描述的基本方法，对于识别、匹配图像有着重要的作用。当下比较流行的具有不变性的局部图像特征提取算法包括SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded UpRobust Features，加速鲁棒特性)和ORB等。一个好的局部图像特征描述要具有不变性和可区分性。不变性包括视角、平移、尺度、旋转、形状、亮度不变性等。SIFT算法是Lowe提出的一种具有很好稳定性和鲁棒性的特征提取算法。该特征具有旋转、尺度、平移和亮度不变性，其对视角也具有一定的不变性。SURF是Herbert Bay等人提出来的，其特点是快速性，并具有尺度不变性，对光照、仿射、透视变化也具有鲁棒性。ORB算法是Ethan Rublee提出来的一种基于oFAST(orientation Features from Accelerated Segment Test)和rBRIEF(Rotation-Aware Binary Robust Independent Elementary Features)的特征点检测算法。其中，FAST算法的速度几乎是DoG(Difference of Gaussian，高斯差分，SIFT所用的算法)的30倍。在细致程度上SIFT算法高于SURF算法，SURF算法高于ORB算法，但是在计算速度上正好相反。
多频段融合(Multi-band blending)是由Burt P.J.和Adelson E.H.提出来的，它是建立在高斯金字塔变换的基础上的，将原图像分解成多个不同空间分辨率、不同尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
近年来，有大量基于SIFT/SURF/ORB/Harris检测的拼接算法被提出来，但很多都是仅仅处理图像本身。而在无人机遥感领域，飞机所拍摄的图像不仅包含图像本身，还带有各种地理信息和飞行参数。在无人机正视俯拍的情况下，可以利用飞机的载荷参数计算出图像中像素点的地理信息，并将其与图像一同传回地面控制中心。在图像处理的同时，处理人员希望能够不丢失地理信息，例如，在拼接后的图像上可以更加直观的观察图像中的目标，对感兴趣的目标可以直接进行地理定位。
发明内容
发明目的：本发明所要解决的技术问题是在图像拼接处理过程中插入地理信息数据，将其融合到图像处理过程，以多线程高效完成图像及地理信息拼接过程，并提供一种基于ORB特征匹配的航拍影像及地理数据拼接方法。
技术方案：本发明包括以下步骤：
步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维双精度浮点矩阵中，其中地理信息在本发明说明书中仅包含经度和纬度信息，而本发明方法支持扩展其他地理信息，如高度等，增加其他地理信息，只需增加矩阵通道数即可，矩阵的第一通道为矩阵中第v列(1≤v≤总列数)除以通道数余数为0的列合并成的子矩阵，第二通道为矩阵中第v列除以通道数余数为1的列合并成的子矩阵，第三通道为矩阵中第v列除以通道数余数为2的列合并成的子矩阵，依此类推；
步骤2，一台计算机可以安装多个中央处理器，一个中央处理器可以封装多个物理核心，即所谓的多核心架构处理器。支持Intel超线程技术的处理器，每个物理核心又可以支持两个逻辑核心。计算机基于计算机的处理器逻辑核心数计算任务分配数，对处理器进行任务分配，每个处理器只处理一批拼接图像；
步骤3，提取待拼接图像的ORB特征，使用最近邻和次近邻的方法保留最优匹配点；
步骤4，根据任意两幅待拼接图像的匹配与这些匹配计算出的单应性矩阵，对拍摄待拼接图像的相机的参数进行初始化估计。其中，在计算机视觉中，平面的单应性被定义为一个平面到另一个平面的投影映射。
步骤5，用光束法平差提高估计精度；使用Bundle Adjustment光束法平差算法对所有待拼接图像进行相机参数校正，以初始化所有待拼接图像为相同的旋转和焦距长度。由于多个单应性矩阵合成全景拼接图像时会造成累积误差，每个图像都要加上光束法平差值，以初始化图像为相同的旋转和焦距长度。以提高估计精度。光束法平差具有鲁棒性，其目标函数是一个映射误差的平方和函数。即每一个特征点都要映射到其他的图像中，使计算出的相机参数的误差的平方和最小。
步骤6，根据相机参数以及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接图像的初始拼接；对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩阵进行矩阵变换，完成对地理信息的拼接；地理信息跟随图像进行相同的单应性矩阵变换，保证了变换后的图像有相同的地理信息。同时，由于经度范围为-180度到180度，纬度范围为-90度到90度，在插值变换时需要注意地理信息不能超出有效范围。
步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；
步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像；
步骤1中所述二维双精度浮点矩阵使用XML(eXtensible Markup Language，可扩展标记语言)结构存储。
步骤2中，计算机将任务分配给每个处理器，采用如下公式计算处理器每线程最多处理的待拼接图像数并进行任务分配：
其中，n为处理器每线程最多处理的待拼接图像数，N为待拼接图像总数，x1为重叠图像数，0≤x1≤N-1，t为线程数，因图像拼接在每个处理线程上至少需要两幅图像，所以N≥2，否则将会因分配的图像张数不足两张而无法拼接。
步骤3包括如下步骤：
步骤3-1，对待拼接图像构建金字塔。其中，图像金字塔是以多分辨率来解释图像的一种结构，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。当向金字塔的上层移动时，尺寸和分辨率就降低；
步骤3-2，用FAST(Features from Accelerated Segment Test，加速分割测试特征)算法检测关键点的位置，这里的关键点指角点，角点为邻域内具有两个主方向的特征点；
步骤3-3，对关键点用Harris角点检测，从中选出Harris角点响应值最大的N1个特征点，其中Harris角点的响应函数R定义为：
R＝detM-α(traceM)2，
其中，
I为图像像素灰度值，Ix为图像x方向的偏导数，Iy为图像y方向的偏导数，w为加权函数，它既可是常数，也可以是高斯加权函数。
detM为矩阵M的行列式，traceM为矩阵M的直迹，α为常数，取值范围为0.04～0.06；
步骤3-4，对于选取的N1个角点，根据Intensity Centroid强度中心算法计算角点的方向，即得到oFAST(orientation Features from Accelerated Segment Test，有方向的加速分割测试特征)特征；
步骤3-5，由于BRIEF算法是无向的，将步骤3-4中计算出来的角点方向作为BRIEF(Binary Robust Independent Elementary Features，二进制鲁棒独立基本特征)的方向进行旋转，得到有向的BRIEF，用贪婪学习算法筛选出具有高方差和高不相关的有向BRIEF，称之为rBRIEF(Rotation-Aware Binary Robust Independent Elementary Features，有旋转的二进制鲁棒独立基本特征)；
步骤3-6，将oFAST和rBRIEF组合得到ORB特征。
步骤4包括：使用最近邻和次近邻方法对任意两幅待拼接图像进行特征点的匹配：最近邻匹配距离与次近邻匹配距离的比值小于一定的阈值(经验值为1.0)，即认为特征点匹配，否则为不匹配，并删除置信度低(即低于阈值1.0)的图像，即删除不是同一个全景图中的图像，当找到可以拼接的两幅图像后，将其合并到一个拼接集合中，扩展这个集合得到最大的可拼接集合，并查集是一种树型的数据结构，用于处理一些不相交的集合(DisjointSets)的合并及查询问题，即将属于相同集合的元素合并起来；单应性矩阵中包含旋转矩阵R0和平移列向量t0，通过单应性矩阵的限制条件估算相机内参数矩阵。
如果两幅图像所对应的摄像机坐标之间的变换为(R0,t0)，其中R0＝(r1,r2,r3)，(r1,r2,r3)为组成旋转矩阵R0的三个列向量，(R0,t0)是世界坐标系到摄像机坐标系之间的刚体变换，摄像机内参数矩阵为K，n0是空间平面在世界坐标系下的法向量，符号～表示在相差一个常数因子意义下的相等，空间平面上的点x2＝[a,b,c]T(上标T表示矩阵或向量转置)到图像平面上的点m(齐次坐标)之间的映射关系，即：
a,b,c为点x2的空间坐标，空间平面在世界坐标系下的方程为则两幅图像对应点之间的单应性矩阵为：
m和m'分别为两幅图像平面坐标上的点，当单应性矩阵H已知时，从H得到关于摄像机内参数矩阵K的两个线性约束方程，由于H＝(h1h2h3)～K(r1r2t0),(h1h2h3)为组成矩阵H的三个列向量，所以K-1(h1h2h3)～(r1r2t0)；又由于对摄像机内参数矩阵K得到如下两个约束：
其中，
aspect＝1.0，ppx和ppy分别赋值为图像中心点横坐标值和纵坐标值，f为焦距，
求取焦距中值或平均值作为所有图像的焦距初始化估值。
步骤7包括如下步骤：
步骤7-1，对拼接后的图像的重叠区域进行分块估计平均光强；
步骤7-2，用最大流方法检测图像重叠区域之间的缝隙；
步骤7-3，进行多波段融合：将待拼接图像分解成两个以上不同空间分辨率、不同尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
步骤7-4，对拼接后的地理信息进行有条件的插值融合：如果在拼接过程中，其中一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已知的地理信息作为拼接后图像的地理信息；如果拼接的两幅图像在融合点处的经纬度相差小于0.0002度，则取两幅图像在融合点处的经纬度的平均值作为拼接图像的经纬度；如果拼接的两幅图像在融合点处的经纬度相差大于或等于0.0002度，则判定为拼接失败。
所述方法还包括步骤9，基于SIFT特征点对最终结果图像进行验证：使用拼接前的图像与拼接后的图像进行SIFT特征匹配，用RANSAC(Random Sample Consensus，随机抽样一致)算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较SIFT匹配点之间拼接前与拼接后图像的经度差和纬度差，如果其差异小于或等于0.0001，则判定拼接的地理信息正确。
为了解决大量拼接计算时间长的问题，本发明采用多线程机制，充分利用处理器核心处理能力，对拼接图像的不同部分同时进行拼接，并在最终将各个处理器的处理结果合成拼接为最终拼接结果。本发明使用ORB算法的主要原因是图像拼接的计算量本来就很大，如果使用计算量更大的SIFT或SURF，算法将会慢得难以想象。而且，实际系统中测试结果表明ORB算法的匹配结果已经能够满足需要，无需使用计算量更大的SURF或SIFT。
本发明通过利用将地理信息矩阵作为2维矩阵插入图像拼接处理过程中，与图像进行相同的仿射变换、平移操作，从而将地理信息拼接起来，并与原始图像一一对应。
有益效果：本发明利用了经纬度与图像像素点一一对应的关系，可以将地理信息附加到图像处理过程中，共同参与图像处理过程，保证了在拼接过程中，地理信息数据与图像进行相同的变换操作，并最终输出带有地理信息的拼接图像。ORB是一种新的特征提取技术，比SIFT效率高两个数量级，其综合性能也很强，可以有效提高特征提取速度。多频段融合可以提升图像的融合效果，使图像过渡更加自然。利用多核技术，可以有效提高基于最优拼接路径的图像拼接算法速度。使用基于SIFT特征点对拼接后的地理信息进行验证，为地理信息拼接结果验证提供了有效的方法。
下面结合附图对本发明作进一步详细描述。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是双通道地理信息矩阵存储结构。
图2是基于ORB特征的航拍影像及地理数据多线程图像拼接系统示意图。
图3是基于ORB特征的航拍影像及地理数据图像拼接流程图。
图4是带地理信息的图像拼接结果。
图5是百幅图像拼接结果。
具体实施方式
本发明包括如下步骤：
步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维双精度浮点矩阵中，其中地理信息在本发明说明书中仅包含经度和纬度信息，而本发明方法支持扩展其他地理信息，如高度等，增加其他地理信息，只需增加矩阵通道数即可，矩阵的第一通道为矩阵中第v列(1≤v≤总列数)除以通道数余数为0的列合并成的子矩阵，第二通道为矩阵中第v列除以通道数余数为1的列合并成的子矩阵，第三通道为矩阵中第v列除以通道数余数为2的列合并成的子矩阵，依此类推；
步骤2，一台计算机可以安装多个中央处理器，一个中央处理器可以封装多个物理核心，即所谓的多核心架构处理器。支持Intel超线程技术的处理器，每个物理核心又可以支持两个逻辑核心。计算机基于计算机的处理器逻辑核心数计算任务分配数，对处理器进行任务分配，每个处理器只处理一批拼接图像；
步骤3，提取待拼接图像的ORB特征，使用最近邻和次近邻的方法保留最优匹配点；
步骤4，根据任意两幅待拼接图像的匹配与这些匹配计算出的单应性矩阵，对拍摄待拼接图像的相机的参数进行初始化估计。其中，在计算机视觉中，平面的单应性被定义为一个平面到另一个平面的投影映射。
步骤5，用光束法平差提高估计精度；使用Bundle Adjustment光束法平差算法对所有待拼接图像进行相机参数校正，以初始化所有待拼接图像为相同的旋转和焦距长度。由于多个单应性矩阵合成全景拼接图像时会造成累积误差，每个图像都要加上光束法平差值，以初始化图像为相同的旋转和焦距长度。以提高估计精度。光束法平差具有鲁棒性，其目标函数是一个映射误差的平方和函数。即每一个特征点都要映射到其他的图像中，使计算出的相机参数的误差的平方和最小。
步骤6，根据相机参数以及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接图像的初始拼接；对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩阵进行矩阵变换，完成对地理信息的拼接；地理信息跟随图像进行相同的单应性矩阵变换，保证了变换后的图像有相同的地理信息。同时，由于经度范围为-180度到180度，纬度范围为-90度到90度，在插值变换时需要注意地理信息不能超出有效范围。
步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；
步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像；
步骤1中所述二维双精度浮点矩阵使用XML可扩展标记语言结构存储。
步骤2中，计算机将任务分配给每个处理器，采用如下公式计算处理器每线程最多处理的图像数并进行任务分配：
其中，n为处理器每线程最多处理的待拼接图像数，N为待拼接图像总数，x1为重叠图像数(0≤x1≤N-1)，t为线程数，因图像拼接在每个处理线程上至少需要两幅图像，所以N≥2，否则将会因分配的图像张数不足两张而无法拼接。
步骤3包括如下步骤：
步骤3-1，对待拼接图像构建金字塔。其中，图像金字塔是以多分辨率来解释图像的一种结构，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。当向金字塔的上层移动时，尺寸和分辨率就降低；
步骤3-2，用FAST(Features from Accelerated Segment Test，加速分割测试特征)算法检测关键点的位置，这里的关键点指角点，角点为邻域内具有两个主方向的特征点；
步骤3-3，对关键点用Harris角点检测，从中选出Harris角点响应值最大的N1个特征点，其中Harris角点的响应函数R定义为：
R＝detM-α(traceM)2，
其中，
I为图像像素灰度值，Ix为图像x方向的偏导数，Iy为图像y方向的偏导数，w为加权函数，它既可是常数，也可以是高斯加权函数。
detM为矩阵M的行列式，traceM为矩阵M的直迹，α为常数，取值范围为0.04～0.06；
步骤3-4，对于选取的N1个角点，根据Intensity Centroid强度中心算法计算角点的方向，即得到oFAST(orientation Features from Accelerated Segment Test，有方向的加速分割测试特征)特征；
步骤3-5，由于BRIEF算法是无向的，将步骤3-4中计算出来的角点方向作为BRIEF(Binary Robust Independent Elementary Features，二进制鲁棒独立基本特征)的方向进行旋转，得到有向的BRIEF，用贪婪学习算法筛选出具有高方差和高不相关的有向BRIEF，称之为rBRIEF(Rotation-Aware Binary Robust Independent Elementary Features，有旋转的二进制鲁棒独立基本特征)；
步骤3-6，将oFAST和rBRIEF组合得到ORB特征。
步骤4包括：使用最近邻和次近邻方法对任意两幅待拼接图像进行特征点的匹配：最近邻匹配距离与次近邻匹配距离的比值小于一定的阈值(经验值为1.0)，即认为特征点匹配，否则为不匹配，并删除置信度低(即低于阈值1.0)的图像，即删除不是同一个全景图中的图像，当找到可以拼接的两幅图像后，将其合并到一个拼接集合中，扩展这个集合得到最大的可拼接集合，并查集是一种树型的数据结构，用于处理一些不相交的集合(DisjointSets)的合并及查询问题，即将属于相同集合的元素合并起来；单应性矩阵中包含旋转矩阵R0和平移列向量t0，通过单应性矩阵的限制条件估算相机内参数矩阵。
如果两幅图像所对应的摄像机坐标之间的变换为(R0,t0)，其中R0＝(r1,r2,r3)，(r1,r2,r3)为组成矩阵R0的三个列向量，(R0,t0)是世界坐标系到摄像机坐标系之间的刚体变换，摄像机内参数矩阵为K，n0是空间平面在世界坐标系下的法向量，符号～表示在相差一个常数因子意义下的相等，空间平面上的点x2＝[a,b,c]T,(a,b,c为点的空间坐标，上标T表示矩阵或向量转置)到图像平面上的点m(齐次坐标)之间的映射关系，即：
空间平面在世界坐标系下的方程为则两幅图像对应点(m，m'分别为两幅图像平面坐标上的点)之间的单应性矩阵为：
当单应性矩阵H已知时，从H可以得到关于摄像机内参数矩阵K的两个线性约束方程。由于H＝(h1h2h3)～K(r1r2t0)，(h1h2h3)为组成矩阵H的三个列向量，所以K-1(h1h2h3)～(r1r2t0)；又由于所以对矩阵K可以得到如下2个约束：
其中，
aspect＝1.0，ppx和ppy分别赋值为图像中心点横坐标值和纵坐标值，f为焦距。
求取焦距中值或平均值作为所有图像的焦距初始化估值。
步骤7包括如下步骤：
步骤7-1，对拼接后的图像的重叠区域进行分块估计平均光强；
步骤7-2，用最大流方法检测图像重叠区域之间的缝隙；
步骤7-3，进行多波段融合：将待拼接图像分解成两个以上不同空间分辨率、不同尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
步骤7-4，对拼接后的地理信息进行有条件的插值融合：如果在拼接过程中，其中一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已知的地理信息作为拼接后图像的地理信息；如果拼接的两幅图像在融合点处的经纬度相差小于0.0002度，则取两幅图像在融合点处的经纬度的平均值作为拼接图像的经纬度；如果拼接的两幅图像在融合点处的经纬度相差大于或等于0.0002度，则判定为拼接失败。
所述方法还包括步骤9，基于SIFT特征点对最终结果图像进行验证：使用拼接前的图像与拼接后的图像进行SIFT特征匹配，用RANSAC(Random Sample Consensus，随机抽样一致)算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较SIFT匹配点之间拼接前与拼接后图像的经度差和纬度差，如果其差异小于或等于0.0001，则判定拼接的地理信息正确。
实施例
本实施例包含以下处理步骤：
1、将地理信息与图像一同读入内存，即可获得待拼接的图像和存储有经纬度信息的矩阵，并将地理信息存储在2维双精度浮点矩阵中。为了便于图像处理及利用图像处理函数，地理信息矩阵使用XML结构存储，并以.xml.gz格式存储为图像同名地理信息文件。双通道地理信息矩阵存储结构如图1所示，.xml.gz文件是.xml文件的压缩格式，其xml文件结构如下所示：
2、为了提高算法的计算速度，可以使用所有处理器核心进行拼接，系统自动对拼接的图像进行分批，每个处理器核心处理一批图像。多线程拼接过程如图2所示。
每线程最多处理的图像数计算方法为：
其中，n为每线程最多处理的图像数，N为图像总数，x1为重叠图像数(0≤x1≤N-1，取x1＝1)，t为线程数。例如，20幅图像采用8线程处理，若对每一幅图像按拼接顺序编号为0～19，每个CPU线程编号为0～7，则按上述公式计算的n＝4图像与CPU分配关系如表1所示：
表1图像与CPU分配关系示例
| CPU线程编号 | 分配到的图像编号 | 分配的图像数目 |
| 0 | 0，1，2，3 | 4 |
| 1 | 3，4，5，6 | 4 |
| 2 | 6，7，8，9 | 4 |
| 3 | 9，10，11，12 | 4 |
| 4 | 12，13，14，15 | 4 |
| 5 | 15，16，17，18 | 4 |
| 6 | 18，19 | 2 |
| 7 | 0 |
多线程与单线程拼接性能对比如表2所示。
表2多线程与单线程拼接性能对比
| 类型 | 时间 |
| 20幅720x576图像，单线程 | 14.2分钟 |
| 20幅720x576图像，8线程 | 0.3分钟 |
| 100幅720x576图像，单线程 | 大于4小时 |
| 100幅720x576图像，8线程 | 23.1分钟 |
3、ORB算法是基于oFAST(orientation FAST)关键点检测和rBRIEF(Rotation-Aware BRIEF，旋转敏感的BRIEF)特征检测的一种新型特征提取方法。ORB的计算方法如下：
(1)对图像构建金字塔，对每个图像都进行步骤(2)(3)处理；
(2)用FAST算法检测关键点的位置；
(3)对于关键点用Harris角点检测，选取响应值最大的N1个特征点；
(4)对于每个角点，根据Intensity Centroid算法，计算角点的方向，即得到oFAST特征；
(5)由于BRIEF算法是无向的，将(4)中计算出来的角点方向作为BRIEF的方向，进行旋转，就得到了有向的BRIEF，并用贪婪学习算法筛选出具有高方差和高不相关的有向BRIEF，称之为rBRIEF；
(6)ORB特征就是oFAST和rBRIEF的组合。
基于ORB特征的航拍影像及地理数据图像拼接流程图如图3所示。
4、根据任意两幅图的匹配和单应性矩阵，对相机参数进行初始化估计，并求出旋转矩阵。使用最近邻和次近邻方法(最近邻匹配距离与次近邻匹配距离的比值小于一定的阈值，即认为特征点匹配，否则为不匹配)对任意图像进行特征点的匹配，并删除置信度低(即认为不是同一个全景图中的)图片。当找到可以拼接的两幅图片后，将其合并到一个拼接集合中，然后扩展这个集合就可以得到最大的可拼接集合。并查集是一种树型的数据结构，用于处理一些不相交的集合(Disjoint Sets)的合并及查询问题，即将属于相同集合的元素合并起来。单应性矩阵中包含着相机的内参数矩阵、旋转向量和平移向量，通过单应性矩阵，两个待拼接图像的特征点的关系可以计算出来。
5、由于多个单应性矩阵合成全景拼接图像时会造成累积误差，每个图像都要加上光束法平差值，以初始化图像为相同的旋转和焦距长度。使用Bundle Adjustment(光束法平差)算法对所有图片进行相机参数校正，以提高估计精度。光束法平差具有鲁棒性，其目标函数是一个映射误差的平方和函数。即每一个特征点都要映射到其他的图像中，使计算出的相机参数的误差的平方和最小。
6、根据相机参数以及旋转矩阵，对图像进行单应性矩阵变换，对图像进行初始拼接。地理信息矩阵也使用对应图像的单应性矩阵进行变换，以对地理信息进行拼接。地理信息跟随图像进行相同的单应性矩阵变换，保证了变换后的图像有相同的地理信息。同时，由于经度范围为-180度到180度，纬度范围为-90度到90度，在插值变换时需要注意地理信息不能超出有效范围。
7、对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合。对拼接后的地理信息进行有条件的插值融合。如果在拼接过程中，其中一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已知的地理信息作为拼接后图像的地理信息；如果拼接的两幅图像在融合点处的经纬度相差不大(小于0.0002度)，则取两者的平均值作为拼接图像的经纬度；如果拼接的两幅图像在融合点处的经纬度相差很大，则认为算法拼接失败。
(1)对重叠区域进行分块估计平均光强；
(2)用最大流方法检测图像重叠区域之间的缝隙；
(3)进行多波段融合，将原图像分解成多个不同空间分辨率、不同尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
(4)对拼接后的地理信息进行有条件的插值融合。
地理信息拼接结果如图4和表3所示，其中，msk[957]:lat＝45.3285,lon＝-68.8998表示拼接后图像中第957个SIFT匹配点的纬度为北纬45.3285度，经度为西经68.8998度。
表3图4所示图像部分拼接地理信息结果验证比较
8、对每一个处理器核心处理的拼接结果进行一次综合拼接融合，以合并形成拼接结果图像。百幅图像拼接结果如图5所示。
9、基于SIFT特征点对拼接后的地理信息进行验证。使用拼接前的图像与拼接后的图像进行SIFT特征匹配，用RANSAC算法选出匹配度高的特征点。并比较拼接前和拼接后特征点地理信息的差异，如果其差异小于等于0.0001，则认为拼接的地理信息正确。其验证结果如表3所示，其中org[957]:lat＝45.3285,lon＝-68.8998表示未拼接图像中第957个SIFT匹配点的纬度为北纬45.3285度，经度为西经68.8998度，msk[957]:lat＝45.3285,lon＝-68.8998表示拼接后图像中第957个SIFT匹配点的纬度为北纬45.3285度，经度为西经68.8998度，经纬度差值位0；而第963个点拼接前经纬度为北纬45.3224度，西经68.8755度，拼接后经纬度为北纬45.3224度，西经68.8754度，其经度差值为0.0001，在有效误差范围内。
本发明提供了一种基于ORB特征匹配的航拍影像及地理数据拼接方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (1)
1.一种基于ORB特征匹配的航拍影像及地理数据拼接方法，其特征在于，包括以下步骤：
步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维双精度浮点矩阵中，其中地理信息包含经度和纬度信息；
步骤2，计算机基于计算机的处理器逻辑核心数计算任务分配数，对处理器进行任务分配；
步骤3，提取待拼接图像的ORB特征；
步骤4，根据任意两幅待拼接图像的匹配与这些匹配计算出的单应性矩阵，对拍摄待拼接图像的相机的参数进行初始化估计；
步骤5，用光束法平差提高估计精度；使用光束法平差算法对所有待拼接图像进行相机参数校正，以初始化所有待拼接图像为相同的旋转和焦距长度；
步骤6，根据相机参数以及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接图像的初始拼接；对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩阵进行矩阵变换，完成对地理信息的拼接；
步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；
步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像；
步骤1中所述二维双精度浮点矩阵使用XML结构存储；
步骤2中，计算机将任务分配给每个处理器，采用如下公式计算处理器每线程最多处理的待拼接图像数并进行任务分配：
其中，n为处理器每线程最多处理的待拼接图像数，N为待拼接图像总数，x1为重叠图像数，0≤x1≤N-1，t为线程数，N≥2；
步骤3包括如下步骤：
步骤3-1，对待拼接图像构建金字塔；
步骤3-2，用加速分割测试特征算法检测关键点的位置，关键点即角点，角点为邻域内具有两个主方向的特征点；
步骤3-3，对关键点用Harris角点检测，从中选出Harris角点响应值最大的N1个特征点，其中Harris角点的响应函数R定义为：
R＝detM-α(traceM)2，
其中，
I为图像像素灰度值，Ix为图像x方向的偏导数，Iy为图像y方向的偏导数，w为加权函数，detM为矩阵M的行列式，traceM为矩阵M的直迹，α为常数；
步骤3-4，对于选取的N1个角点，根据强度中心算法计算角点的方向，即得到oFAST特征；
步骤3-5，将步骤3-4中计算出来的角点方向作为BRIEF的方向进行旋转，得到有向的BRIEF，用贪婪学习算法筛选出具有高方差和高不相关的有向BRIEF，称之为rBRIEF；
步骤3-6，将oFAST和rBRIEF组合得到ORB特征；
步骤4包括：使用最近邻和次近邻方法对任意两幅待拼接图像进行特征点的匹配：最近邻匹配距离与次近邻匹配距离的比值小于一定的阈值，即认为特征点匹配，否则为不匹配，并删除置信度低的图像，即删除不是同一个全景图中的图像，当找到可以拼接的两幅图像后，将其合并到一个拼接集合中，扩展这个集合得到最大的可拼接集合；单应性矩阵中包含旋转矩阵R0和平移列向量t0，通过单应性矩阵的限制条件估算相机内参数矩阵：
如果两幅图像所对应的摄像机坐标之间的变换为(R0,t0)，其中R0＝(r1,r2,r3)，(r1,r2,r3)为组成旋转矩阵R0的三个列向量，(R0,t0)是世界坐标系到摄像机坐标系之间的刚体变换，摄像机内参数矩阵为K，n0是空间平面在世界坐标系下的法向量，符号～表示在相差一个常数因子意义下的相等，空间平面上的点x2＝[a,b,c]T到图像平面上的点m之间的映射关系，即：
a,b,c为点x2的空间坐标，空间平面在世界坐标系下的方程为则两幅图像对应点之间的单应性矩阵为：
m和m'分别为两幅图像平面坐标上的点，当单应性矩阵H已知时，从H得到关于摄像机内参数矩阵K的两个线性约束方程，由于H＝(h1h2h3)～K(r1r2t0),(h1h2h3)为组成矩阵H的三个列向量，所以K-1(h1h2h3)～(r1r2t0)；又由于对摄像机内参数矩阵K得到如下两个约束：
其中，
aspect＝1.0，ppx和ppy分别赋值为图像中心点横坐标值和纵坐标值，f为焦距，
求取焦距中值或平均值作为所有图像的焦距初始化估值；
步骤7包括如下步骤：
步骤7-1，对拼接后的图像的重叠区域进行分块估计平均光强；
步骤7-2，用最大流方法检测图像重叠区域之间的缝隙；
步骤7-3，进行多波段融合：将待拼接图像分解成两个以上不同空间分辨率、不同尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像；
步骤7-4，对拼接后的地理信息进行有条件的插值融合：如果在拼接过程中，其中一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已知的地理信息作为拼接后图像的地理信息；如果拼接的两幅图像在融合点处的经纬度相差小于0.0002度，则取两幅图像在融合点处的经纬度的平均值作为拼接图像的经纬度；如果拼接的两幅图像在融合点处的经纬度相差大于或等于0.0002度，则判定为拼接失败；
包括步骤9，基于SIFT特征点对最终结果图像进行验证：使用拼接前的图像与拼接后的图像进行SIFT特征匹配，用随机抽样一致算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较SIFT匹配点之间拼接前与拼接后图像的经度差和纬度差，如果其差异小于或等于0.0001，则判定拼接的地理信息正确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610529983.7A CN106023086B (zh) | 2016-07-06 | 2016-07-06 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610529983.7A CN106023086B (zh) | 2016-07-06 | 2016-07-06 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106023086A CN106023086A (zh) | 2016-10-12 |
| CN106023086B true CN106023086B (zh) | 2019-02-22 |
Family
ID=57107795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610529983.7A Active CN106023086B (zh) | 2016-07-06 | 2016-07-06 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106023086B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达（北京）科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
| CN107580175A (zh) * | 2017-07-26 | 2018-01-12 | 济南中维世纪科技有限公司 | 一种单镜头全景拼接的方法 |
| CN108986025B (zh) * | 2018-06-08 | 2023-02-10 | 西北工业大学 | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 |
| CN109064385A (zh) * | 2018-06-20 | 2018-12-21 | 何中 | 360度全景展示效果生成工具及发布系统 |
| CN109238173B (zh) * | 2018-08-16 | 2020-03-13 | 煤炭科学研究总院 | 一种储煤场三维实景重构系统及煤量快速估算方法 |
| CN109341685B (zh) * | 2018-12-04 | 2023-06-30 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 |
| CN109523491A (zh) * | 2018-12-13 | 2019-03-26 | 深圳市路畅智能科技有限公司 | 用于环视辅助泊车的环视光照均一化方法和装置 |
| CN109829851B (zh) * | 2019-01-17 | 2020-09-18 | 厦门大学 | 一种基于球面对齐估计的全景图像拼接方法及存储设备 |
| CN109981985A (zh) * | 2019-03-29 | 2019-07-05 | 上海智觅智能科技有限公司 | 一种双视频连续拼接算法 |
| CN110135455B (zh) * | 2019-04-08 | 2024-04-12 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN110033411B (zh) * | 2019-04-12 | 2021-01-12 | 哈尔滨工业大学 | 基于无人机的公路施工现场全景图像高效拼接方法 |
| CN110134816B (zh) * | 2019-05-20 | 2021-01-15 | 清华大学深圳研究生院 | 一种基于投票平滑的单张图片地理定位方法和系统 |
| CN111325792B (zh) * | 2020-01-23 | 2023-09-26 | 抖音视界有限公司 | 用于确定相机位姿的方法、装置、设备和介质 |
| CN111724425B (zh) * | 2020-05-28 | 2023-11-10 | 交通运输部东海航海保障中心上海航标处 | 航标图拼接方法、装置及终端设备 |
| CN111768337B (zh) * | 2020-06-01 | 2024-05-14 | 中国科学院空天信息创新研究院 | 一种图像处理方法、装置和电子设备 |
| CN112085847B (zh) * | 2020-08-21 | 2024-05-17 | 深圳市瑞立视多媒体科技有限公司 | 一种刚体标记点优化方法、设备及光学动作捕捉系统 |
| CN112102215A (zh) * | 2020-09-03 | 2020-12-18 | 广州南沙联合集装箱码头有限公司 | 一种基于误差统计的图像快速拼接方法 |
| CN112163995B (zh) * | 2020-09-07 | 2024-06-21 | 中山大学 | 一种超大航拍条带图像的拼接生成方法及装置 |
| CN112215304A (zh) * | 2020-11-05 | 2021-01-12 | 珠海大横琴科技发展有限公司 | 一种用于地理影像拼接的灰度影像匹配方法及装置 |
| CN112365404B (zh) * | 2020-11-23 | 2023-03-17 | 成都唐源电气股份有限公司 | 一种基于多相机的接触网全景图像拼接方法、系统及设备 |
| CN113449742A (zh) * | 2021-07-08 | 2021-09-28 | 中国工商银行股份有限公司 | 一种图像处理方法、装置及设备 |
| CN113313771B (zh) * | 2021-07-19 | 2021-10-12 | 山东捷瑞数字科技股份有限公司 | 一种工业复杂设备的全方位测量方法 |
| CN113723465B (zh) * | 2021-08-02 | 2024-04-05 | 哈尔滨工业大学 | 一种改进的特征提取方法以及基于该方法的图像拼接方法 |
| CN113506230B (zh) * | 2021-09-10 | 2021-12-07 | 南通欧泰机电工具有限公司 | 一种基于机器视觉的光伏电站航拍影像匀光处理方法 |
| CN117036666B (zh) * | 2023-06-14 | 2024-05-07 | 北京自动化控制设备研究所 | 基于帧间图像拼接的无人机低空定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077760A (zh) * | 2014-03-19 | 2014-10-01 | 中科宇图天下科技有限公司 | 一种航空摄影测量的快速拼接系统及其实现方法 |
| CN105627991A (zh) * | 2015-12-21 | 2016-06-01 | 武汉大学 | 一种无人机影像实时全景拼接方法及系统 |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6928194B2 (en) * | 2002-09-19 | 2005-08-09 | M7 Visual Intelligence, Lp | System for mosaicing digital ortho-images |
| NZ585398A (en) * | 2007-11-14 | 2012-08-31 | Intergraph Software Tech Co | Assigning values to pixels in mosaic image based on values corresponding pixels in captured images determined using reverse ray-tracing |
| RU2460187C2 (ru) * | 2008-02-01 | 2012-08-27 | Рокстек Аб | Переходная рама с встроенным прижимным устройством |
-
2016
- 2016-07-06 CN CN201610529983.7A patent/CN106023086B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077760A (zh) * | 2014-03-19 | 2014-10-01 | 中科宇图天下科技有限公司 | 一种航空摄影测量的快速拼接系统及其实现方法 |
| CN105627991A (zh) * | 2015-12-21 | 2016-06-01 | 武汉大学 | 一种无人机影像实时全景拼接方法及系统 |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106023086A (zh) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106023086B (zh) | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 | |
| Wu et al. | Integration of aerial oblique imagery and terrestrial imagery for optimized 3D modeling in urban areas | |
| US6587601B1 (en) | Method and apparatus for performing geo-spatial registration using a Euclidean representation | |
| US8428344B2 (en) | System and method for providing mobile range sensing | |
| CN114936971A (zh) | 一种面向水域的无人机遥感多光谱图像拼接方法及系统 | |
| CN104966281B (zh) | 多视影像的imu/gnss引导匹配方法 | |
| CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
| Verykokou et al. | Oblique aerial images: a review focusing on georeferencing procedures | |
| CN113222820A (zh) | 一种位姿信息辅助的航空遥感图像拼接方法 | |
| CN110569861A (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| Zhao et al. | RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap | |
| Cao | Applying image registration algorithm combined with CNN model to video image stitching | |
| Moussa et al. | A fast approach for stitching of aerial images | |
| CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
| Guan et al. | Minimal cases for computing the generalized relative pose using affine correspondences | |
| Liu et al. | Unsupervised global and local homography estimation with motion basis learning | |
| Fu-Sheng et al. | Batch reconstruction from UAV images with prior information | |
| Zhao et al. | RFVTM: a recovery and filtering vertex trichotomy matching for remote sensing image registration | |
| CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 | |
| Tsao et al. | Stitching aerial images for vehicle positioning and tracking | |
| Le Besnerais et al. | Dense height map estimation from oblique aerial image sequences | |
| Feng et al. | Registration of multitemporal GF-1 remote sensing images with weighting perspective transformation model | |
| Xia et al. | Globally consistent alignment for mosaicking aerial images | |
| Shukla et al. | Automatic geolocation of targets tracked by aerial imaging platforms using satellite imagery | |
| Huang et al. | Image mosaicing for UAV application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |