CN111833249A - 一种基于双向点特征的uav图像配准与拼接方法 - Google Patents
一种基于双向点特征的uav图像配准与拼接方法 Download PDFInfo
- Publication number
- CN111833249A CN111833249A CN202010614039.8A CN202010614039A CN111833249A CN 111833249 A CN111833249 A CN 111833249A CN 202010614039 A CN202010614039 A CN 202010614039A CN 111833249 A CN111833249 A CN 111833249A
- Authority
- CN
- China
- Prior art keywords
- matching
- points
- point
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 14
- 230000000750 progressive effect Effects 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 239000004576 sand Substances 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- OTMSDBZUPAUEDD-UHFFFAOYSA-N Ethane Chemical compound CC OTMSDBZUPAUEDD-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于双向点特征的UAV图像配准与拼接方法，采用FAST算法检测图像特征点，通过灰度质心法赋予特征点主方向，采用rBRIEF算法对特征点进行特征描述，生成特征描述子；采用双向匹配增加匹配点对或双向匹配筛选匹配点对；通过渐进采样一致性算法去除误匹配点对并拟合变换矩阵H的参数；通过得到的变换矩阵H对待配准图像进行投影变换，并通过双线性插值算法得到拼接图像。本发明保留了ORB较快的配准速度，并通过双向匹配与PROSAC算法对提取的特征点进行处理提高了配准精度。
Description
技术领域
本发明属于图像处理领域，是一种将点特征提取与双向匹配相结合的图像配准与拼接方法，可对无人机图像进行有效且快速的配准和拼接处理。
背景技术
无人机遥感以其高机动性、高效率以及低成本的优势，逐渐被应用于地质灾害监测、农业监测和环境保护等重要领域，但由于受到无人机视角的限制往往不能通过单 一图像对研究区域进行完整的展示，在该情况下需要通过图像配准技术将存在重叠区 域的众多单一图像根据图像自身的特征信息联系到一起，并拼接为完整的场景图像， 以便科学研究的进行。因此无人机图像配准与拼接技术是无人机遥感得以发展的基础， 且无人机图像配准与拼接技术的处理效果将直接影响到无人机遥感在实际应用中的效 果，对无人机图像配准与拼接技术的研究具有很强的实践意义。
在于无人机遥感这一实际场景中，图像配准需要满足实时性的要求。如何在精度与实时性之间寻找平衡在实践中具有很强的研究价值。现有的点特征SIFT、SURF算 法具有良好的图像匹配效果，但需要耗费较大的运算量、运算速度缓慢，Ethan Rublee 于2011年提出的ORB(ORB:An Efficient Alternative to SIFT or SURF)算法运行速度非 常快，但是其精度上要低于SIFT与SURF，误配率很高。
发明内容
为了克服现有技术的不足，本发明提供一种基于双向点特征的UAV图像配准与拼接方法，在处理速度较快的ORB算法基础上加入两种双向匹配方法结合渐进采样一致 性算法(Progressive Sampling Consensus PROSAC)对无人机图像进行配准处理并得 到拼接图像，该方法一方面保留了ORB较快的配准速度，另一方面通过双向匹配与 PROSAC算法对提取的特征点进行处理提高了配准精度。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1，采用FAST算法检测图像特征点，通过灰度质心法赋予特征点主方向， 对于检测出的任意一个特征点(x,y)有
其中，I(x,y)为点(x,y)处的灰 度值，u和v是灰度矩的阶数，而该特征点的质心
将特征点与质心的夹 角θ视为特征点的主方向，即
采用rBRIEF算法对特征点进行特征描述，生成特征描述子fn(p)；
构建矩阵
构建变换矩阵
用得到的旋转矩阵Rθ 对矩阵S进行变换，得到了新的特征描述矩阵
改进后的描述子表示为gn(p,θ)＝fn(p)|(xi,yi)∈Sθ；
步骤2，采用双向匹配增加匹配点对或双向匹配筛选匹配点对；
所述的双向匹配增加匹配点对是将待配准图像中检测出的特征点标记为p1,p2,p3,…,pn，将参考图像中检测出的特征点标记为q1,q2,q3,…,qn，在经过正向匹配，即 在参考图像中搜索待配准图像中特征点的匹配点后，得到两图像中的特征点匹配关系 的集合为pq；再进行反向匹配，即在待配准图像中搜索参考图像中特征点的匹配点， 得到两图像中的特征点匹配关系的集合为qp；若在反向匹配中存在一组匹配关系qspt， 其中s,t＝1,2,…,n且qs和pt均未出现在正向匹配关系的集合pq中，则将qspt视为正 向匹配中遗漏的匹配关系，并将ptqs加入到正向匹配所得到的特征点匹配关系集合pq 中，得到拥有更多匹配点对的集合PQ；
所述的双向匹配筛选匹配点对是将待配准图像中检测出的特征点标记为p1,p2,p3,…,pn，将参考图像中检测出的特征点标记为q1,q2,q3,…,qn，在经过正向匹配，即 在参考图像中搜索待配准图像中特征点的匹配点后，得到两图像中的特征点匹配关系 的集合为pq；再进行反向匹配，即在待配准图像中搜索参考图像中特征点的匹配点， 得到两图像中的特征点匹配关系的集合为qp；若在正向匹配结果中存在一组匹配关系 psqt，其中s,t＝1,2,…,n，且在反向匹配中存在相对应的匹配关系qtps，则将该对点作 为正确的匹配点对，否则剔除该匹配关系，依次遍历正向匹配中的所有匹配点对即得 到了双向匹配去除误配点的匹配特征点对集合PQ；
步骤3，通过渐进采样一致性算法去除误匹配点对并拟合变换矩阵H的参数；
步骤4，通过得到的变换矩阵H对待配准图像进行投影变换，并通过双线性插值 算法得到拼接图像。
所述的FAST算法进行图像特征点的检测，假设p为图像I中的一个像素点，以p 为圆心，确定一个半径为3像素的圆形区域，首先求取任一直径两端点p1和p9与p 点的像素值之差，若两个点与p点的像素值之差的绝对值都小于设定阈值，则p点不 认为是特征点，若均大于阈值则可作为候选点；进一步比较相互垂直的两直径端点p1、 p5、p9、p13与中心p的像素值之差，若其中有三个及以上的像素值之差超过设置的阈 值，则将p点作为候选点；将圆形区域所有像素点与候选点求得像素值之差，若超过 9个点与候选点的像素差超过预先设置的阈值，则将p点设置为特征点。
所述的采用rBRIEF算法对特征点进行特征描述，取以p点为中心，大小为M×M 并且经过高斯平滑处理后的像素块B，在其中选取n对随机点进行二进制编码计算，
式中，I(x)和I(y)是像素点在坐标为x和y的点处的灰度值， n维二进制码串
即为生成的特征描述子。
所述的M取值为31，n取值为256。
所述的正向匹配和反向匹配中的匹配，是指通过K-最近邻搜索算法得到待配准图像中某一特征点的最优匹配点和次优匹配点，将该特征点与最优匹配点之间的汉明距 离记为d1，与次优匹配点对之间的汉明距离记为d2，对d1和d2的比值大于设定的阈 值时舍弃该匹配点对，当比值小于设定的阈值时得到一组特征匹配点对。
所述的渐进采样一致性算法去除误匹配点对并拟合变换矩阵参数，具体步骤如下：
第一步，设置最大迭代次数Ix、判定是否为局内点的阈值r和初始的局内点数T；
第二步，将匹配特征点对集合PQ根据描述子的汉明距离从小到大进行排列；
第三步，在重新排序后的特征点集中排序最靠前的m个点中随机取4组点，解算 3×3的单应性矩阵
其中(x',y')、(x,y)是参考图像与待配准图像匹配点的坐标；
第四步，去除这4组匹配点对，将待配准图像中其它匹配点按H计算其投影到参 考图像中的投影坐标；
第五步，计算投影坐标与对应的匹配点坐标之间的误差σ与阈值r进行比较，若 σ<r，则该点被判定为局内点，否则将其视为外点；
第六步，统计局内点的数目t，与设定的局内点初始值T进行比较，若t<T，则令T＝t，否则将迭代次数I加1并重复第三到第六步；
第七步，使用得到的t个局内点重新计算单应性矩阵H，并得到新的局内点集合；
第八步，若迭代次数I<Ix，返回单应性矩阵H及对应的内点集，否则无法得到符 合要求的模型I<Ix和内点集。
所述的最大迭代次数Ix设为2000，阈值r取0.01～0.1，初始的局内点数T设为500，m取15。
本发明的有益效果是：针对无人机可见光图像配准存在的问题，采用ORB算法为基础，结合两种双向匹配策略以及渐进采样一致性算法去除误配点进行配准精度的提 高。通过对比实验证明本方法在保持ORB算法配准速度的基础上配准精度得到提高， 相比于其他传统算法具有不错的精度和更快的处理速度。不同场景下的实验结果证明 原始算法的处理时间和处理精度均受到图像场景的影响而表现出差异性；本发明处理 城市等特征丰富的图像相较于原始算法有较大的精度提高，平均提高比例为20.49％， 而处理农田等场景简单的图像时精度提高较小，平均提高比例为15.45％。
附图说明
图1为本发明一种基于双向点特征的UAV图像配准与拼接方法的流程示意图
图2为城市场景无人机图像，(a)为待配准图像，(b)为参考图像；
图3为道路场景无人机图像，(a)为待配准图像，(b)为参考图像；
图4为森林场景无人机图像，(a)为待配准图像，(b)为参考图像；
图5为Fast特征点检测示意图；
图6为城市场景无人机图像双向匹配处理并去除误匹配点后的特征点匹配图像，(a)为双向匹配增加匹配点并去除误匹配点后的特征点匹配图像，(b)为双向匹配筛 选匹配点并去除误匹配点后的特征点匹配图像；
图7为道路场景无人机图像双向匹配处理并去除误匹配点后的特征点匹配图像，(a)为双向匹配增加匹配点并去除误匹配点后的特征点匹配图像，(b)为双向匹配筛 选匹配点并去除误匹配点后的特征点匹配图像；
图8为城市场景无人机图像双向匹配处理并去除误匹配点后的特征点匹配图像，(a)为森林匹配增加匹配点并去除误匹配点后的特征点匹配图像，(b)为双向匹配筛 选匹配点并去除误匹配点后的特征点匹配图像；
图9为城市场景图像无人机图像处理得到的拼接图像，(a)为通过双向匹配增加匹配点对的方式得到的拼接图像，(b)为通过双向匹配筛选匹配点对的方式得到的拼接 图像；
图10为道路场景图像无人机图像处理得到的拼接图像，(a)为通过双向匹配增加匹配点对的方式得到的拼接图像，(b)为通过双向匹配筛选匹配点对的方式得到的拼 接图像；
图11为森林场景图像无人机图像处理得到的拼接图像，(a)为通过双向匹配增加匹配点对的方式得到的拼接图像，(b)为通过双向匹配筛选匹配点对的方式得到的拼 接图像。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
本发明包括以下步骤：
步骤1：ORB算法提取特征点与特征描述向量
ORB算法采用FAST算法进行图像特征点的检测，该方法主要考虑像素点的灰度 变化，如图5所示，假设p为图像I中的一个像素点，以p为圆心，确定一个半径为 3的区域，在该区域中共有16个像素点，首先求取垂直直径上p1和p9两个点与p点 的像素值之差，若两个点与p点的像素值之差的绝对值都小于阈值，则p点不认为是 特征点，若均大于阈值则可作为候选点；进一步比较p1、p5、p9、p13与中心p的像素 值之差，若他们中有三个及以上的像素值之差超过设置的阈值，则将p点作为候选点； 将所有像素点与候选点求得像素值之差，若超过9个点与候选点的像素差超过预先设 置的阈值，则将p点设置为特征点；
接下来对特征点通过灰度质心法赋予特征点主方向，对于检测出的任意一个特征点p，其领域像素的：
其中:I(x,y)为点(x,y)处的灰度值，u和v是灰度矩的阶数，而该特征点的质心C定义为:
将特征点与质心的夹角θ视为特征点的主方向，即为：
(2)特征描述向量构建
在检测出了图像中的特征点后采用ORB算法中的rBRIEF算法对特征点进行特征描述。该描述子可具备旋转不变性，具体步骤如下所示：
取以p点为中心，大小为M×M(一般取M＝31)并且经过高斯平滑处理后的像素 块B，选取n对随机点(一般n＝256)，对其进行二进制编码计算，公式为：
式中，I(x)和I(y)是像素点在坐标为x和y的点处的灰度值，n维二进制码串fn即为生成的特征描述子。
构建矩阵S，如下式所示：
利用公式(3)中计算出的特征点主方向θ，构建变换矩阵Rθ如下式所示：
用得到的旋转矩阵Rθ对矩阵S进行变换，就得到了新的特征描述矩阵Sθ，如下所示：
改进后的描述子gn可以表示为：
gn(p,θ)＝fn(p)|(xi,yi)∈Sθ (9)
步骤2：K-最近邻匹配得到初匹配点对。
通过K-最近邻搜索算法得到待配准图像中某一特征点的最优匹配点和次优匹配点，将该特征点与最优匹配点之间的汉明距离记为d1，与次优匹配点对之间的汉明距 离记为d2，对d1和d2的比值进行阈值判断，当比值大于设定的阈值时舍弃该匹配点 对，当比值小于设定的阈值时保留该匹配点对，通过该处理后得到初筛选后的特征匹 配点对。
1)双向匹配增加匹配点对
核心思想是添加初匹配所遗漏的匹配特征点对。主要方法为：将待配准图像中检测出的特征点标记为p1,p2,p3,…,pn，将参考图像中检测出的特征点标记为q1,q2,q3,…,qn，在经过第一次匹配(正向匹配)，即在参考图像中搜索待配准图像中特征点的匹配 点后，得到两图像中的特征点匹配关系的集合为pq。再进行第二次匹配(反向匹配)， 即在待配准图像中搜索参考图像中特征点的匹配点，得到两图像中的特征点匹配关系 的集合为qp。若在反向匹配中存在一组匹配关系qspt，其中s,t＝1,2,…,n且qs和pt均未出现在正向匹配关系的集合pq中，则将qspt视为正向匹配中遗漏的匹配关系，并 将ptqs加入到正向匹配所得到的特征点匹配关系集合pq中，得到拥有更多匹配点对的 集合PQ。
2)双向匹配筛选匹配点对
核心思想为去除初匹配中的错误匹配点，主要方法为：将待配准图像中检测出的特征点标记为p1,p2,p3,…,pn，将参考图像中检测出的特征点标记为q1,q2,q3,…,qn， 在经过第一次匹配(正向匹配)，即在参考图像中搜索待配准图像中特征点的匹配点后， 得到两图像中特征点匹配关系的集合为pq。再进行第二次匹配(反向匹配)即在待配 准图像中搜索参考图像中特征点的匹配点，得到两图像中的特征点匹配关系的集合为 qp。中完成了上述工作，步骤2)若在正向匹配结果中存在一组匹配关系psqt，其中 s,t＝1,2,…,n，且在反向匹配中存在相对应的匹配关系qtps，则将该对点作为正确的匹 配点对，否则剔除该匹配关系，依次遍历正向匹配中的所有匹配点对即得到了双向匹 配去除误配点的匹配特征点对集合PQ。
步骤3：通过渐进采样一致性算法(PROSAC)去除误匹配点对并拟合变换矩阵 参数。该方法的具体步骤如下所示：
第一步：设置最大迭代次数Ix(设为2000)，判定是否为局内点的阈值r(一般取0.01～0.1之间)，初始的局内点数T(设为500)；
第二步：将匹配特征点对集合PQ根据描述子的汉明距离大小从小到大进行排列；
第三步：在重新排序后的特征点集中排序最靠前的m个点(本例中m取15)中 随机取4组点，根据公式(10)解算3×3的单应性矩阵H；
其中(x',y')、(x,y)是参考图像与待配准图像匹配点的坐标。
第四步：去除这4组匹配点对，将待配准图像中其它匹配点按H计算其投影到参 考图像中的投影坐标；
第五步：计算投影坐标与对应的匹配点坐标之间的误差σ(两点间的距离视为该点的误差)与阈值r进行比较，若σ<r，则该点被判定为局内点，否则将其视为外点；
第六步：统计局内点的数目t，与设定的局内点初始值T进行比较若t<T，则令T＝t，否则将迭代次数I加一并重复第三到第六步；
第七步：使用得到的t个局内点重新计算单应性矩阵H，并得到新的局内点集合；
第八步：若迭代次数I<Ix，返回单应性矩阵H及对应的内点集，否则无法得到符 合要求的模型I<Ix和内点集。
步骤4：通过得到的变换矩阵H对待配准图像进行投影变换，并通过双线性插值 算法得到拼接图像。
本发明实施例的具体流程如图1所示：
一、无人机图像获取
选取无人机俯拍连续帧图像，时序相邻的两幅图片重叠区域面积不小于总面积的30％，拍摄角度差值小于30度，进行配准处理。如图2到4所示，选取了城市、道路、 森林三个场景下符合要求的无人机图像进行配准处理。
二、特征点提取与特征向量构建
利用FAST算法计算出两幅图像的特征点，结果如图5所示。利用rBRIEF算法计 算出其特征描述向量。
二、双向匹配特征点对提取
采用K-最近邻搜索算法并以汉明距离作为相似度度量方法进行特征点之间的匹配。即计算待配准图像中某一特征点与参考图像中特征点间的汉明距离，将汉明距离 最小的点作为匹配点对，对待配准图像中所有点进行该处理后得到匹配点对。
三、特征匹配点对初筛选
通过K-最近邻搜索算法得到待配准图像中某一特征点的最优匹配点和次优匹配点，将该特征点与最优匹配点之间的汉明距离记为d1，与次优匹配点对之间的汉明距 离记为d2，d1和d2的比值阈值设为2，大于阈值时舍弃该匹配点对，当比值小于设 定的阈值时保留该匹配点对，通过该出来后得到初筛选后的特征匹配点对。
四、双向匹配处理
分别采用两种双向匹配的策略对初筛选后的特征匹配点对按上文步骤进行处理。
五、去除误配点
通过渐进采样一致性算法(PROSAC)得到去除误配点对后的特征点匹配图像如 图6至图8所示。
六、图像拼接
通过得到的单应性矩阵H将待配准图像变换到参考图像空间中，实现空间位置的对准，采用双线性插值算法完成拼接图像的生成，拼接图像如图9至图11所示。
城市、道路、森林三种场景下本发明算法与传统算法的性能比较：
表1：城市场景下，算法性能比较
表2：道路场景下，算法性能比较
表3：森林场景下，算法性能比较
Claims (7)
1.一种基于双向点特征的UAV图像配准与拼接方法，其特征在于包括以下步骤：
步骤1，采用FAST算法检测图像特征点，通过灰度质心法赋予特征点主方向，对于检测出的任意一个特征点(x,y)有
其中，I(x,y)为点(x,y)处的灰度值，u和v是灰度矩的阶数，而该特征点的质心
将特征点与质心的夹角θ视为特征点的主方向，即
采用rBRIEF算法对特征点进行特征描述，生成特征描述子fn(p)；
构建矩阵
构建变换矩阵
用得到的旋转矩阵Rθ对矩阵S进行变换，得到了新的特征描述矩阵
改进后的描述子表示为gn(p,θ)＝fn(p)|(xi,yi)∈Sθ；
步骤2，采用双向匹配增加匹配点对或双向匹配筛选匹配点对；
所述的双向匹配增加匹配点对是将待配准图像中检测出的特征点标记为p1,p2,p3,…,pn，将参考图像中检测出的特征点标记为q1,q2,q3,…,qn，在经过正向匹配，即在参考图像中搜索待配准图像中特征点的匹配点后，得到两图像中的特征点匹配关系的集合为pq；再进行反向匹配，即在待配准图像中搜索参考图像中特征点的匹配点，得到两图像中的特征点匹配关系的集合为qp；若在反向匹配中存在一组匹配关系qspt，其中s,t＝1,2,…,n且qs和pt均未出现在正向匹配关系的集合pq中，则将qspt视为正向匹配中遗漏的匹配关系，并将ptqs加入到正向匹配所得到的特征点匹配关系集合pq中，得到拥有更多匹配点对的集合PQ；
所述的双向匹配筛选匹配点对是将待配准图像中检测出的特征点标记为p1,p2,p3,…,pn，将参考图像中检测出的特征点标记为q1,q2,q3,…,qn，在经过正向匹配，即在参考图像中搜索待配准图像中特征点的匹配点后，得到两图像中的特征点匹配关系的集合为pq；再进行反向匹配，即在待配准图像中搜索参考图像中特征点的匹配点，得到两图像中的特征点匹配关系的集合为qp；若在正向匹配结果中存在一组匹配关系psqt，其中s,t＝1,2,…,n，且在反向匹配中存在相对应的匹配关系qtps，则将该对点作为正确的匹配点对，否则剔除该匹配关系，依次遍历正向匹配中的所有匹配点对即得到了双向匹配去除误配点的匹配特征点对集合PQ；
步骤3，通过渐进采样一致性算法去除误匹配点对并拟合变换矩阵H的参数；
步骤4，通过得到的变换矩阵H对待配准图像进行投影变换，并通过双线性插值算法得到拼接图像。
2.根据权利要求1所述的基于双向点特征的UAV图像配准与拼接方法，其特征在于：所述的FAST算法进行图像特征点的检测，假设p为图像I中的一个像素点，以p为圆心，确定一个半径为3像素的圆形区域，首先求取任一直径两端点p1和p9与p点的像素值之差，若两个点与p点的像素值之差的绝对值都小于设定阈值，则p点不认为是特征点，若均大于阈值则可作为候选点；进一步比较相互垂直的两直径端点p1、p5、p9、p13与中心p的像素值之差，若其中有三个及以上的像素值之差超过设置的阈值，则将p点作为候选点；将圆形区域所有像素点与候选点求得像素值之差，若超过9个点与候选点的像素差超过预先设置的阈值，则将p点设置为特征点。
3.根据权利要求1所述的基于双向点特征的UAV图像配准与拼接方法，其特征在于：所述的采用rBRIEF算法对特征点进行特征描述，取以p点为中心，大小为M×M并且经过高斯平滑处理后的像素块B，在其中选取n对随机点进行二进制编码计算，
式中，I(x)和I(y)是像素点在坐标为x和y的点处的灰度值，n维二进制码串
即为生成的特征描述子。
4.根据权利要求3所述的基于双向点特征的UAV图像配准与拼接方法，其特征在于：所述的M取值为31，n取值为256。
5.根据权利要求1所述的基于双向点特征的UAV图像配准与拼接方法，其特征在于：所述的正向匹配和反向匹配中的匹配，是指通过K-最近邻搜索算法得到待配准图像中某一特征点的最优匹配点和次优匹配点，将该特征点与最优匹配点之间的汉明距离记为d1，与次优匹配点对之间的汉明距离记为d2，对d1和d2的比值大于设定的阈值时舍弃该匹配点对，当比值小于设定的阈值时得到一组特征匹配点对。
6.根据权利要求1所述的基于双向点特征的UAV图像配准与拼接方法，其特征在于：所述的渐进采样一致性算法去除误匹配点对并拟合变换矩阵参数，具体步骤如下：
第一步，设置最大迭代次数Ix、判定是否为局内点的阈值r和初始的局内点数T；
第二步，将匹配特征点对集合PQ根据描述子的汉明距离从小到大进行排列；
第三步，在重新排序后的特征点集中排序最靠前的m个点中随机取4组点，解算3×3的单应性矩阵
其中(x',y')、(x,y)是参考图像与待配准图像匹配点的坐标；
第四步，去除这4组匹配点对，将待配准图像中其它匹配点按H计算其投影到参考图像中的投影坐标；
第五步，计算投影坐标与对应的匹配点坐标之间的误差σ与阈值r进行比较，若σ<r，则该点被判定为局内点，否则将其视为外点；
第六步，统计局内点的数目t，与设定的局内点初始值T进行比较，若t<T，则令T＝t，否则将迭代次数I加1并重复第三到第六步；
第七步，使用得到的t个局内点重新计算单应性矩阵H，并得到新的局内点集合；
第八步，若迭代次数I<Ix，返回单应性矩阵H及对应的内点集，否则无法得到符合要求的模型I<Ix和内点集。
7.根据权利要求6所述的基于双向点特征的UAV图像配准与拼接方法，其特征在于：所述的最大迭代次数Ix设为2000，阈值r取0.01～0.1，初始的局内点数T设为500，m取15。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010614039.8A CN111833249A (zh) | 2020-06-30 | 2020-06-30 | 一种基于双向点特征的uav图像配准与拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010614039.8A CN111833249A (zh) | 2020-06-30 | 2020-06-30 | 一种基于双向点特征的uav图像配准与拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111833249A true CN111833249A (zh) | 2020-10-27 |
Family
ID=72900688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010614039.8A Pending CN111833249A (zh) | 2020-06-30 | 2020-06-30 | 一种基于双向点特征的uav图像配准与拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833249A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580506A (zh) * | 2020-12-18 | 2021-03-30 | 杭州电子科技大学 | 一种基于双向最小汉明距的虹膜特征点比对方法 |
| CN113470085A (zh) * | 2021-05-19 | 2021-10-01 | 西安电子科技大学 | 一种基于改进的ransac的图像配准方法 |
| CN113570647A (zh) * | 2021-07-21 | 2021-10-29 | 中国能源建设集团安徽省电力设计院有限公司 | 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722887A (zh) * | 2012-05-23 | 2012-10-10 | 北京京北方信息技术有限公司 | 一种图像配准方法及装置 |
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN106919944A (zh) * | 2017-01-20 | 2017-07-04 | 南京航空航天大学 | 一种基于orb算法的大视角图像快速识别方法 |
| CN109801220A (zh) * | 2019-01-23 | 2019-05-24 | 北京工业大学 | 一种在线求解车载视频拼接中映射参数方法 |
| CN111062990A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种面向水下机器人目标抓取的双目视觉定位方法 |
-
2020
- 2020-06-30 CN CN202010614039.8A patent/CN111833249A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722887A (zh) * | 2012-05-23 | 2012-10-10 | 北京京北方信息技术有限公司 | 一种图像配准方法及装置 |
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN106919944A (zh) * | 2017-01-20 | 2017-07-04 | 南京航空航天大学 | 一种基于orb算法的大视角图像快速识别方法 |
| CN109801220A (zh) * | 2019-01-23 | 2019-05-24 | 北京工业大学 | 一种在线求解车载视频拼接中映射参数方法 |
| CN111062990A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种面向水下机器人目标抓取的双目视觉定位方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580506A (zh) * | 2020-12-18 | 2021-03-30 | 杭州电子科技大学 | 一种基于双向最小汉明距的虹膜特征点比对方法 |
| CN113470085A (zh) * | 2021-05-19 | 2021-10-01 | 西安电子科技大学 | 一种基于改进的ransac的图像配准方法 |
| CN113470085B (zh) * | 2021-05-19 | 2023-02-10 | 西安电子科技大学 | 一种基于改进的ransac的图像配准方法 |
| CN113570647A (zh) * | 2021-07-21 | 2021-10-29 | 中国能源建设集团安徽省电力设计院有限公司 | 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Richly activated graph convolutional network for action recognition with incomplete skeletons | |
| Tian et al. | Deep learning strong parts for pedestrian detection | |
| Fang et al. | Combining faster R-CNN and model-driven clustering for elongated object detection | |
| CN105844669B (zh) | 一种基于局部哈希特征的视频目标实时跟踪方法 | |
| CN111833249A (zh) | 一种基于双向点特征的uav图像配准与拼接方法 | |
| CN106683046B (zh) | 用于警用无人机侦察取证的图像实时拼接方法 | |
| CN111028277A (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
| CN103473774B (zh) | 一种基于路面图像特征匹配的车辆定位方法 | |
| CN111666434B (zh) | 基于深度全局特征的街景图片检索方法 | |
| CN102521597B (zh) | 一种基于分级策略的影像直线特征匹配方法 | |
| CN111028292A (zh) | 一种亚像素级图像匹配导航定位方法 | |
| CN104574401A (zh) | 一种基于平行线匹配的图像配准方法 | |
| CN109101981A (zh) | 一种街景场景下基于全局图像条纹码的回环检测方法 | |
| CN104615642A (zh) | 基于局部邻域约束的空间验证的错误匹配检测方法 | |
| CN109034237B (zh) | 基于卷积神经元网络路标和序列搜索的回环检测方法 | |
| CN104376334A (zh) | 一种多尺度特征融合的行人比对方法 | |
| Deng et al. | Few-shot object detection on remote sensing images | |
| Zhao et al. | Boundary regularized building footprint extraction from satellite images using deep neural network | |
| CN110097585B (zh) | 一种基于sift算法的sar影像匹配方法及系统 | |
| CN105809678A (zh) | 一种短基线条件下两视图间线段特征全局匹配方法 | |
| Su et al. | Object detection in aerial images using a multiscale keypoint detection network | |
| CN107291813B (zh) | 基于语义分割场景的示例搜索方法 | |
| Peng et al. | New network based on D-LinkNet and densenet for high resolution satellite imagery road extraction | |
| Zhang et al. | An improved YOLO algorithm for rotated object detection in remote sensing images | |
| CN115731287B (zh) | 基于集合与拓扑空间的运动目标检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201027 |
|
| RJ01 | Rejection of invention patent application after publication |