CN112700374A - 一种无人机序列图像的快速拼接方法 - Google Patents
一种无人机序列图像的快速拼接方法 Download PDFInfo
- Publication number
- CN112700374A CN112700374A CN202110049255.7A CN202110049255A CN112700374A CN 112700374 A CN112700374 A CN 112700374A CN 202110049255 A CN202110049255 A CN 202110049255A CN 112700374 A CN112700374 A CN 112700374A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- matrix
- descriptor
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无人机序列图像的快速拼接方法,属于图像的快速拼接技术领域,该优化调度方法具体步骤如下:步骤一:从无人机序列图像中顺序读取图像;步骤二:在每一幅图像中检测特征点,并构造描述子;步骤三:描述子降维,保留描述子99%以上的有效信息;该图像的快速拼接方法在计算协方差矩阵R的特征值时,可通过协方差矩阵R的特征值进行动态选择维度n的大小,自动选择前n个特征值,从而可以实现任意维度,同时特征点匹配速度加快,单向匹配中存在多对1的匹配进行二次筛选,特征点的误匹配减少;扭曲后的图像形变较小,融合后的图像质量更佳。
Description
技术领域
本发明涉及图像的快速拼接技术领域,尤其涉及一种无人机序列图像的快速拼接方法。
背景技术
相对于卫星遥感和载人航空遥感,无人机低空遥感更加快速、灵活,特别是用于灾害应急等领域,具有卫星遥感和载人航空遥感无法比拟的优势。无人机低空遥感可以为抗震救灾尤其是监测次生灾害(例如堰塞湖监测)等的发生提供最及时的高分辨率遥感信息,并为抗震救灾的决策提供信息保障和数据支持。由于无人机遥感影像航片数量多、倾角大而且无规律、航向重叠度不规则、坐标位置误差大等因素,使得无人机影像匹配难度大、速度慢、精度低,影响到影像后续处理的一系列问题。
经检索,中国专利号CN103426153B公开了一种无人机遥感影像快速拼接方法,该无人机遥感影像快速拼接方法不能在计算协方差矩阵R的特征值时任意动态选择维度n的大小,不能实现任意维度进行降维处理,特征点匹配速度慢,特征点的误匹配较大;扭曲后的图像形变较大,融合后的图像质量不佳,为此,我们提出一种无人机序列图像的快速拼接方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种无人机序列图像的快速拼接方法。
为了实现上述目的,本发明采用了如下技术方案:
一种无人机序列图像的快速拼接方法,该快速拼接方法具体步骤如下:
步骤一:从无人机序列图像中顺序读取图像:假设无人机序列图像共有n幅图像,编号为1,2,……,i,……,n,依次读取这n幅图像;
步骤二:在每一幅图像中检测特征点,并构造描述子:在每一幅图像中检测特征点,并构造描述子,使用SURF方法依次检测每一幅图像中的特征点,并构造描述子;
步骤三:描述子降维,保留描述子99%以上的有效信息:利用SURF方法构造的描述子维度为64,并使用主成分分析法对描述子降维处理。
步骤四:依次对第i+1,i幅图像进行描述子匹配,计算出匹配对:取图像i+1中某个特征点fj,通过使用FANN(快速近似最近邻)搜索算法在图像i中找出欧式距离最小的两个点f1st,f2nd,令距离分别为d1和d2;
步骤五:计算i从2到n幅图像之间的单应性矩阵Ti:依次计算出i从2到n幅图像之间的匹配对后,使用PROSAC算法计算出图像i+1,i之间的单应性矩阵Ti+1,最终Ti+1=Ti+1*Ti;
步骤七:重新计算单应性矩阵;
步骤八:扭曲图像;
步骤九:图像拼接:使用多频段融合方法依次融合所有的扭曲图像,得到的图像即为拼接后的图像。
优选的,步骤三中所述描述子降维处理具体步骤如下:
S1、依次找出第i,i+1(1<=i<n)这两幅待匹配图像中共m(i,i+1)个描述符作为样本,构建成A=m(i,i+1)*64的矩阵;
S2、计算出64*64的协方差矩阵R,接着计算R的特征值,基于协方差矩阵R的特征值进行动态选择维度n的大小,自动选择前n个特征值,且将特征值从大到小进行排序,排序后有λ1>=λ2>=……>=λp,其中p=64;
S3、步骤S2中特征值对应的特征向量分别为{e1,e2,……,ep},选出前n个特征值的特征向量为主成分方向,构造p*n的矩阵B,该矩阵由对应的n个特征向量组成,最终矩阵为F=A*B,矩阵F的大小为m(i,i+1)*n。
优选的,所述步骤S3中n应满足如下条件:
优选的,步骤五中计算单应性矩阵Ti+1的具体方法为:
优选的,步骤六中计算第i幅图像对应的widthi与heighti的具体步骤如下:
S01、构造矩阵U,V;
S02、根据步骤五中计算得到的T1-Tn;
S03、选择中位数xi或yi:若
(max(x1,x2,…,xi,…,xn)-min(x1,x2,…,xi,…,xn))>(max(y1,y2,…,yi,…,yn)-min(y1,y2,…,yi,…,yn))则在(x1,x2,…,xi,…,xn)选择中位数xj,反之在(y1,y2,…,yi,…,yn)中选择中位数yj。则第j幅图像即为中心图像。
优选的,步骤八中所述扭曲图像的具体步骤如下:令最终拼接图像的宽为width,高为height,
X=(X1,X2,…,Xi,…,Xn),
Y=(Y1,Y2,…,Yi,…,Yn),
则width=max(w,X)-min(1,X),height=max(h,Y)-min(1,Y),依次根据图像对应的单应性矩阵在全景图模板中扭曲图像。
相比于现有技术,本发明的有益效果在于:
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种无人机序列图像的快速拼接方法的流程框图;
图2为本发明提出的一种无人机序列图像的快速拼接方法的特征点匹配示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
参照图1,一种无人机序列图像的快速拼接方法,该快速拼接方法具体步骤如下:
步骤一:从无人机序列图像中顺序读取图像:假设无人机序列图像共有n幅图像,编号为1,2,……,i,……,n,依次读取这n幅图像;
步骤二:在每一幅图像中检测特征点,并构造描述子:在每一幅图像中检测特征点,并构造描述子,使用SURF方法依次检测每一幅图像中的特征点,并构造描述子;
步骤三:描述子降维,保留描述子99%以上的有效信息:利用SURF方法构造的描述子维度为64,并使用主成分分析法对描述子降维处理。
步骤四:依次对第i+1,i幅图像进行描述子匹配,计算出匹配对:取图像i+1中某个特征点fj,通过使用FANN(快速近似最近邻)搜索算法在图像i中找出欧式距离最小的两个点f1st,f2nd,令距离分别为d1和d2;
步骤五:计算i从2到n幅图像之间的单应性矩阵Ti:依次计算出i从2到n幅图像之间的匹配对后,使用PROSAC算法计算出图像i+1,i之间的单应性矩阵Ti+1,最终Ti+1=Ti+1*Ti;
步骤七:重新计算单应性矩阵;
步骤八:扭曲图像;
步骤九:图像拼接:使用多频段融合方法依次融合所有的扭曲图像,得到的图像即为拼接后的图像。
步骤三中所述描述子降维处理具体步骤如下:
S1、依次找出第i,i+1(1<=i<n)这两幅待匹配图像中共m(i,i+1)个描述符作为样本,构建成A=m(i,i+1)*64的矩阵;
S2、计算出64*64的协方差矩阵R,接着计算R的特征值,基于协方差矩阵R的特征值进行动态选择维度n的大小,自动选择前n个特征值,且将特征值从大到小进行排序,排序后有λ1>=λ2>=……>=λp,其中p=64;
S3、步骤S2中特征值对应的特征向量分别为{e1,e2,……,ep},选出前n个特征值的特征向量为主成分方向,构造p*n的矩阵B,该矩阵由对应的n个特征向量组成,最终矩阵为F=A*B,矩阵F的大小为m(i,i+1)*n。
所述步骤S3中n应满足如下条件:
其中,当依次遍历图像i+1中特征点后,存在着多对1的错误匹配,如图2所示,f1、fj、fu在图i+1中的匹配均为fk,找出所有的多对1匹配,具体剔除错误匹配过程如下:
以(f1,fk),(fj,fk),(fu,fk)为例,在f1、fj、fu中找出与fk欧式距离最小的特征点视为正确匹配,不妨设fj和fk之间的欧氏距离最小,则剔除匹配(f1,fk),(fu,fk),按照同样操作,处理所有的多对1匹配。
步骤五中计算单应性矩阵Ti+1的具体方法为:
步骤六中计算第i幅图像对应的widthi与heighti的具体步骤如下:
S01、构造矩阵U,V;
S02、根据步骤五中计算得到的T1-Tn;
S03、选择中位数xi或yi:若
(max(x1,x2,…,xi,…,xn)-min(x1,x2,…,xi,…,xn))>(max(y1,y2,…,yi,…,yn)-min(y1,y2,…,yi,…,yn))则在(x1,x2,…,xi,…,xn)选择中位数xj,反之在(y1,y2,…,yi,…,yn)中选择中位数yj。则第j幅图像即为中心图像。
步骤八中所述扭曲图像的具体步骤如下:令最终拼接图像的宽为width,高为height,
X=(X1,X2,…,Xi,…,Xn),
Y=(Y1,Y2,…,Yi,…,Yn),
则width=max(w,X)-min(1,X),height=max(h,Y)-min(1,Y),依次根据图像对应的单应性矩阵在全景图模板中扭曲图像。
本发明的工作原理及使用流程:该无人机序列图像的快速拼接方法,首先假设无人机序列图像共有n幅图像,编号为1,2,……,i,……,n,依次读取这n幅图像,在每一幅图像中检测特征点,并构造描述子,使用SURF方法依次检测每一幅图像中的特征点,并构造描述子,并利用SURF方法构造的描述子维度为64,并使用主成分分析法对描述子降维处理,其降维处理的具体步骤如下:通过依次找出第i,i+1(1<=i<n)这两幅待匹配图像中共m(i,i+1)个描述符作为样本,构建成A=m(i,i+1)*64的矩阵,接着计算出64*64的协方差矩阵R,接着计算R的特征值,基于协方差矩阵R的特征值进行动态选择维度n的大小,自动选择前n个特征值,且将特征值从大到小进行排序,排序后有λ1>=λ2>=……>=λp,其中p=64,特征值对应的特征向量分别为{e1,e2,……,ep},选出前n个特征值的特征向量为主成分方向,构造p*n的矩阵B,该矩阵由对应的n个特征向量组成,最终矩阵为F=A*B,矩阵F的大小为m(i,i+1)*n,其次,计算i从2到n幅图像之间的单应性矩阵Ti:依次计算出i从2到n幅图像之间的匹配对后,其中,当依次遍历图像i+1中特征点后,存在着多对1的错误匹配,如图2所示,f1、fj、fu在图i+1中的匹配均为fk,找出所有的多对1匹配,具体剔除错误匹配过程如下:
以(f1,fk),(fj,fk),(fu,fk)为例,在f1、fj、fu中找出与fk欧式距离最小的特征点视为正确匹配,不妨设fj和fk之间的欧氏距离最小,则剔除匹配(f1,fk),(fu,fk),按照同样操作,处理所有的多对1匹配,接着使用PROSAC算法计算出图像i+1,i之间的单应性矩阵Ti+1,最终Ti+1=Ti+1*Ti,其中计算单应性矩阵Ti+1的具体方法为:
S01、构造矩阵U,V;
S02、根据步骤五中计算得到的T1-Tn;
S03、选择中位数xi或yi:若
(max(x1,x2,…,xi,…,xn)-min(x1,x2,…,xi,…,xn))>(max(y1,y2,…,yi,…,yn)-min(y1,y2,…,yi,…,yn))则在(x1,x2,…,xi,…,xn)选择中位数xj,反之在(y1,y2,…,yi,…,yn)中选择中位数yj。则第j幅图像即为中心图像,重新计算单应性矩阵:令中位数对应的矩阵为Tj,求出Tj的逆矩阵Tj -1,依次计算Ti,其中Ti=Ti*Tj -1,得到通过令最终拼接图像的宽为width,高为height,
X=(X1,X2,…,Xi,…,Xn),
Y=(Y1,Y2,…,Yi,…,Yn),
则width=max(w,X)-min(1,X),height=max(h,Y)-min(1,Y),依次根据图像对应的单应性矩阵在全景图模板中扭曲图像,最后使用多频段融合方法依次融合所有的扭曲图像,得到的图像即为拼接后的图像。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种无人机序列图像的快速拼接方法,其特征在于,该快速拼接方法具体步骤如下:
步骤一:从无人机序列图像中顺序读取图像:假设无人机序列图像共有n幅图像,编号为1,2,……,i,……,n,依次读取这n幅图像;
步骤二:在每一幅图像中检测特征点,并构造描述子:在每一幅图像中检测特征点,并构造描述子,使用SURF方法依次检测每一幅图像中的特征点,并构造描述子;
步骤三:描述子降维,保留描述子99%以上的有效信息:利用SURF方法构造的描述子维度为64,并使用主成分分析法对描述子降维处理。
步骤四:依次对第i+1,i幅图像进行描述子匹配,计算出匹配对:取图像i+1中某个特征点fj,通过使用FANN(快速近似最近邻)搜索算法在图像i中找出欧式距离最小的两个点f1st,f2nd,令距离分别为d1和d2;
步骤五:计算i从2到n幅图像之间的单应性矩阵Ti:依次计算出i从2到n幅图像之间的匹配对后,使用PROSAC算法计算出图像i+1,i之间的单应性矩阵Ti+1,最终Ti+1=Ti+1*Ti;
步骤七:重新计算单应性矩阵;
步骤八:扭曲图像;
步骤九:图像拼接:使用多频段融合方法依次融合所有的扭曲图像,得到的图像即为拼接后的图像。
2.根据权利要求1所述的一种无人机序列图像的快速拼接方法,其特征在于:步骤三中所述描述子降维处理具体步骤如下:
S1、依次找出第i,i+1(1<=i<n)这两幅待匹配图像中共m(i,i+1)个描述符作为样本,构建成A=m(i,i+1)*64的矩阵;
S2、计算出64*64的协方差矩阵R,接着计算R的特征值,基于协方差矩阵R的特征值进行动态选择维度n的大小,自动选择前n个特征值,且将特征值从大到小进行排序,排序后有λ1>=λ2>=……>=λp,其中p=64;
S3、步骤S2中特征值对应的特征向量分别为{e1,e2,……,ep},选出前n个特征值的特征向量为主成分方向,构造p*n的矩阵B,该矩阵由对应的n个特征向量组成,最终矩阵为F=A*B,矩阵F的大小为m(i,i+1)*n。
8.根据权利要求1所述的一种无人机序列图像的快速拼接方法,其特征在于:步骤八中所述扭曲图像的具体步骤如下:令最终拼接图像的宽为width,高为height,X=(X1,X2,…,Xi,…,Xn),Y=(Y1,Y2,…,Yi,…,Yn),则width=max(w,X)-min(1,X),height=max(h,Y)-min(1,Y),依次根据图像对应的单应性矩阵在全景图模板中扭曲图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110049255.7A CN112700374A (zh) | 2021-01-14 | 2021-01-14 | 一种无人机序列图像的快速拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110049255.7A CN112700374A (zh) | 2021-01-14 | 2021-01-14 | 一种无人机序列图像的快速拼接方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112700374A true CN112700374A (zh) | 2021-04-23 |
Family
ID=75514832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110049255.7A Pending CN112700374A (zh) | 2021-01-14 | 2021-01-14 | 一种无人机序列图像的快速拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112700374A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113158938A (zh) * | 2021-04-29 | 2021-07-23 | 西安外事学院 | 基于协方差矩阵最小特征值的快速抗旋转景象匹配方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
US20160198088A1 (en) * | 2014-12-23 | 2016-07-07 | SZ DJI Technology Co., Ltd | Uav panoramic imaging |
CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
CN107067415A (zh) * | 2017-03-21 | 2017-08-18 | 南京航空航天大学 | 一种基于图像匹配的目标快速精确定位方法 |
-
2021
- 2021-01-14 CN CN202110049255.7A patent/CN112700374A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
US20160198088A1 (en) * | 2014-12-23 | 2016-07-07 | SZ DJI Technology Co., Ltd | Uav panoramic imaging |
CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
CN107067415A (zh) * | 2017-03-21 | 2017-08-18 | 南京航空航天大学 | 一种基于图像匹配的目标快速精确定位方法 |
Non-Patent Citations (5)
Title |
---|
XIE RENPING等: "A robust projection plane selection strategy for UAV image", 《INTERNATIONAL JOURNAL OF REMOTE SENSING,》 * |
张栩然等: "顾及纹理和形状特征的无人机影像中农村宅基地提取研究――以重庆市丰都县为例", 《遥感信息》 * |
李雅梅等: "一种基于局部特征的栅格地图拼接方法", 《计算机应用与软件》 * |
程争刚等: "一种基于无人机位姿信息的航拍图像拼接方法", 《测绘学报》 * |
罗毅等: "一种航拍图像与卫星影像拼接方法", 《信息化研究》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113158938A (zh) * | 2021-04-29 | 2021-07-23 | 西安外事学院 | 基于协方差矩阵最小特征值的快速抗旋转景象匹配方法 |
CN113158938B (zh) * | 2021-04-29 | 2023-08-22 | 西安外事学院 | 基于协方差矩阵最小特征值的快速抗旋转景象匹配方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110298298B (zh) | 目标检测及目标检测网络的训练方法、装置及设备 | |
CN110837870B (zh) | 基于主动学习的声呐图像目标识别方法 | |
Torralba et al. | Sharing visual features for multiclass and multiview object detection | |
CN110490913B (zh) | 基于角点与单线段编组的特征描述算子进行影像匹配方法 | |
US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
CN113239813B (zh) | 一种基于三阶级联架构的YOLOv3的远景目标检测方法 | |
CN110647912A (zh) | 细粒度图像识别方法、装置、计算机设备及存储介质 | |
CN108428248B (zh) | 车窗定位方法、系统、设备及存储介质 | |
WO2004055735A1 (ja) | パターン識別方法、その装置及びそのプログラム | |
JPH06176161A (ja) | 入力分類方法、トレーニング方法、及び装置 | |
US20110010317A1 (en) | Information processing apparatus enabling discriminator to learn and method thereof | |
EP2234388B1 (en) | Object detection apparatus and method | |
CN113205026A (zh) | 一种基于Faster RCNN深度学习网络改进的车型识别方法 | |
CN111652910B (zh) | 一种基于对象空间关系的目标跟踪算法 | |
CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
CN112700374A (zh) | 一种无人机序列图像的快速拼接方法 | |
CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
US6901171B1 (en) | Methods and apparatuses for refining groupings of edge points that represent a contour in an image | |
CN114743195A (zh) | 甲状腺细胞病理数字图像识别器训练方法、图像识别方法 | |
CN106780294B (zh) | 一种基于特征描述符的圆弧匹配方法 | |
CN110866500A (zh) | 人脸检测对齐系统、方法、装置、平台、移动终端和存储介质 | |
Shvai et al. | Optimal ensemble classifiers based classification for automatic vehicle type recognition | |
CN116026340A (zh) | 一种适用于多尺度连续变焦条件的室内定位方法 | |
US11967131B2 (en) | System for processing an image, method for processing the image, method for training a neural network for processing the image, and recording medium for executing the method | |
CN115861956A (zh) | 一种基于解耦头部的Yolov3道路垃圾检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210423 |