CN115965535A - 基于特征矫正gps信息的航拍图实时拼接方法及系统 - Google Patents
基于特征矫正gps信息的航拍图实时拼接方法及系统 Download PDFInfo
- Publication number
- CN115965535A CN115965535A CN202310237999.0A CN202310237999A CN115965535A CN 115965535 A CN115965535 A CN 115965535A CN 202310237999 A CN202310237999 A CN 202310237999A CN 115965535 A CN115965535 A CN 115965535A
- Authority
- CN
- China
- Prior art keywords
- image
- block
- matched
- aerial
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于特征矫正GPS信息的航拍图实时拼接方法及系统,属于图像处理技术领域。所述方法包括:根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的候选匹配块;提取每个待匹配块的特征向量,构成特征向量集合;基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;根据待匹配块和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;根据透视变换矩阵将第一图像和第二图像映射到同一坐标系。本发明的方法可以实现航拍图像的实时拼接。
Description
技术领域
本发明属于图像处理技术领域,特别是涉及一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
背景技术
在航拍图的常用拼接方法中,大致有两个工作方向:1.通过图像匹配算法,将连续的航拍图序列一一拼接成整幅图;2.通过航拍过程记录的POS信息(即无人机的高度和GPS信息等),根据GPS对应像素点做图像匹配。在第一种方法下,由于航拍图的分辨高,匹配算法耗时较长,达不到实时效果;第二种方法简单高效,但是性价比高的设备带来的高度和GPS误差也较大,对连续帧的拼接产生较大的误差。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
本发明的目的是通过以下技术方案来实现的:根据本发明的第一方面,基于特征矫正GPS信息的航拍图实时拼接方法,包括:
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
提取每个待匹配块的特征向量,构成特征向量集合;
基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
进一步地,根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度;
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
进一步地,所述航拍图像中x方向的像素精度为:
所述航拍图像中y方向的像素精度为:
进一步地,提取每个待匹配块的特征向量,构成特征向量集合,包括:
采用CNN模型对第一图像中每个待匹配块进行特征提取,得到n个特征向量;
进一步地,所述CNN模型包括滤波器层、非线性层、池化层和归一化层。
进一步地,所述待匹配块的最优匹配块的选取方法包括:
进一步地,所述透视变换矩阵中的参数的计算公式为:
根据本发明的第二方面,基于特征矫正GPS信息的航拍图实时拼接系统,包括:
GPS坐标计算模块,用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
匹配块选取模块,用于根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
特征提取模块,用于提取每个待匹配块的特征向量,构成特征向量集合;
匹配模块,用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
参数计算模块,用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
拼接模块,用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
本发明的有益效果是:本发明通过偏航角、高度和GPS信息估算像素精度(即像素代表实际长度和宽度,单位米),通过GPS信息将相邻帧中重叠的n个(n大于等于4的整数)Patch区(图像块)域取出,然后将GPS计算的重叠区域提取特征向量,并根据特征向量寻找最优匹配的,通过匹配的Patch和计算出相邻帧的映射矩阵,从而达到矫正GPS信息精度的效果,由于在航拍图中只计算对应的Patch区域,因此该方法可以达到高精度的航拍图实时拼接。
附图说明
图1为本发明中航拍图实时拼接方法的一种实施例的流程图;
图2为部分相机内参的关系示意图;
图3为第一图像和第二图像中选取的图像块的示意图;
图4为图像拼接的示意图;
图5为本发明中航拍图实时拼接系统的一种实施例的组成框图。
具体实施方式
下面将结合实施例,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1至图5,本发明提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统:
本实施例的第一方面提供了一种基于特征矫正GPS信息的航拍图实时拼接方法。如图1所示,所述航拍图实时拼接方法包括步骤S100至步骤S600,以下详细说明。
步骤S100.根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。
在一些实施例中,根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度。
所述航拍图像中x方向的像素精度为:
所述航拍图像中y方向的像素精度为:
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
在平常的航拍图中保存的GPS信息只有图像中心点的经纬度信息,且精度受定位设备的影响,导致误差较大。本实施例的方法计算得到的像素的GPS坐标精度很高。
步骤S200.根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像。
具体的,在第二图像中为每个待匹配块找一个对应的图像块,并将该图像块作为该待匹配块对应的候选匹配块。
例如,图3中的前一帧图像为第一图像,图3中的当前帧图像为第二图像,patch1、patch2、……、patch(n)等表示图像块。
步骤S300.提取每个待匹配块的特征向量,构成特征向量集合。
如表1所示,所述CNN模型为一个三层结构,所示CNN模型包括滤波器层、非线性层、池化层和归一化层;每个特征向量都为128维。
表1 CNN模型的组成参数表
步骤S400.基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块。
通过步骤S300中的CNN模型在第二图像中每个Patch中心点附近S*S范围内寻找最优匹配点,以消除GPS的误差。
在一些实施例中,所述待匹配块的最优匹配块的选取方法包括:
步骤S500.根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数。
所述透视变换矩阵中的参数的计算公式为:
步骤S600.根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接,如图4所示。
本实施例的第二方面提供了一种基于特征矫正GPS信息的航拍图实时拼接系统。如图5所示,所述航拍图实时拼接系统包括GPS坐标计算模块、匹配块选取模块、特征提取模块、匹配模块、参数计算模块和拼接模块。
GPS坐标计算模块用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。关于所述GPS坐标计算模块的具体描述可参对所述步骤S100的描述。
匹配块选取模块用于根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像。关于所述匹配块选取模块的具体描述可参对所述步骤S200的描述。
特征提取模块用于提取每个待匹配块的特征向量,构成特征向量集合。关于所述特征提取模块的具体描述可参对所述步骤S300的描述。
匹配模块用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块。关于所述匹配模块的具体描述可参对所述步骤S400的描述。
参数计算模块用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数。关于所述参数计算模块的具体描述可参对所述步骤S500的描述。
拼接模块用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。关于所述拼接模块的具体描述可参对所述步骤S600的描述。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (9)
1.基于特征矫正GPS信息的航拍图实时拼接方法,其特征在于,包括:
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
提取每个待匹配块的特征向量,构成特征向量集合;
基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
2.根据权利要求1所述的基于特征矫正GPS信息的航拍图实时拼接方法,其特征在于,根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度;
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
6.根据权利要求5所述的基于特征矫正GPS信息的航拍图实时拼接方法,其特征在于,所述CNN模型包括滤波器层、非线性层、池化层和归一化层。
9.基于特征矫正GPS信息的航拍图实时拼接系统,其特征在于,包括:
GPS坐标计算模块,用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
匹配块选取模块,用于根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
特征提取模块,用于提取每个待匹配块的特征向量,构成特征向量集合;
匹配模块,用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
参数计算模块,用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
拼接模块,用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237999.0A CN115965535B (zh) | 2023-03-14 | 2023-03-14 | 基于特征矫正gps信息的航拍图实时拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237999.0A CN115965535B (zh) | 2023-03-14 | 2023-03-14 | 基于特征矫正gps信息的航拍图实时拼接方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115965535A true CN115965535A (zh) | 2023-04-14 |
CN115965535B CN115965535B (zh) | 2023-06-30 |
Family
ID=85894752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310237999.0A Active CN115965535B (zh) | 2023-03-14 | 2023-03-14 | 基于特征矫正gps信息的航拍图实时拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115965535B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006100623A1 (en) * | 2005-03-24 | 2006-09-28 | Koninklijke Philips Electronics N.V. | System and method for combining two or more digital images |
CN106600575A (zh) * | 2016-09-30 | 2017-04-26 | 上海联影医疗科技有限公司 | 拼接图像校验方法及装置、x射线摄影系统 |
CN107093187A (zh) * | 2017-03-31 | 2017-08-25 | 上海拓攻机器人有限公司 | 一种无人机飞行速度的测量方法及装置 |
US9811946B1 (en) * | 2016-05-30 | 2017-11-07 | Hong Kong Applied Science and Technology Research Institute Company, Limited | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image |
CN109146773A (zh) * | 2018-08-02 | 2019-01-04 | 广州市鑫广飞信息科技有限公司 | 将河道地图映射至Web地图的方法及装置 |
CN111507901A (zh) * | 2020-04-15 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 |
CN111639662A (zh) * | 2019-12-23 | 2020-09-08 | 珠海大横琴科技发展有限公司 | 一种遥感图像双向匹配方法、装置、电子设备及存储介质 |
CN112102295A (zh) * | 2020-09-17 | 2020-12-18 | 深圳市安健科技股份有限公司 | Dr图像配准方法、装置、终端和计算机可读存储介质 |
CN113706391A (zh) * | 2021-11-01 | 2021-11-26 | 成都数联云算科技有限公司 | 无人机航拍图像实时拼接方法、系统、设备及存储介质 |
CN115620181A (zh) * | 2022-12-05 | 2023-01-17 | 海豚乐智科技(成都)有限责任公司 | 基于墨卡托坐标切片的航拍图像实时拼接方法 |
-
2023
- 2023-03-14 CN CN202310237999.0A patent/CN115965535B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006100623A1 (en) * | 2005-03-24 | 2006-09-28 | Koninklijke Philips Electronics N.V. | System and method for combining two or more digital images |
US9811946B1 (en) * | 2016-05-30 | 2017-11-07 | Hong Kong Applied Science and Technology Research Institute Company, Limited | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image |
CN106600575A (zh) * | 2016-09-30 | 2017-04-26 | 上海联影医疗科技有限公司 | 拼接图像校验方法及装置、x射线摄影系统 |
CN107093187A (zh) * | 2017-03-31 | 2017-08-25 | 上海拓攻机器人有限公司 | 一种无人机飞行速度的测量方法及装置 |
CN109146773A (zh) * | 2018-08-02 | 2019-01-04 | 广州市鑫广飞信息科技有限公司 | 将河道地图映射至Web地图的方法及装置 |
CN111639662A (zh) * | 2019-12-23 | 2020-09-08 | 珠海大横琴科技发展有限公司 | 一种遥感图像双向匹配方法、装置、电子设备及存储介质 |
CN111507901A (zh) * | 2020-04-15 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 |
CN112102295A (zh) * | 2020-09-17 | 2020-12-18 | 深圳市安健科技股份有限公司 | Dr图像配准方法、装置、终端和计算机可读存储介质 |
CN113706391A (zh) * | 2021-11-01 | 2021-11-26 | 成都数联云算科技有限公司 | 无人机航拍图像实时拼接方法、系统、设备及存储介质 |
CN115620181A (zh) * | 2022-12-05 | 2023-01-17 | 海豚乐智科技(成都)有限责任公司 | 基于墨卡托坐标切片的航拍图像实时拼接方法 |
Non-Patent Citations (5)
Title |
---|
D: "基于CNN的图像多特征提取与快速匹配", pages 138 - 1474 * |
PAUL TSAO 等: "Stitching Aerial Images for Vehicle Positioning and Tracking", 2018 IEEE INTERNATIONAL CONFERENCE ON DATA MINING WORKSHOPS (ICDMW), pages 616 - 623 * |
张晶晶 等: "基于特征分块的视差图像拼接算法", 计算机工程, vol. 44, no. 05, pages 220 - 226 * |
袁媛 等: "无人机序列影像快速无缝拼接方法研究", 计算机工程与应用, vol. 49, no. 17, pages 139 - 142 * |
陈月 有情: "图像局部特征自适应的快速SIFT图像拼接方法", 中国光学, vol. 09, no. 04, pages 415 - 422 * |
Also Published As
Publication number | Publication date |
---|---|
CN115965535B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537848B (zh) | 一种面向室内场景重建的两级位姿优化估计方法 | |
CN110675450B (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN109727278B (zh) | 一种机载LiDAR点云数据与航空影像的自动配准方法 | |
CN110345925B (zh) | 一种针对五目航拍照片质量检测及空三处理方法 | |
CN113222820B (zh) | 一种位姿信息辅助的航空遥感图像拼接方法 | |
CN111080709A (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
CN112862683B (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
CN112016478B (zh) | 一种基于多光谱图像融合的复杂场景识别方法及系统 | |
CN112929626B (zh) | 一种基于智能手机影像的三维信息提取方法 | |
CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
CN109141432B (zh) | 一种基于影像空间和全景辅助的室内定位导航方法 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN113793270A (zh) | 一种基于无人机姿态信息的航拍图像几何校正方法 | |
CN114549871A (zh) | 一种无人机航拍图像与卫星影像匹配方法 | |
CN108109118B (zh) | 一种无控制点的航拍图像几何校正方法 | |
CN117876608A (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
CN107067368B (zh) | 基于影像变形的街景影像拼接方法及系统 | |
CN117073669A (zh) | 一种飞行器定位方法 | |
CN111681271A (zh) | 一种多通道多光谱相机配准方法、系统及介质 | |
CN106447613A (zh) | 一种基于图像局部配准的全景去虚影方法及系统 | |
CN115965535B (zh) | 基于特征矫正gps信息的航拍图实时拼接方法及系统 | |
CN112700504B (zh) | 一种多视角远心相机的视差测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |