CN115965535B - 基于特征矫正gps信息的航拍图实时拼接方法及系统 - Google Patents
基于特征矫正gps信息的航拍图实时拼接方法及系统 Download PDFInfo
- Publication number
- CN115965535B CN115965535B CN202310237999.0A CN202310237999A CN115965535B CN 115965535 B CN115965535 B CN 115965535B CN 202310237999 A CN202310237999 A CN 202310237999A CN 115965535 B CN115965535 B CN 115965535B
- Authority
- CN
- China
- Prior art keywords
- image
- block
- matched
- aerial
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于特征矫正GPS信息的航拍图实时拼接方法及系统,属于图像处理技术领域。所述方法包括:根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的候选匹配块;提取每个待匹配块的特征向量,构成特征向量集合;基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;根据待匹配块和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;根据透视变换矩阵将第一图像和第二图像映射到同一坐标系。本发明的方法可以实现航拍图像的实时拼接。
Description
技术领域
本发明属于图像处理技术领域,特别是涉及一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
背景技术
在航拍图的常用拼接方法中,大致有两个工作方向:1.通过图像匹配算法,将连续的航拍图序列一一拼接成整幅图;2.通过航拍过程记录的POS信息(即无人机的高度和GPS信息等),根据GPS对应像素点做图像匹配。在第一种方法下,由于航拍图的分辨高,匹配算法耗时较长,达不到实时效果;第二种方法简单高效,但是性价比高的设备带来的高度和GPS误差也较大,对连续帧的拼接产生较大的误差。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
本发明的目的是通过以下技术方案来实现的:根据本发明的第一方面,基于特征矫正GPS信息的航拍图实时拼接方法,包括:
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
提取每个待匹配块的特征向量,构成特征向量集合;
基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
进一步地,根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机内参计算航拍图像中每个像素的精度;
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
进一步地,所述航拍图像中x方向的像素精度为:
所述航拍图像中y方向的像素精度为:
进一步地,提取每个待匹配块的特征向量,构成特征向量集合,包括:
采用CNN模型对第一图像中每个待匹配块进行特征提取,得到n个特征向量;
进一步地,所述CNN模型包括滤波器层、非线性层、池化层和归一化层。
进一步地,所述待匹配块的最优匹配块的选取方法包括:
进一步地,所述透视变换矩阵中的参数的计算公式为:
根据本发明的第二方面,基于特征矫正GPS信息的航拍图实时拼接系统,包括:
GPS坐标计算模块,用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
匹配块选取模块,用于根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
特征提取模块,用于提取每个待匹配块的特征向量,构成特征向量集合;
匹配模块,用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
参数计算模块,用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
拼接模块,用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
本发明的有益效果是:本发明通过偏航角、高度和GPS信息估算像素精度(即像素代表实际长度和宽度,单位米),通过GPS信息将相邻帧中重叠的n个(n大于等于4的整数)Patch区(图像块)域取出,然后将GPS计算的重叠区域提取特征向量,并根据特征向量寻找最优匹配的,通过匹配的Patch和计算出相邻帧的映射矩阵,从而达到矫正GPS信息精度的效果,由于在航拍图中只计算对应的Patch区域,因此该方法可以达到高精度的航拍图实时拼接。
附图说明
图1为本发明中航拍图实时拼接方法的一种实施例的流程图;
图2为部分相机内参的关系示意图;
图3为第一图像和第二图像中选取的图像块的示意图;
图4为图像拼接的示意图;
图5为本发明中航拍图实时拼接系统的一种实施例的组成框图。
具体实施方式
下面将结合实施例,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1至图5,本发明提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统:
本实施例的第一方面提供了一种基于特征矫正GPS信息的航拍图实时拼接方法。如图1所示,所述航拍图实时拼接方法包括步骤S100至步骤S600,以下详细说明。
步骤S100.根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。
在一些实施例中,根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机内参计算航拍图像中每个像素的精度。
所述航拍图像中x方向的像素精度为:
所述航拍图像中y方向的像素精度为:
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
在平常的航拍图中保存的GPS信息只有图像中心点的经纬度信息,且精度受定位设备的影响,导致误差较大。本实施例的方法计算得到的像素的GPS坐标精度很高。
步骤S200.根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像。
具体的,在第二图像中为每个待匹配块找一个对应的图像块,并将该图像块作为该待匹配块对应的候选匹配块。
例如,图3中的前一帧图像为第一图像,图3中的当前帧图像为第二图像,patch1、patch2、……、patch(n)等表示图像块。
步骤S300.提取每个待匹配块的特征向量,构成特征向量集合。
如表1所示,所述CNN模型为一个三层结构,所示CNN模型包括滤波器层、非线性层、池化层和归一化层;每个特征向量都为128维。
表1 CNN模型的组成参数表
步骤S400.基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块。
通过步骤S300中的CNN模型在第二图像中每个Patch中心点附近S*S范围内寻找最优匹配点,以消除GPS的误差。
在一些实施例中,所述待匹配块的最优匹配块的选取方法包括:
步骤S410.对于某个待匹配块,分别将所述待匹配块对应的候选匹配块的中心点周围S*S范围内的每个点作为中心点,基于这些中心点获取与该候选匹配块同等大小的图像块,并提取获得的图像块的特征向量,其中/>。
步骤S500.根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数。
所述透视变换矩阵中的参数的计算公式为:
步骤S600.根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接,如图4所示。
本实施例的第二方面提供了一种基于特征矫正GPS信息的航拍图实时拼接系统。如图5所示,所述航拍图实时拼接系统包括GPS坐标计算模块、匹配块选取模块、特征提取模块、匹配模块、参数计算模块和拼接模块。
GPS坐标计算模块用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。关于所述GPS坐标计算模块的具体描述可参对所述步骤S100的描述。
匹配块选取模块用于根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像。关于所述匹配块选取模块的具体描述可参对所述步骤S200的描述。
特征提取模块用于提取每个待匹配块的特征向量,构成特征向量集合。关于所述特征提取模块的具体描述可参对所述步骤S300的描述。
匹配模块用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块。关于所述匹配模块的具体描述可参对所述步骤S400的描述。
参数计算模块用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数。关于所述参数计算模块的具体描述可参对所述步骤S500的描述。
拼接模块用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。关于所述拼接模块的具体描述可参对所述步骤S600的描述。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (7)
1.基于特征矫正GPS信息的航拍图实时拼接方法,其特征在于,包括:
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机内参计算航拍图像中每个像素的精度;
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标;
根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
提取每个待匹配块的特征向量,构成特征向量集合;
基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
所述待匹配块的最优匹配块的选取方法包括:
根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
5.根据权利要求4所述的基于特征矫正GPS信息的航拍图实时拼接方法,其特征在于,所述CNN模型包括滤波器层、非线性层、池化层和归一化层。
7.基于特征矫正GPS信息的航拍图实时拼接系统,其特征在于,包括:
GPS坐标计算模块,用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标;
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标,包括:
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机内参计算航拍图像中每个像素的精度;
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标;
匹配块选取模块,用于根据第一图像和第二图像的像素坐标对应的GPS坐标,选取第一图像中的n个图像块作为待匹配块,在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块,所述第二图像为与第一图像相邻的后一帧航拍图像;
特征提取模块,用于提取每个待匹配块的特征向量,构成特征向量集合;
匹配模块,用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块;
所述待匹配块的最优匹配块的选取方法包括:
参数计算模块,用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数;
拼接模块,用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系,完成图像拼接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237999.0A CN115965535B (zh) | 2023-03-14 | 2023-03-14 | 基于特征矫正gps信息的航拍图实时拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237999.0A CN115965535B (zh) | 2023-03-14 | 2023-03-14 | 基于特征矫正gps信息的航拍图实时拼接方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115965535A CN115965535A (zh) | 2023-04-14 |
CN115965535B true CN115965535B (zh) | 2023-06-30 |
Family
ID=85894752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310237999.0A Active CN115965535B (zh) | 2023-03-14 | 2023-03-14 | 基于特征矫正gps信息的航拍图实时拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115965535B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507901A (zh) * | 2020-04-15 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006100623A1 (en) * | 2005-03-24 | 2006-09-28 | Koninklijke Philips Electronics N.V. | System and method for combining two or more digital images |
US9811946B1 (en) * | 2016-05-30 | 2017-11-07 | Hong Kong Applied Science and Technology Research Institute Company, Limited | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image |
CN106600575A (zh) * | 2016-09-30 | 2017-04-26 | 上海联影医疗科技有限公司 | 拼接图像校验方法及装置、x射线摄影系统 |
CN107093187B (zh) * | 2017-03-31 | 2019-11-01 | 上海拓攻机器人有限公司 | 一种无人机飞行速度的测量方法及装置 |
CN109146773B (zh) * | 2018-08-02 | 2022-10-11 | 广州市鑫广飞信息科技有限公司 | 将河道地图映射至Web地图的方法及装置 |
CN111639662A (zh) * | 2019-12-23 | 2020-09-08 | 珠海大横琴科技发展有限公司 | 一种遥感图像双向匹配方法、装置、电子设备及存储介质 |
CN112102295A (zh) * | 2020-09-17 | 2020-12-18 | 深圳市安健科技股份有限公司 | Dr图像配准方法、装置、终端和计算机可读存储介质 |
CN113706391B (zh) * | 2021-11-01 | 2022-01-18 | 成都数联云算科技有限公司 | 无人机航拍图像实时拼接方法、系统、设备及存储介质 |
CN115620181B (zh) * | 2022-12-05 | 2023-03-31 | 海豚乐智科技(成都)有限责任公司 | 基于墨卡托坐标切片的航拍图像实时拼接方法 |
-
2023
- 2023-03-14 CN CN202310237999.0A patent/CN115965535B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507901A (zh) * | 2020-04-15 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115965535A (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823363B2 (en) | Infrared and visible light fusion method | |
US9589326B2 (en) | Depth image processing apparatus and method based on camera pose conversion | |
CN110675450B (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
CN110648398A (zh) | 基于无人机航摄数据的正射影像实时生成方法及系统 | |
WO2021098081A1 (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
CN110322485A (zh) | 一种异构多相机成像系统的快速图像配准方法 | |
JP2008051534A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体 | |
CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
CN112016478A (zh) | 一种基于多光谱图像融合的复杂场景识别方法及系统 | |
CN115564842A (zh) | 双目鱼眼相机的参数标定方法、装置、设备及存储介质 | |
CN107633497A (zh) | 一种图像景深渲染方法、系统及终端 | |
CN112862683A (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
CN116385504A (zh) | 一种基于无人机采集点云与图像配准的巡检、测距方法 | |
CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN109934765B (zh) | 高速相机全景图像拼接方法 | |
CN108109118B (zh) | 一种无控制点的航拍图像几何校正方法 | |
CN115965535B (zh) | 基于特征矫正gps信息的航拍图实时拼接方法及系统 | |
CN111383352B (zh) | 一种针对三阶魔方的自动填色及抽象化方法 | |
CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
CN111145267B (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
CN117073669A (zh) | 一种飞行器定位方法 | |
CN109523489B (zh) | 一种生成俯视无畸变倒车影像的方法 | |
CN111951178A (zh) | 显著提升图像质量的图像处理方法、装置和电子设备 | |
CN110503604A (zh) | 一种基于高精度pos的航空面阵影像实时正射拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |