CN116363185B - 地理配准方法、装置、电子设备和可读存储介质 - Google Patents
地理配准方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN116363185B CN116363185B CN202310636356.3A CN202310636356A CN116363185B CN 116363185 B CN116363185 B CN 116363185B CN 202310636356 A CN202310636356 A CN 202310636356A CN 116363185 B CN116363185 B CN 116363185B
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- images
- point set
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 23
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Abstract
本申请提供了一种地理配准方法、装置、电子设备和可读存储介质，涉及无人机信息技术领域。通过将多张待拼接图像进行图像拼接处理得到拼接图像后，从拼接图像中确定出待配准的像点集合；根据像点集合中各像点所属待拼接图像的位姿信息，获得与像点集合对应的像控点集合，最后根据像控点集合对拼接图像进行图像校准，得到地理配准结果。如此，无需人工部署待配准的像控点集合，且获得的待配准的像控点集合的合理性较高，从而提高了地理配准的准确性。
Description
技术领域
本申请涉及无人机信息技术领域，具体而言，涉及一种地理配准方法、装置、电子设备和可读存储介质。
背景技术
随着无人机技术的快速发展，因其高效率、低成本等优势，无人机已应用到生活的方方面面，如航拍、气象、交通监控、灾难救援等。无人机航空摄影测量技术大大降低了传统航空摄影测量计算的工作周期，人力，财力的消耗，使得航空摄影测量技术的应用更加广泛。
目前，为了提高拼接影像的地理定位精度，常常采用基于像控点的拼接影像地理配准方法实现对拼接影像的校正。
但是，这种方法需要额外投入人力物力在拼接区域中部署像控点，工作量比较大，且存在部署的像控点的合理性较差的问题。
发明内容
本申请的目的在于提供一种地理配准方法、装置、电子设备和可读存储介质，能够。
第一方面，本申请提供一种地理配准方法，所述方法包括：
获取多张待拼接图像；
对多张所述待拼接图像进行图像拼接处理，得到拼接图像；
从所述拼接图像中确定出待配准的像点集合；
根据所述像点集合中各像点所属待拼接图像的位姿信息，获得与所述像点集合对应的像控点集合；
根据所述像控点集合对所述拼接图像进行图像校准处理，得到地理配准结果。
在可选的实施方式中，所述从所述拼接图像中确定出待配准的像点集合的步骤包括：
将所述多张待拼接图像的图像中心点在所述拼接图像中的像素位置作为第一候选点；
对全部所述第一候选点进行抽稀采样，得到第二候选点；
计算所述待拼接图像与其他所述待拼接图像的重叠率及共视关系值；
筛除与其他所述待拼接图像的重叠率小于预设重叠率阈值和/或共视关系值小于预设共视关系阈值的待拼接图像所对应的所述第二候选点，得到第三候选点；
计算所述待拼接图像在所述拼接图像的航带信息；
根据全部所述航带信息，筛除处于航带首部以及航带尾部的待拼接图像所对应的第三候选点，得到所述像点集合。
在可选的实施方式中，所述根据所述像点集合中各像点所属待拼接图像的位姿信息，获得与所述像点集合对应的像控点集合的步骤包括：
获取所述拼接图像的地理信息仿射矩阵；
根据所述地理信息仿射矩阵计算所述像点集合中各像点的二维地理坐标；
将各所述像点的二维地理坐标作为待配准的物点集合；
若所述物点集合的空间分布满足预设条件，则根据各所述像点所属待拼接图像的位姿信息，计算各所述像点的三维地理坐标；
将所有所述三维地理坐标作为所述像控点集合。
在可选的实施方式中，所述获取所述拼接图像的地理信息仿射矩阵，包括：
计算所述拼接图像的地理范围信息；
根据所述拼接图像包括的标注区域及所述地理范围信息，得到所述拼接图像的地理信息仿射矩阵。
在可选的实施方式中，所述计算所述拼接图像的地理范围信息的步骤包括：
获取该待拼接图像的预设角点在图像坐标系的坐标值；
根据该待拼接图像包括的位姿信息及所述坐标值，计算该待拼接图像的地理范围信息；
根据所有所述待拼接图像的地理范围信息，计算所述拼接图像的地理范围信息。
在可选的实施方式中，所述对多张所述待拼接图像进行图像拼接处理，得到拼接图像的步骤包括：
计算所述待拼接图像在导航坐标系的位姿信息；
根据该所述待拼接图像在导航坐标系的位姿信息，计算该待拼接图像在所述导航坐标系中的单应矩阵；
利用该待拼接图像在所述导航坐标系中的单应矩阵将该待拼接图像变换到所述导航坐标系，得到拼接图像，其中，所述拼接图像包括标注区域。
在可选的实施方式中，所述计算所述待拼接图像在导航坐标系的位姿信息的步骤包括：
获取摄像参数，并根据坐标系定义计算坐标系变换关系；
根据所述摄像参数及所述变换关系计算所述待拼接图像在导航坐标系的初始位姿信息；
利用各所述待拼接图像之间的特征点的匹配关系，对所述初始位姿信息进行筛选，得到所述待拼接图像在导航坐标系的位姿信息。
第二方面，本申请提供一种地理配准装置，所述装置包括：
获取模块，用于获取多张待拼接图像；
拼接模块，用于对多张所述待拼接图像进行图像拼接处理，得到拼接图像；
计算模块，用于从所述拼接图像中确定出待配准的像点集合；根据所述像点集合中各像点所属待拼接图像的位姿信息，获得与所述像点集合对应的像控点集合；
校准模块，用于根据所述待配准的像控点集合对所述拼接图像进行图像校准处理，得到地理配准结果。
第三方面，本申请提供一种电子设备，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行前述实施方式任意一项所述的地理配准方法的步骤。
第四方面，本申请提供一种可读存储介质，所述可读存储介质存储有计算机程序，计算机程序被执行时实现前述实施方式任意一项所述的地理配准方法的步骤。
本申请实施例提供了一种地理配准方法、装置、电子设备和可读存储介质，涉及无人机信息技术领域。通过将多张待拼接图像进行图像拼接处理得到拼接图像后，从拼接图像中确定出待配准的像点集合；根据像点集合中各像点所属待拼接图像的位姿信息，获得与像点集合对应的像控点集合，最后根据像控点集合对拼接图像进行图像校准，得到地理配准结果。如此，无需人工部署待配准的像控点集合，且获得的待配准的像控点集合的合理性较高，从而提高了地理配准的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举一些举例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构框图。
图2为本申请实施例提供的一种地理配准方法的流程示意图。
图3为本申请实施例提供的一种地理配准方法的子步骤流程图之一。
图4为本申请实施例提供的一种地理配准方法的子步骤流程图之二。
图5为本申请实施例提供的一种地理配准方法的子步骤流程图之三。
图6为本申请实施例提供的地理配准装置的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-地理配准装置；131-获取模块；132-拼接模块；133-计算模块；134-校准模块；140-通信单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
如背景技术所介绍，随着无人机技术的快速发展，因其高效率、低成本等优势，无人机已应用到生活的方方面面，如航拍、气象、交通监控、灾难救援等。无人机航空摄影测量技术大大降低了传统航空摄影测量计算的工作周期，人力，财力的消耗，使得航空摄影测量技术的应用更加广泛。
目前，为了提高拼接影像的地理定位精度，常常采用基于像控点的拼接影像地理配准方法实现对拼接影像的校正。
利用拼接技术对图像序列进行拼接，以得到航摄区域的整体拼接影像。含地理信息的航摄影像拼接在应急救灾，土地测量等方面有更加实际的指导意义和实用价值。但是为了提高拼接影像的地理定位精度，可以采用基于像控点的拼接影像地理配准方法实现对拼接影像的校正。但是，这种方法需要额外投入人力物力在拼接区域中部署像控点，工作量比较大，且存在部署的像控点的合理性较差的问题。并且，人工部署像控点不仅需要大量的户外工作，而且像控点部署的合理性依赖于部署人员个人经验。
有鉴于此，本申请实施例提供的地理配准方法、装置、电子设备和可读存储介质，通过自动生成待配准的像点集合和待配准的物点集合的方式进行配准，无需人工部署待配准的像控点集合，同时待配准的像控点集合部署合理精准，从而提高了地理配准结果的准确性。
以上现有技术中的方案所存在的缺陷，均是申请人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是申请人在本申请过程中对本申请做出的贡献。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的关键可以相互组合。
请结合参阅图1，图1为本申请实施例提供的一种电子设备100的结构框图。该电子设备可以包括处理器120、存储器110、地理配准装置130及通信单元140，存储器110存储有处理器120可执行的机器可读指令，当电子设备100运行时，处理器120及存储器110之间通过总线通信，处理器120执行机器可读指令，并执行地理配准方法。
存储器110、处理器120以及通信单元140各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。地理配准装置130包括至少一个可以软件或固件（firmware）的形式存储于存储器110中的软件功能模块。处理器120用于执行存储器110中存储的可执行模块，例如地理配准装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器（Random Access memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由处理器120实现。
通信单元140用于通过网络建立电子设备100与其他电子设备之间的通信连接，并用于通过网络收发数据。
在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网（Local Area Network，LAN）、广域网（Wide Area Network，WAN）、无线局域网（Wireless Local Area Networks，WLAN）、城域网（Metropolitan Area Network，MAN）、广域网（Wide Area Network，WAN）、公共电话交换网（Public Switched Telephone Network，PSTN）、蓝牙网络、ZigBee网络、或近场通信（Near Field Communication，NFC）网络等，或其任意组合。
在本申请实施例中，电子设备100可以是但不限于智能手机、个人电脑、平板电脑等具有处理功能的设备。可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
下面基于图1示出的电子设备100的结构图，并结合图2对本申请实施例提供的地理配准方法的步骤进行详细阐述。但应该理解的是，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。如图2所示，该地理配准方法包括：
S1，获取多张待拼接图像。
其中，多张待拼接图像可以是从实时视频流或事后视频流中的文件以自动或手动的方式提取的满足拼接重叠率的一系列图像或者关键帧，也可以是航摄影像。
并且每张待拼接图像均满足拼接重叠率，例如，拼接重叠率一般包括航向重叠率和旁向重叠率，航向重叠率一般可以为，最小不得小于53%。旁向重叠率可以为/>，最小不得小于15%。
S2，对多张待拼接图像进行图像拼接处理，得到拼接图像。
请参阅图3，在可选的实施方式中，S2的具体实施方式包括S21~S23，为使本申请实施例的目的、技术方案和优点更加清楚，下面结合图3对各子步骤进行详细介绍：
S21，计算每张待拼接图像在导航坐标系的位姿信息。
可选地实施方式中，电子设备获取摄像参数，并根据坐标系定义计算坐标系变换关系；根据摄像参数及变换关系计算待拼接图像在导航坐标系的初始位姿信息；利用各待拼接图像之间的特征点的匹配关系，对初始位姿信息进行筛选，得到待拼接图像在导航坐标系的位姿信息。
示例性的，可通过获取摄像参数，并根据坐标系定义计算坐标系变换关系，根据摄像参数及变换关系计算每张待拼接图像在导航坐标系的位姿信息。例如，获取相机的内参数、飞机姿态、相机姿态、GPS（Global Positioning System，全球定位系统）信息，并结合图像坐标系、像平面坐标、相机坐标系、机体坐标系、导航坐标系的变换关系，得到每一幅待拼接图像在导航坐标系的位姿信息，其中位姿信息包括位置信息和姿态信息。
在得到待拼接图像在导航坐标系的位姿信息后，还可以对其进行优化，例如，利用待拼接图像中图像间特征点的匹配关系优化每一幅图像在导航坐标系的位姿信息。如待拼接图像的角点，通过对比不同待拼接图像中角点的相似性，进行特征点的匹配，得到特征点之间的匹配关系。
S22，根据该待拼接图像在导航坐标系的位姿信息，计算该待拼接图像在导航坐标系中的单应矩阵。
单应(Homography)是射影几何中的概念，又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质。通过单应矩阵，能够将一个待拼接图像中的像素坐标变换到另一个待拼接图像中对应的位置上/>，通过单应矩阵可以实现例如图像的校正、对齐以及在SLAM（Simultaneous Localization And Mapping，同步定位与建图）中估计两个相机间的运动。
S23，利用该待拼接图像在导航坐标系中的单应矩阵将该待拼接图像变换到导航坐标系，得到拼接图像。
其中，拼接图像包括标注区域，标注区域可以是ROI区域（Region of Interest，感兴趣区域），可以用方框、圆、椭圆、不规则多边形等方式在拼接图像中勾勒出需要处理的区域，称为感兴趣区域。
基于以上关于拼接图像的介绍，继续参见图2，本实施例提供的地理配准方法还包括：
S3，从拼接图像中确定出待配准的像点集合。
研究发现，本领域常规技术手段中，通常采取随机数发生器（Random）、随机排序网格（Random Sorted Grid）、网格中心（Grid Center）、泊松盘（Poisson-Disk）、轴排序网格（Axis Sorted Grid）等方法从拼接图像中选取取像素点构成像点集合，以便用于生成像控点集合；但通过常规技术手段确定出的像点往往会导致在后续进行地理配准的过程中出现过拟合的问题。
因此，为了克服该问题，本实施例将每张待拼接图像的图像中心点在拼接图像中的像素位置作为第一候选点，而不是从拼接图像中的拼接影像中的所有像素点作为第一候选点。根据正射校正原理可知，在每幅图像地理定位中，图像中心点的地理定位精度较图像边缘地理定位精度高，因此，该方法可以避免选取的候选点自身地理定位精度对地理配准精度的影响。如图4所示，步骤S3的具体实施方式包括：
S31，将待拼接图像的图像中心点在拼接图像中的像素位置作为第一候选点。
S32，对全部第一候选点进行抽稀采样，得到第二候选点。
其中，抽稀采样可以包括但不限于随机数发生器（Random）、随机排序网格（RandomSorted Grid）、网格中心（Grid Center）、泊松盘（Poisson-Disk）、轴排序网格（AxisSorted Grid）等多种抽样方法。经采用抽稀算法对第一候选点进行处理后，在减小计算量的同时，还可以进一步改善地理配准结果过拟合而形成局部过度卷曲的问题。
S33，计算待拼接图像与其他待拼接图像的重叠率及共视关系值；筛除与其他待拼接图像的重叠率小于预设重叠率阈值和/或共视关系值小于预设共视关系阈值的待拼接图像所对应的第二候选点，得到第三候选点。
如此，根据重叠率及共视关系排除重叠率低、共视关系差的待拼接图像所对应的第二候选点，可以确保后续生成的待配准的像点集合可以更高效更精准的实现地理配准，提高拼接图像的地理定位精度。
S34，计算待拼接图像在拼接图像的航带信息；根据全部航带信息，筛除处于航带首部以及航带尾部的待拼接图像所对应的第三候选点，得到像点集合。
如此，本申请实施例在地理配准中，根据待拼接图像的重叠率，共视关系，航带信息等自动筛选出合适的待配准的像点集合，使得选取的待配准的像点集合在地理配准中更符合当前拼接条件，避免了地理配准中过拟合问题的出现。此外，在一些实施方式中，像点集合中像点的数量至少为3个。
以上实施例中对像点集合进行了介绍，继续参见图2，本实施例提供的地理配准方法还包括：
S4，根据像点集合中各像点所属待拼接图像的位姿信息，获得与像点集合对应的像控点集合。
此处应理解的是，由于像控点集合中的像控点基于像点结合中的像点生成，而像控点集合中各像控点之间的空间分布需要满足一定的条件才能起到参考校准作用。因此，如图5所示，步骤S4的可选实施方式包括：
S41，获取拼接图像的地理信息仿射矩阵。
其中，电子设备可以计算拼接图像的地理范围信息，根据拼接图像包括的标注区域及地理范围信息，得到拼接图像的地理信息仿射矩阵。
示例性的，对于地理范围信息，电子设备可以获取该待拼接图像的预设角点在图像坐标系的坐标值；根据该待拼接图像包括的位姿信息及坐标值，计算该待拼接图像的地理范围信息；根据所有待拼接图像的地理范围信息，计算拼接图像的地理范围信息。
其中，预设角点可以是待拼接图像的四个角点，例如，图像的分辨率为时，四个角点的坐标为即/>、/>、/>、/>。
最后，可根据拼接图像包括的标注区域及地理范围信息计算出拼接图像的拼接区域左上角的地理坐标以及拼接图像在方向的像素分辨率，基于拼接图像在/>方向的像素分辨率即可计算获得地理信息仿射矩阵。从而可获知拼接图像中每一个像素点的地理位置信息。基于以上实施例中关于地理信息仿射矩阵，S4还包括：
S42，根据地理信息仿射矩阵计算像点集合中各像点的二维地理坐标。
S43，将各像点的二维地理坐标作为待配准的物点集合。
S44，若物点集合的空间分布满足预设条件，则根据各像点所属待拼接图像的位姿信息，计算各像点的三维地理坐标。
S45，将所有三维地理坐标作为像控点集合。
其中，二维地理坐标包括经度及纬度坐标，三维地理坐标包括经度、纬度和高度坐标。此处应理解的是，物点集合中的各物体点之间不应在空间上分布的过于聚集，或者沿一条直线分布，本实施例中通过地理信息仿射矩阵将像点集合中映射为物点集合，以便于从经纬度的维度对物点集合的空间分布进行初步验证。若经过验证后，确定物点集合满足预设条件，则计算像点集合所对应的像控点集合。
基于以上关于像控点集合的介绍，继续参见图2，本实施例提供的地理配准方法还包括：
S5，根据待配准的像控点集合对拼接图像进行图像校准处理，得到地理配准结果。
应理解的是，上述自动计算生成的待配准的像控点集合和待配准的像点集合即为地理配准处理中需要的同名点。将待配准的像控点集合和待配准的像点集合利用几何多项式校正、小样条校正、RPC有理函数校正、GeoLoc校正等变换模型，即可实现图2中示出的S5中的地理配准处理，得到地理配准结果。
如此，本申请实施例提供的地理配准方法，通过将多张待拼接图像进行图像拼接处理后，从拼接图像中确定出待配准的像点集合，并根据像点集合中各像点所属待拼接图像的位姿信息，获得与像点集合对应的像控点集合，最后根据像控点集合对拼接图像进行图像校准，得到地理配准结果。如此，无需人工部署待配准的像控点集合，且获得的待配准的像控点集合的合理性较高，从而提高了地理配准的准确性。
基于上述实施中关于地理配准方法的介绍，在相同的发明构思下，本申请实施例提供的地理配准装置的功能模块框图。本申请实施例中还提供了与图2示出的地理配准方法对应的地理配准装置，地理配准装置包括至少一个可以软件形式存储于存储器或固化在电子设备的操作系统（Operating System，简称OS）中的软件功能模块。电子设备中的处理器用于执行存储器中存储的可执行模块，例如，地理配准装置所包括的软件功能模块及计算机程序等，请参照图6，从功能上划分，该地理配准装置130可以包括：
获取模块131，用于获取多张待拼接图像；
拼接模块132，用于对多张待拼接图像进行图像拼接处理，得到拼接图像；
计算模块133，用于从所述拼接图像中确定出待配准的像点集合；根据所述像点集合中各像点所属待拼接图像的位姿信息，获得与所述像点集合对应的像控点集合；
校准模块134，用于根据待配准的像控点集合对拼接图像进行图像校准处理，得到地理配准结果。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述地理配准方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本申请实施例也提供了一种可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时，实现本实施例提供的地理配准方法。其中，该计算机可读存储介质可以是U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供了一种地理配准方法、装置、电子设备和可读存储介质，通过将多张待拼接图像进行图像拼接处理得到拼接图像后，从所述拼接图像中确定出待配准的像点集合；根据所述像点集合中各像点所属待拼接图像的位姿信息，获得与所述像点集合对应的像控点集合，最后根据像控点集合对拼接图像进行图像校准，得到地理配准结果。如此，无需人工部署待配准的像控点集合，且获得的待配准的像控点集合的合理性较高，从而提高了地理配准的准确性。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种地理配准方法，其特征在于，所述方法包括：
获取多张待拼接图像；
对多张所述待拼接图像进行图像拼接处理，得到拼接图像；
从所述拼接图像中确定出待配准的像点集合；
获取所述拼接图像的地理信息仿射矩阵；
根据所述地理信息仿射矩阵计算所述像点集合中各像点的二维地理坐标；
将各所述像点的二维地理坐标作为待配准的物点集合；
若所述物点集合的空间分布满足预设条件，则根据各所述像点所属待拼接图像的位姿信息，计算各所述像点的三维地理坐标；
将所有所述三维地理坐标作为像控点集合；
根据所述像控点集合对所述拼接图像进行图像校准处理，得到地理配准结果。
2.根据权利要求1所述的地理配准方法，其特征在于，所述从所述拼接图像中确定出待配准的像点集合的步骤包括：
将所述多张待拼接图像的图像中心点在所述拼接图像中的像素位置作为第一候选点；
对全部所述第一候选点进行抽稀采样，得到第二候选点；
计算所述待拼接图像与其他所述待拼接图像的重叠率及共视关系值；
筛除与其他所述待拼接图像的重叠率小于预设重叠率阈值和/或共视关系值小于预设共视关系阈值的待拼接图像所对应的所述第二候选点，得到第三候选点；
计算所述待拼接图像在所述拼接图像的航带信息；
根据全部所述航带信息，筛除处于航带首部以及航带尾部的待拼接图像所对应的第三候选点，得到所述像点集合。
3.根据权利要求2所述的地理配准方法，其特征在于，所述获取所述拼接图像的地理信息仿射矩阵，包括：
计算所述拼接图像的地理范围信息；
根据所述拼接图像包括的标注区域及所述地理范围信息，得到所述拼接图像的地理信息仿射矩阵。
4.根据权利要求3所述的地理配准方法，其特征在于，所述计算所述拼接图像的地理范围信息的步骤包括：
获取该待拼接图像的预设角点在图像坐标系的坐标值；
根据该待拼接图像包括的位姿信息及所述坐标值，计算该待拼接图像的地理范围信息；
根据所有所述待拼接图像的地理范围信息，计算所述拼接图像的地理范围信息。
5.根据权利要求1所述的地理配准方法，其特征在于，所述对多张所述待拼接图像进行图像拼接处理，得到拼接图像的步骤包括：
计算所述待拼接图像在导航坐标系的位姿信息；
根据该所述待拼接图像在导航坐标系的位姿信息，计算该待拼接图像在所述导航坐标系中的单应矩阵；
利用该待拼接图像在所述导航坐标系中的单应矩阵将该待拼接图像变换到所述导航坐标系，得到拼接图像，其中，所述拼接图像包括标注区域。
6.根据权利要求5所述的地理配准方法，其特征在于，所述计算所述待拼接图像在导航坐标系的位姿信息的步骤包括：
获取摄像参数，并根据坐标系定义计算坐标系变换关系；
根据所述摄像参数及所述变换关系计算所述待拼接图像在导航坐标系的初始位姿信息；
利用各所述待拼接图像之间的特征点的匹配关系，对所述初始位姿信息进行筛选，得到所述待拼接图像在导航坐标系的位姿信息。
7.一种地理配准装置，其特征在于，所述装置包括：
获取模块，用于获取多张待拼接图像；
拼接模块，用于对多张所述待拼接图像进行图像拼接处理，得到拼接图像；
计算模块，用于从所述拼接图像中确定出待配准的像点集合；
获取所述拼接图像的地理信息仿射矩阵；
根据所述地理信息仿射矩阵计算所述像点集合中各像点的二维地理坐标；
将各所述像点的二维地理坐标作为待配准的物点集合；
若所述物点集合的空间分布满足预设条件，则根据各所述像点所属待拼接图像的位姿信息，计算各所述像点的三维地理坐标；
将所有所述三维地理坐标作为像控点集合；
校准模块，用于根据所述待配准的像控点集合对所述拼接图像进行图像校准处理，得到地理配准结果。
8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-6任意一项所述的地理配准方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，计算机程序被执行时实现权利要求1-6任意一项所述的地理配准方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310636356.3A CN116363185B (zh) | 2023-06-01 | 2023-06-01 | 地理配准方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310636356.3A CN116363185B (zh) | 2023-06-01 | 2023-06-01 | 地理配准方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363185A CN116363185A (zh) | 2023-06-30 |
| CN116363185B true CN116363185B (zh) | 2023-08-01 |
Family
ID=86924060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310636356.3A Active CN116363185B (zh) | 2023-06-01 | 2023-06-01 | 地理配准方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363185B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765298A (zh) * | 2018-06-15 | 2018-11-06 | 中国科学院遥感与数字地球研究所 | 基于三维重建的无人机图像拼接方法和系统 |
| CN110310248A (zh) * | 2019-08-27 | 2019-10-08 | 成都数之联科技有限公司 | 一种无人机遥感影像实时拼接方法及系统 |
| CN110717861A (zh) * | 2019-12-12 | 2020-01-21 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
| WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
| CN116086411A (zh) * | 2022-09-08 | 2023-05-09 | 北京四维远见信息技术有限公司 | 数字地形图生成方法、装置、设备和可读存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103383773B (zh) * | 2013-03-26 | 2016-09-28 | 中国科学院遥感与数字地球研究所 | 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法 |
| CN103822615B (zh) * | 2014-02-25 | 2016-01-20 | 北京航空航天大学 | 一种多控制点自动提取与聚合的无人机地面目标实时定位方法 |
| US10614305B2 (en) * | 2018-01-04 | 2020-04-07 | Sentera, Inc. | Ground control point extraction from planting data |
| US20190287298A1 (en) * | 2018-03-14 | 2019-09-19 | Earth Science Associates, Inc. | System and methods for representing seismic cross-sectional and analogous data in a three-dimensional geographic information system |
| CN109325913B (zh) * | 2018-09-05 | 2022-12-16 | 北京悦图遥感科技发展有限公司 | 无人机图像拼接方法及装置 |
| CN109801217B (zh) * | 2018-12-29 | 2023-08-01 | 东南大学 | 一种基于gps地面控制点的全自动正射影像拼接方法 |
| CN110648283B (zh) * | 2019-11-27 | 2020-03-20 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
| CN112381941B (zh) * | 2021-01-15 | 2021-03-26 | 武汉鸿宇飞规划设计技术有限公司 | 一种航飞影像坐标纠正的方法 |
| CN113222820A (zh) * | 2021-05-20 | 2021-08-06 | 北京航空航天大学 | 一种位姿信息辅助的航空遥感图像拼接方法 |
| CN115731100A (zh) * | 2021-08-30 | 2023-03-03 | 成都纵横自动化技术股份有限公司 | 一种基于多无人机的图像拼接方法及其系统 |
| CN114742866A (zh) * | 2022-03-09 | 2022-07-12 | 影石创新科技股份有限公司 | 图像配准方法、装置、存储介质及电子设备 |
-
2023
- 2023-06-01 CN CN202310636356.3A patent/CN116363185B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765298A (zh) * | 2018-06-15 | 2018-11-06 | 中国科学院遥感与数字地球研究所 | 基于三维重建的无人机图像拼接方法和系统 |
| CN110310248A (zh) * | 2019-08-27 | 2019-10-08 | 成都数之联科技有限公司 | 一种无人机遥感影像实时拼接方法及系统 |
| CN110717861A (zh) * | 2019-12-12 | 2020-01-21 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
| WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
| CN116086411A (zh) * | 2022-09-08 | 2023-05-09 | 北京四维远见信息技术有限公司 | 数字地形图生成方法、装置、设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363185A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393173B2 (en) | Mobile augmented reality system | |
| US10360247B2 (en) | System and method for telecom inventory management | |
| CN110648283B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| US10681269B2 (en) | Computer-readable recording medium, information processing method, and information processing apparatus | |
| US8872851B2 (en) | Augmenting image data based on related 3D point cloud data | |
| US20180189577A1 (en) | Systems and methods for lane-marker detection | |
| CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| JP6334927B2 (ja) | 付加情報表示装置および付加情報表示プログラム | |
| US10872246B2 (en) | Vehicle lane detection system | |
| CN113192182A (zh) | 一种基于多传感器的实景重建方法及系统 | |
| US20180114291A1 (en) | Image processing method and device as well as non-transitory computer-readable medium | |
| JP4521568B2 (ja) | 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
| CN109829401A (zh) | 基于双拍摄设备的交通标志识别方法及装置 | |
| CN113034347A (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| JP3863014B2 (ja) | 物体検出装置及びその方法 | |
| JP2014092922A (ja) | 検出装置、検出方法及び検出プログラム | |
| CN116363185B (zh) | 地理配准方法、装置、电子设备和可读存储介质 | |
| CN110796706A (zh) | 视觉定位方法及系统 | |
| Porzi et al. | An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone | |
| US11580661B2 (en) | Device, method and system for estimating elevation in images from camera devices | |
| US20240104880A1 (en) | Information processing apparatus and method | |
| Chang et al. | An Automatic Indoor Positioning Robot System Using Panorama Feature Matching. | |
| CN115861316A (zh) | 行人检测模型的训练方法及其装置、行人检测方法 | |
| US20200294315A1 (en) | Method and system for node vectorisation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 7 / F, area a, building 6, No. 200, Tianfu 5th Street, high tech Zone, Chengdu, Sichuan 610000 Patentee after: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 801-805, 8th floor, Building A, No. 200, Tianfu Wujie, Chengdu High-tech Zone, Sichuan Province, 610000 Patentee before: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Country or region before: China |