CN114187415A - 地形图生成方法及装置 - Google Patents

地形图生成方法及装置 Download PDF

Info

Publication number
CN114187415A
CN114187415A CN202111425520.3A CN202111425520A CN114187415A CN 114187415 A CN114187415 A CN 114187415A CN 202111425520 A CN202111425520 A CN 202111425520A CN 114187415 A CN114187415 A CN 114187415A
Authority
CN
China
Prior art keywords
map
dem
determining
image
central
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111425520.3A
Other languages
English (en)
Inventor
李立春
苗毅
冯晓萌
程肖
李贵良
于春红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Control Center
Original Assignee
Beijing Aerospace Control Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Control Center filed Critical Beijing Aerospace Control Center
Priority to CN202111425520.3A priority Critical patent/CN114187415A/zh
Publication of CN114187415A publication Critical patent/CN114187415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

本申请提供了一种地形图生成方法及装置,其中,该方法包括:获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;根据所述相对位置和待处理地形图组,得到全局地形图。本申请能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性。

Description

地形图生成方法及装置
技术领域
本申请涉及航天测控技术领域,尤其涉及一种地形图生成方法及装置。
背景技术
在执行天体巡视、未知区域探测等无人车探测任务中,采用“停止移动——定点感知成像——停止成像感知——基于成像进行地形重建与定位制图——基于制图结果规划路线——开始移动”这一流程循环往复实施移动探测。
在这类无人车移动探测过程中,利用站点成像进行地形重建及地形图制作是巡视中的关键处理环节。由于没有移动过程中的成像,通常的方法是对独立的探测站点图像进行地形构建,对站点之间无人车相对位置进行定位,两个过程各自独立完成,之后联合两者的结果完成全局规划结果,进行地形图生成。
现有的方法中,地形重建只对探测站点图像数据进行重建,而站点之间位置计算直接以两个站点的图像进行配准,由于站点之间的图像分辨率差别很大,自动化匹配的成功率较低,导致相对位置计算的自动化程度不高,从而使得最终的全局地形图生产较慢。
发明内容
针对现有技术中的问题,本申请提出了一种地形图生成方法及装置,能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性。
为了解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种地形图生成方法,包括:
获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;
对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;
根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;
根据所述相对位置和待处理地形图组,得到全局地形图。
进一步地,所述对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域,包括:
根据所述第二正射影像图,确定中心点分别与各个非中心像素点之间的连线;所述中心点为所述第二站点的立体图像序列的拍摄位置在所述第二正射影像图中对应的像素点;所述非中心像素点为所述第二正射影像图中所述中心点之外的像素点;
根据每个非中心像素点对应的连线,确定以该非中心像素点为中心,沿所述非中心像素点的连线方向上的预设个数的像素点的第一像素亮度标准差,以及沿所述非中心像素点的连线垂直方向上的预设个数的像素点的第二像素亮度标准差;
判断所述第二正射影像图中是否存在对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的非中心像素点,若是,则确定所述非中心像素点为候选辅助特征;
判断所述第二正射影像图中是否存在多个邻接的候选辅助特征,若是,则根据所述邻接的候选辅助特征组成所述辅助特征目标区域。
进一步地,所述根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置,包括:
根据所述辅助特征目标区域、第一DEM图和第二DEM图执行特征地形匹配定位,确定所述第一DEM图和第二DEM图中的同名配准点以及该同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息;
根据相机成像投影关系和所述三维坐标信息,确定同名配准点初始对应关系;
根据仿射变换最小二乘模型和所述同名配准点初始对应关系,得到同名配准点精准对应关系;
根据所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系、同名配准点精准对应关系和最优化方法,得到所述相对位置。
进一步地,所述根据所述辅助特征目标区域、第一DEM图和第二DEM图执行特征地形匹配定位,确定所述第一DEM图和第二DEM图中的同名配准点以及该同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息,包括:
若所述辅助特征目标区域的个数为多个,则获取各个辅助特征目标区域的半径值中的最大半径值和各个辅助特征目标区域的第一中心位置,并将所有第一中心位置构成外接矩形作为初始矩形;
将所述初始矩形的左上点的坐标值沿两个坐标方向均减小最大半径值,将所述初始矩形的右下点的坐标值沿两个坐标方向均增加最大半径值,得到目标矩形,确定该目标矩形在所述第二DEM图中对应的区域为匹配区域,并确定该匹配区域的第二中心位置;
根据地形匹配方法,确定所述第二中心位置在所述第一DEM图中对应的匹配区域位置;
根据所述匹配区域位置,确定每个第一中心位置在所述第一DEM图中对应的匹配位置,以及每个第一中心位置与其匹配位置各自的三维坐标信息;其中,所述第一中心位置及其对应的所述第一DEM图中对应的位置为所述同名配准点,所述第一中心位置的三维坐标信息为所述该同名配准点在第二站点坐标系下的三维坐标信息,所述匹配位置的三维坐标信息为所述该同名配准点在第一站点坐标系下的三维坐标信息。
进一步地,所述根据所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系、同名配准点精准对应关系和最优化方法,得到所述相对位置,包括:
基于所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系和所述同名配准点精准对应关系,构建目标函数;
对所述目标函数进行最优化处理,确定所述目标函数值最小时所述第一站点与第二站点之间的相对位置。
进一步地,所述根据所述相对位置和待处理地形图组,得到全局地形图,包括:
根据所述相对位置、所述第二正射影像图和第二DEM图中的像素点的三维坐标信息,确定所述第二正射影像图和第二DEM图中的像素点对应的校正后的三维坐标信息;
根据所述第二正射影像图和第二DEM图中的像素点对应的校正前后的三维坐标信息,确定该像素点校正后的纹理灰度值和高程值;
根据所述第一DEM图中的像素点的三维坐标信息和高程值,以及所述第二DEM图中的像素点对应的校正后的三维坐标信息和高程值,得到全局DEM图;
根据所述第一正射影像图中的像素点的坐标信息和纹理灰度值,以及所述第二正射影像图中像素点对应的校正后的坐标信息和纹理灰度值,得到全局正射影像图;
其中,所述全局地形图包括:全局DEM图和全局正射影像图。
第二方面,本申请提供一种地形图生成装置,包括:
获取模块,用于获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;
区域确定模块,用于对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;
相对位置确定模块,用于根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;
得到模块,用于根据所述相对位置和待处理地形图组,得到全局地形图。
进一步地,所述区域确定模块,包括:
连线确定单元,用于根据所述第二正射影像图,确定中心点分别与各个非中心像素点之间的连线;所述中心点为所述第二站点的立体图像序列的拍摄位置在所述第二正射影像图中对应的像素点;所述非中心像素点为所述第二正射影像图中所述中心点之外的像素点;
标准差确定单元,用于根据每个非中心像素点对应的连线,确定以该非中心像素点为中心,沿所述非中心像素点的连线方向上的预设个数的像素点的第一像素亮度标准差,以及沿所述非中心像素点的连线垂直方向上的预设个数的像素点的第二像素亮度标准差;
第一判断单元,用于判断所述第二正射影像图中是否存在对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的非中心像素点,若是,则确定所述非中心像素点为候选辅助特征;
第二判断单元,用于判断所述第二正射影像图中是否存在多个邻接的候选辅助特征,若是,则根据所述邻接的候选辅助特征组成所述辅助特征目标区域。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的地形图生成方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现所述的地形图生成方法。
由上述技术方案可知,本申请提供一种地形图生成方法及装置。其中,该方法包括:获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;根据所述相对位置和待处理地形图组,得到全局地形图,能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性;具体地,可以利用相邻站点间重建的三维地形数据进行辅助定位特征提取和匹配以及逆向投影,能够为相邻站点间图像匹配提供准确的匹配初始值,能够显著提高图像自动匹配的可靠性,融合了地形构建与定位计算两个过程,能够减少全局地形图构建过程中的人工干预,能够提高形图构建的自动化程度和准确性,可以提升基于无人车的全局地形图构建的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中的地形图生成方法的流程示意图;
图2是本申请实施例中的探测车两个站点成像进行地形重建工作示意图;
图3是本申请实施例中的地形图生成方法的步骤210至步骤240的流程示意图;
图4是本申请实施例中的第二正射影像图、成像光线、局部区域以及连线与图像坐标轴夹角之间的逻辑示意图;
图5是本申请实施例中的地形图生成方法的步骤310至步骤340的流程示意图;
图6是本申请实施例中的初始矩形和目标矩形之间的比较示意图;
图7是本申请实施例中的地形图生成方法的步骤410至步骤440的流程示意图;
图8是本申请应用实例中的地形图生成方法的流程示意图;
图9是本申请实施例中的地形图生成装置的结构示意图;
图10是本申请另一实施例中的地形图生成装置的结构示意图;
图11为本申请实施例的电子设备的系统构成示意框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在现有技术中,通常应用独立环节计算法分别独立实施地形重建与站点间相对位置定位;移动过程中,在每个站点进行地形重建过程,输入为该站点采集的环境图像,处理过程主要步骤包括立体图像匹配、空间点云计算、插值处理等过程获取站点三维地形。站点之间相对位置定位目的是计算移动过程中探测站点之间的相对位置。站点之间的相对位置计算方法为,利用连续两个探测站点位置的成像作为输入,通过站点成像之间的图像配准结果,根据光直线传播小孔成像的原理构建光束法平差方程,经过优化解算获取连续两个站点之间的相对位置。经过连续站点之间图像进行站点相对位置定位后,将上述连续站点之间的三维地形重建结果转换到统一的坐标系统下,制作全局地形图,作为无人车移动路径规划的输入。
针对无人车探测任务中,连续站点之间直接二维图像匹配定位自动化可靠性低的不足,本申请考虑正射影像图DOM定位辅助特征检测方法、定位辅助特征的地形匹配定位方法和逆向投影引导的图像同名特征点配准方法等,提出一种地形图生成方法及装置,利用初始地形图中的正射影像图DOM进行特征目标检测和地形匹配定位,基于地形匹配定位进行反向投影,为连续站点图像的匹配提供准确有效的初始引导值,实现可靠自动化的站点间图像匹配,进而实现站点之间位置解算,再引入地形重建结果,实现融合的快速自动化地形图构建;即可以根据待定位的两个站点的数据产品进行计算,即根据第一站点S1与第二站点S2两个站点各自的序列立体图像及其地形产品,计算两个站点的相对位置,并根据计算结果生成两站融合的地形图。
基于此,为了提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性,本申请实施例提供一种地形图生成装置,该装置可以是一服务器或客户端设备,所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备和智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表和智能手环等。
在实际应用中,进行地形图生成的部分可以在如上述内容所述的服务器侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
需要说明的是,本申请公开的地形图生成方法及装置可用于航天测控技术领域,也可用于信息技术领域和自动控制技术领域,本申请公开的地形图生成方法及装置的应用领域不做限定。
具体通过下述各个实施例进行说明。
为了提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性,本实施例提供一种执行主体是地形图生成装置的地形图生成方法,该地形图生成装置包括但不限于服务器,如图1所示,该方法具体包含有如下内容:
步骤100:获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图。
具体地,所述第一正射影像图和第一DEM图为所述第一站点对应的正射影像图和DEM图;第二正射影像图和第二DEM图为所述第二站点对应的正射影像图和DEM图;如图2所示,单个站点上的探测车1上安装有双目相机2,单个站点地形重建过程可以包括:在单个站点上的探测车1安装的双目相机2对视野成像,获得左右目图像,单个站点可以是站点S1或站点S2;在第一站点S1成像获取立体图像序列IS1 1~IS1 n,根据立体图像序列生成DEM、DOM地形图MS1,巡视移动后探测车到达站点S2,在该站点获取立体图像序列IS2 1~IS2 n,生成DEM、DOM地形图MS2;即可以基于左右目立体图进行图像匹配,空间前方交会,再经过规则格网插值,获得在当前站点坐标系下的地形图(包括:正射影像图和DEM图)。
具体地,基于站点S1上立体图像序列获得站点S1坐标系下的地形图MS1,在与站点S1相邻的站点S2上,获得站点S2坐标系下的地形图MS2(包括:正射影像图和DEM图)。单个站点的地形数据采用如下所述方法获得:
1)左右目图像匹配,由于是立体像对,可以采用经典的小二乘相关法匹配,获得pl(x,y)与pr(x,y)对应关系;
2)根据相机的安装参数R、T、相机的f、x0和y0等内参数以及共线方程,进行左右目前方交会获得空间点云;
3)在空间点云的基础上,采用克里格方法进行插值,获得S1坐标系下的地形图;S2坐标系下的地形图获得方法同理;所述第一站点可以是站点S1,所述第二站点可以是站点S2。
步骤200:对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域。
具体地,可以利用两个站点DOM地形产品数据,根据定位辅助特征检测方法,在第二站点的DOM图上通过两个方向上的局部区域内标准差判别,检测定位辅助点,再经过连贯区域合并,获得辅助特征目标区域,可用于连续站点间图像匹配定位的辅助特征。
步骤300:根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置。
步骤400:根据所述相对位置和待处理地形图组,得到全局地形图。
具体地,所述全局地形图可以包含有:全局正射影像图和/或全局DEM图。
为了进一步提高确定辅助特征目标区域的准确性,参见图3,在本申请一个实施例中,步骤200包括:
步骤210:根据所述第二正射影像图,确定中心点分别与各个非中心像素点之间的连线;所述中心点为所述第二站点的立体图像序列的拍摄位置在所述第二正射影像图中对应的像素点;所述非中心像素点为所述第二正射影像图中所述中心点之外的像素点。
具体地,所述第二正射影像图的像素点可以分为:中心点和非中心像素点。
步骤220:根据每个非中心像素点对应的连线,确定以该非中心像素点为中心,沿所述非中心像素点的连线方向上的预设个数的像素点的第一像素亮度标准差,以及沿所述非中心像素点的连线垂直方向上的预设个数的像素点的第二像素亮度标准差。
具体地,所述预设个数可以根据实际情况进行设置,本申请对此不作限制;例如,预设个数为5;所述第一像素亮度标准差为沿该像素点的连线方向上的预设个数的像素点的像素亮度标准差,所述第二像素亮度标准差为沿该像素点的连线垂直方向上的预设个数的像素点的像素亮度标准差。
步骤230:判断所述第二正射影像图中是否存在对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的非中心像素点,若是,则确定所述非中心像素点为候选辅助特征。
具体地,所述第一标准差阈值和第二标准差阈值可以相同,也可以不同;可以将第二正射影像图中对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的像素点确定为候选辅助特征。
步骤240:判断所述第二正射影像图中是否存在多个邻接的候选辅助特征,若是,则根据所述邻接的候选辅助特征组成所述辅助特征目标区域。
具体地,可以利用两个站点DEM地形产品数据以及DOM定位辅助特征检测结果,将DOM的定位辅助特征形成外接矩形并扩充,把扩充区域映射到DEM图中作为两站点地形匹配的模板。利用地形匹配方法,实现两站点地形的相对位置计算。
具体地,输入数据为第二站点S2的正射影像图DOM,在正射影像图上检测可用于定位的辅助定位特征;对所述第二正射影像图进行定位辅助特征检测的过程可以如下所示:
根据中心点与第二正射影像图中的一非中心像素点的连线,构成该非中心像素点的成像光线,成像光线与图像坐标轴v坐标方向的夹角为θ,根据该射线θ方向上区域的像素亮度一致性来判断是否该非中心像素点为候选辅助特征,如果该非中心像素点的成像光线方向上的局部区域内亮度一致且在垂直方向上的局部区域内的亮度不一致,则判定该非中心像素点为候选辅助特征。扫描整个第二正射影像图,判断每一个非中心像素点是否为候选辅助特征,将第二正射影像图内的多个邻接的候选辅助特征合并,得到最终的辅助特征目标区域。
如图4所示,具体方法为,对于第二正射影像图上的非中心像素点pi(u,v),以中心点c0向该非中心像素点连线,连线与图像坐标轴v坐标方向的夹角为θ,在该非中心像素点的邻近区域,统计在θ方向上长度为dθ(取值5像素)的局部区域A1的像素亮度标准差,和垂直θ方向上长度为dθ(取值5像素)的局部区域A2的像素亮度标准差,其中,在θ方向上长度为dθ(取值5像素)的局部区域A1可以相当于以非中心像素点pi(u,v)为中心,在θ方向上的5个像素;垂直θ方向上长度为dθ(取值5像素)的局部区域A2可以相当于以非中心像素点pi(u,v)为中心,垂直θ方向上的5个像素点;如果在θ方向上的局部区域的像素亮度标准差Dp1小于阈值DH(取25),并且垂直θ方向上该区域的标准差Dp2大于阈值DV(取25),则判定像素点pi(u,v)为辅助特征Ci′,将所有与点pi(u,v)联通且满足上述条件的像素点合并为一个辅助特征目标区域,记为Ci;经过整个图像处理,将第二正射影像图上所有的辅助特征目标区域集合记为
Figure BDA0003378241370000101
为了进一步提高得到同名配准点精准对应关系的精准性,进而提高获得相对位置的可靠性,参见图5,在本申请一个实施例中,步骤300包括:
步骤310:根据所述辅助特征目标区域、第一DEM图和第二DEM图执行特征地形匹配定位,确定同名配准点以及该同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息。
步骤320:根据相机成像投影关系和所述三维坐标信息,确定同名配准点初始对应关系。
具体地,可以将所述三维坐标信息和第一站左目相机的成像投影矩阵代入相机成像投影关系,得到所述同名配准点在第一站点的立体图像(立体图像序列中的图像)上的初始配准点;可以将所述三维坐标信息和第二站左目相机的成像投影矩阵代入相机成像投影关系,得到所述同名配准点在第二站点的立体图像上的初始配准点;根据第一站点和第二站点各自对应的初始配准点,确定所述同名配准点初始对应关系。
步骤330:根据仿射变换最小二乘模型和所述同名配准点初始对应关系,得到同名配准点精准对应关系。
具体地,根据同名配准点初始对应关系,应用仿射变换最小二乘模型进行迭代求解,确定在第一站点和第二站点的立体图像对应的同名配准点精确对应关系。
其中,可以根据DEM地形匹配结果给出的两站间相对位置,利用空间点投影成像关系,计算同一个空间点在两站立体图像上的像点,这样得到同一个空间点在两个站点相机成像的像点作为图像配准的初始配准点,以此初始配准点作为初值,在两站立体图像上,基于仿射变化模型的最小二乘匹配方法,计算得到两站图像的精确同名配准点。
步骤340:根据所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系、同名配准点精准对应关系和最优化方法,得到所述相对位置。
具体地,步骤310中进行特征地形匹配定位的过程可以包含有:
1)匹配区域确定:第二正射影像图上的所有的辅助特征目标区域集合为:
Figure BDA0003378241370000111
上标表示为站点序号,此处为2,下标表示第几个辅助特征目标区域。计算
Figure BDA0003378241370000112
各自的半径,每个辅助特征目标区域的中心位置用
Figure BDA0003378241370000113
表示,区域半径根据区域面积以公式
Figure BDA0003378241370000114
得到,其中Sn为区域面积。记其中的最大半径值为RMax,以
Figure BDA0003378241370000115
所有中心位置的外接矩形为初始矩形,外接矩形u、v坐标方向最大值分别为
Figure BDA0003378241370000116
最小值分别为
Figure BDA0003378241370000117
如图6所示,该矩形的左上点(umin,vmin)沿u、v两个坐标方向各减小RMax,得到(uminnew,vminnew);右下点(umax,vmax)沿u、v两个坐标方向各增加RMax,得到(umaxnew,vmaxnew),确定新的矩形为目标矩形,新矩形在坐标u、v方向最大值分别为umaxnew=umax+Rmax,vmaxnew=vmax+Rmax,最小值分别为uminnew=umin-Rmax,vminnew=vmin-Rmax,将目标矩形在第二DEM图上对应的区域确定为匹配区域T2,匹配区域T2的中心位置为PT2,其坐标为PT2(uT2,vT2),
Figure BDA0003378241370000118
2)区域匹配定位计算:以T2为模板,以第一站点重建DEM地形图(即上述第一DEM图)M0为基准图,通过地形匹配获取T2的中心位置PT2在第一站地形图M0上的匹配区域位置PT1。地形匹配方法为经典的归一化互相关(COR)方法,在基准图初始位置附近各点计算与实时图的相关系数,并将相关系数做二次拟合,取极值点位置作为定位结果。根据
Figure BDA0003378241370000121
相对T2模板上点PT2的位置关系,以及M0上的匹配点PT1(uT1,vT1),计算得到M0上的位置点
Figure BDA0003378241370000122
即地形图M0上,点
Figure BDA0003378241370000123
坐标为
Figure BDA0003378241370000124
其中,点
Figure BDA0003378241370000125
Figure BDA0003378241370000126
构成同名配准点,根据第一站和第二站DEM地形数据,通过访问标准格网DEM图,读取匹配点位置对应的X、Y、Z物理值即可查询得到同名配准点在第一、第二站点坐标系下的三维坐标信息,分别记为
Figure BDA0003378241370000127
Figure BDA0003378241370000128
步骤320中确定同名配准点初始对应关系的过程可以具体包括:
联合DEM、DOM局部站点逆向投影:根据对应配准点
Figure BDA0003378241370000129
Figure BDA00033782413700001210
利用同名配准点
Figure BDA00033782413700001211
Figure BDA00033782413700001212
在第一站点和第二站点坐标系下的三维坐标信息,通过相机的成像投影关系
Figure BDA00033782413700001213
获得到同名配准点在第一站点的立体图像序列中的图像IS1 i和第二站点的立体图像序列中的图像IS2 i上的同名配准点初始对应关系
Figure BDA00033782413700001214
具体地,计算方法为
Figure BDA00033782413700001215
其中
Figure BDA00033782413700001216
分别为第一站和第二站左目相机的成像投影矩阵,可根据相应站点上相机的内外参数获得。
步骤330中得到同名配准点精准对应关系的过程可以具体包括:
根据IS1 i和IS2 i上的同名配准点初始对应关系
Figure BDA00033782413700001217
利用仿射变换最小二乘模型,进行迭代求解,确定IS1 i和IS2 i上的同名配准点精确对应关系
Figure BDA00033782413700001218
为了进一步提高确定同名配准点以及同名配准点在第一站点坐标系下的三维坐标信息的自动化程度和准确性,在本申请一个实施例中,步骤310包括:
步骤311:若所述辅助特征目标区域的个数为多个,则获取各个辅助特征目标区域的半径值中的最大半径值和各个辅助特征目标区域的第一中心位置,并将所有第一中心位置构成外接矩形作为初始矩形。
具体地,将每个辅助特征目标区域的中心位置作为该辅助特征目标区域的第一中心位置。
步骤312:将所述初始矩形的左上点的坐标值沿两个坐标方向均减小最大半径值,将所述初始矩形的右下点的坐标值沿两个坐标方向均增加最大半径值,得到目标矩形并确定该目标矩形在所述第二DEM图中对应的匹配区域以及该匹配区域的第二中心位置。
具体地,所述第二中心位置为匹配区域T2的中心位置PT2
步骤313:根据地形匹配方法,确定所述第二中心位置在所述第一DEM图中对应的匹配区域位置;
具体地,所述地形匹配方法可以是经典的归一化互相关(COR)方法;所述匹配区域位置PT1为所述第二中心位置在所述第一DEM图中对应的位置。
步骤314:根据所述匹配区域位置,确定每个第一中心位置在所述第一DEM图中对应的匹配位置,以及每个第一中心位置与其匹配位置各自的三维坐标信息;其中,所述第一中心位置及其对应的所述第一DEM图中对应的位置为所述同名配准点,所述第一中心位置的三维坐标信息为所述该同名配准点在第二站点坐标系下的三维坐标信息,所述匹配位置的三维坐标信息为所述该同名配准点在第一站点坐标系下的三维坐标信息。
具体地,所述匹配位置为所述第一中心位置在所述第一DEM图中对应的位置。
为了获得可靠的相对位置,进而应用可靠的相对位置提高全局地形图生成的准确性,在本申请一个实施例中,步骤340包括:
步骤341:基于所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系和所述同名配准点精准对应关系,构建目标函数。
步骤342:对所述目标函数进行最优化处理,确定所述目标函数值最小时所述第一站点与第二站点之间的相对位置。
具体地,所述第一站点与第二站点之间的相对位置可以为第二站点坐标系的原点在第一站坐标系中的位置T。
其中,可以重投影最优化两站精确定位:设第二站点的坐标原点在第一站坐标系中的位置为T,两站同名精确匹配像点为
Figure BDA0003378241370000141
Figure BDA0003378241370000142
在优化迭代求解过程中,第一站和第二站图像(第一站点和第二站点的立体图像序列中的图像)上分别向上述同名精确匹配像点
Figure BDA0003378241370000143
Figure BDA0003378241370000144
迭代趋近的点为p″i 1(u″i 1,v″i 1)和p″i 2(u″i 2,v″i 2),像点p″i 1(u″i 1,v″i 1)和p″i 2(u″i 2,v″i 2)对应的空间点在第一站点坐标系中为
Figure BDA0003378241370000145
在第二站点坐标系中为
Figure BDA0003378241370000146
两者满足下式(1)描述的关系,其中
Figure BDA0003378241370000147
R为已知量,可以根据两站之间相机的姿态测量设备计算得到。两站间的精确定位过程就是求解T值的过程。
Figure BDA0003378241370000148
根据小孔成像原理,空间物点与图像点的对应成像关系为
Figure BDA0003378241370000149
MP为成像投影矩阵,根据相机的内外参数可获得,第一站和第二站左目相机的成像投影矩阵分别为
Figure BDA00033782413700001410
因此,对于第一站点,根据式(2)可由空间点
Figure BDA00033782413700001411
计算图像点p″i 1(u″i 1,v″i 1):
Figure BDA00033782413700001412
计算像点与实际像点误差为式(3):
Figure BDA00033782413700001413
同样对于第二站图像(第二站点的立体图像序列中的图像)上点p″i 2(u″i 2,v″i 2)与该空间点
Figure BDA0003378241370000151
的对应关系,通过(1)和(4)式,可以得到式(5):
Figure BDA0003378241370000152
Figure BDA0003378241370000153
计算像点与实际像点误差为式(6):
Figure BDA0003378241370000154
P1,P2在两站图像上的重投影误差最小化点,即上述目标函数如下:
Figure BDA0003378241370000155
将两站点的N个同名配准点作为输入,以各点的空间坐标(xi,yi,zi)以及两站点之间的相对位置T为自变量,以δ为优化目标,通过最优化方法求解两站的相对位置T。
为了进一步提高获得全局地形图的准确性和效率,如图7所示,在本申请一个实施例中,步骤400包括:
步骤410:根据所述相对位置、所述第二正射影像图和第二DEM图中的像素点的三维坐标信息,确定所述第二正射影像图和第二DEM图中的像素点对应的校正后的三维坐标信息;
步骤420:根据所述第二正射影像图和第二DEM图中的像素点对应的校正前后的三维坐标信息,确定该像素点校正后的纹理灰度值和高程值;
具体地,根据所述第二正射影像图中的像素点对应的校正前后的三维坐标信息,确定该像素点校正后的纹理灰度值;根据所述第二DEM图中的像素点对应的校正前后的三维坐标信息,确定该像素点校正后的高程值。
步骤430:根据所述第一DEM图中的像素点的三维坐标信息和高程值,以及所述第二DEM图中的像素点对应的校正后的三维坐标信息和高程值,得到全局DEM图;
步骤440:根据所述第一正射影像图中的像素点的坐标信息和纹理灰度值,以及所述第二正射影像图中像素点对应的校正后的坐标信息和纹理灰度值,得到全局正射影像图;所述全局地形图包括:所述全局DEM图和全局正射影像图。
具体地,根据相对位置T,对第二DEM图和DOM图进行调整,校正图可以是调整后的DEM图或者DOM图。第二DEM图中的像素点对应的原三维坐标信息为:(x2,y2,z2),该像素点校正后对应的三维坐标信息为:(x1,y1,z1);(x2,y2,z2)和(x1,y1,z1)的关系如下式(8)所示。
Figure BDA0003378241370000161
可以根据(x1,y1,z1)和T确定(x2,y2,z2);对于DEM图来说,校正图位置(x1,y1)的高程值获取关系为v′2(x1,y1)=v2(x2,y2)+zT,此处v′2(x1,y1),v2(x2,y2)分别表示相应位置的高程值;对DOM图,校正图位置(x1,y1)的灰度值获取关系为v′2(x1,y1)=v2(x2,y2),此处v′2(x1,y1),v2(x2,y2)分别表示相应位置的灰度值。
融合地形图即上述全局地形图的范围为第一站点地形图M1和第二站校正地形图M′2的并集。将调整后的图像对应的两站点数据进行融合,融合方法为下式(9),其中v(x,y)为融合地形图的点P(x,y)处的DEM高程值或DOM的纹理灰度值,v1(x,y)为点P(x,y)在第一站点DEM高程值或DOM的纹理灰度值,v2(x,y)为点P(x,y)在第二站校正地形图的DEM高程值或DOM的纹理灰度值,M′2表示第二站点校正后的DEM或DOM图。根据融合地形图的点P(x,y)处的DEM高程值或DOM的纹理灰度值,确定融合地形图。
Figure BDA0003378241370000162
为了进一步说明本方案,本申请提供一种地形图生成方法的应用实例,如图8所示,具体描述如下:
获取两站点坐标系下的地形DEM/DOM图;判断第二站点的DOM图中是否存在辅助特征,即正射影像图定位辅助特征检测;若存在,则执行DEM特征匹配定位,DEM特征匹配定位包括:匹配区域确定和区域匹配定位计算,若不存在则执行DOM最小二乘匹配;逆向投影获取同名配准点初始对应关系即联合DEM、DOM局部站点逆向投影;最小二乘精确配准;基于重投影计算两站点的相对位置;生成全局地形图。
从软件层面来说,为了提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性,本申请提供一种用于实现所述地形图生成方法中全部或部分内容的地形图生成装置的实施例,参见图9,所述地形图生成装置具体包含有如下内容:
获取模块10,用于获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;
区域确定模块20,用于对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;
相对位置确定模块30,用于根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;
得到模块40,用于根据所述相对位置和待处理地形图组,得到全局地形图。
在本申请一个实施例中,参见图10,所述区域确定模块20,包括:
连线确定单元21,用于根据所述第二正射影像图,确定所述第二站点的中心点以及该中心点分别与所述第二正射影像图中的各个像素点之间的连线;
标准差确定单元22,用于根据每个非中心像素点对应的连线,确定以该非中心像素点为中心,沿所述非中心像素点的连线方向上的预设个数的像素点的第一像素亮度标准差,以及沿所述非中心像素点的连线垂直方向上的预设个数的像素点的第二像素亮度标准差;
第一判断单元23,用于判断所述第二正射影像图中是否存在对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的非中心像素点,若是,则确定所述非中心像素点为候选辅助特征;
第二判断单元24,用于判断所述第二正射影像图中是否存在多个邻接的候选辅助特征,若是,则根据所述邻接的候选辅助特征组成所述辅助特征目标区域。
在本申请一个实施例中,相对位置确定模块包括:
同名配准点确定单元,用于根据所述辅助特征目标区域、第一DEM图和第二DEM图执行特征地形匹配定位,确定所述第一DEM图和第二DEM图中的同名配准点以及该同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息;
初始关系确定单元,用于根据相机成像投影关系和所述三维坐标信息,确定同名配准点初始对应关系;
精准关系确定单元,用于根据仿射变换最小二乘模型和所述同名配准点初始对应关系,得到同名配准点精准对应关系;
相对位置确定单元,用于根据所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系、同名配准点精准对应关系和最优化方法,得到所述相对位置。
在本申请一个实施例中,所述同名配准点确定单元包括:
初始矩形确定子单元,用于若所述辅助特征目标区域的个数为多个,则获取各个辅助特征目标区域的半径值中的最大半径值和各个辅助特征目标区域的第一中心位置,并将所有第一中心位置构成外接矩形作为初始矩形;
目标矩形确定子单元,用于将所述初始矩形的左上点的坐标值沿两个坐标方向均减小最大半径值,将所述初始矩形的右下点的坐标值沿两个坐标方向均增加最大半径值,得到目标矩形,确定该目标矩形在所述第二DEM图中对应的区域为匹配区域,并确定该匹配区域的中心为第二中心位置;
地形匹配子单元,用于根据地形匹配方法,确定所述第二中心位置在所述第一DEM图中对应的匹配区域位置;
同名配准点确定子单元,用于根据所述匹配区域位置,确定每个第一中心位置在所述第一DEM图中对应的匹配位置,以及每个第一中心位置与其匹配位置各自的三维坐标信息;其中,所述第一中心位置及其对应的所述第一DEM图中对应的位置为所述同名配准点,所述第一中心位置的三维坐标信息为所述该同名配准点在第二站点坐标系下的三维坐标信息,所述匹配位置的三维坐标信息为所述该同名配准点在第一站点坐标系下的三维坐标信息。
在本申请一个实施例中,所述相对位置确定单元包括:
构建子单元,用于基于所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系和所述同名配准点精准对应关系,构建目标函数;
相对位置确定子单元,用于对所述目标函数进行最优化处理,确定所述目标函数值最小时所述第一站点与第二站点之间的相对位置。
在本申请一个实施例中,所述得到模块包括:
校正单元,用于根据所述相对位置、所述第二正射影像图和第二DEM图中的像素点的三维坐标信息,确定所述第二正射影像图和第二DEM图中的像素点对应的校正后的三维坐标信息;
高程值确定单元,用于根据所述第二正射影像图和第二DEM图中的像素点对应的校正前后的三维坐标信息,确定该像素点校正后的纹理灰度值和高程值;
获得全局DEM图单元,用于根据所述第一DEM图中的像素点的三维坐标信息和高程值,以及所述第二DEM图中的像素点对应的校正后的三维坐标信息和高程值,得到全局DEM图;
获得全局正射影像图单元,用于根据所述第一正射影像图中的像素点的坐标信息和纹理灰度值,以及所述第二正射影像图中像素点对应的校正后的坐标信息和纹理灰度值,得到全局正射影像图;其中,所述全局地形图包括:全局DEM图和全局正射影像图。
本说明书提供的地形图生成装置的实施例具体可以用于执行上述地形图生成方法的实施例的处理流程,其功能在此不再赘述,可以参照上述地形图生成方法实施例的详细描述。
由上述描述可知,本申请提供的地形图生成方法及装置,能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性;具体地,可以利用相邻站点间重建的三维地形数据进行辅助定位特征提取和匹配以及逆向投影,能够为相邻站点间图像匹配提供准确的匹配初始值,能够显著提高图像自动匹配的可靠性,融合了地形构建与定位计算两个过程,能够减少全局地形图构建过程中的人工干预,能够提高形图构建的自动化程度和准确性,可以提升基于无人车的全局地形图构建的效率。
从硬件层面来说,为了提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性,本申请提供一种用于实现所述地形图生成方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容:
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现所述地形图生成装置以及用户终端等相关设备之间的信息传输;该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照实施例用于实现所述地形图生成方法的实施例及用于实现所述地形图生成装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图11是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
在本申请一个或多个实施例中,地形图生成功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
步骤100:获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图。
步骤200:对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域。
步骤300:根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置。
步骤400:根据所述相对位置和待处理地形图组,得到全局地形图。
从上述描述可知,本申请的实施例提供的电子设备,能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性。
在另一个实施方式中,地形图生成装置可以与中央处理器9100分开配置,例如可以将地形图生成装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现地形图生成功能。
如图11所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图11中所示的所有部件;此外,电子设备9600还可以包括图11中没有示出的部件,可以参考现有技术。
如图11所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
上述描述可知,本申请的实施例提供的电子设备,能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性。
本申请的实施例还提供能够实现上述实施例中的地形图生成方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的地形图生成方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图。
步骤200:对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域。
步骤300:根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置。
步骤400:根据所述相对位置和待处理地形图组,得到全局地形图。
从上述描述可知,本申请实施例提供的计算机可读存储介质,能够提高生成全局地形图的自动化程度和准确性,进而能够提高无人车探测任务的可靠性。
本申请中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种地形图生成方法,其特征在于,包括:
获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;
对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;
根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;
根据所述相对位置和待处理地形图组,得到全局地形图。
2.根据权利要求1所述的地形图生成方法,其特征在于,所述对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域,包括:
根据所述第二正射影像图,确定中心点分别与各个非中心像素点之间的连线;所述中心点为所述第二站点的立体图像序列的拍摄位置在所述第二正射影像图中对应的像素点;所述非中心像素点为所述第二正射影像图中所述中心点之外的像素点;
根据每个非中心像素点对应的连线,确定以该非中心像素点为中心,沿所述非中心像素点的连线方向上的预设个数的像素点的第一像素亮度标准差,以及沿所述非中心像素点的连线垂直方向上的预设个数的像素点的第二像素亮度标准差;
判断所述第二正射影像图中是否存在对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的非中心像素点,若是,则确定所述非中心像素点为候选辅助特征;
判断所述第二正射影像图中是否存在多个邻接的候选辅助特征,若是,则根据所述邻接的候选辅助特征组成所述辅助特征目标区域。
3.根据权利要求1所述的地形图生成方法,其特征在于,所述根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置,包括:
根据所述辅助特征目标区域、第一DEM图和第二DEM图执行特征地形匹配定位,确定所述第一DEM图和第二DEM图中的同名配准点以及该同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息;
根据相机成像投影关系和所述三维坐标信息,确定同名配准点初始对应关系;
根据仿射变换最小二乘模型和所述同名配准点初始对应关系,得到同名配准点精准对应关系;
根据所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系、同名配准点精准对应关系和最优化方法,得到所述相对位置。
4.根据权利要求3所述的地形图生成方法,其特征在于,所述根据所述辅助特征目标区域、第一DEM图和第二DEM图执行特征地形匹配定位,确定所述第一DEM图和第二DEM图中的同名配准点以及该同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息,包括:
若所述辅助特征目标区域的个数为多个,则获取各个辅助特征目标区域的半径值中的最大半径值和各个辅助特征目标区域的第一中心位置,并将所有第一中心位置构成外接矩形作为初始矩形;
将所述初始矩形的左上点的坐标值沿两个坐标方向均减小最大半径值,将所述初始矩形的右下点的坐标值沿两个坐标方向均增加最大半径值,得到目标矩形,确定该目标矩形在所述第二DEM图中对应的区域为匹配区域,并确定该匹配区域的中心为第二中心位置;
根据地形匹配方法,确定所述第二中心位置在所述第一DEM图中对应的匹配区域位置;
根据所述匹配区域位置,确定每个第一中心位置在所述第一DEM图中对应的匹配位置,以及每个第一中心位置与其匹配位置各自的三维坐标信息;
其中,所述第一中心位置及其对应的所述第一DEM图中对应的位置为所述同名配准点,所述第一中心位置的三维坐标信息为所述该同名配准点在第二站点坐标系下的三维坐标信息,所述匹配位置的三维坐标信息为所述该同名配准点在第一站点坐标系下的三维坐标信息。
5.根据权利要求3所述的地形图生成方法,其特征在于,所述根据所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系、同名配准点精准对应关系和最优化方法,得到所述相对位置,包括:
基于所述同名配准点分别在第一站点坐标系和第二站点坐标系的三维坐标信息、预设的成像关系和所述同名配准点精准对应关系,构建目标函数;
对所述目标函数进行最优化处理,确定所述目标函数值最小时所述第一站点与第二站点之间的相对位置。
6.根据权利要求1所述的地形图生成方法,其特征在于,所述根据所述相对位置和待处理地形图组,得到全局地形图,包括:
根据所述相对位置、所述第二正射影像图和第二DEM图中的像素点的三维坐标信息,确定所述第二正射影像图和第二DEM图中的像素点对应的校正后的三维坐标信息;
根据所述第二正射影像图和第二DEM图中的像素点对应的校正前后的三维坐标信息,确定该像素点校正后的纹理灰度值和高程值;
根据所述第一DEM图中的像素点的三维坐标信息和高程值,以及所述第二DEM图中的像素点对应的校正后的三维坐标信息和高程值,得到全局DEM图;
根据所述第一正射影像图中的像素点的坐标信息和纹理灰度值,以及所述第二正射影像图中像素点对应的校正后的坐标信息和纹理灰度值,得到全局正射影像图;
其中,所述全局地形图包括:全局DEM图和全局正射影像图。
7.一种地形图生成装置,其特征在于,包括:
获取模块,用于获取待处理地形图组,该待处理地形图组包括:第一站点对应的第一正射影像图、第一DEM图、第二站点对应的第二正射影像图和第二DEM图;
区域确定模块,用于对所述第二正射影像图进行定位辅助特征检测,确定所述第二正射影像图中的辅助特征目标区域;
相对位置确定模块,用于根据所述辅助特征目标区域、第二DEM图和第一DEM图,确定所述第一站点与第二站点之间的相对位置;
得到模块,用于根据所述相对位置和待处理地形图组,得到全局地形图。
8.根据权利要求7所述的地形图生成装置,其特征在于,所述区域确定模块,包括:
连线确定单元,用于根据所述第二正射影像图,确定中心点分别与各个非中心像素点之间的连线;所述中心点为所述第二站点的立体图像序列的拍摄位置在所述第二正射影像图中对应的像素点;所述非中心像素点为所述第二正射影像图中所述中心点之外的像素点;
标准差确定单元,用于根据每个非中心像素点对应的连线,确定以该非中心像素点为中心,沿所述非中心像素点的连线方向上的预设个数的像素点的第一像素亮度标准差,以及沿所述非中心像素点的连线垂直方向上的预设个数的像素点的第二像素亮度标准差;
第一判断单元,用于判断所述第二正射影像图中是否存在对应的第一像素亮度标准差小于第一标准差阈值,并且第二像素亮度标准差大于第二标准差阈值的非中心像素点,若是,则确定所述非中心像素点为候选辅助特征;
第二判断单元,用于判断所述第二正射影像图中是否存在多个邻接的候选辅助特征,若是,则根据所述邻接的候选辅助特征组成所述辅助特征目标区域。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述的地形图生成方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被执行时实现权利要求1至6任一项所述的地形图生成方法。
CN202111425520.3A 2021-11-26 2021-11-26 地形图生成方法及装置 Pending CN114187415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111425520.3A CN114187415A (zh) 2021-11-26 2021-11-26 地形图生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111425520.3A CN114187415A (zh) 2021-11-26 2021-11-26 地形图生成方法及装置

Publications (1)

Publication Number Publication Date
CN114187415A true CN114187415A (zh) 2022-03-15

Family

ID=80602771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111425520.3A Pending CN114187415A (zh) 2021-11-26 2021-11-26 地形图生成方法及装置

Country Status (1)

Country Link
CN (1) CN114187415A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792327A (zh) * 2022-06-23 2022-07-26 中国科学院空天信息创新研究院 图像处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792327A (zh) * 2022-06-23 2022-07-26 中国科学院空天信息创新研究院 图像处理方法及系统
CN114792327B (zh) * 2022-06-23 2022-11-04 中国科学院空天信息创新研究院 图像处理方法及系统

Similar Documents

Publication Publication Date Title
CN106780590B (zh) 一种深度图的获取方法及系统
US20190236807A1 (en) Method and device for determining external parameter of stereoscopic camera
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN108052910A (zh) 一种车辆全景成像系统的自动调整方法、装置及存储介质
CN112927271B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN109961401A (zh) 一种双目相机的图像校正方法和存储介质
CN110337674B (zh) 三维重建方法、装置、设备及存储介质
GB2552058A (en) Method and device for processing image data and driver assistance system for a vehicle
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN110895821B (zh) 图像处理装置、存储有图像处理程序的存储介质及驾驶支援系统
DE112017003815T5 (de) Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
CN116086411B (zh) 数字地形图生成方法、装置、设备和可读存储介质
CN113361365A (zh) 定位方法和装置、设备及存储介质
CN114187415A (zh) 地形图生成方法及装置
US20200134389A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
JP4851240B2 (ja) 画像処理装置及びその処理方法
CN117274514A (zh) 基于地空视角几何变换的遥感图像生成方法及装置
CN110796706A (zh) 视觉定位方法及系统
CN111417016A (zh) 一种姿态估计方法、服务器和网络设备
CN112991207B (zh) 全景深度估计方法、装置、终端设备及存储介质
CN113034621B (zh) 联合标定方法、装置、设备、车辆及存储介质
CN112308778B (zh) 一种利用空间三维信息辅助全景相机拼接的方法及终端
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
JP2007322403A (ja) 画像処理装置及びその処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination