CN105447911B - 一种3d地图融合方法、装置及电子设备 - Google Patents

一种3d地图融合方法、装置及电子设备 Download PDF

Info

Publication number
CN105447911B
CN105447911B CN201410502744.3A CN201410502744A CN105447911B CN 105447911 B CN105447911 B CN 105447911B CN 201410502744 A CN201410502744 A CN 201410502744A CN 105447911 B CN105447911 B CN 105447911B
Authority
CN
China
Prior art keywords
dimensional
map
image
maps
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410502744.3A
Other languages
English (en)
Other versions
CN105447911A (zh
Inventor
白静
谭福生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410502744.3A priority Critical patent/CN105447911B/zh
Publication of CN105447911A publication Critical patent/CN105447911A/zh
Application granted granted Critical
Publication of CN105447911B publication Critical patent/CN105447911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明实施例提供一种3D地图融合方法、装置及电子设备,其中方法包括:将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;估计所述符合预设条件的二维地图之间的变换关系;将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。本发明实施例提供的3D地图融合方法的运算量较小,速度较快。

Description

一种3D地图融合方法、装置及电子设备
技术领域
本发明涉及地图数据处理技术领域,更具体地说,涉及一种3D地图融合方法、装置及电子设备。
背景技术
3D地图(也称三维地图、立体地图)能够按照一定比例对现实世界的地理实景进行展示,其应用范围极广。在3D地图的构建过程中涉及到3D地图的融合,即将至少两张3D地图融合为一张3D地图。
目前3D地图的融合方式主要为:分析各3D地图的三维特征点,将各3D地图的三维特征点进行匹配,从而通过相匹配的三维特征点确定各3D地图之间的变换关系,通过该变换关系将至少两张3D地图融合为一张。
本发明的发明人研究发现,现有的3D地图融合方式是通过匹配三维特征点进行3D地图的融合,由于三维特征点的数量较多,即进行三维特征点匹配时的匹配对象数量较多,因此导致3D地图融合的运算量较大,速度较慢。
发明内容
有鉴于此,本发明实施例提供一种3D地图融合方法、装置及电子设备,以解决现有3D地图融合方式所存在的运算量较大,速度较慢的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种3D地图融合方法,包括:
将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计所述符合预设条件的二维地图之间的变换关系;
将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
其中,所述将各待融合3D地图分别投影到预设的n个二维平面包括:
将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
其中,所述估计所述符合预设条件的二维地图之间的变换关系包括:
确定所述符合预设条件的各二维地图的配准图像特征;
确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
其中,所述根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系包括:
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
其中,所述根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图包括:
将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
其中,所述将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征包括:
通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
本发明实施例还提供一种3D地图融合装置,包括:
投影模块,用于将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
地图确定模块,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计模块,用于估计所述符合预设条件的二维地图之间的变换关系;
融合模块,用于将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
其中,所述投影模块包括:
平面截取单元,用于将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
映射单元,用于将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
其中,所述估计模块包括:
第一确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征;
第二确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
变换关系估计单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
其中,所述变换关系估计单元包括:
仿射变换参数估计子单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
其中,所述地图确定模块包括:
配准图像特征确定单元,用于将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
图像相似度确定单元,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
结果确定单元,用于将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
其中,所述配准图像特征确定单元包括:
筛选子单元,用于通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
配准处理子单元,用于通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
本发明实施例还提供一种电子设备,包括上述所述的3D地图融合装置。
基于上述技术方案,本发明实施例提供的3D地图融合方法,将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;估计所述符合预设条件的二维地图之间的变换关系;将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。本发明实施例通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的3D地图融合方法的流程图;
图2为本发明实施例提供的通过并行处理方式确定配准结果符合预设条件的二维平面所对应的二维地图的示意图;
图3为本发明实施例提供的将3D地图投影到二维平面的方法流程图;
图4为本发明实施例提供的确定配准结果符合预设条件的二维平面所对应的二维地图的方法流程图;
图5为本发明实施例提供的确定各二维平面所对应的二维地图之间相配准的图像特征的方法流程图;
图6为本发明实施例提供的估计二维地图之间的变换关系的方法流程图;
图7为本发明实施例提供的3D地图融合方法的另一流程图;
图8为本发明实施例提供的3D地图融合装置的结构框图;
图9为本发明实施例提供的投影模块的结构框图;
图10为本发明实施例提供的估计模块的结构框图;
图11为本发明实施例提供的变换关系估计单元的结构框图;
图12为本发明实施例提供的地图确定模块的结构框图;
图13为本发明实施例提供的配准图像特征确定单元的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的3D地图融合方法的流程图,该方法可应用于电子设备,该电子设备可以是能够进行数据计算处理的设备,如电脑等,参照图1,该方法可以包括:
步骤S100、将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
可选的,投影3D地图的二维平面可随机选取,也可预先确定;投影3D地图的二维平面个数n,可与电子设备的系统内核数相一致,以优选的对投影后的各待融合3D地图的n个二维地图进行平行处理;显然,n值也可根据实际应用需要设定,本发明实施例并不作限制。
对于每一个需要进行3D地图融合的3D地图(即待融合3D地图),本发明实施例可将每一个待融合3D地图均投影到预设的n个二维平面,从而获取到投影后的,每一个待融合3D地图所对应的n个二维地图;若待融合3D地图的数量为m,则可获取到一共m*n个二维地图,即一个待融合3D地图对应n个二维地图。
步骤S110、根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
可选的,在将各待融合3D地图分别投影到预设的n个二维平面后,本发明实施例可对同一二维平面的二维地图进行图像特征配准,从而获取到各二维平面所对应的二维地图之间相配准的图像特征;
以待融合3D地图的数量为两张,分别为3D地图1和3D地图2,预设的n个二维平面为二维平面1和二维平面2为例,本发明实施例可将3D地图1分别投影到二维平面1和二维平面2,可获取到3D地图1对应的二维平面1的二维地图,3D地图1对应的二维平面2的二维地图,将3D地图2分别投影到二维平面1和二维平面2,可获取到3D地图2对应的二维平面1的二维地图,3D地图2对应的二维平面2的二维地图;之后,可将同一二维平面的二维地图进行图像特征配准,即将3D地图1对应的二维平面1的二维地图和3D地图2对应的二维平面1的二维地图进行图像特征配准,将3D地图1对应的二维平面2的二维地图和3D地图2对应的二维平面2的二维地图进行图像特征配准,从而获取到二维平面1所对应的二维地图之间相配准的图像特征,及二维平面2所对应的二维地图之间相配准的图像特征;
可选的,图像特征表示的是地图结构信息,可采用SIFT(Scale-invariantfeature transform,尺度不变特征转换)特征,SURF(Speeded Up Robust Features,加速稳健特征)等表示;本发明实施例确定配准结果符合预设条件的二维平面所对应的二维地图,可以是根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度,从而将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
可选的,由于每一个待融合3D地图均对应有n个二维地图,为实现快速的配准结果符合预设条件的二维平面所对应的二维地图的确定,本发明实施例可通过并行处理进行配准结果符合预设条件的二维平面所对应的二维地图的确定,图2示出了通过并行处理方式确定配准结果符合预设条件的二维平面所对应的二维地图的示意图,可进行参照,如图2所示,一个线程可计算一个二维平面所对应的二维地图之间相配准的图像特征,多条线程并行处理,可同时计算出n个二维平面所对应的二维地图之间相配准的图像特征,进而快速的确定出相配准的图像特征的配准结果符合预设条件的二维平面所对应的二维地图。可选的,并行处理的线程数优选与电子设备的系统内核数相一致。
步骤S120、估计所述符合预设条件的二维地图之间的变换关系;
可选的,在确定相配准的图像特征的配准结果符合预设条件的二维平面所对应的二维地图后,本发明实施例可根据所述符合预设条件的二维平面间相配准的图像特征,得到各相配准的图像特征的图像坐标,从而依据各相配准的图像特征的图像坐标,来估计二维地图间的变换关系;可选的,二维地图之间的变换关系可采用仿射变换矩阵参数,或者旋转和平移参数标准。
对于二维地图之间的变换关系采用仿射变换矩阵参数表征的情况,本发明实施例估计二维地图间的变换关系可以是估计两幅图像之间的仿射变换关系,估计变换关系的二维地图可以为处于3D地图同一层的地图,即二维地图所对应的3D地图的高度需一致;变换关系的估计方式可以采用非线性参数估计的方法,结合RANSAC(RANdom SAmpleConsensus,根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法)算法,估计所述符合预设条件的二维地图之间的变换关系。
步骤S130、将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
可选的,所得到的二维地图之间的变换关系,可直接应用于对应的3D地图,将3D地图进行有效拼接,实现待融合3D地图间的3D地图融合。
本发明实施例提供的3D地图融合方法,将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;估计所述符合预设条件的二维地图之间的变换关系;将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。本发明实施例通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
可选的,本发明实施例可根据3D地图的高度,采用分层投影的方式,将各待融合3D地图分别投影到预设的n个二维平面。对应的,图3示出了本发明实施例提供的将3D地图投影到二维平面的方法流程图,参照图3,该方法可以包括:
步骤S200、将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
可选的,本发明实施例可在Z轴方向(即3D地图的高度方向),按照3D地图的不同高度取得不同平面层面;所截取的平面个数可根据系统内核数来确定最优的值,以使平面个数与平行处理的线程数相关。
可选的,各层地图高度可按照3D地图表征的环境进行确定,显然也可随机确定。
以3D地图的高度为10单位长度为例,系统内核数为3,则本发明实施例可随机选取各层地图高度,取得3个平面层面;如在3单位长度的高度截取3D地图的平面,得到第一个平面层面,在7单位长度的高度截取3D地图的平面,得到第二个平面层面,在9单位长度的高度截取3D地图的平面,得到第三个平面层面,共获取到三个平面层面。
步骤S210、将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
按照3D地图的不同高度所截取到的3D地图的n个平面层面,即为本发明实施例各待融合3D地图所需要投影到的n个二维平面,将各待融合3D地图分别映射到所述n个平面层面,即可得到各待融合3D地图所对应的n个二维地图。
可选的,在得到各待融合3D地图所对应的n个二维地图后,可对相同二维平面所对应的二维地图进行图像特征配准处理,从而通过二维平面所对应的二维地图之间相配准的图像特征确定二维平面所对应的二维地图之间的图像相似度,进而确定配准结果符合预设条件的二维平面所对应的二维地图。对应的,图4示出了本发明实施例提供的确定配准结果符合预设条件的二维平面所对应的二维地图的方法流程图,参照图4,该方法可以包括:
步骤S300、将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
可选的,在确定各二维平面所对应的二维地图之间相配准的图像特征时,可对各二维地图的图像特征进行筛选,从而剔除次图像特征,保留主图像特征,进而通过主图像特征进行二维地图之间的图像特征配准。可选的,图5示出了本发明实施例提供的确定各二维平面所对应的二维地图之间相配准的图像特征的方法流程图,参照图5,该方法可以包括:
步骤S400、通过SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
SIFT(Scale-invariant feature transform,尺度不变特征转换)是用于图像处理领域的一种描述子。这种描述具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。通过SIFT算法可用来侦测与描述图像中的局部性特征,在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量。SIFT特征向量为从图像中所提取的对尺度缩放、旋转、亮度变化无关的特征向量。
通过SIFT特征向量,本发明实施例可从二维地图中寻找出与图像尺度缩放、旋转、亮度变化无关的特征向量,得到次图像特征,将次图像特征剔除,保留下二维地图的主图像特征。
步骤S410、通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,可提高二维地图之间进行图像特征配准的速度,进而更加快速的确定出各二维平面所对应的二维地图之间相配准的图像特征。
显然,采用SIFT算法对各二维地图的图像特征进行筛选的方式仅为一种可选方式,本发明实施例还可采用其他方式剔除二维地图的次图像特征,保留主图像特征。
显然,本发明实施例在确定各二维平面所对应的二维地图之间相配准的图像特征时,也可不进行二维地图的图像特征的筛选,而是通过二维地图的整体图像特征进行二维地图之间的图像特征配准,确定各二维平面所对应的二维地图之间相配准的图像特征。
步骤S310、根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
二维地图之间的图像相似度,可以是二维地图之间的地图结构信息的相似度;通过各二维平面所对应的二维地图之间相配准的图像特征,进行图像特征的相似度比对,进而确定出各二维平面所对应的二维地图之间的图像相似度。
步骤S320、将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
图像相似度符合预设条件,可以是图像相似度的相似程度达到一定条件,本发明实施例可根据实际应用需要设定图像相似度符合预设条件的图像相似程度,具体的图像相似程度数值本发明实施例不作限制。
可选的,在得到配准结果符合预设条件的二维平面所对应的二维地图后,本发明实施例可根据符合预设条件的二维平面所对应的二维地图之间相配准的图像特征的图像坐标,来估计二维地图间的变换关系。对应的,图6示出了本发明实施例提供的估计二维地图之间的变换关系的方法流程图,参照图6,该方法可以包括:
步骤S500、确定所述符合预设条件的各二维地图的配准图像特征;
在确定配准结果符合预设条件的二维平面所对应的二维地图后,如确定图像相似度符合预设条件的二维平面所对应的二维地图后,本发明实施例可提取出所述符合预设条件的各二维地图的各配准图像特征。
步骤S510、确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
二维地图的各图像特征均在二维地图中对应有图像坐标,本发明实施例可在得到所述符合预设条件的各二维地图的配准图像特征后,确定出各配准图像特征的图像坐标。
步骤S520、根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
可选的,所述符合预设条件的二维地图之间有多对配准图像特征,如二维地图1与二维地图2为配准结果符合预设条件的二维平面所对应的二维地图,则二维地图1与二维地图2可有多对配准图像特征,如二维地图1和二维地图2有j对配准图像特征,则二维地图1中有j个配准图像特征,二维地图2中也有j个配准图像特征,且二维地图1中配准图像特征与二维地图2中的配准图像特征一一配准。本发明实施例可确定出二维地图1中j个配准图像特征的图像坐标,得到j个图像坐标,确定出二维地图2中j个配准图像特征的图像坐标,得到j个图像坐标,将二维地图1中的j个图像坐标与二维地图2中的j个图像坐标,按照二维地图1与二维地图2的配准图像特征的配准关系,进行二维地图之间的变换关系的估计。
可选的,变换关系可以为仿射变换参数;对应的,发明实施例可根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,从而得到所述符合预设条件的各二维地图之间的变换关系。
优选的,图7示出了本发明实施例提供的3D地图融合方法的另一流程图,参照图7,该方法可以包括:
步骤S600、将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
步骤S610、将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图;
步骤S620、通过SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
步骤S630、通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
步骤S640、根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
步骤S650、将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图;
步骤S660、确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
步骤S670、根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数;
步骤S680、将所述仿射变换参数应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
本发明实施例通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
下面对本发明实施例提供的3D地图融合装置进行介绍,下文描述的3D地图融合装置可与上文描述的3D地图融合方法相互对应参照。
图8为本发明实施例提供的3D地图融合装置的结构框图,该装置可应用于电子设备,参照图8,该3D地图融合装置可以包括:
投影模块100,用于将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
地图确定模块200,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计模块300,用于估计所述符合预设条件的二维地图之间的变换关系;
融合模块400,用于将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
可选的,图9示出了本发明实施例提供的投影模块100的一种可选结构,参照图9,投影模块100可以包括:
平面截取单元110,用于将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
映射单元111,用于将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
可选的,图10示出了本发明实施例提供的估计模块300的一种可选结构,参照图10,估计模块300可以包括:
第一确定单元310,用于确定所述符合预设条件的各二维地图的配准图像特征;
第二确定单元320,用于确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
变换关系估计单元330,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
可选的,二维地图之间的变换关系可以为二维地图之间的仿射变换参数;对应的,图11示出了本发明实施例提供的变换关系估计单元330的一种可选结构,参照图11,变换关系估计单元330可以包括:
仿射变换参数估计子单元331,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
可选的,图12示出了本发明实施例提供的地图确定模块200的一种可选结构,参照图12,地图确定模块200可以包括:
配准图像特征确定单元210,用于将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
图像相似度确定单元220,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
结果确定单元230,用于将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
可选的,本发明实施例在确定各二维平面所对应的二维地图之间相配准的图像特征时,可对二维地图进行图像特征的筛选,保留二维地图的主图像特征进行图像特征配准处理;对应的,图13示出了本发明实施例提供的配准图像特征确定单元210的一种可选结构,参照图13,配准图像特征确定单元210可以包括:
筛选子单元211,用于通过SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
配准处理子单元212,用于通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
本发明实施例提供的3D地图融合装置,通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
本发明实施例还提供一种电子设备,该电子设备可进行3D地图的融合处理,该电子设备可以包括上述所述的3D地图融合装置,对于3D地图融合装置的介绍可参照上文描述,此处不再赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种3D地图融合方法,其特征在于,包括:
将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;其中,n至少为2;
根据各二维平面所对应的二维地图之间相配准的图像特征,并行处理确定配准结果符合预设条件的二维平面所对应的二维地图;
估计所述符合预设条件的二维地图之间的变换关系;
将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合;
其中,所述将各待融合3D地图分别投影到预设的n个二维平面包括:
将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;所截取的平面个数根据系统内核数确定;
将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
2.根据权利要求1所述的3D地图融合方法,其特征在于,所述估计所述符合预设条件的二维地图之间的变换关系包括:
确定所述符合预设条件的各二维地图的配准图像特征;
确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
3.根据权利要求2所述的3D地图融合方法,其特征在于,所述根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系包括:
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
4.根据权利要求1所述的3D地图融合方法,其特征在于,所述根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图包括:
将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
5.根据权利要求4所述的3D地图融合方法,其特征在于,所述将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征包括:
通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
6.一种3D地图融合装置,其特征在于,包括:
投影模块,用于将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;其中,n至少为2;
地图确定模块,用于根据各二维平面所对应的二维地图之间相配准的图像特征,并行处理确定配准结果符合预设条件的二维平面所对应的二维地图;
估计模块,用于估计所述符合预设条件的二维地图之间的变换关系;
融合模块,用于将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合;
所述投影模块包括:
平面截取单元,用于将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;所截取的平面个数根据系统内核数确定;
映射单元,用于将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
7.根据权利要求6所述的3D地图融合装置,其特征在于,所述估计模块包括:
第一确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征;
第二确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
变换关系估计单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
8.根据权利要求7所述的3D地图融合装置,其特征在于,所述变换关系估计单元包括:
仿射变换参数估计子单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
9.根据权利要求6所述的3D地图融合装置,其特征在于,所述地图确定模块包括:
配准图像特征确定单元,用于将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
图像相似度确定单元,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
结果确定单元,用于将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
10.根据权利要求9所述的3D地图融合装置,其特征在于,所述配准图像特征确定单元包括:
筛选子单元,用于通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
配准处理子单元,用于通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
11.一种电子设备,其特征在于,包括权利要求6-10任一项所述的3D地图融合装置。
CN201410502744.3A 2014-09-26 2014-09-26 一种3d地图融合方法、装置及电子设备 Active CN105447911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410502744.3A CN105447911B (zh) 2014-09-26 2014-09-26 一种3d地图融合方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410502744.3A CN105447911B (zh) 2014-09-26 2014-09-26 一种3d地图融合方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN105447911A CN105447911A (zh) 2016-03-30
CN105447911B true CN105447911B (zh) 2020-01-31

Family

ID=55558042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410502744.3A Active CN105447911B (zh) 2014-09-26 2014-09-26 一种3d地图融合方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN105447911B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107134000B (zh) * 2017-05-23 2020-10-23 张照亮 一种融合现实的三维动态图像生成方法及系统
CN108984741B (zh) * 2018-07-16 2021-06-04 北京三快在线科技有限公司 一种地图生成方法及装置、机器人和计算机可读存储介质
CN112148742A (zh) * 2019-06-28 2020-12-29 Oppo广东移动通信有限公司 地图更新方法及装置、终端、存储介质
CN113422915A (zh) * 2021-03-19 2021-09-21 贵州北斗空间信息技术有限公司 一种监控视频融合显示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872492A (zh) * 2010-06-09 2010-10-27 中国科学院深圳先进技术研究院 三维仿真城市的多角度地图实现方法
CN101944240A (zh) * 2010-08-20 2011-01-12 浙江大学 多机器人三维几何地图的融合方法
CN102096713A (zh) * 2011-01-29 2011-06-15 广州都市圈网络科技有限公司 一种基于网格化二三维地图匹配方法及系统
KR20130053980A (ko) * 2011-11-16 2013-05-24 재단법인대구경북과학기술원 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
CN103810286A (zh) * 2014-02-25 2014-05-21 合肥亿图网络科技有限公司 一种用于二维地图与三维地图匹配的坐标点定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872492A (zh) * 2010-06-09 2010-10-27 中国科学院深圳先进技术研究院 三维仿真城市的多角度地图实现方法
CN101944240A (zh) * 2010-08-20 2011-01-12 浙江大学 多机器人三维几何地图的融合方法
CN102096713A (zh) * 2011-01-29 2011-06-15 广州都市圈网络科技有限公司 一种基于网格化二三维地图匹配方法及系统
KR20130053980A (ko) * 2011-11-16 2013-05-24 재단법인대구경북과학기술원 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
CN103810286A (zh) * 2014-02-25 2014-05-21 合肥亿图网络科技有限公司 一种用于二维地图与三维地图匹配的坐标点定位方法

Also Published As

Publication number Publication date
CN105447911A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
JP7058669B2 (ja) 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
CN111161349B (zh) 物体姿态估计方法、装置与设备
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
JP5449119B2 (ja) ステレオ映像内の視差探索範囲を求めるための方法及びシステム
US20120163672A1 (en) Depth Estimate Determination, Systems and Methods
JP6266656B2 (ja) 画像をサイズ変更するためのシステム及び方法
CN111369666A (zh) 一种基于多台rgbd相机的动态目标重建方法和装置
CN105447911B (zh) 一种3d地图融合方法、装置及电子设备
CN110853033A (zh) 基于帧间相似度的视频检测方法和装置
CN109842811B (zh) 一种在视频中植入推送信息的方法、装置及电子设备
US10198533B2 (en) Registration of multiple laser scans
CN108447094B (zh) 一种单目彩色相机的姿态估算方法及系统
CN112836698A (zh) 一种定位方法、装置、存储介质及电子设备
Warif et al. A comprehensive evaluation procedure for copy-move forgery detection methods: results from a systematic review
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN114998743A (zh) 一种视觉地图点的构建方法、装置、设备及介质
CN112652056B (zh) 一种3d信息展示方法及装置
CN116051448A (zh) 平坦表面检测装置和方法
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
Espuny et al. A new a contrario approach for the robust determination of the fundamental matrix
CN114359352A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
KR102060758B1 (ko) 포인트 클라우드를 이용한 프리미티브 피팅 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant