CN105447911A - 一种3d地图融合方法、装置及电子设备 - Google Patents
一种3d地图融合方法、装置及电子设备 Download PDFInfo
- Publication number
- CN105447911A CN105447911A CN201410502744.3A CN201410502744A CN105447911A CN 105447911 A CN105447911 A CN 105447911A CN 201410502744 A CN201410502744 A CN 201410502744A CN 105447911 A CN105447911 A CN 105447911A
- Authority
- CN
- China
- Prior art keywords
- map
- dimensional
- image
- dimensional map
- conditioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种3D地图融合方法、装置及电子设备,其中方法包括:将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;估计所述符合预设条件的二维地图之间的变换关系;将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
Description
技术领域
本发明涉及地图数据处理技术领域,更具体地说,涉及一种3D地图融合方法、装置及电子设备。
背景技术
3D地图(也称三维地图、立体地图)能够按照一定比例对现实世界的地理实景进行展示,其应用范围极广。在3D地图的构建过程中涉及到3D地图的融合,即将至少两张3D地图融合为一张3D地图。
目前3D地图的融合方式主要为:分析各3D地图的三维特征点,将各3D地图的三维特征点进行匹配,从而通过相匹配的三维特征点确定各3D地图之间的变换关系,通过该变换关系将至少两张3D地图融合为一张。
本发明的发明人研究发现,现有的3D地图融合方式是通过匹配三维特征点进行3D地图的融合,由于三维特征点的数量较多,即进行三维特征点匹配时的匹配对象数量较多,因此导致3D地图融合的运算量较大,速度较慢。
发明内容
有鉴于此,本发明实施例提供一种3D地图融合方法、装置及电子设备,以解决现有3D地图融合方式所存在的运算量较大,速度较慢的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种3D地图融合方法,包括:
将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计所述符合预设条件的二维地图之间的变换关系;
将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
其中,所述将各待融合3D地图分别投影到预设的n个二维平面包括:
将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
其中,所述估计所述符合预设条件的二维地图之间的变换关系包括:
确定所述符合预设条件的各二维地图的配准图像特征;
确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
其中,所述根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系包括:
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
其中,所述根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图包括:
将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
其中,所述将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征包括:
通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
本发明实施例还提供一种3D地图融合装置,包括:
投影模块,用于将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
地图确定模块,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计模块,用于估计所述符合预设条件的二维地图之间的变换关系;
融合模块,用于将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
其中,所述投影模块包括:
平面截取单元,用于将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
映射单元,用于将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
其中,所述估计模块包括:
第一确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征;
第二确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
变换关系估计单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
其中,所述变换关系估计单元包括:
仿射变换参数估计子单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
其中,所述地图确定模块包括:
配准图像特征确定单元,用于将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
图像相似度确定单元,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
结果确定单元,用于将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
其中,所述配准图像特征确定单元包括:
筛选子单元,用于通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
配准处理子单元,用于通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
本发明实施例还提供一种电子设备,包括上述所述的3D地图融合装置。
基于上述技术方案,本发明实施例提供的3D地图融合方法,将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;估计所述符合预设条件的二维地图之间的变换关系;将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。本发明实施例通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的3D地图融合方法的流程图;
图2为本发明实施例提供的通过并行处理方式确定配准结果符合预设条件的二维平面所对应的二维地图的示意图;
图3为本发明实施例提供的将3D地图投影到二维平面的方法流程图;
图4为本发明实施例提供的确定配准结果符合预设条件的二维平面所对应的二维地图的方法流程图;
图5为本发明实施例提供的确定各二维平面所对应的二维地图之间相配准的图像特征的方法流程图;
图6为本发明实施例提供的估计二维地图之间的变换关系的方法流程图;
图7为本发明实施例提供的3D地图融合方法的另一流程图;
图8为本发明实施例提供的3D地图融合装置的结构框图;
图9为本发明实施例提供的投影模块的结构框图;
图10为本发明实施例提供的估计模块的结构框图;
图11为本发明实施例提供的变换关系估计单元的结构框图;
图12为本发明实施例提供的地图确定模块的结构框图;
图13为本发明实施例提供的配准图像特征确定单元的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的3D地图融合方法的流程图,该方法可应用于电子设备,该电子设备可以是能够进行数据计算处理的设备,如电脑等,参照图1,该方法可以包括:
步骤S100、将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
可选的,投影3D地图的二维平面可随机选取,也可预先确定;投影3D地图的二维平面个数n,可与电子设备的系统内核数相一致,以优选的对投影后的各待融合3D地图的n个二维地图进行平行处理;显然,n值也可根据实际应用需要设定,本发明实施例并不作限制。
对于每一个需要进行3D地图融合的3D地图(即待融合3D地图),本发明实施例可将每一个待融合3D地图均投影到预设的n个二维平面,从而获取到投影后的,每一个待融合3D地图所对应的n个二维地图;若待融合3D地图的数量为m,则可获取到一共m*n个二维地图,即一个待融合3D地图对应n个二维地图。
步骤S110、根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
可选的,在将各待融合3D地图分别投影到预设的n个二维平面后,本发明实施例可对同一二维平面的二维地图进行图像特征配准,从而获取到各二维平面所对应的二维地图之间相配准的图像特征;
以待融合3D地图的数量为两张,分别为3D地图1和3D地图2,预设的n个二维平面为二维平面1和二维平面2为例,本发明实施例可将3D地图1分别投影到二维平面1和二维平面2,可获取到3D地图1对应的二维平面1的二维地图,3D地图1对应的二维平面2的二维地图,将3D地图2分别投影到二维平面1和二维平面2,可获取到3D地图2对应的二维平面1的二维地图,3D地图2对应的二维平面2的二维地图;之后,可将同一二维平面的二维地图进行图像特征配准,即将3D地图1对应的二维平面1的二维地图和3D地图2对应的二维平面1的二维地图进行图像特征配准,将3D地图1对应的二维平面2的二维地图和3D地图2对应的二维平面2的二维地图进行图像特征配准,从而获取到二维平面1所对应的二维地图之间相配准的图像特征,及二维平面2所对应的二维地图之间相配准的图像特征;
可选的,图像特征表示的是地图结构信息,可采用SIFT(Scale-invariantfeaturetransform,尺度不变特征转换)特征,SURF(SpeededUpRobustFeatures,加速稳健特征)等表示;本发明实施例确定配准结果符合预设条件的二维平面所对应的二维地图,可以是根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度,从而将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
可选的,由于每一个待融合3D地图均对应有n个二维地图,为实现快速的配准结果符合预设条件的二维平面所对应的二维地图的确定,本发明实施例可通过并行处理进行配准结果符合预设条件的二维平面所对应的二维地图的确定,图2示出了通过并行处理方式确定配准结果符合预设条件的二维平面所对应的二维地图的示意图,可进行参照,如图2所示,一个线程可计算一个二维平面所对应的二维地图之间相配准的图像特征,多条线程并行处理,可同时计算出n个二维平面所对应的二维地图之间相配准的图像特征,进而快速的确定出相配准的图像特征的配准结果符合预设条件的二维平面所对应的二维地图。可选的,并行处理的线程数优选与电子设备的系统内核数相一致。
步骤S120、估计所述符合预设条件的二维地图之间的变换关系;
可选的,在确定相配准的图像特征的配准结果符合预设条件的二维平面所对应的二维地图后,本发明实施例可根据所述符合预设条件的二维平面间相配准的图像特征,得到各相配准的图像特征的图像坐标,从而依据各相配准的图像特征的图像坐标,来估计二维地图间的变换关系;可选的,二维地图之间的变换关系可采用仿射变换矩阵参数,或者旋转和平移参数标准。
对于二维地图之间的变换关系采用仿射变换矩阵参数表征的情况,本发明实施例估计二维地图间的变换关系可以是估计两幅图像之间的仿射变换关系,估计变换关系的二维地图可以为处于3D地图同一层的地图,即二维地图所对应的3D地图的高度需一致;变换关系的估计方式可以采用非线性参数估计的方法,结合RANSAC(RANdomSAmpleConsensus,根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法)算法,估计所述符合预设条件的二维地图之间的变换关系。
步骤S130、将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
可选的,所得到的二维地图之间的变换关系,可直接应用于对应的3D地图,将3D地图进行有效拼接,实现待融合3D地图间的3D地图融合。
本发明实施例提供的3D地图融合方法,将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;估计所述符合预设条件的二维地图之间的变换关系;将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。本发明实施例通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
可选的,本发明实施例可根据3D地图的高度,采用分层投影的方式,将各待融合3D地图分别投影到预设的n个二维平面。对应的,图3示出了本发明实施例提供的将3D地图投影到二维平面的方法流程图,参照图3,该方法可以包括:
步骤S200、将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
可选的,本发明实施例可在Z轴方向(即3D地图的高度方向),按照3D地图的不同高度取得不同平面层面;所截取的平面个数可根据系统内核数来确定最优的值,以使平面个数与平行处理的线程数相关。
可选的,各层地图高度可按照3D地图表征的环境进行确定,显然也可随机确定。
以3D地图的高度为10单位长度为例,系统内核数为3,则本发明实施例可随机选取各层地图高度,取得3个平面层面;如在3单位长度的高度截取3D地图的平面,得到第一个平面层面,在7单位长度的高度截取3D地图的平面,得到第二个平面层面,在9单位长度的高度截取3D地图的平面,得到第三个平面层面,共获取到三个平面层面。
步骤S210、将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
按照3D地图的不同高度所截取到的3D地图的n个平面层面,即为本发明实施例各待融合3D地图所需要投影到的n个二维平面,将各待融合3D地图分别映射到所述n个平面层面,即可得到各待融合3D地图所对应的n个二维地图。
可选的,在得到各待融合3D地图所对应的n个二维地图后,可对相同二维平面所对应的二维地图进行图像特征配准处理,从而通过二维平面所对应的二维地图之间相配准的图像特征确定二维平面所对应的二维地图之间的图像相似度,进而确定配准结果符合预设条件的二维平面所对应的二维地图。对应的,图4示出了本发明实施例提供的确定配准结果符合预设条件的二维平面所对应的二维地图的方法流程图,参照图4,该方法可以包括:
步骤S300、将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
可选的,在确定各二维平面所对应的二维地图之间相配准的图像特征时,可对各二维地图的图像特征进行筛选,从而剔除次图像特征,保留主图像特征,进而通过主图像特征进行二维地图之间的图像特征配准。可选的,图5示出了本发明实施例提供的确定各二维平面所对应的二维地图之间相配准的图像特征的方法流程图,参照图5,该方法可以包括:
步骤S400、通过SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
SIFT(Scale-invariantfeaturetransform,尺度不变特征转换)是用于图像处理领域的一种描述子。这种描述具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。通过SIFT算法可用来侦测与描述图像中的局部性特征,在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量。SIFT特征向量为从图像中所提取的对尺度缩放、旋转、亮度变化无关的特征向量。
通过SIFT特征向量,本发明实施例可从二维地图中寻找出与图像尺度缩放、旋转、亮度变化无关的特征向量,得到次图像特征,将次图像特征剔除,保留下二维地图的主图像特征。
步骤S410、通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,可提高二维地图之间进行图像特征配准的速度,进而更加快速的确定出各二维平面所对应的二维地图之间相配准的图像特征。
显然,采用SIFT算法对各二维地图的图像特征进行筛选的方式仅为一种可选方式,本发明实施例还可采用其他方式剔除二维地图的次图像特征,保留主图像特征。
显然,本发明实施例在确定各二维平面所对应的二维地图之间相配准的图像特征时,也可不进行二维地图的图像特征的筛选,而是通过二维地图的整体图像特征进行二维地图之间的图像特征配准,确定各二维平面所对应的二维地图之间相配准的图像特征。
步骤S310、根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
二维地图之间的图像相似度,可以是二维地图之间的地图结构信息的相似度;通过各二维平面所对应的二维地图之间相配准的图像特征,进行图像特征的相似度比对,进而确定出各二维平面所对应的二维地图之间的图像相似度。
步骤S320、将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
图像相似度符合预设条件,可以是图像相似度的相似程度达到一定条件,本发明实施例可根据实际应用需要设定图像相似度符合预设条件的图像相似程度,具体的图像相似程度数值本发明实施例不作限制。
可选的,在得到配准结果符合预设条件的二维平面所对应的二维地图后,本发明实施例可根据符合预设条件的二维平面所对应的二维地图之间相配准的图像特征的图像坐标,来估计二维地图间的变换关系。对应的,图6示出了本发明实施例提供的估计二维地图之间的变换关系的方法流程图,参照图6,该方法可以包括:
步骤S500、确定所述符合预设条件的各二维地图的配准图像特征;
在确定配准结果符合预设条件的二维平面所对应的二维地图后,如确定图像相似度符合预设条件的二维平面所对应的二维地图后,本发明实施例可提取出所述符合预设条件的各二维地图的各配准图像特征。
步骤S510、确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
二维地图的各图像特征均在二维地图中对应有图像坐标,本发明实施例可在得到所述符合预设条件的各二维地图的配准图像特征后,确定出各配准图像特征的图像坐标。
步骤S520、根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
可选的,所述符合预设条件的二维地图之间有多对配准图像特征,如二维地图1与二维地图2为配准结果符合预设条件的二维平面所对应的二维地图,则二维地图1与二维地图2可有多对配准图像特征,如二维地图1和二维地图2有j对配准图像特征,则二维地图1中有j个配准图像特征,二维地图2中也有j个配准图像特征,且二维地图1中配准图像特征与二维地图2中的配准图像特征一一配准。本发明实施例可确定出二维地图1中j个配准图像特征的图像坐标,得到j个图像坐标,确定出二维地图2中j个配准图像特征的图像坐标,得到j个图像坐标,将二维地图1中的j个图像坐标与二维地图2中的j个图像坐标,按照二维地图1与二维地图2的配准图像特征的配准关系,进行二维地图之间的变换关系的估计。
可选的,变换关系可以为仿射变换参数;对应的,发明实施例可根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,从而得到所述符合预设条件的各二维地图之间的变换关系。
优选的,图7示出了本发明实施例提供的3D地图融合方法的另一流程图,参照图7,该方法可以包括:
步骤S600、将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
步骤S610、将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图;
步骤S620、通过SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
步骤S630、通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
步骤S640、根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
步骤S650、将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图;
步骤S660、确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
步骤S670、根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数;
步骤S680、将所述仿射变换参数应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
本发明实施例通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
下面对本发明实施例提供的3D地图融合装置进行介绍,下文描述的3D地图融合装置可与上文描述的3D地图融合方法相互对应参照。
图8为本发明实施例提供的3D地图融合装置的结构框图,该装置可应用于电子设备,参照图8,该3D地图融合装置可以包括:
投影模块100,用于将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
地图确定模块200,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计模块300,用于估计所述符合预设条件的二维地图之间的变换关系;
融合模块400,用于将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
可选的,图9示出了本发明实施例提供的投影模块100的一种可选结构,参照图9,投影模块100可以包括:
平面截取单元110,用于将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
映射单元111,用于将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
可选的,图10示出了本发明实施例提供的估计模块300的一种可选结构,参照图10,估计模块300可以包括:
第一确定单元310,用于确定所述符合预设条件的各二维地图的配准图像特征;
第二确定单元320,用于确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
变换关系估计单元330,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
可选的,二维地图之间的变换关系可以为二维地图之间的仿射变换参数;对应的,图11示出了本发明实施例提供的变换关系估计单元330的一种可选结构,参照图11,变换关系估计单元330可以包括:
仿射变换参数估计子单元331,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
可选的,图12示出了本发明实施例提供的地图确定模块200的一种可选结构,参照图12,地图确定模块200可以包括:
配准图像特征确定单元210,用于将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
图像相似度确定单元220,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
结果确定单元230,用于将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
可选的,本发明实施例在确定各二维平面所对应的二维地图之间相配准的图像特征时,可对二维地图进行图像特征的筛选,保留二维地图的主图像特征进行图像特征配准处理;对应的,图13示出了本发明实施例提供的配准图像特征确定单元210的一种可选结构,参照图13,配准图像特征确定单元210可以包括:
筛选子单元211,用于通过SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
配准处理子单元212,用于通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
本发明实施例提供的3D地图融合装置,通过对待融合3D地图投影后得到的同一二维平面的二维地图进行图像特征配准,确定出二维地图之间的变换关系,从而将二维地图之间的变换关系应用于待融合3D地图,实现待融合3D地图的融合,由于二维地图进行配准的图像特征数量较小,且二维地图之间的变换关系的计算量较小,因此本发明实施例提供的3D地图融合方法的运算量较小,速度较快。
本发明实施例还提供一种电子设备,该电子设备可进行3D地图的融合处理,该电子设备可以包括上述所述的3D地图融合装置,对于3D地图融合装置的介绍可参照上文描述,此处不再赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种3D地图融合方法,其特征在于,包括:
将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计所述符合预设条件的二维地图之间的变换关系;
将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
2.根据权利要求1所述的3D地图融合方法,其特征在于,所述将各待融合3D地图分别投影到预设的n个二维平面包括:
将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
3.根据权利要求1所述的3D地图融合方法,其特征在于,所述估计所述符合预设条件的二维地图之间的变换关系包括:
确定所述符合预设条件的各二维地图的配准图像特征;
确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
4.根据权利要求3所述的3D地图融合方法,其特征在于,所述根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系包括:
根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
5.根据权利要求1所述的3D地图融合方法,其特征在于,所述根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图包括:
将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
6.根据权利要求5所述的3D地图融合方法,其特征在于,所述将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征包括:
通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
7.一种3D地图融合装置,其特征在于,包括:
投影模块,用于将各待融合3D地图分别投影到预设的n个二维平面,确定各待融合3D地图所对应的n个二维地图;
地图确定模块,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定配准结果符合预设条件的二维平面所对应的二维地图;
估计模块,用于估计所述符合预设条件的二维地图之间的变换关系;
融合模块,用于将所述变换关系应用于所述各待融合3D地图,对所述各待融合3D地图进行融合。
8.根据权利要求7所述的3D地图融合装置,其特征在于,所述投影模块包括:
平面截取单元,用于将待融合3D地图按照3D地图的高度,在不同高度截取平面层面,得到n个平面层面;
映射单元,用于将各待融合3D地图分别映射到所述n个平面层面,得到各待融合3D地图所对应的n个二维地图。
9.根据权利要求7所述的3D地图融合装置,其特征在于,所述估计模块包括:
第一确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征;
第二确定单元,用于确定所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标;
变换关系估计单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的变换关系。
10.根据权利要求9所述的3D地图融合装置,其特征在于,所述变换关系估计单元包括:
仿射变换参数估计子单元,用于根据所述符合预设条件的各二维地图的配准图像特征所对应的图像坐标,估计所述符合预设条件的各二维地图之间的仿射变换参数,所述仿射变换参数用于表示所述变换关系。
11.根据权利要求7所述的3D地图融合装置,其特征在于,所述地图确定模块包括:
配准图像特征确定单元,用于将相同二维平面所对应的二维地图进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征;
图像相似度确定单元,用于根据各二维平面所对应的二维地图之间相配准的图像特征,确定各二维平面所对应的二维地图之间的图像相似度;
结果确定单元,用于将图像相似度符合预设条件的二维平面所对应的二维地图,确定为符合预设条件的二维平面所对应的二维地图。
12.根据权利要求11所述的3D地图融合装置,其特征在于,所述配准图像特征确定单元包括:
筛选子单元,用于通过尺度不变特征转换SIFT算法,剔除相同二维平面所对应的各二维地图的次图像特征,保留主图像特征,所述次图像特征为与二维地图的SIFT特征向量相匹配的图像特征;
配准处理子单元,用于通过相同二维平面所对应的各二维地图的主图像特征进行图像特征配准处理,确定各二维平面所对应的二维地图之间相配准的图像特征。
13.一种电子设备,其特征在于,包括权利要求7-12任一项所述的3D地图融合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410502744.3A CN105447911B (zh) | 2014-09-26 | 2014-09-26 | 一种3d地图融合方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410502744.3A CN105447911B (zh) | 2014-09-26 | 2014-09-26 | 一种3d地图融合方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105447911A true CN105447911A (zh) | 2016-03-30 |
CN105447911B CN105447911B (zh) | 2020-01-31 |
Family
ID=55558042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410502744.3A Active CN105447911B (zh) | 2014-09-26 | 2014-09-26 | 一种3d地图融合方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105447911B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107134000A (zh) * | 2017-05-23 | 2017-09-05 | 张照亮 | 一种融合现实的三维动态图像生成方法及系统 |
CN108984741A (zh) * | 2018-07-16 | 2018-12-11 | 北京三快在线科技有限公司 | 一种地图生成方法及装置、机器人和计算机可读存储介质 |
WO2020259361A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 地图更新方法及装置、终端、存储介质 |
CN113422915A (zh) * | 2021-03-19 | 2021-09-21 | 贵州北斗空间信息技术有限公司 | 一种监控视频融合显示方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872492A (zh) * | 2010-06-09 | 2010-10-27 | 中国科学院深圳先进技术研究院 | 三维仿真城市的多角度地图实现方法 |
CN101944240A (zh) * | 2010-08-20 | 2011-01-12 | 浙江大学 | 多机器人三维几何地图的融合方法 |
CN102096713A (zh) * | 2011-01-29 | 2011-06-15 | 广州都市圈网络科技有限公司 | 一种基于网格化二三维地图匹配方法及系统 |
KR20130053980A (ko) * | 2011-11-16 | 2013-05-24 | 재단법인대구경북과학기술원 | 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치 |
CN103810286A (zh) * | 2014-02-25 | 2014-05-21 | 合肥亿图网络科技有限公司 | 一种用于二维地图与三维地图匹配的坐标点定位方法 |
-
2014
- 2014-09-26 CN CN201410502744.3A patent/CN105447911B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872492A (zh) * | 2010-06-09 | 2010-10-27 | 中国科学院深圳先进技术研究院 | 三维仿真城市的多角度地图实现方法 |
CN101944240A (zh) * | 2010-08-20 | 2011-01-12 | 浙江大学 | 多机器人三维几何地图的融合方法 |
CN102096713A (zh) * | 2011-01-29 | 2011-06-15 | 广州都市圈网络科技有限公司 | 一种基于网格化二三维地图匹配方法及系统 |
KR20130053980A (ko) * | 2011-11-16 | 2013-05-24 | 재단법인대구경북과학기술원 | 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치 |
CN103810286A (zh) * | 2014-02-25 | 2014-05-21 | 合肥亿图网络科技有限公司 | 一种用于二维地图与三维地图匹配的坐标点定位方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107134000A (zh) * | 2017-05-23 | 2017-09-05 | 张照亮 | 一种融合现实的三维动态图像生成方法及系统 |
CN107134000B (zh) * | 2017-05-23 | 2020-10-23 | 张照亮 | 一种融合现实的三维动态图像生成方法及系统 |
CN108984741A (zh) * | 2018-07-16 | 2018-12-11 | 北京三快在线科技有限公司 | 一种地图生成方法及装置、机器人和计算机可读存储介质 |
CN108984741B (zh) * | 2018-07-16 | 2021-06-04 | 北京三快在线科技有限公司 | 一种地图生成方法及装置、机器人和计算机可读存储介质 |
WO2020259361A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 地图更新方法及装置、终端、存储介质 |
CN113422915A (zh) * | 2021-03-19 | 2021-09-21 | 贵州北斗空间信息技术有限公司 | 一种监控视频融合显示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105447911B (zh) | 2020-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11222471B2 (en) | Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data | |
JP7300438B2 (ja) | Rgbdカメラ姿勢のラージスケール判定のための方法およびシステム | |
CN109671115B (zh) | 使用深度值估计的图像处理方法和装置 | |
US9483703B2 (en) | Online coupled camera pose estimation and dense reconstruction from video | |
JP2012530323A (ja) | 3次元シーンの区分的平面再構成 | |
US9551579B1 (en) | Automatic connection of images using visual features | |
CN105023266A (zh) | 增强现实实现方法、装置和终端设备 | |
CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
EP3309743B1 (en) | Registration of multiple laser scans | |
CN105447911A (zh) | 一种3d地图融合方法、装置及电子设备 | |
WO2017041740A1 (en) | Methods and systems for light field augmented reality/virtual reality on mobile devices | |
CN107025647A (zh) | 图像篡改取证方法及装置 | |
JP2018010599A (ja) | 情報処理装置、パノラマ画像表示方法、パノラマ画像表示プログラム | |
CN112836698A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
CN107452003A (zh) | 一种含有深度信息的图像分割的方法及装置 | |
JP6016242B2 (ja) | 視点推定装置及びその分類器学習方法 | |
JP6996200B2 (ja) | 画像処理方法、画像処理装置、および画像処理プログラム | |
Lee et al. | A stereo-vision approach for a natural 3D hand interaction with an AR object | |
Kiran et al. | Automatic hump detection and 3D view generation from a single road image | |
Lee et al. | 3D interaction in Augmented Reality with stereo-vision technique | |
CN116543109A (zh) | 三维重建中孔洞填补方法及系统 | |
Kim et al. | Automatic 3D city modeling using a digital map and panoramic images from a mobile mapping system | |
Li et al. | Overview of 3d reconstruction methods based on multi-view | |
CN112767477A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
Li et al. | 3D line segment reconstruction in structured scenes via coplanar line segment clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |