CN105336002B - 信息处理方法及电子设备 - Google Patents

信息处理方法及电子设备 Download PDF

Info

Publication number
CN105336002B
CN105336002B CN201410376752.8A CN201410376752A CN105336002B CN 105336002 B CN105336002 B CN 105336002B CN 201410376752 A CN201410376752 A CN 201410376752A CN 105336002 B CN105336002 B CN 105336002B
Authority
CN
China
Prior art keywords
point cloud
moment
dimensional
cloud data
dimentional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410376752.8A
Other languages
English (en)
Other versions
CN105336002A (zh
Inventor
李南君
刘国良
申浩
宋爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410376752.8A priority Critical patent/CN105336002B/zh
Publication of CN105336002A publication Critical patent/CN105336002A/zh
Application granted granted Critical
Publication of CN105336002B publication Critical patent/CN105336002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种信息处理方法及电子设备,所述电子设备上设置有第一采集单元以及第二采集单元;所述方法包括:所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据;所述第二采集单元对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集;确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系;基于所确定的变换关系将所述三维点云数据构建至目标三维坐标系,形成构建三维地图的数据源。通过本发明的技术方案,能够降低构建三维地图的实施成本,可以应用于大范围的导航定位场景。

Description

信息处理方法及电子设备
技术领域
本发明涉及信息处理技术,尤其涉及一种信息处理方法及电子设备。
背景技术
室内三维地图不仅应用于室内设计,还广泛应用于在没有全球卫星导航系统(GPS)信号覆盖的区域进行导航,其中一种八叉树图(Octo-Maps)构建的3D地图,广泛应用于基于摄像头的定位导航的应用领域。
相关技术中构建3D地图时,往往采用以下方式:
1)采用3D摄像头或3D摄像头阵列的方式采集图像数据并构建3D地图;
2)采用昂贵的3D摄像头采集图像数据,以在大范围内构建3D地图;
上述方式1)只能在有限区域内构建3D地图,只适用于室内设计领域,难以满足定位导航应用场景的需要;上述方式2)实施过于复杂且成本高昂;综上所述,如何能够以低成本的方式构建大范围的三维地图,以满足导航定位等应用场景的需要,相关技术尚无有效解决方案。
发明内容
本发明实施例提供一种信息处理方法及电子设备,能够降低构建三维地图的实施成本,并且可以应用于大范围的导航定位场景。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种信息处理方法,应用于电子设备中,所述电子设备上设置有第一采集单元以及第二采集单元;
所述方法包括:
所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据;
所述第二采集单元对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集;
确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系;
基于所确定的变换关系将所述三维点云数据构建至目标三维坐标系,形成构建三维地图的数据源。
优选地,所述基于二维点云数据中相邻时刻的二维点云数据之间的变换关系,将所述三维点云数据构建至目标三维坐标系,包括:
将所述三维点云数据与所述二维点云数据进行同步;
基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中。
优选地,所述第一采集单元和所述第二采集单元采集点云数据时同时标识所采集的点云数据的采集时刻;
所述将三维点云数据与二维点云数据进行同步,包括:
提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻;
基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
优选地,所述基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中,包括:
提取第一变换关系至第i变换关系,所述第i变换关系为所述二维点云数据中第i+1时刻的二维点云数据与第i时刻的二维点云数据的变换关系,所述第一变换关系为所述二维点云数据中第一时刻的二维点云数据与第二时刻的二维点云数据的变换关系;
将同步后的所述三维点云数据中的第i+1时刻的三维点云数据利用所述第i变换关系至所述第一变换关系进行变换,将变换后得到的第i+1时刻的三维点云数据构建至所述目标三维坐标系;其中,
i为大于等于1的整数,所述第i时刻早于所述第i+1时刻。
优选地,所述基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中,包括:
基于所述第一时刻的二维点云数据确定所述电子设备的初始位姿;
基于所述电子设备的初始位姿,将第一时刻的三维点云数据构建至所述目标三维坐标系中;其中,
所述第一时刻为采集点云数据的初始时刻。
本发明实施例还提供一种电子设备,所述电子设备上包括第一采集单元以及第二采集单元;
所述第一采集单元用于对所述电子设备的行进环境进行采集,得到三维点云数据;
所述第二采集单元用于对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集;
所述电子设备还包括:
确定单元,用于确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系;
构建单元,用于基于所述确定单元所确定的变换关系将所述三维点云数据构建至目标三维坐标系,形成构建三维地图的数据源。
优选地,所述构建单元包括:
同步模块,用于将所述三维点云数据与所述二维点云数据进行同步;
构建模块,用于基于所述相邻时刻的二维点云数据之间的变换关系,将所述同步模块同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中。
优选地,所述第一采集单元还用于在采集点云数据时同时标识所采集的点云数据的采集时刻;所述第二采集单元还用于在采集点云数据时同时标识所采集的点云数据的采集时刻;
所述构建模块,还用于提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻;基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
优选地,所述构建模块包括:
提取子模块,用于提取第一变换关系至第i变换关系,所述第i变换关系为所述二维点云数据中第i+1时刻的二维点云数据与第i时刻的二维点云数据的变换关系,所述第一变换关系为所述二维点云数据中第一时刻的二维点云数据与第二时刻的二维点云数据的变换关系;
变换子模块,用于将所述同步模块同步后的所述三维点云数据中的第i+1时刻的三维点云数据利用所述第i变换关系至所述第一变换关系进行变换,将变换后得到的第i+1时刻的三维点云数据构建至所述目标三维坐标系;其中,
i为大于等于1的整数,所述第i时刻早于所述第i+1时刻。
优选地,所述构建模块包括:
确定子模块,用于基于所述第一时刻的二维点云数据确定所述电子设备的初始位姿;
构建子模块,用于基于所述电子设备的初始位姿,将第一时刻的三维点云数据构建至所述目标三维坐标系中;其中,
所述第一时刻为采集点云数据的初始时刻。
本实施例中,利用第一采集单元和第二采集单元同步对环境进行采集,这就使相邻采集时刻的二维点云数据之间的变换关系也可以用来表征相邻采集时刻的三维点云数据之间的关系;从而,电子设备能够利用二维点云数据构建三维点云数据至目标三维坐标系中;实际应用中,电子设备可以采用成本相对较低的具有三维点云数据采集能力的第一采集单元以降低实施成本,并根据待构建地图区域的范围大小而采用相应精度的第二采集单元,以保证能够支持对大范围的区域构建三维地图,满足在大范围区域定位导航的需要。
附图说明
图1为本发明实施例一中信息处理方法的实现流程示意图;
图2为本发明实施例二中信息处理方法的实现流程示意图;
图3为本发明实施例三中信息处理方法的实现流程示意图;
图4为本发明实施例四中信息处理方法的实现流程示意图;
图5为本发明实施例五中电子设备的结构示意图;
图6为本发明实施例五中构建单元的结构示意图;
图7为本发明实施例五中构建模块的结构示意图一;
图8为本发明实施例五中构建模块的结构示意图二;。
图9为本发明实施例五中电子设备中设置第一采集单元和第二采集单元的示意图。
具体实施方式
发明人在实施本发明的过程中发现,相关技术中构建三维地图的方式存在实施过于复杂且成本高昂、或者难以满足大范围定位导航场景需求的问题;发明人在实施本发明的过程中还发现,如果电子设备能够利用成本相对较低的3D摄像头对对环境进行采集得到三维点云数据,在采集三维点云数据的同时电子设备还对环境进行采集得到精度较高的二维点云数据,由于二维点云数据与三维点云数据为同步采集,因此可以利用二维点云数据之间的变换关系标识三维点云数据之间的变换关系,从而能够将集的三维点云数据融合,也即构建至目标三维坐标系中,作为构建三维地图或定位导航的数据源。
下面结合附图和具体实施例对本发明作进一步详细说明。
实施例一
本实施例记载一种信息处理方法,应用于电子设备中,作为一个示例,所述电子设备可以为支持在环境中行进的设备(如机器人);所述电子设备上设置有第一采集单元以及第二采集单元;
作为一个示例,第一采集单元可以为具有三维点云数据采集能力的功能模块,以采用3D摄像头为例,第一采集单元对环境采集的得到的三维点云数据包括环境的三维坐标以及对应三维坐标对应的特征描述信息如颜色(RGB,Red Green Blue)信息;第二采集单元可以为具有二维点云数据采集能力的功能模块,以采用激光测距雷达为例,第二采集单元采集得到的二维点云数据包括环境中的二维坐标信息、以及与该二维坐标对应的特征描述信息(如深度信息);
如图1所示,本实施例记载的信息处理方法包括以下步骤:
步骤101,所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据。
步骤102,所述第二采集单元对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集。
实际应用中,第一采集单元和第二采集单元可以在电子设备行进时同时对环境开始采集得到点云数据;所述第一采集单元可以设置一个或一个以上。
步骤103,确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系。
这里,所述的变换关系为二维点云数据中所有相邻采集时刻的二维点云数据之间的变换关系,变换关系包括旋转和/或平移;
作为一个示例,可以使用迭代最近点算法(ICP,Iterative Closest Point)计算第二采集单元在每两个相邻时刻所采集得到的二维点云数据之间的变换关系;作为另一个示例,对于采集时刻相邻的两个二维点云数据,可以首先提取出二维点云数据中的特征点,并采用特征点匹配的方式确定两个采集时刻相邻的二维点云数据之间的变换关系,特征点可以为环境中任何物体上的任何部位。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
步骤104,基于所确定的变换关系将所述三维点云数据构建至目标三维坐标系,形成构建三维地图的数据源。
步骤103中,得到了相邻采集时刻的二维点云数据之间的变换关系,由于第一采集单元和第二采集单元是同步对环境进行采集得到点云数据的,因此,相邻两个采集时刻(设为时刻j+1和时刻j,时刻j+1晚于时刻j)的二维点云数据之间的变换关系,同时也反映了时刻j+1和时刻j的三维点云数据之间的变换关系,所述变换关系同时也反映了电子设备行进时的位姿的变换;因此,可以将时刻j+1和时刻j的二维点云数据之间的变换关系,作为时刻j+1和时刻j的三维点云数据之间的变换关系,从而利用该变换关系融合三维点云数据,也即将三维点云数据构建至目标三维坐标系中,作为构建三维地图的数据源,或作为定位导航的数据源。
本实施例中,可以通过即时定位与地图构建(SLAM,Simultaneous Localizationand Mapping)方式确定特征点的特征描述信息一一构建特征八叉树图(F-OCTOMAP);通过检索F-OCTOMAP的方式进行闭环检测和定位。
本实施例中,利用第一采集单元和第二采集单元同步对环境进行采集,这就使相邻采集时刻的二维点云数据之间的变换关系可以用于标识三维点云数据之间的变换关系;从而,电子设备能够利用二维点云数据构建三维点云数据至目标三维坐标系中;实际应用中,电子设备可以采用成本相对较低的具有三维点云数据采集能力的第一采集单元以降低实施成本,并根据待构建地图区域的范围大小而采用相应精度的第一采集单元,以保证能够支持对大范围的区域构建三维地图,满足在大范围区域定位导航的需要。
实施例二
本实施例记载一种信息处理方法,应用于电子设备中,作为一个示例,所述电子设备可以为支持在环境中行进的设备(如机器人);所述电子设备上设置有第一采集单元以及第二采集单元;所述第一采集单元可以设置一个或一个以上。
作为一个示例,第一采集单元可以为具有三维点云数据采集能力的功能模块,以采用3D摄像头为例,第一采集单元对环境采集的得到的三维点云数据包括环境的三维坐标以及对应三维坐标对应的特征描述信息如颜色(RGB,Red Green Blue)信息;第二采集单元可以为具有二维点云数据采集能力的功能模块,以采用激光测距雷达为例,第二采集单元采集得到的二维点云数据包括环境中的二维坐标信息、以及与该二维坐标对应的特征描述信息(如深度信息);
如图2所示,本实施例记载的信息处理方法包括以下步骤:
步骤201,所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据。
步骤202,所述第二采集单元对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集。
实际应用中,第一采集单元和第二采集单元可以在电子设备行进时同时对环境开始采集得到点云数据。
步骤203,确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系。
这里,所述的变换关系为二维点云数据中所有相邻采集时刻的二维点云数据之间的变换关系,包括旋转和/或平移;
作为一个示例,可以使用迭代最近点算法(ICP,Iterative Closest Point)计算第二采集单元在每两个相邻时刻所采集得到的二维点云数据之间的变换关系;作为另一个示例,对于采集时刻相邻的两个二维点云数据,可以首先提取出二维点云数据中的特征点,并采用特征点匹配的方式确定两个采集时刻相邻的二维点云数据之间的变换关系;这里,所述特征点可以为环境中任何物体上的任何部位。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
步骤204,将所述三维点云数据与所述二维点云数据进行同步。
也即将第一采集单元输出的点云数据和第二采集单元输出的点云数据基于采集时刻进行标识,以确定在同一时刻采集的二维点云数据和三维点云数据。
步骤205,基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中,形成构建三维地图的数据源。
步骤203中,得到了相邻采集时刻的二维点云数据之间的变换关系,由于第一采集单元和第二采集单元是同步对环境进行采集得到点云数据的,因此,相邻两个采集时刻(设为时刻j+1和时刻j,时刻j+1晚于时刻j)的二维点云数据之间的变换关系,同时也反映了时刻j+1和时刻j的三维点云数据之间的变换关系,所述变换关系同时也反映了电子设备在环境中行进时位姿所发生的变换;也就是说,可以将为时刻j+1和时刻j的二维点云数据之间的变换关系,作为时刻j+1和时刻j的三维点云数据之间的变换关系,从而利用该变换关系融合三维点云数据,也即将三维点云数据构架至目标三维坐标系中,作为构建三维地图的数据源,或作为定位导航的数据源。
本实施例中,可以通过即时定位与地图构建(SLAM,Simultaneous Localizationand Mapping)方式确定特征点的特征描述信息一一构建特征八叉树图(F-OCTOMAP);通过检索F-OCTOMAP的方式进行闭环检测和定位。
本实施例中,利用第一采集单元和第二采集单元同步对环境进行采集,这就使相邻采集时刻的二维点云数据之间的变换关系也适用于三维点云数据之间的变换关系;从而,电子设备能够利用二维点云数据构建三维点云数据至目标三维坐标系中;实际应用中,电子设备可以采用成本相对较低的具有三维点云数据采集能力的第一采集单元以降低实施成本,并根据待构建地图区域的范围大小而采用相应精度的第一采集单元,以保证能够支持对大范围的区域构建三维地图,满足在大范围区域定位导航的需要。
实施例三
本实施例记载一种信息处理方法,应用于电子设备中,作为一个示例,所述电子设备可以为支持在环境中行进的设备(如机器人);所述电子设备上设置有第一采集单元以及第二采集单元;所述第一采集单元可以设置一个或一个以上。
作为一个示例,第一采集单元可以为具有三维点云数据采集能力的功能模块,以采用3D摄像头为例,第一采集单元对环境采集的得到的三维点云数据包括环境的三维坐标以及对应三维坐标对应的特征描述信息如颜色(RGB,Red Green Blue)信息;第二采集单元可以为具有二维点云数据采集能力的功能模块,以采用激光测距雷达为例,第二采集单元采集得到的二维点云数据包括环境中的二维坐标信息、以及与该二维坐标对应的特征描述信息(如深度信息);
如图3所示,本实施例记载的信息处理方法包括以下步骤:
步骤301,所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据,标识所采集的三维点云数据的采集时刻。
步骤302,所述第二采集单元对所述行进环境进行采集,得到二维点云数据,标识所采集的二维点云数据的采集时刻。
所述二维点云数据与所述三维点云数据为同步采集,实际应用中,第一采集单元和第二采集单元可以在电子设备行进时同时对环境开始采集得到点云数据。
步骤303,确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系。
这里,所述的变换关系为二维点云数据中所有相邻采集时刻的二维点云数据之间的变换关系,包括旋转和/或平移;
作为一个示例,可以使用迭代最近点算法(ICP,Iterative Closest Point)计算第二采集单元在每两个相邻时刻所采集得到的二维点云数据之间的变换关系;作为另一个示例,对于采集时刻相邻的两个二维点云数据,可以首先提取出二维点云数据中的特征点,并采用特征点匹配的方式确定两个采集时刻相邻的二维点云数据之间的变换关系;这里,所述特征点可以为环境中任何物体上的任何部位。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
步骤304,提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻。
步骤305,基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
步骤304至步骤305通过将第一采集单元输出的点云数据和第二采集单元输出的点云数据基于采集时刻进行标识,确定在同一时刻采集的二维点云数据和三维点云数据,实现了二维点云数据和三维点云数据的同步。
步骤306,基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中,形成构建三维地图的数据源。
步骤303中,得到了相邻采集时刻的二维点云数据之间的变换关系,由于第一采集单元和第二采集单元是同步对环境进行采集得到点云数据的,因此,相邻两个采集时刻(设为时刻j+1和时刻j,时刻j+1晚于时刻j)的二维点云数据之间的变换关系,同时也反映了时刻j+1和时刻j的三维点云数据之间的变换关系,所述变换关系同时也反映了电子设备在环境中行进时位姿所发生的变换;也就是说,可以将为时刻j+1和时刻j的二维点云数据之间的变换关系,作为时刻j+1和时刻j的三维点云数据之间的变换关系,从而利用该变换关系融合三维点云数据,也即将三维点云数据构架至目标三维坐标系中,作为构建三维地图的数据源,或作为定位导航的数据源。
本实施例中,可以通过即时定位与地图构建(SLAM,Simultaneous Localizationand Mapping)方式确定特征点的特征描述信息一一构建特征八叉树图(F-OCTOMAP);通过检索F-OCTOMAP的方式进行闭环检测和定位。
本实施例中,利用第一采集单元和第二采集单元同步对环境进行采集,这就使相邻采集时刻的二维点云数据之间的变换关系可以用于标识三维点云数据之间的变换关系;从而,电子设备能够利用二维点云数据构建三维点云数据至目标三维坐标系中;实际应用中,电子设备可以采用成本相对较低的具有三维点云数据采集能力的第一采集单元以降低实施成本,并根据待构建地图区域的范围大小而采用相应精度的第一采集单元,以保证能够支持对大范围的区域构建三维地图,满足在大范围区域定位导航的需要。
实施例四
本实施例记载一种信息处理方法,应用于电子设备中,作为一个示例,所述电子设备可以为支持在环境中行进的设备(如机器人);所述电子设备上设置有第一采集单元以及第二采集单元;所述第一采集单元可以设置一个或一个以上。
作为一个示例,第一采集单元可以为具有三维点云数据采集能力的功能模块,以采用3D摄像头为例,第一采集单元对环境采集的得到的三维点云数据包括环境的三维坐标以及对应三维坐标对应的特征描述信息如颜色(RGB,Red Green Blue)信息;第二采集单元可以为具有二维点云数据采集能力的功能模块,以采用激光测距雷达为例,第二采集单元采集得到的二维点云数据包括环境中的二维坐标信息、以及与该二维坐标对应的特征描述信息(如深度信息);
如图4所示,本实施例记载的信息处理方法包括以下步骤:
步骤401,所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据,标识所采集的三维点云数据的采集时刻。
步骤402,所述第二采集单元对所述行进环境进行采集,得到二维点云数据,标识所采集的二维点云数据的采集时刻。
所述二维点云数据与所述三维点云数据为同步采集,实际应用中,第一采集单元和第二采集单元可以在电子设备行进时同时对环境开始采集得到点云数据。
步骤403,确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系。
这里,所述的变换关系为二维点云数据中所有相邻采集时刻的二维点云数据之间的变换关系,包括旋转和/或平移;
作为一个示例,可以使用迭代最近点算法(ICP,Iterative Closest Point)计算第二采集单元在每两个相邻时刻所采集得到的二维点云数据之间的变换关系;作为另一个示例,对于采集时刻相邻的两个二维点云数据,可以首先提取出二维点云数据中的特征点,并采用特征点匹配的方式确定两个采集时刻相邻的二维点云数据之间的变换关系;这里,所述特征点可以为环境中任何物体上的任何部位。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
步骤404,提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻。
步骤405,基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
步骤404至步骤405通过将第一采集单元输出的点云数据和第二采集单元输出的点云数据基于采集时刻进行标识,确定在同一时刻采集的二维点云数据和三维点云数据,实现了二维点云数据和三维点云数据的同步。
步骤406,基于所述第一时刻的二维点云数据确定所述电子设备的初始位姿。
实际应用中,可以使用Gmapping算法对第一时刻的二维点云数据进行计算,得到电子设备在目标三维坐标系中的初始位姿。
步骤407,基于所述电子设备的初始位姿(以目标三维坐标系中的坐标标识),将第一时刻的三维点云数据构建至所述目标三维坐标系中,所述第一时刻为采集点云数据的初始时刻。
也即基于三维坐标系的原点与电子设备的初始位姿之间的变换关系(包括旋转和/或平移),将第一时刻的三维点云数据根据所述变换关系进行变换(例如进行旋转和/或平移),得到在目标三维坐标系中对应的第一时刻的三维点云数据,将变换得到的三维点云数据构建至目标三维坐标系中。
步骤406和步骤407是对第一时刻采集到的三维点云数据构建至目标三维坐标中的处理,下面对第一时刻之后的时刻所采集到的三维点云数据的处理进行说明。
步骤408,提取第一变换关系至第i变换关系,所述第i变换关系为所述二维点云数据中第i时刻的二维点云数据与第i+1时刻的二维点云数据的变换关系,所述第一变换关系为所述二维点云数据中第一时刻的二维点云数据与第二时刻的二维点云数据的变换关系。
步骤409,将同步后的所述三维点云数据中的第i+1时刻的三维点云数据基于所述第i变换关系至所述第一变换关系进行变换,将变换后的第i+1时刻的三维点云数据构建至所述目标三维坐标系;其中,i为大于等于1的整数,所述第i时刻早于所述第i+1时刻。
这里,基于所述第i变换关系至所述第一变换关系进行变换是递归式的变换,即第j变换关系变换的目标是利用第j+1变换关系变换后得到的三维点云数据;其中,j为小于i的正整数。
下面以i=1为例对步骤408和步骤409进行说明,在步骤408中,从步骤403的处理结果中提取第一变换关系和第二变换关系(第二变换关系也即第二时刻的二维点云数据与第一时刻的二维点云数据之间的变换关系);在步骤409中,首先利用第二变换关系对第二时刻的三维点云数据进行变换,将变换后的三维点云数据再利用第一变换关系进行变换,最终得到的第二时刻的三维点云数据是以目标三维坐标系中的坐标进行标识的,因此,可以将最终得到的变换后的第二时刻的三维点云数据构建至目标三维坐标系中,形成构建三维地图的数据源。
步骤403中,得到了相邻采集时刻的二维点云数据之间的变换关系,由于第一采集单元和第二采集单元是同步对环境进行采集得到点云数据的,因此,相邻两个采集时刻(设为时刻j+1和时刻j,时刻j+1晚于时刻j)的二维点云数据之间的变换关系,同时也反映了时刻j+1和时刻j的三维点云数据之间的变换关系,所述变换关系同时也反映了电子设备从开始行进时的初始位姿、在环境中行进时的位姿的变换;也就是说,可以将时刻j+1和时刻j的二维点云数据之间的变换关系,作为时刻j+1和时刻j的三维点云数据之间的变换关系,从而利用该变换关系融合三维点云数据,也即将三维点云数据构架至目标三维坐标系中,作为构建三维地图的数据源,或作为定位导航的数据源。本实施例中,可以通过即时定位与地图构建(SLAM,Simultaneous Localization and Mapping)方式确定特征点的特征描述信息一一构建特征八叉树图(F-OCTOMAP);通过检索F-OCTOMAP的方式进行闭环检测和定位。
本实施例中,利用第一采集单元和第二采集单元同步对环境进行采集,这就使相邻采集时刻的二维点云数据之间的变换关系也适用于三维点云数据之间的变换关系;从而,电子设备能够利用二维点云数据构建三维点云数据至目标三维坐标系中;实际应用中,电子设备可以采用成本相对较低的具有三维点云数据采集能力的第一采集单元以降低实施成本,并根据待构建地图区域的范围大小而采用相应精度的第一采集单元,以保证能够支持对大范围的区域构建三维地图,满足在大范围区域定位导航的需要。
这里需要指出的是:以下电子设备实施例中的描述,与上述方法描述是类似的,同方法的有益效果描述,不作赘述。对于本发明电子设备实施例中未披露的技术细节,请参照本发明方法实施例的描述。
实施例五
本实施例记载一种电子设备,如图5所示,所述电子设备包括第一采集单元51以及第二采集单元52;
所述第一采集单元51用于对所述电子设备的行进环境进行采集,得到三维点云数据;
所述第二采集单元52用于对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集;
所述电子设备还包括:
确定单元53,用于确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系;
构建单元54,用于基于所确定的变换关系将所述三维点云数据构建至目标三维坐标系,形成构建三维地图的数据源。
作为一个实施方式,如图6所示,所述构建单元54可以包括:
同步模块541,用于将所述三维点云数据与所述二维点云数据进行同步;
构建模块542,用于基于所述相邻时刻的二维点云数据之间的变换关系,将同步模块541同步后的所述三维点云数据中相邻时刻的三维点云数据构建至所述目标三维坐标系中。
优选地,所述第一采集单元51还用于在采集点云数据时同时标识所采集的点云数据的采集时刻;所述第二采集单元52还用于在采集点云数据时同时标识所采集的点云数据的采集时刻;
所述构建模块542,还用于提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻;基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
作为一个实施方式,如图7所示,所述构建模块542可以包括:
提取子模块5421,用于提取第一变换关系至第i变换关系,所述第i变换关系为所述二维点云数据中第i+1时刻的二维点云数据与第i时刻的二维点云数据的变换关系,所述第一变换关系为所述二维点云数据中第一时刻的二维点云数据与第二时刻的二维点云数据的变换关系;
变换子模块5422,用于将所述同步模块541同步后的所述三维点云数据中的第i+1时刻的三维点云数据利用所述第i变换关系至所述第一变换关系依次进行变换,将变换后得到的第i+1时刻的三维点云数据构建至所述目标三维坐标系;其中,
i为大于等于1的整数,所述第i时刻早于所述第i+1时刻。
作为一个实施方式,如图8所示,所述构建模块542可以包括:
确定子模块5423,用于基于所述第一时刻的二维点云数据确定所述电子设备的初始位姿;
构建子模块5424,用于基于所述电子设备的初始位姿,将第一时刻的三维点云数据构建至所述目标三维坐标系中;其中,所述第一时刻为采集点云数据的初始时刻。
实际应用中,第一采集单元51可以为具有三维点云数据采集能力的功能模块,以采用3D摄像头为例,第一采集单元51对环境采集的得到的三维点云数据包括环境的三维坐标以及对应三维坐标对应的特征描述信息如颜色(RGB,Red Green Blue)信息;第二采集单元52可以为具有二维点云数据采集能力的功能模块,以采用激光测距雷达为例,第二采集单元52采集得到的二维点云数据包括环境中的二维坐标信息、以及与该二维坐标对应的特征描述信息(如深度信息);电子设备中的确定单元53和构建单元54可由电子设备中的中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital SignalProcessor)或现场可编程门阵列(FPGA,Field Programmable Gate Array)实现;第一采集单元51的设置的数量可以为一个或多个,作为一个示例,电子设备可以为支持在环境中行进的设备(如机器人),一个示意图如图9所示,电子设备通过驱动滚动轮在环境中行进,且在电子设备中设置有多个不同朝向的第一采集单元51、并设置有第二采集单元52,其中确定单元53和构建单元54(图中未示出)的位置可以根据电子设备中可利用的空间设置,本实施例中不做限定。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种信息处理方法,应用于电子设备中,其特征在于,所述电子设备上设置有第一采集单元以及第二采集单元;
所述方法包括:
所述第一采集单元对所述电子设备的行进环境进行采集,得到三维点云数据;
所述第二采集单元对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集;
确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系;
将所述三维点云数据与所述二维点云数据进行同步;
基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至目标三维坐标系中。
2.根据权利要求1所述的方法,其特征在于,所述第一采集单元和所述第二采集单元采集点云数据时同时标识所采集的点云数据的采集时刻;
所述将三维点云数据与二维点云数据进行同步,包括:
提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻;
基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
3.根据权利要求1所述的方法,其特征在于,所述基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中,包括:
提取第一变换关系至第i变换关系,所述第i变换关系为所述二维点云数据中第i+1时刻的二维点云数据与第i时刻的二维点云数据的变换关系,所述第一变换关系为所述二维点云数据中第一时刻的二维点云数据与第二时刻的二维点云数据的变换关系;
将同步后的所述三维点云数据中的第i+1时刻的三维点云数据利用所述第i变换关系至所述第一变换关系进行变换,将变换后得到的第i+1时刻的三维点云数据构建至所述目标三维坐标系;其中,
i为大于等于1的整数,所述第i时刻早于所述第i+1时刻。
4.根据权利要求1所述的方法,其特征在于,所述基于所述相邻时刻的二维点云数据之间的变换关系,将同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中,包括:
基于第一时刻的二维点云数据确定所述电子设备的初始位姿;
基于所述电子设备的初始位姿,将第一时刻的三维点云数据构建至所述目标三维坐标系中;其中,
所述第一时刻为采集点云数据的初始时刻。
5.一种电子设备,其特征在于,所述电子设备上包括第一采集单元以及第二采集单元;
所述第一采集单元用于对所述电子设备的行进环境进行采集,得到三维点云数据;
所述第二采集单元用于对所述行进环境进行采集,得到二维点云数据,所述二维点云数据与所述三维点云数据为同步采集;
所述电子设备还包括:
确定单元,用于确定所述二维点云数据中相邻时刻的二维点云数据之间的变换关系;
构建单元,用于基于所述确定单元所确定的变换关系将所述三维点云数据构建至目标三维坐标系,形成构建三维地图的数据源;
其中,所述构建单元包括:
同步模块,用于将所述三维点云数据与所述二维点云数据进行同步;
构建模块,用于基于所述相邻时刻的二维点云数据之间的变换关系,将所述同步模块同步后的所述三维点云数据中相邻时刻的三维点云数据依次构建至所述目标三维坐标系中。
6.根据权利要求5所述的电子设备,其特征在于,所述第一采集单元还用于在采集点云数据时同时标识所采集的点云数据的采集时刻;所述第二采集单元还用于在采集点云数据时同时标识所采集的点云数据的采集时刻;
所述构建模块,还用于提取所述三维点云数据的采集时刻、以及所述二维点云数据的采集时刻;基于所提取的采集时刻,标识具有相同采集时刻的所述三维点云数据和所述二维点云数据为同步采集的点云数据。
7.根据权利要求5所述的电子设备,其特征在于,所述构建模块包括:
提取子模块,用于提取第一变换关系至第i变换关系,所述第i变换关系为所述二维点云数据中第i+1时刻的二维点云数据与第i时刻的二维点云数据的变换关系,所述第一变换关系为所述二维点云数据中第一时刻的二维点云数据与第二时刻的二维点云数据的变换关系;
变换子模块,用于将所述同步模块同步后的所述三维点云数据中的第i+1时刻的三维点云数据利用所述第i变换关系至所述第一变换关系进行变换,将变换后得到的第i+1时刻的三维点云数据构建至所述目标三维坐标系;其中,
i为大于等于1的整数,所述第i时刻早于所述第i+1时刻。
8.根据权利要求5所述的电子设备,其特征在于,所述构建模块包括:
确定子模块,用于基于第一时刻的二维点云数据确定所述电子设备的初始位姿;
构建子模块,用于基于所述电子设备的初始位姿,将第一时刻的三维点云数据构建至所述目标三维坐标系中;其中,
所述第一时刻为采集点云数据的初始时刻。
CN201410376752.8A 2014-08-01 2014-08-01 信息处理方法及电子设备 Active CN105336002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410376752.8A CN105336002B (zh) 2014-08-01 2014-08-01 信息处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410376752.8A CN105336002B (zh) 2014-08-01 2014-08-01 信息处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN105336002A CN105336002A (zh) 2016-02-17
CN105336002B true CN105336002B (zh) 2018-12-14

Family

ID=55286504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410376752.8A Active CN105336002B (zh) 2014-08-01 2014-08-01 信息处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN105336002B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548520A (zh) * 2016-11-16 2017-03-29 湖南拓视觉信息技术有限公司 一种点云数据去噪的方法和系统
CN106652028B (zh) * 2016-12-28 2020-07-03 深圳乐动机器人有限公司 一种环境三维建图方法及装置
US10824475B2 (en) 2017-03-24 2020-11-03 Tata Consultancy Services Limited Systems and methods for estimating computation times a-priori in fog computing robotics
CN107316328B (zh) * 2017-05-11 2020-07-07 浙江大学 一种基于二维激光扫描仪角点特征的闭环检测方法
CN109087359B (zh) * 2018-08-30 2020-12-08 杭州易现先进科技有限公司 位姿确定方法、位姿确定装置、介质和计算设备
CN108931983B (zh) * 2018-09-07 2020-04-24 深圳市银星智能科技股份有限公司 地图构建方法及其机器人
CN111220992B (zh) * 2018-11-26 2022-05-20 长沙智能驾驶研究院有限公司 雷达数据融合方法、装置及系统
CN111696144A (zh) * 2019-03-11 2020-09-22 北京地平线机器人技术研发有限公司 深度信息确定方法、深度信息确定装置及电子设备
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN115330652B (zh) * 2022-08-15 2023-06-16 北京城市网邻信息技术有限公司 点云拼接方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086681A (zh) * 2006-06-09 2007-12-12 中国科学院自动化研究所 基于立体视觉的游戏控制系统及方法
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN103729883A (zh) * 2013-12-30 2014-04-16 浙江大学 一种三维环境信息采集与重构系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321370A (ja) * 2004-04-05 2005-11-17 Sony Corp ナビゲーション装置、およびデータ処理方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086681A (zh) * 2006-06-09 2007-12-12 中国科学院自动化研究所 基于立体视觉的游戏控制系统及方法
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN103729883A (zh) * 2013-12-30 2014-04-16 浙江大学 一种三维环境信息采集与重构系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Three-Dimensional Indoor Mobile Mapping With Fusion of Two-Dimensional Laser Scanner and RGB-D Camera Data;Chenglu Wen et al.;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20140430;第11卷(第4期);第843页右栏第2段,第III部分,图1 *

Also Published As

Publication number Publication date
CN105336002A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN105336002B (zh) 信息处理方法及电子设备
EP2833322B1 (en) Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
US9754165B2 (en) Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
Ventura et al. Global localization from monocular slam on a mobile phone
US9405359B2 (en) Plane-characteristic-based markerless augmented reality system and method for operating same
WO2018148924A1 (zh) 用于三维点云重建的方法和装置
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
CN108537876A (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN105847750A (zh) 基于地理编码的无人机视频影像实时显示的方法及装置
Pan et al. Rapid scene reconstruction on mobile phones from panoramic images
KR20090108642A (ko) 이미지의 캡쳐링, 프로세싱, 및 렌더링 방법
Aldoma et al. Automation of “ground truth” annotation for multi-view RGB-D object instance recognition datasets
Castle et al. Keyframe-based recognition and localization during video-rate parallel tracking and mapping
JP2007004578A (ja) 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体
CN110223380A (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN110349215A (zh) 一种相机位姿估计方法及装置
Voulodimos et al. Kinematics-based extraction of salient 3D human motion data for summarization of choreographic sequences
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
Li et al. Feature-based SLAM for dense mapping
CN103971356B (zh) 基于视差信息的街景图像目标分割方法及装置
Guo et al. Improved marching tetrahedra algorithm based on hierarchical signed distance field and multi-scale depth map fusion for 3D reconstruction
CN109118576A (zh) 基于bds位置服务的大型场景三维重建系统及重建方法
Tornow et al. A multi-agent mobile robot system with environment perception and HMI capabilities
He et al. Portable 3D visual sensor based indoor localization on mobile device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant