CN103901884B - 信息处理方法和信息处理设备 - Google Patents

信息处理方法和信息处理设备 Download PDF

Info

Publication number
CN103901884B
CN103901884B CN201210573071.1A CN201210573071A CN103901884B CN 103901884 B CN103901884 B CN 103901884B CN 201210573071 A CN201210573071 A CN 201210573071A CN 103901884 B CN103901884 B CN 103901884B
Authority
CN
China
Prior art keywords
observation information
information
observation
circumstances
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210573071.1A
Other languages
English (en)
Other versions
CN103901884A (zh
Inventor
张贺
李南君
宋爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201210573071.1A priority Critical patent/CN103901884B/zh
Publication of CN103901884A publication Critical patent/CN103901884A/zh
Application granted granted Critical
Publication of CN103901884B publication Critical patent/CN103901884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种信息处理方法和信息处理设备。所述方法用于对未知环境进行地图构建,并且方法包括:获取由所述可移动电子设备获取的关于所述未知环境中的第一区域的第一观测信息;获取由所述辅助引导设备获取的关于所述未知环境中的第二区域的第二观测信息;将所述第一观测信息和所述第二观测信息融合为第三观测信息;以及根据所述第三观测信息来对所述未知环境进行地图构建。因此,在本发明中,可以根据丰富的观测信息来高效、准确地识别未知环境中的物体并且构建关于该未知环境的场景地图。

Description

信息处理方法和信息处理设备
技术领域
本发明涉及计算机技术领域,更具体地,本发明涉及一种信息处理方法和信息处理设备。
背景技术
即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是目前在机器人定位方面的热门研究课题。所谓SLAM就是将可移动电子设备(例如,移动机器人)定位与环境地图创建融为一体,即机器人在运动过程中根据自身位姿估计和传感器对环境的感知构建增量式环境地图,同时利用该地图实现自身的定位。
由于移动机器人在进行SLAM时,需要不断对所在环境进行探测和理解,所以它需要不断地构建三维地图,并且对地图中的物体进行识别。因此,如何高效准确地构建场景地图并且识别场景中的物体,将直接决定机器人的可用性与可靠性,并且也决定机器人所能提供的服务。
现有技术中的一种技术方案是比较传统地利用二维摄像头来采集图像,并且通过图像处理的方式,对视野中的物体进行分割识别,然后通过提取出的视觉特征进行特征匹配。然而,这种方式存在以下缺点:速度慢,效率低;容易产生累计误差;受光线影响严重;以及只依靠二维视觉特征,容易出现误匹配。
此外,现有技术中的另一技术方案是结合深度传感器与摄像头进行三维空间信息采集,进而构建三维地图,然后提取出相应物体几何特征与视觉特征,进行特征匹配。然而,这种方式存在以下缺点:速度慢,效率低;容易产生累计误差;以及由于没有俯视视角,只能看到物体正面和侧面,所以难以确定物体的空间范围。
因此,需要一种新型的信息处理方法和信息处理设备来解决上述问题。
发明内容
为了解决上述技术问题,根据本发明的一个方面,提供了一种信息处理方法,所述方法用于对未知环境进行地图构建,其特征在于,所述方法包括:获取由所述可移动电子设备获取的关于所述未知环境中的第一区域的第一观测信息;获取由所述辅助引导设备获取的关于所述未知环境中的第二区域的第二观测信息;将所述第一观测信息和所述第二观测信息融合为第三观测信息;以及根据所述第三观测信息来对所述未知环境进行地图构建。
此外,根据本发明的另一方面,提供了一种信息处理设备,所述设备用于对未知环境进行地图构建,其特征在于,所述设备包括:获取单元,用于获取由所述可移动电子设备获取的关于所述未知环境中的第一区域的第一观测信息,并获取由所述辅助引导设备获取的关于所述未知环境中的第二区域的第二观测信息;融合单元,用于将所述第一观测信息和所述第二观测信息融合为第三观测信息;以及构建单元,用于根据所述第三观测信息来对所述未知环境进行地图构建。
与现有技术相比,采用根据本发明的信息处理方法和信息处理设备,可以获得关于未知环境的多个观测信息,对多个观测信息进行融合,并且根据融合的结果来对该未知环境进行地图构建。因此,在本发明中,可以根据丰富的观测信息来高效、准确地识别未知环境中的物体并且构建关于该未知环境的场景地图。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1图示了根据本发明的信息处理方法。
图2图示了根据本发明的信息处理设备。
图3图示了根据本发明实施例的信息处理方法。
图4图示了根据本发明实施例的信息处理设备。
图5图示了根据本发明实施例的信息处理系统。
图6图示了根据本发明实施例的第一观测信息。
图7图示了根据本发明实施例的第二观测信息。
具体实施方式
将参照附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
在下文中,将参考图1和2来描述根据本发明的信息处理方法、可移动电子设备、引导设备和服务器。
图1图示了根据本发明的信息处理方法,而图2图示了根据本发明的信息处理设备100。
所述信息处理方法应用于一信息处理设备,并且用于对未知环境进行地图构建。如图2所图示的,所述信息处理设备100包括:获取单元110、融合单元120、和构建单元130。
如图1所图示的,所述信息处理方法包括:
在步骤S110中,获取单元110获取由所述可移动电子设备获取的关于所述未知环境中的第一区域的第一观测信息;
在步骤S120中,该获取单元110获取由所述辅助引导设备获取的关于所述未知环境中的第二区域的第二观测信息;
在步骤S130中,融合单元120将所述第一观测信息和所述第二观测信息融合为第三观测信息;以及
在步骤S140中,构建单元130根据所述第三观测信息来对所述未知环境进行地图构建。
由此可见,采用根据本发明的信息处理方法和信息处理设备,可以获得关于未知环境的多个观测信息,对多个观测信息进行融合,并且根据融合的结果来对该未知环境进行地图构建。因此,在本发明中,可以根据丰富的观测信息来高效、准确地识别未知环境中的物体并且构建关于该未知环境的场景地图。
在下文中,将参考图3和图4来描述根据本发明实施例的信息处理方法和信息处理设备。
图3图示了根据本发明实施例的信息处理方法,而图4图示了根据本发明实施例的信息处理设备100。
图3所图示的根据本发明实施例的信息处理方法可以应用于图4所图示的信息处理设备100。如图4所图示的,与图2中一样,该信息处理设备100可以包括:获取单元110、融合单元120、和构建单元130。此外,该信息处理设备100还可以包括:判断单元140。并且详细地,该融合单元120可以包括:分簇模块121、坐标转换模块122、关系获得模块123、配对模块124、和信息形成模块125。
该信息处理设备100用于对未知环境进行地图构建,并且例如可以属于一信息处理系统。
图5图示了根据本发明实施例的信息处理系统。
如图5所图示的,该信息处理系统可以包括:可移动电子设备10、辅助引导设备20和区域服务器30。
该可移动电子设备10可以是机器人(Robot),用于自主地或者根据区域服务器30提供的地图数据和路径规划数据来在未知环境中进行运动,同时执行即时定位与地图构建(SLAM),并且向区域服务器30发送所述即时定位与地图构建的结果,以用于更新在所述区域服务器30中存储的地图数据。
该辅助引导设备20可以是信标节点(Beacon Node,BN),其例如包括多个联网的光学或红外摄像头,以通过色标定位或移动物体检测等技术来观测和识别处于其视线范围内的可移动电子设备10,并获取直接的地图或定位信息,以便协助可移动电子设备10进行更为精确的SLAM操作,此外协助区域服务器30利用直接的地图图像来更新在所述区域服务器30中存储的地图数据。当然,根据本发明的辅助引导设备并不仅限于此。本领域的技术人员可以理解,其他类型的辅助引导设备也是可行的,例如,通过光波反馈进行引导的设备。
该区域服务器30(Regional Server,RS)可以处于未知环境中或未知环境之外的空间中。其可以由一个或多个区域服务器30构成,并且可以根据管辖区域或者管理的Robot进行进一步划分。例如,可以通过一个区域服务器30来负责向可移动电子设备10提供关于整个未知环境的导航信息,然而这样可能会对于该单个区域服务器30的性能要求过高而难以满足性能要求。替换地,也可以通过多个区域服务器30来分担地负责向可移动电子设备10提供关于整个未知环境的导航信息,即单个区域服务器30仅仅负责一定的管辖区域,并且仅仅向可移动电子设备10提供关于与其管辖区域对应的未知环境的导航信息。另外,该单个区域服务器30可以与其管辖区域内的可移动电子设备10通信以获取其构建的地图信息,并与其区域内的外部辅助引导设备20通信以获取直接的地图或定位信息,从而构建区域地图。
需要指出的是,在一个区域服务器的管辖区域中可以安装有一个或多个辅助引导设备,并且每一个辅助引导设备具有一定的观测区域。此外,一个区域服务器可以管理一个或多个可移动电子设备,以便协调每一个可移动电子设备在未知环境中的运动,而不会对其他可移动电子设备产生影响。
在该信息处理系统中,可移动电子设备10、辅助引导设备20和区域服务器30可以通过无线网络和/或有线网络而连接在一起,以便在相互之间传递各种信息。
该信息处理设备100可以是信息处理系统中的可移动电子设备10、辅助引导设备20和区域服务器30中的任何一个或多个设备。替换地,该信息处理设备100也可以作为一个软件模块和/或硬件装置而集成到上述设备中的一个或多个中。
例如,该信息处理设备100可以是信息处理系统中的可移动电子设备10,用于对自身获取的关于未知环境的观测信息和从辅助引导设备20接收到的、由该辅助引导设备20获取的关于未知环境的观测信息进行融合,并且根据融合的结果来对该未知环境进行地图构建。这个实现方式的优点在于:由于在可移动电子设备10的本地进行观测信息融合和地图构建,所以可以避免由于额外接收观测信息而产生的延迟,并且该可移动电子设备10还可以根据地图构建的结果来修正即时定位与地图构建的结果。然而,这个实现方式的缺点在于:由于存储容量和计算性能的限制,所以在机器人中执行信息融合和地图构建耗时较长且效果不好。
故此,优选地,可以将该信息处理设备100作为一个软件或硬件模块而实现在区域服务器30中。由于区域服务器30往往具有海量存储空间和极高的运算速度,所以这样可以快速高效地实现根据本发明实施例的信息处理方法。
故此,将在以下优选场景中说明本发明的实施例,其中将信息处理设备选取为信息处理系统中的区域服务器,并且将信息处理方法应用于对未知环境进行地图构建的过程中。然而,需要说明的是,本发明不限于此。而是,还可以将信息处理设备选取为信息处理系统中的任一设备或其组件,或者选取为独立于该信息处理设备的其他设备,而且,还可以将本发明应用于其他的一个或多个电子设备(例如,个人计算机、平板电脑、移动电话、多媒体播放器、个人数字助理、超级本、智能电视等)之间的任何交互过程。
如图3所图示的,根据本发明实施例的信息处理方法包括:
在步骤S210中,获取第一观测信息和第二观测信息。
当需要利用可移动电子设备10(例如,可移动的机器人Robot)来对一未知环境执行探索时,区域服务器30可以在极短时间内为Robot在未知环境中虚拟出一条无碰撞的最优路径。然后,机器人10可以根据该最优路径在未知环境中进行运动。替换地,该机器人10也可以自主地在未知环境中进行运动,以对所在环境进行探测和理解。
在该机器人10中装备有多种传感器,例如深度摄像头与RGB摄像头,从而不断获取外部环境信息。如图5中从机器人10所发出的阴影所图示的,该机器人10的摄像头的视角为水平视角。这样,在机器人10运动的过程中,它可以不断地执行即时定位与地图构建(SLAM),从而每隔预定时间获得一帧SLAM点云数据,作为第一观测信息。然后,该机器人10可以通过其通信单元与信息处理设备30(例如,区域服务器30)通信以向其发送最近获得的一帧点云数据。例如,该通信方式可以是经由TCP/IP网络的方式。通常而言,所述第一观测信息是所述未知环境的水平视角的三维彩色图像信息。
另外,当机器人10工作时,还可以申请辅助引导设备20的支持。如上所述,在未知环境中可能布置有一个或多个信标节点(BN)20,并且为了获得更大的视野,该BN例如可以布置在未知环境的上方空间(比如天花板上)或其他位置处。优选地,这些BN可以组成一个信标网络,并且由该信标网络执行图像捕捉的区域可以对应于该区域服务器所管辖的未知环境。
例如,该辅助引导设备20可以包括一个或多个摄像头,用于观测和识别处于其视线范围内的物体,其中各摄像头的底座固定在一起,并且各摄像头之间的光轴夹角可调节。如图5中从BN 20所发出的阴影所图示的,该BN 20的摄像头的视角为俯视视角。优选地,该捕捉单元210可以包括两个摄像头,并且两个摄像头之间的光轴夹角为60度,并且其覆盖面积为2m×8m。通过如此配置的摄像头,与传统的单个摄像头相比,其视野范围更宽,从而可以容易地获得视线范围内的机器人10、障碍物、临时物体、和地图的像素数据等,作为第二观测信息。通常而言,该第二观测信息是所述未知环境的俯视视角的二维灰度图像信息。
显然,上述第一观测信息和第二观测信息不限于此。该第一观测信息和该第二感测信息也可以是二维彩色图像信息、三维彩色图像信息或三维灰度图像信息中的任何一个。
相应地,在信息处理设备100(例如,本发明的实施例的区域服务器30)中,获取单元110不断地从机器人10获取关于所述未知环境中的第一区域的第一观测信息(即,上述的点云数据),并同时,该获取单元110还从BN 20获取关于所述未知环境中的第二区域的第二观测信息(即,上述的像素数据)。例如,该获取单元110可以是一个通信单元,其通过有线或优选的无线(例如,WIFI、红外、蓝牙、近场通信等)方式连接到该机器人10和BN 20。
此外,优选地,该辅助引导设备20还可以向机器人10传送观测到的2D地图,并对当前场景进行初步分析,以确定在该未知环境中哪些空间存在障碍物,确定观测到的障碍物的尺寸信息,并且对各个障碍物进行初步识别。另外,该BN 20还可以不断标定机器人的位置信息,并且当看到机器人10后,就告诉它的位置,省去机器人执行SLAM的定位时间。这可以使得机器人10基于BN网络协同系统获得性能提高。
在步骤S220中,判断是否存在重叠区域。
接下来,在信息处理设备100(即,区域服务器30)中,判断单元140可以根据所述可移动电子设备的第一位姿信息和所述辅助引导设备的第二位姿信息来判断在所述第一区域和第二区域中是否存在重叠区域。
具体地,当通过获取单元110来从机器人10接收点云数据的时候,该区域服务器30可以还从机器人10接收该机器人10的位置和姿态信息,从而使得RS 30根据上述信息来确定机器人10的摄像头所捕捉到的第一区域。
同理,当通过获取单元110来从BN 20接收像素数据的时候,该区域服务器30可以还从BN 20接收该BN 20的位置和姿态信息,从而使得RS 30根据上述信息来确定BN 20的摄像头所捕捉到的第二区域。
然后,该判断单元140判断该第一区域与该第二区域是否存在重叠的区域,也就是说,判断机器人10的摄像头的视野与BN 20的摄像头的视野是否存在交集。只有当在所述第一区域和第二区域中存在重叠区域时,该判断单元140才通知后续的融合单元120执行相应操作,从而避免当在所述第一区域和第二区域中根本不存在重叠区域时融合单元120白白浪费系统功率和运算资源。
在步骤S230中,判断是否存在相符的观测信息。
接下来,在信息处理设备100中,判断单元140还可以分析所述第一观测信息和所述第二观测信息,并且判断在所述第一观测信息和所述第二观测信息中是否存在相符的观测信息。
具体地,该判断单元140可以对从机器人10接收的点云数据进行初步分析。例如,该判断单元140可以对该点云数据执行法向量估计,根据法向量估计的结果来对所捕捉到的未知环境的图像进行分簇。例如,可以将该点云数据中相邻的且具有相同法向量的点云数据分为一簇。然后,该判断单元140可以根据分簇的结果来进行平面提取和轮廓提取,以大体识别出在该未知环境中可能存在的物体。替换地,该判断单元140也可以更加简单地通过点云数据中的色度值和/或亮度值来区分出多个物体。
图6图示了根据本发明实施例的第一观测信息。
例如,该判断单元140从机器人10接收到的点云数据(第一观测信息)如图6所图示的。于是,根据该点云数据,该判断单元140可以大致判断出,在机器人10所捕捉到的该未知环境中存在第一挡板601、椅子602、第二挡板603、柜子604、柱子605、和墙壁606等物体。
同理,该判断单元140还可以对从BN 20接收像素数据进行初步分析。例如,该判断单元140可以对该像素数据执行梯度估计,根据梯度估计的结果来对所捕捉到的未知环境的图像进行分簇。例如,可以将该梯度估计中相邻的且具有相同梯度的像素数据分为一簇。然后,该判断单元140可以根据分簇的结果来进行边缘提取,以大体识别出在该未知环境中可能存在的物体。替换地,该判断单元140也可以更加简单地通过像素数据中的灰度值来区分出多个物体。
图7图示了根据本发明实施例的第二观测信息。
例如,该判断单元140从BN 20接收到的像素数据(第二观测信息)如图7所图示的。于是,根据该像素数据,该判断单元140可以大致判断出,在BN 20所捕捉到的该未知环境中存在第一挡板701、椅子702、第二挡板703、柜子704、柱子705、和墙壁706等物体。
然后,该判断单元140判断该第一观测信息和该第二观测信息中是否存在相符的观测信息,也就是说,判断在机器人10的摄像头的视野中与BN 20的摄像头的视野中是否存在大致看起来相同的物体。只有当存在该相同物体时,该判断单元140才通知后续的融合单元120对该第一观测信息和该第二观测信息进行融合,从而融合单元120在融合过程中产生错误的融合。在一个简单示例中,如果该判断单元140在第一观测信息中提取到红色信息,而在第二观测信息中没有发现任何红色信息,则可以快速判断出两者不存在相符的观测信息。
需要说明的是,这里,为了防止由于获取单元110接收到错误的观测信息而导致判断单元140出现误判,优选地,该判断单元140可以在步骤S220和S230中执行两次判断,以便能够最大限度地确保融合的正确性和有效性。然而,为了节约系统功耗,在信息处理设备100中可以不包括该判断单元140,即不执行判断操作,或者该判断单元140也可以仅仅执行一次判断操作。
在步骤S240中,将第一观测信息和第二观测信息融合为第三观测信息。
接下来,在信息处理设备100(即,区域服务器30)中,融合单元120将由所述可移动电子设备获取10的第一观测信息和由所述辅助引导设备20获取的第二观测信息融合为第三观测信息。
具体地,在该融合单元120中,分簇模块121将所述第一观测信息分簇为第一集合,所述第一集合包括一个或多个元素,并且将所述第二观测信息分簇为第二集合,所述第二集合包括一个或多个元素。
例如,该分簇模块121通过从来自机器人10的当前扫描的信息中按照空间法向量进行分割,以得到作为第一集合的簇{S1,S2,S3,S4,S5,S6…},并且通过从来自BN 20的当前观测图像中按照梯度进行分割,以得到作为第二集合的簇{C1,C2,C3,C4,C5,C6…}。例如,该第一集合中的每一个元素S1,S2,S3,S4,S5,S6是很可能组成一个物体的一组点云数据,比如该元素S1-S6可以分别对应于图6中的第一挡板601、椅子602、第二挡板603、柜子604、柱子605、和墙壁606;而同样地,该第二集合中的每一个元素C1,C2,C3,C4,C5,C6也是很可能组成一个物体的一组像素数据,比如该元素C1-C6可以分别对应于图7中的第一挡板701、椅子702、第二挡板703、柜子704、柱子705、和墙壁706。
然后,坐标转换模块122获取可移动电子设备与所述辅助引导设备之间的相对位置关系。
例如,当将信标网络中的每个BN布置在未知环境中时,可以向每个BN分配一个绝对坐标。并且,当机器人10在未知环境中运动时,它通过SLAM可以获得其自身的绝对坐标。这样,即可获得两者的相对位置关系。然而,由于机器人10执行的SLAM过程可能会存在偏差,所以优选地,当机器人10进入某一BN 20的视野的过程中,该BN 20可以根据直接捕捉到的图像来确定该机器人10与自身的相对坐标,从而根据自身的绝对坐标进一步获得该机器人10的绝对坐标,并进而获得该相对位置关系。
如上所述,由于该机器人10和BN 20在未知环境中都具有坐标信息,所以它们所捕捉到的图像数据也可以具有坐标信息。
这里,假设所述第一观测信息具有第一坐标系,而所述第二观测信息具有第二坐标系。由于机器人10所获得的点云数据是三维数据,所以该第一坐标系是一个三维坐标系(x,y,z);而由于该BN 20所获得的像素数据是二维数据,所以该第二坐标系是二维坐标系(x,y)。
在该坐标转换模块122根据机器人10与BN 20的坐标来确定出两者之间的相对位置关系之后,它将所述第一集合中的元素S1,S2,S3,S4,S5,S6从所述第一坐标系转换到所述第二坐标系。也就是说,该坐标转换模块122将各个元素从来自机器人视角的三维坐标系(x,y,z)转换为来自摄像头视角的二维坐标系(x,y)。在这个过程之后,与该第一集合中的每个元素S1,S2,S3,S4,S5,S6相关的高度坐标z将被丢弃,而仅仅保留它们在未知环境中的平面坐标。
此后,关系获得模块123在所述第二坐标系中确定所述第一观测信息与坐标点的投影关系,根据所述投影关系来所述第一集合中的元素投影到相应坐标点,并且通过在每一个坐标点上确定所述第一集合中的元素与所述第二集合中的元素的对应关系来获得所述映射关系。
例如,在该坐标转换模块122将第一集合中的元素S1,S2,S3,S4,S5,S6从三维坐标系(x,y,z)转换到二维坐标系(x,y)之后,该元素S1,S2,S3,S4,S5,S6仅仅包括平面坐标信息,这时,该关系获得模块123可以通过将转换后的三维点云朝向摄像头CCD进行投影来计算出每一个原有三维点所对应的像素位置,即该原有三维点实际对应于摄像头所捕捉到的图像中的哪个像素点。这样,就可以根据每个坐标点和像素点之间的投影关系来得到匹配的簇对。
于是,在融合单元120中,配对模块124可以根据第一集合和第二集合的映射关系来对第一集合中的元素与第二集合中的元素进行配对,以得到匹配的簇对。
假设三维点云数据中的S1,S2,S3,S4,S5,S6分别对应于二维像素数据和的C1,C2,C3,C4,C5,C6,即图6中的第一挡板601、椅子602、第二挡板603、柜子604、柱子605、和墙壁606分别对应于图7中的第一挡板701、椅子702、第二挡板703、柜子704、柱子705、和墙壁706。这样,该配对模块124就可以得到匹配的簇对{(C1,S1),(C2,S2),(C3,S3),(C4,S4),(C5,S5),(C6,S6)…},可以看出,其中包括有多个所配对的元素对。
最后,信息形成模块125可以将得到的匹配簇对{(C1,S1),(C2,S2),(C3,S3),(C4,S4),(C5,S5),(C6,S6)…}中的观测信息进行融合,并将它作为所述第三观测信息发送到后续模块以进行全面的对象识别。例如,可以对于每一个簇对中的颜色分布、法向量分布、物体的尺寸大小、几何形状等信息进行融合,这样可以获得关于未知环境中第一挡板、椅子、第二挡板、柜子、柱子、和墙壁更加全面的观测信息。
另外,优选地,还可以对于每个簇对中的第一观测信息和第二观测信息分配一个权重,以决定最终的融合值。例如,该权重的分配原则可以为:由于BN 20的摄像头拍摄的信息更加直观和稳定可靠,所以在一般情况下向第二观测信息赋予高权重值。然而,本发明不限于此。例如,还可以向距离该物体近的观测信息赋予高权重值、向分辨率更高的观测信息赋予高权重值、向色彩值更加丰富的观测信息赋予高权重值。
在步骤S250中,根据第三观测信息来对未知环境进行地图构建。
在融合单元120将所述第一观测信息和所述第二观测信息融合为第三观测信息之后,构建单元130根据所述第三观测信息来确定所述重叠区域中的物体的空间范围,从所述第三观测信息中提取关于所述空间范围的所有属性信息,并且根据所述空间范围的所有属性信息和先验知识来对所述物体进行识别。
具体地,根据融合后的观测信息,该构建单元130可以首先准确地定位每一个障碍物精确的空间范围。然后,该构建单元130可以将每一个障碍物独自进行特征分析。根据包括三维几何信息和二维的视觉信息的融合观测信息,再结合一定的先验知识,该构建单元130可以非常方便地识别三维点云数据中一个物体的哪个边缘对应于二维像素数据中相同物体的哪个边缘,从而绘制出每个物体的图像,进而识别出未知环境里面的桌子、墙壁、窗户、橱柜等全部物体,以准确快速地完成未知环境的地图构建。
由此可见,采用根据本发明实施例的信息处理方法和信息处理设备,可以获得关于未知环境的丰富视角的观测信息,判断这些观测信息是否具有融合的可能性,并仅仅对存在匹配的观测信息进行融合,以便根据融合的结果来对该未知环境进行更加准确地地图构建。
因此,相比现有技术中的方案,在本发明中,具有以下优点:
1.具有完整的视角:经过融合后的观测信息包括来自俯视视角的BN摄像头的观测信息和来自在机器人正面和侧面上装备的三维摄像头的观测信息,这样可以获取更加完整的场景信息。
2.快速准确的物体识别性能:通过将点云数据与像素数据进行融合,不仅能够获取几何特征和视觉特征,同时还能获取物体的尺寸和颜色特征,这可以快速而准确地过滤掉可能被误识别的物体。
3.快速准确的地图融合能力:通过BN摄像头进行绝对定位,就好像在户外利用GPS进行定位一样,可以快速精准地对机器人进行定位而且还能消除累计误差,因此能非常准确地构建三维地图。
需要说明的是,尽管在上文中以特定的顺序描述了根据本发明实施例的信息处理方法,但是本发明不限于此。例如,显然,步骤S220和步骤S230可以仅仅执行一者,而并非全部执行。而且,步骤S230可以在步骤S220之前执行或者与之同时执行。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助于软件加必需的硬件平台的方式来实现,当然也可以全部通过软件、或硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁盘、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在上面详细描述了本发明的各个实施例。然而,本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,组合或子组合,并且这样的修改应落入本发明的范围内。

Claims (14)

1.一种信息处理方法,所述方法用于对未知环境进行地图构建,其特征在于,所述方法包括:
获取由可移动电子设备获取的关于所述未知环境中的第一区域的第一观测信息;
获取由辅助引导设备获取的关于所述未知环境中的第二区域的第二观测信息;
将所述第一观测信息和所述第二观测信息融合为第三观测信息;以及
根据所述第三观测信息来对所述未知环境进行地图构建;
在所述将所述第一观测信息和所述第二观测信息融合为第三观测信息的步骤之前,所述方法还包括:
根据所述可移动电子设备的第一位姿信息和所述辅助引导设备的第二位姿信息来判断在所述第一区域和第二区域中是否存在重叠区域。
2.根据权利要求1的方法,其特征在于,
如果在所述第一区域和第二区域中存在重叠区域,则执行所述将所述第一观测信息和所述第二观测信息融合为第三观测信息的步骤。
3.根据权利要求1的方法,其特征在于,在所述将所述第一观测信息和所述第二观测信息融合为第三观测信息的步骤之前,所述方法还包括:
分析所述第一观测信息和所述第二观测信息;
判断在所述第一观测信息和所述第二观测信息中是否存在相符的观测信息;以及
如果在所述第一观测信息和所述第二观测信息中存在相符的观测信息,则执行所述将所述第一观测信息和所述第二观测信息融合为第三观测信息的步骤。
4.根据权利要求1的方法,其特征在于,所述将所述第一观测信息和所述第二观测信息融合为第三观测信息的步骤包括:
将所述第一观测信息分簇为第一集合,所述第一集合包括一个或多个元素;
将所述第二观测信息分簇为第二集合,所述第二集合包括一个或多个元素;
根据所述第一集合与所述第二集合的映射关系来对第一集合中的第一元素与第二集合中的第二元素进行配对;以及
形成第三集合作为所述第三观测信息,所述第三集合包括一个或多个所配对的元素对。
5.根据权利要求4的方法,其特征在于,所述第一观测信息具有第一坐标系,而所述第二观测信息具有第二坐标系,并且
在所述根据所述第一集合与所述第二集合的映射关系来对第一集合中的第一元素与第二集合中的第二元素进行配对的步骤之前,所述方法还包括:
根据所述可移动电子设备与所述辅助引导设备之间的相对位置关系来将所述第一集合中的元素从所述第一坐标系转换到所述第二坐标系;以及
在所述第二坐标系中获得所述第一集合与所述第二集合的映射关系。
6.根据权利要求5的方法,其特征在于,所述在所述第二坐标系中获得所述第一集合与所述第二集合的映射关系的步骤包括:
在所述第二坐标系中确定所述第一观测信息与坐标点的投影关系;
根据所述投影关系来将所述第一集合中的元素投影到相应坐标点;以及
通过在每一个坐标点上确定所述第一集合中的元素与所述第二集合中的元素的对应关系来获得所述映射关系。
7.根据权利要求1的方法,其特征在于,所述根据所述第三观测信息来对所述未知环境进行地图构建的步骤包括:
根据所述第三观测信息来确定所述重叠区域中的物体的空间范围;
从所述第三观测信息中提取关于所述空间范围的所有属性信息;以及
根据所述空间范围的所有属性信息和先验知识来对所述物体进行识别。
8.一种信息处理设备,所述设备用于对未知环境进行地图构建,其特征在于,所述设备包括:
获取单元,用于获取由可移动电子设备获取的关于所述未知环境中的第一区域的第一观测信息,并获取由辅助引导设备获取的关于所述未知环境中的第二区域的第二观测信息;
融合单元,用于将所述第一观测信息和所述第二观测信息融合为第三观测信息;以及
构建单元,用于根据所述第三观测信息来对所述未知环境进行地图构建;
判断单元,用于在所述融合单元将所述第一观测信息和所述第二观测信息融合为第三观测信息之前,根据所述可移动电子设备的第一位姿信息和所述辅助引导设备的第二位姿信息来判断在所述第一区域和第二区域中是否存在重叠区域。
9.根据权利要求8的设备,其特征在于,所述判断单元进一步用于,如果在所述第一区域和第二区域中存在重叠区域,则通知所述融合单元将所述第一观测信息和所述第二观测信息融合为第三观测信息。
10.根据权利要求8的设备,其特征在于,所述设备还包括:
判断单元,用于在所述融合单元将所述第一观测信息和所述第二观测信息融合为第三观测信息之前,分析所述第一观测信息和所述第二观测信息,判断在所述第一观测信息和所述第二观测信息中是否存在相符的观测信息,并且如果在所述第一观测信息和所述第二观测信息中存在相符的观测信息,则通知所述融合单元将所述第一观测信息和所述第二观测信息融合为第三观测信息。
11.根据权利要求8的设备,其特征在于,所述融合单元包括:
分簇模块,用于将所述第一观测信息分簇为第一集合,所述第一集合包括一个或多个元素,并且将所述第二观测信息分簇为第二集合,所述第二集合包括一个或多个元素;
配对模块,用于根据所述第一集合与所述第二集合的映射关系来对第一集合中的第一元素与第二集合中的第二元素进行配对;以及
信息形成模块,用于形成第三集合作为所述第三观测信息,所述第三集合包括一个或多个所配对的元素对。
12.根据权利要求11的设备,其特征在于,所述第一观测信息具有第一坐标系,而所述第二观测信息具有第二坐标系,并且
所述配对模块还包括:
坐标转换模块,用于在所述配对模块根据所述第一集合与所述第二集合的映射关系来对第一集合中的第一元素与第二集合中的第二元素进行配对之前,根据所述可移动电子设备与所述辅助引导设备之间的相对位置关系来将所述第一集合中的元素从所述第一坐标系转换到所述第二坐标系;以及
关系获得模块,用于在所述第二坐标系中获得所述第一集合与所述第二集合的映射关系。
13.根据权利要求12的设备,其特征在于,所述关系获得模块在所述第二坐标系中确定所述第一观测信息与坐标点的投影关系,根据所述投影关系来将所述第一集合中的元素投影到相应坐标点,并且通过在每一个坐标点上确定所述第一集合中的元素与所述第二集合中的元素的对应关系来获得所述映射关系。
14.根据权利要求8的设备,其特征在于,所述构建单元根据所述第三观测信息来确定所述重叠区域中的物体的空间范围,从所述第三观测信息中提取关于所述空间范围的所有属性信息,并且根据所述空间范围的所有属性信息和先验知识来对所述物体进行识别。
CN201210573071.1A 2012-12-25 2012-12-25 信息处理方法和信息处理设备 Active CN103901884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210573071.1A CN103901884B (zh) 2012-12-25 2012-12-25 信息处理方法和信息处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210573071.1A CN103901884B (zh) 2012-12-25 2012-12-25 信息处理方法和信息处理设备

Publications (2)

Publication Number Publication Date
CN103901884A CN103901884A (zh) 2014-07-02
CN103901884B true CN103901884B (zh) 2017-09-29

Family

ID=50993272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210573071.1A Active CN103901884B (zh) 2012-12-25 2012-12-25 信息处理方法和信息处理设备

Country Status (1)

Country Link
CN (1) CN103901884B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739365B (zh) * 2014-12-10 2018-10-12 联想(北京)有限公司 信息处理方法及电子设备
WO2016115714A1 (zh) * 2015-01-22 2016-07-28 江玉结 基于色块标签的定位与地图构建方法及其装置
JP6762148B2 (ja) * 2015-07-09 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 地図生成方法、移動ロボット及び地図生成システム
JP6684681B2 (ja) * 2016-08-10 2020-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 動的地図構成方法、動的地図構成システム及び移動端末
CN108628337A (zh) * 2017-03-21 2018-10-09 株式会社东芝 路径生成装置、路径控制系统以及路径生成方法
CN107063275B (zh) * 2017-03-24 2020-05-12 重庆邮电大学 基于路侧设备的智能车辆地图融合系统及方法
WO2019089017A1 (en) 2017-10-31 2019-05-09 Hewlett-Packard Development Company, L.P. Mobile robots to generate occupancy maps
US10890920B2 (en) * 2018-02-15 2021-01-12 Aptiv Technologies Limited Vehicle map-data gathering system and method
CN109643127B (zh) * 2018-11-19 2022-05-03 深圳阿科伯特机器人有限公司 构建地图、定位、导航、控制方法及系统、移动机器人
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
CN109895100B (zh) * 2019-03-29 2020-10-16 深兰科技(上海)有限公司 一种导航地图的生成方法、装置及机器人
CN110363179B (zh) * 2019-07-23 2022-03-25 联想(北京)有限公司 地图获取方法、装置、电子设备以及存储介质
CN110874101B (zh) * 2019-11-29 2023-04-18 合肥哈工澳汀智能科技有限公司 一种机器人清扫路径的生成方法及装置
WO2022133986A1 (en) * 2020-12-25 2022-06-30 SZ DJI Technology Co., Ltd. Accuracy estimation method and system
CN112884892B (zh) * 2021-02-26 2023-05-02 武汉理工大学 基于路侧装置的无人矿车位置信息处理系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101619985A (zh) * 2009-08-06 2010-01-06 上海交通大学 基于可变形拓扑地图的服务机器人自主导航方法
CN101650891A (zh) * 2008-08-12 2010-02-17 三星电子株式会社 创建3维网络地图的方法和控制自动行进设备的方法
CN101661098A (zh) * 2009-09-10 2010-03-03 上海交通大学 机器人餐厅多机器人自动定位系统
CN101920498A (zh) * 2009-06-16 2010-12-22 泰怡凯电器(苏州)有限公司 实现室内服务机器人同时定位和地图创建的装置及机器人
CN102194367A (zh) * 2010-03-09 2011-09-21 索尼公司 信息处理设备、地图更新方法、程序以及信息处理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064202A1 (en) * 2002-08-26 2006-03-23 Sony Corporation Environment identification device, environment identification method, and robot device
CN102445681B (zh) * 2011-09-30 2013-07-03 深圳市九洲电器有限公司 一种可移动设备的室内定位方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650891A (zh) * 2008-08-12 2010-02-17 三星电子株式会社 创建3维网络地图的方法和控制自动行进设备的方法
CN101920498A (zh) * 2009-06-16 2010-12-22 泰怡凯电器(苏州)有限公司 实现室内服务机器人同时定位和地图创建的装置及机器人
CN101619985A (zh) * 2009-08-06 2010-01-06 上海交通大学 基于可变形拓扑地图的服务机器人自主导航方法
CN101661098A (zh) * 2009-09-10 2010-03-03 上海交通大学 机器人餐厅多机器人自动定位系统
CN102194367A (zh) * 2010-03-09 2011-09-21 索尼公司 信息处理设备、地图更新方法、程序以及信息处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
家庭服务机器人SLAM;卜范骞等;《南昌大学学报(理科版)》;20070731;第31卷;期刊第97页 *

Also Published As

Publication number Publication date
CN103901884A (zh) 2014-07-02

Similar Documents

Publication Publication Date Title
CN103901884B (zh) 信息处理方法和信息处理设备
CN103162682B (zh) 基于混合现实的室内路径导航方法
Geraldes et al. UAV-based situational awareness system using deep learning
CN107967473B (zh) 基于图文识别和语义的机器人自主定位和导航
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN102142081B (zh) 图像处理设备、图像处理方法、以及程序
CN107491071B (zh) 一种智能多机器人协同测图系统及其方法
US20140072170A1 (en) 3d human pose and shape modeling
US20210274358A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
CN112050810B (zh) 一种基于计算机视觉的室内定位导航方法及系统
US20140152660A1 (en) Method for creating 3-d models by stitching multiple partial 3-d models
CN111080679A (zh) 一种对大型场所室内人员动态跟踪定位的方法
US20190378287A1 (en) System and method for object recognition using depth mapping
CN105136064A (zh) 一种运动目标三维尺寸检测系统及其方法
CN114399606A (zh) 基于立体可视化的交互展示系统、方法、设备
WO2022227761A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
JP2013242728A (ja) 画像監視装置
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
US20150180749A1 (en) Apparatus and method for mapping position information of virtual resources
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
Asad et al. Smartphone based guidance system for visually impaired person

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant