CN104424297B - 信息处理的方法及智能设备 - Google Patents
信息处理的方法及智能设备 Download PDFInfo
- Publication number
- CN104424297B CN104424297B CN201310392968.9A CN201310392968A CN104424297B CN 104424297 B CN104424297 B CN 104424297B CN 201310392968 A CN201310392968 A CN 201310392968A CN 104424297 B CN104424297 B CN 104424297B
- Authority
- CN
- China
- Prior art keywords
- information
- space
- spaces
- smart machine
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种信息处理的方法,包括:获取第一对象集合中第一对象的第一位置信息;根据第一对象集合中第一对象的第一位置信息确定涵盖第一对象集合中所有第一对象的在智能设备所处环境中的第一空间及第一空间的第二位置信息;将第一空间划分为至少两个以上的子空间;分别根据第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖第一空间中每个子空间的待匹配空间;将第一空间中每个子空间中的所有第一对象在第一空间中每个子空间对应的待匹配空间中分别进行匹配。本发明还公开了一种智能设备。本发明实施例大大减少了待匹配对象,通过并行方式对部分特征点分别匹配,提升了特征点的匹配查询效率。
Description
技术领域
本发明涉及信息处理技术,尤其涉及一种基于智能设备的三维地图信息处理方法及智能设备。
背景技术
目前,随着智能控制在工业中的应用越广泛,智能机器人正被应用于各种工艺生产中。利用智能机器人进行三维地图创建也是智能机器人的工业应用之一。当前在利用三维地图信息进行信息查询及信息匹配时,由于三维地图信息中的数据量信息较大,数据种类繁杂,在海量的三维地图信息进行相关信息的查询及匹配效率非常低,查询及匹配所占用的资源也比较多。
发明内容
有鉴于此,本发明实施例的主要目的在于提供一种信息处理的方法及智能设备,能对查询对象的特征点进行空间划分,按所划分空间确定对应的地图数据信息中的待匹配空间,将划分后空间中的特征点分别在其对应的待匹配空间中分别并行匹配,大大减少了待匹配对象,提升了特征点查询效率。
为达到上述目的,本发明实施例的技术方案是这样实现的:
一种信息处理的方法,应用于智能设备中;包括:
获取第一对象集合中第一对象的第一位置信息;
根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
将所述第一空间划分为至少两个以上的子空间;
分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度,并输出匹配结果。
一种智能设备,包括:获取单元、第一确定单元、划分单元、第二确定单元、匹配单元、第三确定单元和输出单元,其中:
获取单元,用于获取第一对象集合中第一对象的第一位置信息;
第一确定单元,用于根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
划分单元,用于将所述第一空间划分为至少两个以上的子空间;
第二确定单元,用于分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
匹配单元,用于将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配;
第三确定单元,用于确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
输出单元,用于输出所述匹配单元的匹配结果。
本发明的实施例中,获取第一对象集合中第一对象的第一位置信息;根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;将所述第一空间划分为至少两个以上的子空间;分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度,并输出匹配结果。本发明实施例在确定对智能设备采集的第一对象如特征点集合在预设的数据信息集合如三维地图信息中进行查询或匹配时,先按这些第一对象如特征点的位置确定能涵盖这些特征点的正方体空间,通过将所确定的正方体空间均分为八个不同的小正方体;根据小正方体的位置信息,为每个小正方体在预设的数据信息集合如三维地图信息中确定能涵盖小正方体的正方体,作为待匹配的正方体空间;然后将每个小正方体中的特征点与每个小正方体对应的待匹配的正方体空间中的第一对象分别进行匹配,确定每个小正方体中的每个特征点是否存在相同的第一对象,存在时即确定能匹配到,否则不能匹配;从而实现对特征点的查询。本发明实施例大大减少了待匹配对象,通过并行方式对部分特征点分别匹配,提升了第一对象的匹配查询效率。
附图说明
图1为本发明实施例一的信息处理的方法的流程示意图;
图2为本发明实施例二的信息处理的方法的流程示意图;
图3为本发明实施例三的信息处理的方法的流程示意图;
图4为本发明实施例四的信息处理的方法的流程示意图;
图5为本发明实施例的智能设备的组成结构示意图。
具体实施方式
本发明实施例,主要是针对当前三维地图信息中数据量大,对三维地图信息查询匹配效率低下的缺陷而提出。
本发明实施例主要是基于当前的特征点管理树图(OCTOMAP),在采集特征点时,根据所确定的特征点的位置信息,将每个特征点与该特征点的颜色信息如RGB信息,位置信息,特征描述信息如尺度、旋转等,与OCTOMAP中正方形节点相对应。这样,在应用地图信息时,可以按OCTOMAP中正方形节点划分方式对所采集到的或OCTOMAP中节点的特征点进行划分,以并行对划分后的特征点进行并行处理如匹配、查询等,提升本发明实施例的对地图信息的处理效率。
为使本发明的目的、技术方案和优点更加清楚明白,以下举实施例并参照附图,对本发明进一步详细说明。
图1为本发明实施例一的信息处理的方法的流程示意图,如图1所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头,作为一种示例,图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。该智能设备还具有图像处理能力。
步骤101,获取第一对象集合中第一对象的第一位置信息;
本示例中,第一对象可以为智能设备所取景图像中的物体的特征点;本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
本示例中,第一位置信息主要为特征点的位置信息,如可以是特征点的在所述智能设备所处环境中的坐标信息,该坐标信息为所述智能设备所处环境的全局坐标系中的坐标信息,该全局坐标系即为本说明实施例中的三维地图信息所依据的坐标系。
假设查询特征点的点集为S,S中将包含一组三维空间的查询特征点如(x1,y1,z1,x2,y2,z2,......xn,yn,zn)。其中,(x1,y1,z1)对应于特征点1,(x2,y2,z2)对应于特征点2,......(xn,yn,zn)对应于特征点n。
步骤102,根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
通过第一对象集合中第一对象的第一位置信息,确定出能涵盖第一对象集合中所有第一对象的第一空间。本示例中,第一空间为正方体空间,其为能涵盖当前查询特征点集合中所有特征点的正方体空间,该正方体空间最好设置为恰好能涵盖当前查询特征点集合中所有特征点的最小正方体。可根据实际需要,将第一空间的正方体空间设置为恰好能涵盖当前查询特征点集合中所有特征点及所述智能设备的正方体空间。
当根据当前查询特征点集合中所有特征点确定出第一空间的正方体后,该正方体的位置也就随即确定了。
以前述特征点集合中的特征点为特征点1至特征点n、查询特征点的点集为S为(x1,y1,z1,x2,y2,z2,......xn,yn,zn)为例,计算包含点集S的最小立方体V,可通过计算立方体的两个对角定点实现,下角点为Pmin=(Xmin,Ymin,Zmin)和上角点Pmax=(Xmax,Ymax,Zmax)。其中的Xmin,Ymin,Zmin和Xmax,Ymax,Zmax可以通过遍历S集中的点来确定。
步骤103,将所述第一空间划分为至少两个以上的子空间;
将步骤102中确定的第一空间划分为至少两个以上的子空间,由于第一空间为正方体空间,一般是将其划分为八个均等的小正方体,也可以根据需要,将其划分为四个、六个、九个、十二个、十六个等任意个相等的正方体。由于目前的三维地图信息一般采用特征点管理树图(OCTOMAP)结构,最好将第一空间划分为八个相同的立方体子空间,以方便继续对该立方体子空间进行下一级划分,以实现与OCTOMAP结构对应,快速实现地图信息的查询及匹配处理等。
步骤104,分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
当第一空间的位置确定之后,该第一空间中每个子空间的位置也随即被确定。这样,可以确定第一空间的每个子空间在OCTOMAP中的位置,并在OCTOMAP中确定能涵盖第一空间的子空间的正方体节点,作为待匹配空间。
对于第一空间的各子空间而言,其各自对应的待匹配空间可能有重叠部分,也可能出现多个子空间对应于一个待匹配空间的可能。
步骤105,将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
将所述第一空间中每个子空间中的所有特征点,与对应于子空间的待匹配空间的特征点进行匹配;本示例中,可以以特征点的位置信息作为特征点是否匹配的条件,当确定子空间中的特征点的位置与待匹配空间的特征点的位置重叠时,确定该两特征点匹配;也可以以特征点的其他属性作为是否匹配的条件,如将特征点的颜色信息及位置信息作为匹配条件,只有在特征点之间的位置匹配且颜色信息均匹配时,确定特征点之间匹配。
当然,本发明实施例中,以特征点的特征描述信息作为特征点之间的匹配条件是最准确的。特征描述信息是表征特征点的属性的信息。
具体地,可通过SIFT算法、SURF算法或ORB算法等确定特征点集合中每个特征点的信息及特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
当特征点的特征描述信息的相似度达到设定阈值时,确定特征点之间匹配。
步骤206,输出匹配结果。
输出子空间中能与待匹配空间中匹配的特征点,以及未能与待匹配空间中匹配的特征点。
图2为本发明实施例二的信息处理的方法的流程示意图,如图2所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头,作为一种示例,图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。该智能设备还具有图像处理能力。
步骤201,获取第一对象集合中第一对象的第一位置信息;
本示例中,第一对象可以为智能设备所取景图像中的物体的特征点;本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
本示例中,第一位置信息主要为特征点的位置信息,如可以是特征点的在所述智能设备所处环境中的坐标信息,该坐标信息为所述智能设备所处环境的全局坐标系中的坐标信息,该全局坐标系即为本说明实施例中的三维地图信息所依据的坐标系。
假设查询特征点的点集为S,S中将包含一组三维空间的查询特征点如(x1,y1,z1,x2,y2,z2,......xn,yn,zn)。其中,(x1,y1,z1)对应于特征点1,(x2,y2,z2)对应于特征点2,......(xn,yn,zn)对应于特征点n。
步骤202,根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
通过第一对象集合中第一对象的第一位置信息,确定出能涵盖第一对象集合中所有第一对象的第一空间。本示例中,第一空间为正方体空间,其为能涵盖当前查询特征点集合中所有特征点的正方体空间,该正方体空间最好设置为恰好能涵盖当前查询特征点集合中所有特征点的最小正方体。可根据实际需要,将第一空间的正方体空间设置为恰好能涵盖当前查询特征点集合中所有特征点及所述智能设备的正方体空间。
当根据当前查询特征点集合中所有特征点确定出第一空间的正方体后,该正方体的位置也就随即确定了。
以前述特征点集合中的特征点为特征点1至特征点n、查询特征点的点集为S为(x1,y1,z1,x2,y2,z2,......xn,yn,zn)为例,计算包含点集S的最小立方体V,可通过计算立方体的两个对角定点实现,下角点为Pmin=(Xmin,Ymin,Zmin)和上角点Pmax=(Xmax,Ymax,Zmax)。其中的Xmin,Ymin,Zmin和Xmax,Ymax,Zmax可以通过遍历S集中的点来确定。
步骤203,将所述第一空间划分为至少两个以上的子空间;
将步骤202中确定的第一空间划分为至少两个以上的子空间,由于第一空间为正方体空间,一般是将其划分为八个均等的小正方体,也可以根据需要,将其划分为四个、六个、九个、十二个、十六个等任意个相等的正方体。由于目前的三维地图信息一般采用特征点管理树图(OCTOMAP)结构,最好将第一空间划分为八个相同的立方体子空间,以方便继续对该立方体子空间进行下一级划分,以实现与OCTOMAP结构对应,快速实现地图信息的查询及匹配处理等。
步骤204,分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
当第一空间的位置确定之后,该第一空间中每个子空间的位置也随即被确定。这样,可以确定第一空间的每个子空间在OCTOMAP中的位置,并在OCTOMAP中确定能涵盖第一空间的子空间的正方体节点,作为待匹配空间。
对于第一空间的各子空间而言,其各自对应的待匹配空间可能有重叠部分,也可能出现多个子空间对应于一个待匹配空间的可能。
步骤205,将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
将所述第一空间中每个子空间中的所有特征点,与对应于子空间的待匹配空间的特征点进行匹配;本示例中,可以以特征点的位置信息作为特征点是否匹配的条件,当确定子空间中的特征点的位置与待匹配空间的特征点的位置重叠时,确定该两特征点匹配;也可以以特征点的其他属性作为是否匹配的条件,如将特征点的颜色信息及位置信息作为匹配条件,只有在特征点之间的位置匹配且颜色信息均匹配时,确定特征点之间匹配。
当然,本发明实施例中,以特征点的特征描述信息作为特征点之间的匹配条件是最准确的。特征描述信息是表征特征点的属性的信息。
具体地,可通过SIFT算法、SURF算法或ORB算法等确定特征点集合中每个特征点的信息及特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
当特征点的特征描述信息的相似度达到设定阈值时,确定特征点之间匹配。具体地,分别计算所述第一空间中每个子空间中的每个第一对象的第一信息集合与所述第一空间中每个子空间对应的待匹配空间中的每个第一对象的第二信息集合的相似度;确定相似度达到设定阈值时,确定所述第一空间中每个子空间中的第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象相同。其中,所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息。
将第一空间中子空间的特征点的特征描述信息中的各特征描述项与待匹配空间中的每一个特征点的特征描述信息中的各特征描述项分别进行比对,当其相似度超过设定阈值时,确定为该对应的特征描述项相符或相同;而当两个以上的特征点的特征描述信息中的相符或相同的特征描述项超出设定的阈值比例时,确定为特征点之间的特征描述信息相符或相同;如相符或相同的特征描述项占特征点的特征描述信息中的所有特征描述项的比例为99.99999%时,确定为两个以上的特征点的特征描述信息相符或相同,进而确定为两个以上的特征点匹配。
步骤206,输出匹配结果。
输出子空间中能与待匹配空间中匹配的特征点,以及未能与待匹配空间中匹配的特征点。
图3为本发明实施例三的信息处理的方法的流程示意图,如图3所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头,作为一种示例,图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。该智能设备还具有图像处理能力。
步骤301,获取第一对象集合中第一对象的第一位置信息;
本示例中,第一对象可以为智能设备所取景图像中的物体的特征点;本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
本示例中,第一位置信息主要为特征点的位置信息,如可以是特征点的在所述智能设备所处环境中的坐标信息,该坐标信息为所述智能设备所处环境的全局坐标系中的坐标信息,该全局坐标系即为本说明实施例中的三维地图信息所依据的坐标系。
假设查询特征点的点集为S,S中将包含一组三维空间的查询特征点如(x1,y1,z1,x2,y2,z2,......xn,yn,zn)。其中,(x1,y1,z1)对应于特征点1,(x2,y2,z2)对应于特征点2,......(xn,yn,zn)对应于特征点n。
步骤302,根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
通过第一对象集合中第一对象的第一位置信息,确定出能涵盖第一对象集合中所有第一对象的第一空间。本示例中,第一空间为正方体空间,其为能涵盖当前查询特征点集合中所有特征点的正方体空间,该正方体空间最好设置为恰好能涵盖当前查询特征点集合中所有特征点的最小正方体。可根据实际需要,将第一空间的正方体空间设置为恰好能涵盖当前查询特征点集合中所有特征点及所述智能设备的正方体空间。
当根据当前查询特征点集合中所有特征点确定出第一空间的正方体后,该正方体的位置也就随即确定了。
以前述特征点集合中的特征点为特征点1至特征点n、查询特征点的点集为S为(x1,y1,z1,x2,y2,z2,......xn,yn,zn)为例,计算包含点集S的最小立方体V,可通过计算立方体的两个对角定点实现,下角点为Pmin=(Xmin,Ymin,Zmin)和上角点Pmax=(Xmax,Ymax,Zmax)。其中的Xmin,Ymin,Zmin和Xmax,Ymax,Zmax可以通过遍历S集中的点来确定。
步骤303,将所述第一空间划分为至少两个以上的子空间;
将步骤302中确定的第一空间划分为至少两个以上的子空间,由于第一空间为正方体空间,一般是将其划分为八个均等的小正方体,也可以根据需要,将其划分为四个、六个、九个、十二个、十六个等任意个相等的正方体。由于目前的三维地图信息一般采用特征点管理树图(OCTOMAP)结构,最好将第一空间划分为八个相同的立方体子空间,以方便继续对该立方体子空间进行下一级划分,以实现与OCTOMAP结构对应,快速实现地图信息的查询及匹配处理等。
步骤304,分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
当第一空间的位置确定之后,该第一空间中每个子空间的位置也随即被确定。这样,可以确定第一空间的每个子空间在OCTOMAP中的位置,并在OCTOMAP中确定能涵盖第一空间的子空间的正方体节点,作为待匹配空间。
对于第一空间的各子空间而言,其各自对应的待匹配空间可能有重叠部分,也可能出现多个子空间对应于一个待匹配空间的可能。
本示例中,预设数据信息集合,包括:
通过所述图像采集单元采集第三信息集合及第四信息集合;
从所述第三信息集合中的第三信息中提取第一对象集合;
根据所述第四信息集合中的第四信息计算所述第一对象集合中每个第一对象的第三位置信息;确定所述智能设备在所述环境中的第四位置信息;根据所述第四位置信息及所述第三位置信息,计算所述第一对象集合中每个第一对象的第五位置信息;
根据所述第三信息集合中的第三信息确定所述第一对象集合中每个第一对象的第一信息集合中的第一信息;
建立所述第一对象集合中每个第一对象的第一信息集合与第五位置信息的对应关系,作为预设的数据信息集合。
其中,所述第一对象包括:特征点;
所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息;
所述第三信息集合包括:图像信息集合;所述第三信息包括:图像信息;
所述第四信息集合包括:深度信息集合;所述第四信息包括:深度信息;
所述第三位置信息包括:特征点相对于所述图像采集单元的位置信息;
所述第四位置信息包括:所述智能设备在所述环境中全局坐标系中的位置信息;
所述第五位置信息包括:特征点在所述智能设备所处环境中的位置信息。
具体地,预设数据信息集合,包括:
通过智能设备上设置的摄像头等图像采集单元采集所述智能设备所处的环境的图像信息,图像信息中包含摄像头所能拍摄的所有景像信息。
提取所采集的图像信息中的所有特征点,形成特征点集合。
通过智能设备上设置的摄像头等图像采集单元采集的图像信息确定图像信息的深度信息,根据深度信息计算所述特征点集合中每个特征点的相对于智能设备上设置的图像采集单元的位置信息;
确定所述智能设备在环境中的全局坐标系中的位置信息;具体地,所述智能设备位于初始位置时,确定所述智能设备在环境中的全局坐标系中的位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,如设置为(0,0,0)。当智能设备移动时,可以通过即时定位与地图构建(SLAM,Simultaneous Localization and Mapping)方式或随机抽样一致算法(RANSAC,Random Sample Consensus Algorithm)方式确定所述智能设备在环境中的全局坐标系中的位置信息。
根据智能设备在环境中的全局坐标系中的位置信息及每个特征点的相对于智能设备上设置的图像采集单元的位置信息,计算所述特征点集合中每个特征点的全局坐标系中的位置信息;
根据图像信息确定所述特征点集合中每个特征点的特征描述信息;
建立所述特征点集合中每个特征点的特征描述信息与所述特征点的全局坐标系中的位置信息的对应关系。
步骤305,将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
将所述第一空间中每个子空间中的所有特征点,与对应于子空间的待匹配空间的特征点进行匹配;本示例中,可以以特征点的位置信息作为特征点是否匹配的条件,当确定子空间中的特征点的位置与待匹配空间的特征点的位置重叠时,确定该两特征点匹配;也可以以特征点的其他属性作为是否匹配的条件,如将特征点的颜色信息及位置信息作为匹配条件,只有在特征点之间的位置匹配且颜色信息均匹配时,确定特征点之间匹配。
当然,本发明实施例中,以特征点的特征描述信息作为特征点之间的匹配条件是最准确的。特征描述信息是表征特征点的属性的信息。
具体地,可通过SIFT算法、SURF算法或ORB算法等确定特征点集合中每个特征点的信息及特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
当特征点的特征描述信息的相似度达到设定阈值时,确定特征点之间匹配。具体地,分别计算所述第一空间中每个子空间中的每个第一对象的第一信息集合与所述第一空间中每个子空间对应的待匹配空间中的每个第一对象的第二信息集合的相似度;确定相似度达到设定阈值时,确定所述第一空间中每个子空间中的第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象相同。其中,所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息。
将第一空间中子空间的特征点的特征描述信息中的各特征描述项与待匹配空间中的每一个特征点的特征描述信息中的各特征描述项分别进行比对,当其相似度超过设定阈值时,确定为该对应的特征描述项相符或相同;而当两个以上的特征点的特征描述信息中的相符或相同的特征描述项超出设定的阈值比例时,确定为特征点之间的特征描述信息相符或相同;如相符或相同的特征描述项占特征点的特征描述信息中的所有特征描述项的比例为99.99999%时,确定为两个以上的特征点的特征描述信息相符或相同,进而确定为两个以上的特征点匹配。
步骤306,输出匹配结果。
输出子空间中能与待匹配空间中匹配的特征点,以及未能与待匹配空间中匹配的特征点。
图4为本发明实施例四的信息处理的方法的流程示意图,如图4所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头,作为一种示例,图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。该智能设备还具有图像处理能力。
步骤401,获取第一对象集合中第一对象的第一位置信息;
本示例中,第一对象可以为智能设备所取景图像中的物体的特征点;本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
本示例中,第一位置信息主要为特征点的位置信息,如可以是特征点的在所述智能设备所处环境中的坐标信息,该坐标信息为所述智能设备所处环境的全局坐标系中的坐标信息,该全局坐标系即为本说明实施例中的三维地图信息所依据的坐标系。
假设查询特征点的点集为S,S中将包含一组三维空间的查询特征点如(x1,y1,z1,x2,y2,z2,......xn,yn,zn)。其中,(x1,y1,z1)对应于特征点1,(x2,y2,z2)对应于特征点2,......(xn,yn,zn)对应于特征点n。
本示例中,主要是通过智能设备所拍摄的图像信息中获取特征点。关于图像信息中的特征点的提取方式,可以通过SIFT算法、SURF算法或ORB算法等确定特征点集合中每个特征点的信息及特征点的特征描述信息,将这些获取的特征点形成特征点集合。
步骤402,根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
通过第一对象集合中第一对象的第一位置信息,确定出能涵盖第一对象集合中所有第一对象的第一空间。本示例中,第一空间为正方体空间,其为能涵盖当前查询特征点集合中所有特征点的正方体空间,该正方体空间最好设置为恰好能涵盖当前查询特征点集合中所有特征点的最小正方体。可根据实际需要,将第一空间的正方体空间设置为恰好能涵盖当前查询特征点集合中所有特征点及所述智能设备的正方体空间。
当根据当前查询特征点集合中所有特征点确定出第一空间的正方体后,该正方体的位置也就随即确定了。
以前述特征点集合中的特征点为特征点1至特征点n、查询特征点的点集为S为(x1,y1,z1,x2,y2,z2,......xn,yn,zn)为例,计算包含点集S的最小立方体V,可通过计算立方体的两个对角定点实现,下角点为Pmin=(Xmin,Ymin,Zmin)和上角点Pmax=(Xmax,Ymax,Zmax)。其中的Xmin,Ymin,Zmin和Xmax,Ymax,Zmax可以通过遍历S集中的点来确定。
步骤403,将所述第一空间划分为至少两个以上的子空间;
将步骤402中确定的第一空间划分为至少两个以上的子空间,由于第一空间为正方体空间,一般是将其划分为八个均等的小正方体,也可以根据需要,将其划分为四个、六个、九个、十二个、十六个等任意个相等的正方体。由于目前的三维地图信息一般采用特征点管理树图(OCTOMAP)结构,最好将第一空间划分为八个相同的立方体子空间,以方便继续对该立方体子空间进行下一级划分,以实现与OCTOMAP结构对应,快速实现地图信息的查询及匹配处理等。
步骤404,分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
当第一空间的位置确定之后,该第一空间中每个子空间的位置也随即被确定。这样,可以确定第一空间的每个子空间在OCTOMAP中的位置,并在OCTOMAP中确定能涵盖第一空间的子空间的正方体节点,作为待匹配空间。
对于第一空间的各子空间而言,其各自对应的待匹配空间可能有重叠部分,也可能出现多个子空间对应于一个待匹配空间的可能。
本示例中,预设数据信息集合,包括:
通过所述图像采集单元采集第三信息集合及第四信息集合;
从所述第三信息集合中的第三信息中提取第一对象集合;
根据所述第四信息集合中的第四信息计算所述第一对象集合中每个第一对象的第三位置信息;确定所述智能设备在所述环境中的第四位置信息;根据所述第四位置信息及所述第三位置信息,计算所述第一对象集合中每个第一对象的第五位置信息;
根据所述第三信息集合中的第三信息确定所述第一对象集合中每个第一对象的第一信息集合中的第一信息;
建立所述第一对象集合中每个第一对象的第一信息集合与第五位置信息的对应关系,作为预设的数据信息集合。
其中,所述第一对象包括:特征点;
所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息;
所述第三信息集合包括:图像信息集合;所述第三信息包括:图像信息;
所述第四信息集合包括:深度信息集合;所述第四信息包括:深度信息;
所述第三位置信息包括:特征点相对于所述图像采集单元的位置信息;
所述第四位置信息包括:所述智能设备在所述环境中全局坐标系中的位置信息;
所述第五位置信息包括:特征点在所述智能设备所处环境中的位置信息。
具体地,预设数据信息集合,包括:
通过智能设备上设置的摄像头等图像采集单元采集所述智能设备所处的环境的图像信息,图像信息中包含摄像头所能拍摄的所有景像信息。
提取所采集的图像信息中的所有特征点,形成特征点集合。
通过智能设备上设置的摄像头等图像采集单元采集的图像信息确定图像信息的深度信息,根据深度信息计算所述特征点集合中每个特征点的相对于智能设备上设置的图像采集单元的位置信息;
确定所述智能设备在环境中的全局坐标系中的位置信息;具体地,所述智能设备位于初始位置时,确定所述智能设备在环境中的全局坐标系中的位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,如设置为(0,0,0)。当智能设备移动时,可以通过即时定位与地图构建(SLAM,Simultaneous Localization and Mapping)方式或RANSAC方式确定所述智能设备在环境中的全局坐标系中的位置信息。
根据智能设备在环境中的全局坐标系中的位置信息及每个特征点的相对于智能设备上设置的图像采集单元的位置信息,计算所述特征点集合中每个特征点的全局坐标系中的位置信息;
根据图像信息确定所述特征点集合中每个特征点的特征描述信息;
建立所述特征点集合中每个特征点的特征描述信息与所述特征点的全局坐标系中的位置信息的对应关系,建立对应关系后的数据,即可作为本发明实施例的OCTOMAP。
作为一个优选的示例,还可以对上述的已建立的OCTOMAP作进一步优化,具体地,根据所述图像采集单元当前采集的第一对象集合中每个第一对象确定涵盖当前采集的第一对象集合中每个第一对象的正方体空间;
将所述正方体空间均分为八个正方体空间,作为第一级子节点;
将每个第一级子节点均分为八个正方体空间,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体空间或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;
将第一对象集合中每个第一对象的第一信息集合、第五位置信息与所述正方体空间中的最末级的子节点关联,作为预设的数据信息集合。
其中,所述待匹配空间为所述数据信息集合中某级节点的正方体的空间;
所述第一空间为正方体空间,所述第一空间的子空间为正方体空间;
所述将第一空间划分为至少两个以上的子空间,包括:
所述将第一空间划分为体积均等的八个正方体空间而作为所述第一空间的子空间。
具体地址,优化OCTOMAP的方式包括:
根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间;本发明实施例中,当确定出所采集图像信息中的特征点集合后,确定能涵盖这些特征点的正方体空间。
将所述正方体空间均分为八个正方体,作为第一级子节点;将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级。
对上述的正方体空间进行八等分分割,形成逐级关联的正方体,将这些各级具有关联的正方体作为OCTOMAP的对应节点。
将当前采集的特征点集合中每个特征点的特征描述信息、第三位置信息关联到该特征点位置对应的正方体空间节点,并与之前形成的特征点的特征描述信息、第三位置信息与正方体空间节点关联的数据进行合并,形成OCTOMAP数据。
步骤405,将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
将所述第一空间中每个子空间中的所有特征点,与对应于子空间的待匹配空间的特征点进行匹配;本示例中,可以以特征点的位置信息作为特征点是否匹配的条件,当确定子空间中的特征点的位置与待匹配空间的特征点的位置重叠时,确定该两特征点匹配;也可以以特征点的其他属性作为是否匹配的条件,如将特征点的颜色信息及位置信息作为匹配条件,只有在特征点之间的位置匹配且颜色信息均匹配时,确定特征点之间匹配。
当然,本发明实施例中,以特征点的特征描述信息作为特征点之间的匹配条件是最准确的。特征描述信息是表征特征点的属性的信息。
具体地,可通过SIFT算法、SURF算法或ORB算法等确定特征点集合中每个特征点的信息及特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
当特征点的特征描述信息的相似度达到设定阈值时,确定特征点之间匹配。具体地,分别计算所述第一空间中每个子空间中的每个第一对象的第一信息集合与所述第一空间中每个子空间对应的待匹配空间中的每个第一对象的第二信息集合的相似度;确定相似度达到设定阈值时,确定所述第一空间中每个子空间中的第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象相同。其中,所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息。
将第一空间中子空间的特征点的特征描述信息中的各特征描述项与待匹配空间中的每一个特征点的特征描述信息中的各特征描述项分别进行比对,当其相似度超过设定阈值时,确定为该对应的特征描述项相符或相同;而当两个以上的特征点的特征描述信息中的相符或相同的特征描述项超出设定的阈值比例时,确定为特征点之间的特征描述信息相符或相同;如相符或相同的特征描述项占特征点的特征描述信息中的所有特征描述项的比例为99.99999%时,确定为两个以上的特征点的特征描述信息相符或相同,进而确定为两个以上的特征点匹配。
步骤406,输出匹配结果。
输出子空间中能与待匹配空间中匹配的特征点,以及未能与待匹配空间中匹配的特征点。
图5为本发明实施例的智能设备的组成结构示意图,如图5所示,本发明实施例的智能设备上设置有图像采集单元;本发明的实施例中,所述智能设备可以为机器人。本发明实施例的智能设备包括获取单元50、第一确定单元51、划分单元52、第二确定单元53、匹配单元54、第三确定单元55和输出单元55,其中:
获取单元50,用于获取第一对象集合中第一对象的第一位置信息;
第一确定单元51,用于根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
划分单元52,用于将所述第一空间划分为至少两个以上的子空间;
第二确定单元53,用于分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
匹配单元54,用于将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配;
第三确定单元55,用于确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
输出单元55,用于输出所述匹配单元的匹配结果。
作为一种优选实施例,上述匹配单元54包括:计算子单元和确定子单元,其中:
计算子单元(图5中未示出),用于分别计算所述第一空间中每个子空间中的每个第一对象的第一信息集合与所述第一空间中每个子空间对应的待匹配空间中的每个第一对象的第二信息集合的相似度;
确定子单元(图5中未示出),用于确定相似度达到设定阈值时,确定所述第一空间中每个子空间中的第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象相同。
作为一种优选实施例,所述智能设备上设置有图像采集单元;在图5所示的智能设备的基础上,本发明实施例智能设备还包括:提取单元(图5中未示出)、第一计算单元(图5中未示出)、第四确定单元(图5中未示出)、第二计算单元(图5中未示出)、第五确定单元(图5中未示出)和创建单元(图5中未示出),其中:
图像采集单元,用于通过所述图像采集单元采集第三信息集合及第四信息集合;
提取单元,用于从所述第三信息集合中的第三信息中提取第一对象集合;
第一计算单元,用于根据所述第四信息集合中的第四信息计算所述第一对象集合中每个第一对象的第三位置信息;
第四确定单元,用于确定所述智能设备在所述环境中的第四位置信息;
第二计算单元,用于根据所述第四位置信息及所述第三位置信息,计算所述第一对象集合中每个第一对象的第五位置信息;
第五确定单元,用于根据所述第三信息集合中的第三信息确定所述第一对象集合中每个第一对象的第一信息集合中的第一信息;
创建单元,用于建立所述第一对象集合中每个第一对象的第一信息集合与第五位置信息的对应关系,作为预设的数据信息集合。
作为一种优选实施例,在图5所示的智能设备的基础上,本发明实施例的智能设备还包括:第六确定单元(图5中未示出)、均分单元(图5中未示出)和关联单元(图5中未示出),其中:
第三确定单元,用于根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间;
均分单元,用于将所述正方体空间均分为八个正方体,作为第一级子节点;以及,将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;
关联单元,用于将当前特征点集合中每个特征点的特征描述信息、第三位置信息与所述正方体空间中的最末级的子节点关联。
第六确定单元,用于根据所述图像采集单元当前采集的第一对象集合中每个第一对象确定涵盖当前采集的第一对象集合中每个第一对象的正方体空间;
均分单元,用于将所述正方体空间均分为八个正方体空间,作为第一级子节点;将每个第一级子节点均分为八个正方体空间,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体空间或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;
关联单元,用于将第一对象集合中每个第一对象的第一信息集合、第五位置信息与所述正方体空间中的最末级的子节点关联,作为预设的数据信息集合。
作为一种优选实施例,所述待匹配空间为所述数据信息集合中某级节点的正方体的空间;
所述第一空间为正方体空间,所述第一空间的子空间为正方体空间;
所述将第一空间划分为至少两个以上的子空间,包括:
所述将第一空间划分为体积均等的八个正方体空间而作为所述第一空间的子空间;
所述第一对象包括:特征点;
所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息;
所述第三信息集合包括:图像信息集合;所述第三信息包括:图像信息;
所述第四信息集合包括:深度信息集合;所述第四信息包括:深度信息;
所述第一位置信息包括:特征点的空间坐标信息;
所述第二位置信息包括:所述第一空间在所述智能设备所处环境中的位置信息;
所述第三位置信息包括:特征点相对于所述图像采集单元的位置信息;
所述第五位置信息包括:特征点在所述智能设备所处环境中的位置信息。
本领域技术人员应当理解,本发明实施例的智能设备中各处理单元及其子单元的功能,可参照前述的信息处理的方法的相关描述而理解,本发明实施例的智能设备中各处理单元及其子单元,可通过实现本发明实施例所述的功能的模拟电路而实现,也可以通过执行本发明实施例所述的功能的软件在智能设备上的运行而实现。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种信息处理的方法,应用于智能设备中;其特征在于,所述方法包括:
获取第一对象集合中第一对象的第一位置信息;
根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
将所述第一空间划分为两个以上的子空间;
分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度,并输出匹配结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配,包括:
分别计算所述第一空间中每个子空间中的每个第一对象的第一信息集合与所述第一空间中每个子空间对应的待匹配空间中的每个第一对象的第二信息集合的相似度;
确定相似度达到设定阈值时,确定所述第一空间中每个子空间中的第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象相同。
3.根据权利要求2所述的方法,其特征在于,所述智能设备上设置有图像采集单元;预设数据信息集合,包括:
通过所述图像采集单元采集第三信息集合及第四信息集合;
从所述第三信息集合中的第三信息中提取第一对象集合;
根据所述第四信息集合中的第四信息计算所述第一对象集合中每个第一对象的第三位置信息;确定所述智能设备在所述环境中的第四位置信息;根据所述第四位置信息及所述第三位置信息,计算所述第一对象集合中每个第一对象的第五位置信息;
根据所述第三信息集合中的第三信息确定所述第一对象集合中每个第一对象的第一信息集合中的第一信息;
建立所述第一对象集合中每个第一对象的第一信息集合与第五位置信息的对应关系,作为预设的数据信息集合。
4.根据权利要求3所述的方法,其特征在于,所述确定所述智能设备在所述环境中的第四位置信息,包括:
设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第四位置信息;
在所述智能设备移动后,将所述图像采集单元采集的第三信息集合中的第六信息与第五信息中的第一信息相似度达到设定阈值的特征点确定为相同的第一对象,根据当前第一信息中的与所述第一信息中的相同的第一对象的第五位置信息及第三位置信息计算所述智能设备的位置信息而作为所述智能设备在环境中的第四位置信息;
其中,所述第五信息的采集时刻早于所述第六信息的采集时刻。
5.根据权利要求3所述的方法,其特征在于,建立所述第一对象集合中每个第一对象的第一信息集合与第五位置信息的对应关系之后,所述方法还包括:
根据所述图像采集单元当前采集的第一对象集合中每个第一对象确定涵盖当前采集的第一对象集合中每个第一对象的正方体空间;
将所述正方体空间均分为八个正方体空间,作为第一级子节点;
将每个第一级子节点均分为八个正方体空间,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体空间或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;
将第一对象集合中每个第一对象的第一信息集合、第五位置信息与所述正方体空间中的最末级的子节点关联,作为预设的数据信息集合。
6.根据权利要求5所述的方法,其特征在于,
所述待匹配空间为所述数据信息集合中某级节点的正方体的空间;
所述第一空间为正方体空间,所述第一空间的子空间为正方体空间;
所述将第一空间划分为两个以上的子空间,包括:
所述将第一空间划分为体积均等的八个正方体空间而作为所述第一空间的子空间;
所述第一对象包括:特征点;
所述第一信息集合包括:所述第一空间中的特征点的特征描述信息;所述第二信息集合包括所述待匹配空间中的特征点的特征描述信息;
所述第三信息集合包括:图像信息集合;所述第三信息包括:图像信息;
所述第四信息集合包括:深度信息集合;所述第四信息包括:深度信息;
所述第一位置信息包括:特征点的空间坐标信息;
所述第二位置信息包括:所述第一空间在所述智能设备所处环境中的位置信息;
所述第三位置信息包括:特征点相对于所述图像采集单元的位置信息;
所述第五位置信息包括:特征点在所述智能设备所处环境中的位置信息。
7.一种智能设备,其特征在于,所述智能设备包括:获取单元、第一确定单元、划分单元、第二确定单元、匹配单元、第三确定单元和输出单元,其中:
获取单元,用于获取第一对象集合中第一对象的第一位置信息;
第一确定单元,用于根据第一对象集合中第一对象的第一位置信息确定涵盖所述第一对象集合中所有第一对象的在所述智能设备所处环境中的第一空间及所述第一空间的第二位置信息;
划分单元,用于将所述第一空间划分为两个以上的子空间;
第二确定单元,用于分别根据所述第一空间中每个子空间的第二位置信息在预设的数据信息集合中分别确定出涵盖所述第一空间中每个子空间的待匹配空间;
匹配单元,用于将所述第一空间中每个子空间中的所有第一对象在所述第一空间中每个子空间对应的待匹配空间中分别进行匹配;
第三确定单元,用于确定所述第一空间中每个子空间中的所有第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象的匹配度;
输出单元,用于输出所述匹配单元的匹配结果。
8.根据权利要求7所述的智能设备,其特征在于,所述匹配单元包括:计算子单元和确定子单元,其中:
计算子单元,用于分别计算所述第一空间中每个子空间中的每个第一对象的第一信息集合与所述第一空间中每个子空间对应的待匹配空间中的每个第一对象的第二信息集合的相似度;
确定子单元,用于确定相似度达到设定阈值时,确定所述第一空间中每个子空间中的第一对象与所述第一空间中每个子空间对应的待匹配空间中的第一对象相同。
9.根据权利要求8所述的智能设备,其特征在于,所述智能设备上设置有图像采集单元;所述智能设备还包括:提取单元、第一计算单元、第四确定单元、第二计算单元、第五确定单元和创建单元,其中:
图像采集单元,用于通过所述图像采集单元采集第三信息集合及第四信息集合;
提取单元,用于从所述第三信息集合中的第三信息中提取第一对象集合;
第一计算单元,用于根据所述第四信息集合中的第四信息计算所述第一对象集合中每个第一对象的第三位置信息;
第四确定单元,用于确定所述智能设备在所述环境中的第四位置信息;
第二计算单元,用于根据所述第四位置信息及所述第三位置信息,计算所述第一对象集合中每个第一对象的第五位置信息;
第五确定单元,用于根据所述第三信息集合中的第三信息确定所述第一对象集合中每个第一对象的第一信息集合中的第一信息;
创建单元,用于建立所述第一对象集合中每个第一对象的第一信息集合与第五位置信息的对应关系,作为预设的数据信息集合。
10.根据权利要求9所述的智能设备,其特征在于,所述智能设备包括:第六确定单元、均分单元和关联单元,其中:
第六确定单元,用于根据所述图像采集单元当前采集的第一对象集合中每个第一对象确定涵盖当前采集的第一对象集合中每个第一对象的正方体空间;
均分单元,用于将所述正方体空间均分为八个正方体空间,作为第一级子节点;将每个第一级子节点均分为八个正方体空间,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体空间或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;
关联单元,用于将第一对象集合中每个第一对象的第一信息集合、第五位置信息与所述正方体空间中的最末级的子节点关联,作为预设的数据信息集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310392968.9A CN104424297B (zh) | 2013-09-02 | 2013-09-02 | 信息处理的方法及智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310392968.9A CN104424297B (zh) | 2013-09-02 | 2013-09-02 | 信息处理的方法及智能设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104424297A CN104424297A (zh) | 2015-03-18 |
CN104424297B true CN104424297B (zh) | 2018-01-23 |
Family
ID=52973276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310392968.9A Active CN104424297B (zh) | 2013-09-02 | 2013-09-02 | 信息处理的方法及智能设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104424297B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427738A (zh) * | 2015-11-10 | 2016-03-23 | 汕头大学 | 一种基于大气压的多层建筑物的地图构建方法 |
CN110136181B (zh) * | 2019-05-17 | 2021-08-20 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123727A (zh) * | 2011-11-21 | 2013-05-29 | 联想(北京)有限公司 | 即时定位与地图构建方法和设备 |
CN103237095A (zh) * | 2013-04-19 | 2013-08-07 | 杭州思言信息技术有限公司 | 一种信息处理装置、系统和方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5183392B2 (ja) * | 2008-09-25 | 2013-04-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2013
- 2013-09-02 CN CN201310392968.9A patent/CN104424297B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123727A (zh) * | 2011-11-21 | 2013-05-29 | 联想(北京)有限公司 | 即时定位与地图构建方法和设备 |
CN103237095A (zh) * | 2013-04-19 | 2013-08-07 | 杭州思言信息技术有限公司 | 一种信息处理装置、系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104424297A (zh) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171748B (zh) | 一种面向机器人智能抓取应用的视觉识别与定位方法 | |
CN112270249A (zh) | 一种融合rgb-d视觉特征的目标位姿估计方法 | |
CN113110482B (zh) | 基于先验信息启发式的室内环境机器人探索方法及系统 | |
CN107063228A (zh) | 基于双目视觉的目标姿态解算方法 | |
CN111161317A (zh) | 一种基于多重网络的单目标跟踪方法 | |
CN104732587A (zh) | 一种基于深度传感器的室内3d语义地图构建方法 | |
Rusu et al. | Perception for mobile manipulation and grasping using active stereo | |
CN109000655B (zh) | 机器人仿生室内定位导航方法 | |
CN106815323A (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
CN113538218B (zh) | 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法 | |
CN109035300A (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
CN112288809B (zh) | 一种用于多物体复杂场景的机器人抓取检测方法 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN113034575A (zh) | 一种模型构建方法、位姿估计方法及物体拣取装置 | |
CN112734747A (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
CN108320310B (zh) | 基于图像序列的空间目标三维姿态估计方法 | |
Liu et al. | Automatic “ground truth” annotation and industrial workpiece dataset generation for deep learning | |
Caporali et al. | Pointcloud-based identification of optimal grasping poses for cloth-like deformable objects | |
CN104424297B (zh) | 信息处理的方法及智能设备 | |
CN114898041A (zh) | 一种基于光度误差的改进icp方法 | |
Liu et al. | PolishNet-2d and PolishNet-3d: Deep learning-based workpiece recognition | |
CN114397894A (zh) | 一种模仿人类记忆的移动机器人目标搜索方法 | |
Liu et al. | 360ST-mapping: An online semantics-guided topological mapping module for omnidirectional visual SLAM | |
Liu et al. | Robust 3-d object recognition via view-specific constraint | |
CN114653629A (zh) | 基于视觉识别的分拣方法、智能分拣系统及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |