CN117671637A - 物体点云重叠识别方法、装置、设备、机器人和存储介质 - Google Patents
物体点云重叠识别方法、装置、设备、机器人和存储介质 Download PDFInfo
- Publication number
- CN117671637A CN117671637A CN202311697786.2A CN202311697786A CN117671637A CN 117671637 A CN117671637 A CN 117671637A CN 202311697786 A CN202311697786 A CN 202311697786A CN 117671637 A CN117671637 A CN 117671637A
- Authority
- CN
- China
- Prior art keywords
- object point
- point cloud
- overlapping
- points
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013145 classification model Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001122767 Theaceae Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及机器人视觉技术领域,提供物体点云重叠识别方法、装置、设备、机器人和存储介质,该方法包括:获取第一物体的第一物体点云和第二物体的第二物体点云;第一物体点云的点数小于或等于第二物体点云的点数;确定第一物体点云中每一点与第二物体点云中所有点的识别距离;将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;根据重叠点个数和第一物体点云的点数,得到重叠率;将重叠率和第一预设阈值作对比,以根据第二对比结果确定重叠识别结果。本申请提出了根据点云重叠率来判断物体是否重叠的方法,提升了物体重叠判断的准确性;有助于机器人理解复杂环境下的物体摆放,提高了机器人的智能化程度。
Description
技术领域
本申请涉及机器人视觉技术领域,尤其涉及物体点云重叠识别方法、装置、设备、机器人和存储介质。
背景技术
随科技的发展,技术的进步,机器人已逐渐进入人类社会的各个领域。机器人的自主运动和定位需要借助环境地图来实现,传统的机器人存储的环境地图中只包括环境的几何信息,因此机器人只能执行一些简单的移动,缺乏理解环境的能力,无法对复杂语义栅格地图场景下的重叠物体进行精准识别。
发明内容
本申请旨在至少解决相关技术中存在的技术问题之一。为此,本申请提出一种物体点云重叠识别方法,提升了物体重叠判断的准确性,有助于机器人理解复杂环境下的物体摆放,提高了机器人的智能化程度。
本申请还提出一种物体点云重叠识别装置、电子设备、机器人和存储介质。
根据本申请第一方面实施例的物体点云的重叠识别方法,包括:获取第一物体的第一物体点云和第二物体的第二物体点云;其中第一物体点云的点数小于或等于第二物体点云的点数;确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;根据重叠点个数和第一物体点云的点数,得到重叠率;将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
根据本申请实施例的物体点云的重叠识别方法,根据物体点云之间的距离确定两个物体点云的重叠率,根据重叠率来判断物体点云是否重叠,提升了物体重叠判断的准确性;有助于机器人理解复杂环境下的物体摆放,提高了机器人的智能化程度。
根据本申请的一个实施例,将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果,包括:当重叠率大于或等于第一预设阈值时,判定第一物体和第二物体重叠;当重叠率小于第一预设阈值时,判定第一物体和第二物体不重叠。
根据本申请的一个实施例,判定第一物体和第二物体重叠之后,包括:在第一物体点云的点数小于第二物体点云的点数时,第一物体点云被标记删除;在第一物体点云的点数等于第二物体点云的点数时,第一物体点云或第二物体点云被标记删除。
根据本申请的一个实施例,将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数,包括:将每一识别距离和第一预设距离分别作对比,得到第一对比结果;其中第一对比结果包括小于或等于第一预设距离的识别距离;基于第一对比结果,确定所有识别距离中小于或等于第一预设距离的数量,并将数量作为重叠点个数。
根据本申请的一个实施例,获取第一物体的第一物体点云和第二物体的第二物体点云,包括:基于语义栅格地图进行物体点云提取,得到物体点云集合;从物体点云集合中获取两个未被标记删除的物体点云;将两个未被标记删除的物体点云的点数进行数值比较;根据比较结果从两个未被标记删除的物体点云中确定第一物体点云和第二物体点云。
根据本申请的一个实施例,基于语义栅格地图进行物体点云提取,得到物体点云集合,包括:从语义栅格地图中提取多个语义点云;对多个语义点云进行聚类处理,得到多个物体点云;基于多个物体点云确定物体点云集合。
根据本申请的一个实施例,基于多个物体点云确定物体点云集合,包括:通过点云分类模型将多个物体点云中分类正确的物体点云作为目标物体点云;基于目标物体点云确定物体点云集合。
根据本申请第二方面实施例的物体点云的重叠识别装置,包括:获取模块,用于获取第一物体的第一物体点云和第二物体的第二物体点云;其中第一物体点云的点数小于或等于第二物体点云的点数;距离确定模块,用于确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;距离对比模块,用于将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;重叠率确定模块,用于根据重叠点个数和第一物体点云的点数,得到重叠率;阈值对比模块,用于将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
根据本申请第三方面实施例的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上述任一种物体点云重叠识别方法。
根据本申请第四方面实施例的机器人,包括控制单元;控制单元用于执行上述任一种物体点云重叠识别方法。
根据本申请第五方面实施例的非暂态计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一种物体点云重叠识别方法。
本申请实施例中的上述一个或多个技术方案,至少具有如下技术效果之一:
根据物体点云之间的距离确定两个物体点云的重叠率,根据重叠率来判断物体点云是否重叠,提升了物体重叠判断的准确性;
有助于机器人理解复杂环境下的物体摆放,在语义层次上更加理解环境信息,提高机器人的智能化程度,为机器人的复杂的行为决策、人机交互等任务提供信息支持。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物体点云的重叠识别方法的流程示意图之一;
图2是本申请实施例提供的物体点云的重叠识别方法的流程示意图之二;
图3是本申请实施例提供的物体点云的重叠识别装置的结构示意图;
图4是本申请实施例提供的电子设备的实体结构示意图。
具体实施方式
下面结合附图和实施例对本申请的实施方式作进一步详细描述。以下实施例用于说明本申请,但不能用来限制本申请的范围。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
复杂语义栅格地图场景下,物体之间可能会存在重叠的问题,重叠的物体可能会对机器人的造成干扰,使得机器人无法准确识别图像。
基于此,本申请实施例提供一种物体点云的重叠识别方法,请参阅图1,图1是本申请实施例提供的物体点云的重叠识别方法的流程示意图之一。在本实施例中,物体点云的重叠识别方法可以包括步骤110至150,各步骤具体如下:
步骤110:获取第一物体的第一物体点云和第二物体的第二物体点云。
点云数据是由大量的点组成的三维数据集合,每个点都包含了空间中的位置信息和可能的其他属性。
示例性地,点云数据中的每个点可以包括空间位置信息和颜色信息。空间位置坐标可以是世界坐标系下的XYZ坐标值,颜色信息可以是RGB颜色值。
在一些实施例中,点云数据还可以包含其他属性,如法线向量、纹理坐标和强度值等,用于描述点的形态和性质。
点云数据的获取方式可以有多种,例如可以通过传感器扫描或者计算机模型转换。
传感器扫描:可以采用激光雷达或深度相机等传感器,通过扫描周围环境来获取点云数据。激光雷达可以通过发射激光束,测量其反射回来的时间来计算距离,从而得到点云数据。深度相机可以利用红外线辐射和图像传感器来测量场景中物体距离,进而生成点云数据。
计算机模型转换:利用计算机视觉和图像处理技术,可以将二维图像或三维模型转换为点云数据。例如,通过结构光、立体视觉或多视角图像拍摄等方式,可以从图像中恢复出点云数据。
物体点云是点云数据中的一种,每个物体点云中点云数据的类别都相同。在本实施例中,第一物体点云的点数小于或等于第二物体点云的点数。
步骤120:确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离。
第一物体点云是点数较少的物体点云,第二物体点云是点数较多的物体点云,以第一物体点云为基础计算两个物体点云之间的距离,可以节约计算量。
示例性地,确定第一物体点云中的点的数量,然后将第一物体点云中每一点与第二物体点云中最近点的距离作为该点的识别距离。
步骤130:将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数。
第一预设距离可以根据实际情况具体设置。需要说明的是,第一预设距离越大,则判别物体重叠的标准越宽松;第一预设距离越小,则判别物体重叠的标准越严格。
需要说明的是,步骤120和步骤130之间并没有顺序限制,在一些实施例中,可以确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离,进行汇总得到第一物体点云中所有点的识别距离后,在将汇总数据中每一识别距离和第一预设距离作分别对比。
在另一些实施例中,也可以确定第一物体点云中一个点与第二物体点云中所有点的最近点之间的识别距离,无需将所有识别距离汇总,即可将该识别距离和第一预设距离作对比。
步骤140:根据重叠点个数和第一物体点云的点数,得到重叠率。
重叠率和重叠点个数和第一物体点云的点数相关。具体地,是利用重叠点个数除以第一物体点云的点数,计算得到的商作为重叠率。
示例性地,假设第一物体点云为A,第一物体点云的点数为N,第二物体点云为B,计算第一物体点云中每一个点和第二物体点云B的识别距离,统计第一物体点云A中重叠点的个数为K,则重叠率为K/N。
步骤150:将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
第一预设阈值可以根据实际情况具体设置。第一预设阈值越大,则判别物体重叠的标准越宽松;第一预设距离越小,则判别物体重叠的标准越严格。
将重叠率和第一预设阈值进行数值比较,根据第二比较结果可以得到重叠识别结果。
在一些实施例中,第一预设阈值的取值范围为0~1,例如第一预设阈值可以设置为0.4、0.5、0.6等等。
本实施例提供一种物体点云的重叠识别方法,获取点数较小的第一物体点云和点数较大的物体点云,并确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;将每一识别距离和第一预设距离分别作对比以根据第一对比结果确定重叠点个数;根据重叠点个数和第一物体点云的点数得到重叠率;将重叠率和第一预设阈值作对比以根据第二对比结果确定第一物体和第二物体的重叠识别结果。通过上述方式,本实施例可以根据物体点云之间的距离确定两个物体点云的重叠率,根据重叠率来判断物体点云是否重叠,提升了物体重叠判断的准确性;有助于机器人理解复杂环境下的物体摆放,提高了机器人的智能化程度。
基于上述的实施例,将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果的步骤,具体可以包括:
步骤151:当重叠率大于或等于第一预设阈值时,判定第一物体和第二物体重叠。
步骤152:当重叠率小于第一预设阈值时,判定第一物体和第二物体不重叠。
在本实施例中,重叠率和第一预设阈值的数值对比结合可以包括三种情况:大于、等于和小于。
其中,当重叠率大于或等于第一预设阈值时,则判定第一物体点云和第二物体点云重叠,则认为第一物体点云表征的第一物体和第二物体点云表征的第二物体属于重叠的情况。
当重叠率小于第一预设阈值时,则判定第一物体点云和第二物体点云不重叠,则认为第一物体点云表征的第一物体和第二物体点云表征的第二物体属于不重叠的情况。
通过本实施例的方式,根据重叠率来判断物体点云是否重叠,提升了物体重叠判断的准确性。
基于上述的实施例,判定第一物体和第二物体重叠之后的步骤,具体可以包括:
步骤161:在第一物体点云的点数小于第二物体点云的点数时,第一物体点云被标记删除。
步骤162:在第一物体点云的点数等于第二物体点云的点数时,第一物体点云或第二物体点云被标记删除。
在本实施例中,当认为第一物体点云表征的第一物体和第二物体点云表征的第二物体属于重叠的情况时,还可以进一步针对物体重叠的情况进行处理,对两个重叠物体中的其中一个物体所对应的物体点云进行标记删除。
由于相机看的较全的物体容易被误识别的概率较低。而物体点云的点数较大表示该物体看的比较全面。因此当重叠率较大时,可以优先删除点数较少的物体点云。
示例性地,第一物体点云的点数可以小于或等于第二物体点云的点数;因此,在第一物体点云的点数小于第二物体点云的点数的情况时,可以直接将点数较小的第一物体点云被标记删除。
在第一物体点云的点数等于第二物体点云的点数的情况时,可以在第一物体点云或第二物体点云中选择任一标记删除;或者再考虑其他的参数影响,将第一物体点云或第二物体点云标记删除。
在本实施例中,在判断物体存在重叠之后,还提供了对重叠物体的处理方式,即删除其中一个;并且还进一步给出了确定被标记删除的物体点云的方式,根据重叠率删除点数较小的物体点云。通过这样的方式可以使得机器人理解复杂环境下的物体摆放,提高物体识别精度。
基于上述的实施例,将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数的步骤,具体可以包括:
步骤131:将每一识别距离和第一预设距离分别作对比,得到第一对比结果。步骤132:基于第一对比结果,确定所有识别距离中小于或等于第一预设距离的数量,并将数量作为重叠点个数。
第一对比结果包括小于或等于第一预设距离的识别距离。在本实施例中,通过有识别距离和第一预设距离的数值判断来确定重叠点个数。示例性地,将每一识别距离和第一预设距离分别作对比,将其中识别距离大于或等于第一预设距离的点作为重叠点,汇总所有重叠点得到的数量即为重叠点个数。
基于上述的实施例,获取第一物体的第一物体点云和第二物体的第二物体点云的步骤,具体可以包括:
步骤111:基于语义栅格地图进行物体点云提取,得到物体点云集合。
步骤112:从物体点云集合中获取两个未被标记删除的物体点云。
步骤113:将两个未被标记删除的物体点云的点数进行数值比较。
步骤114:根据比较结果从两个未被标记删除的物体点云中确定第一物体点云和第二物体点云。
在本实施例中,第一物体点云和第二物体点云可以从语义栅格地图中获得。语义栅格地图是指3D语义栅格,3D语义栅格可以使用多个正方体栅格来表示真实世界的形状信息。每个栅格都有对应的唯一的栅格信息,其中栅格信息包括语义信息和索引值。
从语义栅格地图进行物体点云提取,可以得到包括多个物体点云的物体点云集合,然后从物体点云集合中获取两个未被标记删除的物体点云并进行数值比较,根据比较结果,将其中点数较小的物体点云作为第一物体点云,将其中点数较大的物体点云作为第二物体点云,从而完成第一物体点云和第二物体点云的提取。
示例性地,本实施例的物体点云的重叠识别方法可应用于室内机器人的语义导航。语义栅格地图可存储于室内的机器人中,机器人根据语义栅格地图可以提取周围环境的环境信息。并且,结合上述物体点云的重叠识别方法可提高对语义栅格地图的物体识别率,有助于机器人理解周围的物体,以便于执行更高层次的复杂任务。
基于上述的实施例,基于语义栅格地图进行物体点云提取,得到物体点云集合的步骤,具体可以包括:
步骤1111:从语义栅格地图中提取多个语义点云。
步骤1112:对多个语义点云进行聚类处理,得到多个物体点云。
步骤1113:基于多个物体点云确定物体点云集合。
在本实施例中,从语义栅格地图中可以提取多个语义点云,其为包含了所有需要识别的物体的整体点云。因此还需要对语义点云进行聚类后才可以获得物体点云。
示例性地,可以通过语义点云欧氏距离聚类算法,从语义点云中按距离和类别对点云中所有点进行聚类,从聚类结果中提取出每个物体的物体点云,每个物体点云里点的类别都相同。
可以理解地,义点云欧氏距离聚类算法相当于求三维空间中的连通域。
基于上述的实施例,基于多个物体点云确定物体点云集合的步骤,具体可以包括:
步骤11131:通过点云分类模型将多个物体点云中分类正确的物体点云作为目标物体点云。
步骤11132:基于目标物体点云确定物体点云集合。
在经过聚类处理获得多个物体点云后,由于每个点融合到语义栅格时类别不一定都是正确的,并且每个栅格提取多个不同类别的点。所以这些物体点云中可能存在类别错误的点云以及部分由于类别错误导致的物体重叠。
基于这种情况,本实施例中还可以通过点云分类模型确定目标物体点云,即从多个物体点云中筛选出分类正确的物体点云作为目标物体点云。
在一些实施例中,通过点云分类模型将多个物体点云中分类正确的物体点云作为目标物体点云的步骤,具体可以包括:
将每个物体点云输入至点云分类模型中,获取点云分类模型输出的第一类别;判断物体点云的类别和模型输出的第一类别是否相同,如果物体点云的类别和模型输出的第一类别相同,则认为物体点云的分类正确,并保留该物体点云。
如果物体点云的类别和模型输出的第一类别不相同,则认为物体点云的分类错误,并该删除该物体点云。
经过点云分类模型后仍然保留下来的物体点云即为目标物体点云,汇总所有目标物体点云,即可得到物体点云集合。
在一些实施例中,点云分类模型可以是基于Pointnet、PointNet++等网络结构的,并且,PointNet++包括多层次特征提取结构,能够有效提取局部特征和全局特征,基于点云的分类结果更加准确。
在本实施例中,从语义栅格地图中提取多个语义点云,进行进行聚类处理,得到多个物体点云,使用点云分类模型来判断物体点云的类别是否正确,从而过滤类别错误的物体点云,最后获得物体点云集合,提升了语义栅格地图中物体类别的识别准确性。
请参阅图2,图2是本申请实施例提供的物体点云的重叠识别方法的流程示意图之二。在本实施例中,物体点云的重叠识别方法可以包括步骤210至290,各步骤具体如下:
步骤210:计算每个物体点云的3D包围盒。
包围盒,又称边界盒子,是一种基于空间的计算几何的结构,它有效地将物体的边界和形状表示为一个边界框中的最小范围内的点集合。采用包围盒算法可使计算机处理大数据范围内物体互相关系或执行距离检查极具效率,在目标检测、计算机视觉等领域大量使用。
3D包围盒即三维包围盒。可以根据3D包围盒是否重叠来判断物体是否重叠,然而这个方法容易存在误判,比如茶几一般和L形沙发的包围盒是重叠的,但实际上茶几和L形沙发是不重叠的。因此将本实施例物体点云的重叠识别方法结合在3D包围盒的计算中应用,可以提高物体重叠的判断准确性。
步骤220:从物体点云集合中随机抽取两个物体点云。
步骤230:判断两个物体点云中是否含有被标记为删除的点云。
判断两个物体点云中是否含有被标记为删除的点云,若两个物体点云中含有至少一个被标记为删除的点云,则返回步骤220,从物体点云集合中重新抽取两个物体点云进行重叠识别;若两个物体点云中均不含有被标记为删除的点云,则继续执行步骤240。
步骤240:判断两个物体点云的3D包围盒是否重叠。
判断两个物体点云的3D包围盒是否重叠,若两个物体点云的3D包围盒重叠,则执行步骤250,采用本实施例的物体点云的重叠识别方法进一步计算两个物体点云的重叠率;若两个物体点云的3D包围盒不重叠,则无需继续进行这两个物体点云的重叠识别,返回步骤220,从物体点云集合继续抽取剩余的物体点云进行重叠识别。
步骤250:计算两个物体点云的重叠率。
本实施例中是通过计算两个物体点云的之间的距离确定两个物体点云的重叠率。选取点数较少的物体点云作为第一物体点云,另一个物体点云作为第二物体点云;获取第一物体点云的点数;计算第一物体点云中每一个点和第二物体点云中最近点的距离,统计第一物体点云中每个点对应距离小于第一预设距离的重叠点个数,最后根据重叠点个数和第一物体点云的点数即可得出两个物体点云的重叠率。
步骤260:判断重叠率是否大于第一预设阈值。
若重叠率大于第一预设阈值,则执行步骤270,将点数较小的物体点云标记为删除;若重叠率小于或等于第一预设阈值,则无需继续进行这两个物体点云的重叠识别,返回步骤220,从物体点云集合继续抽取剩余的物体点云进行重叠识别。
步骤270:将点数较小的物体点云标记为删除。
步骤280:判断是否所有组合都被处理过。
若物体点云集合中的任意两个物体点云的组合都被处理过,则继续执行步骤290,从所有物体点云中提取没被标记为删除的物体点云;若物体点云集合中还存在未被处理过的两个物体点云的组合,则返回步骤220,从物体点云集合中抽取未被处理过的两个物体点云的组合进行重叠识别。
步骤290:从所有物体点云中提取没被标记为删除的物体点云。
本实施例中提供的物体点云的重叠识别方法,与3D包围盒的应用相结合,包括了两个物体重叠的判断:第一次是根据3D包围盒进行判断,第二次是根据重叠率进行判断,提升了物体重叠判断的准确性;有助于机器人理解复杂环境下的物体摆放,在语义层次上更加理解环境信息,提高机器人的智能化程度,为机器人的复杂的行为决策、人机交互等任务提供信息支持。
另一方面,本申请实施例提供一种物体点云的重叠识别装置,请参阅图3,图3是本申请实施例提供的物体点云的重叠识别装置的结构示意图。在本实施例中,物体点云的重叠识别装置可以包括获取模块310、距离确定模块320、距离对比模块330、重叠率确定模块340和阈值对比模块350。具体地:
获取模块310,用于获取第一物体的第一物体点云和第二物体的第二物体点云;其中第一物体点云的点数小于或等于第二物体点云的点数。
距离确定模块320,用于确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离。
距离对比模块330,用于将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数。
重叠率确定模块340,用于根据重叠点个数和第一物体点云的点数,得到重叠率。
阈值对比模块350,用于将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
本实施例提供的物体点云的重叠识别装置,通过获取模块获取第一物体的第一物体点云和第二物体的第二物体点云,第一物体点云的点数小于或等于第二物体点云的点数;通过距离确定模块确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;通过距离对比模块将每一识别距离和第一预设距离分别作对比以根据第一对比结果确定重叠点个数;通过重叠率确定模块根据重叠点个数和第一物体点云的点数得到重叠率;通过阈值对比模块将重叠率和第一预设阈值作对比以根据第二对比结果确定第一物体和第二物体的重叠识别结果。因此,可以根据物体点云之间的距离确定两个物体点云的重叠率,根据重叠率来判断物体点云是否重叠,物体点云的重叠识别装置提升了物体重叠判断的准确性;有助于机器人理解复杂环境下的物体摆放,提高了机器人的智能化程度。
基于上述的实施例,阈值对比模块350具体用于:
当重叠率大于或等于第一预设阈值时,判定第一物体和第二物体重叠;当重叠率小于第一预设阈值时,判定第一物体和第二物体不重叠。
基于上述的实施例,物体点云的重叠识别装置还包括标记删除模块,标记删除模块具体用于:
在第一物体点云的点数小于第二物体点云的点数时,第一物体点云被标记删除;在第一物体点云的点数等于第二物体点云的点数时,第一物体点云或第二物体点云被标记删除。
基于上述的实施例,距离对比模块330具体用于:
将每一识别距离和第一预设距离分别作对比,得到第一对比结果;其中第一对比结果包括小于或等于第一预设距离的识别距离;基于第一对比结果,确定所有识别距离中小于或等于第一预设距离的数量,并将数量作为重叠点个数。
基于上述的实施例,获取模块310具体用于:
基于语义栅格地图进行物体点云提取,得到物体点云集合;从物体点云集合中获取两个未被标记删除的物体点云;将两个未被标记删除的物体点云的点数进行数值比较;根据比较结果从两个未被标记删除的物体点云中确定第一物体点云和第二物体点云。
基于上述的实施例,获取模块310可以点云集合确定模块,点云集合确定模块可以用于:
从语义栅格地图中提取多个语义点云;对多个语义点云进行聚类处理,得到多个物体点云;基于多个物体点云确定物体点云集合。
基于上述的实施例,点云集合确定模块具体用于:
通过点云分类模型将多个物体点云中分类正确的物体点云作为目标物体点云;基于目标物体点云确定物体点云集合。
又一方面,本申请实施例还提供一种电子设备。请参阅图4,图4是本申请实施例提供的电子设备的实体结构示意图,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行如下方法:
获取第一物体的第一物体点云和第二物体的第二物体点云;其中第一物体点云的点数小于或等于第二物体点云的点数;确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;根据重叠点个数和第一物体点云的点数,得到重叠率;将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面,本申请实施例公开一种机器人,机器人包括控制单元,控制单元用于执行上述各方法实施例所提供的方法,例如包括:
获取第一物体的第一物体点云和第二物体的第二物体点云;其中第一物体点云的点数小于或等于第二物体点云的点数;确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;根据重叠点个数和第一物体点云的点数,得到重叠率;将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
又一方面,本申请实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:
获取第一物体的第一物体点云和第二物体的第二物体点云;其中第一物体点云的点数小于或等于第二物体点云的点数;确定第一物体点云中每一点与第二物体点云中所有点的最近点之间的识别距离;将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;根据重叠点个数和第一物体点云的点数,得到重叠率;将重叠率和第一预设阈值作对比,以根据第二对比结果确定第一物体和第二物体的重叠识别结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是,以上实施方式仅用于说明本申请,而非对本申请的限制。尽管参照实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,对本申请的技术方案进行各种组合、修改或者等同替换,都不脱离本申请技术方案的精神和范围,均应涵盖在本申请的权利要求范围中。
Claims (11)
1.一种物体点云的重叠识别方法,其特征在于,包括:
获取第一物体的第一物体点云和第二物体的第二物体点云;其中所述第一物体点云的点数小于或等于所述第二物体点云的点数;
确定所述第一物体点云中每一点与所述第二物体点云中所有点的最近点之间的识别距离;
将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;
根据所述重叠点个数和所述第一物体点云的点数,得到重叠率;
将所述重叠率和第一预设阈值作对比,以根据第二对比结果确定所述第一物体和所述第二物体的重叠识别结果。
2.根据权利要求1所述的物体点云的重叠识别方法,其特征在于,所述将所述重叠率和第一预设阈值作对比,以根据第二对比结果确定所述第一物体和所述第二物体的重叠识别结果,包括:
当所述重叠率大于或等于所述第一预设阈值时,判定所述第一物体和所述第二物体重叠;
当所述重叠率小于所述第一预设阈值时,判定所述第一物体和所述第二物体不重叠。
3.根据权利要求2所述的物体点云的重叠识别方法,其特征在于,所述判定所述第一物体和所述第二物体重叠之后,包括:
在所述第一物体点云的点数小于所述第二物体点云的点数时,所述第一物体点云被标记删除;
在所述第一物体点云的点数等于所述第二物体点云的点数时,所述第一物体点云或所述第二物体点云被标记删除。
4.根据权利要求1所述的物体点云的重叠识别方法,其特征在于,所述将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数,包括:
将每一识别距离和第一预设距离分别作对比,得到所述第一对比结果;其中所述第一对比结果包括小于或等于所述第一预设距离的识别距离;
基于所述第一对比结果,确定所有识别距离中小于或等于所述第一预设距离的数量,并将所述数量作为所述重叠点个数。
5.根据权利要求1至4任一项所述的物体点云的重叠识别方法,其特征在于,所述获取第一物体的第一物体点云和第二物体的第二物体点云,包括:
基于语义栅格地图进行物体点云提取,得到物体点云集合;
从所述物体点云集合中获取两个未被标记删除的物体点云;
将所述两个未被标记删除的物体点云的点数进行数值比较;
根据比较结果从所述两个未被标记删除的物体点云中确定所述第一物体点云和所述第二物体点云。
6.根据权利要求5所述的物体点云的重叠识别方法,其特征在于,所述基于语义栅格地图进行物体点云提取,得到物体点云集合,包括:
从所述语义栅格地图中提取多个语义点云;
对所述多个语义点云进行聚类处理,得到多个物体点云;
基于所述多个物体点云确定所述物体点云集合。
7.根据权利要求6所述的物体点云的重叠识别方法,其特征在于,所述基于所述多个物体点云确定所述物体点云集合,包括:
通过点云分类模型将所述多个物体点云中分类正确的物体点云作为目标物体点云;
基于所述目标物体点云确定所述物体点云集合。
8.一种物体点云的重叠识别装置,其特征在于,包括:
获取模块,用于获取第一物体的第一物体点云和第二物体的第二物体点云;其中所述第一物体点云的点数小于或等于所述第二物体点云的点数;
距离确定模块,用于确定所述第一物体点云中每一点与所述第二物体点云中所有点的最近点之间的识别距离;
距离对比模块,用于将每一识别距离和第一预设距离分别作对比,以根据第一对比结果确定重叠点个数;
重叠率确定模块,用于根据所述重叠点个数和所述第一物体点云的点数,得到重叠率;
阈值对比模块,用于将所述重叠率和第一预设阈值作对比,以根据第二对比结果确定所述第一物体和所述第二物体的重叠识别结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的物体点云的重叠识别方法。
10.一种机器人,其特征在于,包括控制单元;所述控制单元用于执行如权利要求1至7任一项所述的物体点云的重叠识别方法。
11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的物体点云的重叠识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311697786.2A CN117671637A (zh) | 2023-12-11 | 2023-12-11 | 物体点云重叠识别方法、装置、设备、机器人和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311697786.2A CN117671637A (zh) | 2023-12-11 | 2023-12-11 | 物体点云重叠识别方法、装置、设备、机器人和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117671637A true CN117671637A (zh) | 2024-03-08 |
Family
ID=90086198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311697786.2A Pending CN117671637A (zh) | 2023-12-11 | 2023-12-11 | 物体点云重叠识别方法、装置、设备、机器人和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117671637A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118212392A (zh) * | 2024-05-21 | 2024-06-18 | 节时科技(深圳)有限公司 | 快递分离方法、装置、设备、存储介质及产品 |
-
2023
- 2023-12-11 CN CN202311697786.2A patent/CN117671637A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118212392A (zh) * | 2024-05-21 | 2024-06-18 | 节时科技(深圳)有限公司 | 快递分离方法、装置、设备、存储介质及产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
CN111291708B (zh) | 融合深度相机的变电站巡检机器人障碍物检测识别方法 | |
Premebida et al. | Pedestrian detection combining RGB and dense LIDAR data | |
CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
CN112883820B (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
CN102236794A (zh) | 3d场景中3d对象的识别和姿态确定 | |
CN110544268B (zh) | 一种基于结构光及SiamMask网络的多目标跟踪方法 | |
CN117671637A (zh) | 物体点云重叠识别方法、装置、设备、机器人和存储介质 | |
CN106780551A (zh) | 一种三维运动目标检测方法和系统 | |
KR102223484B1 (ko) | 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법 | |
Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
CN114972968A (zh) | 基于多重神经网络的托盘识别和位姿估计方法 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
CN113052907A (zh) | 一种动态环境移动机器人的定位方法 | |
CN114677435A (zh) | 一种点云全景融合要素提取方法和系统 | |
CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
CN116168384A (zh) | 点云目标检测方法、装置、电子设备及存储介质 | |
CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
CN111813882B (zh) | 一种机器人地图构建方法、设备及存储介质 | |
Gupta et al. | Tree annotations in LiDAR data using point densities and convolutional neural networks | |
CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |