CN115375699A - 点云分割方法、移动机器人及计算机可读存储介质 - Google Patents

点云分割方法、移动机器人及计算机可读存储介质 Download PDF

Info

Publication number
CN115375699A
CN115375699A CN202211311136.5A CN202211311136A CN115375699A CN 115375699 A CN115375699 A CN 115375699A CN 202211311136 A CN202211311136 A CN 202211311136A CN 115375699 A CN115375699 A CN 115375699A
Authority
CN
China
Prior art keywords
pixel
point cloud
point
pixels
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211311136.5A
Other languages
English (en)
Other versions
CN115375699B (zh
Inventor
汪鹏飞
马子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202211311136.5A priority Critical patent/CN115375699B/zh
Publication of CN115375699A publication Critical patent/CN115375699A/zh
Application granted granted Critical
Publication of CN115375699B publication Critical patent/CN115375699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种点云分割方法、移动机器人及计算机可读存储介质。该方法包括:获取待处理点云对应的深度图像,其中深度图像包括沿相互垂直的第一方向和第二方向矩阵排列的多个像素;在深度图像中确定基准像素;依次选中深度图像中除所述基准像素之外的其他像素;确定选中像素对应的点云点与基准像素对应的点云点之间的距离是否满足第一判定阈值条件;其中,第一判定阈值条件基于选中像素的深度值确定;将满足第一判定阈值条件的选中像素加入基准像素对应的目标像素集合;根据像素与点云点的映射关系,确定目标像素集合对应的目标点云点集合。通过上述方式,本申请能够提高点云分割的鲁棒性。

Description

点云分割方法、移动机器人及计算机可读存储介质
技术领域
本申请涉及点云数据处理领域,特别是涉及一种点云分割方法、移动机器人及计算机可读存储介质。
背景技术
随着科技的发展,近年来智能移动机器人在生活中越来越普及,比较典型的有无人驾驶汽车、物流机器人、服务机器人以及家庭扫地清洁机器人等。机器人的顺利运转依赖于对周围环境的识别,其中最主要的就是依赖三维图像信息。三维点云是三维图像的典型代表之一,而点云分割是点云处理的核心步骤之一。
发明内容
本申请主要提供一种点云分割方法、移动机器人及计算机可读存储介质,解决了现有技术中准确度低、处理不稳定的问题。
为解决上述技术问题,本申请第一方面提供了一种点云分割方法,包括:获取待处理点云对应的深度图像,其中所述深度图像包括沿相互垂直的第一方向和第二方向矩阵排列的多个像素;在所述深度图像中确定基准像素;依次选中所述深度图像中除所述基准像素之外的其他像素;确定选中像素对应的点云点与所述基准像素对应的点云点之间的距离是否满足第一判定阈值条件;其中,所述第一判定阈值条件基于所述选中像素的深度值确定;将满足所述第一判定阈值条件的选中像素加入所述基准像素对应的目标像素集合;根据像素与点云点的映射关系,确定所述目标像素集合对应的目标点云点集合。
为解决上述技术问题,本申请第二方面提供了一种移动机器人,包括相互耦接的处理器和存储器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如第一方面提供的点云分割方法的步骤。
为解决上述技术问题,本申请第三方面提供了一种计算机可读存储介质,计算机可读存储介质存储有程序数据,所述程序数据被处理器执行时实现如第一方面提供的点云分割方法的步骤。
本申请的有益效果是:区别于现有技术的情况,本申请首先获取待处理点云对应的深度图像,其中深度图像包括沿相互垂直的第一方向和第二方向矩阵排列的多个像素,在深度图像中确定基准像素,然后依次选中深度图像中的其他像素,确定选中像素对应的点云点与基准像素对应的点云点之间的距离是否满足第一判定阈值条件,其中,第一判定阈值条件基于选中像素的深度值确定,将满足第一判定阈值条件的选中像素加入基准像素对应的目标像素集合,最后根据像素与点云点的映射关系,确定目标像素集合对应的目标点云点集合。上述方式基于选中像素的深度值确定选中像素与基准像素之间的距离是否符合要求,符合要求才将选中像素加入基准像素对应的目标像素集合,距离阈值动态确定,提高点云分割的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请点云分割方法一实施例的流程示意框图;
图2是本申请确定切平面之间距离一实施例的流程示意框图;
图3是本申请确定切平面之间距离一实施例的示意图;
图4是本申请点云分割方法另一实施例的流程示意框图;
图5是本申请搜索所述选中像素一实施例的示意图;
图6是本申请融合目标像素集合一实施例的流程示意框图;
图7是确定相邻目标像素集合一实施例示意图;
图8是确定相邻目标像素集合另一实施例示意图;
图9是本申请移动机器人一实施例的结构示意框图;
图10是本申请移动机器人另一实施例的结构示意框图;
图11是本申请计算机可读存储介质一实施例的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解是,本文所描述的实施例可以与其他实施例结合。
请参阅图1,图1是本申请点云分割方法一实施例的流程示意框图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。本实施例包括以下步骤:
步骤S11:获取待处理点云对应的深度图像。
其中,待处理点云数据可利用深度传感器对待检测区域进行检测,深度传感器例如是TOF(time-of-flight)传感器、被动式双目传感器、structured light(结构光)传感器等,其中结构光根据使用传感器类型又分类双目结构光、单目结构光,不同的传感器其精度与距离的关系不同,同时不同距离的分割精度要求不同,本领域技术人员可根据需求做出选择。
本步骤将待处理点云根据各点云点的深度值映射到二维图像上,得到深度图像,其中深度图像包括沿相互垂直的第一方向和第二方向矩阵排列的多个像素,每个像素的深度值为相应点云点的深度值。其中,深度图像中像素点的信息可以表示为(u,v,d),(u,v)表示深度图像所在图像坐标系下像素点的坐标,u和v分别表示在第一方向和第二方向的坐标,d表示像素点的深度值,即像素点对应的真实场景点到深度传感器的距离。
本申请所提及的第一方向和第二方向,指的是深度图像的行方向或列方向,而并不用于指示特定的朝向或方位。
可以理解地,待处理点云可以是实时或非实时获取的,具体取决于应用场景。例如,在机器人作业时,待处理点云是实时获取的;又如,在三维重建时,待处理点云是非实时获取的,而是将待处理点云及其深度图像存储于指定位置,本步骤根据其存储路径直接获取得到待处理点云和深度图像。
可选地,将待处理点云映射为深度图像之前,去除待处理点云的噪点。例如,可以构建kd-tree(k维二叉树),以便对每个点云点的邻近域进行获取,设定kd-tree的搜索半径为r,然后通过kd-tree对每个点云点进行以r为搜索半径的邻域搜索的操作,获取邻域内所有数据点,如果该邻域内点云点的个数n小于设定阈值,即认为该点云点为噪点,去除噪点。
步骤S12:在深度图像中确定基准像素。
本步骤可根据设定规则确定基准像素,例如可以是选取曲率最小的点云点对应的像素作为基准像素,例如还可以是预先在深度图像坐标系下确定一坐标位置,本步骤确定该坐标位置的像素为基准像素。
本步骤还可对基准像素进行边缘验证,具体是确定基准像素对应的点云点是否为物体边缘连接处的点云点,若是,则重新选取基准像素。
步骤S13:依次选中深度图像中除基准像素之外的其他像素。
本步骤从基准像素开始,选中其他像素,逐步确定其他像素对应的点云点与基准像素对应的点云点之间的距离,以确定是否将选中的其他像素确定为基准像素对应的目标像素集合。
步骤S14:确定选中像素对应的点云点与基准像素对应的点云点之间的距离是否满足第一判定阈值条件。
其中,第一判定阈值条件基于选中像素的深度值确定。
在其中一实施场景中,本步骤可以是确定选中像素对应的点云点与基准像素对应的点云之间的距离是否小于或等于第一距离阈值。此条件成立,则确定选中像素对应的点云点与基准像素对应的点云点之间的距离满足第一判定阈值条件。
其中,第一距离阈值是对选中像素的深度值的1到m的整数次幂进行加权求和获得,m为不小于2的正整数。第一距离阈值具体可通过下式计算得出:
Figure 505322DEST_PATH_IMAGE002
其中,D1为第一距离阈值,Bm、Bm-1、…、B1为第一设定距离系数,d1为选中像素的深度值,m为经验值。
在另一实施场景中,还可以是确定选中像素对应的点云点所在的切平面与基准像素对应的点云点所在的切平面之间的距离是否小于或等于第二距离阈值。此条件成立,则确定选中像素对应的点云点与基准像素对应的点云点之间的距离满足第一判定阈值条件。
请参阅图2,图2是本申请确定切平面之间距离一实施例的流程示意框图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。本实施例包括以下步骤:
S141:确定选中像素对应点云点的第一法向量、基准像素对应点云点的第二法向量、从选中像素对应点云点到基准像素对应点云点所成的第一向量、以及从基准像素对应点云点到选中像素对应点云点所成的第二向量。
S142:确定第一法向量、第一向量、第一法向量和第一向量之间夹角三者的第一乘积结果,并确定第二法向量、第二向量、第二法向量和第二向量之间夹角三者的第二乘积结果。
S143:以第一乘积结果和第二乘积结果之中的最小者为切平面之间的距离。
请参阅图3,图3是本申请确定切平面之间距离一实施例的示意图。N1、N2为两点云点,N1的法向量为,N2的法向量为
Figure 468467DEST_PATH_IMAGE003
,N1到N2的向量表示为
Figure 779363DEST_PATH_IMAGE004
,N2到N1的向量表示为
Figure 908993DEST_PATH_IMAGE005
Figure 254524DEST_PATH_IMAGE006
Figure 873724DEST_PATH_IMAGE007
的夹角表示为α,
Figure 140757DEST_PATH_IMAGE008
Figure 74078DEST_PATH_IMAGE009
的夹角表示为β,则点云点N1、N2之间的距离可通过下式确定:
Figure 290427DEST_PATH_IMAGE011
确定选中像素对应的点云点和基准像素对应的点云点的位置和法向量,即可根据步骤S141~S143的方式确定选中像素对应的点云点所在的切平面与基准像素对应的点云点所在的切平面之间的距离,此处不再赘述。
可选地,第二距离阈值是对选中像素的深度值的1到n的整数次幂进行加权求和获得,n为不小于2的正整数。第二距离阈值具体可以通过下式计算得出:
Figure 18211DEST_PATH_IMAGE013
其中,D2为第二距离阈值,An、An-1、…、A1为第二设定距离系数,d1为选中像素的深度值,n为经验值。
或者,还可以是确定以下条件是否同时满足:选中像素对应的点云点与基准像素对应的点云之间的距离小于或等于第一距离阈值,以及选中像素对应的点云点所在的切平面与基准像素对应的点云点所在的切平面之间的距离小于或等于第二距离阈值。上述两条件同时满足,则确定选中像素对应的点云点与基准像素对应的点云点之间的距离满足第一判定阈值条件。
步骤S15:将满足第一判定阈值条件的选中像素加入基准像素对应的目标像素集合。
选中像素对应的点云点与基准像素对应的点云点之间的距离满足第一判定阈值条件,则将选中像素加入基准像素对应的目标像素集合。
步骤S16:根据像素与点云点的映射关系,确定目标像素集合对应的目标点云点集合。
深度图由点云转换而来,深度图中的像素与点云点之间存在映射关系,对于每一个像素,有相应的点云点与之对应。据此映射关系,可以确定与目标像素集合中像素对应的点云点,这些点云点组合起来成为目标点云点集合。
一个待处理点云包含大量点云点数据,上述步骤之后,还可继续在深度图像除目标像素集合外的像素中重新确定基准像素,以及在除目标像素集合外的像素中确定该新的基准像素对应的目标像素集合,如此处理,可得到多个不重复的目标像素集合,映射到待处理点云上,可获得多个不重复的目标点云点集合。
区别于现有技术,本申请依次选中深度图像中除基准像素的其他像素,确定选中像素与基准像素之间的距离是否满足第一判定阈值条件,第一判定阈值条件是根据选中像素的深度值确定的,其具有高度自适应性,增强点云分割算法鲁棒性,点云分割结果也更加准确,基于深度特征来进行二维搜索确定属于目标像素集合的像素,降低算法耗时。
请参阅图4,图4是本申请点云分割方法另一实施例的流程示意框图。需注意的是,若有实质上相同的结果,本实施例并不以图4所示的流程顺序为限。本实施例包括以下步骤:
步骤S21:获取待处理点云对应的深度图像,并在深度图像中确定基准像素。
与步骤S11~12相同,此处不再赘述。
步骤S22:以基准像素为起始像素。
步骤S23:以起始像素为起点沿第一方向确定与起始像素间隔搜索步长的像素作为选中像素。
在其中一实施例中,搜索步长根据基准像素的深度值确定。进一步地,对基准像素的深度值的1到k整数次幂进行加权求和得到搜索步长,k为不小于2的正整数,具体可根据下式确定搜索步长:
Figure DEST_PATH_IMAGE015
其中,p表示搜索步长,Ck、Ck-1、…、C1为第三设定距离系数,d2为基准像素的深度值,k为经验值。本实施例动态确定搜索步长,提高算法鲁棒性和自适应性。
在其他的实施方式中,搜索步长为与预先设置的定值。
其中,沿第一方向,指的是沿深度图像的行方向或列方向搜索,沿第二方向,则指的是沿列方向或行方向。本步骤确定选中像素的方式可以是:以起始像素开始,在起始像素所在行或所在列上确定与起始像素间隔搜索步长的像素作为选中像素。
步骤S24:确定选中像素对应的点云点与基准像素对应的点云点之间的距离是否满足第一判定阈值条件。
与步骤S14相同,此处不再赘述。若是,执行步骤S25;否则,执行步骤S27。
步骤S25:将选中像素以及选中像素与基准像素连线上的像素均加入基准像素对应的目标像素集合。
在选中像素对应的点云点与基准像素对应的点云点之间的距离满足第一判定阈值条件时,可以确定选中像素、选中像素和基准像素之间的像素对应点云点与基准像素之间的距离均满足第一判定阈值条件。需要说明的是,上述“选中像素与基准像素连线上的像素”中的连线为虚拟的直线段。
步骤S26:以选中像素作为起始像素。
返回步骤S23继续搜索选中像素。循环往复执行步骤S23~S26,直至由搜索步长确定的选中像素对应的点云点与基准像素对应的点云点之间的距离不满足第一判定阈值条件。
步骤S27:按照预定方向依次以由搜索步长确定的选中像素与起始像素之间的像素作为选中像素。
其中,预定方向为由搜索步长确定的选中像素到起始像素的方向。
由搜索步长确定的选中像素,即是以起始像素为起点沿第一方向确定的与起始像素间隔搜索步长的像素。
需要说明的是,上述“选中像素与起始像素之间的像素”指的是选中像素与起始像素连线上的像素,该连线为虚拟的直线段。
步骤S28:选中像素对应的点云点与基准像素对应的点云点之间的距离满足第一判定阈值条件时,将选中像素加入目标像素集合。
步骤S27~S28在深度图像上按照与起始像素距离从远到近的方向,依次将由搜索步长确定的选中像素与起始像素之间的每个像素为选中像素,与基准像素之间的距离满足第一判定阈值条件的,则加入目标像素集合,否则,基准像素所在的第一方向停止搜索。
执行上述步骤S23~S28,即可确定基准像素在所在的第一方向上属于目标像素集合的像素,以目标像素集合中沿第一方向排列的同一行或列中的最边缘像素在第二方向上的相邻像素为起始像素,返回步骤S23,继续在该相邻像素所在的第一方向上确定属于目标像素集合的像素。可以理解地,该最边缘像素在第二方向上的相邻像素已经确定属于目标像素集合时,不重复选中该像素作为起始像素。
请参阅图5,图5是本申请搜索所述选中像素一实施例的示意图。本实施例以行方向为第一方向,以列方向为第二方向,图中的a为基准像素,沿基准像素所在行的左右两个方向按照搜索步长确定所述选中像素,根据步骤S23~S28的方式确定基准像素所在行中属于目标像素集合的像素,再以该行属于目标像素集合沿行方向排列的同一行中的最边缘像素c和d在列方向上的相邻像素e、f、g、h为起始像素,继续在行方向上按照搜索步长搜索所述选中像素,并继续根据步骤S23~S28确定像素e、f、g、h所在行中属于目标像素集合的像素。如此,从基准像素开始依次向相邻行或列生长,确定出基准像素对应的目标像素集合。
可选地,在深度图像中包括至少两个目标像素集合时,将满足第二判定阈值条件的相邻目标像素集合融合为一个目标像素集合。请参阅图6,图6是本申请融合目标像素集合一实施例的流程示意框图。需注意的是,若有实质上相同的结果,本实施例并不以图6所示的流程顺序为限。本实施例包括以下步骤:
步骤S31:以每个目标像素集合中的基准像素所对应的点云点作为参考点,并将每个目标像素集合中的各像素对应的点云点的法向量进行归一化,以获得归一化法向量。
点云法向量是表示点云在某点几何形状变化的属性,其不仅与该点的特征信息相关,也能够反映该点邻域内点云块的特征。
步骤S32:基于参考点和归一化法向量确定每个目标像素集合对应的参考切平面。
对于每个目标像素集合,本步骤基于该目标像素集合的参考点和参考点的归一化法向量确定相应的参考切平面。
步骤S33:确定相邻目标像素集合的参考切平面之间的距离是否小于或等于第三距离阈值。
若小于或等于第三距离阈值,则确定满足第二判定阈值条件,将满足该条件的相邻目标像素集合融合为一个新的目标像素集合,并对新的目标像素集合的参考点和归一化法向量进行更新。
本步骤可在确定相邻目标像素集合各自对应的参考点位置和归一化法向量之后,即可根据步骤S141~S143的方式确定相邻目标像素集合的参考切平面之间的距离,此处不再赘述。
其中,新的目标像素集合的参考点根据融合前的两个目标像素集合的参考点加权得到。具体可以融合前的两个目标像素集合的对应的点云点数量各占融合前的两个目标像素集合对应点云点总数量的比例作为相应参考点的权值。例如通过下式计算新的目标像素集合的参考点:
Figure DEST_PATH_IMAGE017
其中,Q表示新的目标像素集合的参考点,O表示融合前一个目标像素集合对应的参考点,x表示融合前一个目标像素集合对应的点云点数量,P表示融合前另一个目标像素集合对应的参考点,y表示融合前另一个目标像素集合对应的点云点数量。
在其中一实施例中,相邻目标像素集合的确定方式如下:若两个目标像素集合存在相邻排列的像素,则确定两个目标像素集合为相邻目标像素集合。其中,相邻排列即在同一行或同一列为相邻关系排列,请参阅图7,像素1与像素2在同一行相邻排列,像素3与像素1在同一列相邻排列,像素1属于目标像素集合Ⅰ,像素2属于目标像素集合Ⅱ,则目标像素集合Ⅰ与目标像素集合Ⅱ为相邻目标像素集合。具体来说,可以为属于不同目标像素集合的像素赋予不同类型的标签,不属于目标像素集合的像素赋予“背景”标签,遍历深度图像,以每个像素为当前像素,在当前像素的第一方向和第二方向上确定下一像素,比较当前像素和下一像素标签,若当前像素和下一像素标签分别为两个不同目标像素集合的标签,则确定当前像素所属的目标像素集合与下一像素所属的目标像素集合为相邻目标像素集合。相邻目标像素集合融合得到新的目标像素集合后,对新的目标像素集合中各像素的标签进行更新。
在另外的实施例中,还可以根据下述方式确定相邻目标像素集合:目标像素集合中存在至少一像素,在该像素确定的邻域范围内,存在属于另一目标像素集合的像素。请参阅图8,目标像素集合Ⅲ中存在一像素4,该像素确定的邻域范围A(即图中圆形虚线界定的区域)内,存在属于目标像素集合Ⅳ的像素5,则可确定目标像素集合Ⅲ与目标像素集合Ⅳ为相邻目标像素集合。
请参阅图9,图9是本申请移动机器人一实施例的结构示意框图。本实施例的移动机器人100包括获取模块110、基准确定模块120、生长模块130以及映射模块140,其中,获取模块110用于获取待处理点云对应的深度图像;基准确定模块120用于在深度图像中确定基准像素;生长模块130用于依次选中深度图像中的其他像素;并确定选中像素对应的点云点与基准像素对应的点云点之间的距离是否满足第一判定阈值条件;并将满足第一判定阈值条件的选中像素加入基准像素对应的目标像素集合;映射模块140用于根据像素与点云点的映射关系,确定目标像素集合对应的目标点云点集合。
关于各处理执行的各步骤的具体方式请参照上述本申请点云分割方法实施例的各步骤的描述,在此不再赘述。
其中,移动机器人100还可包括深度传感器(图未示),例如是TOF(time-of-flight)传感器、被动式双目传感器、structured light(结构光)传感器等,其中结构光可包括双目结构光和单目结构光,深度传感器用于对待感测目标所在区域进行深度感知,以获得待处理点云。
可以理解地,移动机器人100还可包括驱动模块,其中,驱动模块可以是滚轮驱动模块,用于带动移动机器人100的主体在平面上移动,驱动模块还可以是飞行驱动模块,用于带动移动机器人100的主体在空中移动。
请参阅图10,图10是本申请移动机器人另一实施例的结构示意框图。该移动机器人200包括相互耦接的处理器210和存储器220,存储器220中存储有计算机程序,处理器210用于执行计算机程序以实现上述各实施例所述的点云分割方法。
关于处理执行的各步骤的描述请参照上述本申请点云分割方法实施例的各步骤的描述,在此不再赘述。
存储器220可用于存储程序数据以及模块,处理器210通过运行存储在存储器220的程序数据以及模块,从而执行各种功能应用以及数据处理。存储器220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(点云-深度图像转化处理功能、像素搜索功能,距离计算功能等)等;存储数据区可存储根据移动机器人200的使用所创建的数据(比如深度图像数据、点云之间的距离数据等)等。此外,存储器220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器220还可以包括存储器控制器,以提供处理器210对存储器220的访问。
其中,处理器210还可以称为CPU(Central Processing Unit,中央处理单元)。处理器210可能是一种集成电路芯片,具有信号的处理能力。处理器210还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的各实施例中,所揭露的方法、设备,可以通过其它的方式实现。例如,以上所描述的移动机器人200的各实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中。
参阅图11,图11为本申请计算机可读存储介质一实施例的结构示意框图,计算机可读存储介质300存储有程序数据310,程序数据310被执行时实现如上述点云分割方法各实施例的步骤。
关于处理执行的各步骤的描述请参照上述本申请点云分割方法实施例的各步骤的描述,在此不再赘述。
计算机可读存储介质300可以是U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种点云分割方法,其特征在于,所述方法包括:
获取待处理点云对应的深度图像,其中所述深度图像包括沿相互垂直的第一方向和第二方向矩阵排列的多个像素;
在所述深度图像中确定基准像素;
依次选中所述深度图像中除所述基准像素之外的其他像素;
确定选中像素对应的点云点与所述基准像素对应的点云点之间的距离是否满足第一判定阈值条件;其中,所述第一判定阈值条件基于所述选中像素的深度值确定;
将满足所述第一判定阈值条件的选中像素加入所述基准像素对应的目标像素集合;
根据像素与点云点的映射关系,确定所述目标像素集合对应的目标点云点集合。
2.根据权利要求1所述的方法,其特征在于,
所述确定选中像素对应的点云点与所述基准像素对应的点云点之间的距离是否满足第一判定阈值条件,包括:
确定所述选中像素对应的点云点与所述基准像素对应的点云之间的距离是否小于或等于第一距离阈值;和/或,
确定所述选中像素对应的点云点所在的切平面与所述基准像素对应的点云点所在的切平面之间的距离是否小于或等于第二距离阈值。
3.根据权利要求2所述的方法,其特征在于,所述第一距离阈值是对所述选中像素的深度值的1到m的整数次幂进行加权求和获得,m为不小于2的正整数。
4.根据权利要求1所述的方法,其特征在于,所述依次选中所述深度图像中的其他像素,包括:
以所述基准像素作为起始像素;
以所述起始像素为起点沿所述第一方向确定与所述起始像素间隔搜索步长的像素作为所述选中像素;
所述将满足所述第一判定阈值条件的选中像素加入所述基准像素对应的目标像素集合,包括:
若所述选中像素对应的点云点与所述基准像素对应的点云点之间的距离满足所述第一判定阈值条件,则将所述选中像素以及所述选中像素与所述基准像素连线上的像素均加入所述基准像素对应的目标像素集合。
5.根据权利要求4所述的方法,其特征在于,所述依次选中所述深度图像中的其他像素,包括:
若由所述搜索步长确定的所述选中像素对应的点云点与所述基准像素对应的点云点之间的距离不满足所述第一判定阈值条件,则按照预定方向依次以由所述搜索步长确定的所述选中像素与所述起始像素之间的像素作为所述选中像素,所述预定方向为由所述搜索步长确定的所述选中像素到所述起始像素的方向。
6.根据权利要求4所述的方法,其特征在于,所述方法进一步包括:若由所述搜索步长确定的所述选中像素对应的点云点与所述基准像素对应的点云点之间的距离满足所述第一判定阈值条件,则以所述选中像素作为所述起始像素,并返回所述以所述起始像素为起点沿所述第一方向确定与所述起始像素间隔搜索步长的像素作为所述选中像素的步骤,直至由所述搜索步长确定的所述选中像素对应的点云点与所述基准像素对应的点云点之间的距离不满足所述第一判定阈值条件。
7.根据权利要求6所述的方法,其特征在于,所述依次选中所述深度图像中的其他像素,包括:
以所述目标像素集合中沿所述第一方向排列的同一行或列中的最边缘像素在所述第二方向上的相邻像素为所述起始像素,返回所述以所述起始像素为起点沿所述第一方向确定与所述起始像素间隔搜索步长的像素作为所述选中像素的步骤。
8.根据权利要求4-7任意一项所述的方法,其特征在于,所述搜索步长根据所述基准像素的深度值确定。
9.根据权利要求8所述的方法,其特征在于,所述搜索步长是对所述基准像素的深度值的1到k整数次幂进行加权求和获得,k为不小于2的正整数。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述深度图像中包括至少两个所述目标像素集合时,将满足第二判定阈值条件的相邻所述目标像素集合融合为一个目标像素集合。
11.根据权利要求10所述的方法,其特征在于,所述将相邻所述目标像素集合融合为一个目标像素集合,包括:
以每个所述目标像素集合中的基准像素所对应的点云点作为参考点,并将每个所述目标像素集合中的各像素对应的点云点的法向量进行归一化,以获得归一化法向量;
基于所述参考点和所述归一化法向量确定每个所述目标像素集合对应的参考切平面;
确定相邻所述目标像素集合的参考切平面之间的距离是否小于或等于第三距离阈值;
若小于或等于第三距离阈值,则满足所述第二判定阈值条件。
12.一种移动机器人,其特征在于,所述移动机器人包括相互耦接的处理器和存储器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如权利要求1-11中任一项所述方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序数据,所述程序数据被处理器执行时实现如权利要求1-11中任一项所述方法的步骤。
CN202211311136.5A 2022-10-25 2022-10-25 点云分割方法、移动机器人及计算机可读存储介质 Active CN115375699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211311136.5A CN115375699B (zh) 2022-10-25 2022-10-25 点云分割方法、移动机器人及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211311136.5A CN115375699B (zh) 2022-10-25 2022-10-25 点云分割方法、移动机器人及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115375699A true CN115375699A (zh) 2022-11-22
CN115375699B CN115375699B (zh) 2023-03-24

Family

ID=84073177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211311136.5A Active CN115375699B (zh) 2022-10-25 2022-10-25 点云分割方法、移动机器人及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115375699B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704125A (zh) * 2023-06-02 2023-09-05 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268609A (zh) * 2013-05-17 2013-08-28 清华大学 一种有序提取地面的点云分割方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN109816664A (zh) * 2018-12-25 2019-05-28 西安中科天塔科技股份有限公司 一种三维点云分割方法及装置
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110033457A (zh) * 2019-03-11 2019-07-19 北京理工大学 一种目标点云分割方法
CN111210429A (zh) * 2020-04-17 2020-05-29 中联重科股份有限公司 点云数据划分方法及装置、障碍物检测方法及装置
CN111223101A (zh) * 2020-01-17 2020-06-02 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN111951197A (zh) * 2020-08-14 2020-11-17 中国科学院自动化研究所苏州研究院 一种基于结构光的点云分割方法
CN112132108A (zh) * 2020-10-09 2020-12-25 安徽江淮汽车集团股份有限公司 地面点云数据的提取方法、装置、设备及存储介质
CN112819883A (zh) * 2021-01-28 2021-05-18 华中科技大学 一种规则对象检测及定位方法
CN114627177A (zh) * 2022-03-25 2022-06-14 南京航空航天大学 一种基于图像分割的飞机蒙皮间隙与阶差测量方法
CN114638871A (zh) * 2022-03-22 2022-06-17 山东新一代信息产业技术研究院有限公司 基于3d点云的机器人地面分割方法及系统
CN114862929A (zh) * 2022-04-19 2022-08-05 深圳市优必选科技股份有限公司 三维目标检测方法、装置、计算机可读存储介质及机器人
CN115115655A (zh) * 2022-06-17 2022-09-27 重庆长安汽车股份有限公司 目标分割方法、装置、电子设备、存储介质及程序产品

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268609A (zh) * 2013-05-17 2013-08-28 清华大学 一种有序提取地面的点云分割方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN109816664A (zh) * 2018-12-25 2019-05-28 西安中科天塔科技股份有限公司 一种三维点云分割方法及装置
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110033457A (zh) * 2019-03-11 2019-07-19 北京理工大学 一种目标点云分割方法
CN111223101A (zh) * 2020-01-17 2020-06-02 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN111210429A (zh) * 2020-04-17 2020-05-29 中联重科股份有限公司 点云数据划分方法及装置、障碍物检测方法及装置
CN111951197A (zh) * 2020-08-14 2020-11-17 中国科学院自动化研究所苏州研究院 一种基于结构光的点云分割方法
CN112132108A (zh) * 2020-10-09 2020-12-25 安徽江淮汽车集团股份有限公司 地面点云数据的提取方法、装置、设备及存储介质
CN112819883A (zh) * 2021-01-28 2021-05-18 华中科技大学 一种规则对象检测及定位方法
CN114638871A (zh) * 2022-03-22 2022-06-17 山东新一代信息产业技术研究院有限公司 基于3d点云的机器人地面分割方法及系统
CN114627177A (zh) * 2022-03-25 2022-06-14 南京航空航天大学 一种基于图像分割的飞机蒙皮间隙与阶差测量方法
CN114862929A (zh) * 2022-04-19 2022-08-05 深圳市优必选科技股份有限公司 三维目标检测方法、装置、计算机可读存储介质及机器人
CN115115655A (zh) * 2022-06-17 2022-09-27 重庆长安汽车股份有限公司 目标分割方法、装置、电子设备、存储介质及程序产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何坚等: "《RGB-D和惯性传感器融合的地面障碍物检测技术》", 《计算机辅助设计与图形学学报》 *
葛俊彦等: "《基于三维检测网络的机器人抓取方法》", 《仪器仪表学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704125A (zh) * 2023-06-02 2023-09-05 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备
CN116704125B (zh) * 2023-06-02 2024-05-17 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备

Also Published As

Publication number Publication date
CN115375699B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN109509210B (zh) 障碍物跟踪方法和装置
US11182612B2 (en) Systems and methods for place recognition based on 3D point cloud
WO2020134082A1 (zh) 一种路径规划方法、装置和移动设备
US8798357B2 (en) Image-based localization
EP3635629A1 (en) Fine-grained image recognition
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN111680673B (zh) 一种栅格地图中动态物体的检测方法、装置及设备
WO2020107326A1 (zh) 车道线检测方法、设备、计算机可读存储介质
CN111308500B (zh) 基于单线激光雷达的障碍物感知方法、装置和计算机终端
CN115375699B (zh) 点云分割方法、移动机器人及计算机可读存储介质
CN112665575A (zh) 一种基于移动机器人的slam回环检测方法
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
CN113223078B (zh) 标志点的匹配方法、装置、计算机设备和存储介质
CN115880364A (zh) 基于激光点云和视觉slam的机器人位姿估计方法
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN112912894A (zh) 道路边界识别方法和装置
CN112819960A (zh) 一种对抗性点云生成方法、存储介质和终端
Splietker et al. Directional TSDF: Modeling surface orientation for coherent meshes
CN116168384A (zh) 点云目标检测方法、装置、电子设备及存储介质
WO2023031620A1 (en) Incremental dense 3-d mapping with semantics
JP6725310B2 (ja) 画像処理装置及びプログラム
CN114528453A (zh) 全局重定位方法、装置、电子设备及存储介质
JP2010262546A (ja) 2次元図形マッチング方法
CN113033247A (zh) 一种图像识别方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant