CN115457282A - 一种点云数据处理方法及装置 - Google Patents
一种点云数据处理方法及装置 Download PDFInfo
- Publication number
- CN115457282A CN115457282A CN202110636343.7A CN202110636343A CN115457282A CN 115457282 A CN115457282 A CN 115457282A CN 202110636343 A CN202110636343 A CN 202110636343A CN 115457282 A CN115457282 A CN 115457282A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- original
- parameter
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 139
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000007613 environmental effect Effects 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013145 classification model Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 83
- 238000013461 design Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000005520 cutting process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种点云数据处理方法及装置,该方法包括:确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数;根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云;去除所述原始点云中的所述第一目标点云,得到第二目标点云。根据本申请提供的点云数据处理方法对点云数据进行处理,能够去除点云数据中的背景点,降低背景点对后续点云数据的识别检测造成的干扰,进而提高后续处理的准确度及效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种点云数据处理方法及装置。
背景技术
点云数据是在一个三维坐标系统中的一组向量的集合,这些向量通常以三维坐标的形式表示,而且一般主要用来表示一个物体的外表面形状。目前大多数点云数据可以由三维(3-dimension,3D)扫描设备扫描得到。
点云数据中包含的点云一般可以分为前景点和背景点,其中,前景点是各种目标对象中的点,背景点是除目标对象之外的其它点,也就是除前景点之外的其他点。当前基于点云数据进行识别检测等处理(例如目标检测)时,点云数据中存在的背景点会对点云数据的识别检测造成干扰,导致处理的准确度及效率降低,且会消耗很多的计算资源。
发明内容
本申请提供一种点云数据处理方法及装置,用以去除点云数据中的背景点,降低背景点对点云数据的识别检测造成干扰,进而提高处理的准确度及效率。
第一方面,本申请提供一种点云数据处理方法,该方法包括:确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数;根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云;去除所述原始点云中的所述第一目标点云,得到第二目标点云。
在该方法中,通过根据点云的类别特征、环境特征等信息,对点云中前景点和背景点进行区分,可以实现对点云数据中背景点的去除,进而降低点云数据中背景点信息对后续点云数据处理过程造成的干扰,从而提高处理结果的准确度,同时降低了对点云数据进行后续处理的数据量,能够加快对点云数据进行后续处理的速度,并减少计算资源的消耗。
在一种可能的设计中,所述原始点云的特征参数中包含所述第一参数;所述第一参数满足如下至少一项:所述第一参数为通过点云分类模型对所述原始点云进行分类得到的;或者,所述第一参数为所述原始点云对应的第一目标对象的类别,其中,所述第一目标对象为所述原始点云投影到目标图像的特征点所属的对象。
在该方法中,利用点云分类模型对原始点云进行分类,能够快速准确的确定点云的类别,在保证较高处理速度的同时,也能保证点云分类的准确度。而图像是比点云数据更高分辨率的表达,在图像中会更容易判断类别特征等信息,且判断结果更为准确,尤其是在点云所属的对象包含的点云数量较少的情况下,能够更简单快速的得到更准确的结果。此外,该方法提供了确定点云的特征数据的多种方式,可以根据实际需求进行灵活调整。
在一种可能的设计中,所述原始点云的特征参数中包含所述第二参数;所述第二参数满足如下至少一项:所述第二参数为所述原始点云所在的第一设定区域内的点云分布特征;或者,所述第二参数为所述原始点云对应的第二目标对象的类别,其中,所述第二目标对象为位于所述原始点云对应的目标地图数据中的目标位置处的对象,所述目标位置是根据所述原始点云所在的坐标系与所述目标地图数据所在的坐标系之间的对应关系确定的;或者,所述第二参数为所述原始点云对应的所述目标地图数据中的目标位置所在的第二设定区域内的对象分布特征。
在该方法中,点云的环境特征反映了点云的邻域环境中的点云或点云所属对象的分布特征,而点云的特征与点云的环境特征是相关的,因此,在提取点云特征时将考虑点云的环境特征考虑在内,可以进一步提高提取的点云特征的准确性,保证基于点云特征进行后续处理的准确度。除点云数据外,地图数据也可以相对准确的反映环境信息,因此,参考点云数据、地图数据等信息提取点云的环境特征,能够保证提取的特征的准确度和全面性。此外,该方法提供了确定点云的特征数据的多种方式,可以根据实际需求进行灵活调整。
在一种可能的设计中,所述点云分布特征包括以下至少一项:所述第一设定区域内包含的点云的数量,所述第一设定区域内点云的类别,所述第一设定区域内每个类别的点云所占区域的大小,所述第一设定区域内每个类别的点云的数量;所述对象分布特征包括以下至少一项:所述第二设定区域内对象的数量、所述第二设定区域内对象的类别、所述第二设定区域内每个对象所占区域的大小。
在该方法中,通过多种不同维度的参数表征点云分布特征和对象分布特征,可以保证提取的环境特征信息的全面性,能够充分反映点云的周围环境特征,进而提高基于该特征进行点云处理的准确性。
在一种可能的设计中,所述根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云,包括:根据所述原始点云的特征参数及点云分析模型,确定所述原始点云中属于背景点的第一目标点云,其中,所述点云分析模型用于根据点云的特征参数确定所述点云是否属于背景点。
在该方法中,利用点云分析模型对原始点云的类别进行区分,能够快速准确的识别点云是否属于背景点,在保证较高处理速度的同时,也能保证点云识别的准确度。
在一种可能的设计中,所述方法还包括:确定所述第二目标点云的第三参数,所述第三参数用于指示所述第二目标点云的类别;根据所述第二目标点云的所述第三参数,对所述第二目标点云进行划分,得到至少一个点云集合,其中,任一个点云集合中点云的第三参数相同,任一个点云集合中任意两个点云之间的距离值小于设定阈值;确定所述至少一个点云集合中每个点云集合的目标锚框,其中,任一个点云集合的目标锚框包含所述点云集合中所有的点云;在所述第一目标点云中,确定位于所述至少一个点云集合的目标锚框中的第三目标点云;将所述第三目标点云添加到所述第二目标点云中,得到修正后的第二目标点云。
在该方法中,根据点云的类别对点云进行划分,再根据划分后点云的特征,从去除的背景点点云中选择一些可能属于前景点的点云添加到第二目标点云中,得到处理后的点云,能够避免去除背景点时造成的一些前景点的损失情况,尽可能全面的保留前景点,去除背景点,提高点云数据处理的准确度。
在一种可能的设计中,所述确定所述至少一个点云集合中每个点云集合的目标锚框,包括:确定所述至少一个点云集合中每个点云集合的外接锚框,其中,任一个点云集合的外接锚框为包含所述点云集合中所有点云的最小锚框;针对所述至少一个点云集合中的目标点云集合,执行以下步骤:判断所述目标点云集合的外接锚框的尺寸是否大于或等于设定尺寸;若确定所述目标点云集合的外接锚框的尺寸大于或等于所述设定尺寸,则将所述外接锚框作为所述目标点云集合的目标锚框;否则,按照所述设定尺寸,生成所述目标点云集合的目标锚框;其中,所述目标点云集合为所述至少一个点云集合中的任一个点云集合。
在该方法中,确定的点云集合的目标锚框的尺寸需满足要求,才能进一步保证根据点云集合的目标锚框,从去除的背景点中选择的点云是较大概率属于前景点的,进而保证能够从去除点云中选择到较多的前景点和较少的背景点。
在一种可能的设计中,所述按照所述设定尺寸,生成所述目标点云集合的目标锚框,包括:以目标参考点为中心,按照所述设定尺寸,生成所述目标点云集合的目标锚框,其中,所述目标参考点为所述目标点云集合的外接锚框的中心点或所述目标点云集合包含的多个点云的中心点。
在该方法中,以点云集合的外接锚框的中心点或点云集合中点云的中心点生成点云集合的目标锚框,可以保证点云集合的目标锚框尽可能包围点云集合中的点云所属的对象,使得最终确定的点云尽可能是与各对象对应的前景点。
第二方面,本申请提供一种点云数据处理装置,该装置包括:特征提取单元,用于确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数;点云选择单元,用于根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云;点云处理单元,用于去除所述原始点云中的所述第一目标点云,得到第二目标点云。
在一种可能的设计中,所述原始点云的特征参数中包含所述第一参数;所述第一参数满足如下至少一项:所述第一参数为通过点云分类模型对所述原始点云进行分类得到的;或者,所述第一参数为所述原始点云对应的第一目标对象的类别,其中,所述第一目标对象为所述原始点云投影到目标图像的特征点所属的对象。
在一种可能的设计中,所述原始点云的特征参数中包含所述第二参数;所述第二参数满足如下至少一项:所述第二参数为所述原始点云所在的第一设定区域内的点云分布特征;或者,所述第二参数为所述原始点云对应的第二目标对象的类别,其中,所述第二目标对象为位于所述原始点云对应的目标地图数据中的目标位置处的对象,所述目标位置是根据所述原始点云所在的坐标系与所述目标地图数据所在的坐标系之间的对应关系确定的;或者,所述第二参数为所述原始点云对应的所述目标地图数据中的目标位置所在的第二设定区域内的对象分布特征。
在一种可能的设计中,所述点云分布特征包括以下至少一项:所述第一设定区域内包含的点云的数量,所述第一设定区域内点云的类别,所述第一设定区域内每个类别的点云所占区域的大小,或所述第一设定区域内每个类别的点云的数量;所述对象分布特征包括以下至少一项:所述第二设定区域内对象的数量,所述第二设定区域内对象的类别,或所述第二设定区域内每个对象所占区域的大小。
在一种可能的设计中,所述点云选择单元根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云时,具体用于:根据所述原始点云的特征参数及点云分析模型,确定所述原始点云中属于背景点的第一目标点云,其中,所述点云分析模型用于根据点云的特征参数确定所述点云是否属于背景点。
在一种可能的设计中,所述点云处理单元还用于:确定所述第二目标点云的第三参数,所述第三参数用于指示所述第二目标点云的类别;根据所述第二目标点云的所述第三参数,对所述第二目标点云进行划分,得到至少一个点云集合,其中,任一个点云集合中点云的第三参数相同,任一个点云集合中任意两个点云之间的距离值小于设定阈值;确定所述至少一个点云集合中每个点云集合的目标锚框,其中,任一个点云集合的目标锚框包含所述点云集合中所有的点云;在所述第一目标点云中,确定位于所述至少一个点云集合的目标锚框中的第三目标点云;将所述第三目标点云添加到所述第二目标点云中,得到修正后的第二目标点云。
在一种可能的设计中,所述点云处理单元确定所述至少一个点云集合中每个点云集合的目标锚框时,具体用于:确定所述至少一个点云集合中每个点云集合的外接锚框,其中,任一个点云集合的外接锚框为包含所述点云集合中所有点云的最小锚框;针对所述至少一个点云集合中的目标点云集合,执行以下步骤:判断所述目标点云集合的外接锚框的尺寸是否大于或等于设定尺寸;若确定所述目标点云集合的外接锚框的尺寸大于或等于所述设定尺寸,则将所述外接锚框作为所述目标点云集合的目标锚框;否则,按照所述设定尺寸,生成所述目标点云集合的目标锚框;其中,所述目标点云集合为所述至少一个点云集合中的任一个点云集合。
在一种可能的设计中,所述点云处理单元按照所述设定尺寸,生成所述目标点云集合的目标锚框时,具体用于:以目标参考点为中心,按照所述设定尺寸,生成所述目标点云集合的目标锚框,其中,所述目标参考点为所述目标点云集合的外接锚框的中心点或所述目标点云集合包含的多个点云的中心点。
第三方面,本申请提供一种点云数据处理装置,该点云数据处理装置包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器用于执行所述存储器中存储的计算程序,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在点云数据处理装置上运行时,使得所述点云数据处理装置执行上述第一方面或第一方面的任一可能的设计所描述的方法。
第五方面,本申请提供一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令被点云数据处理装置执行时,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
第六方面,本申请提供一种终端,该终端包括上述第二方面或第三方面所述的点云数据处理装置,或者,该终端包括存储器和处理器;其中,所述存储器用于存储计算机程序;所述处理器用于执行所述存储器中存储的计算程序,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
在一种可能的设计中,所述终端为如下任一种:智能运输设备,智能家居设备,智能制造设备,机器人。
在一种可能的设计中,所述智能运输设备为如下任一种:车辆,无人机,自动导引运输车,无人运输车。
第七方面,本申请提供一种服务器,该服务器包括上述第二方面或第三方面所述的点云数据处理装置,或者,该服务器包括存储器和处理器;其中,所述存储器用于存储计算机程序;所述处理器用于执行所述存储器中存储的计算程序,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
在一种可能的设计中,所述服务器为云端服务器,或本地服务器。
上述第二方面到第七方面的有益效果,请参见上述第一方面的有益效果的描述,这里不再重复赘述。
附图说明
图1a为本申请实施例提供的一种目标检测方法的示意图;
图1b为本申请实施例提供的另一种目标检测方法的示意图;
图1c为本申请实施例提供的再一种目标检测方法的示意图;
图2为一种目标检测结果的示意图;
图3a为本申请实施例提供的点云数据处理方法的一种可能的应用系统的架构示意图;
图3b为本申请实施例提供的点云数据处理方法的另一种可能的应用系统的架构示意图;
图4为本申请实施例提供的一种点云数据处理方法的示意图;
图5为本申请实施例提供的一种点云数据处理方法的示意图;
图6为本申请实施例提供的一种原始点云的示意图;
图7为本申请实施例提供的一种提取点云的特征数据的方法示意图;
图8为本申请实施例提供的一种第二目标点云的示意图;
图9为本申请实施例提供的一种点云数据处理方法的示意图;
图10为本申请实施例提供的一种修正后的第二目标点云的示意图;
图11为本申请实施例提供的一种点云数据处理装置的示意图;
图12为本申请实施例提供的一种点云数据处理装置的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例作进一步地详细描述。其中,在本申请实施例的描述中,以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
为了便于理解,示例性的给出了与本申请相关概念的说明以供参考。
点云(point cloud)数据:通过测量设备测量得到的物体外观表面上的点数据集合可称之为点云数据。点云数据可以表示为在一个三维坐标系中的一组向量的集合,这些向量通常以三维坐标的形式表示,而且一般主要用来代表一个物体的外表面形状。大多数点云数据是由三维(3-dimension,3D)扫描设备扫描得到的,三维扫描识别例如可以为激光雷达(lidar)。
应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
目标检测是指从采集的数据中定位多个目标物体的过程,点云数据由于能够较好的反映物体的外表面特性,被广泛应用于目标检测领域中。当前,基于点云数据的目标检测方法主要分为如下两种:
方法1、基于纯点云数据进行的目标检测方法
如图1a所示,当前基于纯点云数据进行目标检测时,是采用点云检测算法直接对采集到的点云数据进行目标检测,来得到目标检测结果的。由于进行目标检测时依据的数据是单源数据,因此,该方法存在检测结果的准确度低、鲁棒性差的问题。
方法2、基于点云数据与图像数据进行的目标检测方法
如图1b所示,在一种实现方案中,当前基于点云数据和图像数据进行目标检测时,可以先分别采用点云检测算法对采集到的点云数据进行目标检测,得到基于点云的目标检测结果,及采用图像检测算法对采集到的图像进行目标检测,得到基于图像的目标检测结果,再从基于点云的目标检测结果和基于图像的目标检测结果中选择一致的结果作为最终的目标检测结果。该方法中需要分别对点云数据和图像进行检测处理,因此检测的速度较慢,且计算复杂度较高,同时直接使用两种检测结果的融合,对于检测准确度的提升并不高。
如图1c所示,在另一种实现方案中,当前基于点云数据和图像数据进行目标检测时,可以先将采集到的点云数据映射到采集到的图像中,得到融合点云特征和图像特征的新的点云数据,再采用点云检测算法对得到的新的点云数据进行目标检测,得到目标检测结果。该方法也存在计算复杂度较高、检测速度较慢的问题。
此外,在上述几种方法中,由于点云数据中一般含有较多的背景点,会增加目标回归的难度,还会消耗很多的计算资源,因此也拉低了目标检测的速度及准确度。
例如,如图2中所示,待检测的目标对象实际位于锚框1中,但是在目标检测过程中,背景点P的存在可能会导致检测出的目标对象所在的位置为锚框2对应的区域,出现检测结果与实际情况不符的问题。
鉴于此,本申请实施例提供一种点云数据处理方法,用于对点云数据进行处理,可以去除点云数据中的背景点,保留前景点,从而可以加快对点云数据进行后续处理(如目标检测)的效率,节省后续计算资源,同时可以降低背景点对后续处理过程的干扰或不利影响。
本申请实施例提供的点云数据处理方法可以应用于具有数据处理能力的点云数据处理装置中,数据处理装置可以为具有数据处理功能的车辆,或者车辆中具有数据处理功能的车载设备,或者设置在具有采集及处理点云数据的功能的传感器中。车载设备可以包括但不限于车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达、电子控制单元(electronic control unit,ECU)、域控制器(domaincontroller,DC)等装置。数据处理装置还可以是其它具有数据处理功能的电子设备,电子设备包括但不限于智能家居设备(例如电视等)、智能机器人、移动终端(例如手机、平板电脑等)、工控机、可穿戴设备等智能设备。数据处理装置也可以是智能设备内的控制器、处理器(例如中央处理器(central processing unit,CPU)、图形处理器(graphics processingunit,GPU)等)、软件调制解调器(Mobile Daughter Card,MDC)、芯片等其它器件。数据处理装置还可以是服务器、云端服务器等。
下面结合附图,对本申请实施例提供的点云数据处理方法进行详细说明,可以理解的是,以下所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
图3a为本申请实施例提供的点云数据处理方法的一种可能的应用系统的架构示意图。如图3a所示,该系统中至少包括点云数据处理装置,进一步的,该系统中也可包括激光雷达和/或摄像头。
其中,激光雷达可以用于采集原始点云数据,并将采集到的原始点云数据发送到点云数据处理装置。摄像头可以用于采集图像,并将采集到的图像发送到点云数据处理装置。点云数据处理装置可以用于结合摄像头采集的图像,对激光雷达采集的原始点云数据执行本申请实施例提供的点云数据处理方法。当然,点云数据处理装置也可以集成激光雷达和摄像头的功能,即点云数据处理装置既可以采集原始点云数据和图像,也可以原始对点云数据和图像进行处理。
此外,点云数据处理装置可以获取地图数据,例如,点云数据处理装置从服务器(如本地或云端服务器)或用于制作地图的其它装置获取地图数据。点云数据处理装置获取到原始点云数据及对应的地图数据、图像等数据后,可以对获取到的数据执行本申请实施例提供的点云数据处理方法。
可选的,该系统中也可以包括目标检测装置,目标检测装置可以对点云数据处理装置处理之后的点云数据进行目标检测,得到目标检测结果。
需要说明的是,在图3a中,激光雷达只是一种示例的能够采集点云数据的装置,本申请实施例中采集点云数据的装置不仅限于激光雷达,还可以是其它任何能够采集点云数据的装置。同理,摄像头也只是一种示例的能够采集图像的装置,本申请实施例中采集图像的装置也不仅限于摄像头,还可以是其它任何能够采集图像的装置,如手机、车载监控器等。当然图3a也只是一种示例,本申请实施例提供的方法的应用系统不限于此。
图3b为本申请实施例提供的点云数据处理方法的另一种可能的应用系统的架构示意图。如图3b所示,该系统中至少包括车辆。
示例性的,该车辆可以为自动驾驶、辅助驾驶等场景中的车辆。
在一种可能的场景中,该车辆可以包括至少一个传感器或车载设备。车辆上的至少一个传感器或车载设备可以用于采集或获取点云数据、图像、地图数据等待处理的数据,也可以用于对获取的待处理数据执行本申请以下实施例提供的点云数据处理方法。
例如,车辆上的至少一个传感器或车载设备可以包括激光雷达、摄像头、无线通信装置、处理器等。其中,激光雷达可以用于采集点云数据,摄像头可以用于采集对应的图像,无线通信装置可以用于接收来自其它装置的地图数据,处理器可以用于根据获取到的各种数据执行本申请以下实施例提供的点云数据处理方法。
在另一种可能的场景中,系统中还可以包括服务器。该服务器可以为本地服务器或云端服务器。在该场景中,车辆可以包括至少一个传感器或车载设备,该至少一个传感器或车载设备仅用于采集或获取点云数据、图像、地图数据等待处理数据,并上传到服务器,服务器用于对接收到的待处理数据执行本申请以下实施例提供的点云数据处理方法,以及将处理结果发送到车辆。
可以理解的是,图3b所示的系统也只是一种示例,本申请实施例提供的方法的应用系统不限于此。
需要说明的是,本申请实施例提供的点云数据处理方法可以应用于任何需要分离点云数据中的前景点和背景点,或者需要提取前景点或背景点的领域或场景中,例如可应用于点云分割场景或目标检测场景中。以下仅以本申请实施例提供的点云数据处理方法应用于目标检测场景为例,对本申请实施例提供的方法进行介绍。
图4为本申请实施例提供的一种点云数据处理方法的示意图。如图4所示,本申请实施例提供的点云数据处理方法主要包括点云融合切割与点云智能扩充两个阶段。在该方法应用于目标检测场景中时,该方法还可以包括点云目标检测阶段。
其中,在点云融合切割阶段,可以结合点云的特征数据,确定原始点云数据中包含的背景点,并去除确定出来的背景点,使得原始点云数据中仅保留前景点,则在点云目标检测阶段可以依据保留下来的前景点进行目标检测,从而降低目标检测的数据处理量和计算复杂度,提高目标检测的速度。
在点云智能扩充阶段,可以从点云融合切割阶段去除的背景点中,恢复一些点云,来弥补点云融合切割阶段损失掉的前景点,进一步保证点云切割的准确性,使得目标检测阶段可以依据相对全面准确的前景点点云进行目标检测,从而保证目标检测的准确度。
在目标检测阶段,可以结合点云融合切割阶段确定的点云的特征数据,对点云智能扩充阶段得到的处理后的点云数据进行目标检测处理,得到对应的目标检测结果。由于该阶段进行目标检测时依据的点云数据中去除了背景点,能够避免不必要的计算资源的消耗以及背景点对目标检测的干扰,使得目标检测的速度和精度均有较大提升。
下面首先对上述点云融合切割阶段对应的点云数据处理方法进行详细说明。
为了便于介绍,在下文中,以本申请实施例提供的点云数据处理方法由数据处理装置执行为例进行说明。数据处理装置可以但不限于为本申请实施例提供的具有数据处理能力的装置。
图5为本申请实施例提供的一种点云数据处理方法的示意图。如图5所示,该方法包括:
S501:点云数据处理装置确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数。
本申请实施例中,点云数据处理装置获取的原始点云数据中包含多个原始点云。点云数据处理装置获取原始点云数据后,分别提取原始点云数据中每个原始点云的特征数据,后续基于提取的特征数据对原始点云数据的前景点和背景点进行选择或划分。
图6为本申请实施例提供的一种原始点云的示意图。示例性的,如图6所示,原始点云中对应不同对象(如车辆、行人等)的点云为前景点,除前景点之外的点云为背景点。
如图7所示,本申请实施例中点云数据处理装置确定原始点云的特征参数时,可以采用如下至少一种方式:
方式1、基于点云分类的点云特征提取
该方式中,原始点云的特征参数包括用于指示原始点云的类别特征的第一参数,和/或,用于指示原始点云的环境特征的第二参数。
其中,原始点云的第一参数为通过设定的点云分类模型对原始点云进行分类得到的,原始点云的第二参数为原始点云所在的第一设定区域内的点云分布特征。
示例性的,点云数据处理装置在获取到原始点云数据后,可以采用设定的点云分类模型,对原始点云数据中的多个原始点云进行分类,分类后得到每个原始点云对应的类别作为每个原始点云的第一参数。其中,设定的点云分类模型可以是采用深度学习、神经网络等方式进行模型训练后得到的网络模型,原始点云对应的类别可用于表征原始点云所属对象的类别。
例如,在原始点云数据中包含车辆和行人对应的点云时,若某点云位于车辆对应的点云所在的区域范围内,则通过网络模型的分类,可以确定该点云的类别为车辆。
上述点云数据处理装置在确定每个原始点云对应的类别后,以每个原始点云为中心,划定该原始点云所在的设定大小的第一设定区域,再结合第一设定区域内包含的点云的分布情况,确定第一设定区域内的点云分布特征,并将该点云分布特征作为原始点云对应的第二参数。其中,点云数据处理装置在确定第一设定区域内的点云分布特征时,可以统计第一设定区域内与点云分布相关的如下至少一项参数:第一设定区域内包含的点云的数量,第一设定区域内每个点云的类别,第一设定区域内每个类别的点云所占区域的大小,或第一设定区域内每个类别的点云的数量。
该方式中,通过设定点云分类模型对原始点云进行分类,来确定点云的特征数据,在保证较高处理速度的同时,也能保证点云分类的准确度。
方式2、基于图像检测的点云特征提取
该方式中,原始点云的特征参数包括用于指示原始点云的类别特征的第一参数。
其中,原始点云的第一参数为该原始点云对应的第一目标对象的类别,第一目标对象为原始点云投影到目标图像的特征点所属的对象。
示例性的,点云数据处理装置在获取原始点云数据后,获取原始点云数据对应的图像,将其作为目标图像。其中,该目标图像与原始点云数据对应的是同一实际场景环境。例如,要针对某一环境区域进行目标检测时,可以同时采集该环境区域的点云数据和拍摄该环境区域下的图像。
点云数据处理装置获取目标图像后,在目标图像中确定原始点云对应的第一目标对象。具体的,点云数据处理装置可以将原始点云投影到目标图像中,得到原始点云在目标图像中对应的特征点,并在从目标图像中识别的多个对象中,确定距离原始点云对应的特征点最近的对象为第一目标对象,然后将确定的第一目标对象的类别作为原始点云的第一参数。
其中,对于点云数据处理装置从目标图像中识别多个对象,以及识别每个对象的类别时采用的方法,本申请实施例中不做具体限定,例如可以采用基于深度学习训练得到网络模型或者神经网络模型进行相应识别等。
方式3、基于地图检测的点云特征提取
该方式中,原始点云的特征参数包括用于指示原始点云的环境特征的第二参数。
其中,原始点云的第二参数为原始点云对应的第二目标对象的类别,和/或,原始点云对应的目标地图数据中的目标位置所在的第二设定区域内的对象分布特征。其中,第二目标对象为位于原始点云对应的目标地图数据中的目标位置处的对象,或者第二目标对象为距离该目标位置处最近的对象,目标位置是根据原始点云所在的坐标系与目标地图数据所在的坐标系之间的对应关系确定的。
具体的,点云数据处理装置在获取原始点云数据后,获取原始点云数据对应的地图数据,并将其作为目标地图数据。其中,该目标地图数据与原始点云数据对应的是同一实际场景环境。例如,要针对某一环境区域进行目标检测时,可以同时采集该环境区域的点云数据和该环境区域下的地图数据。
可选的,该目标地图数据可以为高精地图。在高精地图中,关于交通参与物(例如车道线、标志牌、红绿灯等)的绝对地理坐标、物理尺寸,以及交通参与物的其它特质特性等均会有所体现,尤其对于静态对象的特征的表现效果很好,因此,结合高精地图进行点云特征的提取,可以进一步提高特征提取的准确度。
点云数据处理装置获取目标地图数据后,在目标地图数据中确定原始点云对应的第二目标对象,并将确定的第二目标对象的类别作为原始点云的第二参数。具体的,点云数据处理装置可以根据点云数据所在的坐标系与地图数据所在的坐标系之间的对应转换关系,确定原始点云转换到地图数据所在的坐标系后对应的目标位置,然后在地图数据包含的对象中,确定距离该目标位置最近的一个对象为第二目标对象,并确定第二目标对象的类别为原始点云的第二参数。
上述点云数据处理装置确定原始点云在目标地图数据中对应的目标位置后,可以以该目标位置为中心,划定该目标位置所在的设定大小的第二设定区域,再结合第二设定区域内存在的对象的分布情况,确定第二设定区域内的对象分布特征,并将确定的对象分布特征作为原始点云对应的第二参数。其中,点云数据处理装置在确定第二设定区域内的对象分布特征时,可以统计第二设定区域内与对象分布相关的如下至少一项参数:第二设定区域内对象的数量,第二设定区域内对象的类别,或第二设定区域内每个对象所占区域的大小。
S502:点云数据处理装置根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云。
上述点云数据处理装置获取原始点云数据中的原始点云的特征参数后,可以根据原始点云的特征参数及点云分析模型,确定原始点云中属于背景点的第一目标点云,其中,点云分析模型用于根据点云的特征参数确定所述点云是否属于背景点。
上述点云分析模型可以通过网络模型训练得到,例如可以通过对多层神经网络(multi-layer perceptron,MLP)、支持向量机(support vector machine,SVM)、视觉几何群-16(visual geometry group 16,VGG 16)或者残差网络-32(residual network 32,ResNet32)等网络进行训练得到。
具体的,定义上述方式1中基于点云分类的点云特征提取方法确定的原始点云的第一参数表示为点云类别class_pitclound,第二参数表示为点云统计类别class_statistics_pitclound。定义上述方式2中基于图像检测的点云特征提取方法确定的原始点云的第一参数表示为图像类别class_camera。定义上述方式3中基于地图检测的点云特征提取确定的原始点云的第一参数表示为地图类别class_map,第二参数表示为地图统计类别class_statistics_map。
在网络模型训练过程中,首先获取具有class_pitclound、class_statistics_pitclound、class_camera、class_map、class_statistics_map中至少一种参数的样本点云数据,并确定样本点云数据中包含的点云的标签,该标签用于标记点云属于前景点或背景点。然后,利用获取的样本点云数据及对应的标签,对分类网络进行训练,得到能够确定点云是否为前景点或背景点的点云分析模型。其中,点云的标签可以通过3D检测生成,例如可以对点云数据进行3D检测,确定至少一个3D检测锚框,对于点云数据中每个点云,若确定该点云位于任一个3D检测框内部,则可以确定点云为前景点并将该点云的标签设置为1,否则,确定点云为背景点并将该点云的标签设置为0。对应的,训练得到的点云分析模型根据点云的特征数据确定点云属于前景点时,可以输出标签值1,来表示该点云属于前景点,在确定点云属于背景点时,可以输出标签值0,来表示该点云属于背景点。
本申请实施例中,点云数据处理装置获取训练得到的点云分析模型后,将上述确定的原始点云的特征参数输入到点云分析模型中,得到点云分析模型输出原始点云是否属于背景点的判断结果。
例如,如图7中所示,点云数据处理装置可以将采用上述三种方式确定的原始点云的第一参数和第二参数输入到点云分析模型中进行点云分析。若点云分析模型输出的某一点云的标签取值为1,则可以确定原始点云属于前景点,若点云分析模型输出的某一点云的标签取值为0,则可以确定原始点云属于背景点。
S503:点云数据处理装置去除所述原始点云中的所述第一目标点云,得到第二目标点云。
点云数据处理装置从原始点云中确定属于背景点的第一目标点云后,可以实现对原始点云中的前景点和背景点的区分,例如可以将确定的第一目标点云从原始点云中去除,得到第二目标点云。
在本申请一些实施例中,点云数据处理装置得到第二目标点云后,可以基于第二目标点云进行目标检测。
图8为本申请实施例提供的一种第二目标点云的示意图。如图8所示,对图6所示的原始点云进行上述处理后,原本的背景点基本被去除,保留的点云基本为前景点。
上述实施例中,点云检测装置在点云数据处理过程中,根据原始点云的特征数据能够区分原始点云中的前景点和背景点,进一步可以去除原始点云中的背景点,一方面,在根据处理后的点云进行目标检测时,能够降低点云数据中的背景点对目标检测过程造成的干扰,进而提高目标检测的准确度。另一方面,去除点云中的背景点进行目标检测时,能够降低目标检测过程中的点云数据处理量,进一步加快对点云数据进行处理的速度,并减少计算资源的消耗。
下面对上述点云智能扩充阶段对应的点云数据处理方法进行详细说明。
如图9所示,本申请提供的点云数据处理方法还包括:
S901:点云数据处理装置确定所述第二目标点云的第三参数,所述第三参数用于指示所述第二目标点云的类别。
在本申请一些实施例中,点云数据处理装置通过执行上述步骤S501~S503所述的方法,得到第二目标点云后,可以继续执行步骤S901~S905所述的方法,对所述第二目标点云进行进一步处理。下面进行详细说明。
上述点云数据处理装置得到第二目标点云后,确定用于指示所述第二目标点云的类别的第三参数。
作为一种可选的实施方式,第二目标点云为原始点云中未被去除的点云,且在上述步骤S501中确定的原始点云的第一参数可以用于表征点云的类别特征,因此,对于第二目标点云中的每个点云,点云数据处理装置可以直接将采用上述方式1~方式3中任一种方式得到的该点云的第一参数作为该点云的第三参数,从而加快点云数据处理速度。
作为另一种可选的实施方式,点云数据处理装置可以采用已训练的点云类别确定模型,重新对得到的第二目标点云的类别进行识别,并将识别确定的第二目标点云的类别作为第二目标点云的第三参数。该方式中,基于去除背景点后得到的第二目标点云,重新确定各点云的类别,避免了原本存在的背景点可能会对点云类别识别造成的影响,从而提高点云类别识别的准确度。
在本申请一些实施例中,上述点云类别确定模型也可以与前述的点云分析模型集成为一个数据处理模型,则该数据处理模型可以在确定原始点云属于前景点(或者不属于背景点)时,进一步识别预测该原始点云的类别,得到该原始点云的第三参数,并在对第二目标点云进行处理时使用。
S902:点云数据处理装置根据所述第二目标点云的所述第三参数,对所述第二目标点云进行划分,得到至少一个点云集合。
其中,任一个点云集合中点云的第三参数相同,任一个点云集合中任意两个点云之间的距离值小于设定阈值。
上述点云数据处理装置确定第二目标点云的第三参数后,可以根据确定的第三参数对第二目标点云进行划分。具体划分时,点云数据处理装置从第二目标点云中,分别将点云间距离小于设定阈值且类别相同的一组点云划分到一个点云集合,从而将第二目标点云划分到至少一个点云集合中。划分后每个点云集合中的点云属于同一对象,不同点云集合中的点云属于不同对象。
S903:点云数据处理装置确定所述至少一个点云集合中每个点云集合的目标锚框,其中,任一个点云集合的目标锚框包含所述点云集合中所有的点云。
点云数据处理装置对于每个点云集合中的点云,拟合一个包含该点云集合中所有点云的最小锚框,作为该点云集合的外接锚框。然后,针对得到的每个点云集合,判断每个点云集合对应的外接锚框的尺寸是否大于或等于设定尺寸,若是,则将该点云集合的外接锚框作为该点云集合的目标锚框,否则,以目标参考点为中心,按照该设定尺寸,生成该目标点云集合的目标锚框,其中,目标参考点为该点云集合的外接锚框的中心点或该点云集合包含的多个点云的中心点。外接锚框的中心点可以为该外接锚框的几何中心点,点云集合包含的多个点云的中心点可以为对多个点云的位置坐标求均值后的坐标对应的点。
在本申请一些实施例中,上述设定尺寸也可以灵活设置,例如可以针对每种对象类别设置对应的设定尺寸,则在对点云集合的外接锚框的尺寸进行处理时,可以将该点云集合的外接锚框的尺寸,与该点云集合中点云所属对象的对象类别所对应的设定尺寸进行比较,及进行后续处理。其中,每种对象类别对应的设定尺寸可以根据该对象类别对应的对象的实际尺寸进行相应设定。
S904:点云数据处理装置在所述第一目标点云中,确定位于所述至少一个点云集合的目标锚框中的第三目标点云。
S905:点云数据处理装置将所述第三目标点云添加到所述第二目标点云中,得到修正后的第二目标点云。
上述步骤S904和S905中,点云数据处理装置确定每个点云集合的目标锚框后,在属于背景点的第一目标点云中选择位于各目标锚框中的第三目标点云。然后将选择的第三目标点云添加到第二目标点云中,得到修正后的第二目标点云。
点云数据处理装置可以在得到修正后的第二目标点云后,基于修正后的第二目标点云进行目标检测。
前述点云融合切割阶段对应的点云数据处理方法中,在从原始点云中去除第一目标点云得到第二目标点云时,可能存在少数前景点损失的情况,例如,对比图6中所示的原始点云和图8中所示的第二目标点云可知,去除的点云中可能会包含少量的前景点,导致前景点的保留可能不全面。因此,该方法中,通过选择与已确定为前景点的点云的距离较近的第三目标点云添加到第二目标点云中,可以恢复保留一些较大概率属于前景点的点云,从而避免前景点的误删问题,提高点云处理的准确度。例如,如图10中所示的修正后的第二目标点云,其包含前景点的情况与原始点云数据中包含的前景点的情况更为接近,因此,去除背景点的、保留前景点的准确度更高。
上述实施例中,根据原始点云的类别特征、原始点云的环境特征等信息,可以确定点云较大概率是前景点还是背景点,进而对原始点云中的前景点和背景点进行区分,通过去除原始点云中的背景点,保留具有有用信息的前景点,则在利用处理后的点云进行目标检测时,可以达到加速基于点云的目标检测算法的效果,提高目标检测效率,同时节省计算资源。此外,在去除背景点后,可以根据点云的相关特征,在去除的背景点中选择可能属于前景点的点云恢复保留,则可以避免去除背景点过程中造成的一些前景点的损失情况,保证基于保留的前景点进行目标检测时的检测准确度。总而言之,采用上述实施例提供的点云数据处理方法对原始点云进行处理后,再基于处理后的点云进行目标检测,可以对复杂场景下的目标对象检测获得较好的检测效果。
基于以上实施例及相同构思,本申请实施例还提供了一种点云数据处理装置,如图11所示,所述点云数据处理装置1100可以包括:特征提取单元1101、点云选择单元1102和点云处理单元1103。
所述特征提取单元1101用于确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数;所述点云选择单元1102用于根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云;所述点云处理单元1103用于去除所述原始点云中的所述第一目标点云,得到第二目标点云。
在一种可能的设计中,所述原始点云的特征参数中包含所述第一参数;所述第一参数满足如下至少一项:所述第一参数为通过点云分类模型对所述原始点云进行分类得到的;或者,所述第一参数为所述原始点云对应的第一目标对象的类别,其中,所述第一目标对象为所述原始点云投影到目标图像的特征点所属的对象。
在一种可能的设计中,所述原始点云的特征参数中包含所述第二参数;所述第二参数满足如下至少一项:所述第二参数为所述原始点云所在的第一设定区域内的点云分布特征;或者,所述第二参数为所述原始点云对应的第二目标对象的类别,其中,所述第二目标对象为位于所述原始点云对应的目标地图数据中的目标位置处的对象,所述目标位置是根据所述原始点云所在的坐标系与所述目标地图数据所在的坐标系之间的对应关系确定的;或者,所述第二参数为所述原始点云对应的所述目标地图数据中的目标位置所在的第二设定区域内的对象分布特征。
在一种可能的设计中,所述点云分布特征包括以下至少一项:所述第一设定区域内包含的点云的数量,所述第一设定区域内点云的类别,所述第一设定区域内每个类别的点云所占区域的大小,或所述第一设定区域内每个类别的点云的数量;所述对象分布特征包括以下至少一项:所述第二设定区域内对象的数量,所述第二设定区域内对象的类别,或所述第二设定区域内每个对象所占区域的大小。
在一种可能的设计中,所述点云选择单元1102根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云时,具体用于:根据所述原始点云的特征参数及点云分析模型,确定所述原始点云中属于背景点的第一目标点云,其中,所述点云分析模型用于根据点云的特征参数确定所述点云是否属于背景点。
在一种可能的设计中,所述点云处理单元1103还用于:确定所述第二目标点云的第三参数,所述第三参数用于指示所述第二目标点云的类别;根据所述第二目标点云的所述第三参数,对所述第二目标点云进行划分,得到至少一个点云集合,其中,任一个点云集合中点云的第三参数相同,任一个点云集合中任意两个点云之间的距离值小于设定阈值;确定所述至少一个点云集合中每个点云集合的目标锚框,其中,任一个点云集合的目标锚框包含所述点云集合中所有的点云;在所述第一目标点云中,确定位于所述至少一个点云集合的目标锚框中的第三目标点云;将所述第三目标点云添加到所述第二目标点云中,得到修正后的第二目标点云。
在一种可能的设计中,所述点云处理单元1103确定所述至少一个点云集合中每个点云集合的目标锚框时,具体用于:确定所述至少一个点云集合中每个点云集合的外接锚框,其中,任一个点云集合的外接锚框为包含所述点云集合中所有点云的最小锚框;针对所述至少一个点云集合中的目标点云集合,执行以下步骤:判断所述目标点云集合的外接锚框的尺寸是否大于或等于设定尺寸;若确定所述目标点云集合的外接锚框的尺寸大于或等于所述设定尺寸,则将所述外接锚框作为所述目标点云集合的目标锚框;否则,按照所述设定尺寸,生成所述目标点云集合的目标锚框;其中,所述目标点云集合为所述至少一个点云集合中的任一个点云集合。
在一种可能的设计中,所述点云处理单元1103按照所述设定尺寸,生成所述目标点云集合的目标锚框时,具体用于:以目标参考点为中心,按照所述设定尺寸,生成所述目标点云集合的目标锚框,其中,所述目标参考点为所述目标点云集合的外接锚框的中心点或所述目标点云集合包含的多个点云的中心点。
本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
图11中的各个单元的只一个或多个可以软件、硬件、固件或其结合实现。所述软件或固件包括但不限于计算机程序指令或代码,并可以被硬件处理器所执行。所述硬件包括但不限于各类集成电路,如中央处理单元(CPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
基于以上实施例及相同构思,本申请实施例还提供了一种点云数据处理装置,用于实现本申请实施例提供的点云数据处理方法。如图12所示,所述点云数据处理装置1200可以包括:一个或多个处理器1201,存储器1202,以及一个或多个计算机程序(图中未示出)。作为一种实现方式,上述各器件可以通过一个或多个通信线路1203耦合。其中,存储器1202中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令;处理器1201调用存储器1202中存储的所述指令,使得点云数据处理装置1200执行本申请实施例提供的点云数据处理方法。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置。
作为一种实现方式,所述点云数据处理装置1200还可以包括通信接口1204,用于通过传输介质和其它装置进行通信,例如,在采集原始点云数据、图像、地图数据等数据的装置不是所述点云数据处理装置1200时,所述点云数据处理装置1200可以通过所述通信接口1204,与采集原始点云数据、图像、地图数据等数据的装置进行通信,从而接收该装置采集的原始点云数据、图像、地图数据等数据。在本申请实施例中,通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。在本申请实施例中,通信接口为收发器时,收发器可以包括独立的接收器、独立的发射器;也可以集成收发功能的收发器、或者是接口电路。
在本申请一些实施例中,所述处理器1201、存储器1202以及通信接口1204可以通过通信线路1203相互连接;通信线路1203可以是外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。所述通信线路1203可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
基于以上实施例及相同构思,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在点云数据处理装置上运行时,使得所述点云数据处理装置执行以上实施例提供的点云数据处理方法。
基于以上实施例及相同构思,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令被点云数据处理装置执行时,实现以上实施例提供的点云数据处理方法。
基于以上实施例及相同构思,本申请实施例还提供一种终端,该终端包括以上实施例中所述的点云数据处理装置,或者,该终端包括存储器和处理器;其中,所述存储器用于存储计算机程序;所述处理器用于执行所述存储器中存储的计算程序,实现以上实施例提供的点云数据处理方法。
在一种可能的设计中,所述终端为如下任一种:智能运输设备,智能家居设备,智能制造设备,机器人。
在一种可能的设计中,所述智能运输设备为如下任一种:车辆,无人机,自动导引运输车,无人运输车。
基于以上实施例及相同构思,本申请实施例还提供一种服务器,该服务器包括以上实施例中所述的点云数据处理装置,或者,该服务器包括存储器和处理器;其中,所述存储器用于存储计算机程序;所述处理器用于执行所述存储器中存储的计算程序,实现以上实施例提供的点云数据处理方法。
在一种可能的设计中,所述服务器为云端服务器,或本地服务器。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD)、或者半导体介质(例如,SSD)等。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (20)
1.一种点云数据处理方法,其特征在于,包括:
确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数;
根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云;
去除所述原始点云中的所述第一目标点云,得到第二目标点云。
2.根据权利要求1所述的方法,其特征在于,所述原始点云的特征参数中包含所述第一参数;所述第一参数满足如下至少一项:
所述第一参数为通过点云分类模型对所述原始点云进行分类得到的;或者
所述第一参数为所述原始点云对应的第一目标对象的类别,其中,所述第一目标对象为所述原始点云投影到目标图像的特征点所属的对象。
3.根据权利要求1或2所述的方法,其特征在于,所述原始点云的特征参数中包含所述第二参数;所述第二参数满足如下至少一项:
所述第二参数为所述原始点云所在的第一设定区域内的点云分布特征;或者
所述第二参数为所述原始点云对应的第二目标对象的类别,其中,所述第二目标对象为位于所述原始点云对应的目标地图数据中的目标位置处的对象,所述目标位置是根据所述原始点云所在的坐标系与所述目标地图数据所在的坐标系之间的对应关系确定的;或者
所述第二参数为所述原始点云对应的所述目标地图数据中的目标位置所在的第二设定区域内的对象分布特征。
4.根据权利要求3所述的方法,其特征在于,所述点云分布特征包括以下至少一项:所述第一设定区域内包含的点云的数量,所述第一设定区域内点云的类别,所述第一设定区域内每个类别的点云所占区域的大小,或所述第一设定区域内每个类别的点云的数量;
所述对象分布特征包括以下至少一项:所述第二设定区域内对象的数量,所述第二设定区域内对象的类别,或所述第二设定区域内每个对象所占区域的大小。
5.根据权利要求1~4任一所述的方法,其特征在于,所述根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云,包括:
根据所述原始点云的特征参数及点云分析模型,确定所述原始点云中属于背景点的第一目标点云,其中,所述点云分析模型用于根据点云的特征参数确定所述点云是否属于背景点。
6.根据权利要求1~5任一所述的方法,其特征在于,所述方法还包括:
确定所述第二目标点云的第三参数,所述第三参数用于指示所述第二目标点云的类别;
根据所述第二目标点云的所述第三参数,对所述第二目标点云进行划分,得到至少一个点云集合,其中,任一个点云集合中点云的第三参数相同,任一个点云集合中任意两个点云之间的距离值小于设定阈值;
确定所述至少一个点云集合中每个点云集合的目标锚框,其中,任一个点云集合的目标锚框包含所述点云集合中所有的点云;
在所述第一目标点云中,确定位于所述至少一个点云集合的目标锚框中的第三目标点云;
将所述第三目标点云添加到所述第二目标点云中,得到修正后的第二目标点云。
7.根据权利要求6所述的方法,其特征在于,所述确定所述至少一个点云集合中每个点云集合的目标锚框,包括:
确定所述至少一个点云集合中每个点云集合的外接锚框,其中,任一个点云集合的外接锚框为包含所述点云集合中所有点云的最小锚框;
针对所述至少一个点云集合中的目标点云集合,执行以下步骤:
判断所述目标点云集合的外接锚框的尺寸是否大于或等于设定尺寸;
若确定所述目标点云集合的外接锚框的尺寸大于或等于所述设定尺寸,则将所述外接锚框作为所述目标点云集合的目标锚框;
否则,按照所述设定尺寸,生成所述目标点云集合的目标锚框;
其中,所述目标点云集合为所述至少一个点云集合中的任一个点云集合。
8.根据权利要求7所述的方法,其特征在于,所述按照所述设定尺寸,生成所述目标点云集合的目标锚框,包括:
以目标参考点为中心,按照所述设定尺寸,生成所述目标点云集合的目标锚框,其中,所述目标参考点为所述目标点云集合的外接锚框的中心点或所述目标点云集合包含的多个点云的中心点。
9.一种点云数据处理装置,其特征在于,包括:
特征提取单元,用于确定原始点云的特征参数,其中,所述特征参数包含:用于指示所述原始点云的类别特征的第一参数,和/或,用于指示所述原始点云的环境特征的第二参数;
点云选择单元,用于根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云;
点云处理单元,用于去除所述原始点云中的所述第一目标点云,得到第二目标点云。
10.根据权利要求9所述的装置,其特征在于,所述原始点云的特征参数中包含所述第一参数;所述第一参数满足如下至少一项:
所述第一参数为通过点云分类模型对所述原始点云进行分类得到的;或者
所述第一参数为所述原始点云对应的第一目标对象的类别,其中,所述第一目标对象为所述原始点云投影到目标图像的特征点所属的对象。
11.根据权利要求9或10所述的装置,其特征在于,所述原始点云的特征参数中包含所述第二参数;所述第二参数满足如下至少一项:
所述第二参数为所述原始点云所在的第一设定区域内的点云分布特征;或者
所述第二参数为所述原始点云对应的第二目标对象的类别,其中,所述第二目标对象为位于所述原始点云对应的目标地图数据中的目标位置处的对象,所述目标位置是根据所述原始点云所在的坐标系与所述目标地图数据所在的坐标系之间的对应关系确定的;或者
所述第二参数为所述原始点云对应的所述目标地图数据中的目标位置所在的第二设定区域内的对象分布特征。
12.根据权利要求11所述的装置,其特征在于,所述点云分布特征包括以下至少一项:所述第一设定区域内包含的点云的数量,所述第一设定区域内点云的类别,所述第一设定区域内每个类别的点云所占区域的大小,或所述第一设定区域内每个类别的点云的数量;
所述对象分布特征包括以下至少一项:所述第二设定区域内对象的数量,所述第二设定区域内对象的类别,或所述第二设定区域内每个对象所占区域的大小。
13.根据权利要求9~12任一所述的装置,其特征在于,所述点云选择单元根据所述原始点云的特征参数,确定所述原始点云中属于背景点的第一目标点云时,具体用于:
根据所述原始点云的特征参数及点云分析模型,确定所述原始点云中属于背景点的第一目标点云,其中,所述点云分析模型用于根据点云的特征参数确定所述点云是否属于背景点。
14.根据权利要求9~13任一所述的装置,其特征在于,所述点云处理单元还用于:
确定所述第二目标点云的第三参数,所述第三参数用于指示所述第二目标点云的类别;
根据所述第二目标点云的所述第三参数,对所述第二目标点云进行划分,得到至少一个点云集合,其中,任一个点云集合中点云的第三参数相同,任一个点云集合中任意两个点云之间的距离值小于设定阈值;
确定所述至少一个点云集合中每个点云集合的目标锚框,其中,任一个点云集合的目标锚框包含所述点云集合中所有的点云;
在所述第一目标点云中,确定位于所述至少一个点云集合的目标锚框中的第三目标点云;
将所述第三目标点云添加到所述第二目标点云中,得到修正后的第二目标点云。
15.根据权利要求14所述的装置,其特征在于,所述点云处理单元确定所述至少一个点云集合中每个点云集合的目标锚框时,具体用于:
确定所述至少一个点云集合中每个点云集合的外接锚框,其中,任一个点云集合的外接锚框为包含所述点云集合中所有点云的最小锚框;
针对所述至少一个点云集合中的目标点云集合,执行以下步骤:
判断所述目标点云集合的外接锚框的尺寸是否大于或等于设定尺寸;
若确定所述目标点云集合的外接锚框的尺寸大于或等于所述设定尺寸,则将所述外接锚框作为所述目标点云集合的目标锚框;
否则,按照所述设定尺寸,生成所述目标点云集合的目标锚框;
其中,所述目标点云集合为所述至少一个点云集合中的任一个点云集合。
16.根据权利要求15所述的装置,其特征在于,所述点云处理单元按照所述设定尺寸,生成所述目标点云集合的目标锚框时,具体用于:
以目标参考点为中心,按照所述设定尺寸,生成所述目标点云集合的目标锚框,其中,所述目标参考点为所述目标点云集合的外接锚框的中心点或所述目标点云集合包含的多个点云的中心点。
17.一种点云数据处理装置,其特征在于,包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器中存储的计算程序,实现如权利要求1~8中任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在点云数据处理装置上运行时,使得所述点云数据处理装置执行如上述权利要求1~8中任一项所述的方法。
19.一种终端,其特征在于,所述终端包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器中存储的计算程序,实现如权利要求1~8中任一项所述的方法。
20.一种服务器,其特征在于,所述服务器包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器中存储的计算程序,实现如权利要求1~8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636343.7A CN115457282A (zh) | 2021-06-08 | 2021-06-08 | 一种点云数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636343.7A CN115457282A (zh) | 2021-06-08 | 2021-06-08 | 一种点云数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115457282A true CN115457282A (zh) | 2022-12-09 |
Family
ID=84295160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110636343.7A Pending CN115457282A (zh) | 2021-06-08 | 2021-06-08 | 一种点云数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115457282A (zh) |
-
2021
- 2021-06-08 CN CN202110636343.7A patent/CN115457282A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022083402A1 (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
US11037305B2 (en) | Method and apparatus for processing point cloud data | |
CN113379718B (zh) | 一种目标检测方法、装置、电子设备以及可读存储介质 | |
US20220343758A1 (en) | Data Transmission Method and Apparatus | |
CN111783905B (zh) | 一种目标融合方法、装置、存储介质及电子设备 | |
CN111126209B (zh) | 车道线检测方法及相关设备 | |
WO2022206517A1 (zh) | 一种目标检测方法及装置 | |
CN115861400B (zh) | 目标对象检测方法、训练方法、装置以及电子设备 | |
CN113255651A (zh) | 包裹安检方法、装置及系统和节点设备、存储装置 | |
CN112712036A (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
US20220108552A1 (en) | Method and Apparatus for Determining Drivable Region Information | |
CN113721240B (zh) | 一种目标关联方法、装置、电子设备及存储介质 | |
CN115100541B (zh) | 一种卫星遥感数据的处理方法、系统及云平台 | |
CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
CN115861959A (zh) | 一种车道线识别方法、装置、电子设备及存储介质 | |
CN110689556A (zh) | 跟踪方法、装置及智能设备 | |
CN112819953B (zh) | 三维重建方法、网络模型训练方法、装置及电子设备 | |
CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
CN115457282A (zh) | 一种点云数据处理方法及装置 | |
CN115331151A (zh) | 一种视频测速方法、装置、电子设备和存储介质 | |
CN115526837A (zh) | 一种异常行车检测方法、装置、电子设备以及介质 | |
CN114399657A (zh) | 车辆检测模型训练方法、装置、车辆检测方法及电子设备 | |
CN113705643A (zh) | 一种目标物检测方法、装置以及电子设备 | |
CN113269150A (zh) | 基于深度学习的车辆多属性识别的系统及方法 | |
CN116168366B (zh) | 点云数据生成方法、模型训练方法、目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |