CN115545089A - 点云数据处理方法、模型训练方法、设备、介质及产品 - Google Patents
点云数据处理方法、模型训练方法、设备、介质及产品 Download PDFInfo
- Publication number
- CN115545089A CN115545089A CN202210334625.6A CN202210334625A CN115545089A CN 115545089 A CN115545089 A CN 115545089A CN 202210334625 A CN202210334625 A CN 202210334625A CN 115545089 A CN115545089 A CN 115545089A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- target
- processed
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 130
- 238000004422 calculation algorithm Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 9
- 238000013480 data collection Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009469 supplementation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开实施例公开了一种点云数据处理方法、模型训练方法、设备、介质及产品，所述方法包括：获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的点云分割信息；根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据。该方案可实现单独对被准确区分的属于物体类别下的单个物体所对应的空间点的点云数据进行补全的目的，从而确保基于补全后的点云数据可以准确区分物体的类别以及不同的独立物体，提高了补全处理后的点云数据的可靠性。
Description
技术领域
本公开涉及数据处理技术领域，具体涉及一种点云数据处理方法、模型训练方法、设备、介质及产品。
背景技术
近年来，自动驾驶车辆(Autonomous vehicles)技术开始呈现出接近实用化的趋势。其中，为确保应用车辆能够正常行驶，自动驾驶车辆通常配备有相应的感知系统， 例如激光雷达、摄像头、雷达设备、超声波系统等，以获取自身及周围环境的三维环 境信息，并基于所获取的三维环境信息识别自身周围的环境，以便于基于所识别的环 境规划该自动驾驶车辆的行驶路线。
为了对自动驾驶车辆的行驶路线规划模块进行优化，可以事先采集相应的三维环境信息，以便于基于所采集的三维环境信息对自动驾驶车辆的行驶路线规划模块进行 训练。在一种示例性的应用场景中，可以使用安装在采集车上的三维激光扫描仪进行 扫描得到点云(Point Cloud)数据。其中，点云是在同一空间参考系下表达采样点的空间 分布的数据集合，根据所获取的点云数据，可以对物体或场景进行建模或分析处理。 在实际应用中，受到环境遮挡和测量仪器性能不足等因素的限制，通过测量仪器扫描 得到的点云数据通常存在空洞，导致基于该点云数据对物体或场景进行建模或分析处 理，往往效果较差。因此，在出现上述状况时，需要对点云数据进行补全处理。
相关技术中，可以在点云数据存在空洞时，基于空洞附近的点云数据，对空洞的部分进行填补，从而在空洞的部分形成平滑过渡的效果，以实现对点云数据进行补全 处理的目的。但是在该方案中，补全处理后的点云数据往往过于平滑、缺少几何细节， 无法准确反映物体或场景的特征，降低了补全处理后的点云数据的可靠性。
发明内容
为了解决相关技术中的问题，本公开实施例提供点云数据处理方法、模型训练方法、设备、介质及产品。
第一方面，本公开实施例中提供了一种点云数据处理方法，所述方法包括：
获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的点云分割信息，点云分割 信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至 少一个空间点中每个空间点的物体标识信息；
根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待 处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据。
在本公开一实现方式中，根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据之前，方法还包括：
根据物体类别信息确定至少一个空间点中与动态物体对应的动态空间点，并将与动态空间点对应的点云数据从待处理点云数据中剔除；
根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待 处理点云数据，包括：
根据物体标识信息在剔除后的待处理点云数据中确定目标待处理点云数据。
在本公开一实现方式中，根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据，包括：
获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，并将目标待处理点云数据输入目标点云补全模型，以获取目标点云补全模型输出的目标补全点 云数据，目标点云补全模型为预先训练得到的；
和/或，获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，基于目标点云补全算法，根据目标待处理点云数据进行计算，以获取目标补全点云数据。
在本公开一实现方式中，获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，包括：
响应于根据物体类别信息确定同一个物体属于平滑特征物体集合，将点云平滑补全算法确定为目标点云补全算法，平滑特征物体集合包括路面、车道线、隧道壁、路 缘石中的至少一项。
在本公开一实现方式中，获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，包括：
响应于根据同一个物体的空间点的物体类别信息确定同一个物体属于目标物体集 合，获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，目标物体集合包括标志牌牌体、标志牌牌杆、电线杆、龙门架、护栏、信号灯、路灯、树木、 建筑物中的至少一项。
第二方面，本公开实施例中提供了一种模型训练方法，所述方法包括：
获取待处理点云数据以及点云分割信息，点云分割信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的 物体标识信息；
获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型进行训练，以获取目标点云分割模型。
第三方面，本公开实施例中提供了一种模型训练方法，所述方法包括
获取目标待处理点云数据以及目标补全点云数据，目标待处理点云数据与同一个物体的空间点对应，目标补全点云数据为基于目标待处理点云数据进行补全得到的；
获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练，以获取目标点云补全模型。
第四方面，本公开实施例中提供了一种点云数据处理装置，所述装置包括：
第一数据获取模块，被配置为获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输 出的点云分割信息，点云分割信息包括待处理点云数据对应的至少一个空间点中每个 空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息；
点云补全模块，被配置为根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别信息 对目标待处理点云数据进行补全，以获取目标补全点云数据。
第五方面，本公开实施例中提供了一种模型训练装置，所述装置包括：
第二数据获取模块，被配置为获取待处理点云数据以及点云分割信息，点云分割信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至 少一个空间点中每个空间点的物体标识信息；
第一训练模块，被配置为获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型进行训练，以获取目标点云分割模型。
第六方面，本公开实施例中提供了一种模型训练装置，所述装置包括：
第三数据获取模块，被配置为获取目标待处理点云数据以及目标补全点云数据，目标待处理点云数据与同一个物体的空间点对应，目标补全点云数据为基于目标待处 理点云数据进行补全得到的；
第二训练模块，被配置为获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练，以获取目标点云补全模型。
第七方面，本公开实施例中提供了一种电子设备，包括存储器和至少一个处理器；存储器用于存储一条或多条计算机指令，一条或多条计算机指令被至少一个处理器执 行以实现第一方面、第一方面的任一种实现方式、第二方面以及第三方面中任一项的 方法步骤。
第八方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现第一方面、第一方面的任一种实现方式、第 二方面以及第三方面中任一项的方法步骤。
第九方面，本公开实施例中提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面、第一方面的任一种实现方式、第二 方面以及第三方面中任一项的方法步骤。
本公开实施例提供的技术方案可以包括以下有益效果：
在上述实施方式中，通过获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的 点云分割信息，其中，点云分割信息包括待处理点云数据对应的至少一个空间点中每 个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息，即基于 任一个空间点的物体类别信息，可以对该空间点所对应物体的物体类别进行准确区分， 而基于任一个空间点的物体标识信息，可以将空间点所对应的物体与其他独立的物体 进行准确区别。通过根据物体标识信息在待处理点云数据中确定与同一个物体的空间 点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待 处理点云数据进行补全，可以实现单独对被准确区分的属于物体类别下的单个物体所 对应的空间点的点云数据进行补全的目的，从而确保基于补全后的点云数据可以准确 区分物体的类别以及不同的独立物体，提高了补全处理后的点云数据的可靠性。
在上述实施方式中，考虑到动态物体可能会改变自身位置，若点云数据中包括所在位置位于动态物体的物体表面的动态空间点对应的点云数据时，则在该动态物体改 件自身位置后，点云数据可能无法准确反映相应场景中的物体的位置，降低了点云数 据的可靠性。通过根据物体类别信息确定至少一个空间点中与动态物体对应的动态空 间点，并将与动态空间点对应的点云数据从待处理点云数据中剔除，并根据物体标识 信息在剔除后的待处理点云数据中确定目标待处理点云数据，可以确保所确定的目标 待处理点云数据不包括任何所在位置位于动态物体的物体表面的动态空间点对应的点 云数据，进而提高了所确定的目标待处理点云数据的可靠性。
在上述实施方式中，考虑到目标点云补全模型可以学习到较为复杂的规律，因此通过获取与同一个物体的空间点的物体类别信息对应的、预先训练得到的目标点云补 全模型，并将目标待处理点云数据输入目标点云补全模型，以获取目标点云补全模型 输出的目标补全点云数据，可以提高所获取的目标补全点云数据的可靠性；而考虑到 基于目标点云补全算法进行补全处理时，所需的处理资源较少，处理速度较快，因此 通过获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，基于目标 点云补全算法，根据目标待处理点云数据进行计算，以获取目标补全点云数据，可以 提高获取目标补全点云数据的效率，降低获取目标补全点云数据的成本。
在上述实施方式中，考虑到平滑特征物体集合所包括的路面、车道线、隧道壁、 路缘石等物体的物体表面较为平滑，在补全位置位于上述物体表面的空间点对应的点 云数据时，处理难度较低，因此通过响应于根据物体类别信息确定同一个物体属于平 滑特征物体集合，将点云平滑补全算法确定为目标点云补全算法，可以在不降低所获 取的目标补全点云数据的可靠性的前提下，提高获取目标补全点云数据的效率，降低 获取目标补全点云数据的成本。
在上述实施方式中，考虑到目标物体集合包括的标志牌牌体、标志牌牌杆、电线杆、龙门架、护栏、信号灯、路灯、树木、建筑物等物体的物体表面较为复杂，在补 全位置位于上述物体表面的空间点对应的点云数据时，处理难度较高，因此通过响应 于根据同一个物体的空间点的物体类别信息确定同一个物体属于目标物体集合，获取 与同一个物体的空间点的物体类别信息对应的目标点云补全模型，可以提高所获取的 目标补全点云数据的可靠性。
在上述实施方式中，通过获取待处理点云数据以及点云分割信息，并获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型 进行训练，以获取目标点云分割模型，可以确保目标点云分割模型能够学习到待处理 点云数据与点云分割信息之间规律，从而可以根据输入的点云数据输出与输入的点云 数据对应的点云分割信息，由于点云分割信息包括待处理点云数据对应的至少一个空 间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信 息，因此可以基于任一个空间点的物体类别信息，对该空间点所对应物体的物体类别 进行准确区分，也可以基于任一个空间点的物体标识信息，将空间点所对应的物体与 其他独立的物体进行准确区别，有助于对点云数据进行补全。
在上述实施方式中，通过获取目标待处理点云数据以及目标补全点云数据，并获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出， 对点云补全模型进行训练，以获取目标点云补全模型，其中，由于目标待处理点云数 据与同一个物体的空间点对应，目标补全点云数据为基于目标待处理点云数据进行补 全得到的，因此基于所得到的目标点云补全模型，可以较为可靠的对输入目标点云补 全模型的、与同一个物体的空间点对应点云数据进行补全，有助于提高补全处理后的 点云数据的可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的点云数据处理方法的流程图。
图2示出根据本公开一实施方式的点云数据处理方法的流程图。
图3示出根据本公开一实施方式的模型训练方法的流程图。
图4示出根据本公开一实施方式的模型训练方法的流程图。
图5示出根据本公开一实施方式的点云数据处理装置的结构框图。
图6示出根据本公开一实施方式的模型训练装置的结构框图。
图7示出根据本公开一实施方式的模型训练装置的结构框图。
图8示出根据本公开一实施方式的电子设备的结构框图。
图9是适于用来实现根据本公开实施方式的方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关 的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的标签、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个 其他标签、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的标签可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
为了对点云数据进行补全处理，本公开发明人考虑了如下方案：
相关技术中，在一个实施例中，可以在点云数据存在空洞时，基于空洞附近的点云数据，对空洞的部分进行填补，从而在空洞的部分形成平滑过渡的效果，以实现对 点云数据进行补全处理的目的。
此方案的缺点：在该方案中，补全处理后的点云数据往往过于平滑、缺少几何细节，无法准确反映物体或场景的特征，降低了补全处理后的点云数据的可靠性。因此， 如何提高补全处理后的点云数据的可靠性，是相关技术中亟待解决的问题之一。
在另一个实施例中，可以对点云数据进行语义分割，即将对应不同类物体的空间点的点云数据区分开来，并单独对与同一类物体对应的空间点的点云数据进行补全。
此方案的缺点：在该方案中，由于并未区分同一类物体中不同的独立物体(例如位置相近的多个独立的标志牌牌体)，因此无法单独对与单个物体对应的空间点的点云 数据进行补全，基于补全后的点云数据可能无法准确区分同一类物体中不同的独立物 体，从而降低了补全处理后的点云数据的可靠性。
在又一个实施例中，可以在采集点云数据的同时采集二维图像，并对所采集的二维图像进行图像识别，根据图像识别结果区别不同类的物体以及同一类物体中不同的 独立物体，通过将图像识别结果映射到所采集的点云数据上，以实现对点云数据的全 景分割，即对点云数据中空间点所对应的物体本身以及物体类别进行区分，并单独对 与某一个物体类别下的单个物体对应的空间点的点云数据进行补全。
此方案的缺点：在该方案中，由于基于二维图像往往无法获取场景的深度信息，因此在对点云数据中空间点所对应的物体类别进行区分时，往往会出现错误(例如当 场景同时包括广告牌上的人和实际的行人时，二者可能无法被准确区分开来，即可能 会被同时识别为行人类别)，基于补全后的点云数据可能无法准确区分不同类别的物 体，从而降低了补全处理后的点云数据的可靠性。
考虑以上方案的缺点，本公开发明人提出了新的方案：通过获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型， 以获取目标点云分割模型输出的点云分割信息，其中，点云分割信息包括待处理点云 数据对应的至少一个空间点中每个空间点的物体类别信息以及至少一个空间点中每个 空间点的物体标识信息，即基于任一个空间点的物体类别信息，可以对该空间点所对 应物体的物体类别进行准确区分，而基于任一个空间点的物体标识信息，可以将空间 点所对应的物体与其他独立的物体进行准确区别。通过根据物体标识信息在待处理点 云数据中确定与同一个物体的空间点对应的目标待处理点云数据，并根据同一个物体 的空间点的物体类别信息对目标待处理点云数据进行补全，可以实现单独对被准确区 分的属于物体类别下的单个物体所对应的空间点的点云数据进行补全的目的，从而确 保基于补全后的点云数据可以准确区分物体的类别以及不同的独立物体，提高了补全 处理后的点云数据的可靠性。
本公开提出点云数据处理方法、模型训练方法、设备、介质及产品。
图1示出根据本公开一实施方式的点云数据处理方法的流程图。如图1所示，点 云数据处理方法包括步骤S101-S102。
在步骤S101中，获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的点云分割 信息。
其中，点云分割信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息；
在步骤S102中，根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待 处理点云数据进行补全，以获取目标补全点云数据。
在本公开一实施方式中，待处理点云数据，可以理解为针对相应的场景采集得到的点云数据，获取待处理点云数据，可以理解为读写事先储存的待处理点云数据，也 可以理解为接收点数数据采集装置发送的待处理点云数据，也可以理解为从其他装置 或系统处获取待处理点云数据。在无人车应用场景中，待处理点云数据可以包括激光 点云数据，激光点云数据是由激光束照射到物体表面时所反射得到的携带方位、距离 等信息的数据。点云数据采集车可以通过安装在车上的激光束发射装置例如激光雷达 等产生激光束并照射到周围的车辆、行人、交通设施等物体，其中，可以使激光束按 照某种轨迹进行扫描，同时点云数据采集车还可以通过安装在车上的激光束接收装置 接收反射的激光，并根据反射的激光进行数据记录，当扫描较为精细时，能够得到大 量的激光点，从而形成激光点云数据。
在本公开一实施方式中，目标点云分割模型，可以理解为已经学习到了点云数据与点云分割信息之间规律的模型，目标点云分割模型可以为全景极化(Panoptic-PolarNet)模型，也可以为多目标优化(MOPT,multi-objective optimization)模型等，本公开对目标点云分割模型的实现方式不做具体限定。
在本公开一实施方式中，物体类别信息，可以理解为用于指示对应场景中与该物体类别信息对应的空间点所在位置的物体表面所属物体的物体类别。示例性的，物体 所属的类别可以包括路面、车道线、隧道壁、路缘石、标牌牌体、标牌杆、电线杆、 龙门架、护栏、信号灯、路灯、树木、建筑物等。物体类别信息，可以具体为与物体 类别对应的编号或标签等。
在本公开一实施方式中，物体标识信息可以理解为用于指示对应场景中空间点所在位置的物体表面所属物体自身，根据物体标识信息，可以确定对应场景中与该物体 标识信息对应的空间点所在位置的物体表面所属的独立物体，从而区分所在位置的物 体表面对应不同的独立物体的空间点。物体标识信息，可以具体为与独立物体对应的 编号或标签等。
在本公开一实施方式中，目标待处理点云数据，可以理解为物体标识信息指示的物体为同一个独立物体的空间点所对应的点云数据，即根据该目标待处理点云数据可 以获取同一个独立物体表面的一个或多个空间点的空间位置。
在本公开一实施方式中，根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，可以理解为在待处理点云数据所对应的空间 点中，根据物体标识信息将所在位置的物体表面属于不同物体的空间点区分开来，并 将所在位置的物体表面均属于相同的一个独立物体的空间点所对应的点云数据确定为 目标待处理点云数据。示例性的，当根据物体标识信息确定待处理点云数据所对应的 空间点中，多个空间点所在位置的物体表面均属于某个标牌牌体时，可以将该多个空 间点在待处理点云数据中所对应的点云数据确定为目标待处理点云数据。
在本公开一实施方式中，根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据，可以理解为基于该同一个物体的空间 点的物体类别信息所对应的算法，将目标待处理点云数据代入进行计算，以获取目标 补全点云数据；也可以理解为，获取该同一个物体的空间点的物体类别信息所对应的 模型，将目标待处理点云数据输入该模型，以获取该模型输出的目标补全点云数据； 也可以理解为，向与该同一个物体的空间点的物体类别信息所对应的装置或系统发送 该目标待处理点云数据，并接收该装置或系统发送的目标补全点云数据。
在上述实施方式中，通过获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的 点云分割信息，其中，点云分割信息包括待处理点云数据对应的至少一个空间点中每 个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息，即基于 任一个空间点的物体类别信息，可以对该空间点所对应物体的物体类别进行准确区分， 而基于任一个空间点的物体标识信息，可以将空间点所对应的物体与其他独立的物体 进行准确区别。通过根据物体标识信息在待处理点云数据中确定与同一个物体的空间 点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待 处理点云数据进行补全，可以实现单独对被准确区分的属于物体类别下的单个物体所 对应的空间点的点云数据进行补全的目的，从而确保基于补全后的点云数据可以准确 区分物体的类别以及不同的独立物体，提高了补全处理后的点云数据的可靠性。
在本公开一实现方式中，在步骤S102中，根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据之前，所述方法还包括如下步 骤：
根据物体类别信息确定至少一个空间点中与动态物体对应的动态空间点，并将与动态空间点对应的点云数据从待处理点云数据中剔除；
在步骤S102中，根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，可以通过如下步骤实现：
根据物体标识信息在剔除后的待处理点云数据中确定目标待处理点云数据。
在本公开一实施方式中，动态物体可以理解为可能会自发改变自身位置的物体，或在外力作用下改变自身位置的物体。示例性的，动态物体可以包括机动车、非机动 车，行人、动物、可移动储物装置(可移动垃圾箱、可移动杂物箱，可移动食品移动 贩卖车)等。
在本公开一实施方式中，与动态物体对应的动态空间点，可以理解为在相应场景中，所在位置的物体表面属于动态物体的空间点。
在上述实施方式中，考虑到动态物体可能会改变自身位置，若点云数据中包括所在位置位于动态物体的物体表面的动态空间点对应的点云数据时，则在该动态物体改 件自身位置后，点云数据可能无法准确反映相应场景中的物体的位置，降低了点云数 据的可靠性。通过根据物体类别信息确定至少一个空间点中与动态物体对应的动态空 间点，并将与动态空间点对应的点云数据从待处理点云数据中剔除，并根据物体标识 信息在剔除后的待处理点云数据中确定目标待处理点云数据，可以确保所确定的目标 待处理点云数据不包括任何所在位置位于动态物体的物体表面的动态空间点对应的点 云数据，进而提高了所确定的目标待处理点云数据的可靠性。
在本公开一实现方式中，在步骤S102中，根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据，可以通过如下步骤实 现：
获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，并将目标待处理点云数据输入目标点云补全模型，以获取目标点云补全模型输出的目标补全点 云数据，目标点云补全模型为预先训练得到的；
和/或，获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，基于目标点云补全算法，根据目标待处理点云数据进行计算，以获取目标补全点云数据。
在本公开一实施方式中，目标点云补全模型，可以理解为已学习到了所在位置位于特定物体类别的物体表面的空间点对应的未补全的点云数据，与补全后的点云数据 之间规律的模型，其中该特定物体类别为上述同一个物体的空间点的物体类别信息所 指示的物体类别。目标点云补全模型，可以为编码器-解码器(encoder-decoder)模型，例 如点补全网络(Point Completion Network，PCN)模型、TopNet模型等，也可以为其他 类型的模型例如神经网络(neural network，NN)模型、卷积神经网络(convolutional neuralnetworks，CNN)模型或长短期记忆网络(long shortterm memory，LSTM)模 型等，本公开对目标点云补全模型的实现方式不做具体限定。
在本公开一实施方式中，目标点云补全算法，可以理解为用于对所在位置位于特定物体类别的物体表面的空间点所对应的点云数据进行补全的算法，其中该特定物体 类别为上述同一个物体的空间点的物体类别信息所指示的物体类别，该物体类别为特 定物体类别的物体，可以被理解为表面具有规律特征的物体，其中规律特征可以被理 解为平滑特征、褶皱特征、波纹特征等。
需要说明的是，在对多个不同物体的空间点对应的点云数据进行补全时，可以基于每个物体的空间点的物体类别信息获取对应的点云补全算法，并基于所获取的点云 补全算法对相应物体的空间点所对应的点云数据进行补全，以获取补全后的点云数据； 或者，也可以基于每个物体的空间点的物体类别信息获取对应的点云补全模型，并将 相应物体的空间点所对应的点云数据输入所获取的点云补全模型，以获取该点云补全 模型输出的补全后的点云数据；或者，也可以基于多个不同物体中一部分物体的空间 点的物体类别信息获取对应的点云补全模型，并基于多个不同物体中另一部分物体的 空间点的物体类别信息获取对应的点云补全算法，基于所获取的点云补全算法对该一 部分物体的空间点所对应的点云数据进行补全，以获取与该一部分物体的空间点所对 应的补全后的点云数据，并将该另一部分物体的空间点所对应的点云数据输入所获取 的点云补全模型，以获取与该另一部分物体的空间点所对应的补全后的点云数据。
在上述实施方式中，考虑到目标点云补全模型可以学习到较为复杂的规律，因此通过获取与同一个物体的空间点的物体类别信息对应的、预先训练得到的目标点云补 全模型，并将目标待处理点云数据输入目标点云补全模型，以获取目标点云补全模型 输出的目标补全点云数据，可以提高所获取的目标补全点云数据的可靠性；而考虑到 基于目标点云补全算法进行补全处理时，所需的处理资源较少，处理速度较快，因此 通过获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，基于目标 点云补全算法，根据目标待处理点云数据进行计算，以获取目标补全点云数据，可以 提高获取目标补全点云数据的效率，降低获取目标补全点云数据的成本。
在本公开一实现方式中，获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，可以通过如下步骤实现：
响应于根据物体类别信息确定同一个物体属于平滑特征物体集合，将点云平滑补全算法确定为目标点云补全算法。
其中，平滑特征物体集合包括路面、车道线、隧道壁、路缘石中的至少一项。
在上述实施方式中，考虑到平滑特征物体集合所包括的路面、车道线、隧道壁、 路缘石等物体的物体表面较为平滑，在补全位置位于上述物体表面的空间点对应的点 云数据时，处理难度较低，因此通过响应于根据物体类别信息确定同一个物体属于平 滑特征物体集合，将点云平滑补全算法确定为目标点云补全算法，可以在不降低所获 取的目标补全点云数据的可靠性的前提下，提高获取目标补全点云数据的效率，降低 获取目标补全点云数据的成本。
在本公开一实现方式中，获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，可以通过如下步骤实现：
响应于根据同一个物体的空间点的物体类别信息确定同一个物体属于目标物体集 合，获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型。
其中，目标物体集合包括标志牌牌体、标志牌牌杆、电线杆、龙门架、护栏、信 号灯、路灯、树木、建筑物中的至少一项
在上述实施方式中，考虑到目标物体集合包括的标志牌牌体、标志牌牌杆、电线杆、龙门架、护栏、信号灯、路灯、树木、建筑物等物体的物体表面较为复杂，在补 全位置位于上述物体表面的空间点对应的点云数据时，处理难度较高，因此通过响应 于根据同一个物体的空间点的物体类别信息确定同一个物体属于目标物体集合，获取 与同一个物体的空间点的物体类别信息对应的目标点云补全模型，可以提高所获取的 目标补全点云数据的可靠性。
图2示出根据本公开一实施方式的点云数据处理方法的流程图。如图2所示，点 云数据处理方法包括步骤S201-S209。
在步骤S201中，获取待处理点云数据。
在步骤S202中，获取预先训练得到的目标点云分割模型。
在步骤S203中，将所述待处理点云数据输入所述目标点云分割模型，以获取所述目标点云分割模型输出的点云分割信息。
在步骤S204中，根据所述物体类别信息确定所述至少一个空间点中与动态物体对应的动态空间点，并将与所述动态空间点对应的点云数据从所述待处理点云数据中剔 除。
在步骤S205中，根据所述物体标识信息在剔除后的待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据。
在步骤S206中，响应于根据所述同一个物体的空间点的物体类别信息确定所述同一个物体属于目标物体集合，获取与所述同一个物体的空间点的物体类别信息对应的 目标点云补全模型。
在步骤S207中，将所述目标待处理点云数据输入所述目标点云补全模型，以获取所述目标点云补全模型输出的目标补全点云数据。
在步骤S208中，响应于根据所述物体类别信息确定所述同一个物体属于平滑特征物体集合，将点云平滑补全算法确定为所述目标点云补全算法。
在步骤S209中，基于所述目标点云补全算法，根据所述目标待处理点云数据进行计算，以获取目标补全点云数据。
图3示出根据本公开一实施方式的模型训练方法的流程图。如图3所示，点云数 据处理方法包括步骤S301-S302。
在步骤S301中，获取待处理点云数据以及点云分割信息。
其中，点云分割信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息；
在步骤S302中，获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型进行训练，以获取目标点云分割模型。
在本公开一实施方式中，待处理点云数据，可以理解为针对相应的场景采集得到的点云数据，获取待处理点云数据，可以理解为读写事先储存的待处理点云数据，也 可以理解为接收点数数据采集装置发送的待处理点云数据，也可以理解为从其他装置 或系统处获取待处理点云数据。在无人车应用场景中，待处理点云数据可以包括激光 点云数据，激光点云数据是由激光束照射到物体表面时所反射得到的携带方位、距离 等信息的数据。点云数据采集车可以通过安装在车上的激光束发射装置例如激光雷达 等产生激光束并照射到周围的车辆、行人、交通设施等物体，其中，可以使激光束按 照某种轨迹进行扫描，同时点云数据采集车还可以通过安装在车上的激光束接收装置 接收反射的激光，并根据反射的激光进行数据记录，当扫描较为精细时，能够得到大 量的激光点，从而形成激光点云数据。
在本公开一实施方式中，物体类别信息，可以理解为用于指示对应场景中与该物体类别信息对应的空间点所在位置的物体表面所属物体的物体类别。示例性的，物体 所属的类别可以包括路面、车道线、隧道壁、路缘石、标牌牌体、标牌杆、电线杆、 龙门架、护栏、信号灯、路灯、树木、建筑物等。物体类别信息，可以具体为与物体 类别对应的编号或标签等。
在本公开一实施方式中，物体标识信息可以理解为用于指示对应场景中空间点所在位置的物体表面所属物体自身，根据物体标识信息，可以确定对应场景中与该物体 标识信息对应的空间点所在位置的物体表面所属的独立物体，从而区分所在位置的物 体表面对应不同的独立物体的空间点。物体标识信息，可以具体为与独立物体对应的 编号或标签等。
在本公开一实施方式中，点云分割模型，可以理解为已经未学习到待处理点云数据与点云分割信息之间规律的模型，点云分割模型可以为全景极化(Panoptic-PolarNet)模型，也可以为多目标优化(MOPT,multi-objective optimization)模型等，本公开对目标点云分割模型的实现方式不做具体限定。
在本公开一实施方式中，目标点云分割模型，可以理解为经过对点云分割模型的训练，已经学习到了待处理点云数据与点云分割信息之间规律的模型。
在上述实施方式中，通过获取待处理点云数据以及点云分割信息，并获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型 进行训练，以获取目标点云分割模型，可以确保目标点云分割模型能够学习到待处理 点云数据与点云分割信息之间规律，从而可以根据输入的点云数据输出与输入的点云 数据对应的点云分割信息，由于点云分割信息包括待处理点云数据对应的至少一个空 间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信 息，因此可以基于任一个空间点的物体类别信息，对该空间点所对应物体的物体类别 进行准确区分，也可以基于任一个空间点的物体标识信息，将空间点所对应的物体与 其他独立的物体进行准确区别，有助于对点云数据进行补全。
图4示出根据本公开一实施方式的模型训练方法的流程图。如图4所示，点云数 据处理方法包括步骤S401-S402。
在步骤S401中，获取目标待处理点云数据以及目标补全点云数据。
目标待处理点云数据与同一个物体的空间点对应，目标补全点云数据为基于目标待处理点云数据进行补全得到的。
在步骤S402中，获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练，以获取目标点云补全模型。
在本公开一实施方式中，目标待处理点云数据，可以理解为物体标识信息指示的物体为同一个独立物体的空间点所对应的点云数据，即根据该目标待处理点云数据可 以获取同一个独立物体表面的一个或多个空间点的空间位置。
在本公开一实施方式中，可以根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，即在待处理点云数据所对应的空间点中， 根据物体标识信息将所在位置的物体表面属于不同物体的空间点区分开来，并将所在 位置的物体表面均属于相同的一个独立物体的空间点所对应的点云数据确定为目标待 处理点云数据。示例性的，当根据物体标识信息确定待处理点云数据所对应的空间点 中，多个空间点所在位置的物体表面均属于某个标牌牌体时，可以将该多个空间点在 待处理点云数据中所对应的点云数据确定为目标待处理点云数据。
其中，待处理点云数据，可以理解为针对相应的场景采集得到的点云数据，获取待处理点云数据，可以理解为读写事先储存的待处理点云数据，也可以理解为接收点 数数据采集装置发送的待处理点云数据，也可以理解为从其他装置或系统处获取待处 理点云数据。在无人车应用场景中，待处理点云数据可以包括激光点云数据，激光点 云数据是由激光束照射到物体表面时所反射得到的携带方位、距离等信息的数据。点 云数据采集车可以通过安装在车上的激光束发射装置例如激光雷达等产生激光束并照 射到周围的车辆、行人、交通设施等物体，其中，可以使激光束按照某种轨迹进行扫 描，同时点云数据采集车还可以通过安装在车上的激光束接收装置接收反射的激光， 并根据反射的激光进行数据记录，当扫描较为精细时，能够得到大量的激光点，从而 形成激光点云数据。
在本公开一实施方式中，目标补全点云数据，可以理解为基于目标待处理点云数据进行补全得到的数据，即对目标待处理点云数据中的空洞区域(即在相应场景中因 物体遮挡而导致未能采集到相应的点云数据的区域)进行补全。或者，目标补全点云 数据也可以被理解为在未出现物体遮挡的场景中所采集到的点云数据，目标待处理点 云数据可以被理解为，从该目标补全点云数据中移出部分点云数据以生成相应的空洞 区域后的点云数据。
在本公开一实施方式中，点云补全模型，可以理解为未学习到所在位置位于特定物体类别的物体表面的空间点对应的未补全的点云数据，与补全后的点云数据之间规 律的模型，其中该特定物体类别为上述同一个物体的空间点的物体类别信息所指示的 物体类别。点云补全模型，可以为编码器-解码器(encoder-decoder)模型，例如点补全网 络(Point Completion Network,PCN)模型、TopNet模型等，也可以为其他类型的模型例 如神经网络(neural network，NN)模型、卷积神经网络(convolutional neural networks，CNN)模型或长短期记忆网络(long shortterm memory，LSTM)模型等，本公开对点 云补全模型的实现方式不做具体限定。
在本公开一实施方式中，目标点云补全模型，可以理解为在对点云补全模型进行相应的训练后，已学习到了所在位置位于特定物体类别的物体表面的空间点对应的未 补全的点云数据，与补全后的点云数据之间规律的模型。
在上述实施方式中，通过获取目标待处理点云数据以及目标补全点云数据，并获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出， 对点云补全模型进行训练，以获取目标点云补全模型，其中，由于目标待处理点云数 据与同一个物体的空间点对应，目标补全点云数据为基于目标待处理点云数据进行补 全得到的，因此基于所得到的目标点云补全模型，可以较为可靠的对输入目标点云补 全模型的、与同一个物体的空间点对应点云数据进行补全，有助于提高补全处理后的 点云数据的可靠性。
在本公开一实现方式中，在将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练之前，所述方法还包括如下步骤：
接收边缘服务方发送的更新权值参数，并根据更新权值参数对点云补全模型进行更新。
将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练，以获取目标点云补全模型，可以通过如下步骤实现：
将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对更新后的点云补全模型进行训练；
当训练后的点云补全模型未收敛时，根据训练后的点云补全模型获取梯度更新矢量，并向边缘服务方发送梯度更新矢量；
当训练后的点云补全模型收敛时，将点云补全模型储存为目标点云补全模型。
在本公开一实施方式中，边缘服务方用于对梯度更新矢量进行聚合，并根据聚合后的梯度更新矢量对边缘服务方的点云补全模型的权值参数进行更新，以获取更新权 值参数。边缘服务方可以理解为云端服务器，也可以理解为由点云补全服务提供商提 供的服务器。边缘服务方的点云补全模型可以为编码器-解码器模型，例如点补全网络 模型、TopNet模型等，也可以为其他类型的模型例如神经网络模型、卷积神经网络模 型或长短期记忆网络模型等。
其中，由于边缘服务方发送的更新权值参数，是边缘服务方根据不同的点云补全模型训练方发送的梯度更新矢量进行聚合，并根据聚合后的梯度更新矢量对边缘服务 方的点云补全模型的权值参数进行更新得到的，因此更新后的点云补全模型能够反映 上一轮训练中不同的点云补全模型训练方所学习到的、位置位于特定物体类别的物体 表面的空间点对应的未补全的点云数据，与补全后的点云数据之间的共有规律。之后 将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对更新后的点云补 全模型进行训练可以使陈列柜上更新后的点云补全模型在学习到共有规律的基础上， 还能够个性化的针对目标待处理点云数据与目标补全点云数据之间的私有规律进行学 习，使训练后的点云补全模型能够学习到该私有规律；当训练后的点云补全模型未收 敛时，说明该训练后的点云补全模型仍需要继续训练，通过根据训练后的点云补全模 型获取梯度更新矢量，并发送梯度更新矢量，可以使边缘服务方能够继续基于多个点 云补全模型训练方所上传的梯度更新矢量获取相应的更新权值参数，从而继续对多个 点云补全模型训练方各自的点云补全模型继续进行训练；当训练后的点云补全模型收 敛时，可以认为该收敛的点云补全模型已满足训练要求，可以将收敛的点云补全模型 储存为目标点云补全模型，即可以较为可靠的对与同一个物体的空间点对应点云数据 进行补全的模型。
在这一技术方案中，一方面最终获取的目标点云补全模型可以为即学习到共有规律，又学习到私有规律的模型，其对与同一个物体的空间点对应点云数据进行补全的 可靠性较高；另一方面由于对点云补全模型继续进行训练的过程由点云补全模型训练 方以及边缘服务方共同来执行，与仅由点云补全模型训练方单独对点云补全模型进行 训练相比较，所需的处理资源较少，训练速度较快。
以下参照图5描述根据本公开一实施方式的点云数据处理装置。图5示出根据本公开一实施方式的点云数据处理装置的结构框图。
如图5所示，点云数据处理装置100包括：
第一数据获取模块101，被配置为获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模 型输出的点云分割信息，点云分割信息包括待处理点云数据对应的至少一个空间点中 每个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息；
点云补全模块102，被配置为根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别 信息对目标待处理点云数据进行补全，以获取目标补全点云数据。
在上述实施方式中，通过获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的 点云分割信息，其中，点云分割信息包括待处理点云数据对应的至少一个空间点中每 个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信息，即基于 任一个空间点的物体类别信息，可以对该空间点所对应物体的物体类别进行准确区分， 而基于任一个空间点的物体标识信息，可以将空间点所对应的物体与其他独立的物体 进行准确区别。通过根据物体标识信息在待处理点云数据中确定与同一个物体的空间 点对应的目标待处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待 处理点云数据进行补全，可以实现单独对被准确区分的属于物体类别下的单个物体所 对应的空间点的点云数据进行补全的目的，从而确保基于补全后的点云数据可以准确 区分物体的类别以及不同的独立物体，提高了补全处理后的点云数据的可靠性。
本领域技术人员可以理解，参照图5描述的技术方案的可以与参照上述图1对应的实施例结合，从而具备图1对应的实施例所实现的技术效果。具体内容可以参照图 1对应的实施例的描述，其具体内容在此不再赘述。
以下参照图6描述根据本公开一实施方式的模型训练装置。图6示出根据本公开一实施方式的模型训练装置的结构框图。
如图6所示，模型训练装置200包括：
第二数据获取模块201，被配置为获取待处理点云数据以及点云分割信息，点云分割信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以 及至少一个空间点中每个空间点的物体标识信息；
第一训练模块202，被配置为获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型进行训练，以获取目标点云分割模型。
在上述实施方式中，通过获取待处理点云数据以及点云分割信息，并获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型 进行训练，以获取目标点云分割模型，可以确保目标点云分割模型能够学习到待处理 点云数据与点云分割信息之间规律，从而可以根据输入的点云数据输出与输入的点云 数据对应的点云分割信息，由于点云分割信息包括待处理点云数据对应的至少一个空 间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的物体标识信 息，因此可以基于任一个空间点的物体类别信息，对该空间点所对应物体的物体类别 进行准确区分，也可以基于任一个空间点的物体标识信息，将空间点所对应的物体与 其他独立的物体进行准确区别，有助于对点云数据进行补全。
以下参照图7描述根据本公开一实施方式的模型训练装置。图7示出根据本公开一实施方式的模型训练装置的结构框图。
如图7所示，模型训练装置300包括：
第三数据获取模块301，被配置为获取目标待处理点云数据以及目标补全点云数据，目标待处理点云数据与同一个物体的空间点对应，目标补全点云数据为基于目标 待处理点云数据进行补全得到的；
第二训练模块302，被配置为获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练，以获取目标点云补 全模型。
在上述实施方式中，通过获取目标待处理点云数据以及目标补全点云数据，并获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出， 对点云补全模型进行训练，以获取目标点云补全模型，其中，由于目标待处理点云数 据与同一个物体的空间点对应，目标补全点云数据为基于目标待处理点云数据进行补 全得到的，因此基于所得到的目标点云补全模型，可以较为可靠的对输入目标点云补 全模型的、与同一个物体的空间点对应点云数据进行补全，有助于提高补全处理后的 点云数据的可靠性。
图8示出根据本公开一实施方式的电子设备的结构框图。
本公开实施方式还提供了一种电子设备，如图8所示，电子设备400包括至少一 个处理器401。以及与至少一个处理器401通信连接的存储器402。其中，存储器402 存储有可被至少一个处理器401执行的指令，指令可以被至少一个处理器401执行以 实现以下步骤：
第一方面，本公开实施例中提供了一种点云数据处理方法，所述方法包括：
获取待处理点云数据以及预先训练得到的目标点云分割模型，并将待处理点云数据输入目标点云分割模型，以获取目标点云分割模型输出的点云分割信息，点云分割 信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至 少一个空间点中每个空间点的物体标识信息；
根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待 处理点云数据，并根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据。
在本公开一实现方式中，根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据之前，方法还包括：
根据物体类别信息确定至少一个空间点中与动态物体对应的动态空间点，并将与动态空间点对应的点云数据从待处理点云数据中剔除；
根据物体标识信息在待处理点云数据中确定与同一个物体的空间点对应的目标待 处理点云数据，包括：
根据物体标识信息在剔除后的待处理点云数据中确定目标待处理点云数据。
在本公开一实现方式中，根据同一个物体的空间点的物体类别信息对目标待处理点云数据进行补全，以获取目标补全点云数据，包括：
获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，并将目标待处理点云数据输入目标点云补全模型，以获取目标点云补全模型输出的目标补全点 云数据，目标点云补全模型为预先训练得到的；
或，获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，基于目标点云补全算法，根据目标待处理点云数据进行计算，以获取目标补全点云数据。
在本公开一实现方式中，获取与同一个物体的空间点的物体类别信息对应的目标点云补全算法，包括：
响应于根据物体类别信息确定同一个物体属于平滑特征物体集合，将点云平滑补全算法确定为目标点云补全算法，平滑特征物体集合包括路面、车道线、隧道壁、路 缘石中的至少一项。
在本公开一实现方式中，获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，包括：
响应于根据同一个物体的空间点的物体类别信息确定同一个物体属于目标物体集 合，获取与同一个物体的空间点的物体类别信息对应的目标点云补全模型，目标物体集合包括标志牌牌体、标志牌牌杆、电线杆、龙门架、护栏、信号灯、路灯、树木、 建筑物中的至少一项。
第二方面，本公开实施例中提供了一种模型训练方法，所述方法包括：
获取待处理点云数据以及点云分割信息，点云分割信息包括待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及至少一个空间点中每个空间点的 物体标识信息；
获取点云分割模型，并将待处理点云数据作为输入，将点云分割信息作为输出，对点云分割模型进行训练，以获取目标点云分割模型。
第三方面，本公开实施例中提供了一种模型训练方法，所述方法包括
获取目标待处理点云数据以及目标补全点云数据，目标待处理点云数据与同一个物体的空间点对应，目标补全点云数据为基于目标待处理点云数据进行补全得到的；
获取点云补全模型，并将目标待处理点云数据作为输入，将目标补全点云数据作为输出，对点云补全模型进行训练，以获取目标点云补全模型。
如图9所示，计算机系统500包括处理单元501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的 程序而执行上述附图所示的实施方式中的各种处理。在RAM503中，还存储有系统500 操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相 连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506。包括诸如阴极 射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507。包括硬盘等的 存储部分508。以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。 通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O 接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要 安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分 508。其中，所述处理单元501可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在 及其可读介质上的计算机程序，所述计算机程序包含用于执行附图中的方法的程序代 码。在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载和安 装，和/或从可拆卸介质511被安装。例如，本公开的实施方式包括一种可读存储介质， 其上存储有计算机指令，该计算机指令被处理器执行时实现用于执行附图中的方法的 程序代码。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方 框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包 含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换 的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两 个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行， 这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来 实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或 模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述节点中所包含的计算机可读存储介质。也可以是单独存 在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一 个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的 技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同 特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限 于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种点云数据处理方法，其中，所述方法包括：
获取待处理点云数据以及预先训练得到的目标点云分割模型，并将所述待处理点云数据输入所述目标点云分割模型，以获取所述目标点云分割模型输出的点云分割信息，所述点云分割信息包括所述待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及所述至少一个空间点中每个空间点的物体标识信息；
根据所述物体标识信息在所述待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，并根据所述同一个物体的空间点的物体类别信息对所述目标待处理点云数据进行补全，以获取目标补全点云数据。
2.根据权利要求1所述的点云数据处理方法，其中，所述根据所述物体标识信息在所述待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据之前，所述方法还包括：
根据所述物体类别信息确定所述至少一个空间点中与动态物体对应的动态空间点，并将与所述动态空间点对应的点云数据从所述待处理点云数据中剔除；
所述根据所述物体标识信息在所述待处理点云数据中确定与同一个物体的空间点对应的目标待处理点云数据，包括：
根据所述物体标识信息在剔除后的待处理点云数据中确定所述目标待处理点云数据。
3.根据权利要求1或2所述的点云数据处理方法，其中，所述根据所述同一个物体的空间点的物体类别信息对所述目标待处理点云数据进行补全，以获取目标补全点云数据，包括：
获取与所述同一个物体的空间点的物体类别信息对应的目标点云补全模型，并将所述目标待处理点云数据输入所述目标点云补全模型，以获取所述目标点云补全模型输出的目标补全点云数据，所述目标点云补全模型为预先训练得到的；
和/或，获取与所述同一个物体的空间点的物体类别信息对应的目标点云补全算法，基于所述目标点云补全算法，根据所述目标待处理点云数据进行计算，以获取目标补全点云数据。
4.根据权利要求3所述的点云数据处理方法，其中，所述获取与所述同一个物体的空间点的物体类别信息对应的目标点云补全算法，包括：
响应于根据所述物体类别信息确定所述同一个物体属于平滑特征物体集合，将点云平滑补全算法确定为所述目标点云补全算法，所述平滑特征物体集合包括路面、车道线、隧道壁、路缘石中的至少一项。
5.根据权利要求3所述的点云数据处理方法，其中，所述获取与所述同一个物体的空间点的物体类别信息对应的目标点云补全模型，包括：
响应于根据所述同一个物体的空间点的物体类别信息确定所述同一个物体属于目标物体集合，获取与所述同一个物体的空间点的物体类别信息对应的目标点云补全模型，所述目标物体集合包括标志牌牌体、标志牌牌杆、电线杆、龙门架、护栏、信号灯、路灯、树木、建筑物中的至少一项。
6.一种模型训练方法，其中，所述方法包括：
获取待处理点云数据以及点云分割信息，所述点云分割信息包括所述待处理点云数据对应的至少一个空间点中每个空间点的物体类别信息以及所述至少一个空间点中每个空间点的物体标识信息；
获取点云分割模型，并将所述待处理点云数据作为输入，将所述点云分割信息作为输出，对所述点云分割模型进行训练，以获取目标点云分割模型。
7.一种模型训练方法，其中，所述方法包括
获取目标待处理点云数据以及目标补全点云数据，所述目标待处理点云数据与同一个物体的空间点对应，所述目标补全点云数据为基于所述目标待处理点云数据进行补全得到的；
获取点云补全模型，并将所述目标待处理点云数据作为输入，将所述目标补全点云数据作为输出，对所述点云补全模型进行训练，以获取目标点云补全模型。
8.一种电子设备，包括存储器和至少一个处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现权利要求1-7任一项所述的方法步骤。
9.一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现权利要求1-7任一项所述的方法步骤。
10.一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210334625.6A CN115545089A (zh) | 2022-03-30 | 2022-03-30 | 点云数据处理方法、模型训练方法、设备、介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210334625.6A CN115545089A (zh) | 2022-03-30 | 2022-03-30 | 点云数据处理方法、模型训练方法、设备、介质及产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115545089A true CN115545089A (zh) | 2022-12-30 |
Family
ID=84724707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210334625.6A Pending CN115545089A (zh) | 2022-03-30 | 2022-03-30 | 点云数据处理方法、模型训练方法、设备、介质及产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115545089A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807875A (zh) * | 2023-12-28 | 2024-04-02 | 上海强华实业股份有限公司 | 石英器件的三维数据逆向重建和尺寸测量系统及方法 |
-
2022
- 2022-03-30 CN CN202210334625.6A patent/CN115545089A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807875A (zh) * | 2023-12-28 | 2024-04-02 | 上海强华实业股份有限公司 | 石英器件的三维数据逆向重建和尺寸测量系统及方法 |
| CN117807875B (zh) * | 2023-12-28 | 2024-05-28 | 上海强华实业股份有限公司 | 石英器件的三维数据逆向重建和尺寸测量系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110286387B (zh) | 应用于自动驾驶系统的障碍物检测方法、装置及存储介质 | |
| CN108216229B (zh) | 交通工具、道路线检测和驾驶控制方法及装置 | |
| US20210302585A1 (en) | Smart navigation method and system based on topological map | |
| CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
| CN112347999B (zh) | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 | |
| US20190310651A1 (en) | Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| US11410388B1 (en) | Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training | |
| US11967103B2 (en) | Multi-modal 3-D pose estimation | |
| CN112258519B (zh) | 一种高精度地图制作中道路的让行线自动化提取方法及装置 | |
| WO2022193604A1 (en) | Devices, systems, methods, and media for point cloud data augmentation using model injection | |
| CN113326826A (zh) | 网络模型的训练方法、装置、电子设备及存储介质 | |
| CN115236694A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
| CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
| CN115761701A (zh) | 激光雷达点云数据增强方法及装置、设备、存储介质 | |
| CN115545089A (zh) | 点云数据处理方法、模型训练方法、设备、介质及产品 | |
| CN114550116A (zh) | 一种对象识别方法和装置 | |
| CN114387576A (zh) | 一种车道线识别方法、系统、介质、设备及信息处理终端 | |
| CN114556419A (zh) | 三维点云分割方法和装置、可移动平台 | |
| Sharma et al. | Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada | |
| CN110363847B (zh) | 一种基于点云数据的地图模型构建方法和装置 | |
| CN114430843A (zh) | 语义辅助的多分辨率点云配准 | |
| CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
| CN114565906A (zh) | 障碍物检测方法、装置、电子设备及存储介质 | |
| CN113997955B (zh) | 轨迹预测方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |