CN115880496A - 点云信息的识别方法及装置 - Google Patents

Abstract

本申请实施例公开了一种点云信息的识别方法及装置，该方法包括：通过特征提取网络对点云信息进行特征提取，获得该点云信息的特征，该特征提取网络是通过第一点云样本和第二点云样本训练得到的，该第一点云样本的特征少于该第二点云样本的特征，该第一点云样本和该第二点云样本对应有相同的目标，该第二点云样本根据该第一点云样本的样本集得到；对上述点云信息的特征进行判别，输出点云信息的判别结果。本申请实施例提供的方法，能够有效提高判别结果输出的准确度。

Description

点云信息的识别方法及装置

技术领域

本申请实施例涉及信号探测技术领域，尤其涉及一种点云信息的识别方法及装置。

背景技术

在智能驾驶或高精地图领域，激光雷达被广泛用于感知周围的环境。然而受距离、物体姿态、遮挡等因素的影响，激光雷达于特定位置或特定视角或特定时刻等得到的点云信息经常难以描述物体的全貌。

由此，如何提高上述点云信息的识别准确度是本领域技术人员正在研究的问题。

发明内容

本申请实施例提供一种点云信息的识别方法及装置，能够有效提高点云信息的识别准确度。

第一方面，本申请实施例提供一种点云信息的识别方法，所述方法包括：

通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征，所述特征提取网络是通过第一点云样本和第二点云样本训练得到的，所述第一点云样本的特征少于所述第二点云样本的特征，所述第一点云样本和所述第二点云样本对应有相同的目标，所述第二点云样本根据所述第一点云样本的样本集得到；通过判别网络对所述点云信息的特征进行判别，输出所述点云信息的判别结果。

本申请实施例中，由于特征提取网络是基于第一点云样本和第二点云样本训练的，该第一点云样本与第二点云样本对应有相同的目标，且该第二点云样本是根据该第一点云样本的样本集得到的。也就是说，该第一点云样本的特征(也可以称为特征信息)的丰富程度少于第二点云样本。由此，通过第一点云样本和第二点云样本训练得到的特征提取网络，能够有效学习到从包含较少特征的点云提取出较多特征。从而能够有效提高特征提取网络对物体全貌的学习能力，即通过特征提取网络所提取出的特征会更多更丰富。进而，有效提高了对点云信息的判别能力，提高对点云信息的判别准确度(也可以理解为识别准确度)。

在一种可能的实现方式中，所述第一点云样本的样本集是通过激光雷达在不同地理位置采集得到的点云；所述第二点云样本是从点云地图中裁剪的与所述第一点云样本的位置对应的点云，所述点云地图是根据所述第一点云样本的样本集拼接得到。

在一种可能的实现方式中，所述第一点云样本是单帧点云，所述第二点云样本是对点云地图进行裁剪得到的。

在一种可能的实现方式中，所述通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征之前，所述方法还包括：将所述第一点云样本输入所述特征提取网络，得到所述第一点云样本的特征；将所述第二点云样本输入所述特征提取网络，得到所述第二点云样本的特征；利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述特征提取网络。

在一种可能的实现方式中，所述通过特征提取网络对所述点云信息进行特征提取，获得所述点云信息的特征之前，所述方法还包括：

将所述第一点云样本输入第一特征提取网络，得到所述第一点云样本的特征；将所述第二点云样本输入第二特征提取网络，得到所述第二点云样本的特征；利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述第一特征提取网络；所述通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征包括：通过所述第一特征提取网络对所述点云信息进行特征提取，获得所述点云信息的特征。

第二方面，本申请实施例提供一种点云信息的识别装置，用于执行第一方面或第一方面的任意可能的实现方式中的方法。

该点云信息的识别装置包括具有执行第一方面或第一方面的任意可能的实现方式中的方法的单元。

第三方面，本申请实施例提供一种点云信息的识别装置，该点云信息的识别装置包括处理器，用于执行上述第一方面或第一方面的任意可能的实现方式所示的方法。或者，该处理器用于执行存储器中存储的程序，当该程序被执行时，上述第一方面或第一方面的任意可能的实现方式所示的方法被执行。

在一种可能的实现方式中，存储器位于上述点云信息的识别装置之外。

在一种可能的实现方式中，存储器位于上述点云信息的识别装置之内。

本申请实施例中，处理器和存储器还可以集成于一个器件中，即处理器和存储器还可以被集成在一起。

在一种可能的实现方式中，点云信息的识别装置还包括收发器，该收发器，用于接收信号或发送信号。

第四方面，本申请实施例提供一种点云信息的识别装置，该点云信息的识别装置包括逻辑电路和接口，所述逻辑电路和所述接口耦合；所述逻辑电路，用于通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征；以及对所述点云信息的特征进行识别，输出所述点云信息的判别结果。

示例性的，所述逻辑电路，还用于将所述第一点云样本输入所述特征提取网络，得到所述第一点云样本的特征；将所述第二点云样本输入所述特征提取网络，得到所述第二点云样本的特征；以及利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述特征提取网络。

示例性的，所述逻辑电路，还用于将所述第一点云样本输入第一特征提取网络，得到所述第一点云样本的特征；将所述第二点云样本输入第二特征提取网络，得到所述第二点云样本的特征；以及利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述第一特征提取网络。

第五方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，当其在计算机上运行时，使得上述第一方面或第一方面的任意可能的实现方式所示的方法被执行。

第六方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机程序或计算机代码，当其在计算机上运行时，使得上述第一方面或第一方面的任意可能的实现方式所示的方法被执行。

第七方面，本申请实施例提供一种计算机程序，该计算机程序在计算机上运行时，上述第一方面或第一方面的任意可能的实现方式所示的方法被执行。

附图说明

图1是本申请实施例提供的一种单帧点云的识别方法的示意图；

图2是本申请实施例提供的一种点云地图的识别方法的示意图；

图3a是本申请实施例提供的一种点云信息的识别方法的流程示意图；

图3b是本申请实施例提供的一种第二点云样本与第一点云样本的关系示意图；

图4a是本申请实施例提供的一种训练特征提取网络的场景示意图；

图4b是本申请实施例提供的另一种训练特征提取网络的场景示意图；

图4c是本申请实施例提供的另一种第二点云样本与第一点云样本的关系示意图；

图4d是本申请实施例提供的一种应用特征提取网络的场景示意图；

图5a是本申请实施例提供的一种点云信息的识别系统的架构示意图；

图5b是本申请实施例提供的一种点云信息的识别系统的架构示意图；

图6是本申请实施例提供的一种识别装置的结构示意图；

图7是本申请实施例提供的另一种识别装置的结构示意图；

图8是本申请实施例提供的又一种识别装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本文中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。

图1是本申请实施例提供的一种单帧点云的识别方法的示意图。一般的，单帧点云可以理解为是通过一定数量的探测装置获取到的点云。例如，该单帧点云可以通过车载终端上安装的激光雷达获取的。又例如，该单帧点云可以通过无人机上安装的激光雷达获取等，本申请实施例对此不作限定。可理解，上述一定数量是用于衡量获取单帧点云时所使用的探测装置的数量，对于该一定数量的具体取值，本申请不作限定。示例性的，点云可以是在一个三维坐标系统中的一组向量的集合。这些向量通常以X,Y,Z三维坐标的形式表示，而且一般用于表示物体的外表面形状。可选的，点云可以表示物体的几何位置信息。可选的，点云还可以表示一个点的红绿蓝(red green blue，RGB)颜色、灰度值、深度或分割结果中的一项或多项等。例如，点云信息可以包括三维坐标(XYZ)和激光反射强度(Intensity)。又如，点云信息可以包括三维坐标(XYZ)和颜色信息(如RGB)。又如，点云信息可以包括三维坐标(XYZ)、激光反射强度(intensity)和颜色信息(RGB)。即在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(point cloud)。可理解，关于点云的具体说明，本申请实施例不作限定。对于点云和单帧点云的说明，下文同样适用。

如图1所示，单帧点云输入特征提取网络，可以获得该单帧点云的特征。从图1可以看出，由于通过一定数量的探测装置获取到的单帧点云的信息量较少，因此，通过该特征提取网络识别出的点云特征对该单帧点云进行判别时，得到的判别结果为横杆。

从图1可以看出，从激光雷达于特定位置或特定时刻或特定视角等得到的点云信息经常难以描述物体的全貌。因此，通过图1所示的方法，往往会使得判别结果不够精确，准确度低下。示例性的，智能驾驶的许多场景中，使用单帧点云或连续的几帧点云识别物体时，得到的判别结果(也可以称为识别结果)往往不够准确，有效影响了智能驾驶的体验，以及智能驾驶的服务质量和安全性。又如，在高精地图自动化生产时中，通过单帧点云得到的判别结果不够准确时，会严重影响分割静态目标的效率。由此，会影响检测率和精度，增大高精地图的生产成本。

图2是本申请实施例提供的另一种基于点云地图的识别方法的示意图。如图2所示，点云地图输入特征提取网络，可以获得全景点云特征。从图2可以看出，由于点云地图的信息量较多，因此，通过该特征提取网络识别出的全景点云特征对该点云地图进行识别时，可以准确获得其识别结果，即根据图2所示的单帧点云获得的判别结果为标牌。

可理解，图1和图2是以道路标牌为例，比较了两种输入在相同监督(如同一真值或同一物体等)下对于特征提取网络在特征提取上的影响。单帧点云由于输入稀疏，难以得到完整的特征。点云地图结合了激光雷达在不同位置的采集结果，稠密完整的输入使得特征更加明显，从而使得判断结果的置信度和准确度提升。可理解，图1和图2所示的特征提取网络和判别网络还可以统称为深度神经网络等，本申请实施例对此不作限定。可理解，图1和图2所示的真值是用于监督特征提取网络和/或判别网络等。

示例性的，为形成点云地图，需要各个点云采集时刻的全球定位系统(globalpositioning system，GPS)位置。可选的，为形成点云地图，还可以利用点云注册技术和因子图优化技术，调整各帧点云，从而减少重影。由于点云地图不易获得，获取成本较高，且由于数据更加稠密，需要更多的计算资源进行特征提取和判别等，因此在应用阶段往往无法直接使用点云地图作为输入。

鉴于此，本申请提供一种点云信息的识别方法及装置，能够有效提高特征提取网络对物体全貌的学习能力，提高点云信息的判别准确度。也就是说，本申请所示的特征提取网络可以在点云信息缺损的点云上提取物体的特征，还可以学习到各个物体在各个角度、距离下的形态等。示例性的，本申请提供的方法，应用于智能驾驶的场景时，通过使用单帧点云或连续的几帧点云(如一定时间内连续采集的几个单帧点云)识别物体时，能够有效提高该物体的识别结果，有效提高智能驾驶的体验，以及智能驾驶的服务质量和安全性。又如，在高精地图自动化生产时中，能够有效提高通过单帧点云得到的判别结果的准确度，提高分割静态目标的效率，以及提高检测率和精度，降低高精地图的生产成本。

图3a是本申请实施例提供的一种点云信息的识别方法的流程示意图。该方法可以应用于点云信息的识别装置，该识别装置可以是终端、车辆、无人机、路侧单元、路口雷达或机器人等运输工具或智能终端等，本申请对此不作限定。如图3a所示，该方法包括：

301、通过特征提取网络对点云信息进行特征提取，获得该点云信息的特征，该特征提取网络是通过第一点云样本和第二点云样本训练得到的，该第一点云样本的特征少于该第二点云样本的特征，该第一点云样本和该第二点云样本对应有相同的目标，该第二点云样本根据第一点云样本的样本集得到。

示例性的，点云信息可以用于表征物体的特性。关于点云信息的说明可以参考上述关于点云的描述，这里不再详述。

可选的，可以由识别装置获取点云信息。例如，该识别装置中包括探测部件，从而该识别装置通过该探测部件获取点云信息。如该探测部件可以是激光雷达等，本申请实施例对此不作限定。可选的，可以由探测装置获取点云信息，以及该探测装置将该点云信息发送给识别装置，从而使得该识别装置获取该点云信息。例如，该探测装置可以是激光雷达(或者激光雷达内部的器件，例如芯片、集成电路、软件模块等)，也可以是其它的光探测装置(或者光探测装置内部的器件，例如芯片、集成电路、软件模块等)，例如融合探测装置。

本申请实施例中，特征提取网络可以是通过第一点云样本和第二点云样本训练得到的。如在训练特征提取网络时，可以利用特征较多的第二点云样本进行辅助训练，从而赋予特征提取网络对物体全貌的学习能力。

可选的，第一点云样本的样本集是通过激光雷达在不同地理位置采集得到的点云；第二点云样本是从点云地图中裁剪的与第一点云样本的位置对应的点云，点云地图是根据第一点云样本的样本集拼接得到。也就是说，本申请实施例中，可以通过激光雷达获得多个第一点云样本(即称为第一点云样本的样本集)，然后对该第一点云样本的样本集进行上采样(也可以称为升采样，是相对于降采用来说的)，从而获得第二点云样本。然后，通过该第一点云样本和第二点云样本对特征提取网络进行训练。由此，相对于第一点云样本提取的特征，第二点云样本提取出的特征更稠密，从而可以使得特征提取网络能够有效学习到如何从稀疏的特征中获取稠密的特征，从而达到训练特征提取网络的目的。可理解，本申请实施例对于第一点云样本和第二点云样本的数量不作限定。也就是说，对于训练该特征提取网络时所使用的样本数量不作限定。可选的，第一点云样本是单帧点云，第二点云样本是点云地图。可理解，关于单帧点云和点云地图的说明可以参考上文，这里不再详述。

图3b是本申请实施例提供的一种第二点云样本和第一点云样本的关系示意图。示例性的，图3b是以通过激光雷达获得第一点云样本为例示出的，但是不应将其理解为对本申请实施例的限定。例如，通过激光雷达获得第一点云样本的样本集，该第一点云样本的样本集可以是车载终端中的激光雷达于某些连续时间获得的样本集。又如，该第一点云样本的样本集可以是车载终端终端中的激光雷达从不同视角获得的样本集。又如，该第一点云样本的样本集可以是车载终端中的激光雷达从不同位置获得的样本集等。可理解，该第一点云样本的样本集中不同点云样本可以对应有相同的目标。也就是说，该第一点云样本的样本集可以是激光雷达获取的某一范围内的样本集。如该某一范围包括某一地理位置范围内等，本申请实施例对此不作限定。示例性的，车载终端在获取第一点云样本的样本集时，可以是静止的，也可以是运动的，本申请实施例对此不作限定。

图3b中，车载定位系统可以用于输出车体位于世界的绝对坐标。例如，该车载定位系统可以包括车载GPS、惯性测量单元(inertial measurement unit，IMU)、实时差分定位(real-time kinematic，RTK)或轮速计中的一项或多项。也就是说，通过车载定位系统可以获得车载终端在通过激光雷达获得第一点云样本时的GPS。由此，根据该第一点云样本的样本集可以获得各个第一点云样本的GPS，即可以称为GPS序列。

本申请实施例所示的识别装置通过点云配准，如比较任意两帧点云，通过调整相对位姿，可以尽可能减少该任意两帧点云之间的重影。从而，经过点云配准后，任意两帧采集位置较近的点云之间可以有一个相对位姿。然后通过全局优化，将GPS序列和相对位姿序列合并优化，得到绝对位姿序列。进而，相对于输入的GPS序列，点云的重影会更小。

进一步的，识别装置通过点云拼接，如使用绝对位姿序列和第一点云样本的样本集(也可以称为点云序列)进行拼接，由此获得定义于世界坐标系的高质量的点云地图。通过对该点云地图进行点云裁剪，如根据世界坐标系下的绝对位姿在点云地图中进行裁剪，获得第二点云样本(也可以称为全景点云)。

本申请实施例中，第二点云样本与第一点云样本是一一对应，如对应的两个点云处于同样的车体坐标系下，但第二点云样本可以包括更多时刻或更多位置或更多视角采集到的样本的点云信息，因此更稠密、更完整。示例性的，车体坐标系以车体在世界坐标系的绝对位置为原点建立，由于车辆可以是在不断运动的，因而不同时刻的车体坐标系也互不相同。由于采集点云所使用的激光雷达也被安装于车上，因而点云总是处于采集时刻的车体坐标系。

302、对点云信息的特征进行判别，输出该点云信息的判别结果。

本申请实施例中，通过特征提取网络提取出的点云信息的特征远远多于如图1所示的特征提取网络提取的特征，从而，有效增加了判别结果的可靠性及准确度。

本申请实施例中，由于特征提取网络是基于第一点云样本和第二点云样本训练的，且该第一点云样本与第二点云样本对应有相同的目标，同时，第一点云样本的特征少于第二点云样本的特征且该第二点云样本是根据该第一点云样本的样本集得到的。也就是说，该第一点云样本的特征(也可以称为特征信息)的丰富程度少于第二点云样本。由此，通过第一点云样本和第二点云样本训练得到的特征提取网络，能够有效学习到从包含较少特征的点云提取出较多特征。从而能够有效提高特征提取网络对物体全貌的学习能力，即通过特征提取网络所提取出的特征会更多更丰富，进而，提高了对点云信息的判别能力，提高了对点云信息的判别准确度。

以下详细说明训练特征提取网络的方法。如训练该特征提取网络的装置可以包括本申请所示的终端。

在一种可能的实现方式中，该终端训练特征提取网络的方法可以如下所示：

将第一点云样本输入特征提取网络，得到该第一点云样本的特征；

将第二点云样本输入特征提取网络，得到该第二点云样本的特征；

利用第二点云样本的特征对第一点云样本的特征进行知识蒸馏，训练特征提取网络。

即用于提取第一点云样本的特征的特征提取网络与用于提取第二点云样本的特征的特征提取网络可以是同一个网络。图4a是本申请实施例提供的一种训练特征提取网络的场景示意图。即单帧点云和根据点云地图得到的全景点云都是通过同一个特征提取网络进行特征提取。可选的，该单帧点云和全景点云可以使用相同的参数，即通过相同的参数分别对单帧点云和全景点云进行特征提取。可选的，该单帧点云和全景点云可以使用不同的参数，即通过不同的参数分别对单帧点云和全景点云进行特征提取。

图4a是以道路标牌为例示出的(仅作为示例)。如通过探测装置获取到与该道路标牌对应的点云信息，然后输入到特征提取网络，提取该点云信息的特征(如图4a所示的点云特征)。以及通过点云地图获取到与该道路标牌对应的点云信息(如图4a所示的全景点云)，然后输入到特征提取网络，提取该点云信息的特征(如图4a所示的全景点云特征)。同时，利用全景点云特征对点云特征进行知识蒸馏，以及通过真值监督判别网络输出的单帧点云的判别结果，从而达到训练特征提取网络的目的。也就是说，本申请实施例中，既可以使用真值对特征提取网络进行监督，也使用点云地图(或全景点云等)对特征提取网络特征进行监督(即知识蒸馏)。可理解，关于图4a的其他相关说明可以参考图1和图2，这里不再详述。可理解，当训练特征提取网络完成之后，便可以利用该特征提取网络对点云信息进行特征提取等，该情况下，无需再使用点云地图。

在另一种可能的实现方式中，终端训练特征提取网络的方法可以如下所示：

将第一点云样本输入第一特征提取网络，得到该第一点云样本的特征；

将第二点云样本输入第二特征提取网络，得到该第二点云样本的特征；

利用第二点云样本的特征对第一点云样本的特征进行知识蒸馏，训练第一特征提取网络。

即用于提取第一点云样本的特征的特征提取网络与用于提取第二点云样本的特征的特征提取网络可以是不同的网络。图4b是本申请实施例提供的另一种训练特征提取网络的场景示意图。如图4b所示，该道路标牌的单帧点云输入第一特征提取网络，输出点云特征。该道路标牌的全景点云输入第二特征提取网络，输出全景点云特征。然后全景点云特征对点云特征进行知识蒸馏，以及通过真值监督判别网络输出的单帧点云的判别结果，从而达到训练第一特征提取网络的目的。可理解，关于图4b的具体说明还可以参考图4a，这里不再详述。

结合图4a和图4b所示的道路标牌，以及图3b所示的方法，图4c是本申请实施例提供的另一种第二点云样本和第一点云样本的关系示意图。如图4c所示，通过激光雷达获得的第一点云样本的样本集可以如图4c所示的401所示。可理解，图4c仅示例性示出了三个第一点云样本，对于该第一点云样本的数量本申请实施例不作限定。通过对第一点云样本的样本集的处理，获得的点云地图可以如图4c所示的402。然后，通过对第一点云样本的样本集和点云地图的处理，获得的第二点云样本可以如图4c所示的403。从图4c可以看出，第二点云样本与第一点云样本可以理解为是同一个车体坐标系下的点云。如第一点云样本是针对标牌的点云时，第二点云样本也是针对该标牌的点云，但是，该第二点云样本的信息量更多。又如，第一点云样本是针对标牌的杆的点云时，第二点云样本也是针对该标牌的杆的点云。

示例性的，将单帧点云或全景点云输入特征提取网络，该特征提取网络经过一系列卷积、反卷积、非线性映射等操作，提取出点云特征或全景点云特征，然后经过判别网络的交叉熵层，得到判别结果。同时，判别结果分别受真值监督，以及全景点云特征也作为单帧点云特征的监督。即利用点云地图的特征监督单帧点云的特征的这种方式称为知识蒸馏。

通过上述训练方法，如在训练阶段使用点云地图，可以帮助特征提取网络建立缺损点云特征与全景点云特征之间的联系，使得该特征提取网络在单帧点云上也可以学习到全景点云特征，从而可以从该单帧点云上抽取全景点云特征。如图4d所示，通过本申请实施例提供的训练方法，特征提取网络通过对单帧点云进行特征提取，可以获得全景点云特征，从而判别网络可以得到该单帧点云的判别结果为标牌。由于训练阶段要求特征提取网络(如包括第一特征提取网络)不止要输出正确的判别结果，还约束了输出的特征要如全景点云特征一样，因此该特征提取网络在应用阶段可以输出更高置信度的判别结果，从而提升系统整体的准确性和稳定性。

示例性的，知识蒸馏的损失函数Loss可以满足如下条件：

Loss＝∑_i||h_i-g_i||²

其中，h_i为某个空间位置抽取的全景点云特征，g_i为某个空间位置抽取的单帧点云特征，i遍历了所有感兴趣的空间位置。一般的，特征提取网络提取出的特征一般由(C,X,Y,Z)四维矩阵表示。该矩阵由特征提取网络输出，表示了每一空间位置(X,Y,Z)的C维特征矢量。特征提取网络通过调整参数，最小化该损失函数Loss以实现特征学习的目的。可理解，关于特征提取网络的具体训练方式，本申请实施例不作限定。

图5a是本申请实施例提供的一种点云信息的识别系统的框架示意图。如图5a所示，利用点云地图进行辅助训练，赋予特征提取网络对物体全貌的学习能力，从而提高该特征提取网络的判断准确度。示例性的，如果直接使用点云地图作推理，由于数据量大，特征提取网络计算时需要更多计算资源(如进行特征提取时所使用的计算资源)，如更强的图形处理器(graphics processing unit，GPU)和中央处理器(central processing unit，CPU)等。而且点云地图的制作需要精确的GPS，采集设备昂贵，及点云地图难以实时采集，需将涵盖范围都采集完后才可制作，因此速度较慢且无法实现实时获得等。然而，本申请实施例中，在应用过程中不需要需点云地图数据，可以使用更快、更小、更实时的模型和更廉价的数据来源，因此有效扩大了特征提取网络进行特征提取的使用范围。关于图5a所示的训练阶段和应用阶段的说明可以参考图4a至图4d等，这里不再详述。图5b是本申请实施例提供的另一种点云信息的识别系统的架构示意图。如图5b所示，将激光雷达的点云信息输入特征提取网络，进行特征的抽取，从而获得该点云信息的全景点云特征。然后通过判别网络对提取出的全景点云特征进行判别，得到判别结果。通过本申请提供的方法获得的第一点云样本和第二点云样本来训练特征提取网络，有效改善了特征提取网络的训练过程，使抽取到的特征更有效稳定，从而提升判别结果的质量。在应用阶段，特征提取网络通过稀疏、不完整的单帧点云也可获取稠密、完整的全景点云特征，从而提升判别结果识别的精度及准确度。

可理解，本申请提供的方法不仅可以应用于室外的点云信息的识别，还可以应用于室内的点云识别或室内的点云感知等，本申请对此不作限定。

可理解，以上所示的特征提取网络还可以称为特征提取器，判别网络还可以称为判别器等，本申请对于各个网络的名称不作限定。

以下将介绍本申请实施例提供的点云信息的识别装置(以下简称为识别装置)。

本申请根据上述方法实施例对识别装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面将结合图6至图8详细描述本申请实施例的识别装置。

图6是本申请实施例提供的一种识别装置的结构示意图，如图6所示，该识别装置包括：

特征提取单元601，用于通过特征提取网络对点云信息进行特征提取，获得该点云信息的特征，该特征提取网络是通过第一点云样本和第二点云样本训练得到的，第一点云样本的特征少于第二点云样本的特征，第一点云样本和第二点云样本对应有相同的目标，该第二点云样本根据第一点云样本的样本集得到；

判别单元602，用于对点云信息的特征进行判别，输出点云信息的判别结果。

在一种可能的实现方式中，特征提取单元601，还用于将第一点云样本输入特征提取网络，得到第一点云样本的特征；以及将第二点云样本输入特征提取网络，得到第二点云样本的特征；

图6所示的识别装置还包括：

训练单元603，用于利用第二点云样本的特征对第一点云样本的特征进行知识蒸馏，训练特征提取网络。

在一种可能的实现方式中，特征提取单元601，还用于将第一点云样本输入第一特征提取网络，得到第一点云样本的特征；以及将第二点云样本输入第二特征提取网络，得到第二点云样本的特征；

图6所示的识别装置还包括：

训练单元603，用于利用第二点云样本的特征对第一点云样本的特征进行知识蒸馏，训练第一特征提取网络；

可选的，特征提取单元601，具体用于通过第一特征提取网络对点云信息进行特征提取，获得点云信息的特征。

本申请实施例中，关于点云信息、第一点云样本和第二点云样本等的说明还可以参考上文方法实施例中的介绍，这里不再一一详述。

可理解，本申请实施例示出的各个单元的具体说明仅为示例，对于各个单元的具体功能或执行的步骤等，可以参考上述方法实施例，这里不再详述。

可理解，以上模块的划分方式仅为示例。例如，本申请所示的识别装置的模块的划分方式还可以包括处理单元，该处理单元可以用于执行本申请上文所示的方法实施例。可选的，该识别装置还可以包括收发单元，如该收发单元可以用于与其他装置通信，又如该收发单元可以用于获取点云信息等，本申请实施例对于该识别装置的划分方式不作限定。

以上介绍了本申请实施例的识别装置，以下介绍所述识别装置可能的产品形态。应理解，但凡具备上述图6所述的识别装置的功能的任何形态的产品，都落入本申请实施例的保护范围。还应理解，以下介绍仅为举例，不限制本申请实施例的识别装置的产品形态仅限于此。

在一种可能的实现方式中，图6所示的识别装置中，特征提取单元、判别单元以及训练单元实现的功能或步骤可以由一个或多个处理器实现。

如图7所示，该识别装置70包括一个或多个处理器720和收发器710。处理器和收发器可以被耦合等，对于处理器和收发器的连接方式，本申请实施例不作限定。

可理解，对于处理器和收发器的具体说明还可以参考图6所示的各个单元的介绍，这里不再赘述。

在图7所示的识别装置的各个实现方式中，收发器可以包括接收机和发射机，该接收机用于执行接收的功能(或操作)，该发射机用于执行发射的功能(或操作)。以及收发器用于通过传输介质和其他设备/装置进行通信。

可选的，识别装置70还可以包括一个或多个存储器730，用于存储程序指令和/或数据。存储器730和处理器720耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器720可能和存储器730协同操作。处理器720可以执行存储器730中存储的程序指令。可选的，上述一个或多个存储器中的至少一个可以包括于处理器中。

本申请实施例中不限定上述收发器710、处理器720以及存储器730之间的具体连接介质。本申请实施例在图7中以存储器730、处理器720以及收发器710之间通过总线740连接，总线在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成等。

本申请实施例中，存储器可包括但不限于硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等非易失性存储器，随机存储记忆体(Random AccessMemory，RAM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、只读存储器(Read-Only Memory，ROM)或便携式只读存储器(Compact Disc Read-Only Memory，CD-ROM)等等。存储器是能够用于携带或存储具有指令或数据结构形式的程序代码，并能够由计算机(如本申请示出的识别装置等)读和/或写的任何存储介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

处理器720主要用于对通信协议以及通信数据进行处理，以及对整个识别装置进行控制，执行软件程序，处理软件程序的数据。存储器730主要用于存储软件程序和数据。收发器710可以包括控制电路和天线，控制电路主要用于基带信号与射频信号的转换以及对射频信号的处理。天线主要用于收发电磁波形式的射频信号。输入输出装置，例如触摸屏、显示屏，键盘等主要用于接收用户输入的数据以及对用户输出数据。

当识别装置开机后，处理器720可以读取存储器730中的软件程序，解释并执行软件程序的指令，处理软件程序的数据。当需要通过无线发送数据时，处理器720对待发送的数据进行基带处理后，输出基带信号至射频电路，射频电路将基带信号进行射频处理后将射频信号通过天线以电磁波的形式向外发送。当有数据发送到识别装置时，射频电路通过天线接收到射频信号，将射频信号转换为基带信号，并将基带信号输出至处理器720，处理器720将基带信号转换为数据并对该数据进行处理。

在另一种实现中，所述的射频电路和天线可以独立于进行基带处理的处理器而设置，例如在分布式场景中，射频电路和天线可以与独立于识别装置，呈拉远式的布置。

可理解，本申请实施例示出的识别装置还可以具有比图7更多的元器件等，本申请实施例对此不作限定。以上所示的处理器和收发器所执行的方法仅为示例，对于该处理器和收发器具体所执行的步骤可参照上文介绍的方法。

在另一种可能的实现方式中，图6所示的识别装置中，特征提取单元、判别单元以及训练单元实现的功能或步骤可以由一个或多个逻辑电路(如图8所示的逻辑电路801)实现。如图8所示，图8所示的识别装置包括逻辑电路801和接口802。其中，该逻辑电路801可以为芯片、处理电路、集成电路或片上系统(system on chip，SoC)芯片等，接口802可以为通信接口、输入输出接口、管脚等。示例性的，图8是以上述识别装置为芯片为例出的，该芯片包括逻辑电路801和接口802。本申请实施例中，逻辑电路和接口还可以相互耦合。对于逻辑电路和接口的具体连接方式，本申请实施例不作限定。

可选的，图8所示的识别装置还可以包括存储器803，该存储器803可以用于存储特征提取网络的参数。可选的，该存储器803还可以用于存储判别网络的参数等，本申请实施例对此不作限定。

示例性的，逻辑电路801，可以用于对点云信息进行特征提取，获得该点云信息的特征；以及对该点云信息的特征进行判别，获得该点云信息的判别结果。

可理解，逻辑电路801，在获得该点云信息的判别结果后，还可以通过接口802输出该判别结果，如输出给其他部件或装置等，本申请实施例不作限定。

示例性的，逻辑电路801，还用于将第一点云样本输入特征提取网络，得到第一点云样本的特征；将第二点云样本输入特征提取网络，得到第二点云样本的特征；以及利用第二点云样本的特征对第一点云样本的特征进行知识蒸馏，训练特征提取网络。

示例性的，逻辑电路801，还用于将第一点云样本输入第一特征提取网络，得到第一点云样本的特征；将第二点云样本输入第二特征提取网络，得到第二点云样本的特征；以及利用第二点云样本的特征对第一点云样本的特征进行知识蒸馏，训练第一特征提取网络。

关于逻辑电路和接口的具体说明还可以参考上文所示的方法实施例和装置实施例等，这里不再详述。

可理解，本申请实施例示出的识别装置可以采用硬件的形式实现本申请实施例提供的方法，也可以采用软件的形式实现本申请实施例提供的方法等，本申请实施例对此不作限定。

对于图8所示的各个实施例的具体实现方式，还可以参考上述各个实施例，这里不再详述。

本申请还提供一种计算机程序，该计算机程序用于实现本申请提供的方法中由识别装置执行的操作和/或处理。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机代码，当计算机代码在计算机上运行时，使得计算机执行本申请提供的方法中由识别装置执行的操作和/或处理。

本申请还提供一种计算机程序产品，该计算机程序产品包括计算机代码或计算机程序，当该计算机代码或计算机程序在计算机上运行时，使得本申请提供的方法中由识别装置执行的操作和/或处理被执行。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例提供的方案的技术效果。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种点云信息的识别方法，其特征在于，所述方法包括：

通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征，所述特征提取网络是通过第一点云样本和第二点云样本训练得到的，所述第一点云样本的特征少于所述第二点云样本的特征，所述第一点云样本和所述第二点云样本对应有相同的目标，所述第二点云样本根据所述第一点云样本的样本集得到；

对所述点云信息的特征进行判别，输出所述点云信息的判别结果。

2.根据权利要求1所述的方法，其特征在于，所述第一点云样本的样本集是通过激光雷达在不同地理位置采集得到的点云；

所述第二点云样本是从点云地图中裁剪的与所述第一点云样本的位置对应的点云，所述点云地图是根据所述第一点云样本的样本集拼接得到。

3.根据权利要求1或2所述的方法，其特征在于，所述第一点云样本是单帧点云，所述第二点云样本是对点云地图进行裁剪得到的。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征之前，所述方法还包括：

将所述第一点云样本输入所述特征提取网络，得到所述第一点云样本的特征；

将所述第二点云样本输入所述特征提取网络，得到所述第二点云样本的特征；

利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述特征提取网络。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征之前，所述方法还包括：

将所述第一点云样本输入第一特征提取网络，得到所述第一点云样本的特征；

将所述第二点云样本输入第二特征提取网络，得到所述第二点云样本的特征；

利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述第一特征提取网络；

所述通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征包括：

通过所述第一特征提取网络对所述点云信息进行特征提取，获得所述点云信息的特征。

6.一种点云信息的识别装置，其特征在于，所述装置包括：

特征提取单元，用于通过特征提取网络对点云信息进行特征提取，获得所述点云信息的特征，所述特征提取网络是通过第一点云样本和第二点云样本训练得到的，所述第一点云样本的特征少于所述第二点云样本的特征，所述第一点云样本和所述第二点云样本对应有相同的目标，所述第二点云样本根据所述第一点云样本的样本集得到；

判别单元，用于对所述点云信息的特征进行判别，输出所述点云信息的判别结果。

7.根据权利要求6所述的装置，其特征在于，所述第一点云样本的样本集是通过激光雷达在不同地理位置采集得到的点云；

所述第二点云样本是从点云地图中裁剪的与所述第一点云样本的位置对应的点云，所述点云地图是根据所述第一点云样本的样本集拼接得到。

8.根据权利要求6或7所述的装置，其特征在于，所述第一点云样本是单帧点云，所述第二点云样本是对点云地图中进行裁剪得到的。

9.根据权利要求6-8任一项所述的装置，其特征在于，

所述特征提取单元，还用于将第一点云样本输入所述特征提取网络，得到所述第一点云样本的特征；

所述特征提取单元，还用于将第二点云样本输入所述特征提取网络，得到所述第二点云样本的特征；

所述装置还包括：

训练单元，用于利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述特征提取网络。

10.根据权利要求6-8任一项所述的装置，其特征在于，

所述特征提取单元，还用于将第一点云样本输入第一特征提取网络，得到所述第一点云样本的特征；

所述特征提取单元，还用于将第二点云样本输入第二特征提取网络，得到所述第二点云样本的特征；

所述装置还包括：

训练单元，用于利用所述第二点云样本的特征对所述第一点云样本的特征进行知识蒸馏，训练所述第一特征提取网络；

所述特征提取单元，具体用于通过所述第一特征提取网络对所述点云信息进行特征提取，获得所述点云信息的特征。

11.一种点云信息的识别装置，其特征在于，包括处理器和存储器；

所述存储器用于存储计算机执行指令；

所述处理器用于执行所述计算机执行指令，以使权利要求1-5任一项所述的方法被执行。

12.一种点云信息的识别装置，其特征在于，包括逻辑电路和接口，所述逻辑电路和接口耦合；

所述接口用于输入和/或输出代码指令，所述逻辑电路用于执行所述代码指令，以使权利要求1-5任一项所述的方法被执行。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序被执行时，权利要求1-5任一项所述的方法被执行。

Images