CN112801036A - 一种目标识别方法、训练方法、介质、电子设备及汽车 - Google Patents
一种目标识别方法、训练方法、介质、电子设备及汽车 Download PDFInfo
- Publication number
- CN112801036A CN112801036A CN202110214677.5A CN202110214677A CN112801036A CN 112801036 A CN112801036 A CN 112801036A CN 202110214677 A CN202110214677 A CN 202110214677A CN 112801036 A CN112801036 A CN 112801036A
- Authority
- CN
- China
- Prior art keywords
- training
- point clouds
- point
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种目标识别方法、训练方法、介质、电子设备及汽车。所述目标识别方法包括：获取多组二维点云，所述多组二维点云包括一目标对象的点集；获取所述多组二维点云中各点的空间信息和特征信息；根据一目标区域以及所述多组二维点云中各点的空间信息和特征信息，将所述多组二维点云映射为多幅特征图；利用一目标识别网络对所述多幅特征图进行处理，以获取所述目标对象的识别结果；其中，所述目标识别网络为一训练好的神经网络模型。所述目标识别方法能够根据二维点云对车辆周围物体进行识别，从而有效提升辅助驾驶系统和无人驾驶系统的可靠性和安全性。
Description
技术领域
本发明属于目标识别领域，涉及一种目标识别方法，特别是涉及一种基于二维点云的目标识别方法、训练方法、介质、电子设备及汽车。
背景技术
随着技术的不断发展，驾驶辅助系统以及自动驾驶系统在现实生活中得到了越来越多的应用。对于这两种系统来说，对车辆周围物体进行准确的识别是实现驾驶辅助和自动驾驶的前提。
二维点云是一种由若干离散、无序、无拓扑结构的二维点组成的集合，通常是二维传感系统所获取数据的初始形式，具有抗光照和尺度变化等优点。目前，许多车辆已经配置有雷达(例如毫米波雷达)，通过雷达能够获取车辆周围环境的二维点云。发明人在实际应用中发现，二维点云中包含车辆周围物体的位置信息和特征信息，通过这些位置信息和特征信息能够实现对车辆周围物体的准确识别。然而，现有技术中并不存在根据二维点云对车辆周围物体进行识别的方法，因此，有必要设计一种基于二维点云的目标识别方法来实现对车辆周围物体的准确识别，以便提升驾驶辅助系统和自动驾驶系统的可靠性和安全性。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种目标识别方法、训练方法、介质、电子设备及汽车，用于解决现有技术中不存在根据二维点云对车辆周围物体进行识别的方法的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种目标识别方法，所述目标识别方法包括：获取多组二维点云，所述多组二维点云包括一目标对象的点集；获取所述多组二维点云中各点的空间信息和特征信息；根据一目标区域以及所述多组二维点云中各点的空间信息和特征信息，将所述多组二维点云映射为多幅特征图；利用一目标识别网络对所述多幅特征图进行处理，以获取所述目标对象的识别结果；其中，所述目标识别网络为一训练好的神经网络模型。
于所述第一方面的一实施例中，所述多组二维点云是由雷达获取的多组二维稀疏点云。
于所述第一方面的一实施例中，所述多组二维点云中，点的空间信息包括点的横向位置和纵向位置。
于所述第一方面的一实施例中，将所述多组二维点云映射为多幅特征图的实现方法包括：根据所述目标区域以及所述多组二维点云中各点的空间信息，获取所述多幅特征图中对应特征点的空间信息；对所述多组二维点云中各点的特征信息进行归一化处理，以获取所述多幅特征图中对应特征点的特征信息。
于所述第一方面的一实施例中，对于第g组二维点云中的第n个点，其在所述多幅特征图中对应特征点的空间信息(ugn,vgn)的获取方法为：
其中，(Xgn,Ygn)为第g组二维点云中的第n个点的空间信息，所述目标区域的范围为(0,Lmax,Wmin,Wmax)。
于所述第一方面的一实施例中，所述目标识别网络的训练方法包括：获取多组训练点云，其中，所述训练点云包括多个训练点；获取所述多组训练点云中各训练点的空间信息和特征信息；根据所述目标区域以及所述多组训练点云中各训练点的空间信息和特征信息，将所述多组训练点云映射为多组训练特征图；根据所述多组训练特征图获取训练集、验证集和测试集，并利用所述训练集、验证集和测试集对所述目标识别网络进行训练。
本发明的第二方面提供一种训练方法，用于对一目标识别网络进行训练，所述训练方法包括：获取多组训练点云，其中，所述训练点云包括多个训练点；获取所述多组训练点云中各训练点的空间信息和特征信息；根据一目标区域的范围以及所述多组训练点云中各训练点的空间信息和特征信息，将所述多组训练点云映射为多组训练特征图；根据所述多组训练特征图获取训练集、验证集和测试集，并利用所述训练集、验证集和测试集对所述目标识别网络进行训练。
本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面任一项所述的目标识别方法，和/或本发明第二方面所述的训练方法。
本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本发明第一方面任一项所述的目标识别方法，和/或本发明第二方面所述的训练方法。
本发明的第四方面提供一种汽车，所述汽车包括：雷达，用于获取多组二维点云；车机，与所述雷达通信相连，用于采用本发明第一方面任一项所述的目标识别方法对所述雷达获取的多组二维点云进行处理，以获取所述目标对象的识别结果，和/或用于采用本发明第二方面所述的训练方法，根据所述雷达获取的多组二维点云对所述目标识别网络进行训练。
如上所述，本发明所述目标识别方法、训练方法、介质、电子设备及汽车的一个技术方案具有以下有益效果：
所述目标识别方法能够获取多组二维点云，并根据所述多组二维点云中各点的空间信息和特征信息来获取多幅特征图，并利用一目标识别网络对所述多幅特征图进行处理即可实现对目标对象的识别。与现有技术相比，本发明提供了一种根据二维点云对车辆周围物体进行识别的方法，该方法能够有效提升辅助驾驶系统和无人驾驶系统的可靠性和安全性。
附图说明
图1显示为本发明所述目标识别方法于一具体实施例中的流程图。
图2A显示为本发明所述目标识别方法于一具体实施例中步骤S13的流程图。
图2B显示为本发明所述目标识别方法于一具体实施例中图像映射的示例图。
图3显示为本发明所述目标识别方法于一具体实施例中对目标识别网络进行训练的流程图。
图4A显示为本发明所述目标识别方法于一具体实施例中的流程图。
图4B显示为本发明所述目标识别方法于一具体实施例中步骤S42的流程图。
图5显示为本发明所述训练方法于一具体实施例中的流程图。
图6A显示为本发明所述训练方法于一具体实施例中的流程图。
图6B显示为本发明所述训练方法于一具体实施例中步骤S62的流程图。
元件标号说明
S11～S14 步骤
S131～S132 步骤
S31～S34 步骤
S41～S43 步骤
S421～S422 步骤
S51～S54 步骤
S61～S64 步骤
S621～S622 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
目前，许多车辆已经配置有雷达(例如毫米波雷达)，通过雷达能够获取车辆周围环境的二维点云。发明人在实际应用中发现，二维点云中包含车辆周围物体的位置信息和特征信息，通过这些位置信息和特征信息能够实现对车辆周围物体的准确识别。然而，现有技术中并不存在根据二维点云对车辆周围物体进行识别的方法。针对这一问题，本发明提供一种目标识别方法，所述目标识别方法能够获取多组二维点云，并根据所述多组二维点云中各点的空间信息和特征信息来获取多幅特征图，并利用一目标识别网络对所述多幅特征图进行处理即可实现对目标对象的识别。与现有技术相比，本发明提供了一种根据二维点云对车辆周围物体进行识别的方法，该方法能够有效提升辅助驾驶系统和无人驾驶系统的可靠性和安全性。
请参阅图1，于本发明的一实施例中，所述目标识别方法包括：
S11，获取多组二维点云，所述多组二维点云包括一目标对象的点集。其中，所述多组二维点云是指多组连续时间序列的二维点云，其包含所述目标对象的部分或全部点集。
S12，获取所述多组二维点云中各点的空间信息和特征信息。其中，所述空间信息是指点的二维空间位置信息，根据点的空间信息能够获取点的位置。所述特征信息是指与目标识别相关的、除空间信息之外的全部或部分信息，例如为纵向速度、雷达截面积、运动状态等。点的特征信息可以通过通道来表示，例如，当所述特征信息为纵向速度、雷达截面积和运动状态时，所述二维点云中任一点均具有3个通道的特征信息，其中，点在第1个通道的特征信息为纵向速度，在第2个通道的特征信息为雷达截面积，在第3个通道的特征信息为运动状态。
S13，根据一目标区域以及所述多组二维点云中各点的空间信息和特征信息，将所述多组二维点云映射为多幅特征图。其中，所述目标区域是指用户的感兴趣区域，其范围可以由用户预先指定，所述目标区域的形状优选为矩形。所述特征图由多个对应特征点组成，所述对应特征点与所述二维点云中的点一一对应。
具体地，根据所述目标区域将所述二维点云中各点的空间信息映射为各对应特征点的空间信息，进而可以获取各对应特征点的位置。将所述二维点云中各点的特征信息映射为各对应特征点的特征信息；其中，所述对应特征点的特征信息的种类与所述二维点云中点的特征信息的种类相同。例如，若所述二维点云中的点均具有3个通道的特征信息，则所述特征图中的对应特征点同样具有3个通道的特征信息。将每一通道中所有对应特征点的特征信息以图像的形式进行表示，即可获取各通道的特征图像，将各通道的特征图像合并在一起即可获得所述多幅特征图。
S14，利用一目标识别网络对所述多幅特征图进行处理，以获取所述目标对象的识别结果；其中，所述目标识别网络为一训练好的神经网络模型。具体地，将所述多幅特征图输入所述目标识别网络，所述目标识别网络的输出即为所述目标对象的识别结果。通过步骤S14，不仅能够实现对车辆周围静止物体的识别，还能够实现对车辆周围运动物体的识别。
根据以上描述可知，本实施例提供了一种目标识别方法，所述目标识别方法能够获取多组二维点云，并根据所述多组二维点云中各点的空间信息和特征信息来获取多幅特征图，并利用一目标识别网络对所述多幅特征图进行处理即可实现对目标对象的识别。不同于现有技术，本实施例提供了一种根据二维点云对车辆周围物体进行识别的方法，该方法能够有效提升辅助驾驶系统和无人驾驶系统的可靠性和安全性。
于本发明的一实施例中，所述多组二维点云是由雷达获取的多组二维稀疏点云。具体应用中，由于雷达获取的点的数量较少，且点与点之间的间距较大，因此，雷达获取的二维点云可以作为二维稀疏点云进行处理。优选地，所述雷达为毫米波雷达。
于本发明的一实施例中，点的空间信息包括点的横向位置和纵向位置。具体地，对于第g组二维点云中的第n个点A，其空间信息可以表示为(Xgn,Ygn)，其中，Xgn为点A的纵向距离，Ygn为点A的横向距离，g为小于等于二维点云总组数G的正整数，n为小于等于各组二维点云中总点数N的正整数。
请参阅图2A，于本发明的一实施例中，将所述多组二维点云映射为多幅特征图的实现方法包括：
S131，根据所述目标区域以及所述多组二维点云中各点的空间信息，获取所述多幅特征图中对应特征点的空间信息。具体地，对于第g组二维点云中的第n个点A，根据点A的空间信息以及所述目标区域能够获取点A的对应特征点A’的空间信息，根据对应特征点A’的空间信息即可获取对应特征点A’在所述特征图中的位置。进一步地，根据第g组二维点云中所有点的空间信息，能够获取与第g组二维点云对应的第g幅特征图中所有对应特征点的空间信息；更进一步地，根据所述多组二维点云中所有点的空间信息，能够获取所述多幅特征图中所有对应特征点的空间信息。
S132，对所述多组二维点云中各点的特征信息进行归一化处理，以获取所述多幅特征图中对应特征点的特征信息。其中，所述对应特征点的特征信息的种类与所述二维点云中点的特征信息的种类相同。
具体地，请参阅图2B，若所述二维点云中点A的特征信息的种类为M，其中M为正整数，则根据步骤S131能够获取其对应特征点A’的空间信息(ugn,vgn)，根据步骤S132能够获取其对应特征点A’各通道的特征信息A’gn1(ugn,vgn)、A’gn2(ugn,vgn)……A’gnM(ugn,vgn)，此时，所述特征图为M通道的特征图，且所述特征图中的每一通道均对应一类特征信息。例如，若所述二维点云中点的特征信息为纵向速度、雷达截面积和运动状态，则所述特征图包括纵向速度通道、雷达截面积通道和运动状态通道。
进一步地，对于任意一组二维点云Q，根据步骤S131能够获取Q中所有点的对应特征点的位置，根据步骤S132能够获取所有对应特征点在各通道的特征信息，将所有对应特征点的位置及其在各通道的特征信息以图形的形式表示出来即为与Q对应的一幅特征图Q’。通过此种方式能够获取各组二维点云对应的特征图，各组二维点云对应的特征图合并在一起即为所述多幅特征图。
于本发明的一实施例中，所述目标区域的范围为(0,Lmax,Wmin,Wmax)，此时，所述目标区域是由x＝0、x＝Lmax、y＝Wmin和y＝Wmax这四条直线围成的矩形区域。本实施例中，步骤S131根据该目标区域的范围将每组二维点云分别进行空间信息筛选，并将筛选后的每组二维点云转换为大小为U×V且通道数为M的特征图，其中，U＝10×Lmax，V＝10×(Wmax-Wmin)。具体地，对于第g组二维点云中的第n个点A，其在所述多幅特征图中的对应特征点A’的空间信息(ugn,vgn)的获取方法为：
其中，(Xgn,Ygn)为点A的空间信息。此时，该对应特征点A’在所述特征图中的位置为第vgn行ugn列。
可选地，对于第g组二维点云中的第n个点A，获取其对应特征点A’的特征信息的实现方法为：将点A所有通道的特征信息分别归一化至(0,255)之间的整数，并将归一化之后的数值作为对应特征点A’在对应通道的特征信息。其中，所述归一化的方法为：
其中，m为小于等于M的正整数，A’gnm为对应特征点A’在第m个通道的特征信息，Agnm为点A在第m个通道的特征信息，Vmax为第m个通道的特征信息的最大值，Vmin为第m个通道的特征信息的最小值。
进一步地，可以将对应特征点A’在第m个通道的特征信息A’gnm作为所述第m个通道在对应特征点A’位置的灰度值，通过此种方式能够获取每一通道在所有对应特征点位置的灰度值，进而可以获取各通道的灰度图像，将各通道的灰度图像合并在一起即为所述特征图。
例如，当所述二维点云中点的特征信息为纵向速度、雷达截面积和运动状态，且所述目标区域的范围为(0,50,-10,10)时，若本实施例所采用的毫米波雷达在某组二维稀疏点云R中的返回点B的空间信息为(20,5)，特征信息为(2,10,3)，纵向速度这一特征信息的取值范围为(-128,127)，雷达截面积这一特征信息的取值范围为(-64,63)，运动状态这一特征信息的取值范围为(0,7)，则：该点B的对应特征点B’的空间信息为(150,300)，所述特征图中的纵向速度通道在位置(150,300)处的灰度值为130，所述特征图中的雷达截面积通道在(150,300)处的灰度值为148，所述特征图中的运动状态通道在(150,300)处的灰度值为109。通过类似方式能够获取所述纵向速度通道在所有对应特征点位置处的灰度值，进而可以获取所述纵向速度通道的灰度图像；同样地，根据所述雷达截面积通道在所有对应特征点位置处的灰度值能够获取所述雷达截面积通道的灰度图像，根据所述运动状态通道在所有对应特征点位置处的灰度值能够获取所述运动状态通道的灰度图像。将所述纵向速度通道的灰度图像、所述雷达截面积通道的灰度图像和所述运动状态通道的灰度图像合并在一起，即可获取该组稀疏点云R对应的特征图。
请参阅图3，于本发明的一实施例中，所述目标识别网络的训练方法包括：
S31，获取多组训练点云，其中，所述训练点云包括多组连续时间序列的二维点云，其包括多个训练点。优选地，所述训练点云是由雷达获取的二维稀疏点云，所述雷达优选为毫米波雷达。
S32，获取所述多组训练点云中各训练点的空间信息和特征信息。其中，所述训练点的空间信息是指训练点的二维空间位置信息，根据训练点的空间信息能够获取训练点的位置。所述训练点的特征信息是指与目标识别相关的、除空间信息之外的全部或部分信息，例如为纵向速度、雷达截面积和运动状态等。所述训练点的特征信息可以通过通道来表示，例如，当所述特征信息为纵向速度、雷达截面积和运动状态时，所述二维点云中任一训练点均具有3个通道的特征信息，其中，训练点在第1个通道的特征信息为纵向速度，在第2个通道的特征信息为雷达截面积，在第3个通道的特征信息为运动状态。
S33，根据所述目标区域以及所述多组训练点云中各点的空间信息和特征信息，将所述多组训练点云映射为多组训练特征图。所述训练特征图由多个对应训练特征点组成，所述对应训练特征点与所述训练点云中的训练点一一对应。
具体地，根据所述目标区域将所述训练点云中各训练点的空间信息映射为各对应训练特征点的空间信息，进而可以获取各对应训练特征点的位置。将所述训练点云中各训练点的特征信息映射为各对应训练特征点的特征信息；其中，所述对应训练特征点的特征信息的种类与所述训练点云中训练点的特征信息的种类相同。例如，若所述训练点云中的训练点均具有3个通道的特征信息，则所述训练特征图中的对应训练特征点同样具有3个通道的特征信息。将每一通道中所有对应训练特征点的特征信息以图像的形式进行表示，即可获取各通道的训练特征图像，将各通道的训练特征图像合并在一起即可获得所述多幅训练特征图。
S34，根据所述多组训练特征图获取训练集、验证集和测试集，并利用所述训练集、验证集和测试集对所述目标识别网络进行训练。例如，可以按照特定的比例将所述多组训练特征图划分为训练集、验证集和测试机，该特定的比例例如为6：2：2。对所述目标识别网络进行训练的方法例如可以采用随机梯度下降法实现，经过一定次数的迭代，当所述目标识别网络的损失收敛时结束训练，此时，所述目标识别网络训练完成，可以利用该训练完成的目标识别网络对实际的特征图进行处理。
可选的，所述目标识别网络包括特征提取网络和识别网络。其中，所述特征提取网络和所述识别网络均带有Anchor机制。所述目标识别网络中的网格(Grid)数目为S(例如为13)，此时，所述目标识别网络将每一张特征图划分为S×S个Grid，每个Grid中的Anchor(锚点或锚框)数目为B(例如为7)。所述特征提取网络的输入层大小为U×V×M(例如为200×500×3)，第一层卷积核大小为C×C×M(例如为3×3×3)。所述识别网络的输出层为S×S×5(例如为13×13×5)，其中，该输出层中每一特征向量的5个特征分别为：预测目标框的中心坐标(xi,yi)、预测目标框的长度li和宽度wi、以及预测目标的分数Ci。
可选的，本实施例中，所述目标识别网络在训练过程中所采用的损失函数为：
其中，K1、K2和K3均为损失函数的权重，其取值可以根据实际需求设置；xi、yi、wi、li、Ci分别是预测目标在横向和纵向这两个方向上的中心坐标、偏移量和预测分数，
分别是真值(实际值)在横向和纵向这两个方向上的中心坐标、偏移量和预测分数；S为所述目标识别网络的Grid数量；B为每个Grid中的Anchor数量。此外，在对所述目标识别网络进行训练时：若第i个Grid中第j个Anchor包含训练目标对象，则
取值为1，
为0；否则，
的取值为0，
的取值为1。
于本发明的一实施例中，所述目标识别方法应用于汽车。请参阅图4A，所述目标识别方法包括：
S41，利用毫米波雷达获取G组连续时间序列的二维稀疏点云，其中，所述二维稀疏点云中每组点的个数为N，每个点包括空间信息Pgn(g＝1,2...G,n＝1,2...N)和特征信息Fgn。所述空间信息Pgn包括点的纵向位置Xn和横向位置Yn，记为Pgn(Xgn,Ygn)。所述特征信息Fgn的个数为M，记为Fgn(fgn1,fgn2...fgnm)(m＝1,2,...M)。其中，G和N均为正整数。
S42，将所述目标区域的大小设置为(0,Lmax,Wmin,Wmax)，将步骤S41中所述的G组二维稀疏点云中的每一组分别进行空间信息筛选，并将筛选后的每组稀疏点云转换为大小为U×V、通道数为M的特征图。
可选地，请参阅图4B，将稀疏点云转换为特征图的实现方法包括：
S421，利用步骤S41中所述的空间信息Pgn(Xgn,Ygn)，将二维稀疏点云映射到特征图上。其中，所述特征图第m(m＝1,2...M)个通道中的v(v＝1,2...V)行u(u＝1,2...U)列元素记为
所述特征图元素与所述的二维稀疏点云中每个点空间信息Pgn(Xgn,Ygn)的映射关系为：
S422，将步骤S41中所述的特征信息Fgn(fgn1,fgn2...fgnm)的值分别归一化至(0,255)之间的整数，归一化方法可表示为
其中，Vmax,Vmin分别为特征的取值最大值和最小值，并将归一化后的值赋给特征图对应位置的元素
作为该元素的灰度值，从而得到所述的G组连续时间序列的二维稀疏点云对应的G幅多通道特征图。
S43，利用一目标识别网络对所述G幅多通道特征图进行处理，以获取所述目标对象的识别结果。
根据以上描述可知，本实施例基于毫米波雷达二维稀疏点云的空间信息，融合毫米波雷达返回的特征信息，将其转换为可用于机器视觉的多通道特征图，只需对目前常用的视觉目标检测网络做小部分修改，即可实现对运动目标的识别并应用于实践中。因此，本实施例所述目标识别方法能够增强毫米波雷达的感知能力，有利于拓展环境感知系统的应用场景。
本发明还提供一种训练方法，用于对一目标识别网络进行训练。请参阅图5，于本发明的一实施例中，所述训练方法包括：
S51，获取多组训练点云，其中，所述训练点云包括多个训练点。所述训练点云包括多组连续时间序列的二维点云，其包括多个训练点。优选地，所述训练点云是由雷达获取的二维稀疏点云，所述雷达优选为毫米波雷达。
S52，获取所述多组训练点云中各训练点的空间信息和特征信息。其中，所述训练点的空间信息是指训练点的二维空间位置信息，根据训练点的空间信息能够获取训练点的位置。所述训练点的特征信息是指与目标识别相关的、除空间信息之外的全部或部分信息，例如为纵向速度、雷达截面积和运动状态等。所述训练点的特征信息可以通过通道来表示，例如，当所述特征信息为纵向速度、雷达截面积和运动状态时，所述二维点云中任一训练点均具有3个通道的特征信息，其中，训练点在第1个通道的特征信息为纵向速度，在第2个通道的特征信息为雷达截面积，在第3个通道的特征信息为运动状态。
S53，根据一目标区域的范围以及所述多组训练点云中各训练点的空间信息和特征信息，将所述多组训练点云映射为多组训练特征图。其中，所述训练特征图由多个对应训练特征点组成，所述对应训练特征点与所述训练点云中的训练点一一对应。将所述多组训练点云映射为多组训练特征图的实现方法与前述步骤S13类似。
具体地，根据所述目标区域将所述训练点云中各训练点的空间信息映射为各对应训练特征点的空间信息，进而可以获取各对应训练特征点的位置。将所述训练点云中各训练点的特征信息映射为各对应训练特征点的特征信息；其中，所述对应训练特征点的特征信息的种类与所述训练点云中训练点的特征信息的种类相同。例如，若所述训练点云中的训练点均具有3个通道的特征信息，则所述训练特征图中的对应训练特征点同样具有3个通道的特征信息。将每一通道中所有对应训练特征点的特征信息以图像的形式进行表示，即可获取各通道的训练特征图像，将各通道的训练特征图像合并在一起即可获得所述多幅训练特征图。
S54，根据所述多组训练特征图获取训练集、验证集和测试集，并利用所述训练集、验证集和测试集对所述目标识别网络进行训练。
例如，可以按照特定的比例将所述多组训练特征图划分为训练集、验证集和测试机，该特定的比例例如为6：2：2。对所述目标识别网络进行训练的方法例如可以采用随机梯度下降法实现，经过一定次数的迭代，当所述目标识别网络的损失收敛时结束训练，此时，所述目标识别网络训练完成，可以利用该训练完成的目标识别网络对实际的特征图进行处理。
可选的，所述目标识别网络包括特征提取网络和识别网络。其中，所述特征提取网络和所述识别网络均带有Anchor机制。所述目标识别网络的Grid数目为S(例如为13)，每个Grid中的Anchor数目为B(例如为7)。所述特征提取网络的输入层大小为U×V×M(例如为200×500×3)，第一层卷积核大小为C×C×M(例如为3×3×3)。所述识别网络的输出层为S×S×5(例如为13×13×5)，其中，该输出层中每一特征向量的5个特征分别为：预测目标框的中心坐标(xi,yi)、预测目标框的长度li和宽度wi、以及预测目标的分数Ci。
可选的，本实施例中，所述目标识别网络在训练过程中所采用的损失函数为：
其中，K1、K2和K3均为损失函数的权重，其取值可以根据实际需求设置；xi、yi、wi、li、Ci分别是预测目标在横向和纵向这两个方向上的中心坐标、偏移量和预测分数，
分别是真值(实际值)在横向和纵向这两个方向上的中心坐标、偏移量和预测分数；S为所述目标识别网络的Grid数量；B为每个Grid中的Anchor数量。此外，在对所述目标识别网络进行训练时：若第i个Grid中第j个Anchor包含训练目标对象，则
取值为1，
为0；否则，
的取值为0，
的取值为1。
请参阅图6A，于本发明的一实施例中，所述训练方法包括：
S61，利用毫米波雷达获取Gt组连续时间序列的二维稀疏点云，其中，所述二维稀疏点云中每组点的个数为Nt，每个点包括空间信息
和特征信息
所述空间信息
包括点的纵向位置
和横向位置
记为
所述特征信息
的个数为Mt，记为
其中，Gt和Nt均为正整数。
S62，将所述目标区域的大小设置为(0,Lmax,Wmin,Wmax)，将步骤S61中所述的Gt组二维稀疏点云中的每一组分别进行空间信息筛选，并将筛选后的每组稀疏点云转换为大小为U×V、通道数为Mt的特征图。其中，U＝10×Lmax，V＝10×(Wmax-Wmin)。
可选地，请参阅图6B，将稀疏点云转换为特征图的实现方法包括：
S621，利用步骤S61中所述的空间信息
将二维稀疏点云映射到特征图上。其中，所述特征图第mt＝1,2,...Mt个通道中的v(v＝1,2...V)行u(u＝1,2...U)列元素记为
所述特征图元素与所述的二维稀疏点云中每个点空间信息
的映射关系为：
S622，将步骤S61中所述的特征信息
的值分别归一化至(0,255)之间的整数，归一化方法可表示为
其中，Vmax,Vmin分别为特征的取值最大值和最小值，并将归一化后的值赋给特征图对应位置的元素
作为该元素的灰度值，从而得到所述的Gt组连续时间序列的二维稀疏点云对应的Gt幅多通道特征图。
S63，构建所述目标识别网络，并确定所述目标识别网络的损失函数。
S64，将步骤S63中的Gt幅多通道特征图按照特定的比例(例如为6：2：2)划分为训练集、验证集、测试机，并利用随机梯度下降法对步骤S63中构建的目标识别网络进行训练。经过一定次数的迭代，当所述目标识别网络损失收敛时结束训练，此时，所述目标识别网络的训练完成。
基于以上对所述目标识别方法和所述训练方法的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现图1所示的目标识别方法，和/或实现图5所示的训练方法。
基于以上对所述目标识别方法和所述训练方法的描述，本发明还提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，有所述存储器通信相连，调用所述计算机程序时执行图1所示的目标识别方法，和/或执行图5所示的训练方法。
基于以上对所述目标识别方法和所述训练方法的描述，本发明还提供一种汽车。所述汽车包括：雷达，用于获取多组二维点云，所述多组二维点云包括一目标对象的点集，所述雷达优选为毫米波雷达；车机，与所述雷达通信相连，用于采用图1所示的目标识别方法对所述雷达获取的多组二维点云进行处理，以获取所述目标对象的识别结果；和/或将所述雷达获取的多组二维点云作为训练点云，并采用图5所示的训练方法根据所述训练点云对所述目标识别网络进行训练。
本发明所述的目标识别方法和所述训练方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明提供一种目标识别方法，所述目标识别方法能够获取多组二维点云，并根据所述多组二维点云中各点的空间信息和特征信息来获取多幅特征图，并利用一目标识别网络对所述多幅特征图进行处理即可实现对目标对象的识别。与现有技术相比，本发明提供了一种根据二维点云对车辆周围物体进行识别的目标识别方法，所述目标识别方法能够实现对静止物体和运动物体的识别，并有效提升辅助驾驶系统和无人驾驶系统的可靠性和安全性。
所述目标识别方法基于毫米波雷达所获取的二维稀疏点云的空间信息，融合毫米波雷达返回的特征信息，并将其转换为可用于机器视觉的多通道特征图，只需对目前常用的视觉目标检测网络做小部分修改即可实现对运动目标的识别，并能很好地应用于实际中。所述目标识别方法能够增强毫米波雷达的感知能力，有利于拓展环境感知系统的应用场景。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种目标识别方法，其特征在于，所述目标识别方法包括：
获取多组二维点云，所述多组二维点云包括一目标对象的点集；
获取所述多组二维点云中各点的空间信息和特征信息；
根据一目标区域以及所述多组二维点云中各点的空间信息和特征信息，将所述多组二维点云映射为多幅特征图；
利用一目标识别网络对所述多幅特征图进行处理，以获取所述目标对象的识别结果；其中，所述目标识别网络为一训练好的神经网络模型。
2.根据权利要求1所述的目标识别方法，其特征在于：所述多组二维点云是由雷达获取的多组二维稀疏点云。
3.根据权利要求1所述的目标识别方法，其特征在于：所述多组二维点云中，点的空间信息包括点的横向位置和纵向位置。
4.根据权利要求3所述的目标识别方法，其特征在于，将所述多组二维点云映射为多幅特征图的实现方法包括：
根据所述目标区域以及所述多组二维点云中各点的空间信息，获取所述多幅特征图中对应特征点的空间信息；
对所述多组二维点云中各点的特征信息进行归一化处理，以获取所述多幅特征图中对应特征点的特征信息。
5.根据权利要求4所述的目标识别方法，其特征在于，对于第g组二维点云中的第n个点，其在所述多幅特征图中对应特征点的空间信息(ugn,vgn)的获取方法为：
6.根据权利要求1所述的目标识别方法，其特征在于，所述目标识别网络的训练方法包括：
获取多组训练点云，其中，所述训练点云包括多个训练点；
获取所述多组训练点云中各训练点的空间信息和特征信息；
根据所述目标区域以及所述多组训练点云中各训练点的空间信息和特征信息，将所述多组训练点云映射为多组训练特征图；
根据所述多组训练特征图获取训练集、验证集和测试集，并利用所述训练集、验证集和测试集对所述目标识别网络进行训练。
7.一种训练方法，其特征在于，用于对一目标识别网络进行训练，所述训练方法包括：
获取多组训练点云，其中，所述训练点云包括多个训练点；
获取所述多组训练点云中各训练点的空间信息和特征信息；
根据一目标区域的范围以及所述多组训练点云中各训练点的空间信息和特征信息，将所述多组训练点云映射为多组训练特征图；
根据所述多组训练特征图获取训练集、验证集和测试集，并利用所述训练集、验证集和测试集对所述目标识别网络进行训练。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1-6任一项所述的目标识别方法，和/或权利要求7所述的训练方法。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-6任一项所述的目标识别方法，和/或权利要求7所述的训练方法。
10.一种汽车，其特征在于，所述汽车包括：
雷达，用于获取多组二维点云；
车机，与所述雷达通信相连，用于采用权利要求1-6任一项所述的目标识别方法对所述雷达获取的多组二维点云进行处理，以获取所述目标对象的识别结果，和/或用于采用权利要求7所述的训练方法，根据所述雷达获取的多组二维点云对所述目标识别网络进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214677.5A CN112801036A (zh) | 2021-02-25 | 2021-02-25 | 一种目标识别方法、训练方法、介质、电子设备及汽车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214677.5A CN112801036A (zh) | 2021-02-25 | 2021-02-25 | 一种目标识别方法、训练方法、介质、电子设备及汽车 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112801036A true CN112801036A (zh) | 2021-05-14 |
Family
ID=75815840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110214677.5A Pending CN112801036A (zh) | 2021-02-25 | 2021-02-25 | 一种目标识别方法、训练方法、介质、电子设备及汽车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801036A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658481A (zh) * | 2018-12-24 | 2019-04-19 | 北京旷视科技有限公司 | 图像标注方法及装置、特征图生成方法及装置 |
| CN110196429A (zh) * | 2018-04-02 | 2019-09-03 | 北京航空航天大学 | 车辆目标识别方法、存储介质、处理器以及系统 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN111340766A (zh) * | 2020-02-21 | 2020-06-26 | 北京市商汤科技开发有限公司 | 目标对象的检测方法、装置、设备和存储介质 |
| CN111414809A (zh) * | 2020-02-28 | 2020-07-14 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
| CN111753757A (zh) * | 2020-06-28 | 2020-10-09 | 浙江大华技术股份有限公司 | 一种图像识别处理方法及装置 |
| CN112149550A (zh) * | 2020-09-21 | 2020-12-29 | 华南理工大学 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
| CN112204568A (zh) * | 2019-09-30 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 路面标识识别方法及装置 |
| US20210012089A1 (en) * | 2019-07-08 | 2021-01-14 | Waymo Llc | Object detection in point clouds |
-
2021
- 2021-02-25 CN CN202110214677.5A patent/CN112801036A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110196429A (zh) * | 2018-04-02 | 2019-09-03 | 北京航空航天大学 | 车辆目标识别方法、存储介质、处理器以及系统 |
| CN109658481A (zh) * | 2018-12-24 | 2019-04-19 | 北京旷视科技有限公司 | 图像标注方法及装置、特征图生成方法及装置 |
| US20210012089A1 (en) * | 2019-07-08 | 2021-01-14 | Waymo Llc | Object detection in point clouds |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN112204568A (zh) * | 2019-09-30 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 路面标识识别方法及装置 |
| CN111340766A (zh) * | 2020-02-21 | 2020-06-26 | 北京市商汤科技开发有限公司 | 目标对象的检测方法、装置、设备和存储介质 |
| CN111414809A (zh) * | 2020-02-28 | 2020-07-14 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
| CN111753757A (zh) * | 2020-06-28 | 2020-10-09 | 浙江大华技术股份有限公司 | 一种图像识别处理方法及装置 |
| CN112149550A (zh) * | 2020-09-21 | 2020-12-29 | 华南理工大学 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| JOSEPH REDMON等: "You Only Look Once:Unified, Real-Time Object Detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 11 * |
| MICHAEL MEYER，GEORG KUSCHK: "Deep Learning Based 3D Object Detection for Automotive Radar and Camera", 《2019 16TH EUROPEAN RADAR CONFERENCE (EURAD)》 * |
| MICHAEL MEYER，GEORG KUSCHK: "Deep Learning Based 3D Object Detection for Automotive Radar and Camera", 《2019 16TH EUROPEAN RADAR CONFERENCE (EURAD)》, 4 October 2019 (2019-10-04) * |
| 袁燚: "机器学习在卫星影像云提取和三维点云滤波中的方法研究", 《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》 * |
| 袁燚: "机器学习在卫星影像云提取和三维点云滤波中的方法研究", 《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》, 15 July 2019 (2019-07-15), pages 53 - 56 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216674B2 (en) | Neural networks for object detection and characterization | |
| CN107704857B (zh) | 一种端到端的轻量级车牌识别方法及装置 | |
| US10346720B2 (en) | Rotation variant object detection in Deep Learning | |
| CN111160375A (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| US20120134586A1 (en) | Device with datastream pipeline architecture for recognizing and locating objects in an image by detection window scanning | |
| CN111612822B (zh) | 对象跟踪方法、装置、计算机设备和存储介质 | |
| CN113034495B (zh) | 一种脊柱影像分割方法、介质及电子设备 | |
| CN112149694B (zh) | 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端 | |
| CN112016569A (zh) | 基于注意力机制的目标检测方法、网络、设备和存储介质 | |
| KR20210074163A (ko) | 공동 검출 및 기술 시스템 및 방법 | |
| CN112348116B (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN113569607A (zh) | 动作识别方法、装置、设备以及存储介质 | |
| EP3410396A1 (en) | Moving object tracking apparatus, moving object tracking method, and computer-readable medium | |
| CN115995042A (zh) | 一种视频sar运动目标检测方法及装置 | |
| JP2019133545A (ja) | 特徴表現装置、それを含む認識システム、及び特徴表現プログラム | |
| CN112801036A (zh) | 一种目标识别方法、训练方法、介质、电子设备及汽车 | |
| CN115115923B (zh) | 模型训练方法、实例分割方法、装置、设备及介质 | |
| CN116630216A (zh) | 基于雷达和影像的目标融合方法、装置、设备及存储介质 | |
| CN112465878B (zh) | 一种基于粒子滤波的位置预测方法及设备 | |
| CN113792764A (zh) | 一种样本扩充方法、系统、存储介质及电子设备 | |
| CN112818832A (zh) | 一种基于部件感知的弱监督物体定位装置及方法 | |
| CN112016571A (zh) | 一种基于注意力机制的特征提取方法、装置及电子设备 | |
| De Albuquerque et al. | Evaluating resources cost of a Convolutional Neural Network aiming an embedded system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210514 |