CN115035492B - 车辆识别方法、装置、设备和存储介质 - Google Patents
车辆识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115035492B CN115035492B CN202210708579.1A CN202210708579A CN115035492B CN 115035492 B CN115035492 B CN 115035492B CN 202210708579 A CN202210708579 A CN 202210708579A CN 115035492 B CN115035492 B CN 115035492B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- cloud data
- foreground
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000005516 engineering process Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000013450 outlier detection Methods 0.000 claims description 5
- 238000011897 real-time detection Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种车辆识别方法、装置、设备和存储介质，该方法包括：获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据；将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像；基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点；基于所述目标像素点形成目标包络框，所述目标包络框代表前景目标的边界信息；基于车辆几何信息识别所述目标包络框，确定所述前景目标是否为车辆。本申请可以将激光雷达获取的点云数据与图形处理技术有效结合，实现了对车辆的实时检测识别，其识别效率高、准确率高。
Description
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种车辆识别方法、装置、设备和存储介质。
背景技术
目前，无人驾驶系统在配备有摄像头和激光雷达传感器的状态下行驶，利用传统的一阶段目标检测网络，识别图像传感器数据中的车辆与行人信息，用于感知周围环境的视觉信息。虽然，诸如目标识别网络能够精确地识别出图像内车辆和行人的图中像素位置，但是因为摄像头在成像过程中，存在多次光的折射和反射，并且最终成像结果是由三维转换到二维；所以图像数据存在一个固有缺陷：丢失空间信息。而激光雷达在工作原理上就解决了图像的固有缺陷：通过激光的反射、阻挡和返回，经由光速和收发时间的时间差来计算目标到激光雷达的距离，从而对周围的环境进行成像，感知周围环境的空间信息。但是，由于激光雷达数据是一种近年才兴起的一种传感器，并且相较于图像数据，激光雷达数据具有以下这些特性：第一，置换不变性，即内存中的点云数据，相互交互存储位置，不会影响最终点云数据的呈现，而图像数据交换存储位置的话，则会改变数据的呈现；第二，数据量大，并且相较于图像数据，激光雷达点云数据量存在数量级的差异，并且随着点云成像的清晰度提高，数据量差距更加显著；第三，旋转不变性，即指对一个点云集进行旋转操作，集合内所有点的坐标都发生了变换，但表示的还是同一个物体。
因此，现有成熟的基于图像的深度神经网络无法直接应用于激光雷达点云数据，并且成熟的可以直接处理点云数据的神经网络模型并没有出现，且无法兼顾速度、效率与准确度，所以亟需一种在点云数据中快速检测识别车辆的方法。
发明内容
基于此，本申请提供了一种车辆识别方法、装置、设备和存储介质，以解决现有技术中存在的问题。
第一方面，提供一种车辆识别方法，该方法包括：
获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据；
将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像；
基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点；
基于所述目标像素点形成目标包络框，所述目标包络框代表前景目标的边界信息；
基于车辆几何信息识别所述目标包络框，确定所述前景目标是否为车辆。
根据本申请实施例中一种可实现的方式，所述基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点包括：
计算所述目标点云投影图像中每一个像素点的斜率，获得斜率最大的第一目标像素点和斜率最小的第二目标像素点；
基于所述第一目标像素点和所述第二目标像素点，计算到所述第一目标像素点和所述第二目标像素点的连线的距离最大的第三目标像素点；所述第一目标像素点、第二目标像素点和第三目标像素点代表所述前景目标的边界点。
根据本申请实施例中一种可实现的方式，所述获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据包括：
基于所述激光雷达传感器的点云数据，生成环境的高清三维地图；
基于所述高清三维地图确定环境背景噪声，并确定对应的背景噪声点云数据；
在每一帧点云数据中剔除所述背景噪声点云数据，获得每一帧点云数据中的前景目标点云数据。
根据本申请实施例中一种可实现的方式，所述将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像包括：
将所述前景目标点云数据移动至空间坐标系原点，基于所述前景目标点云数据的坐标确定所述目标点云投影图像的尺寸；
将所述前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像。
根据本申请实施例中一种可实现的方式，所述将所述前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像包括：
若二维坐标平面上的像素位置有对应的目标点云数据的投影，则将所述像素位置填充高亮值；
若二维坐标平面上的像素位置无对应的目标点云数据的投影，则将所述像素位置填充暗像素值。
根据本申请实施例中一种可实现的方式，所述基于所述前景目标点云数据的坐标确定所述目标点云投影图像的尺寸包括：
基于离群点检测算法，剔除所述前景目标点云数据中的离群点；
根据剔除离群点后的前景目标点云数据中每一个点的位置坐标确定所述前景目标点云数据的尺寸；
根据所述前景目标点云数据的尺寸确定所述目标点云投影图像的尺寸。
根据本申请实施例中一种可实现的方式，所述车辆几何信息包括：车辆的长度、宽度和高度信息。
第二方面，提供了一种车辆识别装置，该装置包括：
获取模块：用于获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据；
投影模块：用于将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像；
第一处理模块：用于基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点；
第二处理模块：用于基于所述目标像素点形成目标包络框，所述目标包络框代表前景目标的边界信息；
识别模块：用于基于车辆几何信息识别所述目标包络框，确定所述前景目标是否为车辆。
第三方面，提供了一种计算机设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中涉及的方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令用于使计算机执行上述第一方面中涉及的方法。
根据本申请实施例所提供的技术内容，本申请通过获取激光雷达传感器的点云数据，提取出前景目标点云数据，再将前景目标点云数据投影到二维图像坐标平面上，基于图像处理技术识别图像中的目标像素点并形成目标包络框从而得出前景目标的边界信息；最后基于前景目标的边界信息与车辆几何信息匹配，从而实现车辆的识别。本申请的实施例可以直接处理激光雷达点云数据，通过将点云数据投影到二维图像平面，规避了点云数据固有的置换不变性和旋转不变性，以及现有的深度视觉神经网络无法直接应用于点云数据的缺陷。将激光雷达获取的点云数据与图形处理技术有效结合，实现了对车辆的实时检测识别，其识别效率高、准确率高。对于车辆无人驾驶场景，提高了车辆的决策精度，并能使无人驾驶车辆适应更为复杂的道路状况。
附图说明
图1为一个实施例中车辆识别方法的流程示意图；
图2为一个实施例中车辆识别方法的投影示意图；
图3为一个实施例中车辆识别方法的另一个流程示意图；
图4为一个实施例中车辆识别方法的图像处理示意图；
图5为一个实施例中车辆识别方法的另一个流程示意图；
图6为一个实施例中车辆识别装置的结构框图；
图7为一个实施例中计算机设备的示意性结构图。
具体实施方式
以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为本申请实施例提供的一种车辆识别方法的流程图，如图1所示，该方法可以包括以下步骤：
步骤101：获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据。
具体地，首先，基于激光雷达传感器实时采集并获取车辆周围环境的点云数据，然后基于运动前景目标检测技术处理车辆周围环境的点云数据，从序列图像中将变化区域从背景图像中提取出来，剔除每一帧点云数据中的背景噪声点云数据，从而提取出每一帧点云数据中的前景目标点云数据。其中，背景噪声点云数据代表了环境当中的背景目标，例如交通灯、建筑物、垃圾箱等；前景目标点云数据代表了运动的前景目标，例如运动的车辆、自行车、行人等。例如，采用通用SLAM算法生成环境的高清三维地图，基于高清三维地图得到位于地图中的背景目标，然后在点云数据帧中减去该背景目标对应的背景噪声点云数据，从而提取出前景目标的点云数据。
步骤102：将前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像。
具体地，如图2所示，将步骤101中提取到的环境中前景目标的点云数据利用图像处理技术，将前景目标点云数据向二维平面投影，例如向水平面(x0y平面)进行投影，生成前景目标俯瞰图像，并进一步进行图片处理，例如将图片二值化处理，进一步去除椒盐噪声和白噪声，从而生成目标点云投影图像。
步骤103：基于图像处理技术获取目标点云投影图像中的目标像素点，目标像素点代表前景目标的边界点。
具体地，根据步骤102生成的目标点云投影图像利用图像处理技术识别目标点云投影图像中的每一个像素点，然后基于检测算法或图像处理运算等技术在该目标点云投影图像中识别出若干个代表前景目标的边界的目标像素点。
步骤104：基于目标像素点形成目标包络框，目标包络框代表前景目标的边界信息。
具体地，基于步骤103中得到的在目标点云投影图像中识别出的代表前景目标边界的若干个目标像素点，将若干个目标像素点连线，形成目标包络框，该目标包络框即代表了前景目标的边界信息。
步骤105：基于车辆几何信息识别目标包络框，确定前景目标是否为车辆。
具体地，在步骤104中生成了前景目标的目标包络框即边界包络框，该包络框能够代表前景目标的几何信息，例如长度、宽度或高度等信息。由于在前景目标中，行人、自行车和车辆等目标的尺寸显然是不同的，所以基于目标包络框的几何信息与车辆几何信息进行匹配，例如将该目标包络框的长和宽与车辆的长和宽进行匹配，则可确定该目标包络框对应的前景目标是否为车辆。从而可以进一步实现对于周围环境中车辆的位置和姿态的感知，提升无人驾驶系统的决策精度。
可以看出，本申请实施例通过获取激光雷达传感器的点云数据，提取出前景目标点云数据，再将前景目标点云数据投影到二维图像坐标平面上，基于图像处理技术识别图像中的目标像素点并形成目标包络框从而得出前景目标的边界信息；最后基于前景目标的边界信息与车辆几何信息匹配，从而实现车辆的识别。本申请的实施例可以直接处理激光雷达点云数据，通过将点云数据投影到二维图像平面，规避了点云数据固有的置换不变性和旋转不变性，以及现有的深度视觉神经网络无法直接应用于点云数据的缺陷。将激光雷达获取的点云数据与图形处理技术有效结合，实现了对车辆的实时检测识别，其识别效率高、准确率高。对于车辆无人驾驶场景，提高了车辆的决策精度，并能使无人驾驶车辆适应更为复杂的道路状况。
下面结合实施例对上述步骤101即“获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据”进行详细描述。
在本申请的一个实施例中，步骤101中获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据包括：基于激光雷达传感器的点云数据，生成环境的高清三维地图；基于高清三维地图确定环境背景噪声，并确定对应的背景噪声点云数据；在每一帧点云数据中剔除背景噪声点云数据，获得每一帧点云数据中的前景目标点云数据。
具体地，首先，基于激光雷达传感器采集的点云数据，采用通用SLAM算法生成环境的高清三维地图。其次，基于生成的高清地图可以得到环境中静态的背景目标，即环境背景噪声。再次，基于激光雷达传感器获取的车辆周围环境的点云数据帧利用矩阵运算，将得到的当前点云数据帧的坐标系转换到三维地图的世界坐标系下，然后通过点云配准，剔除离群点、噪声点和背景目标，即在当前点云数据帧中减去地图中的背景噪声点云数据，动态得到每一帧点云数据的前景目标点云数据。
下面结合实施例对上述步骤102即“将前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像”进行详细描述。
在本申请的一个实施例中，步骤102中将前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像包括：步骤1021：将前景目标点云数据移动至空间坐标系原点，基于前景目标点云数据的坐标确定目标点云投影图像的尺寸；步骤1022：将前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像。
具体地，如图2和图3所示，因为点云数据都是空间中每个点的三维坐标(x，y，z)，所以在进行俯瞰投影前，先将每一个前景目标移动到空间坐标的(0，0，0)附近，防止在转换成图像后处理时，出现目标投影在图像外的情况；同时对齐空间三维坐标中可能出现的负值至图像坐标。然后，获取移动后前景目标点云中距离最大点的坐标，从而获取前景点云的长、宽和高，基于前景点云的长长、宽和高确定出投影图像的尺寸和格式。最后，将前景目标点云数据中的每一个点投影到二维图像坐标平面上，如图2所示将前景目标点云数据投影到水平面上，生成目标点云投影图像。对于步骤得到的投影，进行滤波滤除离群点，降低甚至消除图像中的白噪声和椒盐噪声，最终生成前景目标在水平面的俯瞰投影图像，用于后续处理。由于车辆点云不会发生滚转和俯仰，所以在水平方向不会出现旋转，因此本实施例提供的方法通过前景目标点云在水平面投影的方法，规避了点云数据量大和置换不变的特性，提高了数据处理速度。
在本申请的一个实施例中，上述实施例的步骤1021中基于前景目标点云数据的坐标确定目标点云投影图像的尺寸包括：基于离群点检测算法，剔除前景目标点云数据中的离群点；根据剔除离群点后的前景目标点云数据中每一个点的位置坐标确定前景目标点云数据的尺寸；根据前景目标点云数据的尺寸确定目标点云投影图像的尺寸。
具体地，在投影之前，利用基于点云数据的离群点检测算法，剔除前景目标点云数据中的离群点,然后根据剔除离群点后的前景目标点云数据中每一个点的位置坐标确定前景目标点云数据的尺寸，从而确定最终投影图像的宽和高。
在本申请的一个实施例中，上述实施例的步骤1022中将前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像包括：若二维坐标平面上的像素位置有对应的目标点云数据的投影，则将像素位置填充高亮值；若二维坐标平面上的像素位置无对应的目标点云数据的投影，则将像素位置填充暗像素值。
具体地，根据前景目标中的每个点的坐标，利用仿射变换，将前景目标点云数据垂直投影在图像中，如图2所示。对于图像的处理，如图3所示，确定图像投影位置是否有对应的点云原点即对应的目标点云数据，如果对应像素坐标位置有点云数据，则该像素位置填充高亮值，如果对应像素坐标位置无点云数据，则该像素位置填充暗像素值，从而生成目标点云投影图像。
下面结合实施例对上述步骤103即“基于图像处理技术获取目标点云投影图像中的目标像素点，目标像素点代表前景目标的边界点”进行详细描述。
在本申请的一个实施例中，步骤103中基于图像处理技术获取目标点云投影图像中的目标像素点，目标像素点代表前景目标的边界点包括：计算目标点云投影图像中每一个像素点的斜率，获得斜率最大的第一目标像素点和斜率最小的第二目标像素点；基于第一目标像素点和第二目标像素点，计算到第一目标像素点和第二目标像素点的连线的距离最大的第三目标像素点；第一目标像素点、第二目标像素点和第三目标像素点代表前景目标的边界点。
具体地，如图4所示，并结合图5，本实施例中的基于图像处理技术获取目标点云投影图像中的目标像素点可以包括如下步骤：基于前述步骤获得了目标点云投影图像将该图像进行二值化处理，并设置图像的左上角为坐标零点，如图4所示，获取图像中每个非零像素点的坐标并计算图像中每个非零像素点的斜率。遍历图像中的每个非零像素点，并记录斜率最小点A和斜率最大点B，其中，斜率最大的点B为第一目标像素点、斜率最小的点A第二目标像素点。计算剩余的非零像素点中到该两点即第一目标像素点B和第二目标像素点A的连线的距离d最大的像素点，得到第三目标像素点C，并记录其坐标值。由此A、B和C三点，即可代表该点云前景目标的边界点。
下面结合实施例对上述步骤105即“基于车辆几何信息识别目标包络框，确定前景目标是否为车辆”进行详细描述。
在本申请的一个实施例中，步骤105中的车辆几何信息包括：车辆的长度、宽度和高度信息。
具体地，如图4、图5所示，基于边界点A、B和C三点连线形成前景点云的包络框，包络框代表了前景点云的几何信息，根据不同的投影方向代表了不同的几何尺寸信息，例如，若步骤102中的点云数据向水平面投影，如图2所示，则在水平面的目标点云投影图像上形成的包络框的长和宽代表了前景点云的长度和宽度尺寸信息，基于该信息与车辆的几何信息进行匹配，若包络框的长和宽与车辆的长和宽一致，则识别出该前景点云数据对应的目标为车辆，从而实现车辆的识别。同理，若步骤102中的点云数据向竖直平面投影，则在竖直平面的目标点云投影图像上形成的包络框的几何信息代表了前景点云的长度和高度尺寸信息或宽度和高度尺寸信息，基于该信息与车辆的几何信息进行匹配，从而实现车辆的识别。
根据本申请提供的具体实施例，本申请所提供的技术方案可以具备以下优点：
1)通过将点云数据投影到二维图像平面，规避了点云数据固有的置换不变性和旋转不变性，以及现有的深度视觉神经网络无法直接应用于点云数据的缺陷。将激光雷达获取的点云数据与图形处理技术有效结合，实现了对车辆的实时检测识别，其识别效率高、准确率高。对于车辆无人驾驶场景，提高了车辆的决策精度，并能使无人驾驶车辆适应更为复杂的道路状况。
2)相较于基于传统图像视觉的深度学习方法，只能通过点云的三向投影图，间接处理激光雷达点云数据，本申请提供的实施例的方法可以直接处理点云数据，检测获取车辆的位置以及姿态信息。
3)相较于已有的直接处理点云数据的神经网络模型，在处理数据时的巨大计算量和低效的计算资源的利用，本申请提供的实施例的方法可以做到实时地处理点云数据，并且准确率、误检率都要优于已有的深度学习网络模型。
4)因为车辆点云不会发生滚转和俯仰，所以在水平方向不会出现旋转，因此本方法通过前景目标点云在水平面投影的方法，规避了点云数据量大和置换不变的特性，提高了数据处理速度。
5)本申请提供的具体实施例在处理雷达点云数据时，进行车辆检测时，只进行了普通的图像处理运算和加减法，并没有出现复杂的卷积操作，做到了检测速度与检测准确率、误检率的均衡和提升。
应该理解的是，虽然图1、图3和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图6为本申请实施例提供的一种车辆识别装置的结构示意图，如图6所示，该装置可以包括：获取模块601、投影模块602、第一处理模块603、第二处理模块604和识别模块605。其中各组成模块的主要功能如下：
获取模块601：用于获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据；
投影模块602：用于将前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像；
第一处理模块603：用于基于图像处理技术获取目标点云投影图像中的目标像素点，目标像素点代表前景目标的边界点；
第二处理模块604：用于基于目标像素点形成目标包络框，目标包络框代表前景目标的边界信息；
识别模块605：用于基于车辆几何信息识别目标包络框，确定前景目标是否为车辆。
在本申请的一个实施例中，第一处理模块603进一步用于：计算目标点云投影图像中每一个像素点的斜率，获得斜率最大的第一目标像素点和斜率最小的第二目标像素点；基于第一目标像素点和第二目标像素点，计算到第一目标像素点和第二目标像素点的连线的距离最大的第三目标像素点；第一目标像素点、第二目标像素点和第三目标像素点代表前景目标的边界点。
在本申请的一个实施例中，获取模块601进一步用于：基于激光雷达传感器的点云数据，生成环境的高清三维地图；基于高清三维地图确定环境背景噪声，并确定对应的背景噪声点云数据；在每一帧点云数据中剔除背景噪声点云数据，获得每一帧点云数据中的前景目标点云数据。、
在本申请的一个实施例中，投影模块602进一步用于：将前景目标点云数据移动至空间坐标系原点，基于前景目标点云数据的坐标确定目标点云投影图像的尺寸；将前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像。
在本申请的一个实施例中，投影模块602进一步用于：若二维坐标平面上的像素位置有对应的目标点云数据的投影，则将像素位置填充高亮值；若二维坐标平面上的像素位置无对应的目标点云数据的投影，则将像素位置填充暗像素值。
在本申请的一个实施例中，投影模块602进一步用于：基于离群点检测算法，剔除前景目标点云数据中的离群点；根据剔除离群点后的前景目标点云数据中每一个点的位置坐标确定前景目标点云数据的尺寸；根据前景目标点云数据的尺寸确定目标点云投影图像的尺寸。
在本申请的一个实施例中，识别模块605进一步用于：基于车辆的长度、宽度和高度信息识别目标包络框，确定前景目标是否为车辆。
根据本申请提供的具体实施例，本申请所提供的技术方案可以具备以下优点：
1)通过将点云数据投影到二维图像平面，规避了点云数据固有的置换不变性和旋转不变性，以及现有的深度视觉神经网络无法直接应用于点云数据的缺陷。将激光雷达获取的点云数据与图形处理技术有效结合，实现了对车辆的实时检测识别，其识别效率高、准确率高。对于车辆无人驾驶场景，提高了车辆的决策精度，并能使无人驾驶车辆适应更为复杂的道路状况。
2)相较于基于传统图像视觉的深度学习方法，只能通过点云的三向投影图，间接处理激光雷达点云数据，本申请提供的实施例的方法可以直接处理点云数据，检测获取车辆的位置以及姿态信息。
3)相较于已有的直接处理点云数据的神经网络模型，在处理数据时的巨大计算量和低效的计算资源的利用，本申请提供的实施例的方法可以做到实时地处理点云数据，并且准确率、误检率都要优于已有的深度学习网络模型。
4)因为车辆点云不会发生滚转和俯仰，所以在水平方向不会出现旋转，因此本方法通过前景目标点云在水平面投影的方法，规避了点云数据量大和置换不变的特性，提高了数据处理速度。
5)本申请提供的具体实施例在处理雷达点云数据时，进行车辆检测时，只进行了普通的图像处理运算和加减法，并没有出现复杂的卷积操作，做到了检测速度与检测准确率、误检率的均衡和提升。
上述各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如用户明确同意，对用户切实通知，用户明确授权等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
根据本申请的实施例，本申请还提供了一种计算机设备、一种计算机可读存储介质。本申请还提供了一种计算机设备，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机指令，计算机指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一实施例所述车辆识别方法。
如图7所示，是根据本申请实施例的计算机设备的框图。计算机设备旨在表示各种形式的数字计算机或移动装置。其中数字计算机可以包括台式计算机、便携式计算机、工作台、个人数字助理、服务器、大型计算机和其它适合的计算机。移动装置可以包括平板电脑、智能电话、可穿戴式设备等。
如图7所示，计算机设备700包括计算单元701、ROM 702、RAM 703、总线704以及输入/输出(I/O)接口705，计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
计算单元701可以根据存储在只读存储器(ROM)702中的计算机指令或者从存储单元708加载到随机访问存储器(RAM)707中的计算机指令，来执行本申请方法实施例中的各种处理。计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701可以包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。在一些实施例中，本申请实施例提供的方法可被实现为计算机软件程序，其被有形地包含于计算机可读存储介质，例如存储单元708。
RAM 703还可存储设备700操作所需的各种程序和数据。计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。
计算机设备700中的输入单元706、输出单元707、存储单元708和通信单元709可以连接至I/O接口705。其中，输入单元706可以是诸如键盘、鼠标、触摸屏、麦克风等；输出单元707可以是诸如显示器、扬声器、指示灯等。设备700能够通过通信单元709与其他设备进行信息、数据等的交换。
需要说明的是，该设备还可以包括实现正常运行所必需的其他组件。也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。
用于实施本申请的方法的计算机指令可以采用一个或多个编程语言的任何组合来编写。这些计算机指令可以提供给计算单元701，使得计算机指令当由诸如处理器等计算单元701执行时使执行本申请方法实施例中涉及的各步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令用于使计算机执行上述任一实施例所述车辆识别方法。
本申请提供的计算机可读存储介质可以是有形的介质，其可以包含或存储计算机指令，用以执行本申请方法实施例中涉及的各步骤。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的等形式的存储介质。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (9)
1.一种车辆识别方法，其特征在于，该方法包括：
获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据；
将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像；
基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点；
基于所述目标像素点形成目标包络框，所述目标包络框代表前景目标的边界信息；
基于车辆几何信息识别所述目标包络框，确定所述前景目标是否为车辆；
所述基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点包括：
计算所述目标点云投影图像中每一个像素点的斜率，获得斜率最大的第一目标像素点和斜率最小的第二目标像素点；
基于所述第一目标像素点和所述第二目标像素点，计算到所述第一目标像素点和所述第二目标像素点的连线的距离最大的第三目标像素点；所述第一目标像素点、第二目标像素点和第三目标像素点代表所述前景目标的边界点。
2.根据权利要求1所述的车辆识别方法，其特征在于，所述获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据包括：
基于所述激光雷达传感器的点云数据，生成环境的高清三维地图；
基于所述高清三维地图确定环境背景噪声，并确定对应的背景噪声点云数据；
在每一帧点云数据中剔除所述背景噪声点云数据，获得每一帧点云数据中的前景目标点云数据。
3.根据权利要求1所述的车辆识别方法，其特征在于，所述将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像包括：
将所述前景目标点云数据移动至空间坐标系原点，基于所述前景目标点云数据的坐标确定所述目标点云投影图像的尺寸；
将所述前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像。
4.根据权利要求3所述的车辆识别方法，其特征在于，所述将所述前景目标点云数据中的每一个点投影到二维图像坐标平面上，生成目标点云投影图像包括：
若二维坐标平面上的像素位置有对应的目标点云数据的投影，则将所述像素位置填充高亮值；
若二维坐标平面上的像素位置无对应的目标点云数据的投影，则将所述像素位置填充暗像素值。
5.根据权利要求3所述的车辆识别方法，其特征在于，所述基于所述前景目标点云数据的坐标确定所述目标点云投影图像的尺寸包括：
基于离群点检测算法，剔除所述前景目标点云数据中的离群点；
根据剔除离群点后的前景目标点云数据中每一个点的位置坐标确定所述前景目标点云数据的尺寸；
根据所述前景目标点云数据的尺寸确定所述目标点云投影图像的尺寸。
6.根据权利要求1所述的车辆识别方法，其特征在于，所述车辆几何信息包括：车辆的长度、宽度和高度信息。
7.一种基于权利要求1所述车辆识别方法的车辆识别装置，其特征在于，该装置包括：
获取模块：用于获取激光雷达传感器的点云数据，提取每一帧点云数据中的前景目标点云数据；
投影模块：用于将所述前景目标点云数据投影到二维图像坐标平面上，生成目标点云投影图像；
第一处理模块：用于基于图像处理技术获取所述目标点云投影图像中的目标像素点，所述目标像素点代表前景目标的边界点；
第二处理模块：用于基于所述目标像素点形成目标包络框，所述目标包络框代表前景目标的边界信息；
识别模块：用于基于车辆几何信息识别所述目标包络框，确定所述前景目标是否为车辆。
8.一种计算机设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210708579.1A CN115035492B (zh) | 2022-06-21 | 2022-06-21 | 车辆识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210708579.1A CN115035492B (zh) | 2022-06-21 | 2022-06-21 | 车辆识别方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115035492A CN115035492A (zh) | 2022-09-09 |
| CN115035492B true CN115035492B (zh) | 2024-01-23 |
Family
ID=83125993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210708579.1A Active CN115035492B (zh) | 2022-06-21 | 2022-06-21 | 车辆识别方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035492B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116895022B (zh) * | 2023-09-11 | 2023-12-01 | 广州蓝图地理信息技术有限公司 | 基于点云数据处理的建筑物边界提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614889A (zh) * | 2018-11-23 | 2019-04-12 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111337898A (zh) * | 2020-02-19 | 2020-06-26 | 北京百度网讯科技有限公司 | 激光点云的处理方法、装置、设备及存储介质 |
| CN111931643A (zh) * | 2020-08-08 | 2020-11-13 | 商汤集团有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| WO2021134285A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 图像跟踪处理方法、装置、计算机设备和存储介质 |
| CN114187579A (zh) * | 2021-12-14 | 2022-03-15 | 智道网联科技(北京)有限公司 | 自动驾驶的目标检测方法、装置和计算机可读存储介质 |
-
2022
- 2022-06-21 CN CN202210708579.1A patent/CN115035492B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614889A (zh) * | 2018-11-23 | 2019-04-12 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| WO2021134285A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 图像跟踪处理方法、装置、计算机设备和存储介质 |
| CN111337898A (zh) * | 2020-02-19 | 2020-06-26 | 北京百度网讯科技有限公司 | 激光点云的处理方法、装置、设备及存储介质 |
| CN111931643A (zh) * | 2020-08-08 | 2020-11-13 | 商汤集团有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN114187579A (zh) * | 2021-12-14 | 2022-03-15 | 智道网联科技(北京)有限公司 | 自动驾驶的目标检测方法、装置和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115035492A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11379699B2 (en) | Object detection method and apparatus for object detection | |
| US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| CN107507167B (zh) | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 | |
| CN108701376B (zh) | 三维图像的基于识别的对象分割 | |
| CN112287860B (zh) | 物体识别模型的训练方法及装置、物体识别方法及系统 | |
| WO2017142654A1 (en) | 3-dimensional scene analysis for augmented reality operations | |
| JP2013109760A (ja) | 対象検知方法及び対象検知システム | |
| CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
| CN112287859A (zh) | 物体识别方法、装置和系统，计算机可读存储介质 | |
| CN112395962A (zh) | 数据增广方法及装置、物体识别方法及系统 | |
| CN114463736A (zh) | 一种基于多模态信息融合的多目标检测方法及装置 | |
| CN115035492B (zh) | 车辆识别方法、装置、设备和存储介质 | |
| KR101921071B1 (ko) | 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치 | |
| CN114170596A (zh) | 姿态识别方法、装置、电子设备、工程机械和存储介质 | |
| US20220277595A1 (en) | Hand gesture detection method and apparatus, and computer storage medium | |
| CN113284221B (zh) | 一种目标物检测方法、装置及电子设备 | |
| Bharadhwaj et al. | Deep learning-based 3D object detection using LiDAR and image data fusion | |
| CN114170267A (zh) | 目标跟踪方法、装置、设备及计算机可读存储介质 | |
| CN114766039A (zh) | 对象检测方法、对象检测设备、终端设备、以及介质 | |
| CN114495042B (zh) | 目标检测方法和装置 | |
| GB2583774A (en) | Stereo image processing | |
| CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
| Pei et al. | A morphological approach of target detection on perspective plane | |
| CN114783172B (zh) | 一种停车场空车位识别方法及系统、计算机可读存储介质 | |
| CN113449629B (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |