CN116229420A - 一种道路物体识别方法及装置 - Google Patents

一种道路物体识别方法及装置 Download PDF

Info

Publication number
CN116229420A
CN116229420A CN202310197231.5A CN202310197231A CN116229420A CN 116229420 A CN116229420 A CN 116229420A CN 202310197231 A CN202310197231 A CN 202310197231A CN 116229420 A CN116229420 A CN 116229420A
Authority
CN
China
Prior art keywords
point cloud
road
road image
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310197231.5A
Other languages
English (en)
Inventor
宋文辉
张灿
潘奇
赵天坤
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozon New Energy Automobile Co Ltd
Original Assignee
Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozon New Energy Automobile Co Ltd filed Critical Hozon New Energy Automobile Co Ltd
Priority to CN202310197231.5A priority Critical patent/CN116229420A/zh
Publication of CN116229420A publication Critical patent/CN116229420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种道路物体识别方法及装置，涉及深度学习技术领域，主要目的在于提高在自动驾驶车辆行驶过程中，对道路上物体识别的精确度。本发明主要的技术方案为：获取当前行驶道路的原始点云数据、当前行驶道路图像；基于原始点云数据、当前行驶道路图像，确定出点云道路图像，点云道路图像为带有点云数据的当前行驶道路图像；基于预先训练好的特征提取模型对点云道路图像进行处理，得到目标点云道路图像及指定点云特征，目标点云道路图像中具有点云数据分类结果；基于指定点云特征、目标点云道路图像及原始点云数据得到融合点云特征数据；基于预先训练好的目标识别模型对融合点云特征数据进行处理，得到当前行驶道路上的道路物体识别结果。

Description

一种道路物体识别方法及装置
技术领域
本发明涉及深度学习技术领域，尤其涉及一种道路物体识别方法及装置。
背景技术
在自动驾驶场景中，需要通过传感器来识别出行驶道路上物体的类别和环境信息，以便根据道路上的物体和环境信息来更安全的行驶，例如在识别到物体是障碍物时可以进行躲避，识别到物体为车辆时，可以躲避等。
已有的识别算法是通过激光雷达传感器来获取行驶道路上的点云信息，然后再对点云进行处理，从而识别出道路上的物体类别，但该方法常存在误检的情况，识别精确度低。
发明内容
鉴于上述问题，本发明提供一种道路物体识别方法及装置，主要目的是为了提高在自动驾驶车辆行驶过程中，对道路上物体识别的精确度。
为解决上述技术问题，本发明提出以下方案：
第一方面，本发明提供了一种道路物体识别方法，所述方法包括：
获取当前行驶道路的原始点云数据、当前行驶道路图像；
基于所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，所述点云道路图像为带有点云数据的当前行驶道路图像；
基于预先训练好的特征提取模型对所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，所述目标点云道路图像中具有点云数据的分类结果；
基于所述指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据；
基于预先训练好的目标识别模型对所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
第二方面，本发明提供了一种道路物体识别装置，所述装置包括：
获取单元，用于获取当前行驶道路的原始点云数据、当前行驶道路图像；
图像确定单元，用于基于所述获取单元获取的所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，所述点云道路图像为带有点云数据的当前行驶道路图像；
第一特征确定单元，用于基于预先训练好的特征提取模型对所述图像确定单元确定出的所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，所述目标点云道路图像中具有点云数据的分类结果；
第二特征确定单元，用于基于所述第一特征确定单元得到的指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据；
结果确定单元，用于基于预先训练好的目标识别模型对所述第二特征确定单元得到的所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面的道路物体识别方法。
为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述第一方面的道路物体识别方法。
借由上述技术方案，本发明提供的一种道路物体识别方法及装置，可以在自动驾驶车辆行驶的过程中，采集到当前行驶道路的原始点云数据和当前行驶道路的图像，然后根据原始点云数据和当前行驶道路图像来确定出带有点云数据的点云道路图像，之后，可以获取到预先训练好的特征提取模型，然后通过特征提取模型对点云道路图像进行处理，处理后得到带有点云数据分类结果(点云的语义信息)的目标点云道路图像以及指定点云特征，之后就可以对指定点云特征、目标点云道路图像和原始点云数据进行处理，得到三者融合后的融合点云特征数据，由于其中的目标点云道路图像中包括了点云的语义信息，因此，融合后的点云特征数据不仅融合了三个特征更加精准，还包含了点云的语义信息，这样一来，后续再根据预先训练好的目标识别模型将更加精准且包含点云语义信息的融合点云特征数据来得到当前行驶道路上的道路物体的识别结果，可以使最终得到的道路物体的识别结果更加精确。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种道路物体识别方法流程图；
图2示出了本发明实施例提供的另一种道路物体识别方法流程图；
图3示出了本发明实施例提供的一种道路物体识别装置的组成框图；
图4示出了本发明实施例提供的另一种道路物体识别装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在自动驾驶场景中，需要通过传感器来识别出行驶道路上物体的类别和环境信息，以便根据道路上的物体和环境信息来更安全的行驶，例如在识别到物体是障碍物时可以进行躲避，识别到物体为车辆时，可以躲避等。
已有的识别算法是通过激光雷达传感器来获取行驶道路上的点云信息，然后再对点云进行处理，从而识别出道路上的物体类别，但该方法常存在误检的情况，识别精确度低。为此，本发明提供了一种道路物体识别方法，可以提高在自动驾驶车辆行驶过程中，对道路上物体识别的精确度。其具体执行步骤如图1所示，包括：
101、获取当前行驶道路的原始点云数据、当前行驶道路图像。
在本发明中，自动驾驶车辆行驶时，需要识别出行驶道路上物体的类别，然后针对于识别出的物体更安全的行驶。而在识别道路上的物体类别时，需要先利用自动驾驶车辆上安装的激光雷达传感器来采集到当前行驶道路的原始点云数据。
又由于只有原始的点云数据是无法识别出道路上的物体类别的，因此，还可以通过车载摄像头来采集当前行驶道路的图像。
102、基于原始点云数据、当前行驶道路图像，确定出点云道路图像。
在步骤101得到了原始点云数据及当前行驶道路的图像后，由于图像中记录了道路上所存在的物体，但对于自动驾驶车辆而言，只依靠图像不能识别出该物体的形态，也不知道该物体的类别，因此不能对物体做出感应，因此，可以在该步骤中对原始点云数据和当前行驶道路图像进行结合，得到具有点云数据的点云道路图像，这样，将点云数据和图像进行了融合，有利于后续让点云学习到图像的特征信息，从而让点云具有自身的语义信息。
其中，将点云数据和图像进行了融合可以是先通过预先设定的点云数据标准对原始点云数据进行筛选，得到目标点云数据，然后再确定出预设投影公式，根据预设的投影公式将目标点云数据投影到当前行驶道路图像中，得到点云道路图像。
预设点云数据标准可以是预先设定一个标准范围，然后剔除掉这个标准范围之外的数据，范围之内的数据也就是目标点云数据；还可以是预先设定个点云数据的反射强度阈值，然后剔除掉反射强度值大于反射强度阈值的点云数据。
103、基于预先训练好的特征提取模型对点云道路图像进行处理，得到目标点云道路图像及指定点云特征。
在本发明中，具有预先训练好的特征提取模型，可以将点云道路图像输入至训练好的特征提取模型中，对点云道路图像上每个像素点的特征进行提取，使特征之间互相学习，最终特征提取模型可以输出目标点云道路图像。目标点云道路图像中具有点云数据的分类结果。
具有点云分类结果的原因可以为：由于点云道路图像上带有点云数据，因此，每个像素点的特征之间互相学习时也会夹杂着点云数据，这样，点云数据也可以充分的学习到图像中每个像素点的特征信息，又因为特征信息包括道路上物体的信息，也就是说点云数据也就可以学习到图像上的物体信息，从而得出点云的分类结果，点云的分类结果可以是例如点云数据中的每个点属于绿植还是车辆。
但需要说明的是，此时的分类结果只是一个初步的分类结果，具有较大的误差，若想要得到更加精准的结果，还需要进一步进行处理。
另外，特征提取模型对点云道路图像进行处理得到目标点云道路图像之前，还可以将特征提取模型中的最后一个卷积层输出的指定点云特征也获取到。特征提取模型可以是卷积神经网络。
104、基于指定点云特征、目标点云道路图像及原始点云数据得到融合点云特征数据。
在得到了指定点云特征、目标点云道路图像后，由于指定点云特征、目标点云道路图像及原始点云数据为三个阶段的特征，因此，可以将三个阶段的特征进行融合，这样，得到的点云特征数据将会更加丰富且包括语义信息，也就是点云数据的初步分类结果。目标点云道路图像与原始点云进行融合时，可以是将目标点云道路图像中具有语义信息的点云与原始点云进行融合。融合的方式可以是投影方式。
105、基于预先训练好的目标识别模型对融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
在得到更加精准的融合点云特征数据后，可以是将融合点云特征数据输入至预先训练好的目标识别模型中，对融合点云特征数据进行处理，处理过程可以包括：
首先利用2D CNN物体检测器将生成2D物体区域，每个区域内都有融合点云特征数据，然后将2D物体区域点云投影到3D空间中(可以是当前行驶道路的立体鸟瞰图)，从而生成3D视锥体提议。对于某个视锥体的每个融合点云，通过分类器进行物体的实例分割。最后，基于分割的对象点云，使用回归网络平移对齐所有的点，使得它们的质心接近，最终预测出物体的3D边界框。从而预测出当前行驶道路上的道路物体的识别结果，识别结果包括物体的类别，位置、大小及朝向信息。
基于上述图1的实现方式可以看出，本发明提供的一种道路物体识别方法，可以在自动驾驶车辆行驶的过程中，采集到当前行驶道路的原始点云数据和当前行驶道路的图像，然后根据原始点云数据和当前行驶道路图像来确定出带有点云数据的点云道路图像，之后，可以获取到预先训练好的特征提取模型，然后通过特征提取模型对点云道路图像进行处理，处理后得到带有点云数据分类结果(点云的语义信息)的目标点云道路图像以及指定点云特征，之后就可以对指定点云特征、目标点云道路图像和原始点云数据进行处理，得到三者融合后的融合点云特征数据，由于其中的目标点云道路图像中包括了点云的语义信息，因此，融合后的点云特征数据不仅融合了三个特征更加精准，还包含了点云的语义信息，这样一来，后续再根据预先训练好的目标识别模型将更加精准且包含点云语义信息的融合点云特征数据来得到当前行驶道路上的道路物体的识别结果，可以使最终得到的道路物体的识别结果更加精确。
进一步的，作为对图1所示实施例的细化及扩展，本发明实施例还提供了另一种道路物体识别方法，如图2所示，其具体步骤如下：
201、获取当前行驶道路的原始点云数据、当前行驶道路图像。
其中，步骤201的实施方式与步骤101相同，并且可以达到相同的技术效果，解决相同的技术问题，在此不做重复赘述。
202、基于原始点云数据、当前行驶道路图像，确定出点云道路图像。
其中，步骤202的部分实施方式与步骤102相同，并且可以达到相同的技术效果，解决相同的技术问题，在此不做重复赘述。
其中，在该步骤中，需要对原始点云进行筛选，得到目标点云，再基于预设投影公式将目标点云数据投影到当前行驶道路图像上，得到点云道路图像，具体的，点云每个点投影到当前行驶道路图像上的坐标的投影公式可以是根据当前行驶道路图像的图像信息，也就是图像宽度和图像高度，以及目标点云数据中每个点的坐标信息、每个点到坐标原点的距离以及激光雷达传感器的最大视场范围来确定，可以为：
Figure BDA0004108860480000071
其中，(u,v)表示点云投影到图像上的坐标，z表示点云中点的坐标，r是点云点到坐标原点的距离，f_up是激光雷达垂直fov的最大值。W和H分别是图像的宽度和高度。
203、基于预先训练好的特征提取模型对点云道路图像进行处理，得到目标点云道路图像及指定点云特征。
在本步骤中，得到点云道路图像后，可以将点云道路图像输入至特征提取模型的多个特征提取层中，对点云道路图像的特征进行提取，得到点云道路图像的全局特征信息，得到点云道路图像的全局特征信息之后，可以将全局特征信息再输入至特征提取模型的多个特征编码层中，然后将最后一个特征编码层输出的指定点云特征保留，在经过最后一个特征编码层的处理后，即可得到具有初步的点云分类结果(点云语义信息)的目标点云道路图像。
204、利用预设投影公式，计算原始点云数据与目标点云道路图像之间的第一对应关系、原始点云数据与指定点云特征之间的第二对应关系。
205、基于第一对应关系将目标点云道路图像投影到原始点云数据上、基于第二对应关系将指定点云特征投影到原始点云数据上，得到融合后的融合点云特征数据。
在得到目标点云道路图像及指定点云特征后，为了使后续进行检测的输入点云特征更丰富，可以在步骤204中先利用预设投影公式计算原始点云数据与目标点云道路图像之间的第一对应关系、原始点云数据与指定点云特征之间的第二对应关系，也就是不同的点云数据中点云与点云之间的对应关系。
得到点云与点云之间的对应关系后，可以基于第一对应关系将目标点云道路图像投影到原始点云数据上、基于第二对应关系将指定点云特征投影到原始点云数据上，得到融合后的融合点云特征数据。这样，得到的融合特征数据及包含了点云道路图像中的特征信息，又包含了点云的语义信息，又结合了原始的点云数据这三个阶段的特征，因此，得到的特征更加标准，更加精确，有利于提升后续得到的道路物体识别结果的精确度。
206、基于预先训练好的目标识别模型对融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
在步骤206中，可以先对融合点云特征数据进行体素化处理，得到指定融合点云特征数据，进行体素化处理之后可以根据预先训练好的目标识别模型对指定融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果，道路物体的识别结果包括道路物体类别、道路物体位置、大小及方向信息。其中，具体的处理过程的步骤与步骤105相同，并且可以达到相同的技术效果，解决相同的技术问题，在此不做重复赘述。
进一步的，作为对上述图1所示方法的实现，本发明实施例还提供了一种道路物体识别装置，用于对上述图1所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示，该装置包括：
获取单元301，用于获取当前行驶道路的原始点云数据、当前行驶道路图像；
图像确定单元302，用于基于所述获取单元301获取的所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，所述点云道路图像为带有点云数据的当前行驶道路图像；
第一特征确定单元303，用于基于预先训练好的特征提取模型对所述图像确定单元302确定出的所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，所述目标点云道路图像中具有点云数据的分类结果；
第二特征确定单元304，用于基于所述第一特征确定单元303得到的指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据；
结果确定单元305，用于基于预先训练好的目标识别模型对所述第二特征确定单元304得到的所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
进一步的，作为对上述图2所示方法的实现，本发明实施例还提供了另一种道路物体识别装置，用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示，该装置包括：
获取单元301，用于获取当前行驶道路的原始点云数据、当前行驶道路图像；
图像确定单元302，用于基于所述获取单元301获取的所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，所述点云道路图像为带有点云数据的当前行驶道路图像；
第一特征确定单元303，用于基于预先训练好的特征提取模型对所述图像确定单元302确定出的所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，所述目标点云道路图像中具有点云数据的分类结果；
第二特征确定单元304，用于基于所述第一特征确定单元303得到的指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据；
结果确定单元305，用于基于预先训练好的目标识别模型对所述第二特征确定单元304得到的所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
一种可选的实施方式中，所述图像确定单元302包括：
数据筛选模块3021，用于基于预设点云数据标准，对所述原始点云数据进行筛选，得到目标点云数据；
公式确定模块3022，用于确定预设投影公式；
数据投影模块3023，用于利用所述公式确定模块3022确定的预设投影公式，将所述数据筛选模块3021筛选出的目标点云数据投影到所述当前行驶道路图像上，得到所述点云道路图像。
一种可选的实施方式中，所述第一特征确定单元303包括：
图像输入模块3031，用于将所述点云道路图像输入至所述特征提取模型的多个特征提取层中，得到所述点云道路图像的全局特征信息；
特征输入模块3032，用于将所述图像输入模块3031得到的所述全局特征信息输入至所述特征提取模型的多个特征编码层中，得到所述目标点云道路图像及所述指定点云特征，其中，所述指定点云特征为所述多个特征编码层中最后一个特征编码层所输出的点云特征。
一种可选的实施方式中，所述第二特征确定单元304包括：
关系确定模块3041，用于利用预设投影公式，计算所述原始点云数据与所述目标点云道路图像之间的第一对应关系、所述原始点云数据与所述指定点云特征之间的第二对应关系；
数据融合模块3042，用于基于所述关系确定模块3041确定出的所述第一对应关系将所述目标点云道路图像投影到所述原始点云数据上、基于所述关系确定模块3041确定出的所述第二对应关系将所述指定点云特征投影到所述原始点云数据上，得到融合后的融合点云特征数据。
一种可选的实施方式中，所述结果确定单元305包括：
第一数据处理模块3051，用于对所述融合点云特征数据进行体素化处理，得到指定融合点云特征数据；
第二数据处理模块3052，用于基于预先训练好的目标识别模型对所述第一数据处理模块3051得到的指定融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果，所述道路物体的识别结果包括道路物体类别、道路物体位置、大小及方向信息。
一种可选的实施方式中，所述获取单元301包括：
第一数据采集模块3011，用于在自动驾驶车辆行驶时，利用激光雷达传感器采集当前行驶道路的原始点云数据；
第二数据采集模块3012，用于在自动驾驶车辆行驶时，利用车载摄像头采集当前行驶道路图像。
一种可选的实施方式中，所述公式确定模块3022具体用于：
获取所述当前行驶道路图像的图像信息、所述目标点云数据中每个点的坐标信息、所述目标点云数据中每个点到坐标原点的距离、激光雷达传感器的最大视场范围；
基于所述图像信息、所述目标点云数据中每个点的坐标信息、所述目标点云数据中每个点到坐标原点的距离、所述最大视场范围确定所述预设投影公式。
进一步的，本发明实施例还提供一种存储介质，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述图1-2中所述的道路物体识别方法。
进一步的，本发明实施例还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述图1-2中所述的道路物体识别方法。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种道路物体识别方法，其特征在于，所述方法包括：
获取当前行驶道路的原始点云数据、当前行驶道路图像；
基于所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，所述点云道路图像为带有点云数据的当前行驶道路图像；
基于预先训练好的特征提取模型对所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，所述目标点云道路图像中具有点云数据的分类结果；
基于所述指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据；
基于预先训练好的目标识别模型对所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
2.根据权利要求1所述的方法，其特征在于，基于所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，包括：
基于预设点云数据标准，对所述原始点云数据进行筛选，得到目标点云数据；
确定预设投影公式；
利用所述预设投影公式，将所述目标点云数据投影到所述当前行驶道路图像上，得到所述点云道路图像。
3.根据权利要求1所述的方法，其特征在于，基于预先训练好的特征提取模型对所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，包括：
将所述点云道路图像输入至所述特征提取模型的多个特征提取层中，得到所述点云道路图像的全局特征信息；
将所述全局特征信息输入至所述特征提取模型的多个特征编码层中，得到所述目标点云道路图像及所述指定点云特征，其中，所述指定点云特征为所述多个特征编码层中最后一个特征编码层所输出的点云特征。
4.根据权利要求1所述的方法，其特征在于，基于所述指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据，包括：
利用预设投影公式，计算所述原始点云数据与所述目标点云道路图像之间的第一对应关系、所述原始点云数据与所述指定点云特征之间的第二对应关系；
基于所述第一对应关系将所述目标点云道路图像投影到所述原始点云数据上、基于所述第二对应关系将所述指定点云特征投影到所述原始点云数据上，得到融合后的融合点云特征数据。
5.根据权利要求1所述的方法，其特征在于，基于预先训练好的目标识别模型对所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果，包括：
对所述融合点云特征数据进行体素化处理，得到指定融合点云特征数据；
基于预先训练好的目标识别模型对所述指定融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果，所述道路物体的识别结果包括道路物体类别、道路物体位置、大小及方向信息。
6.根据权利要求1所述的方法，其特征在于，获取当前行驶道路的原始点云数据、当前行驶道路图像，包括：
在自动驾驶车辆行驶时，利用激光雷达传感器采集当前行驶道路的原始点云数据；
在自动驾驶车辆行驶时，利用车载摄像头采集当前行驶道路图像。
7.根据权利要求2所述的方法，其特征在于，确定预设投影公式，包括：
获取所述当前行驶道路图像的图像信息、所述目标点云数据中每个点的坐标信息、所述目标点云数据中每个点到坐标原点的距离、激光雷达传感器的最大视场范围；
基于所述图像信息、所述目标点云数据中每个点的坐标信息、所述目标点云数据中每个点到坐标原点的距离、所述最大视场范围确定所述预设投影公式。
8.一种道路物体识别装置，其特征在于，所述装置包括：
获取单元，用于获取当前行驶道路的原始点云数据、当前行驶道路图像；
图像确定单元，用于基于所述获取单元获取的所述原始点云数据、所述当前行驶道路图像，确定出点云道路图像，所述点云道路图像为带有点云数据的当前行驶道路图像；
第一特征确定单元，用于基于预先训练好的特征提取模型对所述图像确定单元确定出的所述点云道路图像进行处理，得到目标点云道路图像及指定点云特征，所述目标点云道路图像中具有点云数据的分类结果；
第二特征确定单元，用于基于所述第一特征确定单元得到的指定点云特征、所述目标点云道路图像及所述原始点云数据得到融合点云特征数据；
结果确定单元，用于基于预先训练好的目标识别模型对所述第二特征确定单元得到的所述融合点云特征数据进行处理，得到当前行驶道路上的道路物体的识别结果。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至权利要求7中任意一项所述的道路物体识别方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至权利要求7中任意一项所述的道路物体识别方法。
CN202310197231.5A 2023-02-27 2023-02-27 一种道路物体识别方法及装置 Pending CN116229420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310197231.5A CN116229420A (zh) 2023-02-27 2023-02-27 一种道路物体识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310197231.5A CN116229420A (zh) 2023-02-27 2023-02-27 一种道路物体识别方法及装置

Publications (1)

Publication Number Publication Date
CN116229420A true CN116229420A (zh) 2023-06-06

Family

ID=86584094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310197231.5A Pending CN116229420A (zh) 2023-02-27 2023-02-27 一种道路物体识别方法及装置

Country Status (1)

Country Link
CN (1) CN116229420A (zh)

Similar Documents

Publication Publication Date Title
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN112526993B (zh) 栅格地图更新方法、装置、机器人及存储介质
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN116129376A (zh) 一种道路边缘检测方法和装置
CN109871745A (zh) 识别空车位的方法、系统及车辆
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN109583393B (zh) 一种车道线端点识别方法及装置、设备、介质
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN115792945B (zh) 一种浮空障碍物检测方法、装置和电子设备、存储介质
CN111426299A (zh) 一种基于目标物的景深进行测距的方法及装置
CN115100628A (zh) 一种自动驾驶车辆的障碍物识别方法及装置
CN115050007A (zh) 牵引车以及拖板车的识别方法、装置及电子设备、存储介质
CN112489466B (zh) 交通信号灯识别方法和装置
CN116229420A (zh) 一种道路物体识别方法及装置
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
Wu et al. Nighttime vehicle detection at close range using vehicle lamps information
US20220309799A1 (en) Method for Automatically Executing a Vehicle Function, Method for Evaluating a Computer Vision Method and Evaluation Circuit for a Vehicle
CN116541715B (zh) 目标检测方法、模型的训练方法、目标检测系统及装置
US20220229186A1 (en) Object shape detection apparatus and method
Yang et al. The Research of 3D Point Cloud Data Clustering Based on MEMS Lidar for Autonomous Driving
CN117789160A (zh) 一种基于聚类优化的多模态融合目标检测方法及系统
CN116778278A (zh) 目标检测方法、装置及目标跟踪方法、装置
CN117163045A (zh) 物体检测模型影响自动驾驶安全的评估方法、装置及设备
CN117854037A (zh) 一种目标跟踪方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination