CN114821131A - 目标检测方法、装置和无人车 - Google Patents

目标检测方法、装置和无人车 Download PDF

Info

Publication number
CN114821131A
CN114821131A CN202210480445.9A CN202210480445A CN114821131A CN 114821131 A CN114821131 A CN 114821131A CN 202210480445 A CN202210480445 A CN 202210480445A CN 114821131 A CN114821131 A CN 114821131A
Authority
CN
China
Prior art keywords
point cloud
detection model
data
processed
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210480445.9A
Other languages
English (en)
Inventor
王丹
刘浩
徐卓然
张宝丰
王冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202210480445.9A priority Critical patent/CN114821131A/zh
Publication of CN114821131A publication Critical patent/CN114821131A/zh
Priority to PCT/CN2022/140352 priority patent/WO2023213083A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提出了一种目标检测方法、装置和无人车，涉及计算机视觉技术领域。其中，目标检测方法包括：获取待处理传感器数据，其中，待处理传感器数据包括点云数据；根据待处理传感器数据是否还包括与点云数据对应的图像数据，确定待启用的检测模型，其中，检测模型包括第一检测模型和第二检测模型，第一检测模型是基于点云样本数据训练得到的，第二检测模型是基于点云样本数据和图像样本数据训练得到的；基于待启用的检测模型对待处理传感器数据进行处理，以得到待识别目标的检测结果。通过以上步骤，能够提高目标检测结果的准确率和检测效率，提高自动驾驶的安全性。

Description

目标检测方法、装置和无人车
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种目标检测方法、装置和无人车。
背景技术
目标检测是自动驾驶中的重要任务。例如，车辆在道路上行驶，需要根据传感器采集的数据对障碍物进行检测，根据检测结果对车辆进行自主控制和路径规划。因为车端算力的局限性，所以需要合理的设计整个检测框架，尽可能在有限的算力下达到最高的准确率。
相关技术中，在将基于样本数据训练得到的检测模型实际部署到自动驾驶的车端后，经常会出现因为带宽的延迟或者是传感器本身的问题，致使输入的待检测数据与样本数据的数据类型不一致的情况，这会严重影响检测模型的性能，降低目标检测的准确率和检测效率，进而严重影响了无人驾驶的安全性。
发明内容
本公开要解决的一个技术问题是，提供一种解决方案，能够提高目标检测的准确率和检测效率，提高无人驾驶的安全性。
根据本公开的第一方面，提出了一种目标检测方法，包括：获取待处理传感器数据，其中，所述待处理传感器数据包括点云数据；根据所述待处理传感器数据是否还包括与点云数据对应的图像数据，确定待启用的检测模型，其中，所述检测模型包括第一检测模型和第二检测模型，所述第一检测模型是基于点云样本数据训练得到的，所述第二检测模型是基于点云样本数据和图像样本数据训练得到的；基于所述待启用的检测模型，对所述待处理传感器数据进行处理，以得到待识别目标的检测结果。
在一些实施例中，所述根据所述待处理传感器数据是否还包括与点云数据对应的图像数据，确定待启用的检测模型包括：在所述待处理传感器数据不包括与点云数据对应的图像数据的情况下，将所述第一检测模型作为待启用的检测模型；在所述待处理传感器数据包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型。
在一些实施例中，在所述待处理传感器数据不包括与点云数据对应的图像数据的情况下，将所述第一检测模型作为待启用的检测模型包括：在所述待处理传感器数据不包括图像数据、或者所述待处理传感器数据包括的图像数据和点云数据的时间戳不一致的情况下，将所述第一检测模型作为待启用的检测模型。
在一些实施例中，在所述待处理传感器数据包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型包括：在所述待处理传感器数据包括的图像数据和点云数据的时间戳一致的情况下，将第二检测模型作为待启用的检测模型。
在一些实施例中，所述待启用模型为第一检测模型，所述基于所述待启用的检测模型对所述待处理传感器数据进行处理，以得到待识别目标的检测结果包括：对点云数据进行特征编码，以得到第一特征图；将所述第一特征图输入所述第一检测模型，以得到待识别目标的检测结果。
在一些实施例中，所述对点云数据进行特征编码，以得到点云特征图包括：对点云数据进行体素化编码，以得到体素特征图；根据所述体素特征图，生成鸟瞰特征图；将所述鸟瞰特征图输入点云特征提取网络模型，以得到点云特征图。
在一些实施例中，所述待启用模型为第二检测模型，所述基于所述待启用的检测模型对所述待处理传感器数据进行处理，以得到待识别目标的检测结果包括：对点云数据进行特征编码，以得到第一特征图；对图像数据进行特征编码，以得到第二特征图；对所述第一特征图和所述第二特征图进行融合，以得到融合后的特征图；将所述融合后的特征图输入第二检测模型，以得到待识别目标的检测结果。
在一些实施例中，所述对图像数据进行特征编码，以得到第二特征图包括：对图像数据进行语义分割，以得到图像数据中每个像素点的语义信息；根据图像数据中每个像素点的语义信息和坐标系转换关系，确定与所述像素点对应的点云点的语义信息；对所述点云点的语义信息进行特征编码，以得到第二特征图。
在一些实施例中，所述对所述点云点的语义信息进行特征编码，以得到第二特征图包括：对所述点云点的语义信息进行体素化编码，以得到体素特征图；根据所述体素特征图，生成鸟瞰特征图；对所述鸟瞰特征图进行下采样，以得到第二特征图，其中，所述第二特征图与所述第一特征图的尺寸一致。
根据本公开的第二方面，提出一种目标检测装置，包括：获取模块，被配置为获取待处理传感器数据，其中，所述待处理传感器数据包括点云数据；确定模块，被配置为根据所述待处理传感器数据是否包括与所述点云数据对应的图像数据，确定待启用的检测模型，其中，所述检测模型包括第一检测模型和第二检测模型，所述第一检测模型是基于点云样本数据训练得到的，所述第二检测模型是基于点云样本数据和图像样本数据训练得到的；检测模块，被配置为基于所述待启用的检测模型对所述待处理传感器数据进行处理，以得到待识别目标的检测结果。
在一些实施例中，所述确定模块被配置为：在所述待处理传感器数据不包括与点云数据对应的图像数据的情况下，将所述第一检测模型作为待启用的检测模型；在所述待处理传感器数据包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型。
在一些实施例中，所述确定模块被配置为：在所述待处理传感器数据不包括图像数据、或者所述待处理传感器数据包括的图像数据和点云数据的时间戳不一致的情况下，将所述第一检测模型作为待启用的检测模型。
根据本公开的第三方面，还提出一种目标检测装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的目标检测方法。
根据本公开的第四方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的目标检测方法。
根据本公开的第五方面，还提出一种无人车，包括如上述的目标检测装置。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为根据本公开一些实施例的目标检测方法的流程示意图。
图2为根据本公开一些实施例的确定待启用检测模型的流程示意图；
图3为根据本公开一些实施例的基于第一检测模型进行目标检测的流程示意图。
图4为根据本公开一些实施例的基于第二检测模型进行目标检测的流程示意图。
图5为根据本公开一些实施例的目标检测装置的结构示意图。
图6为根据本公开另一些实施例的目标检测装置的结构示意图。
图7为根据本公开一些实施例的计算机系统的结构示意图。
图8为根据本公开一些实施例的无人车的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
图1为根据本公开一些实施例的目标检测方法的流程示意图。如图1所示，本公开实施例的目标检测方法包括：
步骤S110：获取待处理传感器数据。
在一些实施例中，目标检测方法由目标检测装置执行。例如，在自动驾驶场景中，目标检测装置可以设置于车载电子设备中，也可以设置于控制车辆行驶的服务器中。
在一些实施例中，目标检测装置定时获取待处理传感器数据。例如，目标检测装置定时从外部模块中拉取待处理传感器数据。
在另一些实施例中，目标检测装置响应于外部模块的请求，获取待处理传感器数据。例如，目标检测装置接收外部模块发送的检测请求，并根据检测请求获取待处理传感器数据。
在一些实施例中，基于车载雷达和相机等传感器采集点云数据和图像数据，并依据采集的传感器数据进行目标检测。在实际场景中，由于带宽的延迟或者是传感器本身的问题等，容易导致图像和点云数据无法同时到达或者缺失图像数据等情况出现，进而导致目标检测装置获取的待处理传感器数据有可能出现以下三种情况：只有点云数据、只有图像数据、包括点云数据和图像数据。
步骤S120：根据待处理传感器数据是否包括与点云数据对应的图像数据，确定待启用的检测模型。
在一些实施例中，检测模型包括第一检测模型和第二检测模型。其中，第一检测模型是基于点云样本数据训练得到的，第二检测模型是基于点云样本数据和图像样本数据训练得到的。
在一些实施例中，待处理传感器数据包括点云数据。在待处理传感器数据不包括与点云数据对应的图像数据的情况下，将第一检测模型作为待启用的检测模型；在待处理传感器数据还包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型。
在一些实施例中，在待处理传感器数据为图像数据的情况下，认为检测数据异常，进行检测数据异常提示或对检测数据异常情况进行记录。
步骤S130：基于待启用的检测模型对待处理传感器数据进行处理，以得到待识别目标的检测结果。
在一些实施例中，在待启用的检测模型为第一检测模型的情况下，基于第一检测模型对待处理的点云数据进行处理，以得到待识别目标的检测结果；在待启用的检测模型为第二检测模型的情况下，基于第二检测模型对待处理的点云数据和图像数据进行处理，以得到待识别目标的检测结果。
示例性地，在自动驾驶场景中，待识别目标为车辆行驶环境中的障碍物、或者红绿灯等。
在本公开实施例中，通过以上步骤，能够根据实际获取的待处理传感器数据选择基于同类型样本数据训练得到的检测模型进行目标检测，从而提高了目标检测结果的准确率和检测效率，解决了由于待处理传感器数据与训练检测模型所用的样本数据不一致所导致的降低模型检测准确率、甚至无法检测，降低模型检测效率等问题，提高了目标检测结果的准确率和检测效率，进而有助于提高无人驾驶的安全性。
图2为根据本公开一些实施例的确定待启用检测模型的流程示意图。如图2所示，本公开实施例的确定待启用检测模型的流程包括：
步骤S121：确定待处理传感器数据的类型。
其中，待处理传感器数据包括点云数据和图像数据的至少一种。
在一些实施例中，根据待处理传感器数据的输入通道的不同，确定待处理传感器数据的类型。例如，在接收到来自第一输入通道的待处理传感器数据时，确定待处理传感器数据为点云数据，在接收到来自第二输入通道的待处理传感器数据时，确定待处理传感器数据为图像数据，在接收到来自第一、第二输入通道的待处理传感器数据时，确定待处理传感器数据为点云数据和图像数据。
在另一些实施例中，根据待处理传感器数据携带的类型标识的不同，确定待处理传感器数据的类型。例如，在接收到携带第一类型标识的待处理传感器数据时，确认待处理传感器数据为点云数据；在接收到携带第二类型标识的待处理传感器数据时，确定待处理传感器数据为图像数据，在接收到携带第一类型标识和第二类型标识的待处理传感器数据时，确认待处理传感器数据为点云数据和图像数据。
步骤S122：在待处理传感器数据包括点云数据和图像数据的情况下，判断点云数据和图像数据的时间戳是否一致。
在一些实施例中，待处理传感器数据携带点云数据的时间戳和图像数据的时间戳。在这些实施例中，将点云数据的时间戳与图像数据的时间戳进行比较，在两者的差值绝对值小于预设阈值的情况下，确认两者的时间戳一致，在两者的差值绝对值大于或等于预设阈值的情况下，确认两者的时间戳不一致。
在另一些实施例中，将目标检测装置接收到点云数据的时间作为点云数据的时间戳，将目标检测装置接收到图像数据的时间作为图像数据的时间戳。在这些实施例中，将接收到点云数据的时间与接收到图像数据的时间进行比较，在两者的差值绝对值小于预设阈值的情况下，确认两者的时间戳一致，在两者的差值绝对值大于或等于预设阈值的情况下，确认两者的时间戳不一致。
在点云数据和图像数据的时间戳不一致的情况下，执行步骤S123；在点云数据和图像数据的时间戳一致的情况下，执行步骤S124。
步骤S123：将第一检测模型作为待启用的检测模型。
其中，第一检测模型为基于点云样本数据训练得到的检测模型。
步骤S124:将第二检测模型作为待启用的检测模型。
其中，第二检测模型为基于点云样本数据和图像样本数据训练得到的检测模型。
步骤S125：在待处理传感器数据为点云数据的情况下，将第一检测模型作为待启用的检测模型。
在本公开实施例中，通过以上步骤，能够根据待处理传感器数据的类型、以及点云数据和图像数据的时间戳的不同，确定与待处理传感器数据更为匹配的检测模型，有助于提高后续基于检测模型进行目标检测的准确率和检测效率。
图3为根据本公开一些实施例的基于第一检测模型进行目标检测的流程示意图。在待启用的检测模型为第一检测模型的情况下，执行图3所示流程。如图3所示，基于第一检测模型进行目标检测的流程包括：
步骤S131：对点云数据进行特征编码，以得到第一特征图。
在一些实施例中，步骤S131包括：对点云数据进行体素化编码，以得到体素特征图；根据体素特征图，生成鸟瞰特征图；将鸟瞰特征图输入点云特征提取网络模型，以得到点云特征图。
在一些实施例中，根据如下方式对点云数据进行体素化编码：将点云数据中的各个点云点分配到体素网格中的体素单元中，对体素单元中的点云点进行特征编码，以得到体素特征；接下来，根据体素特征，确定体素特征图。例如，可基于PointPillar模型或者VoxelNet模型所提出的方式对点云数据进行体素化编码。
在一些实施例中，将体素特征图映射到鸟瞰图视角下，从而得到鸟瞰特征图。鸟瞰图，是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。
在一些实施例中，点云特征提取网络模型为二维卷积神经网络。将鸟瞰特征图输入该二维卷积神经网络，以得到点云特征图。
在本公开实施例中，通过以上步骤能够在待处理传感器数据为点云数据的情况下，能够快速、准确地提取点云数据的特征，以用于后续的目标检测。
步骤S132：将第一特征图输入第一检测模型，以得到待识别目标的检测结果。
其中，第一检测模型为基于点云样本数据训练得到的检测模型。
在本公开实施例中，通过以上步骤能够在多种传感器数据到达时间不一致或者缺失图像数据的情况下，基于与点云数据匹配的检测模型快速、准确地进行目标检测，保证了图像数据缺失情况下的目标检测效果，解决了自动驾驶车辆在实际应用过程中因为多种传感器数据到达时间不一致或者图像数据缺失所引起的检测效率降低、检测准确率降低的问题。
图4为根据本公开一些实施例的基于第二检测模型进行目标检测的流程示意图。在待启用的检测模型为第二检测模型的情况下，执行图4所示流程。如图4所示，基于第二检测模型进行目标检测的流程包括：
步骤S131'：对点云数据进行特征编码，以得到第一特征图。
在一些实施例中，步骤S131'包括：对点云数据进行体素化编码，以得到体素特征图；根据体素特征图，生成鸟瞰特征图；将鸟瞰特征图输入点云特征提取网络模型，以得到点云特征图。
在一些实施例中，根据如下方式对点云数据进行体素化编码：将点云数据中的各个点云点分配到体素网格中的体素单元中，对体素单元中的点云点进行特征编码，以得到体素特征；接下来，根据体素特征，确定体素特征图。例如，可基于PointPillar模型或者VoxelNet模型所提出的方式对点云数据进行体素化编码。
在一些实施例中，将体素特征图映射到鸟瞰图视角下，从而得到鸟瞰特征图。鸟瞰图，是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。
在一些实施例中，点云特征提取网络模型为二维卷积神经网络。将鸟瞰特征图输入该二维卷积神经网络，以得到点云特征图。
在本公开实施例中，通过以上步骤能够在待处理传感器数据包括点云数据的情况下，快速、准确地提取点云数据的特征，以用于后续的目标检测。
步骤S132'：对图像数据进行特征编码，以得到第二特征图。
在一些实施例中，步骤S132'包括：步骤a，对图像数据进行语义分割，以得到图像数据中每个像素点的语义信息；步骤b，根据图像数据中每个像素点的语义信息和坐标系转换关系，确定与像素点对应的点云点的语义信息；步骤c，对点云点的语义信息进行特征编码，以得到第二特征图。
在一些实施例中，在步骤a中，使用二维的图像分割网络，例如MaskRNN，对图像数据进行分割，以得到图像数据中每个像素点的语义信息。示例性地，像素点的语义信息为像素点所属类别的分数。
在一些实施例中，在步骤b中，根据相机坐标系和雷达坐标系之间的坐标系转换关系，将点云数据投影到图像坐标系中，以确定图像中每个像素点对应的点云点，进而，根据图像数据中每个像素点的语义信息、以及像素点与点云点的对应关系，确定与像素点对应的点云点的语义信息。通过上述操作，实现了图像数据与点云数据之间的数据对齐、以及在数据对齐的基础上进行数据融合，有助于提高后续的目标检测准确率。
在一些实施例中，在步骤c中，对点云点的语义信息进行体素化编码，以得到体素特征图；根据体素特征图，生成鸟瞰特征图；对鸟瞰特征图进行下采样，以得到第二特征图，其中，第二特征图与第一特征图的尺寸一致。
在本公开实施例中，通过对鸟瞰特征图进行下采样操作，使其下采样后的特征图尺寸和第一特征图保持一致，实现了特征对齐，便于后续的特征融合。
步骤S133'：对第一特征图和第二特征图进行融合，以得到融合后的特征图。
在一些实施例中，对第一特征图与第二特征图进行拼接，并将拼接后的特征图作为融合后的特征图。
步骤S134'：将融合后的特征图输入第二检测模型，以得到待识别目标的检测结果。
其中，第二检测模型为基于点云样本数据和图像样本数据训练得到的检测模型。
示例性地，将融合特征图送入不同的检测网络，包括目标所属类别地检测网络和目标位置的检测网络，以得到包括目标所属类别、目标位置在内的三维目标检测结果。
在本公开实施例中，通过以上步骤能够在待处理传感器数据包括点云数据、以及与点云数据对应的图像数据的情况下，基于第二检测模型高效、精准地进行目标检测，从而能够在车端算力允许的范围内，提高目标检测的准确率。在本公开实施例中，通过支持两种检测模型，一种是基于点云数据的第一检测模型，另外一种是基于点云数据和图像数据的第二检测模型。在待处理传感器数据中的图像数据缺失或者有延迟时，启用基于点云数据的第一检测模型，在待处理传感器数据包括点云数据和对应的图像数据时，启用基于点云和图像数据的第二检测模型。这种方式既能够保证在图像数据缺失情况下的目标检测效果，也能够在有与点云数据对应的图像数据的情况下，保持较高的目标检测准确率。
图5为根据本公开一些实施例的目标检测装置的结构示意图。如图5所示，本公开实施例的目标检测装置包括：获取模块510、确定模块520、检测模块530。
获取模块510，被配置为获取待处理传感器数据。
在一些实施例中，应用场景为自动驾驶场景，目标检测装置可以设置于车载电子设备中，也可以设置于控制车辆行驶的服务器中。
在一些实施例中，获取模块510定时获取待处理传感器数据。例如，获取模块510定时从外部模块中拉取待处理传感器数据。
在另一些实施例中，获取模块510响应于外部模块的请求，获取待处理传感器数据。例如，获取模块510接收外部模块发送的检测请求，并根据检测请求获取待处理传感器数据。
在一些实施例中，基于车载雷达和相机等传感器采集点云数据和图像数据，并依据采集的传感器数据进行目标检测。在实际场景中，由于带宽的延迟或者是传感器本身的问题等，容易导致图像和点云数据无法同时到达或者缺失图像数据等情况出现，进而导致目标检测装置获取的待处理传感器数据有可能出现以下三种情况：只有点云数据、只有图像数据、包括点云数据和图像数据。
确定模块520，被配置为根据待处理传感器数据是否包括与点云数据对应的图像数据，确定待启用的检测模型。
在一些实施例中，检测模型包括第一检测模型和第二检测模型。其中，第一检测模型是基于点云样本数据训练得到的，第二检测模型是基于点云样本数据和图像样本数据训练得到的。
在一些实施例中，待处理传感器数据包括点云数据。在待处理传感器数据不包括与点云数据对应的图像数据的情况下，确定模块520将第一检测模型作为待启用的检测模型；在待处理传感器数据还包括与点云数据对应的图像数据的情况下，确定模块520将第二检测模型作为待启用的检测模型。
在一些实施例中，确定模块520根据如下方式判断待处理传感器数据是否包括与点云数据对应的图像数据：在待处理传感器数据不包括图像数据、或者待处理传感器数据包括的图像数据和点云数据的时间戳不一致的情况下，确定模块520确定待处理传感器数据不包括与点云数据对应的图像数据；在待处理传感器数据包括的图像数据和点云数据的时间戳一致的情况下，确定模块520确定待处理传感器数据包括与点云数据对应的图像数据。
在一些实施例中，在待处理传感器数据为图像数据的情况下，确定模块520还被配置为，确认检测数据异常，并进行检测数据异常提示或对检测数据异常情况进行记录。
检测模块530，被配置为基于待启用的检测模型对待处理传感器数据进行处理，以得到待识别目标的检测结果。
在一些实施例中，在待启用的检测模型为第一检测模型的情况下，检测模块530基于第一检测模型对待处理的点云数据进行处理，以得到待识别目标的检测结果；在待启用的检测模型为第二检测模型的情况下，检测模块530基于第二检测模型对待处理的点云数据和图像数据进行处理，以得到待识别目标的检测结果。
示例性地，在自动驾驶场景中，待识别目标为车辆行驶环境中的障碍物、或者红绿灯等。
在本公开实施例中，通过以上装置，能够根据实际获取的待处理传感器数据选择基于同类型样本数据训练得到的检测模型进行目标检测，从而提高了目标检测结果的准确率和检测效率，解决了由于待处理传感器数据与训练检测模型所用的样本数据不一致所导致的降低模型检测准确率、甚至无法检测，降低模型检测效率等问题，提高了目标检测结果的准确率和检测效率，进而有助于提高无人驾驶的安全性。
图6为根据本公开另一些实施例的目标检测装置的结构示意图。
如图6所示，目标检测装置600包括存储器610；以及耦接至该存储器610的处理器620。存储器610用于存储执行目标检测方法对应实施例的指令。处理器620被配置为基于存储在存储器610中的指令，执行本公开中任意一些实施例中的目标检测方法。
图7为根据本公开一些实施例的计算机系统的结构示意图。
如图7所示，计算机系统700可以通用计算设备的形式表现。计算机系统700包括存储器710、处理器720和连接不同系统组件的总线930。
存储器710例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行目标检测方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器720可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如构建模块、偏差补偿模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线730可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统700这些接口740、750、760以及存储器710和处理器720之间可以通过总线730连接。输入输出接口740可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口750为各种联网设备提供连接接口。存储接口760为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
图8为根据本公开一些实施例的无人车的结构示意图。如图8所示，无人车800包括目标检测装置810。
无人车800还包括多种传感器，例如，激光雷达传感器、毫米波传感器、相机等传感器中的一种或多种。无人车800，通过车载的传感器采集目标检测所需的传感器数据。
目标检测装置810，被配置为获取待处理传感器数据，根据待处理传感器数据是否还包括与点云数据对应的图像数据，确定待启用的检测模型，基于待启用的检测模型对待处理传感器数据进行处理，以得到待识别目标的检测结果。
示例性地，待识别目标为车辆行驶环境中的障碍物、或者红绿灯等。
其中，检测模型包括第一检测模型和第二检测模型，第一检测模型是基于点云样本数据训练得到的，第二检测模型是基于点云样本数据和图像样本数据训练得到的。
在一些实施例中，待处理传感器数据包括点云数据。在待处理传感器数据不包括与点云数据对应的图像数据的情况下，将第一检测模型作为待启用的检测模型；在待处理传感器数据还包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型。
在一些实施例中，在待处理传感器数据为图像数据的情况下，认为检测数据异常，进行检测数据异常提示或对检测数据异常情况进行记录。
在一些实施例中，在通过目标检测装置810得到目标检测结果之后，可基于目标检测结果进一步控制无人车的运行、规划无人车的行驶路径等。
在本公开实施例中，通过以上无人车，能够支持两种检测模型，一种是基于点云数据的第一检测模型，另外一种是基于点云数据和图像数据的第二检测模型。在待处理传感器数据中的图像数据缺失或者有延迟时，启用基于点云数据的第一检测模型，在待处理传感器数据包括点云数据和对应的图像数据时，启用基于点云和图像数据的第二检测模型。这种方式既能够保证在图像数据缺失情况下的目标检测效果，也能够在有与点云数据对应的图像数据的情况下，保持较高的目标检测准确率，进而提高了自动驾驶的安全性。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的目标检测方法、装置和无人车，能够提高目标检测结果的准确性和检测效率，有助于提高无人驾驶的安全性。
至此，已经详细描述了根据本公开的目标检测方法、装置和无人车。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (15)

1.一种目标检测方法，包括：
获取待处理传感器数据，其中，所述待处理传感器数据包括点云数据；
根据所述待处理传感器数据是否还包括与点云数据对应的图像数据，确定待启用的检测模型，其中，所述检测模型包括第一检测模型和第二检测模型，所述第一检测模型是基于点云样本数据训练得到的，所述第二检测模型是基于点云样本数据和图像样本数据训练得到的；
基于所述待启用的检测模型，对所述待处理传感器数据进行处理，以得到待识别目标的检测结果。
2.根据权利要求1所述的目标检测方法，其中，所述根据所述待处理传感器数据是否还包括与点云数据对应的图像数据，确定待启用的检测模型包括：
在所述待处理传感器数据不包括与点云数据对应的图像数据的情况下，将所述第一检测模型作为待启用的检测模型；
在所述待处理传感器数据包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型。
3.根据权利要求2所述的目标检测方法，在所述待处理传感器数据不包括与点云数据对应的图像数据的情况下，将所述第一检测模型作为待启用的检测模型包括：
在所述待处理传感器数据不包括图像数据、或者所述待处理传感器数据包括的图像数据和点云数据的时间戳不一致的情况下，将所述第一检测模型作为待启用的检测模型。
4.根据权利要求2所述的目标检测方法，其中，在所述待处理传感器数据包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型包括：
在所述待处理传感器数据包括的图像数据和点云数据的时间戳一致的情况下，将第二检测模型作为待启用的检测模型。
5.根据权利要求1所述的目标检测方法，其中，所述待启用模型为第一检测模型，所述基于所述待启用的检测模型对所述待处理传感器数据进行处理，以得到待识别目标的检测结果包括：
对点云数据进行特征编码，以得到第一特征图；
将所述第一特征图输入所述第一检测模型，以得到待识别目标的检测结果。
6.根据权利要求5所述的目标检测方法，其中，所述对点云数据进行特征编码，以得到点云特征图包括：
对点云数据进行体素化编码，以得到体素特征图；
根据所述体素特征图，生成鸟瞰特征图；
将所述鸟瞰特征图输入点云特征提取网络模型，以得到点云特征图。
7.根据权利要求1所述的目标检测方法，其中，所述待启用模型为第二检测模型，所述基于所述待启用的检测模型对所述待处理传感器数据进行处理，以得到待识别目标的检测结果包括：
对点云数据进行特征编码，以得到第一特征图；
对图像数据进行特征编码，以得到第二特征图；
对所述第一特征图和所述第二特征图进行融合，以得到融合后的特征图；
将所述融合后的特征图输入第二检测模型，以得到待识别目标的检测结果。
8.根据权利要求7所述的目标检测方法，其中，所述对图像数据进行特征编码，以得到第二特征图包括：
对图像数据进行语义分割，以得到图像数据中每个像素点的语义信息；
根据图像数据中每个像素点的语义信息和坐标系转换关系，确定与所述像素点对应的点云点的语义信息；
对所述点云点的语义信息进行特征编码，以得到第二特征图。
9.根据权利要求8所述的目标检测方法，其中，所述对所述点云点的语义信息进行特征编码，以得到第二特征图包括：
对所述点云点的语义信息进行体素化编码，以得到体素特征图；
根据所述体素特征图，生成鸟瞰特征图；
对所述鸟瞰特征图进行下采样，以得到第二特征图，其中，所述第二特征图与所述第一特征图的尺寸一致。
10.一种目标检测装置，包括：
获取模块，被配置为获取待处理传感器数据，其中，所述待处理传感器数据包括点云数据；
确定模块，被配置为根据所述待处理传感器数据是否包括与所述点云数据对应的图像数据，确定待启用的检测模型，其中，所述检测模型包括第一检测模型和第二检测模型，所述第一检测模型是基于点云样本数据训练得到的，所述第二检测模型是基于点云样本数据和图像样本数据训练得到的；
检测模块，被配置为基于所述待启用的检测模型对所述待处理传感器数据进行处理，以得到待识别目标的检测结果。
11.根据权利要求10所述的目标检测装置，其中，所述确定模块被配置为：
在所述待处理传感器数据不包括与点云数据对应的图像数据的情况下，将所述第一检测模型作为待启用的检测模型；
在所述待处理传感器数据包括与点云数据对应的图像数据的情况下，将第二检测模型作为待启用的检测模型。
12.根据权利要求11所述的目标检测装置，其中，所述确定模块被配置为：
在所述待处理传感器数据不包括图像数据、或者所述待处理传感器数据包括的图像数据和点云数据的时间戳不一致的情况下，将所述第一检测模型作为待启用的检测模型。
13.一种目标检测装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至9任一项所述的目标检测方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至9任一项所述的目标检测方法。
15.一种无人车，包括：
如权利要求10至13任一所述的目标检测装置。
CN202210480445.9A 2022-05-05 2022-05-05 目标检测方法、装置和无人车 Pending CN114821131A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210480445.9A CN114821131A (zh) 2022-05-05 2022-05-05 目标检测方法、装置和无人车
PCT/CN2022/140352 WO2023213083A1 (zh) 2022-05-05 2022-12-20 目标检测方法、装置和无人车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210480445.9A CN114821131A (zh) 2022-05-05 2022-05-05 目标检测方法、装置和无人车

Publications (1)

Publication Number Publication Date
CN114821131A true CN114821131A (zh) 2022-07-29

Family

ID=82511990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210480445.9A Pending CN114821131A (zh) 2022-05-05 2022-05-05 目标检测方法、装置和无人车

Country Status (2)

Country Link
CN (1) CN114821131A (zh)
WO (1) WO2023213083A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023213083A1 (zh) * 2022-05-05 2023-11-09 北京京东乾石科技有限公司 目标检测方法、装置和无人车

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862101A (zh) * 2020-07-15 2020-10-30 西安交通大学 一种鸟瞰图编码视角下的3d点云语义分割方法
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置
CN113256740A (zh) * 2021-06-29 2021-08-13 湖北亿咖通科技有限公司 一种雷达与相机的标定方法、电子设备及存储介质
CN113887349A (zh) * 2021-09-18 2022-01-04 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法
CN114821131A (zh) * 2022-05-05 2022-07-29 北京京东乾石科技有限公司 目标检测方法、装置和无人车

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023213083A1 (zh) * 2022-05-05 2023-11-09 北京京东乾石科技有限公司 目标检测方法、装置和无人车

Also Published As

Publication number Publication date
WO2023213083A1 (zh) 2023-11-09

Similar Documents

Publication Publication Date Title
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
US10395377B2 (en) Systems and methods for non-obstacle area detection
CN110765894B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN115249349B (zh) 一种点云去噪方法、电子设备及存储介质
CN115049700A (zh) 一种目标检测方法及装置
US11313696B2 (en) Method and apparatus for a context-aware crowd-sourced sparse high definition map
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
Sehestedt et al. Robust lane detection in urban environments
CN116255992A (zh) 一种同时定位与建图的方法和装置
US20220396281A1 (en) Platform for perception system development for automated driving system
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
WO2023155580A1 (zh) 一种对象识别方法和装置
CN113643431A (zh) 一种用于视觉算法迭代优化的系统及方法
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN114821131A (zh) 目标检测方法、装置和无人车
CN113450389B (zh) 一种目标跟踪方法、装置及电子设备
JP2023539643A (ja) 車両の確認および検証のためのクリティカルシナリオの識別
CN117308972A (zh) 车辆定位方法、装置和存储介质及电子设备
CN113256574B (zh) 一种三维目标检测方法
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
CN114445648A (zh) 障碍物识别方法、设备及存储介质
US20240078814A1 (en) Method and apparatus for modeling object, storage medium, and vehicle control method
WO2023036032A1 (zh) 一种车道线检测方法及装置
EP3324336B1 (en) Information processing device, information processing method, and carrier means

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination