CN115147333A - 一种目标检测方法及装置 - Google Patents

一种目标检测方法及装置 Download PDF

Info

Publication number
CN115147333A
CN115147333A CN202110345758.9A CN202110345758A CN115147333A CN 115147333 A CN115147333 A CN 115147333A CN 202110345758 A CN202110345758 A CN 202110345758A CN 115147333 A CN115147333 A CN 115147333A
Authority
CN
China
Prior art keywords
point cloud
target
anchor frame
image
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110345758.9A
Other languages
English (en)
Inventor
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110345758.9A priority Critical patent/CN115147333A/zh
Priority to PCT/CN2022/082553 priority patent/WO2022206517A1/zh
Publication of CN115147333A publication Critical patent/CN115147333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供一种目标检测方法及装置，属于传感器技术领域，可用于辅助驾驶和自动驾驶。该方法包括：获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像；将第一点云数据映射到第一图像的图像平面，得到第二点云数据；对第二点云数据进行栅格划分；确定第二点云数据进行栅格划分后的多个目标点云，任一个目标点云对应第二点云数据中的至少一个点云；生成多个目标点云中每个目标点云对应的至少一个锚框；根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。该方法能够提高目标检测的效率。进一步，该方法可以应用于车联网，如车辆外联V2X、车辆‑车辆V2V等。

Description

一种目标检测方法及装置
技术领域
本申请涉及传感器处理技术领域，尤其涉及一种目标检测方法及装置。
背景技术
目标检测是自动驾驶中不可或缺的关键技术。例如针对车辆、行人等目标进行目标检测处理，可以为路径规划、车道选择、人车跟踪、行为预测等提供参考信息，在自动驾驶中具有重要意义。
目前，可以采用雷达检测和图像检测结合的方式进行目标检测。具体可以将雷达检测到的雷达点映射到图像坐标系，并为每个映射后的雷达点生成预定义的锚框，然后结合生成的锚框，利用基于深度学习的卷积神经网络进行目标检测。但是，对于一个目标，雷达检测后可能会反射回多个雷达点，若针对每个雷达点都在图像中生成锚框，则过于冗余，且数据处理量很大，需要耗费大量的处理时间，导致目标检测的效率很低。
发明内容
本申请提供一种目标检测方法，用以结合点云数据和图像实现目标检测，提高目标检测的效率。
第一方面，本申请提供一种目标检测方法，该方法包括：获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像，其中，所述第一点云数据包含多个点云；
将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云；对所述第二点云数据进行栅格划分；根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云；在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框；根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
在该方法中，通过对映射到图像后的点云数据进行栅格划分后，根据点云的特征数据确定栅格划分后的目标点云，再根据目标点云在图像中生成锚框，能够极大减少需生成锚框的点云的数量，进而降低生成的锚框个数，同时也能综合每个点云的特征，保证生成的锚框的准确度，因此，该方法解决了基于采集到的每个点云都生成锚框造成的网络冗余、耗费时间较多等问题，加快了进行目标检测的检测速度和效率。此外，该方法通过对栅格中的点云进行特征综合确定目标点云，因此即便在雷达传感器采集的点云数据存在雷达噪点的情况下，也能够减小局部噪点密集带来的影响，减缓噪点带来的处理迟钝等问题。
在一种可能的设计中，所述特征数据用于表示点云的雷达回波强度或点云的雷达回波强度分布特征或点云的极化特征。
在该方法中，可以根据表征点云雷达回波强度的特征数据，确定点云数据对应的目标点云，这样能够对点云数据中点云的特征信息进行充分利用，以此提高根据点云数据进行目标检测的准确性。
在一种可能的设计中，在每个目标点云对应的至少一个锚框中，任一个目标点云对应的任一个锚框包含所述目标点云。
在该方法中，目标点云映射到图像后大多位于待检测的目标对象所在的图像区域，因此，通过为目标点云生成包含该目标点云的锚框，能够尽可能准确的根据生成的锚框来确定目标点云对应的目标对象在图像中所在的区域，进而实现目标检测。
在一种可能的设计中，对所述第二点云数据进行栅格划分，包括：按照设定栅格大小，将所述第二点云数据划分为多个栅格；根据每个栅格中点云的距离参数，将每个栅格中包含的点云划分为多个点云集合，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
在该方法中，在划分栅格后，参考点云到雷达传感器的距离，对点云进行进一步划分，能够在检测过程中充分利用点云的各维度坐标位置信息，进而提高检测的准确性。
在一种可能的设计中，根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，包括：在每个栅格中，分别根据每个点云集合中点云的特征数据，确定每个点云集合的目标点云；将每个栅格中包含的多个点云集合的目标点云，作为每个栅格的目标点云；将所述第二点云数据包含的多个栅格的目标点云，作为所述第二点云数据进行栅格划分后的目标点云，得到所述多个目标点云。
在该方法中，进行点云栅格划分后，结合点云的特征数据确定每个栅格的目标点云，能够充分考虑小区域空间(栅格)中点云的分布特征进行点云精简化，在减少图像中生成的锚框数量、提高检测效率的同时，也能保证生成锚框的准确度，提高检测精度。
在一种可能的设计中，所述特征数据包括点云的雷达截面积；在每个栅格中，分别根据每个点云集合中点云的特征数据，确定每个点云集合的目标点云，包括：
将每个点云集合中至少一个点云的形心点，作为每个点云集合的目标点云，其中，在所述至少一个点云中，任意两个点云的雷达截面积之间的差值小于设定阈值。
在该方法中，针对点云集合中雷达截面积之差小于设定阈值的点云，确定其形心点，并作为点云集合的目标点云，在精简点云数量的同时，能够通过目标点云综合点云集合中点云的特征信息。
在一种可能的设计中，在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框，包括：获取至少一种类别标识，其中，不同类别标识分别用于表示不同对象的类别；根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框。
在该方法中，不同对象的实际尺寸是不同的，因此，通过为目标点云分别生成某些对象的类别标识对应的锚框，提高了生成的锚框的多样性，从而可以在多种不同类别的锚框中选择相对合适的锚框，进一步提高目标检测的准确性。
在一种可能的设计中，所述至少一种类别标识包括设定的类别标识和/或对参考图像进行目标检测后确定的类别标识，其中，所述参考图像为在所述第一图像之前进行目标检测的一帧图像。
在该方法中，可以参考前一帧图像中检测到的对象的类别，为当前帧图像中的目标点云生成锚框，因此可以根据相邻帧图像中包含的对象的相似性、目标类别的相似性，提高当前帧图像中生成的锚框的准确度，实现提高检测精度的效果。
在一种可能的设计中，所述对参考图像进行目标检测后确定的类别标识的置信度大于设定阈值。
在该方法中，确定类别标识的置信度越高，说明确定的类别标识的准确度越高，则将前一帧图像中确定的置信度大于一定阈值的类别标识作为先验信息进行参考，可以进一步提高图像中生成的锚框的准确度，进而进一步提高检测精度。
在一种可能的设计中，根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框，包括：确定至少一个锚框尺寸，其中，所述至少一个锚框尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个锚框尺寸；确定每个目标点云的符合所述至少一个锚框尺寸的至少一个锚框。
在该方法中，根据设定的类别标识对应的锚框尺寸，可以简便快速的确定在图像中为目标点云生成的锚框的尺寸，提高检测速度。
在一种可能的设计中，根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框，包括：确定至少一个对象尺寸，其中，所述至少一个对象尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个对象尺寸，任一个类别标识对应的对象尺寸用于表示所述类别标识所属的对象的尺寸；根据所述至少一个对象尺寸，确定至少一个映射尺寸，其中，所述至少一个对象尺寸与所述至少一个映射尺寸一一对应，任一个对象尺寸对应的映射尺寸为目标类别标识所属的对象映射到所述第一图像后的尺寸，所述目标类别标识为所述对象尺寸对应的类别标识；确定每个目标点云的符合所述至少一个映射尺寸的至少一个锚框。
在该方法中，根据类别标识对应的目标对象的实际距离和雷达探测的点云的距离参数，结合视觉探测器的成像原理，来确定类别标识对应的锚框尺寸，能够提高生成的锚框大小的准确度，进而提高目标检测的准确度。
在一种可能的设计中，在任一个目标点云的任一个锚框中，所述目标点云位于所述锚框包围的区域中的任意位置，例如位于所述锚框的中心位置，或者位于所述锚框的任一边长中的任意位置，例如位于所述锚框的任一边长的中点位置。
在该方法中，目标点云可能位于图像中目标对象所在区域的任一位置，因此，在锚框尺寸相同的情况下，在目标点云的不同方向生成锚框，能够提供更多选择和更准确的锚框，在目标点云被映射到目标对象所在区域的不同位置时，保证能够选择到尽可能包围目标对象的锚框。
在一种可能的设计中，根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置，包括：识别所述第一图像中包含的每个目标对象的目标类别，并确定所述目标类别的置信度；在每个目标点云的至少一个锚框中，确定每个目标对象所在的目标锚框；输出检测结果，所述检测结果包含：每个目标对象的目标类别，每个目标对象的目标类别的类别标识，每个目标对象的目标类别的置信度，以及每个目标对象所在的目标锚框。
在该方法中，目标点云是对原始点云数据进行精简后的点云，因此，基于对目标点云生成的较少数量的锚框进行目标检测时，可以在少量的锚框中选择用于标记目标对象位置的锚框，检测速度较快，同时，目标点云综合了原始点云数据中点云的空间分布特征，可以保证检测的准确度。
第二方面，本申请提供一种目标检测装置，该装置包括数据获取单元和处理单元；所述数据获取单元，用于获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像，其中，所述第一点云数据包含多个点云；所述处理单元，用于将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云；对所述第二点云数据进行栅格划分；根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云；在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框；根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
在一种可能的设计中，所述特征数据用于表示点云的雷达回波强度或点云的雷达回波强度分布特征或点云的极化特征。
在一种可能的设计中，在每个目标点云对应的至少一个锚框中，任一个目标点云对应的任一个锚框包含所述目标点云。
在一种可能的设计中，所述处理单元对所述第二点云数据进行栅格划分时，具体用于：按照设定栅格大小，将所述第二点云数据划分为多个栅格；根据每个栅格中点云的距离参数，将每个栅格中包含的点云划分为多个点云集合，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
在一种可能的设计中，所述处理单元根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云时，具体用于：在每个栅格中，分别根据每个点云集合中点云的特征数据，确定每个点云集合的目标点云；将每个栅格中包含的多个点云集合的目标点云，作为每个栅格的目标点云；将所述第二点云数据包含的多个栅格的目标点云，作为所述第二点云数据进行栅格划分后的目标点云，得到所述多个目标点云。
在一种可能的设计中，所述处理单元在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框时，具体用于：获取至少一种类别标识，其中，不同类别标识分别用于表示不同对象的类别；根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框。
在一种可能的设计中，所述至少一种类别标识包括设定的类别标识和/或对参考图像进行目标检测后确定的类别标识，其中，所述参考图像为在所述第一图像之前进行目标检测的一帧图像。
在一种可能的设计中，所述对参考图像进行目标检测后确定的类别标识的置信度大于设定阈值。
在一种可能的设计中，所述处理单元根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框时，具体用于：确定至少一个锚框尺寸，其中，所述至少一个锚框尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个锚框尺寸；确定每个目标点云的符合所述至少一个锚框尺寸的至少一个锚框。
在一种可能的设计中，所述处理单元根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框，具体用于：确定至少一个对象尺寸，其中，所述至少一个对象尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个对象尺寸，任一个类别标识对应的对象尺寸用于表示所述类别标识所属的对象的尺寸；根据所述至少一个对象尺寸，确定至少一个映射尺寸，其中，所述至少一个对象尺寸与所述至少一个映射尺寸一一对应，任一个对象尺寸对应的映射尺寸为目标类别标识所属的对象映射到所述第一图像后的尺寸，所述目标类别标识为所述对象尺寸对应的类别标识；确定每个目标点云的符合所述至少一个映射尺寸的至少一个锚框。
在一种可能的设计中，在任一个目标点云的任一个锚框中，所述目标点云位于所述锚框包围的区域中的任意位置，例如位于所述锚框的中心位置，或者位于所述锚框的任一边长中的任意位置，例如位于所述锚框的任一边长的中点位置。
在一种可能的设计中，所述处理单元根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置，具体用于：识别所述第一图像中包含的每个目标对象的目标类别，并确定所述目标类别的置信度；在每个目标点云的至少一个锚框中，确定每个目标对象所在的目标锚框；输出检测结果，所述检测结果包含：每个目标对象的目标类别，每个目标对象的目标类别的类别标识，每个目标对象的目标类别的置信度，以及每个目标对象所在的目标锚框。
第三方面，本申请提供一种目标检测装置，该装置包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算程序，实现上述第一方面或第一方面的任一可能的设计所描述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在目标检测装置上运行时，使得所述目标检测装置执行上述第一方面或第一方面的任一可能的设计所描述的方法。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，当所述计算机程序或指令在目标检测装置上运行时，使得所述目标检测装置执行上述第一方面或第一方面的任一可能的设计所描述的方法。
第六方面，本申请提供一种传感器或融合装置，该传感器可以为雷达传感器、摄像头传感器等探测传感器。该传感器或融合装置包括上述第二方面或第三方面所述的目标检测装置。
第七方面，本申请提供一种终端，该终端包括上述第二方面或第三方面所述的目标检测装置，或者包括第六方面所述的传感器或融合装置。
在一种可能的设计中，所述终端为如下任一种：智能运输设备，智能家居设备，智能制造设备，机器人。
在一种可能的设计中，所述智能运输设备为如下任一种：车辆，无人机，自动导引运输车，无人运输车。
第八方面，本申请提供一种系统，该系统包括雷达传感器、对应的摄像头传感器，以及上述第二方面或第三方面所述的目标检测装置。
上述第二方面到第八方面的有益效果，请参见上述第一方面的有益效果的描述，这里不再重复赘述。
附图说明
图1为本申请实施例提供的目标检测方法的一种可能的应用系统的架构示意图；
图2为本申请实施例提供的一种目标检测方法的示意图；
图3为本申请实施例提供的一种目标检测装置的示意图；
图4为本申请实施例提供的一种目标检测装置的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。其中，在本申请实施例的描述中，以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
为了便于理解，示例性的给出了与本申请相关概念的说明以供参考。
1)、目标检测：目标检测是指根据采集的图像定位多个目标对象(或目标物体)，包括确定目标对象的类别和位置，该位置一般在图像中用锚框(bounding box)标记。目标分类是指判断图像中确定的目标对象的类别。
2)、点云数据：通过三维扫描设备扫描得到的物体表面上的点数据集合可称之为点云(point cloud)数据。点云数据是在一个三维坐标系统中的一组向量的集合。这些向量通常以三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。除三维坐标代表的几何位置信息之外，点云还可以表示一个点的RGB(red、green、blue，红绿蓝)颜色、灰度值、深度、物体反射面强度等。在本申请实施例中涉及的点云坐标系即点云数据中点云所在的三维坐标系。
3)、雷达截面积(Radar cross-section，RCS)：RCS是指雷达的反射截面积，雷达探测的原理是发射电磁波照射到物体表面，再接收物体反射回的电磁波信号，根据接收到的电磁波信号对物体进行探测。其中，雷达发射的电磁波照射到物体表面后，接收到的反射回的电磁波越少，则雷达截面积越小，雷达对物体的特征的识别度就越小，雷达的探测距离也越短。
4)、图像(平面)坐标系：图像坐标系也可以称为像素坐标系，通常是以图像左上角特征点为原点建立的二维坐标系，单位为像素(pixel)。
应理解，本申请实施例中“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。
方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
随着人工智能、视觉技术等科技的不断发展，自动驾驶逐渐成为智能汽车的新趋势。而在自动驾驶过程中，为了保证驾驶安全，需要实时对行人、车辆、道路标志等目标对象进行检测，获取这些目标对象的类别、位置信息等，从而有效进行车辆控制，保证安全驾驶。因此，目标检测是自动驾驶系统中的重要任务之一。
与传统的视觉检测算法相比，基于卷积神经网络的目标检测算法由于检测结果更准确高效而得到更多应用。因此目前主流的(二维)目标检测算法多是基于卷积神经网络的方法。这些方法可概括为两类，分别为一阶段(one-stage)算法和二阶段(two-stage)算法。其中，一阶段算法将目标检测视为一个回归问题，可以直接从输入的图像学习目标对象的分类概率和锚框。二阶段算法则是采用了两个阶段来进行目标检测，先在第一阶段使用区域提议网络(region proposal network，RPN)生成感兴趣区域，然后在第二阶段使用这些RPN进行目标对象的分类和锚框回归。两种方法相比较而言各有优势，一阶段算法比二阶段算法的速度快，但是二阶段算法的准确性更好。
上述基于卷积神经网络的目标检测算法多是基于摄像头来实现的，即通过对摄像头拍摄的图像进行图像检测的方式实现，而基于摄像头和雷达融合的检测算法却相对缺乏。但是，在自动驾驶领域，大多数自动驾驶车辆都配备了摄像头、毫米波雷达、激光雷达等各种传感器，通过多个同构传感器的冗余性和异构传感器的多样性，可以使得传感器性能优劣互补，提供更准确、更可靠的检测效果。因此，如何结合利用雷达和摄像头来实现更快更准确的目标检测效果，是一个具有挑战性的问题。
目前，结合摄像头和雷达进行目标检测时，可以将雷达检测到的雷达检测点(点云)，映射到摄像头拍摄的图像的图像坐标系中，并为每个映射的雷达检测点生成预定义的锚框作为目标提议，然后根据这些锚框对图像中对象的位置进行检测。但是，该方法的数据处理量很大，且需要耗费大量的处理时间，因此，该方法进行目标检测的效率很低。
鉴于此，本申请实施例提供一种目标检测方法，用以进行快速、准确的目标检测，进而提高目标检测的效率。
本申请实施例提供的目标检测方法可以结合雷达传感器采集的点云数据，以及对应的摄像头传感器采集的图像，进行目标检测。该方法可以应用于具有数据处理能力的目标检测装置中。作为示例而非限定，所述目标检测装置可以为具有数据处理功能的车辆，或者车辆中具有数据处理功能的车载设备，或者设置在具有采集及处理点云数据和图像数据的传感器中。车载设备可以包括但不限于车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、电子控制单元(electronic control unit，ECU)、域控制器(domaincontroller，DC)等装置。目标检测装置还可以是其它具有数据处理功能的电子设备，电子设备包括但不限于智能家居设备(例如电视等)、智能机器人、移动终端(例如手机、平板电脑等)、可穿戴设备(例如智能手表等)等智能设备。目标检测装置也可以是智能设备内的控制器、芯片等其它器件。
下面结合附图，对本申请实施例提供的目标检测方法进行详细说明，可以理解的是，以下所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
图1为本申请实施例提供的目标检测方法的一种可能的应用系统的架构示意图。如图1所示，所述系统至少包括点云采集模块101、点云数据处理模块102、图像采集模块103及目标检测模块104。
所述点云采集模块101和所述图像采集模块103分别用于获取点云数据和对应的图像。在本申请一些实施例中，所述点云采集模块101和所述图像采集模块103分别用于获取在同一时刻对应同一场景的第一点云数据和第一图像。
例如，在自动驾驶场景中，所述点云采集模块101和所述图像采集模块103可以设置在自动驾驶车辆中的同一位置，所述点云采集模块101可以采集自动驾驶车辆周围环境的点云数据，并发送到点云数据处理模块102，同时，所述图像采集模块103采集所述自动驾驶车辆周围环境的图像，并发送到所述目标检测模块104。
本申请实施例中，所述点云采集模块101可以为雷达传感器，例如毫米波雷达等，还可以是其它任何能够采集点云数据的装置，本申请实施例对此不做具体限定。所述图像采集模块103可以为摄像头传感器，例如摄像头、摄影机、监控器等，还可以是其它任何能够拍摄图像的装置，本申请实施例对此不做具体限定。
所述点云数据处理模块102，用于对来自所述点云采集模块101的第一点云数据和来自图像采集模块103的第一图像进行处理，包括：将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云；对所述第二点云数据进行栅格划分；根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云。
示例性的，所述点云采集模块101为雷达，所述图像采集模块103为摄像头时，所述点云数据处理模块102可以根据摄像头标定参数，将雷达采集的点云数据映射到摄像头采集的图像中，通过对图像平面进行栅格划分，再结合映射后点云到雷达的距离对同一栅格中点云进行划分，实现对映射后点云所在的图像平面及该图像平面的俯视图(bird eyeview，BEV)平面组成的三维空间的网格划分。所述点云数据处理模块102对映射后的点云进行栅格划分后，结合点云的RCS特征，计算具有相似特征信息的点云的统计信息，再进一步生成具有不同点云特征信息的目标点云，作为生成锚框的兴趣点(points of interest，POI)。
其中，所述点云数据处理模块102可以从所述图像采集模块103或目标检测模块104获取所述第一图像。所述点云数据处理模块102在确定多个目标点云后，将所述多个目标点云通知到所述目标检测模块104。
在本申请一些实施例中，所述点云数据处理模块102可以包括映射模块105和栅格划分模块106，其中，所述映射模块105用于将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据。所述栅格划分模块106用于对所述第二点云数据进行栅格划分，并根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云。
作为一种可选的实施方式，如图1中所示，在所述点云数据处理模块102中，可以是所述映射模块105先进行点云映射，所述栅格划分模块106再进行栅格划分，即所述映射模块105先将第一点云数据映射到所述第一图像的图像平面得到第二点云数据，然后所述栅格划分模块106再对所述第二点云数据进行栅格划分处理，并确定进行栅格划分后的多个目标点云，从而将所述多个目标点云作为生成锚框的兴趣点。
作为另一种可选的实施方式，在所述点云数据处理模块102中，可以是所述栅格划分模块106先进行栅格划分，所述映射模块105再进行点云映射，即所述栅格划分模块106先对获取的第一点云数据进行栅格划分处理，并确定进行栅格划分后的多个目标点云，然后所述映射模块105再将所述栅格划分模块106确定的多个目标点云分别映射到所述图像后作为生成锚框的兴趣点。
所述目标检测模块104，用于在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框；并根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
在本申请一些实施例中，如图1中所示，所述目标检测模块104可以包括特征提取模块107和检测模块108。其中，所述特征提取模块107用于从所述第一图像中提取图像特征，以便于所述检测模块108根据提取的图像特征以及生成的锚框进行目标检测。所述特征提取模块107可以采用视觉几何组(visual geometry group，VGG)网络模型或其它深度学习网络模型提取图像特征，例如可以采用VGG16模型。
可以理解的是，上述视觉几何组网络模型仅作为所述特征提取模块107可以采用的网络模型的一个具体示例，本申请实施例中所述特征提取模块107可以采用的网络模型不局限于所述视觉几何组网络模型，例如还可以采用残差神经网络模型(residual neuralnetwork，ResNet)等能够实现其功能的网络模型。
所述检测模块108用于生成所述多个目标点云中每个目标点云对应的至少一个锚框，并根据各锚框标定的区域，对所述特征提取模块107提取的图像特征进行运算，完成图像中目标的分类和对应锚框的回归分析，最终实现目标检测功能。所述检测模块108生成每个目标点云对应的至少一个锚框后，可以采用深度学习网络模型完成图像中目标的分类和对应锚框的回归分析。
所述目标检测模块104进行目标检测后，输出的目标检测结果包括在所述第一图像中检测到的至少一个目标对象的类别标识、各类别标识对应的置信度以及各目标对象对应的锚框(可以理解为目标对象对应的边界框)的位置和大小等，其中，类别标识用于表示目标对象的分类类别，锚框用于在所述第一图像中标记目标对象的位置。
可以理解的是，所述目标检测模块104所实现的功能，可以通过一个深度学习网络模型实现，也可以通过多个深度学习网络模型配合实现，在通过多个深度学习网络模型配合实现时，不同的深度学习网络模型分别实现所述目标检测模块104中不同的功能，例如，可以通过不同的深度学习网络模型分别实现上述特征提取模块107和检测模块108所实现的功能。
在本申请一些实施例中，如图1中所示，该系统还可以包括类别标识管理模块109，所述类别标识管理模块109用于为目标检测模块104提供至少一种类别标识，以使所述目标检测模块104根据所述至少一种类别标识为确定的目标点云生成锚框，进而进行目标检测。
其中，类别标识管理模块109提供给目标检测模块104的至少一种类别标识包括设定的类别标识和/或对参考图像进行目标检测后确定的类别标识，其中，所述参考图像为在所述图像之前进行目标检测的一帧图像。
具体的，所述类别标识管理模块109存储有至少一种设定的类别标识，并可以获取在第一图像之前进行目标检测的一帧图像的目标检测结果，该目标检测结果至少包括在所述前一帧图像中检测到的目标对象的类别及其置信度。对于在所述前一帧图像中检测到的每一个类别标识，若所述类别标识管理模块109确定该类别标识对应的置信度大于设定阈值，则将其作为一个先验参考信息，并将该类别标识与设定的类别标识一并输入到检测模块108，以使所述检测模块108生成这些类别标识对应的特定尺寸的锚框。
例如，若设定的类别标识包含汽车和人的类别标识，则类别标识管理模块109将前一帧图像中检测到的置信度大于设定阈值的类别标识以及所述汽车和人的类别标识作为类别标识参考信息，输入到目标检测模块104。
在图1所示系统中，点云数据处理模块102和目标检测模块104的功能可以通过一个网络模型实现，该网络模型的输入可以为第一点云数据和对应的第一图像，输出为第一图像中检测到的目标对象对应的锚框、目标对象的类别标识，以及各类别标识对应的置信度；或者，该网络模型的输入可以为第一点云数据和对应的第一图像，以及在该第一图像之前进行目标检测的一帧图像的目标检测结果，输出为该第一图像中检测到的目标对象对应的锚框、目标对象的类别标识，以及各类别标识对应的置信度。
可以理解的是，图1中所示的系统的结构并不构成对本申请实施例提供的目标检测方法应用的系统的具体限定。在本申请另一些实施例中，目标检测方法可能应用的系统可以包括比图1所示的更多或更少的模块，或者组合某些模块，或者拆分某些模块，或者不同的模块布置。
需要说明的是，图1中所示的系统架构中包括的装置、模块、功能等，可以全部集成到一个装置中实现，也可以分布在不同的装置中实现。例如，在自动驾驶场景中，图1所示的系统可以全部包含在自动驾驶车辆中。又例如，图1中所示的点云采集模块101、图像采集模块103可以分别为独立的装置，除所述点云采集模块101、图像采集模块103之外的各模块的功能可以集成到一个处理装置或服务器或云端中实现。
当然，图1也只是一种示例，本申请实施例应用的系统不限于此。
下面结合具体实施例，对本申请提供的目标检测方法进行详细介绍。
图2为本申请实施例提供的一种目标检测方法的示意图。
为了便于介绍，在下文中，以本申请提供的目标检测方法由目标检测装置执行为例进行说明。目标检测装置可以但不限于为本申请实施例提供的具有数据处理能力的装置，例如可以为上述的车辆或车载设备，或者服务器、云端服务器等。
如图2所示，本申请提供的目标检测方法包括：
S201：目标检测装置获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像，其中，所述第一点云数据包含多个点云。
本申请实施例中，目标检测装置可以分别接收雷达传感器发送的第一点云数据，以及摄像头传感器发送的第一图像，基于所述第一点云数据和所述第一图像进行目标检测。
在本申请一些实施例中，目标检测装置获取第一点云数据和第一图像的方式还可以是接收用户输入的第一点云数据和第一图像，或者目标检测装置可以直接采集第一点云数据和第一图像。
在本申请一些实施例中，所述第一点云数据和第一图像为所述雷达传感器和摄像头传感器在同一时刻获取的、对应同一场景的数据。
在本申请一些实施例中，所述方法应用于如图1所示的系统中时，步骤S201所述的雷达传感器可以作为图1中所示的点云采集模块101，摄像头传感器可以作为图1中所示的图像采集模块103。
S202：目标检测装置将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云。
上述目标检测装置获取第一点云数据和对应的第一图像后，将所述第一点云数据投影到所述第一图像，得到第二点云数据。具体的，目标检测装置可以根据所述第一点云数据中点云所在坐标系中的坐标，与所述第一图像的图像平面坐标系中的坐标之间的转换关系，对所述第一点云数据中点云的坐标进行转换，得到所述第一点云数据中点云映射到所述第一图像的图像平面后，在所述图像平面中的位置坐标。
其中，所述第二点云数据中包含的多个点云(也可以称为投影点)与所述第一点云数据中包含的多个点云一一对应。所述第二点云数据中的任一个点云为对应的第一点云数据中的点云映射到所述第一图像的图像平面后的特征点。
在雷达传感器为毫米波雷达，摄像头传感器为摄像头时，目标检测装置可以根据毫米波雷达和摄像头的标定参数，将第一点云数据映射到第一图像的图像平面中，得到第二点云数据。
其中，第一点云数据中的点云与其对应的第二点云数据中的点云之间的映射关系符合如下公式：
p＝HP
其中，P＝[X,Y,Z,1]，表示第一点云数据中的点云在点云坐标系中的坐标，p＝[x,y,1]，表示第二点云数据中的点云在图像平面坐标系中的坐标，
Figure BDA0003000645930000111
表示摄像头的标定参数。
在本申请一些实施例中，所述第二点云数据中点云的参数至少包括点云在所述第一图像的图像平面中的坐标、点云的距离参数以及点云的RCS，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
示例性的，上述第一点云数据映射到第一图像后，得到的第二点云数据中，对于任一个点云，该点云的位置信息可以表示为(x1，y1，d1)，其中，x1、y1分别为该点云A在所述第一图像的图像平面坐标系中的坐标，d1为该点云A的距离参数，表示在BEV视角下，该点云A到摄像头所在的竖直平面的距离。则目标检测装置可以根据第二点云数据中每个点云的位置信息，对第二点云数据进行栅格划分。
在本申请一些实施例中，所述方法应用于如图1所示的系统中时，步骤S202所述的方法可以由图1中所示的映射模块105执行。
S203：目标检测装置对所述第二点云数据进行栅格划分。
上述目标检测装置得到第二点云数据后，按照设定栅格大小，将所述第二点云数据划分为多个栅格，再根据每个栅格中点云的距离参数，将每个栅格中包含的点云划分为多个点云集合，完成对所述第二点云数据的栅格划分，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
示例性的，基于以上实施例，目标检测装置对第二点云数据进行栅格划分时，首先按照设定栅格大小，将图像平面划分为多个栅格，其中，图像大小为M×N像素，划分后得到的每个栅格大小为m×n像素，M、N、m、n均为正数，则目标检测装置可以根据第二点云数据中点云在所述第一图像的图像平面坐标系中的坐标，确定每个栅格中包含的点云。然后，目标检测装置在摄像头所在的竖直平面的BEV视角平面中，根据点云的距离参数，对从距摄像头最近的点云到距摄像头最远的点云，按照设定距离大小(如单位距离)进行纵向分割，使得每个栅格对应的每个设定距离范围内的点云组成一个点云集合。最终实现将第二点云数据中的点云划分为多个大小为m×n×L的栅格，其中，m×n为设定栅格大小，L为设定距离大小。
在本申请一些实施例中，所述方法应用于如图1所示的系统中时，步骤S203所述的方法可以由图1中所示的栅格划分模块106执行。
S204：目标检测装置根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云。
目标检测装置对第二点云数据进行栅格划分后，对于每个栅格，分别根据该栅格包含的点云集合中点云的特征数据，确定每个点云集合的目标点云，并将该栅格中包含的多个点云集合的目标点云，作为该栅格的目标点云。其中，点云的特征数据用于表示点云对应的雷达回波强度，该特征数据具体可以为RCS；每个点云集合的目标点云用于代表该点云集合中点云的空间分布特征；每个栅格对应至少一个目标点云。
目标检测装置确定每个点云集合的目标点云时，可以计算每个点云集合中包含的点云的形心点，将计算得到的形心点作为该点云集合的目标点云。
在本申请一些实施例中，每个点云集合中任意两个点云的RCS之差小于设定阈值，或者，在每个点云集合包含的点云中，仅保留满足任意两个点云的RCS之差小于设定阈值这一条件的部分点云。
通过上述方式，目标检测装置可以根据同一栅格中点云的RCS的相似性，从栅格包含的点云中选择RCS相差小于设定阈值的至少一个点云，计算其在栅格空间中的形心点，将计算得到的形心点作为栅格的目标点云，用于后续生成锚框。该方式能够极大减少生成锚框时参考的目标点云的数量，降低生成锚框的数据处理量，进而提高目标检测效率。
目标检测装置确定第二点云数据中每个栅格的目标点云后，将所述第二点云数据中多个栅格的目标点云，作为所述第二点云数据进行栅格划分后的目标点云，得到所述多个目标点云。
在本申请一些实施例中，所述方法应用于如图1所示的系统中时，所述步骤S204所述的方法可以由图1中所示的栅格划分模块106执行。
S205：目标检测装置在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框。
其中，在所述多个目标点云中，任一个目标点云的任一个锚框包含该目标点云。
目标检测装置在确定所述多个目标点云之后，将所述多个目标点云作为后续生成锚框的兴趣点，通过为所述多个目标点云中的每个目标点云生成包含该目标点云的至少一个锚框，得到多个锚框，以便根据所述多个锚框确定待检测的目标对象的位置。
具体实施时，目标检测装置可以分别执行如下2个步骤：
步骤1、目标检测装置获取至少一种类别标识，其中，不同类别标识分别用于标识不同对象的类别。
本申请实施例中，类别标识具体可以为对象所属类别的名称、代码等，或者其它任何用于代表对象所属类别的信息。
在本申请一些实施例中，所述至少一种类别标识中可以包括如下所述的设定的类别标识和/或对参考图像进行目标检测后确定的类别标识。
1)设定的类别标识。
在该方式中，所述设定的类别标识可以设置为目标检测场景下出现频率较大的对象的类别的标识。其中，所述设定的类别标识可以为用户输入的。
例如，目标检测场景为自动驾驶场景时，所述设定的类别标识可以设置为车辆行驶场景中经常出现的对象的类别的标识，如车辆和行人两种对象的类别标识，将这些对象的类别标识作为基本的类别标识，在对该场景下获取的每帧图像进行目标检测时，都生成这些类别标识对应的锚框，可以提高目标检测的简捷性和准确度。
2)对参考图像进行目标检测后确定的类别标识。
在该方式中，所述参考图像为在所述第一图像之前进行目标检测的一帧图像。
连续多帧图像(如视频流中的连续多帧图像)中显示内容一般比较接近，相邻图像包含对象的类别可能比较接近，因此，在对连续多帧图像进行目标检测时，可以参考当前帧图像的前一帧图像中包含的对象的类别，来确定在当前帧图像中需要生成哪些类别标识对应的锚框，从而使针对当前图像确定的类别标识更接近于当前图像中实际包含的对象的类别标识，进一步提高目标检测的准确度。
可选的，所述对参考图像进行目标检测后确定的类别标识的置信度大于设定阈值。
具体的，故障检测装置在利用网络模型对参考图像进行目标检测后，可以得到所述网络模型输出的检测结果，该检测结果包括在所述参考图像中检测到的不同对象的类别对应的类别标识，以及各类别标识对应的置信度，故障检测装置从各类别标识中选择对应的置信度大于设定阈值的类别标识，作为对参考图像进行目标检测后确定的类别标识，可以保证根据参考图像确定的类别标识的可信度和准确度。
步骤2、目标检测装置根据所述至少一种类别标识，分别为所述多个目标点云中的每个目标点云生成包含该目标点云的至少一个锚框。
该步骤中，目标检测装置可以采用如下任一方式生成目标点云的至少一个锚框：
方式1
先确定至少一个锚框尺寸，其中所述至少一个锚框尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个锚框尺寸；再确定每个目标点云的符合所述至少一个锚框尺寸的至少一个锚框。
在本申请一些实施例中，目标检测装置可以存储不同类别标识与锚框尺寸的对应关系，在该对应关系中，一个类别标识可以对应多个不同的锚框尺寸，一个锚框尺寸也可以对应多个不同的类别标识。
其中，所述不同类别标识与锚框尺寸的对应关系可以为用户输入的。不同锚框的尺寸可以是用户设定的，也可以通过对包含不同对象实际尺寸的数据集真值进行分类或机器学习得到，或者是根据不同对象实例在实际中的常见大小和高宽比例确定。
在该方式中，锚框尺寸包括锚框的面积参数和高宽比参数，所述面积参数为锚框的面积，用于表示锚框的大小，所述高宽比参数为锚框的两个相邻边长的长度之间的比值。不同的锚框尺寸对应的面积参数和/或比例参数不同。
作为一种可选的实施方式，在不同类别标识与不同锚框尺寸的对应关系中，每个类别标识可以对应多个不同的面积参数，每个面积参数可以对应多个不同的高宽比参数；或者每个类别标识可以对应多个不同的高宽比参数，每个高宽比参数可以对应多个不同的面积参数。
示例性的，在目标检测场景为自动驾驶场景时，不同类别标识与不同锚框尺寸的对应关系中，每种类别标识可以对应4个面积参数(128、256、512、1024像素)。考虑目标对象正对摄像头和侧对摄像头时，在图像呈现的大小不同，因此可以针对目标对象正对摄像头和侧对摄像头的状态分别设置两个角度的高宽比参数，即每种类别标识对应两种不同角度的高宽比参数，如下表1所示：
表1自动驾驶场景中常见类别对象实例的高宽比
Figure BDA0003000645930000131
Figure BDA0003000645930000141
如上表1中所示，每种类别标识对应2个高宽比参数，则与上述4个面积参数组合后可得到8种不同大小的锚框尺寸，因此，基于上述面积参数和高宽比参数，目标检测装置生成锚框时，可以针对每个目标点云，分别生成8个不同大小的锚框。
可以理解的是，上述表1所示的不同类别对象实例及其高宽比参数进行本申请实施例中提供的示例性说明，本申请实施例中可以采用类似的方法来生成更多类别、更多尺寸的锚框，从而满足检测精度的要求。
方式2
先确定至少一个对象尺寸，其中，所述至少一个对象尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个对象尺寸，任一个类别标识对应的对象尺寸用于表示所述类别标识所属的对象的尺寸；然后根据所述至少一个对象尺寸，确定至少一个映射尺寸，其中，所述至少一个对象尺寸与所述至少一个映射尺寸一一对应，任一个对象尺寸对应的映射尺寸为目标类别标识所属的对象映射到所述第一图像后的尺寸，所述目标类别标识为所述对象尺寸对应的类别标识；再确定每个目标点云的符合所述至少一个映射尺寸的至少一个锚框。
其中，对象尺寸与对应的映射尺寸之间的关系符合如下公式：
Figure BDA0003000645930000142
其中，s表示缩放系数，u、v表示映射尺寸，dx、dy为一个像素的大小(长和高)，v0表示原点的平移量，
Figure BDA0003000645930000143
表示摄像头的内参数，f为摄像头的焦距，R为旋转矩阵，t为平移向量，
Figure BDA0003000645930000144
表示摄像头的外参数，Xw、Yw、Zw表示对象尺寸。
在本申请一些实施例中，目标检测装置可以存储不同类别标识对应的对象尺寸。所述不同类别标识与对象尺寸的对应关系可以为用户输入的。不同对象尺寸可以是用户设定的，也可以通过对包含不同对象实际尺寸的数据集真值进行分类或机器学习得到，或者是根据不同对象实例在实际中的常见大小确定。
在该方式中，锚框尺寸包括锚框的两个相邻边的边长大小。该参数可以通过类别反馈信息和标定参数来确定。
示例性的，通过常见类别对象实例在实际的世界坐标系中的大小的统计，根据摄像头的小孔成像模型，可以根据目标点云到摄像头所在的竖直平面的距离即目标点云的距离参数，将常见类别的对象实例在世界坐标系中的大小映射到第一图像的图像平面，得到类别标识对应的锚框大小，进而可以得到特定类别、特定大小的锚框。
本申请实施例中，生成锚框是为了标记图像中的目标对象，因此，锚框的尺寸需要与目标对象的实际尺寸相对应。而目标对象距离图像采集装置的距离不同，其在图像中显示的大小也不同。因此，上述方式中，根据类别标识对应的目标对象的实际距离和雷达探测的点云的距离参数，结合摄像头的小孔成像原理，来确定类别标识对应的锚框尺寸，能够提高生成的锚框大小的准确度，进而提高目标检测的效率。
在本申请一些实施例中，在任一个目标点云的任一个锚框中，所述目标点云位于所述锚框包围的区域中的任意位置，例如位于所述锚框的中心位置，或者位于所述锚框的任一边长中的任意位置，例如位于所述锚框的任一边长的中点位置。
具体的，目标检测装置确定针对每个目标点云生成的至少一个锚框尺寸后，在生成锚框时，可采用以目标点云作为中心点的方式生成目标点云对应的一些锚框。在此基础上，目标检测装置可以对已生成的目标点云的锚框的位置进行平移，使得目标点云变为锚框的任一边长上的一点(例如中点)，来得到相对更多的锚框。
需要说明的是，实际生成目标点云对应的锚框时，锚框的大小、位置及数量等信息可结合实际应用场景进行灵活设置及调整。
在本申请一些实施例中，所述方法应用于如图1所示的系统中时，步骤S205所述的方法可以由图1中所示的检测模块108和类别标识管理模块109执行，例如，上述的确定生成目标点云对应的锚框时所参考的至少一种类别标识的方法可以由所述类别标识管理模块109执行，上述根据所述至少一种类别标识来生成目标点云对应的目标锚框的方法可以由所述检测模块108执行。
S206：目标检测装置根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
目标检测装置为目标点云生成对应的至少一个用于目标检测的锚框后，可以根据目标点云的距离参数，按照如下公式对生成的锚框大小进行补偿：
Figure BDA0003000645930000151
其中，s为目标点云对应的缩放系数，α、β为调整锚框大小的比例因子，可以通过模型训练获取，d为目标点云的距离参数。
目标检测装置对生成的锚框大小进行补偿后，可以基于卷积神经网络模型对包含生成的多个锚框的第一图像进行识别，其中可结合通过图像特征提取得到的图像特征进行目标对象检测及分类，识别所述第一图像中包含的每个目标对象的目标类别，并确定所述目标类别的置信度；以及在每个目标点云的至少一个锚框中，确定每个目标对象所在的目标锚框。综上，目标检测装置结合点云数据和图像进行目标检测后，可以得到第一图像中包含的每个目标对象的目标类别，每个目标对象的目标类别的类别标识，每个目标对象的目标类别的置信度，以及每个目标对象所在的目标锚框，其中，任一个目标锚框用于在所述第一图像中标记对应的目标对象的位置。
在本申请一些实施例中，所述方法应用于如图1所示的系统中时，步骤S206所述的方法可以由图1中所示的特征提取模块107和检测模块108执行。
需要说明的是，本申请实施例中所描述的各个实施例中的步骤编号仅为执行流程的一种示例，并不构成对步骤执行的先后顺序的限制，本申请实施例中相互之间没有时序依赖关系的步骤之间没有严格的执行顺序。
上述实施例中，通过将雷达传感器采集的第一点云数据映射到摄像头传感器采集的第一图像，得到第二点云数据，实现点云数据与图像的融合，对融合后的第二点云数据进行栅格划分，并结合栅格中相似RCS信息的点云体素特征，确定栅格对应的目标点云，大大减少了所需点云的数量，对应减小生成的锚框个数的同时，也综合了每个点云的特征，解决了基于每个点云都生成锚框造成的网络冗余等问题，加快了进行目标检测的检测速度。同时，上述方案通过小空间(栅格)的点云特征综合，进行点云数量精简，即便在存在雷达噪点的情况下，也能够减小局部噪点密集带来的影响，减缓噪点带来的处理迟钝等问题。
此外，上述实施例中可以结合上一帧图像的检测结果的反馈，将上一帧图像中检测出的类别标识作为先验信息，可以对当前帧图像中生成的锚框进行调整，能够进一步提高精度，实现利用先验信息提升检测准确度的效果。
基于以上实施例及相同构思，本申请实施例还提供了一种目标检测装置，如图3所示，所述目标检测装置300可以包括：数据获取单元301和处理单元302。
所述数据获取单元301，用于获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像，其中，所述第一点云数据包含多个点云；所述处理单元302，用于将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云；对所述第二点云数据进行栅格划分；根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云；在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框；根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
在一种可能的设计中，所述特征数据用于表示点云的雷达回波强度或点云的雷达回波强度分布特征或点云的极化特征。
在一种可能的设计中，在每个目标点云对应的至少一个锚框中，任一个目标点云对应的任一个锚框包含所述目标点云。
在一种可能的设计中，所述处理单元302对所述第二点云数据进行栅格划分时，具体用于：按照设定栅格大小，将所述第二点云数据划分为多个栅格；根据每个栅格中点云的距离参数，将每个栅格中包含的点云划分为多个点云集合，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
在一种可能的设计中，所述处理单元302根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云时，具体用于：在每个栅格中，分别根据每个点云集合中点云的特征数据，确定每个点云集合的目标点云；将每个栅格中包含的多个点云集合的目标点云，作为每个栅格的目标点云；将所述第二点云数据包含的多个栅格的目标点云，作为所述第二点云数据进行栅格划分后的目标点云，得到所述多个目标点云。
在一种可能的设计中，所述处理单元302在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框时，具体用于：获取至少一种类别标识，其中，不同类别标识分别用于表示不同对象的类别；根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框。
在一种可能的设计中，所述至少一种类别标识包括设定的类别标识和/或对参考图像进行目标检测后确定的类别标识，其中，所述参考图像为在所述第一图像之前进行目标检测的一帧图像。
在一种可能的设计中，所述对参考图像进行目标检测后确定的类别标识的置信度大于设定阈值。
在一种可能的设计中，所述处理单元302根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框时，具体用于：确定至少一个锚框尺寸，其中，所述至少一个锚框尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个锚框尺寸；确定每个目标点云的符合所述至少一个锚框尺寸的至少一个锚框。
在一种可能的设计中，所述处理单元302根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框，具体用于：确定至少一个对象尺寸，其中，所述至少一个对象尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个对象尺寸，任一个类别标识对应的对象尺寸用于表示所述类别标识所属的对象的尺寸；根据所述至少一个对象尺寸，确定至少一个映射尺寸，其中，所述至少一个对象尺寸与所述至少一个映射尺寸一一对应，任一个对象尺寸对应的映射尺寸为目标类别标识所属的对象映射到所述第一图像后的尺寸，所述目标类别标识为所述对象尺寸对应的类别标识；确定每个目标点云的符合所述至少一个映射尺寸的至少一个锚框。
在一种可能的设计中，在任一个目标点云的任一个锚框中，所述目标点云位于所述锚框包围的区域中的任意位置，例如位于所述锚框的中心位置，或者位于所述锚框的任一边长中的任意位置，例如位于所述锚框的任一边长的中点位置。
在一种可能的设计中，所述处理单元302根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置，具体用于：识别所述第一图像中包含的每个目标对象的目标类别，并确定所述目标类别的置信度；在每个目标点云的至少一个锚框中，确定每个目标对象所在的目标锚框；输出检测结果，所述检测结果包含：每个目标对象的目标类别，每个目标对象的目标类别的类别标识，每个目标对象的目标类别的置信度，以及每个目标对象所在的目标锚框。
作为一种实现方式，所述目标检测装置300还可以包括存储单元303，用于存储所述目标检测装置300的程序代码和数据。其中，所述处理单元302可以是处理器或控制器，例如可以是通用中央处理器(central processing unit，CPU)，通用处理器，数字信号处理(digital signal processing，DSP)，专用集成电路(application specific integratedcircuits，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块等。所述处理器也可以是实现计算功能的组合，例如包括一个或多个微处理器组合，DSP和微处理器的组合等等。所述存储单元303可以是存储器。所述数据获取单元301可以是一种该目标检测装置的接口电路，用于从其它装置接收数据，例如接收雷达传感器发送的第一点云数据。当该目标检测装置以芯片的方式实现时，数据获取单元301可以是该芯片用于从其它芯片或装置接收数据或者向其它芯片或装置发送数据的接口电路。
本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
图3中的各个单元的只一个或多个可以软件、硬件、固件或其结合实现。所述软件或固件包括但不限于计算机程序指令或代码，并可以被硬件处理器所执行。所述硬件包括但不限于各类集成电路，如中央处理单元(CPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
基于以上实施例及相同构思，本申请实施例还提供了一种目标检测装置，用于实现本申请实施例提供的目标检测方法。如图4所示，所述目标检测装置400可以包括：一个或多个处理器401，存储器402，以及一个或多个计算机程序(图中未示出)。作为一种实现方式，上述各器件可以通过一个或多个通信线路403耦合。其中，存储器402中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令；处理器401调用存储器402中存储的所述指令，使得目标检测装置400执行本申请实施例提供的目标检测方法。
在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置。
作为一种实现方式，所述目标检测装置400还可以包括通信接口404，用于通过传输介质和其它装置进行通信，例如，在采集第一点云数据的装置不是所述目标检测装置400时，所述目标检测装置400可以通过所述通信接口404，与采集第一点云数据的装置如雷达传感器进行通信，从而接收该装置采集的第一点云数据。在本申请实施例中，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。在本申请实施例中，通信接口为收发器时，收发器可以包括独立的接收器、独立的发射器；也可以集成收发功能的收发器、或者是接口电路。
在本申请一些实施例中，所述处理器401、存储器402以及通信接口404可以通过通信线路403相互连接；通信线路403可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。所述通信线路403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供的方法中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，简称DVD)、或者半导体介质(例如，SSD)等。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (23)

1.一种目标检测方法，其特征在于，包括：
获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像，其中，所述第一点云数据包含多个点云；
将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云；
对所述第二点云数据进行栅格划分；
根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云；
在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框；
根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
2.根据权利要求1所述的方法，其特征在于，所述特征数据用于表示点云的雷达回波强度或点云的雷达回波强度分布特征或点云的极化特征。
3.根据权利要求1或2所述的方法，其特征在于，在每个目标点云对应的至少一个锚框中，任一个目标点云对应的任一个锚框包含所述目标点云。
4.根据权利要求1～3任一所述的方法，其特征在于，对所述第二点云数据进行栅格划分，包括：
按照设定栅格大小，将所述第二点云数据划分为多个栅格；
根据每个栅格中点云的距离参数，将每个栅格中包含的点云划分为多个点云集合，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
5.根据权利要求4所述的方法，其特征在于，根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，包括：
在每个栅格中，分别根据每个点云集合中点云的特征数据，确定每个点云集合的目标点云；
将每个栅格中包含的多个点云集合的目标点云，作为每个栅格的目标点云；
将所述第二点云数据包含的多个栅格的目标点云，作为所述第二点云数据进行栅格划分后的目标点云，得到所述多个目标点云。
6.根据权利要求1～5任一所述的方法，其特征在于，在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框，包括：
获取至少一种类别标识，其中，不同类别标识分别用于表示不同对象的类别；
根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框。
7.根据权利要求6所述的方法，其特征在于，所述至少一种类别标识包括设定的类别标识和/或对参考图像进行目标检测后确定的类别标识，其中，所述参考图像为在所述第一图像之前进行目标检测的一帧图像。
8.根据权利要求7所述的方法，其特征在于，所述对参考图像进行目标检测后确定的类别标识的置信度大于设定阈值。
9.根据权利要求6～8任一所述的方法，其特征在于，根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框，包括：
确定至少一个锚框尺寸，其中，所述至少一个锚框尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个锚框尺寸；
确定每个目标点云的符合所述至少一个锚框尺寸的至少一个锚框。
10.根据权利要求6～8任一所述的方法，其特征在于，根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框，包括：
确定至少一个对象尺寸，其中，所述至少一个对象尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个对象尺寸，任一个类别标识对应的对象尺寸用于表示所述类别标识所属的对象的尺寸；
根据所述至少一个对象尺寸，确定至少一个映射尺寸，其中，所述至少一个对象尺寸与所述至少一个映射尺寸一一对应，任一个对象尺寸对应的映射尺寸为目标类别标识所属的对象映射到所述第一图像后的尺寸，所述目标类别标识为所述对象尺寸对应的类别标识；
确定每个目标点云的符合所述至少一个映射尺寸的至少一个锚框。
11.根据权利要求1～10任一所述的方法，其特征在于，在任一个目标点云的任一个锚框中，所述目标点云位于所述锚框的中心位置，或者位于所述锚框的任一边长的中点位置。
12.根据权利要求1～11任一所述的方法，其特征在于，根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置，包括：
识别所述第一图像中包含的每个目标对象的目标类别，并确定所述目标类别的置信度；
在每个目标点云的至少一个锚框中，确定每个目标对象所在的目标锚框；
输出检测结果，所述检测结果包含：每个目标对象的目标类别，每个目标对象的目标类别的类别标识，每个目标对象的目标类别的置信度，以及每个目标对象所在的目标锚框。
13.一种目标检测装置，其特征在于，包括数据获取单元和处理单元；
所述数据获取单元，用于获取雷达传感器采集的第一点云数据和对应的摄像头传感器采集的第一图像，其中，所述第一点云数据包含多个点云；
所述处理单元，用于将所述第一点云数据映射到所述第一图像的图像平面，得到第二点云数据，其中，所述第二点云数据包含多个点云；对所述第二点云数据进行栅格划分；根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云，其中，任一个目标点云对应所述第二点云数据中的至少一个点云；在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框；根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置。
14.根据权利要求13所述的目标检测装置，其特征在于，所述特征数据用于表示点云的雷达回波强度或点云的雷达回波强度分布特征或点云的极化特征；
在每个目标点云对应的至少一个锚框中，任一个目标点云对应的任一个锚框包含所述目标点云。
15.根据权利要求13或14所述的目标检测装置，其特征在于，所述处理单元对所述第二点云数据进行栅格划分时，具体用于：
按照设定栅格大小，将所述第二点云数据划分为多个栅格；
根据每个栅格中点云的距离参数，将每个栅格中包含的点云划分为多个点云集合，其中，所述距离参数用于表示点云到所述雷达传感器的水平距离。
16.根据权利要求15所述的目标检测装置，其特征在于，所述处理单元根据所述第二点云数据中点云的特征数据，确定所述第二点云数据进行栅格划分后的多个目标点云时，具体用于：
在每个栅格中，分别根据每个点云集合中点云的特征数据，确定每个点云集合的目标点云；
将每个栅格中包含的多个点云集合的目标点云，作为每个栅格的目标点云；
将所述第二点云数据包含的多个栅格的目标点云，作为所述第二点云数据进行栅格划分后的目标点云，得到所述多个目标点云。
17.根据权利要求13～16任一所述的目标检测装置，其特征在于，所述处理单元在所述第一图像中，生成所述多个目标点云中每个目标点云对应的至少一个锚框时，具体用于：
获取至少一种类别标识，其中，不同类别标识分别用于表示不同对象的类别；根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框；或者
确定至少一个锚框尺寸，其中，所述至少一个锚框尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个锚框尺寸；确定每个目标点云的符合所述至少一个锚框尺寸的至少一个锚框。
18.根据权利要求17所述的目标检测装置，其特征在于，所述至少一种类别标识包括设定的类别标识和/或对参考图像进行目标检测后确定的类别标识，其中，所述参考图像为在所述第一图像之前进行目标检测的一帧图像；
所述对参考图像进行目标检测后确定的类别标识的置信度大于设定阈值；
在任一个目标点云的任一个锚框中，所述目标点云位于所述锚框的中心位置，或者位于所述锚框的任一边长的中点位置。
19.根据权利要求17或18所述的目标检测装置，其特征在于，所述处理单元根据所述至少一种类别标识，确定每个目标点云的所述至少一种类别标识对应的至少一个锚框时，具体用于：
确定至少一个对象尺寸，其中，所述至少一个对象尺寸包含所述至少一种类别标识中每种类别标识对应的至少一个对象尺寸，任一个类别标识对应的对象尺寸用于表示所述类别标识所属的对象的尺寸；
根据所述至少一个对象尺寸，确定至少一个映射尺寸，其中，所述至少一个对象尺寸与所述至少一个映射尺寸一一对应，任一个对象尺寸对应的映射尺寸为目标类别标识所属的对象映射到所述第一图像后的尺寸，所述目标类别标识为所述对象尺寸对应的类别标识；
确定每个目标点云的符合所述至少一个映射尺寸的至少一个锚框。
20.根据权利要求13～19任一所述的目标检测装置，其特征在于，所述处理单元根据生成的每个目标点云对应的至少一个锚框进行目标检测，确定待检测的至少一个目标对象的位置时，具体用于：
识别所述第一图像中包含的每个目标对象的目标类别，并确定所述目标类别的置信度；
在每个目标点云的至少一个锚框中，确定每个目标对象所在的目标锚框；
输出检测结果，所述检测结果包含：每个目标对象的目标类别，每个目标对象的目标类别的类别标识，每个目标对象的目标类别的置信度，以及每个目标对象所在的目标锚框。
21.一种目标检测装置，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算程序，实现如权利要求1～12中任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令，当所述计算机程序指令在目标检测装置上运行时，使得所述目标检测装置执行如权利要求1～12任一项所述的方法。
23.一种终端，其特征在于，所述终端包括如权利要求13～20中任一项所述的目标检测装置，或者包括如权利要求21中所述的目标检测装置。
CN202110345758.9A 2021-03-31 2021-03-31 一种目标检测方法及装置 Pending CN115147333A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110345758.9A CN115147333A (zh) 2021-03-31 2021-03-31 一种目标检测方法及装置
PCT/CN2022/082553 WO2022206517A1 (zh) 2021-03-31 2022-03-23 一种目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110345758.9A CN115147333A (zh) 2021-03-31 2021-03-31 一种目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN115147333A true CN115147333A (zh) 2022-10-04

Family

ID=83404575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110345758.9A Pending CN115147333A (zh) 2021-03-31 2021-03-31 一种目标检测方法及装置

Country Status (2)

Country Link
CN (1) CN115147333A (zh)
WO (1) WO2022206517A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치
CN115469292B (zh) * 2022-11-01 2023-03-24 天津卡尔狗科技有限公司 环境感知方法、装置、电子设备和存储介质
CN116469014B (zh) * 2023-01-10 2024-04-30 南京航空航天大学 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11391844B2 (en) * 2018-12-19 2022-07-19 Fca Us Llc Detection and tracking of road-side pole-shaped static objects from LIDAR point cloud data
CN110988912B (zh) * 2019-12-06 2022-12-02 青岛慧拓智能机器有限公司 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111652097B (zh) * 2020-05-25 2023-04-18 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法

Also Published As

Publication number Publication date
WO2022206517A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
WO2022012158A1 (zh) 一种目标确定方法以及目标确定装置
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
CN111553859A (zh) 一种激光雷达点云反射强度补全方法及系统
KR20220119396A (ko) 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정
CN115147333A (zh) 一种目标检测方法及装置
US20220319146A1 (en) Object detection method, object detection device, terminal device, and medium
CN114051628B (zh) 一种确定目标对象点云集的方法及装置
CN110390706B (zh) 一种物体检测的方法和装置
EP3703008A1 (en) Object detection and 3d box fitting
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
US20230082097A1 (en) Method and device for multi-sensor data-based fusion information generation for 360-degree detection and recognition of surrounding object
CN113658257A (zh) 一种无人设备定位方法、装置、设备及存储介质
CN113325388A (zh) 一种自动驾驶中激光雷达泛光噪点的过滤方法和装置
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
US20230334819A1 (en) Illuminant estimation method and apparatus for electronic device
CN117423087A (zh) 三维目标检测方法、装置、终端及计算机可读存储介质
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN116778262A (zh) 一种基于虚拟点云的三维目标检测方法和系统
US20220318456A1 (en) Simulation method based on three-dimensional contour, storage medium, computer equipment
CN115761425A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication