CN112802092A - 一种障碍物感知方法、装置以及电子设备 - Google Patents

一种障碍物感知方法、装置以及电子设备 Download PDF

Info

Publication number
CN112802092A
CN112802092A CN202110126742.9A CN202110126742A CN112802092A CN 112802092 A CN112802092 A CN 112802092A CN 202110126742 A CN202110126742 A CN 202110126742A CN 112802092 A CN112802092 A CN 112802092A
Authority
CN
China
Prior art keywords
point cloud
monocular camera
frame
target
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110126742.9A
Other languages
English (en)
Other versions
CN112802092B (zh
Inventor
黎明慧
廖毅雄
马福龙
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiqing Innovation Technology Co ltd
Original Assignee
Shenzhen Yiqing Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiqing Innovation Technology Co ltd filed Critical Shenzhen Yiqing Innovation Technology Co ltd
Priority to CN202110126742.9A priority Critical patent/CN112802092B/zh
Publication of CN112802092A publication Critical patent/CN112802092A/zh
Application granted granted Critical
Publication of CN112802092B publication Critical patent/CN112802092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例涉及自动驾驶技术领域，特别是涉及一种障碍物感知方法、装置以及电子设备。该方法包括：获取单线雷达的点云图像以及单目相机图像；对单目相机图像进行目标检测，得到单目相机图像中的障碍物类型及预测框；将点云图像和单目相机图像进行同步处理；对点云图像中的点云进行聚类，得到标记框；将点云和标记框投入单目相机图像，并得到点云的像素坐标；获取预测框和标记框存在重叠的目标障碍物；确定所获取到的目标障碍物与车辆的距离。由于单目相机图像识别出的目标障碍物准确，则获得预测框，以及根据单线雷达的点云在单目相机图像中的像素坐标可准确的确定目标障碍物与设置单线雷达的车辆的距离。

Description

一种障碍物感知方法、装置以及电子设备
技术领域
本发明实施例涉及自动驾驶技术领域，特别是涉及一种障碍物感知方法、装置以及电子设备。
背景技术
自动驾驶车辆是一种不需要驾驶者就能启动、行驶以及停止的车辆。随着无人驾驶技术的发展，自动驾驶车辆将会逐步在人们的日常生活中推广。自动驾驶技术依赖于自动驾驶车辆对周围障碍物的感知。为实现对自动驾驶车辆周边障碍物的感知，通常在自动驾驶车辆上搭载多线激光雷达，通过多线激光雷达可以扫描到汽车周围环境的3D模型，运用相关算法对比上一帧及下一帧环境的变化，能较为容易的检测出周围的车辆及行人。
但是，在实现本发明实施例的过程中，发明人发现：多线激光雷达价格昂贵，会增加自动驾驶车辆的成本，而单线雷达价格较低，因获取的点云比较稀疏，难以检测出自动驾驶车辆周围的车辆及行人等障碍物。
发明内容
鉴于上述问题，本发明实施例提供了一种障碍物感知方法、装置以及电子设备，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种障碍物感知方法，应用于车辆，其中，所述车辆设置有单线雷达和单目相机，所述方法包括：获取单线雷达的点云图像以及单目相机图像；对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；将所述点云图像和所述单目相机图像进行同步处理；对所述点云图像中的点云进行聚类，得到标记框；将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；获取所述预测框和标记框存在重叠的目标障碍物；根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离。
在一种可选的方式中，所述将所述点云图像和所述单目相机图像进行同步处理的步骤，进一步包括：在所述单线雷达检测到点云时，根据预设时钟源，对所述单线雷达所检测到的所述点云图像设置时间戳；在所述单目相机检测到图像时，根据所述预设时钟源，对所述单目相机所检测到所述单目相机图像设置时间戳；将所述时间戳的间隔小于预设阈值的所述点云图像以及所述单目相机图像作为同一帧数据。
在一种可选的方式中，所述根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离的步骤，进一步包括：根据所述目标点云的像素坐标，获得所述目标障碍物的朝向；根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框；获取所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点；根据所述目标顶点与所述单线雷达的距离确定所述目标障碍物与所述车辆的距离。
在一种可选的方式中，所述根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框的步骤，进一步包括：获取所述预测框的四个顶点；根据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框。
在一种可选的方式中，所述根据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框的步骤，进一步包括：根据所述点云的像素坐标，获取所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h；根据所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h生成所述3D检测框的八个顶点，所述八个顶点的连线即为所述3D检测框。
在一种可选的方式中，所述3D检测框的八个顶点的坐标分别为：(xmin,ymin)、(xmin,ymin+h)、(xmin+w,ymin)、(xmin+w,ymin+h)、(xmin+0.8*w,ymin+0.1*h)、(xmin+0.8*w,ymin+1.1*h)、(xmin+0.2*w,ymin-0.15*h)和(xmin+0.2*w,ymin+0.85*h)。
根据本发明实施例的一个方面，提供了一种障碍物感知装置，应用于车辆，其中，所述车辆设置有单线雷达和单目相机，所述装置包括：第一获取模块，用于获取单线雷达的点云图像以及单目相机图像；检测模块，用于对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；同步模块，用于将所述点云图像和所述单目相机图像进行同步处理；聚类模块，用于对所述点云图像中的点云进行聚类，得到标记框；坐标转换模块，用于将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；第二获取模块，用于获取所述预测框和标记框存在重叠的目标障碍物；确定模块，用于根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离。
在一种可选的方式中，同步模块包括：第一设置单元，用于在所述单线雷达检测到点云时，根据预设时钟源，对所述单线雷达所检测到的所述点云图像设置时间戳；第二设置单元，用于在所述单目相机检测到图像时，根据所述预设时钟源，对所述单目相机所检测到所述单目相机图像设置时间戳；同步单元，用于将所述时间戳的间隔小于预设阈值的所述点云图像以及所述单目相机图像作为同一帧数据。
在一种可选的方式中，确定模块包括：第一获取单元，用于根据所述目标点云的像素坐标，获得所述目标障碍物的朝向；第二获取单元，用于根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框；第三获取单元，用于获取所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点；确定单元，用于根据所述目标顶点与所述单线雷达的距离确定所述目标障碍物与所述车辆的距离。
在一种可选的方式中，第二获取单元具体用于：获取所述预测框的四个顶点；据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框。
在一种可选的方式中，第二获取单元还用于：根据所述点云的像素坐标，获取所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h；根据所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h生成所述3D检测框的八个顶点，所述八个顶点的连线即为所述3D检测框。
在一种可选的方式中，所述3D检测框的八个顶点的坐标分别为：(xmin,ymin)、(xmin,ymin+h)、(xmin+w,ymin)、(xmin+w,ymin+h)、(xmin+0.8*w,ymin+0.1*h)、(xmin+0.8*w,ymin+1.1*h)、(xmin+0.2*w,ymin-0.15*h)和(xmin+0.2*w,ymin+0.85*h)。
根据本发明实施例的一个方面，提供了一种电子设备，该电子设备包括：至少一个处理器，以及存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
本发明实施例的有益效果是：区别于现有的障碍物感知的实现方法，本实施例能够实现根据单目相机图像准确的识别出障碍物，对障碍物进行框选，得到预测框，将单线雷达的点云进行聚类，对聚类进行框选得到标记框，将所述点云和标记框投入所述单目相机图像，得到所述点云的像素坐标，获取所述预测框和标记框存在重叠的障碍物，以及根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述单线雷达的距离，以及进一步的准确的确定目标障碍物与设置有所述单线雷达的车辆的距离。本实施例能够克服根据单线雷达获取的点云识别出的障碍物不准确，进而根据识别出的障碍物获取到的障碍物与单线雷达的距离不准确的缺陷。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种障碍物感知方法的流程示意图；
图2是本发明实施例提供的一种将点云图像和单目相机图像进行同步处理的方法的流程示意图；
图3是本发明实施例提供的一种确定所获取到的目标障碍物与车辆的距离的方法的流程示意图；
图4是本发明实施例提供的一种障碍物感知装置的示意图；
图5是本发明实施例提供的执行障碍物感知方法的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
请参阅图1，图1是本发明实施例提供的一种障碍物感知方法的流程示意图，该方法应用于车辆，该方法包括以下步骤：
步骤S10，获取单线雷达的点云以及单目相机图像。
其中，单线雷达和单目相机设置于车辆上，单线雷达和单目相机在车辆上的位置可以相同，也可以不相同。
单线雷达用于获取障碍物的点云图像，以及，点云图像中的点云与单线雷达的距离。根据点云与单线雷达的距离可推算点云在世界坐标系的坐标。所述世界坐标系的坐标原点可以是所述单线雷达所在的位置。
需要说明的是，例如，将车辆的车头与点云的距离作为车辆与点云的距离，则根据单线雷达在车辆上设置的位置，点云与单线雷达的距离可换算得到车辆与点云的距离。
单目相机用于获取障碍物的图像。
步骤S20，对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框。
在对单目相机图像进行目标检测时，可采用预设的模型进行，所述预设的模型为深度学习模型，可采用基于darknet的yolov4算法，并用TensorRT对yolov4训练得到的权重文件进行加速，得到trt文件。具体的，可将所述单目相机的图像输入yolov4算法，使用TensorRT加速后的模型对图像中的障碍物进行检测和识别。
根据预设的模型，在识别出障碍物时，可同时获得障碍物的类型，障碍物的类型可以是小汽车、人物、电动车和面包车等。
其中，所述预测框为对进行目标检测时得到的障碍物进行款选得到的。
其中，若所述单目相机的图像上识别出多个障碍物时，则分别对每个障碍物进行框选，对每个障碍物进行框选得到一个预测框，即单目相机图像上识别出多个障碍物就将得到多少个预测框。
步骤S30，将所述点云图像和所述单目相机图像进行同步处理。
在一些实施例中，请参阅图2，所述将所述点云图像和所述单目相机图像进行同步处理的步骤，即步骤S30，进一步包括以下步骤：
步骤S301，在所述单线雷达检测到点云时，根据预设时钟源，对所述单线雷达所检测到的所述点云图像设置时间戳。
所述预设时钟源可以是分别与所述单线雷达和单目相机连接，以进行数据交互的主控电脑的时钟，或者，所述车辆的时钟，或者，北斗卫星导航系统的时钟。
步骤S302，在所述单目相机检测到图像时，根据所述预设时钟源，对所述单目相机所检测到所述单目相机图像设置时间戳。
步骤S303，将所述时间戳的间隔小于预设阈值的所述点云图像以及所述单目相机图像作为同一帧数据。
其中，预设阈值是用户自定义的，在一些实施例中，可将单线雷达所检测到的所述点云图像的时间戳与单目相机所检测到的单目相机图像的时间戳的间隔小于3ms的数据作为同一帧数据，即对所述点云图像和所述单目相机图像进行同步处理。
由于检测周期、数据返回周期等的不同，单线雷达所检测到的点云图像与单目相机所检测到的单目相机图像的数据不是完全对应的，通过设置时间戳以及预设阈值，则可在时间上将单线雷达的点云图像以及单目相机图像关联起来，从而可根据同一帧数据的单线雷达的点云图像以及单目相机图像准确的进行障碍物感知。
步骤S40，对所述点云图像中的点云进行聚类，得到标记框。
对所述点云图像中的点云进行聚类时，可采用欧几里得聚类，其本质是获取距离所述单线雷达最近的目标点，与目标点的距离在一定半径范围的其他点可认为是属于同一聚类，即同一个障碍物。
出于安全的考虑，取同一聚类中与单线雷达的距离和角度最小的点为该同一聚类与单线雷达的距离，即该同一聚类对应的障碍物与单线雷达的距离。然而，由于单线雷达获取到的点云比较稀疏，因此在聚类时并不能准确的获取同一聚类，则根据单线雷达的点云获取到的障碍物与单线雷达的数据并不准确，但是却可以作为参考数据判断步骤S70中根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离的准确性。
例如，将步骤S70中根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离作为检测值，将根据参考数据获取的目标障碍物与车辆的距离作为参考值，获取参考值与检测值的检测差值，获取检测差值与检测值的比值的绝对值作为预设值，当参考值与检测值的差值与检测值的比值的绝对值大于预设值时，确定所述检测值不准确，当参考值与检测值的差值与检测值的比值绝对值小于或者等于预设值时，确定所述检测值不准确。
其中，将目标障碍物与所述车辆的实际距离作为实际值，用被测物与所述车辆的已知的实际值判断被测物的检测值的准确性，在检测值准确时，获取被测物的参考值与检测值的差值与检测值的比值的绝对值，获取多个被测物相对于所述车辆的参考值与检测值的差值与检测值的比值的绝对值，可取多个被测物相对于所述车辆的参考值与检测值的差值与检测值的比值的绝对值的最大值，将这个最大值作为上述预设值。
其中，所述标记框为对所述聚类进行框选得到的。
其中，若对所述点云进行聚类，获得了多个聚类，则分别对每个聚类进行框选，对每个聚类进行框选得到一个标记框，即获得多少个聚类，就将得到多少个标记框。
步骤S50，将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标。
将所述点云和标记框投入所述图像，即将所述点云在世界坐标系中的坐标转换为在单目相机图像中的像素坐标系中，以及，将标记框的边界上的点在世界坐标系中的坐标转换为在单目相机图像中的像素坐标系中。
点在世界坐标系中的坐标到图像中的像素坐标系的变换是现有技术，此处不再赘述。
步骤S60，获取所述预测框和标记框存在重叠的目标障碍物。
其中，所述获取所述预测框和标记框存在重叠的目标障碍物是在所述单目相机图像上获取的。
就单目相机图像上识别出多个目标障碍物的情况而言，其具有多个预测框和多个标记框，但由于单目相机对光线等有要求，因此，会出现单目相机图像上识别不出但单线雷达识别出的特殊障碍物，即特殊障碍物具有标记框，但不具有预测框，或者特殊障碍物的预测框和标记框没有重叠。
对于一个单目相机和单线雷达均识别到的目标障碍物，即目标障碍物既具有预测框又具有标记框，则目标障碍物的预测框的覆盖区域与目标障碍物的标记框的覆盖区域有重叠。
对于上述单目相机图像上识别不出但单线雷达识别出的特殊障碍物，则只能根据单线雷达检测到的点云感知其与车辆的距离，但其类别未知。
步骤S70，根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离。
其中，当步骤S60所获取到的目标障碍物的数量为多个时，则可分别确认多个障碍物与所述车辆的距离。
请参阅图3，步骤S70具体的包括以下步骤：
步骤S701，根据所述目标点云的像素坐标，获得所述目标障碍物的朝向。
步骤S702，根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框。
需要说明的是，单目相机是不能检测出目标障碍物与单目相机的距离的，则单目相机图像中的像素坐标系中，障碍物的预测框的像素坐标的意义不大，更无法根据目标障碍物的预测框的像素坐标获得目标障碍物与单目相机的距离。但是，当点云在世界坐标系中的坐标转换为在像素坐标系中的像素坐标后，由于点云与单线雷达的距离是已知的，点云在世界坐标系中的坐标是根据点云与单线雷达的距离设定的，则可根据点云在像素坐标系中的像素坐标反推出点云与单线雷达的距离，进而像素坐标系中的任何一个点与单线雷达的距离，以及像素坐标系中的任何两个点之间的距离均可推出。
在一些实施例中，在世界坐标系中，可以以单线雷达所在的位置为坐标原点，可将单目相机和单线雷达设置于车辆的同一个位置，以及可将像素坐标系中的坐标原点设定为单线雷达和单目相机所在的位置，从而在计算像素坐标系中的任何一个点与单线雷达的距离时，计算简单，系统的计算负担轻。在一些实施例中，在世界坐标系中，可以以单线雷达所在的位置为坐标原点，也可将单目相机和单线雷达设置于车辆的不同位置，以及可将像素坐标系中的坐标原点设定为单目相机所在的位置，则可根据单目相机和单线雷达的外参，即单目相机和单线雷达的相对位置，将单线雷达的点云图像中的点云的世界坐标转换为像素坐标。
一般的，所述预测框为矩形，所述标记框为矩形，所述根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框的步骤的一种可选的方法可以是获取所述预测框的四个顶点，根据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框。
所述根据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框的一种可选的方法可以是根据所述点云的像素坐标，获取所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h，以及根据所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h生成所述3D检测框的八个顶点，所述八个顶点的连线即为所述3D检测框。
当像素坐标系中的坐标原点设定为单线雷达和单目相机所在的位置时，所述预测框的四个顶点与单线雷达的距离即为预测框的四个顶点与像素坐标系中的坐标原点的距离，即在获取到预测框的四个顶点与像素坐标系中的坐标原点的距离后，不需要另外进行换算即可获得预测框的四个顶点与单线雷达的距离。在获取到预测框的四个顶点与单线雷达的距离后，可的到四个顶点中距离所述单线雷达最近的点，以及这个点的坐标，可记作(xmin,ymin)。
所述预测框的宽度w以及所述预测框的高度h可根据预测框的四个顶点的坐标获得。
所述3D检测框的八个顶点可根据在单目相机的图像上识别出的障碍物的类型、所述预测框的四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h生成，这八个顶点在像素坐标系中的像素坐标也可获得，这八个顶点的连线即为所述3D检测框。
上述八个顶点的像素坐标可根据经验确定，例如可以是(xmin,ymin)、(xmin,ymin+h)、(xmin+w,ymin)、(xmin+w,ymin+h)、(xmin+0.8*w,ymin+0.1*h)、(xmin+0.8*w,ymin+1.1*h)、(xmin+0.2*w,ymin-0.15*h)和(xmin+0.2*w,ymin+0.85*h)。
需要说明的是，在一些实施例中，根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框的方法还可以是获取所述预测框的中心点以及所述中心点的像素坐标，根据所述中心点的像素坐标、所述预测框的宽度w以及所述预测框的高度h生成所述3D检测框的八个顶点，所述八个顶点的连线即为所述3D检测框。
所述3D检测框可准确的框定目标障碍物，目标障碍物框定的准确，则后期测得的目标障碍物与单线雷达，目标障碍物与车辆的距离准确。
步骤S703，获取所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点。
在得到3D检测框的八个顶点的像素坐标后，可分别获取所述八个顶点与所述单线雷达的距离，并获得所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点。
步骤S704，根据所述目标顶点与所述单线雷达的距离确定所述目标障碍物与所述车辆的距离。
由于障碍物感知的目的为辅助车辆驾驶，避免车辆与障碍物的碰撞，则从安全角度考虑，将所述目标顶点与所述单线雷达的距离作为所获取到的目标障碍物与所述单线雷达的距离。从而根据单线雷达与所述车辆的位置关系，可确定所述目标障碍物与所述车辆的距离。
例如，目标障碍物与车辆的距离可以预先选择是目标障碍物与车辆的车头的距离、目标障碍物与车辆的中心的距离或者其他。若是目标障碍物与车辆的车头的距离，若单线雷达设置于车辆的车头，则目标障碍物与单线雷达的距离即是目标障碍物与车辆的距离，单线雷达设置于车辆的其他位置，例如车顶，则在获取到目标障碍物与单线雷达的距离后，可根据单线雷达与车辆的车头的距离进行换算得到目标障碍物与车辆的距离。
在本发明实施例中，通过获取单线雷达的点云图像以及单目相机图像；对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；将所述点云图像和所述单目相机图像进行同步处理；对所述点云图像中的点云进行聚类，得到标记框；将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；获取所述预测框和标记框存在重叠的目标障碍物；根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离，，则由于可根据单目相机图像准确的识别出目标障碍物以及对障碍物进行框选，得到预测框，则可根据单线雷达的点云在所述单目相机图像中的像素坐标以及所述预测框，准确的确定障碍物与设置单线雷达的车辆的距离。
实施例二
请参阅图4，图4是本发明实施例提供的一种障碍物感知装置的示意图，该装置400应用于车辆，其中，所述车辆设置有单线雷达和单目相机，该装置400包括：第一获取模块401，用于获取单线雷达的点云图像以及单目相机图像；检测模块402，用于对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；同步模块403，用于将所述点云图像和所述单目相机图像进行同步处理；聚类模块404，用于对所述点云图像中的点云进行聚类，得到标记框；坐标转换模块405，用于将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；第二获取模块406，用于获取所述预测框和标记框存在重叠的目标障碍物；确定模块407，用于根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离。
在一些实施例中，同步模块403包括：第一设置单元4031，用于在所述单线雷达检测到点云时，根据预设时钟源，对所述单线雷达所检测到的所述点云图像设置时间戳；第二设置单元4032，用于在所述单目相机检测到图像时，根据所述预设时钟源，对所述单目相机所检测到所述单目相机图像设置时间戳；同步单元4033，用于将所述时间戳的间隔小于预设阈值的所述点云图像以及所述单目相机图像作为同一帧数据。
在一些实施例中，确定模块407包括：第一获取单元4071，用于根据所述目标点云的像素坐标，获得所述目标障碍物的朝向；第二获取单元4072，用于根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框；第三获取单元4073，用于获取所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点；确定单元4074，用于根据所述目标顶点与所述单线雷达的距离确定所述目标障碍物与所述车辆的距离。
在一些实施例中，第二获取单元4072具体用于：获取所述预测框的四个顶点；据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框。
在一些实施例中，第二获取单元4072还用于：根据所述点云的像素坐标，获取所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h；根据所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h生成所述3D检测框的八个顶点，所述八个顶点的连线即为所述3D检测框。
在一些实施例中，所述3D检测框的八个顶点的坐标分别为：(xmin,ymin)、(xmin,ymin+h)、(xmin+w,ymin)、(xmin+w,ymin+h)、(xmin+0.8*w,ymin+0.1*h)、(xmin+0.8*w,ymin+1.1*h)、(xmin+0.2*w,ymin-0.15*h)和(xmin+0.2*w,ymin+0.85*h)。
在本发明实施例中，第一获取模块401，用于获取单线雷达的点云图像以及单目相机图像；检测模块402，用于对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；同步模块403，用于将所述点云图像和所述单目相机图像进行同步处理；聚类模块404，用于对所述点云图像中的点云进行聚类，得到标记框；坐标转换模块405，用于将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；第二获取模块406，用于获取所述预测框和标记框存在重叠的目标障碍物；确定模块407，用于根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离，则由于可根据单目相机图像准确的识别出目标障碍物以及对目标障碍物进行框选，得到预测框，则可根据单线雷达的点云在所述单目相机图像中的像素坐标以及所述预测框，准确的确定目标障碍物与设置单线雷达的车辆的距离。
实施例三
请参阅图5，图5是本发明实施例提供的执行障碍物感知方法的电子设备的硬件结构示意图。该电子设备500包括：一个或多个处理器501以及存储器502，图5中以一个存储器为例。
处理器501和存储器502可以通过总线或者其他方式连接，本发明实施例中以通过总线连接为例。
存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的障碍物感知方法对应的程序指令/模块(例如，附图4所示的各个模块)。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行障碍物感知装置的各种功能应用以及数据处理，即实现上述方法实施例的障碍物感知方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据障碍物感知装置的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至障碍物感知装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器502中，当被所述一个或者多个处理器501执行时，执行上述任意方法实施例中的障碍物感知方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的障碍物感知方法。
本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的障碍物感知方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种障碍物感知方法，应用于车辆，其中，所述车辆设置有单线雷达和单目相机其特征在于，所述方法包括：
获取单线雷达的点云图像以及单目相机图像；
对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；
将所述点云图像和所述单目相机图像进行同步处理；
对所述点云图像中的点云进行聚类，得到标记框；
将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；
获取所述预测框和标记框存在重叠的目标障碍物；
根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离。
2.根据权利要求1所述的方法，其特征在于，所述将所述点云图像和所述单目相机图像进行同步处理的步骤，进一步包括：
在所述单线雷达检测到点云时，根据预设时钟源，对所述单线雷达所检测到的所述点云图像设置时间戳；
在所述单目相机检测到图像时，根据所述预设时钟源，对所述单目相机所检测到所述单目相机图像设置时间戳；
将所述时间戳的间隔小于预设阈值的所述点云图像以及所述单目相机图像作为同一帧数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离的步骤，进一步包括：
根据所述目标点云的像素坐标，获得所述目标障碍物的朝向；
根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框；
获取所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点；
根据所述目标顶点与所述单线雷达的距离确定所述目标障碍物与所述车辆的距离。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框的步骤，进一步包括：
获取所述预测框的四个顶点；
根据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标障碍物的朝向，以所述四个顶点为所述3D检测框的对角点生成所述3D检测框的步骤，进一步包括：
根据所述点云的像素坐标，获取所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h；
根据所述四个顶点中距离所述单线雷达最近的点的像素坐标(xmin,ymin)、所述预测框的宽度w以及所述预测框的高度h生成所述3D检测框的八个顶点，所述八个顶点的连线即为所述3D检测框。
6.根据权利要求5所述的方法，其特征在于，所述3D检测框的八个顶点的坐标分别为：(xmin,ymin)、(xmin,ymin+h)、(xmin+w,ymin)、(xmin+w,ymin+h)、(xmin+0.8*w,ymin+0.1*h)、(xmin+0.8*w,ymin+1.1*h)、(xmin+0.2*w,ymin-0.15*h)和(xmin+0.2*w,ymin+0.85*h)。
7.一种障碍物感知装置，应用于车辆，其中，所述车辆设置有单线雷达和单目相机，其特征在于，所述装置包括：
第一获取模块，用于获取单线雷达的点云图像以及单目相机图像；
检测模块，用于对所述单目相机图像进行目标检测，得到所述单目相机图像中的障碍物类型及预测框；
同步模块，用于将所述点云图像和所述单目相机图像进行同步处理；
聚类模块，用于对所述点云图像中的点云进行聚类，得到标记框；
坐标转换模块，用于将所述点云和标记框投入所述单目相机图像，并得到所述点云的像素坐标；
第二获取模块，用于获取所述预测框和标记框存在重叠的目标障碍物；
确定模块，用于根据所述目标障碍物对应的目标点云的像素坐标以及所述预测框，确定所获取到的目标障碍物与所述车辆的距离。
8.根据权利要求7所述的装置，其特征在于，所述同步模块包括：
第一设置单元，用于在所述单线雷达检测到点云时，根据预设时钟源，对所述单线雷达所检测到的所述点云图像设置时间戳；
第二设置单元，用于在所述单目相机检测到图像时，根据所述预设时钟源，对所述单目相机所检测到所述单目相机图像设置时间戳；
同步单元，用于将所述时间戳的间隔小于预设阈值的所述点云图像以及所述单目相机图像作为同一帧数据。
9.根据权利要求7所述的装置，其特征在于，所述确定模块包括：
第一获取单元，用于根据所述目标点云的像素坐标，获得所述目标障碍物的朝向；
第二获取单元，用于根据所述目标障碍物的朝向及所述预测框获得所述目标障碍物的3D检测框；
第三获取单元，用于获取所述3D检测框的八个顶点中与所述单线雷达的距离最小的目标顶点；
确定单元，用于根据所述目标顶点与所述单线雷达的距离确定所述目标障碍物与所述车辆的距离。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
CN202110126742.9A 2021-01-29 2021-01-29 一种障碍物感知方法、装置以及电子设备 Active CN112802092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126742.9A CN112802092B (zh) 2021-01-29 2021-01-29 一种障碍物感知方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126742.9A CN112802092B (zh) 2021-01-29 2021-01-29 一种障碍物感知方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN112802092A true CN112802092A (zh) 2021-05-14
CN112802092B CN112802092B (zh) 2024-04-09

Family

ID=75812856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126742.9A Active CN112802092B (zh) 2021-01-29 2021-01-29 一种障碍物感知方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN112802092B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569812A (zh) * 2021-08-31 2021-10-29 东软睿驰汽车技术（沈阳）有限公司 未知障碍物的识别方法、装置和电子设备
CN114312812A (zh) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN115223102A (zh) * 2022-09-08 2022-10-21 枫树谷(成都)科技有限责任公司 一种基于摄像头集群的实时人群密度融合感知方法及模型
CN115308771A (zh) * 2022-10-12 2022-11-08 深圳市速腾聚创科技有限公司 障碍物的检测方法及装置、介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024664B1 (en) * 2014-09-30 2018-07-17 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Range and intensity image-based terrain and vehicle relative pose estimation system
CN108596058A (zh) * 2018-04-11 2018-09-28 西安电子科技大学 基于计算机视觉的行车障碍物测距方法
CN110068814A (zh) * 2019-03-27 2019-07-30 东软睿驰汽车技术（沈阳）有限公司 一种测量障碍物距离的方法及装置
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
WO2020147485A1 (zh) * 2019-01-15 2020-07-23 北京百度网讯科技有限公司 一种信息处理方法、系统、设备和计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024664B1 (en) * 2014-09-30 2018-07-17 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Range and intensity image-based terrain and vehicle relative pose estimation system
CN108596058A (zh) * 2018-04-11 2018-09-28 西安电子科技大学 基于计算机视觉的行车障碍物测距方法
WO2020147485A1 (zh) * 2019-01-15 2020-07-23 北京百度网讯科技有限公司 一种信息处理方法、系统、设备和计算机存储介质
CN110068814A (zh) * 2019-03-27 2019-07-30 东软睿驰汽车技术（沈阳）有限公司 一种测量障碍物距离的方法及装置
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MERTZ C: "Tracking of moving objects from a moving vehicle using a scanning laser rangefinder", 《IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE》, pages 1 - 10 *
谭勇: "基于激光雷达的无人驾驶障碍物检测与辨识", 《计算机工程与应用》, pages 175 - 182 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569812A (zh) * 2021-08-31 2021-10-29 东软睿驰汽车技术（沈阳）有限公司 未知障碍物的识别方法、装置和电子设备
CN114312812A (zh) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN115223102A (zh) * 2022-09-08 2022-10-21 枫树谷(成都)科技有限责任公司 一种基于摄像头集群的实时人群密度融合感知方法及模型
CN115223102B (zh) * 2022-09-08 2022-12-16 枫树谷(成都)科技有限责任公司 一种基于摄像头集群的实时人群密度融合感知方法及模型
CN115308771A (zh) * 2022-10-12 2022-11-08 深圳市速腾聚创科技有限公司 障碍物的检测方法及装置、介质及电子设备
CN115308771B (zh) * 2022-10-12 2023-03-14 深圳市速腾聚创科技有限公司 障碍物的检测方法及装置、介质及电子设备

Also Published As

Publication number Publication date
CN112802092B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN112802092B (zh) 一种障碍物感知方法、装置以及电子设备
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
US11320833B2 (en) Data processing method, apparatus and terminal
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN106503653B (zh) 区域标注方法、装置和电子设备
CN108419446B (zh) 用于激光深度图取样的系统及方法
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
JP2019096072A (ja) 物体検出装置、物体検出方法およびプログラム
US10825186B2 (en) Information processing device, information processing method, and computer program product
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN110341621B (zh) 一种障碍物检测方法及装置
CN115797454B (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN114295139A (zh) 一种协同感知定位方法及系统
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN113514803A (zh) 一种单目相机和毫米波雷达的联合标定方法
CN112381876B (zh) 一种交通标志标注方法、装置及计算机设备
CN109238281B (zh) 基于图像螺旋线的视觉导航及避障方法
CN112529011A (zh) 目标检测方法及相关装置
CN111951337B (zh) 图像检测目标空间定位方法及系统
CN115147475B (zh) 目标位置定位方法、装置、设备及存储介质
CN116681882A (zh) 一种单目视觉三维物体检测方法、装置、域控制器及介质
CN113887294A (zh) 车轮接地点的检测方法、装置、电子设备与存储介质
CN115511938A (zh) 基于单目摄像头的高度确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant