CN115294538A - 障碍物检测方法及装置、存储介质、终端 - Google Patents

障碍物检测方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN115294538A
CN115294538A CN202210545814.8A CN202210545814A CN115294538A CN 115294538 A CN115294538 A CN 115294538A CN 202210545814 A CN202210545814 A CN 202210545814A CN 115294538 A CN115294538 A CN 115294538A
Authority
CN
China
Prior art keywords
point cloud
image
feature map
obstacle
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210545814.8A
Other languages
English (en)
Inventor
黄超
姚为龙
蔡创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiantu Intelligent Technology Co Ltd
Original Assignee
Shanghai Xiantu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiantu Intelligent Technology Co Ltd filed Critical Shanghai Xiantu Intelligent Technology Co Ltd
Priority to CN202210545814.8A priority Critical patent/CN115294538A/zh
Publication of CN115294538A publication Critical patent/CN115294538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种障碍物检测方法及装置、存储介质、终端，方法包括：获取当前时刻待处理的图像，记为当前图像，当前图像是由拍摄装置采集到的，当前图像包括障碍物的影像；对当前图像进行特征提取，以得到图像特征图，并根据图像特征图确定障碍物的边界框；读取初始点云特征，其中，初始点云特征是预先根据当前图像对应的点云数据生成的，点云数据是由雷达采集到的，雷达和拍摄装置设置于同一车辆上；根据初始点云特征和障碍物的边界框，生成点云特征图；根据融合特征图确定当前时刻的检测结果，其中，融合特征图是对图像特征图和点云特征图进行融合得到的。本发明提供的障碍物检测方法，能够在保证识别结果准确性的情况下提高检测效率。

Description

障碍物检测方法及装置、存储介质、终端
技术领域
本发明涉及目标检测技术领域，尤其涉及一种障碍物检测方法及装置、存储介质、终端。
背景技术
障碍物检测技术是自动驾驶技术领域中的关键技术之一，障碍物检测的可靠性、实时性和准确性是衡量自动驾驶车辆性能的重要指标。传统的障碍物检测技术是基于图像的，通常利用神经网络提取图像的特征，然后根据图像特征进行回归和分类，即可得到检测结果。但由于图像是二维数据，提供的信息十分有限，例如，无法得到精准的速度信息，因此，基于图像的障碍物检测算法的准确率仍然有待提高。
为了提高传统检测算法的准确率，现有技术中采用雷达和摄像头进行传感器融合，这样的方案需要融合雷达采集的点云数据和摄像头采集的图像数据，计算复杂度较高，耗时较长，无法满足对于实时性要求较高的应用场景的需求。
因此，亟需一种障碍物检测方法，能够在保证识别结果准确性的情况下提高检测效率。
发明内容
本发明解决的技术问题是如何在保证识别结果准确性的情况下，提高障碍物检测的效率，从而提高障碍物检测的实时性。
为解决上述技术问题，本发明实施例提供一种障碍物检测方法，所述方法包括：获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
可选的，所述点云数据包括：多个点的位置信息，所述初始点云特征包括：每个点对应的柱体区域的位置信息，其中，所述柱体区域是对所述点进行支柱拓展得到的。
可选的，所述初始点云特征还包括：每个点的特征信息，根据所述初始点云特征和所述障碍物的边界框，生成点云特征图包括：将所述边界框映射至三维空间，以得到所述边界框对应的三维区域；根据所述柱体区域的位置信息，筛选出处于所述三维区域内的柱体区域，以得到与所述边界框关联的目标柱体区域；将所述目标柱体区域映射至所述当前图像所在的二维平面，以得到所述点云特征图。
可选的，将所述边界框映射至三维空间，以得到所述边界框对应的三维区域之前，所述方法还包括：在所述多个点中确定最远点和最近点，所述最远点为距离所述二维平面最远的点，所述最近点为距离所述二维平面最近的点；根据所述最远点与所述二维平面之间的距离以及所述最近点与所述二维平面之间的距离，确定所述三维区域的高度。
可选的，所述图像特征图包括多个尺度不同的图像特征子图，对所述图像特征图和所述点云特征图进行融合包括：对所述点云特征图进行尺度变换，以得到多个点云特征子图，所述点云特征子图与所述图像特征子图一一对应；在通道方向上将具有对应关系的点云特征子图和图像特征子图进行融合，以得到多尺度的融合特征图。
可选的，所述图像特征图是由特征提取模块对所述当前图像进行特征提取得到的，所述边界框是由第一预测模块对所述图像特征图进行计算得到的，所述检测结果是由第二预测模块对所述融合特征图进行计算得到的，获取当前时刻待处理的图像之前，所述方法还包括：获取样本图像，采用样本图像对预设模型进行训练，以得到检测模型，所述检测模型包括所述特征提取模块、第一预测模块和第二预测模块；其中，所述采用样本图像对预设模型进行训练之前，所述方法还包括：获取所述样本图像对应的样本点云数据；根据所述样本点云数据和所述样本图像中的边界框，生成样本点云特征图，其中，所述样本图像中的边界框是预先标注的。
为了解决上述技术问题，本发明实施例还提供一种障碍物检测装置，所述装置包括：图像获取模块，用于获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；第一计算模块，用于对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；特征读取模块，用于读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；第二计算模块，用于根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；第三计算模块，用于根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的障碍物检测方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的障碍物检测方法的步骤。
本发明实施例提供一种车辆，所述车辆配置有拍摄装置和雷达，所述车辆包括：终端，所述终端用于执行上述的障碍物检测方法。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例的方案中，一方面，根据初始点云特征和基于图像特征图得到的边界框进行关联，以得到点云特征图，再将点云特征图与图像特征图进行融合，以根据融合特征图得到检测结果，采用这样的方案可以提高障碍物检测的准确性。另一方面，在得到障碍物的边界框之后，直接从存储器读取初始点云特征，也即，在对当前图像进行处理之前，预先生成了对应的初始点云特征，相较于在计算图像特征图和边界框的同时生成初始点云特征的方案，本发明实施例的方案能够减少内存的占用，提高处理效率；相较于在得到图像特征图和边界框之后生成初始点云特征的方案，本发明实施例的方案能够大幅减少处理时间，也能够提高处理效率。因此，采用本发明实施例的方案，能够在确保准确性的前提下提高检测的实时性。
进一步，本发明实施例的方案中，在通道方向上将具有对应关系的图像特征子图和点云特征子图进行融合处理，以得到多尺度的融合特征图，然后根据多尺度的融合特征图得到检测结果。相较于根据单一尺度的融合特征图确定检测结果，采用这样的方案能够进一步提高障碍物检测的准确性，尤其是可以提高对小尺寸的障碍物的检测的准确性。
进一步，本发明实施例的方案中，对预先模型进行训练之前，预先生成样本点云特征图，在采用样本图像对预设模型进行训练时，可以直接读取样本点云特征。采用这样的方案可以减少训练过程中的计算量和内存占用，从而可以缩短训练的时长，提高训练效率。
附图说明
图1是本发明实施例中一种障碍物检测方法的流程示意图；
图2是本发明实施例中一种障碍物检测模型的结构示意图；
图3是本发明实施例中一种生成初始点云特征的示意图；
图4是图1中步骤S104的一种具体实施方式的流程示意图；
图5是本发明实施例中一种障碍物检测装置的结构示意图。
具体实施方式
如背景技术所述，亟需一种障碍物检测方法，能够在保证识别结果准确性的情况下提高检测效率，从而提高障碍物检测的实时性。
为了解决上述技术问题，本发明实施例提供一种障碍物检测方法，在本发明实施例的方案中，一方面，根据初始点云特征和基于图像特征图得到的边界框进行关联，以得到点云特征图，再将点云特征图与图像特征图进行融合，以根据融合特征图得到检测结果，采用这样的方案可以提高障碍物检测的准确性。另一方面，在得到障碍物的边界框之后，直接从存储器读取初始点云特征，也即，在对当前图像进行处理之前，预先生成了对应的初始点云特征，相较于在计算图像特征图和边界框的同时生成初始点云特征的方案，本发明实施例的方案能够减少内存的占用，提高处理效率；相较于在得到图像特征图和边界框之后生成初始点云特征的方案，本发明实施例的方案能够大幅减少处理时间，也能够提高处理效率。因此，采用本发明实施例的方案，能够在确保准确性的前提下提高检测的实时性。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参照图1，图1是本发明实施例中一种障碍物检测方法的流程示意图。图1示出的方法可以由终端执行，所述终端可以是现有的各种具有数据接收和数据处理功能的设备。
在一个应用场景中，所述终端可以是车载终端，例如，可以是车辆的电子控制单元(Electronic Control Unit，ECU)，其中，所述车辆可以配置有雷达和摄像头，本发明实施例对于车辆的类型并不进行限制，例如，可以是自动引导车(Automated Guided Vehicles，AGV)、自动驾驶汽车(Autonomous vehicles)等，但并不限于此。
在另一个应用场景中，所述终端还可以是服务器，例如，服务器与车辆通信连接，所述车辆配置有摄像头和雷达，服务器可以从车辆处接收摄像头采集的图像数据和雷达采集的点云数据，并执行本发明实施例提供的障碍物检测方法，以得到检测结果。
需要说明的是，本发明实施例的方案中，所述雷达可以是激光雷达，也可以是毫米波雷达。
图1示出的障碍物检测方法的流程示意图可以包括以下步骤：
步骤S101：获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；
步骤S102：对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；
步骤S103：读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的；
步骤S104：根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；
步骤S105：根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
可以理解的是，在具体实施中，所述方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中；或者，该方法可以采用硬件或者软硬结合的方式来实现。
在步骤S101的具体实施中，可以获取当前时刻待处理的图像，记为当前图像。其中，待处理图像是由设置于车辆的摄像头采集的，在车辆的行驶过程中，摄像头可以对车辆的行驶环境进行拍摄，待处理图像可以包含障碍物的影像，所述摄像头可以是单目摄像头，也可以是双目摄像头，本实施例对此并不进行限制。其中，本发明实施例对于障碍物的类型并不进行限制，可以是物体(例如，车辆、树木)，也可以是活体(例如，行人)。
在具体实施中，摄像头采集到的待处理图像可以存储至存储器中，可以待处理图像存储于内存(Memory)中，也可以存储于内存以外的外部存储器(例如，硬盘、光存储介质、闪存存储介质等)中。终端可以按照采集的时间顺序依次对待处理图像进行处理，也即，可以按照时间顺序依次从存储器中读取待处理图像，并将本次读取的待处理图像记为当前图像进行后续处理。
在步骤S102的具体实施中，可以对当前图像进行特征提取，以得到图像特征图，并根据图像特征图确定障碍物的边界框(Bounding Box)，其中，边界框可以用于指示障碍物在当前图像中的位置。
在一个具体的例子中，可以采用全卷积一阶段(Fully Convolution One-Stage)算法来计算图像特征图以及边界框。
参照图2，图2是本发明实施例中一种障碍物检测模型的结构示意图。如图2所示，可以将当前图像输入至训练后的特征提取模块中，以得到特征提取模块输出的图像特征图，进一步地，可以将图像特征图输入至训练后的第一预测模块，以得到当前图像中障碍物的边界框。
其中，本发明实施例对于特征提取模块和第一预测模块的具体结构并不进行限制，特征提取模块可以是现有的各种适当的能够提取图像特征的网络，第一预测模块可以是现有的各种适当的能够根据图像特征确定边界框的网络。
在一个具体的例子中，特征提取模块可以是全卷积骨干(Fully ConvolutionBackbone)网络，第一预测模块可以是回归头(Regression Head)网络。在一个非限制性的例子中，特征提取模块可以是特征金字塔网络(Feature Pyramid Network，FPN)。
继续参照图1，在步骤S103的具体实施中，可以读取初始点云特征，其中，初始点云特征是预先根据当前图像对应的点云数据生成的。
具体而言，车辆上还设置有雷达，雷达可以用于采集点云数据。更具体地，雷达可以与摄像头同步地获取点云数据，当前图像对应的点云数据可以是指与当前图像时间对齐的点云数据，所述时间对齐可以是指采集时刻是相同的。
在具体实施中，获取点云数据之后，可以对点云数据进行支柱拓展，以得到初始点云特征，然后再将初始点云特征存储至存储器中，例如，可以将初始点云特征存储于内存中，也可以存储于外部存储器中。更具体地，初始点云特征也可以具有时间信息，所述时间信息可以用于指示初始点云特征对应的点云数据的采集时间。在步骤S103的实施中，可以从存储器中读取与当前图像时间对齐的初始点云特征。
在其他实施例中，雷达也可以与摄像头不同步地获取点云数据，在执行步骤S103时，可以读取时间信息与当前图像的采集时刻最接近的初始点云特征。
参照图3，图3是本发明实施例中一种生成初始点云特征的示意图。
如图3所示，点云数据可以包括：多个点的位置信息，所述位置信息为点在空间坐标系中的位置。
进一步地，可以对每个点进行支柱拓展，以得到该点对应的柱体区域，从而得到初始点云特征，其中，初始点云特征包括每个点对应的柱体区域的位置信息。需要说明的是，柱体区域的位置信息也是指柱体区域在空间坐标系中的位置。
具体而言，针对每个点，可以将该点作为柱体区域的中心，然后生成柱体区域的尺寸，所述尺寸可以包括该柱体区域的长、宽和高，从而可以得到柱体区域的位置信息。需要说明的是，生成柱体区域的尺寸的方法可以现有的各种适当的方法，本实施例对此并不进行限制。其中，多个柱体区域的尺寸可以是相同的。
在步骤S104的具体实施中，可以根据初始点云特征和障碍物的边界框，生成点云特征图。换言之，可以将初始点云特征与基于图像得到的回归属性(也即，边界框)进行关联，以得到点云特征图。通过将初始点云特征与边界框进行关联，可以剔除与障碍物不相关的初始点云特征，有利于提高检测的准确性。参照图2，可以将初始点云特征和第一预测模块输出的障碍物的边界框输入至点云特征生成模块，以得到点云特征生成模块输出的点云特征图。
参照图4，图4是图1中步骤S104的一种具体实施方式的流程示意图。图4示出的步骤S104可以包括以下步骤：
步骤S401：将所述边界框映射至三维空间，以得到所述边界框对应的三维区域；
步骤S402：根据所述柱体区域的位置信息，筛选出处于所述三维区域内的柱体区域，以得到与所述边界框关联的目标柱体区域；
步骤S403：将所述目标柱体区域映射至所述当前图像所在的二维平面，以得到所述点云特征图。
在步骤S401的具体实施中，可以在空间坐标系中针对每个边界框构建该边界框对应的截锥体(Frustum)。
具体而言，边界框位于图像所在的二维平面内，可以将边界框映射至三维空间。更具体地，可以将相机坐标系和自车坐标系作为中间媒介，将图像中的像素点映射至三维空间中，也可以将三维空间中的点映射至图像中。在具体实施中，可以根据相机外参矩阵、相机内参矩阵、旋转矩阵和平移矩阵，将每个边界框映射至三维空间，以得到每个边界框对应的初始三维区域。其中，相机外参矩阵、相机内参矩阵、旋转矩阵和平移矩阵均可以是预先设置的，所述初始三维区域可以呈四棱锥状。
进一步地，根据三维区域的高度和初始三维区域，可以确定边界框对应的三维区域。更具体地，可以是根据三维区域的高度对初始三维区域(也即，四棱锥)进行截取，以得到三维区域，所述三维区域呈截锥体状。
在一个具体的例子中，多个边界框对应的三维区域的高度可以是相同的。具体而言，可以在点云数据包含的多个点中确定最远点和最近点，其中，最远点为距离图像所在的二维平面最远的点，最近的点为距离二维平面最远的点。进一步地，可以根据最远点和二维平面之间的距离以及最近点和二维平面之间的距离，确定三维区域的高度。例如，可以将最远点和二维平面之间的距离以及最近点和二维平面之间的距离的平均值作为所述高度。
在另一个具体的例子中，多个边界框对应的三维区域的高度可以是不同的。具体而言，可以分别确定在每个边界框对应的点云数据中确定最远点和最近点，然后确定根据最远点和二维平面之间的距离以及最近点和二维平面之间的距离，确定该边界框对应的三维区域的高度。其中，边界框对应的点云数据可以是指位于边界框对应的初始三维区域内的点云数据。
需要说明的是，三维区域的高度是指三维区域在z方向上的尺寸，所述z方向垂直于图像所在的二维平面。
在步骤S402的具体实施中，可以根据初始点云特征中多个柱体区域的位置信息，筛选出处于三维区域内的柱体区域，也即，剔除处于三维区域以外的柱体区域。其中，处于三维区域内的柱体区域即为与边界框关联的目标柱体区域，处于三维区域内的柱体区域可以是指全部位于三维区域内部的主体区域，也可以是指至少一部分位于三维区域内部的主体区域。
在步骤S403的具体实施中，可以将目标柱体区域映射至当前图像所在的二维平面，以得到点云特征图。更具体地，可以是将目标柱体区域对应的点映射至二维平面，以得到点云特征图。其中，点云特征图可以包括目标柱体区域对应的点的属性信息，所述属性信息可以是雷达检测到的信息，属性信息可以包括深度信息、速度信息等。更具体地，点云特征图的通道方向可以用于指示目标柱体区域对应的点的属性信息。
继续参照图1，在步骤S105的具体实施中，可以先将图像特征图和点云特征图进行融合处理，以得到融合特征图。
具体而言，可以在通道方向上对图像特征图和点云特征图进行拼接(Contact)处理，也即，可以在通道方向上对图像特征图和点云特征图进行叠加，以得到融合特征图。
进一步地，可以根据融合特征图确定当前时刻的检测结果。
继续参照图2，可以将点云特征图和图像特征图输入至融合模块，以得到融合模块输出的融合特征图。进一步地，可以将融合特征图输入至第二预测模块，以得到第二预测模块输出的检测结果。其中，第二预测模块可以是回归头(Regression Head)网络。
在一个非限制性的例子中，图像特征图为多尺度的特征图，也即，图像特征图可以是基于特征金字塔网络提取得到的。其中，图像特征图可以包括多个尺度不同的图像特征子图。需要说明的是，尺度不同是指在第一方向上和第二方向上的像素点的数量是不同的，其中，第一方向是指像素坐标系的x方向，第二方向是指像素坐标系的y方向，x方向垂直于y方向。
进一步地，可以对点云特征图进行尺度变换，以得到多个点云特征子图，所述点云特征子图和图像特征子图一一对应。其中，具有对应关系的图像特征子图和点云特征子图的尺度是相同的。
在具体实施中，尺度变换可以是对点云特征图进行缩放处理，也可以是对点云特征图进行池化处理等，本实施例对此并不进行限制。
进一步地，可以在通道方向上将具有对应关系的图像特征子图和点云特征子图进行融合处理，以得到多尺度的融合特征图。相较于根据单一尺度的融合特征图确定检测结果，根据多尺度的融合特征图确定检测结果的方案能够进一步提高障碍物检测的准确性，尤其是可以提高对小尺寸的障碍物的检测的准确性。
由上，本发明实施例的方案中，根据初始点云特征和基于图像特征图得到的边界框进行关联，以得到点云特征图，再将点云特征图与图像特征图进行融合，以根据融合特征图得到检测结果，采用这样的方案可以提高障碍物检测的准确性。进一步地，本实施例的方案中，在得到障碍物的边界框之后，可以直接从存储器读取初始点云特征，也即，在对当前图像进行处理之前，预先生成了对应的初始点云特征，相较于在执行步骤S102的同时，根据点云数据生成初始点云特征的方案，本发明实施例的方案能够减少内存的占用，提高处理效率，相较于在执行步骤S102之后，根据点云数据生成初始点云的方案，本发明实施例的方案能够大幅减少处理时间，也能够提高处理效率。因此，采用本发明实施例的方案，能够在确保准确性的前提下提高检测的实时性。
本发明实施例的方案中，在进行障碍物检测之前，可以先采用样本图像对预设模型进行训练，以得到图2示出的障碍物检测模型。其中，样本图像具有预先标注的边界框，以指示样本图像中障碍物的位置。
本发明实施例的方案中，在采用样本图像对预设模型进行训练之前，可以先获取样本图像对应的样本点云数据，然后根据样本点云数据和样本图像中的边界框，生成样本点云特征图。
具体而言，可以先根据样本点云数据生成样本初始点云特征，然后根据样本初始点云特征和样本图像的边界框，确定样本点云特征。关于确定样本点云特征的具体内容可以参照上文关于步骤S102至步骤S104的相关描述，在此不再赘述。
进一步地，可以将样本点云特征存储至存储器中，例如，可以存储于外部存储器中。在采用样本图像对预设模型进行训练时，可以直接读取样本点云特征。更具体的，在训练的初始化阶段，可以将样本点云特征加载至内存中，以便后续读取和处理。由此，本发明实施例的方案中，考虑到训练阶段的样本图像中的边界框是预先标注的，因此，提前将根据样本点云数据生成的样本初始点云特征和边界框进行关联。采用这样的方案可以减少训练过程中的计算量和内存占用，从而可以缩短训练的时长，提高训练效率。
参照图5，图5是本发明实施例中一种障碍物检测装置的结构示意图，图5示出的装置可以包括：
图像获取模块51，用于获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；
第一计算模块52，用于对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；
特征读取模块53，用于读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；
第二计算模块54，用于根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；
第三计算模块55，用于根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
在具体实施中，上述障碍物检测装置可以对应于终端内具有数据处理功能的芯片；或者对应于终端中具有数据处理功能的芯片模组，或者对应于终端。
关于图5示出的障碍物检测装置的工作原理、工作方式和有益效果等更多内容，可以参照上文关于图1至图4的相关描述，在此不再赘述。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的障碍物检测方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的障碍物检测方法的步骤。所述终端可以是车载终端。
本发明实施例还提供一种车辆，该车辆可以包括上述的终端，所述终端可以执行上述的障碍物检测方法。
应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；
对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；
读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；
根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；
根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述点云数据包括：多个点的位置信息，所述初始点云特征包括：每个点对应的柱体区域的位置信息，其中，所述柱体区域是对所述点进行支柱拓展得到的。
3.根据权利要求2所述的障碍物检测方法，其特征在于，所述初始点云特征还包括：每个点的特征信息，根据所述初始点云特征和所述障碍物的边界框，生成点云特征图包括：
将所述边界框映射至三维空间，以得到所述边界框对应的三维区域；
根据所述柱体区域的位置信息，筛选出处于所述三维区域内的柱体区域，以得到与所述边界框关联的目标柱体区域；
将所述目标柱体区域映射至所述当前图像所在的二维平面，以得到所述点云特征图。
4.根据权利要求3所述的障碍物检测方法，其特征在于，将所述边界框映射至三维空间，以得到所述边界框对应的三维区域之前，所述方法还包括：在所述多个点中确定最远点和最近点，所述最远点为距离所述二维平面最远的点，所述最近点为距离所述二维平面最近的点；
根据所述最远点与所述二维平面之间的距离以及所述最近点与所述二维平面之间的距离，确定所述三维区域的高度。
5.根据权利要求1所述的障碍物检测方法，其特征在于，所述图像特征图包括多个尺度不同的图像特征子图，对所述图像特征图和所述点云特征图进行融合包括：
对所述点云特征图进行尺度变换，以得到多个点云特征子图，所述点云特征子图与所述图像特征子图一一对应；
在通道方向上将具有对应关系的点云特征子图和图像特征子图进行融合，以得到多尺度的融合特征图。
6.根据权利要求1所述的障碍物检测方法，其特征在于，所述图像特征图是由特征提取模块对所述当前图像进行特征提取得到的，所述边界框是由第一预测模块对所述图像特征图进行计算得到的，所述检测结果是由第二预测模块对所述融合特征图进行计算得到的，获取当前时刻待处理的图像之前，所述方法还包括：
获取样本图像，采用样本图像对预设模型进行训练，以得到障碍物检测模型，所述检测模型包括所述特征提取模块、第一预测模块和第二预测模块；
其中，所述采用样本图像对预设模型进行训练之前，所述方法还包括：
获取所述样本图像对应的样本点云数据；
根据所述样本点云数据和所述样本图像中的边界框，生成样本点云特征图，其中，所述样本图像中的边界框是预先标注的。
7.一种障碍物检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；
第一计算模块，用于对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；
特征读取模块，用于读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；
第二计算模块，用于根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；
第三计算模块，用于根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行权利要求1至6中任一项所述的障碍物检测方法的步骤。
9.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至6中任一项所述的障碍物检测方法的步骤。
10.一种车辆，其特征在于，所述车辆配置有拍摄装置和雷达，所述车辆包括：终端，所述终端用于执行权利要求1至6任一项所述的障碍物检测方法。
CN202210545814.8A 2022-05-19 2022-05-19 障碍物检测方法及装置、存储介质、终端 Pending CN115294538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210545814.8A CN115294538A (zh) 2022-05-19 2022-05-19 障碍物检测方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210545814.8A CN115294538A (zh) 2022-05-19 2022-05-19 障碍物检测方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN115294538A true CN115294538A (zh) 2022-11-04

Family

ID=83820329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210545814.8A Pending CN115294538A (zh) 2022-05-19 2022-05-19 障碍物检测方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN115294538A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797454A (zh) * 2023-02-08 2023-03-14 深圳佑驾创新科技有限公司 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN116385431A (zh) * 2023-05-29 2023-07-04 中科航迈数控软件(深圳)有限公司 基于红外热成像与点云结合的数控机床设备故障检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797454A (zh) * 2023-02-08 2023-03-14 深圳佑驾创新科技有限公司 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN115797454B (zh) * 2023-02-08 2023-06-02 深圳佑驾创新科技有限公司 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN116385431A (zh) * 2023-05-29 2023-07-04 中科航迈数控软件(深圳)有限公司 基于红外热成像与点云结合的数控机床设备故障检测方法
CN116385431B (zh) * 2023-05-29 2023-08-11 中科航迈数控软件(深圳)有限公司 基于红外热成像与点云结合的数控机床设备故障检测方法

Similar Documents

Publication Publication Date Title
US11255973B2 (en) Method and apparatus for extracting lane line and computer readable storage medium
WO2020253121A1 (zh) 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN110598743A (zh) 一种目标对象的标注方法和装置
CN115294538A (zh) 障碍物检测方法及装置、存储介质、终端
CN109960742B (zh) 局部信息的搜索方法及装置
CN111160302A (zh) 基于自动驾驶环境的障碍物信息识别方法和装置
CN111753649B (zh) 车位检测方法、装置、计算机设备和存储介质
CN111222395A (zh) 目标检测方法、装置与电子设备
CN111401133A (zh) 目标数据增广方法、装置、电子设备和可读存储介质
CN105825495A (zh) 物体检测装置和物体检测方法
US20210064913A1 (en) Driving assistant system, electronic device, and operation method thereof
WO2021114777A1 (en) Target detection method, terminal device, and medium
WO2021114776A1 (en) Object detection method, object detection device, terminal device, and medium
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN114705121A (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN114998856B (zh) 一种多相机图像的3d目标检测方法、装置、设备及介质
CN115147328A (zh) 三维目标检测方法及装置
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
CN117152414A (zh) 一种基于尺度注意力辅助学习方法的目标检测方法及系统
CN115327524A (zh) 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置
CN116740668B (zh) 三维目标检测方法、装置、计算机设备和存储介质
CN116824152A (zh) 基于点云的目标检测方法及装置、可读存储介质、终端
CN111652034A (zh) 一种基于sift算法的船只检索方法及装置
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN113516685A (zh) 目标跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination