CN111797650A - 障碍物的识别方法、装置、计算机设备和存储介质 - Google Patents

障碍物的识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111797650A
CN111797650A CN201910278795.5A CN201910278795A CN111797650A CN 111797650 A CN111797650 A CN 111797650A CN 201910278795 A CN201910278795 A CN 201910278795A CN 111797650 A CN111797650 A CN 111797650A
Authority
CN
China
Prior art keywords
obstacle
information
image
embedded image
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910278795.5A
Other languages
English (en)
Other versions
CN111797650B (zh
Inventor
陈世熹
周雨晨
钟华
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN201910278795.5A priority Critical patent/CN111797650B/zh
Priority to US17/601,005 priority patent/US20220198808A1/en
Priority to PCT/CN2019/083083 priority patent/WO2020206708A1/zh
Publication of CN111797650A publication Critical patent/CN111797650A/zh
Application granted granted Critical
Publication of CN111797650B publication Critical patent/CN111797650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明涉及一种障碍物的识别方法、装置、计算机设备和存储介质。该方法包括：获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；根据点云数据、时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；将拼接图像输入到预设的第一CNN网络模型中，得到当前帧嵌入图像和鸟瞰图上的像素级信息；根据当前帧嵌入图像和像素级信息，确定至少一个障碍物的识别信息。本申请提出的障碍物的识别方法得到的识别信息具有多样性，进而使识别的准确度较高。

Description

障碍物的识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种障碍物的识别方法、装置、计算机设备和存储介质。
背景技术
随着激光雷达测量技术的发展，在无人驾驶的车辆应用上，利用激光雷达扫描技术识别车辆周围环境中的障碍物的方法现已得到了普及应用，在上述应用中，如何能够准确的识别障碍物的方法成为了现下重点关注的问题。
目前，车辆对于周围环境中的障碍物的识别方法主要包括:首先利用车辆上的激光雷达扫描周围环境，得到环境图像中的点云数据，再进一步的将该点云数据输入到预先训练好的物体识别模型中，使该物体识别模型输出障碍物的识别信息，以使车辆可以根据该识别信息识别出周围环境中的障碍物。
但是，上述的障碍物的识别方法存在识别信息单一，进而使得识别准确度较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够识别障碍物的多种信息，且识别准确度较高的障碍物的识别方法、装置、计算机设备和存储介质。
第一方面，一种障碍物的识别方法，所述方法包括：
获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
在其中一个实施例中，所述根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像，包括:
根据所述点云数据确定鸟瞰图的网格嵌入图像；
根据所述时序位置姿态信息和所述历史帧嵌入图像确定所述历史帧嵌入图像的转换图像；
将所述鸟瞰图的网格嵌入图像与所述历史帧嵌入图像的转换图像进行拼接，得到所述鸟瞰图的拼接图像。
在其中一个实施例中，所述根据所述点云数据确定鸟瞰图的网格嵌入，包括:
根据所述点云数据获取全景图点嵌入和各点特征；
将所述全景图点嵌入和所述各点特征输入到预设的第一FC网络模型中，得到所述每个点的点嵌入；
将所述每个点的点嵌入投射到所述鸟瞰图的网格中，得到所述鸟瞰图的网格嵌入图像。
在其中一个实施例中，所述根据所述点云数据获取全景图点嵌入和各点特征，包括:
从所述点云数据中提取全景图特征和所述各点特征；
将所述全景图特征输入到预设的第二CNN网路模型中，得到所述全景图点嵌入。
在其中一个实施例中，所述根据所述时序位置姿态信息和所述历史帧嵌入图像确定所述历史帧嵌入图像的转换图像，包括：
根据所述时序位置姿态信息，计算历史帧到当前帧的仿射变换参数；
根据所述仿射变换参数，将所述历史帧嵌入图像经过平移和旋转的变换处理，得到所述历史帧嵌入图像的转换图像。
在其中一个实施例中，所述根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息，包括：
根据所述像素级信息确定所述至少一个障碍物的属性信息；所述属性信息包括所述障碍物的位置信息和尺寸信息；
根据各所述障碍物的属性信息，从所述当前帧嵌入图像中确定各所述障碍物的像素级别嵌入；
将各所述障碍物的像素级别嵌入输入到预设的神经网络模型中，得到各所述障碍物的多种信息。
在其中一个实施例中，所述神经网络模型包括第三CNN网络模型和第二FC网络模型；所述将各所述障碍物像素级别的嵌入输入到预设的神经网络模型中，得到各所述障碍物的多种信息，包括：
将各所述障碍物像素级别的嵌入输入到所述第三CNN网络模型中，得到各所述障碍物的物体级嵌入；
将各所述物体级嵌入输入到所述第二FC网络模型中，得到所述至少一个障碍物的多种信息。
在其中一个实施例中，所述识别信息包括障碍物的置信度；所述方法还包括：
将各所述障碍物的置信度与预设置信阈值比较，将置信度小于所述预设置信阈值的障碍物滤除。
第二方面，一种障碍物的识别装置，所述装置包括：
获取模块，用于获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
确定模块，用于根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
输出模块，用于将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
识别模块，用于根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所所述的障碍物的识别方法。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所所述的障碍物的识别方法。
本申请提供的一种障碍物的识别方法、装置、计算机设备和存储介质，包括：终端设备首先获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；再根据点云数据、时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；并接着将拼接图像输入到预设的第一CNN网络模型中，得到当前帧嵌入图像和鸟瞰图上的像素级信息；最后根据当前帧嵌入图像和像素级信息，确定至少一个障碍物的识别信息。在上述终端设备识别障碍物的过程中，由于其中利用了车辆的时序位置姿态信息和周围环境的历史帧嵌入图像来确定鸟瞰图的拼接图像，使鸟瞰图的拼接图像上可以包含有多种信息，因此，将鸟瞰图的拼接图像输入到第一CNN网络模型中得到的当前帧嵌入图像上包含有多种信息，进而再由当前帧嵌入图像和鸟瞰图上的像素级信息确认的障碍物的识别信息相应的也包含多种信息，相比于传统的对障碍物的识别方法仅能得到单一的识别信息(例如分类、几何形状、高度中的一个信息)，本申请提出的障碍物的识别方法可以同时包含诸如障碍物的类别、几何形状、高度、位置、速度、置信度等多种信息。所以，本申请提出的障碍物的识别方法具有识别障碍物的多种信息的能力，且识别准确度较高。
附图说明
图1为一个实施例提供的一种计算机设备的内部结构示意图；
图2为一个实施例提供的一种障碍物的识别方法的流程图；
图3提供了图2实施例S102的一种实现方式的流程图；
图4为图3实施例S201的一种实现方式的流程图；
图5为图4实施例S301的一种实现方式的流程图；
图6提供了图3实施例S202的一种实现方式的流程图；
图7提供了图2实施例S104的一种实现方式的流程图；
图8为图7实施例S603的一种实现方式的流程图；
图9为一个实施例提供的障碍物的识别网络结构的示意图；
图10为一个实施例提供的一种障碍物的识别装置的结构示意图；
图11为一个实施例提供的一种障碍物的识别装置的结构示意图；
图12为一个实施例提供的一种障碍物的识别装置的结构示意图；
图13为一个实施例提供的一种障碍物的识别装置的结构示意图；
图14为一个实施例提供的一种障碍物的识别装置的结构示意图；
图15为一个实施例提供的一种障碍物的识别装置的结构示意图；
图16为一个实施例提供的一种障碍物的识别装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供的障碍物的识别方法，可以应用于如图1所示的计算机设备中。该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种XXX方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的一种障碍物的识别方法的流程图。本实施例的执行主体为终端设备，本实施例涉及的是终端设备根据激光雷达扫描的点云数据识别周围环境障碍物的具体过程。如图2所示，该方法包括：
S101、获取激光雷达扫描的点云数据和车辆的时序位置姿态信息。
其中，点云数据是指在三维坐标系统中的一组向量的集合，这些向量通常以(x,y,z)三维坐标的形式表示，主要用来表示障碍物的外表面形状。车辆的时序位置姿态信息是指车辆在前后时刻的位置姿态变化信息，且该位置姿态变化信息可以包括车辆的位置变化信息、方向变化信息、速度变化信息等。
在实际应用中，终端设备可以为车辆上安装的终端设备，也可以是与车辆连接的终端设备，车辆上可以安装有激光雷达扫描设备，激光雷达扫描设备用于实现360°扫描车辆周围的环境，从而得到激光雷达扫描的点云数据。车辆上还可以安装有导航设备或检测设备，该导航设备或检测设备用于实时对车辆的时序位置姿态信息进行检测。本实施例中，终端设备可以与激光雷达扫描设备连接，当终端设备对周围环境中的障碍物进行识别时，终端设备可以先通过车辆上的激光雷达扫描设备获取周围环境对应的点云数据，可选的，终端设备也可以通过其它设备获取周围环境对应的点云数据。终端设备还可以与导航设备或检测设备连接，当终端设备预对周围环境中的障碍物进行识别时，终端设备可以通过车辆上的导航设备或检测设备获取车辆自身的时序位置姿态信息，可选的，终端设备也可以通过其它设备获取车辆自身的时序位置姿态信息。
S102、根据点云数据、时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像。
其中，历史帧嵌入图像用于表示历史时刻的周围环境的点云嵌入图像，鸟瞰图的拼接图像是由鸟瞰图的网格嵌入图像与历史帧嵌入图像经过坐标变换后形成的图像拼接得到的。
本实施例中，当终端设备获取到周围环境的点云数据，以及车辆自身的时序位置姿态信息时，可以先采用相应的图像转换方法，根据当前帧嵌入获取历史帧嵌入图像，以及由点云数据获取鸟瞰图的网格嵌入图像，再由历史帧嵌入图像和车辆自身的时序位置姿态信息获取历史帧嵌入图像经过坐标变换后形成的图像，然后可以将历史帧嵌入图像经过坐标变换后形成的图像和鸟瞰图的网格嵌入图像进行拼接，生成鸟瞰图的拼接图像。
S103、将拼接图像输入到预设的第一CNN网络模型中，得到当前帧嵌入图像和鸟瞰图上的像素级信息。
其中，第一CNN网络模型为一种卷积神经网络模型，可以预先由终端设备采用相应的卷积神经网络算法构建，在本实施例中第一CNN网络模型用于根据鸟瞰图的拼接图像得到当前帧嵌入图像和鸟瞰图上的像素级信息。当前帧嵌入图像用于表示当前时刻的周围环境的点云嵌入图像。鸟瞰图上的像素级信息包括鸟瞰图上像素级的分类、聚类、置信、速度等信息。
本实施例中，当终端设备获取到鸟瞰图的拼接图像时，可以进一步的将该鸟瞰图的拼接图像输入到预先构建好的第一CNN网络模型中进行识别，使第一CNN网络模型输出当前帧嵌入图像和鸟瞰图上的像素级信息。
S104、根据当前帧嵌入图像和像素级信息，确定至少一个障碍物的识别信息。
其中，障碍物的识别信息可以包括障碍物的类别、二维或三维边界框、几何形状、速度、置信度等信息。本实施例中，当终端设备获取到周围环境的当前帧嵌入图像和像素级信息时，可以进一步的采用图像转换方法根据当前帧嵌入图像和像素级信息确定周围环境中的至少一个障碍物的嵌入，再根据至少一个障碍物的嵌入图像确定障碍物的识别信息，识别信息可以具体包括多种用于描述障碍物的信息，例如，类别、二维或三维边界框、几何形状、高度、位置、置信等信息。需要说明的是，上述至少一个障碍物的嵌入可以包括障碍物的像素级嵌入和障碍物的物体级嵌入。
上述实施例提供的一种障碍物的识别方法，终端设备首先获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；再根据点云数据、时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；并接着将拼接图像输入到预设的第一CNN网络模型中，得到当前帧嵌入图像和鸟瞰图上的像素级信息；最后根据当前帧嵌入图像和像素级信息，确定至少一个障碍物的识别信息。在上述终端设备识别障碍物的过程中，由于其中利用了车辆的时序位置姿态信息和周围环境的历史帧嵌入图像来确定鸟瞰图的拼接图像，使鸟瞰图的拼接图像上可以包含有多种信息，因此，将鸟瞰图的拼接图像输入到第一CNN网络模型中得到的当前帧嵌入图像上包含有多种信息，进而再由当前帧嵌入图像和鸟瞰图上的像素级信息确认的障碍物的识别信息相应的也包含多种信息，相比于传统的对障碍物的识别方法仅能得到单一的识别信息(例如分类、几何形状、高度中的一个信息)，本申请提出的障碍物的识别方法可以同时包含诸如障碍物的类别、几何形状、高度、位置、速度、置信度等多种信息。所以，本申请提出的障碍物的识别方法具有识别障碍物的多种信息的能力，且识别准确度较高。
在一个实施例中，图3提供了图2实施例S102的一种实现方式的流程图。本实施例涉及的是终端设备确定鸟瞰图的拼接图像的具体过程。如图3所示，上述S102“根据点云数据、时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像”，包括：
S201、根据点云数据确定鸟瞰图的网格嵌入图像。
其中，鸟瞰图的网格嵌入图像用于表示点云数据中的每个点的嵌入投射到鸟瞰图的网格图像上生成的图像。本实施例中，当终端设备获取到激光雷达扫描的点云数据时，可以进一步的根据点云数据得到每个点的嵌入，再将每个点的嵌入投射到预设的鸟瞰图的网格图像上进行变换，从而得到鸟瞰图的网格嵌入图像，以便之后使用。
S202、根据时序位置姿态信息和历史帧嵌入图像确定历史帧嵌入图像的转换图像。
本实施例中，当终端设备获取到车辆的时序位置姿态信息和历史帧嵌入图像时，可以进一步采用相应的图像转换方法，例如坐标转换方法，根据时序位置姿态信息，将历史帧嵌入图像进行相应的图像转换，得到历史帧嵌入图像的转换图像。
S203、将鸟瞰图的网格嵌入图像与历史帧嵌入图像的转换图像进行拼接，得到鸟瞰图的拼接图像。
本实施例中，当终端设备获取到鸟瞰图的网格嵌入图像与历史帧嵌入图像的转换图像时，可以采用相应的拼接方法，将鸟瞰图的网格嵌入图像和历史帧嵌入图像的转换图像进行拼接，得到鸟瞰图的拼接图像。
在一个实施例中，图4为图3实施例S201的一种实现方式的流程图。本实施例涉及终端设备确定鸟瞰图的网格嵌入图像的具体过程，如图4所示，上述S201“根据点云数据确定鸟瞰图的网格嵌入图像”，包括：
S301、根据点云数据获取全景图点嵌入和各点特征。
其中，全景图点嵌入用于表示激光雷达扫描的点云数据对应的全景图特征经过变换后生成的全景图上的点嵌入。
本实施例中，当终端设备获取到激光雷达扫描的点云数据时，可以采用相应的提取方法直接从点云数据中提取出全景图特征，以及各点特征，再进一步采用相应的图像转换方法，将全景图特征转换成全景图点嵌入，以便之后使用。
S302、将全景图点嵌入和各点特征输入到预设的第一FC网络模型中，得到每个点的点嵌入。
其中，第一FC网络模型是一种全连接网络模型，其可以由终端设备预先采用相应的计算方法构建，在本实施例中第一FC网络模型用于根据全景图点嵌入和各点特征得到每个点的点嵌入。本实施例中，当终端设备获取到全景图点嵌入和各点特征后，可以将全景图点嵌入和各点特征输入到预设的第一FC网络模型中，使第一FC网络模型输出每个点的点嵌入，以便之后使用。
S303、将每个点的点嵌入投射到鸟瞰图的网格中，得到鸟瞰图的网格嵌入图像。
其中，鸟瞰图的网格可以是一个h*w的二维网格，具体h和w的取值可以根据实际识别精度确定。鸟瞰图的网格可以由终端设备预先对鸟瞰图进行网格划分得到。
本实施例中，当终端设备获取到每个点的点嵌入与预先划分好的鸟瞰图的网格时，可以将每个点的点嵌入投射到鸟瞰图的网格中，实现将鸟瞰图的网格图像转换成鸟瞰图的网格嵌入图像，进而得到鸟瞰图的网格嵌入图像。
在一个实施例中，图5为图4实施例S301的一种实现方式的流程图。该实施例涉及的是终端设备获取全景图点嵌入和各点特征的具体过程。如图5所示，上述S301“根据点云数据获取全景图点嵌入和各点特征”，包括：
S401、从点云数据中提取全景图特征和各点特征。
其中，全景图特征可以根据如下方法得到：将激光雷达扫描的可视区域对应的点云图像分成垂直可视角度的区域图像和水平环视角度的区域图像，再将垂直可视角度的区域图像和水平环视角度的区域图像分成h'*w'的二维网格，其中的h'和w'的取值可以根据实际识别精度需求调节。若每个网格中有点云位于其中时，则计算该点云的坐标、强度等特征，并将计算结果作为该网格的特征取值，若每个网格中没有点云位于其中时，则将数值0作为该网格的特征取值。经过以上过程最终得到的全部网格的特征取值即为全景图特征。
本实施例中，当终端设备获取到激光雷达扫描的点云数据时，可以进一步的将该点云数据转换成各个视角的点云图像，再采用上述全景图特征的获取方法得到全景图特征，以及采用相应的提取方法从点云数据中提取出各点特征，上述各点特征可以具体包括各点的坐标、强度、距离等信息。
S402、将全景图特征输入到预设的第二CNN网路模型中，得到全景图点嵌入。
其中，第二CNN网路模型为一种卷积神经网络模型，可选的，第二CNN网路模型可以是一种多层的卷积神经网络模型，其可以由终端设备预先采用相应的卷积神经网络算法构建，在本实施例中第二CNN网路模型用于对全景图特征进行转换处理得到全景图点嵌入。
本实施例中，当终端设备从点云数据中提取出全景图特征后，可以进一步的将全景图特征输入到第二CNN网路模型中，使第二CNN网路模型对全景图特征进行转换处理，最后输出对应的全景图点嵌入，以便之后使用。
在一个实施例中，图6提供了图3实施例S202的一种实现方式的流程图。本实施例涉及的是终端设备确定历史帧嵌入图像的转换图像的具体过程。如图6所示，上述S202“根据时序位置姿态信息和历史帧嵌入图像确定历史帧嵌入图像的转换图像”，包括：
S501、根据时序位置姿态信息，计算历史帧到当前帧的仿射变换参数。
其中，历史帧到当前帧的仿射变换参数为终端设备对历史帧嵌入图像进行转换时所使用的转换参数。本实施例中，当终端设备获取到车辆的时序位置姿态信息时，相当于得到了车辆在历史帧与当前帧之间车辆的位置姿态变化信息，然后通过分析该位置姿态变化信息，可以计算得到历史帧到当前帧的仿射变换参数。
S502、根据仿射变换参数，将历史帧嵌入图像经过平移和旋转的变换处理，得到历史帧嵌入图像的转换图像。
本实施例中，当终端设备获取到历史帧到当前帧的仿射变换参数时，可以相应的参考该仿射变换参数，将历史帧嵌入图像进行平移和旋转的变换处理，从而得到经过处理后的历史帧嵌入图像的转换图像。
在一个实施例中，图7提供了图2实施例S104的一种实现方式的流程图。本实施例涉及的是终端设备确定障碍物的识别信息的具体过程。如图7所示，上述S104“根据当前帧嵌入图像和像素级信息，确定至少一个障碍物的识别信息”，包括：
S601、根据像素级信息确定至少一个障碍物的属性信息。
其中，属性信息包括障碍物的位置信息和尺寸信息。本实施例中，终端设备可以根据像素级信息中的聚类信息确定在当前帧嵌入图像中的至少一个障碍物的属性信息，例如，终端设备可以根据第二CNN网路模型输出的聚类信息确定各障碍物在当前帧嵌入图像中的具体位置和几何形状。
S602、根据各障碍物的属性信息，从当前帧嵌入图像中确定各障碍物的像素级别嵌入。
本实施例中，当终端设备获取到各障碍物的属性信息时，即确定了各障碍物在当前帧嵌入图像中的位置及尺寸，终端设备可以进一步的根据各障碍物在当前帧嵌入图像中的位置及尺寸，从当前帧嵌入图像中裁剪得到各障碍物的像素级别嵌入。
S603、将各障碍物的像素级别嵌入输入到预设的神经网络模型中，得到各障碍物的识别信息。
其中，神经网络模型可以包括多个或多种神经网络模型，具体的可以是CNN网络模型，也可以是FC网络模型，在本实施例中神经网络模型用于根据各障碍物的像素级别嵌入得到各障碍物对应的识别信息，该识别信息可以具体包括描述障碍物的多种信息，例如障碍物的类别、高度、几何形状、速度、置信等信息。
本实施例中，当终端设备根据就上述实施例所述的方法获取到各障碍物的像素级别嵌入时，可以进一步的将各障碍物的像素级别嵌入输入到预设的神经网络模型中，实现对各障碍物的像素级别嵌入进行识别，使预设的神经网络模型输出描述各障碍物的识别信息。。
在一个实施例中，本申请提供了上述神经网络模型所包含的具体模型类型，即所述神经网络模型包括第三CNN网络模型和第二FC网络模型；图8为图7实施例S603的一种实现方式的流程图。如图8所示，上述S603“将各障碍物的像素级别嵌入输入到预设的神经网络模型中，得到各障碍物的识别信息”包括：
S701、将各障碍物像素级别的嵌入输入到第三CNN网络模型中，得到各障碍物的物体级嵌入。
其中，第三CNN网络模型为一种卷积神经网络模型，可以预先由终端设备采用相应的卷积神经网络算法构建，在本实施例中第三CNN网络模型用于对各障碍物像素级别的嵌入进行像素级与物体级之间的图像转换处理，从而得到各障碍物的物体级嵌入。可选的，本实施例中的第三CNN网络模型可以是一种金字塔型的CNN网络模型。
本实施例中，当终端设备获取到各障碍物像素级别的嵌入时，可以进一步的将各障碍物像素级别的嵌入输入到预先构建好的第三CNN网络模型中，使第三CNN网络模型输出各障碍物的物体级嵌入。
S702、将各物体级嵌入输入到第二FC网络模型中，得到至少一个障碍物的识别信息。
其中，第二FC网络模型为一种全连接网络模型，其可以由终端设备预先采用相应的计算方法构建，在本实施例中第二FC网络模型用于对各障碍物的物体级嵌入进行识别，得到各障碍物的识别信息。
本实施例中，当终端设备获取到各障碍物的物体级嵌入时，可以进一步的将各障碍物像的物体级嵌入输入到预先构建好的第二FC网络模型中，使第二FC网络模型输出各障碍物的识别信息，以实现对各障碍物的识别，本实施例中的识别信息可以包括各障碍物的诸如类别、几何形状、高度、速度、以置信等多种可以表示障碍物的信息。
在一个实施例中，当识别信息包括障碍物的置信度时，本申请所述的障碍物的识别方法还包括：将各障碍物的置信度与预设置信阈值比较，将置信度小于预设置信阈值的障碍物滤除。
其中，预设置信阈值可以由终端设备预先根据实际识别准确度需求确定，预设置信阈值越高，终端设备识别障碍物的识别准确度越高。
本实施例涉及的是终端设备对上述各障碍物的识别信息进行进一步的优化筛选的过程，该过程具体包括：终端设备可以先从各障碍物的识别信息中获取各障碍物的置信度，再将各障碍物的置信度与预设置信阈值进行比较，将其中置信度小于预设置信阈值时对应的障碍物滤除，以从至少一个障碍物中筛选出符合实际识别准确度要求的障碍物。
综上上述所有实施例所述的障碍物的识别方法，本申请还提供了一种障碍物的识别网络结构，参见图9所示的障碍物的识别网络结构的示意图，该结构主要包括：第一CNN网路模型、第二CNN网路模型、第三CNN网络模型、第一FC网路模型、第二FC网路模型、以及RNN网路模型，其中的第一CNN网路模型用于根据输入的鸟瞰图的拼接图像输出当前帧嵌入图像和鸟瞰图上的像素级信息；第二CNN网路模型用于根据输入的全景图特征输出全景图点嵌入；第三CNN网络模型用于根据输入的各障碍物的像素级别嵌入输出各障碍物的物体级嵌入；第一FC网路模型用于根据输入的全景图点特征和单点特征输出每个点的点嵌入；第二FC网路模型用于根据输入的各障碍物的物体级嵌入输出各障碍物的识别信息；RNN网路模型用于根据输入的当前帧嵌入图像输出历史帧嵌入图像。
应用上述识别网络结构实现对周围环境中的各障碍物的识别，具体的实现过程为：一方面，激光雷达360°的扫描周围环境，得到扫描的点云数据，终端设备连接该终端设备，从而获取到该扫描的点云数据，再采用相应的特征提取方法从该扫描的点云数据中提取出全景图点特征和单点特征，并将全景图点特征输入到预设的第二CNN网路模型中进行变换处理，得到全景图点嵌入，终端设备再接着将全景图点嵌入和单点特征同时输入到预设的第一FC网路模型中进行全连接处理，得到每个点的点嵌入，再进一步的将每个点的点嵌入投射到预先划分好的鸟瞰图的网格中，进行鸟瞰图的网格变换，得到经过变换后的鸟瞰图的网格嵌入图像。另一方面，终端设备根据车辆上的检测系统或到导航系统获取车辆的时序位置姿态信息，再根据时序位置姿态信息计算得到历史帧到当前帧的仿射变换参数，当终端设备获取到历史帧嵌入图像时，可以参考前述得到的仿射变换参数将历史帧嵌入图像进行平移和旋转的变换，得到变换后的图像，在终端设备获取到变换后的图像和鸟瞰图的网格嵌入图像后，可以进行拼接处理得到鸟瞰图的拼接图像，再将鸟瞰图的拼接图像输入到预设的第一CNN网路模型中进行识别，得到鸟瞰图上的像素级信息和当前帧嵌入图像，其中，终端设备可以当前帧嵌入图像输入到RNN网络模型中，得到历史帧嵌入图像，以便在之后获取下一帧嵌入图像时使用。在终端设备获取到鸟瞰图上的像素级信息时，可以进一步的根据像素级信息中的聚类信息确定至少一个障碍物的属性信息，指示出各障碍物在当前帧嵌入图像中的具体位置和尺寸，然后终端设备就可以通过对当前帧嵌入图像的裁剪处理，得到各障碍物的像素级别嵌入，最后，终端设备将各障碍物的像素级别嵌入输入到预设的第三CNN网络模型中作变换处理，得到各＝障碍物的物体级嵌入，再进一步的将各障碍物的物体级嵌入输入到预设的第二FC网络模型中进行各障碍物的信息识别，最终在第二FC网络模型的输出端得到各各障碍物的识别信息。
上述实施例中，在终端设备实现对周围环境中存在的各障碍物的识别过程中，由于采用了第一CNN网络模型、RNN网络模型等多种识别模型共同实现对障碍物的识别，而各识别模型可以根据不同的输入信息输出不同的识别信息，因此，本申请提出的障碍物的识别方法识别出的障碍物的信息可以包括多种不同属性的信息，具有多样性，进而使识别障碍物的准确性较高。
应该理解的是，虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。
在一个实施例中，如图10所示，提供了一种障碍物的识别装置，包括：获取模块11、确定模块12、输出模块13和识别模块14，其中：
获取模块11，用于获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
确定模块12，用于根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
输出模块13，用于将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
识别模块14，用于根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
在一个实施例中，如图11所示，上述确定模块12包括：第一确定单元121、第二确定单元122和拼接单元123，其中：
第一确定单元121，用于根据所述点云数据确定鸟瞰图的网格嵌入图像；
第二确定单元122，用于根据所述时序位置姿态信息和所述历史帧嵌入图像确定所述历史帧嵌入图像的转换图像；
拼接单元123，用于将所述鸟瞰图的网格嵌入图像与所述历史帧嵌入图像的转换图像进行拼接，得到所述鸟瞰图的拼接图像。
在一个实施例中，如图12所示，上述第一确定单元121包括：获取子单元1211、第一输出子单元1212和投射子单元1213，其中：
获取子单元1211，用于根据所述点云数据获取全景图点嵌入和各点特征；
第一输出子单元1212，用于将所述全景图点嵌入和所述各点特征输入到预设的第一FC网络模型中，得到所述每个点的点嵌入；
投射子单元1213，用于将所述每个点的点嵌入投射到所述鸟瞰图的网格中，得到所述鸟瞰图的网格嵌入图像。
在一个实施例中，上述获取子单元1211具体用于从所述点云数据中提取全景图特征和所述各点特征；
将所述全景图特征输入到预设的第二CNN网路模型中，得到所述全景图点嵌入。
在一个实施例中，如图13所示，上述第二确定单元122包括：计算子单元1221和变换子单元1222，其中：
计算子单元1221，用于根据所述时序位置姿态信息，计算历史帧到当前帧的仿射变换参数；
变换子单元1222，根据所述仿射变换参数，将所述历史帧嵌入经过平移和旋转的变换处理，得到所述历史帧嵌入图像的转换图像。
在一个实施例中，如图14所示，上述识别模块14包括：第三确定单元141、第四确定单元142和输出单元143，其中：
第三确定单元141，用于根据所述像素级信息确定所述至少一个障碍物的属性信息；所述属性信息包括所述障碍物的位置信息和尺寸信息；
第四确定单元142，根据各所述障碍物的属性信息，从所述当前帧嵌入图像中确定各所述障碍物的像素级别嵌入；
输出单元143，将各所述障碍物的像素级别嵌入输入到预设的神经网络模型中，得到各所述障碍物的多种信息。
在一个实施例中，如图15所示，上述输出单元143包括：第二输出子单元1431和第三输出子单元1432，其中：
第二输出子单元1431，用于将各所述障碍物像素级别的嵌入输入到所述第三CNN网络模型中，得到各所述障碍物的物体级嵌入；
第三输出子单元1432，用于将各所述物体级嵌入输入到所述第二FC网络模型中，得到所述至少一个障碍物的多种信息。
在一个实施例中，如图16所示，上述障碍物的识别装置，还包括：
滤除模块15，用于将各所述障碍物的置信度与预设置信阈值比较，将置信度小于所述预设置信阈值的障碍物滤除。
关于障碍物的识别装置的具体限定可以参见上文中对于一种障碍物的识别方法的限定，在此不再赘述。上述障碍物的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：
获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种障碍物的识别方法，其特征在于，所述方法包括：
获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像，包括：
根据所述点云数据确定鸟瞰图的网格嵌入图像；
根据所述时序位置姿态信息和所述历史帧嵌入图像确定所述历史帧嵌入图像的转换图像；
将所述鸟瞰图的网格嵌入图像与所述历史帧嵌入图像的转换图像进行拼接，得到所述鸟瞰图的拼接图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述点云数据确定鸟瞰图的网格嵌入，包括：
根据所述点云数据获取全景图点嵌入和各点特征；
将所述全景图点嵌入和所述各点特征输入到预设的第一FC网络模型中，得到所述每个点的点嵌入；
将所述每个点的点嵌入投射到所述鸟瞰图的网格中，得到所述鸟瞰图的网格嵌入图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述点云数据获取全景图点嵌入和各点特征，包括：
从所述点云数据中提取全景图特征和所述各点特征；
将所述全景图特征输入到预设的第二CNN网路模型中，得到所述全景图点嵌入。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述时序位置姿态信息和所述历史帧嵌入图像确定所述历史帧嵌入图像的转换图像，包括：
根据所述时序位置姿态信息，计算历史帧到当前帧的仿射变换参数；
根据所述仿射变换参数，将所述历史帧嵌入图像经过平移和旋转的变换处理，得到所述历史帧嵌入图像的转换图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息，包括：
根据所述像素级信息确定所述至少一个障碍物的属性信息；所述属性信息包括所述障碍物的位置信息和尺寸信息；
根据各所述障碍物的属性信息，从所述当前帧嵌入图像中确定各所述障碍物的像素级别嵌入；
将各所述障碍物的像素级别嵌入输入到预设的神经网络模型中，得到各所述障碍物的识别信息。
7.根据权利要求6所述的方法，其特征在于，所述神经网络模型包括第三CNN网络模型和第二FC网络模型；所述将各所述障碍物像素级别的嵌入输入到预设的神经网络模型中，得到各所述障碍物的多种信息，包括：
将各所述障碍物像素级别的嵌入输入到所述第三CNN网络模型中，得到各所述障碍物的物体级嵌入；
将各所述物体级嵌入输入到所述第二FC网络模型中，得到所述至少一个障碍物的识别信息。
8.根据权利要求6或7所述的方法，其特征在于，所述识别信息包括障碍物的置信度；所述方法还包括：
将各所述障碍物的置信度与预设置信阈值比较，将置信度小于所述预设置信阈值的障碍物滤除。
9.一种障碍物的识别装置，其特征在于，所述装置包括：
获取模块，用于获取激光雷达扫描的点云数据和车辆的时序位置姿态信息；
确定模块，用于根据所述点云数据、所述时序位置姿态信息、以及历史帧嵌入图像，确定鸟瞰图的拼接图像；
输出模块，用于将所述拼接图像输入到预设的第一CNN网络模型中，得到所述当前帧嵌入图像和所述鸟瞰图上的像素级信息；
识别模块，用于根据所述当前帧嵌入图像和所述像素级信息，确定至少一个障碍物的识别信息。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN201910278795.5A 2019-04-09 2019-04-09 障碍物的识别方法、装置、计算机设备和存储介质 Active CN111797650B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910278795.5A CN111797650B (zh) 2019-04-09 2019-04-09 障碍物的识别方法、装置、计算机设备和存储介质
US17/601,005 US20220198808A1 (en) 2019-04-09 2019-04-17 Obstacle recognition method and apparatus, computer device, and storage medium
PCT/CN2019/083083 WO2020206708A1 (zh) 2019-04-09 2019-04-17 障碍物的识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910278795.5A CN111797650B (zh) 2019-04-09 2019-04-09 障碍物的识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111797650A true CN111797650A (zh) 2020-10-20
CN111797650B CN111797650B (zh) 2024-02-27

Family

ID=72750502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910278795.5A Active CN111797650B (zh) 2019-04-09 2019-04-09 障碍物的识别方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20220198808A1 (zh)
CN (1) CN111797650B (zh)
WO (1) WO2020206708A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN113759331A (zh) * 2021-02-07 2021-12-07 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN115018909A (zh) * 2022-08-03 2022-09-06 禾多科技（北京）有限公司 可行驶区域生成方法、装置、电子设备和计算机可读介质
WO2023231435A1 (zh) * 2022-06-01 2023-12-07 北京地平线信息技术有限公司 视觉感知方法、装置、存储介质和电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287860B (zh) * 2020-11-03 2022-01-07 北京京东乾石科技有限公司 物体识别模型的训练方法及装置、物体识别方法及系统
CN112287859A (zh) * 2020-11-03 2021-01-29 北京京东乾石科技有限公司 物体识别方法、装置和系统，计算机可读存储介质
CN113052066B (zh) * 2021-03-24 2022-09-02 中国科学技术大学 三维目标检测中基于多视图和图像分割的多模态融合方法
CN113239719B (zh) * 2021-03-29 2024-04-19 深圳元戎启行科技有限公司 基于异常信息识别的轨迹预测方法、装置和计算机设备
CN114675274A (zh) * 2022-03-10 2022-06-28 北京三快在线科技有限公司 障碍物检测方法、装置、存储介质及电子设备
CN115147838B (zh) * 2022-06-30 2023-08-29 小米汽车科技有限公司 图像处理方法、装置、车辆、介质及程序产品
CN115761702B (zh) * 2022-12-01 2024-02-02 广汽埃安新能源汽车股份有限公司 车辆轨迹生成方法、装置、电子设备和计算机可读介质
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322640A1 (en) * 2017-05-02 2018-11-08 Hrl Laboratories, Llc System and method for detecting moving obstacles based on sensory prediction from ego-motion
US20180365504A1 (en) * 2017-06-20 2018-12-20 Baidu Online Network Technology (Beijing) Co., Ltd. Obstacle type recognizing method and apparatus, device and storage medium
CN109509210A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 障碍物跟踪方法和装置
CN109521757A (zh) * 2017-09-18 2019-03-26 百度在线网络技术（北京）有限公司 静态障碍物识别方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474160B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN111771229B (zh) * 2019-01-30 2023-11-21 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云重影效果检测系统
WO2020154965A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. A real-time map generation system for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322640A1 (en) * 2017-05-02 2018-11-08 Hrl Laboratories, Llc System and method for detecting moving obstacles based on sensory prediction from ego-motion
US20180365504A1 (en) * 2017-06-20 2018-12-20 Baidu Online Network Technology (Beijing) Co., Ltd. Obstacle type recognizing method and apparatus, device and storage medium
CN109509210A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 障碍物跟踪方法和装置
CN109521757A (zh) * 2017-09-18 2019-03-26 百度在线网络技术（北京）有限公司 静态障碍物识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHANG-LIN YU 等: "Vehicle Detection and Localization on Bird’s Eye View Elevation Images Using Convolutional Neural Network", 2017 IEEE INTERNATIONAL SYMPOSIUM ON SAFETY， SECURITY AND RESCUE ROBOTICS （SSRR） *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759331A (zh) * 2021-02-07 2021-12-07 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN113759331B (zh) * 2021-02-07 2024-04-12 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN112528979B (zh) * 2021-02-10 2021-05-11 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质
WO2023231435A1 (zh) * 2022-06-01 2023-12-07 北京地平线信息技术有限公司 视觉感知方法、装置、存储介质和电子设备
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN114821346B (zh) * 2022-06-28 2022-09-02 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN115018909A (zh) * 2022-08-03 2022-09-06 禾多科技（北京）有限公司 可行驶区域生成方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
WO2020206708A1 (zh) 2020-10-15
US20220198808A1 (en) 2022-06-23
CN111797650B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
CN111353969B (zh) 道路可行驶区域的确定方法、装置及计算机设备
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN110458112B (zh) 车辆检测方法、装置、计算机设备和可读存储介质
CN111191600A (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN111968235A (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN109033989B (zh) 基于三维点云的目标识别方法、装置及存储介质
WO2020000737A1 (zh) 移动机器人定位方法、存储介质及计算机设备
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
CN113689578A (zh) 一种人体数据集生成方法及装置
CN112287730A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN111009011A (zh) 车辆方向角的预测方法、装置、系统以及存储介质
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
CN114119992A (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
CN114663598A (zh) 三维建模方法、装置和存储介质
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN112333468B (zh) 图像处理方法、装置、设备及存储介质
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN112307799A (zh) 姿态识别方法、装置、系统、存储介质及设备
JP2023100258A (ja) 空中給油のための姿勢推定の修正

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant