CN111950428A - 目标障碍物识别方法、装置及运载工具 - Google Patents

目标障碍物识别方法、装置及运载工具 Download PDF

Info

Publication number
CN111950428A
CN111950428A CN202010787342.8A CN202010787342A CN111950428A CN 111950428 A CN111950428 A CN 111950428A CN 202010787342 A CN202010787342 A CN 202010787342A CN 111950428 A CN111950428 A CN 111950428A
Authority
CN
China
Prior art keywords
target
point cloud
target obstacle
coordinate system
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010787342.8A
Other languages
English (en)
Inventor
苏英菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202010787342.8A priority Critical patent/CN111950428A/zh
Publication of CN111950428A publication Critical patent/CN111950428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种目标障碍物识别方法、装置及运载工具，涉及自动驾驶领域。该方法包括确定目标障碍物点云；基于目标障碍物点云建立目标障碍物坐标系；目标障碍物坐标系为世界坐标系；对目标障碍物点云中的目标点进行重新赋值得到目标点在目标障碍物坐标系下的新坐标；将目标点的新坐标输入训练好的网络模型中得到目标障碍物的尺寸和形状。该方法通过建立新的障碍物坐标系，并将原来障碍物点云中点的坐标转换到新的障碍物坐标系下，这样点云的新坐标即可表征点云相对位置，将点云的新坐标传输给网络模型，更有利于网络模型的快速收敛和精准学习，从而使得模型的准确性得到提高。

Description

目标障碍物识别方法、装置及运载工具
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及一种目标障碍物识别方法、装置及运载工具。
背景技术
随着无人驾驶技术的发展，自动驾驶车辆得到了人们的广泛关注。
自动驾驶车辆是一种通过电脑系统实现无人驾驶的智能车辆。并且，自动驾驶车辆依靠人工智能、摄像头、雷达及全球定位系统协同合作，使车辆可以在没有任何人类主动干预下自动驾驶，障碍物的识别是实现自动驾驶的重点内容，以实现避障，确保自动驾驶车辆的安全。
目前，现有技术中主要是通过激光雷达扫描周围环境得到雷达点云，并将大量的雷达点云输入到网络模型中来实现自动驾驶车辆对障碍物的识别。
然而，上述现有技术中由于将雷达点云输入网络模型进行学习，不利于网络模型的快速收敛和精准学习，导致网络模型的准确度较低。
发明内容
为了解决上述问题，本发明的目的在于提供一种目标障碍物识别方法、装置及运载工具。
第一方面，本发明实施例提供一种目标障碍物识别方法，所述方法包括：
确定目标障碍物点云；
基于所述目标障碍物点云建立目标障碍物坐标系；其中所述目标障碍物坐标系为世界坐标系；
基于所述目标障碍物坐标系对所述目标障碍物点云中的目标点进行重新赋值，得到所述目标点在所述目标障碍物坐标系下的新坐标；其中所述目标点在所述目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；
将所述目标点在所述目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中所述识别信息包括所述目标障碍物的尺寸和形状。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述确定目标障碍物点云的步骤，包括：
获取目标区域的激光雷达点云数据；其中所述目标障碍物位于所述目标区域内；
对目标区域内的所述激光雷达点云数据进行分析，得到所述目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在激光雷达坐标下的点云数据。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述确定目标障碍物点云的步骤，包括：
获取双目摄像头拍摄的目标图片；其中所述目标图片为包括目标障碍物的图片；
对所述目标图片进行深度计算得到深度图；
对所述深度图进行坐标转换得到所述目标图片在相机坐标系下的点云数据；
对所述目标图片在相机坐标系下的点云数据进行分析，得到目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在相机坐标下的点云数据。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述目标障碍物点云还包括RGB数据；其中所述RGB数据是基于所述目标图片得到的。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述目标点为所述目标障碍物点云中的所有点。
第二方面，本发明实施例提供一种目标障碍物识别装置，所述装置包括：
确定模块，用于确定目标障碍物点云；
建立模块，用于基于所述目标障碍物点云建立目标障碍物坐标系；其中所述目标障碍物坐标系为世界坐标系；
赋值模块，用于基于所述目标障碍物坐标系对所述目标障碍物点云中的目标点进行重新赋值，得到所述目标点在所述目标障碍物坐标系下的新坐标；其中所述目标点在所述目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；
识别模块，用于将所述目标点在所述目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中所述识别信息包括所述目标障碍物的尺寸和形状。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述确定模块用于获取目标区域的激光雷达点云数据；其中所述目标障碍物位于所述目标区域内；对目标区域内的所述激光雷达点云数据进行分析，得到所述目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在激光雷达坐标下的点云数据。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述确定模块用于获取双目摄像头拍摄的目标图片；其中所述目标图片为包括目标障碍物的图片；对所述目标图片进行深度计算得到深度图；对所述深度图进行坐标转换得到所述目标图片在相机坐标系下的点云数据；对所述目标图片在相机坐标系下的点云数据进行分析，得到目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在相机坐标下的点云数据。
第三方面，本发明实施例提供一种运载工具，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现前述实施方式任一项所述的方法。
第四方面，本发明实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述实施方式任一项所述的方法。
本发明实施例提供的上述目标障碍物识别方法、装置及运载工具，通过首先确定目标障碍物点云；然后基于目标障碍物点云建立目标障碍物坐标系；其中目标障碍物坐标系为世界坐标系；并基于目标障碍物坐标系对目标障碍物点云中的目标点进行重新赋值，得到目标点在目标障碍物坐标系下的新坐标；其中目标点在目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；最后将目标点在目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中识别信息包括目标障碍物的尺寸和形状。本发明实施例通过建立新的障碍物坐标系，并将原来障碍物点云中的点的坐标转换到新的障碍物坐标系下，这样障碍物点云的新坐标可以直观体现出点云的相对位置，例如障碍物的长宽高等信息，将上述点云的新坐标输入到网络模型，使得网络模型能够快速收敛和精准学习，从而提高了网络模型的准确度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标障碍物识别方法的流程图；
图2为本发明实施例提供的步骤S101的第一流程图；
图3为本发明实施例提供的步骤S101的第二流程图；
图4为本发明实施例提供的一种目标障碍物识别装置的示意图；
图5为本发明实施例提供的一种运载工具的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
目前，自动驾驶车辆在道路上行驶时，主要是通过激光雷达扫描周围环境得到雷达点云，并将大量的雷达点云输入到网络模型中来实现自动驾驶车辆对障碍物的识别，然而，上述现有技术中由于将雷达点云输入网络模型进行学习，不利于网络模型快速收敛和精准学习，导致网络模型的准确度较低。基于此，本发明实施例提供的一种目标障碍物识别方法、装置及运载工具，将障碍物点云在建立的新的障碍物坐标系下的坐标传输给网络模型，有利于网络模型的快速收敛和精准学习，提高了模型的准确性。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1示出了本发明实施例提供的一种目标障碍物识别方法流程图。参照图1，本发明实施例提供的车辆控制方法，可以应用于运载工具，运载工具例如可以是自动驾驶车辆、无人飞行器、自动驾驶船等，该方法主要包括以下步骤：
步骤S101，确定目标障碍物点云；
其中，上述的目标障碍物可以是车辆(例如汽车、自行车、电动车等)、行人、马路上的物体(例如电力井盖、交通安全柱)等，障碍物点云可以通过激光雷达获取的，也可以通过双目摄像头获取并经过处理得到的。
应当理解的是，上述的目标障碍物可以为一个或多个。
在一些实施方式中，如图2所示，上述步骤S101可以通过以下步骤执行：
步骤S201，获取目标区域的激光雷达点云数据；其中目标障碍物位于目标区域内；
具体的，激光雷达对运载工具(例如自动驾驶车辆)周围的环境进行扫描，得到目标区域的激光雷达点云数据。
步骤S202，对目标区域内的激光雷达点云数据进行分析，得到目标障碍物点云；其中目标障碍物点云是指目标障碍物在激光雷达坐标下的点云数据。
例如，可以通过对目标区域内的激光雷达点云数据进行聚类分析或者粗检测来得到目标障碍物点云。
在另一些实施方式中，如图3所示，该步骤S101则可以通过以下步骤实现：
步骤S301，获取双目摄像头拍摄的目标图片；其中目标图片为包括目标障碍物的图片；
其中，上述的双目摄像头包括左摄像头和右摄像头，双目摄像头设置在运载工具的预设位置，实际可以根据拍摄需求和场景，在运载工具上设置多组双目摄像头；
上述目标图片是二维(2D)图片。
可以理解的是，目标图片是处于双目摄像头的拍摄视场范围内。
具体的，在运载工具行驶过程中，通过双目摄像头的左、右摄像头拍摄目标图片，得到左、右两幅视场图像。
步骤S302，对目标图片进行深度计算得到深度图；
其中，上述的深度图包括左深度图和右深度图的至少一个。
具体的，上述步骤S302可以通过以下步骤实现：
1、对双目摄像头进行双目标定，得到双目摄像头的相机参数；
其中，相机参数包括摄像头内参和摄像头外参。
摄像头内参反映的是相机坐标系(又称为摄像机坐标系)到图像坐标系之间的投影关系；摄像头内参包括焦距f，1/dx，1/dy，cx，cy以及畸变系数[k1，k2，p1，p2，k3]，其中dx和dy是相机单个感光单元芯片的长度和宽度，cx和cy分别代表相机感光芯片的中心点在x和y方向上可能存在的偏移；参数k1，k2，k3用于确定摄像头由于光学透镜的特性使得成像存在的径向畸变；参数p1，p2用于确定由于摄像头传感器和光学镜头之间并非完全平行导致成像存在的切向畸变；摄像机内参可以使用张正友标定法标定。
摄像头外参反映的是摄像机坐标系和世界坐标系之间的旋转和平移关系，摄像头外参包括相对世界坐标系的旋转矩阵R和平移向量T；当左、右两个摄像头的摄像头内参均已知，并且已知左、右两个摄像头分别与世界坐标系之间的R1、T1和R2，T2，可以算出这两个摄像头之间的R和T，即确定了一个相机坐标系到另一个相机坐标系之间的位置转换关系；摄像头外参可以使用标定板标定。
2、对目标图片进行双目校正。
3、对目标图片进行立体匹配得到视差图；
通过应用立体匹配算法对目标图片进行立体匹配得到视差图。
具体的，可以使用OpenCV(Open Source Computer Vision Library，开源计算机视觉库)中的BM(Boyer-Moore)算法或者SGBM(Semi-Global Block Matching，半全局块匹配)算法对目标图片进行计算，得到视差图。
相对应的，视差图包括左视差图和右视差图的至少一个。
通过立体匹配可以将同一场景在左右两幅视场图片上对应的像点匹配起来，从而得到视差图。
4、将视差图转换为深度图；
例如，基于视差图以及双目摄像头的相机参数计算得到深度值，生成深度图。
具体的，通过将视差图以及双目摄像头的相机参数代入深度与视差之间的转换关系式即可计算得到深度值，其中这里的相机参数主要包括焦距f和基线距离baseline。
视差的单位是像素(pixel)，深度的单位往往是毫米(mm)表示；可以根据平行双目视觉的几何关系，得到深度与视差之间的转换关系式。
得到的深度与视差之间的转换关系式如下：
depth＝(f*baseline)/disp；
上式中，depth表示深度值；f表示焦距；baseline是两个摄像头光心之间的距离，称作基线距离；disp是视差图。
步骤S303，对深度图进行坐标转换得到目标图片在相机坐标系下的点云数据；
上述的相机坐标系以摄像头的光心作为原点，以水平向右的方向为X轴，以垂直于地面的方向为Y轴，以深度值所指向的方向为Z轴。
例如，应用坐标变换关系基于上述深度值和双目摄像头的相机参数计算目标图片在相机坐标系下的坐标，得到目标图片在相机坐标系下的点云数据；其中上述的坐标变换关系为图像坐标系与相机坐标系的变换关系。
具体的，根据相机参数和深度值计算目标图片在相机坐标系下的x坐标和y坐标；将深度值作为目标图片在相机坐标系下的z坐标；基于目标图片在相机坐标系下的x坐标、y坐标和z坐标，得到目标图片在相机坐标系下的点云数据。即该点云数据为目标图片中每个像点经过坐标转换得到的三维坐标的集合。
步骤S304，对目标图片在相机坐标系下的点云数据进行分析，得到目标障碍物点云；其中目标障碍物点云是指目标障碍物在相机坐标下的点云数据。
例如，通过对目标图片在相机坐标系下的点云数据进行聚类分析或粗检测来得到目标障碍物点云。
为了得到更丰富的障碍物信息，例如障碍物的颜色，在可选的实施方式中，目标障碍物点云还可以包括RGB数据；其中RGB数据是基于所述目标图片得到的，通过RGB数据可以表征目标障碍物的色彩信息。
实际运行时，该方法还可以包括：
在获得目标图片后，可以从目标图片中提取出目标障碍物的RGB数据，并将RGB数据赋值给目标障碍物点云，从而使得目标障碍物点云为具有目标障碍物在目标障碍物坐标系下的三维坐标和RGB值六元组信息的点云数据。
步骤S102，基于目标障碍物点云建立目标障碍物坐标系；其中目标障碍物坐标系为世界坐标系；
上述的目标障碍物坐标系可以用于确定目标障碍物点云的相对位置。
例如，按照预设构建规则基于目标障碍物点云建立目标障碍物坐标系；所述预设构建规则包括目标障碍物原点的选取规则以及坐标轴的选取规则。
上述步骤S102在具体执行时，包括：
(1)根据目标障碍物点云确定出目标障碍物区域。
可以应用OpenCV根据目标障碍物点云确定出目标障碍物区域。
例如，当目标障碍物为车辆时，确定出的目标障碍物区域为外界该车辆的矩形框或者包括该车辆的立方体框。
需要说明的是，在其他实施方式中，也可以采用包围盒bounding box算法确定目标障碍物区域。
(2)以上述目标障碍物区域建立目标障碍物坐标系。
具体的，在该目标障碍物区域内，选取目标障碍物坐标系的原点和坐标轴，例如从目标障碍物区域的边界点中选取一个作为原点，并从目标障碍物区域的边中选取相互垂直的两条边所在的方向建立X轴和Y轴，同时将垂直于X轴和Y轴的方向建立Z轴。
为了便于理解，仍以目标障碍物为车辆为例对目标障碍物坐标系进行说明，在建立车辆坐标系时，选取车辆区域内选取车辆点云的左上角(或右上角)的点为原点，选取平行于车头的方向为X轴，平行于车身的方向为Y轴，以车高所在的方向为Z轴，得到该车辆坐标系。
步骤S103，基于目标障碍物坐标系对目标障碍物点云中的目标点进行重新赋值，得到目标点在目标障碍物坐标系下的新坐标；
其中目标点在目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；
这里的目标点为从目标障碍物点云中选取出的多个点。
在一些实施方式中，目标点为目标障碍物点云中的所有点。
即基于目标障碍物坐标系对目标障碍物点云中的每个点进行重新赋值，得到目标障碍物点云中每个点在目标障碍物坐标系下的新坐标。
经过重新赋值以后，可以直接从点的坐标确定目标障碍物的大小形状。
例如以目标障碍物为车辆时，车辆的左上角(车头的最左侧)为原点，X轴平行车头，Y轴平行车身，车高所在方向为Z轴，经过重新赋值后，Y轴的最大值即为车辆的长度，X轴的最大值即为车辆的宽度，Z轴的最大值即为车辆的高度；而目标区域内X值相同体现车辆两侧平行。
在另一些实施方式中，目标点为所述目标障碍物点云中能够表征目标障碍物形状和大小的关键点。
即基于目标障碍物坐标系对目标障碍物点云中的关键点进行重新赋值，得到目标障碍物点云中关键点在目标障碍物坐标系下的新坐标。
例如以目标障碍物为车辆为例，关键点可以是选取包围车辆的立方体的八个顶点。
步骤S104，将目标点在目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中识别信息包括目标障碍物的尺寸和形状。
其中训练好的网络模型是根据样本目标物体的标注信息得到的模型，标注信息包括样本目标物体的尺寸和形状，所述标注信息是根据网络模型输出的预测数据得到的信息，所述预测数据包括预测的样本目标物体的尺寸和形状。
应当理解的是，网络模型的训练过程可以参照现有的深度学习训练方法，训练过程中网络模型的输入数据包括样本目标物体点云在新的障碍物坐标系下的坐标信息，这里不作过多赘述。
本发明实施例提供的上述目标障碍物识别方法，通过确定目标障碍物点云；然后基于目标障碍物点云建立目标障碍物坐标系；其中目标障碍物坐标系为世界坐标系；以及基于目标障碍物坐标系对目标障碍物点云中的目标点进行重新赋值，得到目标点在目标障碍物坐标系下的新坐标；其中目标点在目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；最后将目标点在目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中识别信息包括目标障碍物的尺寸和形状。本发明实施例通过以每个目标障碍物分别建立单独的障碍物坐标系，在新的坐标系(即障碍物坐标系)中表示障碍物的位置点坐标时，由于新的坐标系是以障碍物自身(例如以障碍物的某个顶点为原点)建立的，所以障碍物在障碍物坐标系中相对于原点的其他顶点的数值即可体现障碍物的长宽高等信息，将点云在障碍物坐标系下的新的坐标信息传输给神经网络，更有利于网络的快速收敛和精准学习，使得模型的准确性得到提高。
在上述实施例的基础上，本发明实施例还提供一种目标障碍物识别装置，如图4所示，该装置包括确定模块401，建立模块402，赋值模块403以及识别模块404：
确定模块401用于确定目标障碍物点云；
建立模块402用于基于所述目标障碍物点云建立目标障碍物坐标系；其中所述目标障碍物坐标系为世界坐标系；
赋值模块403用于基于所述目标障碍物坐标系对所述目标障碍物点云中的目标点进行重新赋值，得到所述目标点在所述目标障碍物坐标系下的新坐标；其中所述目标点在所述目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；
识别模块404用于将所述目标点在所述目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中所述识别信息包括所述目标障碍物的尺寸和形状。
在可选的实施方式中，确定模块401用于获取目标区域的激光雷达点云数据；所述目标障碍物位于所述目标区域内；对目标区域内的所述激光雷达点云数据进行分析，得到所述目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在激光雷达坐标下的点云数据。
在可选的实施方式中，确定模块401用于获取双目摄像头拍摄的目标图片；其中所述目标图片为包括目标障碍物的图片；对所述目标图片进行深度计算得到深度图；对所述深度图进行坐标转换得到所述目标图片在相机坐标系下的点云数据；对所述目标图片在相机坐标系下的点云数据进行分析，得到目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在相机坐标下的点云数据。
在可选的实施方式中，所述目标障碍物点云还包括RGB数据；其中所述RGB数据是基于所述目标图片得到的。
在可选的实施方式中，所述目标点为所述目标障碍物点云中的所有点。
本发明实施例所提供的目标障碍物识别装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
参见图5，本发明实施例还提供一种运载工具500，包括：处理器501，存储器502，总线503和通信接口504，处理器501、通信接口504和存储器502通过总线503连接；存储器502用于存储程序；处理器501用于通过总线503调用存储在存储器502中的程序，执行上述实施例的车辆控制方法。
其中，存储器502可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线503可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器502用于存储程序，处理器501在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器501中，或者由处理器501实现。
处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现如上的车辆控制方法。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种目标障碍物识别方法，其特征在于，包括：
确定目标障碍物点云；
基于所述目标障碍物点云建立目标障碍物坐标系；其中所述目标障碍物坐标系为世界坐标系；
基于所述目标障碍物坐标系对所述目标障碍物点云中的目标点进行重新赋值，得到所述目标点在所述目标障碍物坐标系下的新坐标；其中所述目标点在所述目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；
将所述目标点在所述目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中所述识别信息包括所述目标障碍物的尺寸和形状。
2.根据权利要求1所述的方法，其特征在于，所述确定目标障碍物点云的步骤，包括：
获取目标区域的激光雷达点云数据；其中所述目标障碍物位于所述目标区域内；
对目标区域内的所述激光雷达点云数据进行分析，得到所述目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在激光雷达坐标下的点云数据。
3.根据权利要求1所述的方法，其特征在于，所述确定目标障碍物点云的步骤，包括：
获取双目摄像头拍摄的目标图片；其中所述目标图片为包括目标障碍物的图片；
对所述目标图片进行深度计算得到深度图；
对所述深度图进行坐标转换得到所述目标图片在相机坐标系下的点云数据；
对所述目标图片在相机坐标系下的点云数据进行分析，得到目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在相机坐标下的点云数据。
4.根据权利要求3所述的方法，其特征在于，所述目标障碍物点云还包括RGB数据；其中所述RGB数据是基于所述目标图片得到的。
5.根据权利要求1所述的方法，其特征在于，所述目标点为所述目标障碍物点云中的所有点。
6.一种目标障碍物识别装置，其特征在于，所述装置包括：
确定模块，用于确定目标障碍物点云；
建立模块，用于基于所述目标障碍物点云建立目标障碍物坐标系；其中所述目标障碍物坐标系为世界坐标系；
赋值模块，用于基于所述目标障碍物坐标系对所述目标障碍物点云中的目标点进行重新赋值，得到所述目标点在所述目标障碍物坐标系下的新坐标；其中所述目标点在所述目标障碍物坐标系下的新坐标用于确定目标点之间的相对位置；
识别模块，用于将所述目标点在所述目标障碍物坐标系下的新坐标输入训练好的网络模型中，得到目标障碍物的识别信息；其中所述识别信息包括所述目标障碍物的尺寸和形状。
7.根据权利要求6所述的装置，其特征在于，所述确定模块用于获取目标区域的激光雷达点云数据；其中所述目标障碍物位于所述目标区域内；对目标区域内的所述激光雷达点云数据进行分析，得到所述目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在激光雷达坐标下的点云数据。
8.根据权利要求6所述的装置，其特征在于，所述确定模块用于获取双目摄像头拍摄的目标图片；其中所述目标图片为包括目标障碍物的图片；对所述目标图片进行深度计算得到深度图；对所述深度图进行坐标转换得到所述目标图片在相机坐标系下的点云数据；对所述目标图片在相机坐标系下的点云数据进行分析，得到目标障碍物点云；其中所述目标障碍物点云是指所述目标障碍物在相机坐标下的点云数据。
9.一种运载工具，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-5任一项所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-5任一项所述的方法。
CN202010787342.8A 2020-08-06 2020-08-06 目标障碍物识别方法、装置及运载工具 Pending CN111950428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010787342.8A CN111950428A (zh) 2020-08-06 2020-08-06 目标障碍物识别方法、装置及运载工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010787342.8A CN111950428A (zh) 2020-08-06 2020-08-06 目标障碍物识别方法、装置及运载工具

Publications (1)

Publication Number Publication Date
CN111950428A true CN111950428A (zh) 2020-11-17

Family

ID=73332522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787342.8A Pending CN111950428A (zh) 2020-08-06 2020-08-06 目标障碍物识别方法、装置及运载工具

Country Status (1)

Country Link
CN (1) CN111950428A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950426A (zh) * 2020-08-06 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 目标检测方法、装置及运载工具
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
WO2023142816A1 (zh) * 2022-01-26 2023-08-03 中国第一汽车股份有限公司 障碍物信息确定方法、装置、电子设备以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法
US20180241923A1 (en) * 2015-08-26 2018-08-23 Zhejiang Dahua Technology Co., Ltd. Methods and systems for traffic monitoring
CN108550143A (zh) * 2018-04-03 2018-09-18 长安大学 一种基于rgb-d相机的车辆长宽高尺寸的测量方法
CN108645339A (zh) * 2018-05-14 2018-10-12 国能生物发电集团有限公司 一种生物发电厂料垛点云数据采集及体积计算方法
CN109035322A (zh) * 2018-07-17 2018-12-18 重庆大学 一种基于双目视觉的障碍物检测与识别方法
US20180365503A1 (en) * 2017-06-16 2018-12-20 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN109655019A (zh) * 2018-10-29 2019-04-19 北方工业大学 一种基于深度学习和三维重建的货物体积测量方法
CN110263652A (zh) * 2019-05-23 2019-09-20 杭州飞步科技有限公司 激光点云数据识别方法及装置
CN110807772A (zh) * 2019-11-11 2020-02-18 杭州都市高速公路有限公司 一种构件尺寸检测中基于包围盒的无关点云剔除方法
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN111174697A (zh) * 2019-12-13 2020-05-19 中国南方电网有限责任公司超高压输电公司柳州局 基于无人机的立体视觉影像精确测量方法
CN111414848A (zh) * 2020-03-19 2020-07-14 深动科技（北京）有限公司 一种全类别3d障碍物检测方法、系统和介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180241923A1 (en) * 2015-08-26 2018-08-23 Zhejiang Dahua Technology Co., Ltd. Methods and systems for traffic monitoring
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法
US20180365503A1 (en) * 2017-06-16 2018-12-20 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium
CN109145680A (zh) * 2017-06-16 2019-01-04 百度在线网络技术（北京）有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN108550143A (zh) * 2018-04-03 2018-09-18 长安大学 一种基于rgb-d相机的车辆长宽高尺寸的测量方法
CN108645339A (zh) * 2018-05-14 2018-10-12 国能生物发电集团有限公司 一种生物发电厂料垛点云数据采集及体积计算方法
CN109035322A (zh) * 2018-07-17 2018-12-18 重庆大学 一种基于双目视觉的障碍物检测与识别方法
CN109655019A (zh) * 2018-10-29 2019-04-19 北方工业大学 一种基于深度学习和三维重建的货物体积测量方法
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN110263652A (zh) * 2019-05-23 2019-09-20 杭州飞步科技有限公司 激光点云数据识别方法及装置
CN110807772A (zh) * 2019-11-11 2020-02-18 杭州都市高速公路有限公司 一种构件尺寸检测中基于包围盒的无关点云剔除方法
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN111174697A (zh) * 2019-12-13 2020-05-19 中国南方电网有限责任公司超高压输电公司柳州局 基于无人机的立体视觉影像精确测量方法
CN111414848A (zh) * 2020-03-19 2020-07-14 深动科技（北京）有限公司 一种全类别3d障碍物检测方法、系统和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PILEUN KIM等: "SLAM-Driven Intelligent Autonomous Mobile Robot Navigation for Construction Applications", 《ADVANCED COMPUTING STRATEGIES FOR ENGINEERING》, pages 254 - 269 *
刘艳平: "柑橘采摘机器人障碍物识别与定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, pages 140 - 122 *
张银等: "三维激光雷达在无人车环境感知中的应用研究", 《激光与光电子学进展》, vol. 56, no. 13, pages 1 - 11 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950426A (zh) * 2020-08-06 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 目标检测方法、装置及运载工具
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
WO2023142816A1 (zh) * 2022-01-26 2023-08-03 中国第一汽车股份有限公司 障碍物信息确定方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN109074668B (zh) 路径导航方法、相关装置及计算机可读存储介质
WO2020094033A1 (en) Method and system for converting point cloud data for use with 2d convolutional neural networks
CN111950428A (zh) 目标障碍物识别方法、装置及运载工具
CN111950426A (zh) 目标检测方法、装置及运载工具
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN110119679B (zh) 物体三维信息估计方法及装置、计算机设备、存储介质
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112753038B (zh) 识别车辆变道趋势的方法和装置
CN112654998B (zh) 一种车道线检测方法和装置
US20230206500A1 (en) Method and apparatus for calibrating extrinsic parameter of a camera
CN114792416A (zh) 一种目标检测方法及装置
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115147333A (zh) 一种目标检测方法及装置
CN113627478A (zh) 一种目标检测方法、目标检测装置及机器人
Liu et al. Vehicle-related distance estimation using customized YOLOv7
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
Saleem et al. Effects of ground manifold modeling on the accuracy of stixel calculations
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN111890358B (zh) 双目避障方法、装置、存储介质及电子装置
CN112560606A (zh) 挂车角度识别方法及装置
CN112528918A (zh) 道路元素识别方法、地图标注方法及装置、车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination