CN114119729A - 障碍物识别方法及装置 - Google Patents
障碍物识别方法及装置 Download PDFInfo
- Publication number
- CN114119729A CN114119729A CN202111364552.7A CN202111364552A CN114119729A CN 114119729 A CN114119729 A CN 114119729A CN 202111364552 A CN202111364552 A CN 202111364552A CN 114119729 A CN114119729 A CN 114119729A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target object
- image
- determining
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004888 barrier function Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 53
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种障碍物识别方法及装置，所述方法包括：根据目标轨道区域的点云数据，确定点云目标对象；根据与所述点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置；根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型；根据所述点云目标对象的位置和类型，确定障碍物的位置和类型。本发明提供的障碍物识别方法及装置，通过以点云数据为主进行障碍物识别，通过判断点云目标对象与轨道的相对位置关系确定点云目标对象是否在轨道上，可以提高障碍物识别的可靠性。
Description
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种障碍物识别方法及装置。
背景技术
随着人工智能技术的广泛应用，基于深度学习的障碍物感知技术在轨道交通等领域获得了广泛的应用，通过图像的深度学习技术实现对前方的车辆、人员等目标进行检测。
深度学习技术需要事先收集大量的目标图像进行训练，对于一些出现概率较低，且缺乏统一特征的障碍物，例如混凝土块、金属工具、钢板、木棍等举不胜举，无法事先采集大量的数据并完成训练，因此通常深度学习技术只能检测常见的几种目标，例如车辆、人员、猫狗等。
发明内容
本发明提供一种障碍物识别方法及装置，用以解决现有技术中无法识别出未经训练的障碍物的缺陷，实现障碍物的可靠识别。
本发明提供一种障碍物识别方法，包括：
根据目标轨道区域的点云数据，确定点云目标对象；
根据与所述点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置；
根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型；
根据所述点云目标对象的位置和类型，确定障碍物的位置和类型。
根据本发明提供的障碍物识别方法，所述根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型，包括：
根据每个所述点云目标对象的高度和宽度，确定每个所述点云目标对象的类型置信度；
根据所述图像数据，确定每个所述图像目标对象的类型置信度；
根据所述点云目标对象和所述点云目标对象的类型置信度，以及所述图像目标对象和所述图像目标对象的类型置信度，确定所述点云目标对象的类型。
根据本发明提供的障碍物识别方法，所述根据每个所述点云目标对象的高度和宽度，确定每个所述点云目标对象的类型置信度，包括：
根据每个所述点云目标对象的高度和宽度，确定每个所述点云目标对象的高宽比置信度，高度置信度和宽度置信度；
根据所述高宽比置信度，高度置信度和宽度置信度，确定每个所述点云目标对象的类型置信度。
根据本发明提供的障碍物识别方法，所述根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置，包括：
将所述点云数据投射到所述图像数据上，提取所述轨道图像内的第一点云数据；
提取所述点云目标对象或所述图像目标对象的底部靠近地面部分的第二点云数据；
根据所述第一点云数据和所述第二点云数据，确定第一地面点云数据；
对所述第一地面点云数据进行曲线拟合，确定第二地面点云数据；
将所述第二地面点云数据投影到所述图像数据中，确定轨道点云数据；
根据所述轨道点云数据和所述点云目标对象，确定所述点云目标对象落在所述轨道点云数据对应的轨行区内。
根据本发明提供的障碍物识别方法，所述根据所述点云目标对象和所述点云目标对象的类型置信度，以及所述图像目标对象和所述图像目标对象的类型置信度，确定所述点云目标对象的类型，包括：
在确定所述点云目标对象和所述图像目标对象为同一目标对象的情况下，根据所述点云目标对象的类型置信度，和所述图像目标对象的类型置信度，确定所述点云目标对象的类型。
根据本发明提供的障碍物识别方法，所述确定所述点云目标对象和所述图像目标对象为同一目标对象，包括：
将所述点云目标对象投影到所述图像数据中；
根据所述点云目标对象与所述图像目标对象的重合度，确定所述点云目标对象和图像目标对象为同一目标对象。
根据本发明提供的障碍物识别方法，还包括：
对目标障碍物进行锁定，并跟踪；
其中，所述目标障碍物是根据连续目标数量帧的所述点云数据和连续目标数量帧的所述图像数据识别出的；
根据所述目标障碍物在最后一帧所述点云数据和所述图像数据中的运动趋势，确定所述目标障碍物的位置。
本发明还提供一种障碍物识别装置，包括：
第一确定模块，用于根据目标轨道区域的点云数据，确定点云目标对象；
第二确定模块，用于根据与所述点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
第三确定模块，用于根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置；
第四确定模块，用于根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型；
第五确定模块，用于根据所述点云目标对象的位置和类型，确定障碍物的位置和类型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述障碍物识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述障碍物识别方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述障碍物识别方法的步骤。
本发明提供的障碍物识别方法、装置、电子设备及存储介质，通过以点云数据为主进行障碍物识别，通过判断点云目标对象与轨道的相对位置关系确定点云目标对象是否在轨道上，不依赖于事先对待检测目标的样本采集和模型训练，即使某个从未训练过的障碍物出现在轨行区，也能被识别出来，从而提高了障碍物识别的可靠性，也不依赖于电子地图，不需要事先建立电子地图即可对未知的轨道区域进行感知和障碍物检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的障碍物识别方法的流程示意图；
图2是应用本发明提供的障碍物识别方法的示意图之一；
图3是应用本发明提供的障碍物识别方法的示意图之二；
图4是应用本发明提供的障碍物识别方法的示意图之三；
图5是应用本发明提供的障碍物识别方法的示意图之四；
图6是应用本发明提供的障碍物识别方法的示意图之五；
图7是本发明提供的障碍物识别装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的障碍物识别方法的流程示意图。参照图1，本发明提供的障碍物识别方法可以包括：
步骤S110、根据目标轨道区域的点云数据，确定点云目标对象；
步骤S120、根据与点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
步骤S130、根据点云目标对象和轨道图像，确定点云目标对象的位置；。
步骤S140、根据点云目标对象和图像目标对象，确定点云目标对象的类型；
步骤S150、根据点云目标对象的位置和类型，确定障碍物的位置和类型。
需要说明的是，本发明提供的障碍物识别方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer， UMPC)、上网本或者个人数字助理(personal digital assistant，PDA) 等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。
具体地，在步骤S110中，根据目标轨道区域的点云数据，确定点云目标对象。
点云数据就是通过激光雷达获取的带空间坐标的采样点的一个集合。可通过在列车上安装激光雷达，当列车在铁轨上行驶时，激光雷达可以采集轨道周围的的三维点云数据。
根据采集到的点云数据，通过点云目标检测，确定点云目标对象。具体可利用点云聚类分割的技术，将点云中的目标逐一检测出来，得到点云目标对象，点云目标对象可能是一个，也可能是多个。
点云目标对象可以是行人、车辆、混凝土块、金属工具、钢板、或木棍等任何出现在目标区域内的对象，只是点云目标检测只能检测出采集的区域内有目标对象，可分别记为点云目标对象1、点云目标对象2、点云目标对象3……但是无法确认目标对象的具体类型。
此外，还可以为每个点云目标对象赋予唯一的ID，根据就近原则对点云目标对象进行持续跟踪，以便于在后续过程中确定点云目标对象的类型。
在步骤S120中，根据与点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象。
可通过在列车上安装图像采集装置，当列车在铁轨上行驶时，图像采集装置可以采集轨道周围的的图像数据。图像采集装置可以是相机。
根据数据的采集时间，为步骤S110中采集到的每一帧点云数据找到采集时间最接近的图像数据，可将二者配成一对。因为目标对象可能是在处于运动状态，对于运动中的车辆，将配对后的点云投影到图像时，可以保证点云目标对象和图像目标对象对应的偏差最小。
根据采集到的图像数据，通过图像轨道检测，确定出图像数据中的轨道图像。具体可通过深度学习技术，从图像中检测出轨道或轨行区，如果有道岔，还需要精确的检测出道岔的类型，例如分离道岔或合并道岔。完整的轨道检测需要获得轨道的“语义级”信息，语义级指的是，如果场景中有多个轨道以及道岔，能够对每一条轨道进行单独编号，并识别出轨道间的道岔关系，如合并道岔、分离道岔。
根据采集到的图像数据，通过图像目标检测，确定出图像数据中的图像目标对象，具体可通过深度学习技术从相机采集的图像数据中检测出，例如车头、车档、行人等典型障碍物。在步骤S130中，根据点云目标对象和轨道图像，确定点云目标对象的位置。
具体地，可通过轨道映射，将图像轨道检测的结果投射到点云的三维空间，这样就能够知道点云目标对象的位置是否在本车的轨行区内，将在轨行区内点云目标对象确定为障碍物。
在步骤S140中，根据点云目标对象和图像目标对象，确定点云目标对象的类型。
通过图像数据和点云数据的联合标定参数，将点云目标对象投影到图像数据，然后将点云目标和图像目标一一对应起来。一旦对应起来，就能够找到点云目标对象和图像目标对象之间的对应关系，汇总点云目标识别和图像目标识别的结果，点云目标对象就有了确定的类型。
在步骤S150中，根据点云目标对象的位置和类型，确定障碍物的位置和类型。
若点云目标对象的位置在轨行区内，则可以认定其是障碍物，根据点云目标对象的位置和类型即可知道目标区域内的障碍物的位置和类型。
本发明实施例提供的障碍物识别方法，通过以点云数据为主进行障碍物识别，通过判断点云目标对象与轨道的相对位置关系确定点云目标对象是否在轨道上，不依赖于事先对待检测目标的样本采集和模型训练，即使某个从未训练过的障碍物出现在轨行区，也能被识别出来，从而提高了障碍物识别的可靠性，也不依赖于电子地图，不需要事先建立电子地图即可对未知的轨道区域进行感知和障碍物检测。
在一个实施例中，本发明提供的障碍物识别方法，根据点云目标对象和图像目标对象，确定点云目标对象的类型，包括：
根据每个点云目标对象的高度和宽度，确定每个点云目标对象的类型置信度；
根据图像数据，确定每个图像目标对象的类型置信度；
根据点云目标对象和点云目标对象的类型置信度，以及图像目标对象和图像目标对象的类型置信度，确定点云目标对象的类型。
具体地，类型置信度指的是点云目标对象为某个类型的概率，例如点云目标对象为车辆、行人的概率。根据点云目标检测出的点云目标对象，可以得到每个点云目标对象的高度尺寸和宽度尺寸，根据每个目标的高宽比和尺寸等特征信息计算出是否车辆、人员等的置信度。例如，一个点云目标对象的高度和宽度都很接近车辆的高度和宽度，则可认为该点云目标对象为车辆的置信度比较高。
图像目标检测就是指通过深度学习技术，从图像中检测出车头、车档、行人等典型障碍物。所有的深度学习目标检测模型都会在输出目标检测框的同时，输出一个目标置信度Cc(0<Cc<1)(其中c表示相机)。
根据点云数据确定的点云目标对象和每个点云目标对象的置信度，以及图像数据确定的图像目标对象和每个图像目标对象的类型置信度，通过结合二者的检测结果，得到点云目标对象的类型。
本发明实施例提供的障碍物识别方法，通过结合点云目标检测和图像目标检测，分别确定出目标对象的类型置信度，并结合点云目标检测和图像目标检测的结果，可以有效识别出障碍物的类型，并保证了识别的可靠性。
在一个实施例中，根据每个点云目标对象的高度和宽度，确定每个点云目标对象的类型置信度，包括：
根据每个点云目标对象的高度和宽度，确定每个点云目标对象的高宽比置信度，高度置信度和宽度置信度；
根据高宽比置信度，高度置信度和宽度置信度，确定每个点云目标对象的类型置信度。
具体地，已知地铁列车车头的标准高度为hS米，标准宽度为wS米，高宽比为rS。通过点云目标检测出的点云目标对象的高宽比r，高h，宽w，则车头类型置信度
(其中l表示是雷达，T表示是列车) 可以通过以下方式确定：
先分别计算点云目标对象的高宽比置信度cr、高度置信度ch，宽度置信度cw，分别为：
然后计算三者叠加后的总置信度
即该点云目标对象是车辆的置信度为：
本发明实施例提供的障碍物识别方法，通过综合考虑了点云目标对象的高度、宽度和高宽比，来计算点云目标对象的类型置信度，可以提高障碍物类型识别的准确性。
在一个实施例中，根据点云目标对象和轨道图像，确定点云目标对象的位置，包括：
将点云数据投射到图像数据上，提取轨道图像内的第一点云数据；
提取点云目标对象或图像目标对象的底部靠近地面部分的第二点云数据；
根据第一点云数据和第二点云数据，确定第一地面点云数据；
对第一地面点云数据进行曲线拟合，确定第二地面点云数据；
将第二地面点云数据投影到图像数据中，确定轨道点云数据；
根据轨道点云数据和点云目标对象，确定点云目标对象落在轨道点云数据对应的轨行区内。
具体地，激光雷达只能检测到近距离的轨道，对于远距离的轨道毫无检测能力，也就导致单纯依靠激光雷达无法判定远距离的目标是否在轨道上。因此远距离轨道的检测很大程度上要依靠图像轨道检测，再将图像轨道检测的结果投射到点云的三维空间，这样就能够知道点云目标是否在本车的轨行区内。
将图像轨道检测的结果投射到三维空间的主要问题在于如何获取地面的高度，尤其是远端的地面高度，可通过以下步骤实现将图像轨道检测的结果投射到三维空间。
步骤一：取配成一对的点云数据和图像数据，利用联合标定参数将点云数据完整的投射到图像数据上，然后根据图像轨道检测的结果，将落在图像轨道检测框之内的点云提取出来，获得近距离区段的轨道点云，也就是第一点云数据。图2是应用本发明提供的障碍物识别方法的示意图之一，参照图2，将图像轨道检测框中的轨道点云数据提取出来，该轨道点云通常只有近距离的，缺乏远距离的部分。
步骤二：将远处的靠近图像轨道检测框的行人、车辆等目标对应的点云也尽可能提取出来，取其底部靠近地面部分的点云，也就是第二点云数据。如果图像没有检测到行人或车辆，使用点云目标检测到的也行，即使是没有识别出类型的点云目标也可以，主要用于远端的地面高度估计。图3是应用本发明提供的障碍物识别方法的示意图之二，参照图3，如图3中俯视图所示，总共找到两个目标，一个是前方车辆，一个是轨旁行人。
步骤三：将步骤一和步骤二中获得的点云放到同一个三维坐标系下，获得从近距离到远端的不连续的地面点云，也就是第一地面点云数据，如图3中侧视图所示，近距离的轨道点云还是比较密集的，但是随着距离的增加，轨道点云越来越稀疏，直到完全消失，在更远的距离上只能依靠行人和前车的底部点云来获取地面高度。
步骤四：对步骤三中获得的不连续地面点云在Z-Y平面上进行二次或三次曲线拟合，获得地面在不同距离上的高度计算公式 z＝ay2+by+c，其中a，b，c三个参数通过曲线拟合算法获得。
步骤五：根据步骤四的结果，构造等间距的虚拟地面点云，也就是第二地面点云数据。图4是应用本发明提供的障碍物识别方法的示意图之三，参照图4，如图4俯视图所示，构造的虚拟点云从俯视图来看呈现网格状，点间距取固定值，例如10厘米，每个点的z坐标和y坐标必须满足公式z＝ay2+by+c，如图4侧视图所示，虚拟地面点云与步骤四中获得的地面曲线完全重合。
步骤六：用联合标定参数将步骤五中获得的虚拟地面点云再次投影到图像，然后根据图像轨道检测的结果，将落在图像轨道检测框之内的虚拟地面点云提取出来，获得虚拟轨道点云，也就是最终需要的轨道点云数据。与步骤一中提取到的轨道点云不同，虚拟轨道点云没有距离偏近的问题，从近到远都有点且均匀分布。
步骤七：将虚拟轨道点云与检测到的目标点云放到同一个三维坐标系下，检查目标点云是否落在虚拟轨道点云所对应的轨行区内，如果是就判定为需要防护的障碍物，反之则不是。图5是应用本发明提供的障碍物识别方法的示意图之四，如图5所示，行人点云在轨行区之外，不是障碍物，而车辆点云则完全落在轨行区内，是需要防护的障碍物。
除了上述估计地面高度的方法之外，还有其他将轨道区域投射到三维空间的方法，例如基于深度学习技术的单目视觉深度估计，基于 VSLAM技术的三维重建等等。
轨道映射完成后，就可以清楚的知道点云目标对象是否在轨行区上，从而将在轨行区上的点云目标对象确定为障碍物。
本发明实施例提供的障碍物识别方法，通过利用地面高度估计、仿射变换，将图像检测到的轨道变换到俯视图或者三维空间，然后将点云目标检测出来的目标也叠加到同一个俯视图或三维空间，从而判定目标是否在本车的轨行区，如果在轨行区就是障碍物，反之则不是，同时解决了仅靠激光雷达无法检测到远距离轨道的问题，显著提升了远距离障碍物的可靠检测。
在一个实施例中，根据点云目标对象和点云目标对象的类型置信度，以及图像目标对象和图像目标对象的类型置信度，确定点云目标对象的类型，包括：
在确定点云目标对象和图像目标对象为同一目标对象的情况下，根据点云目标对象的类型置信度，和图像目标对象的类型置信度，确定点云目标对象的类型。
具体地，根据点云目标对象是一个三维的对象，根据图像目标对象是一个二维的对象。首先要判断识别出的点云目标对象与图像目标对象是同一个目标对象，也就是将点云目标对象与图像目标对象一一对应起来。然后综合点云和图像目标检测的类型识别结果，识别结果包括类型和置信度，获得一个可靠性更高的结果。
例如，点云目标检测和图像目标检测都识别出了某个目标(例如列车车头)的类型，并且对应一致，置信度分别是
和
则通过下面的方法，将两个置信度综合在一起，获得综合后的置信度CT：
其中k是雷达和相机的置信度比例系数。
如果认为雷达的置信度更高，则使k在区间(0.5,1)选值，反之在(0,0.5)的区间选值，如果认为两者的置信度一致则直接选择0.5。如果只有相机检测到并识别出类型，仍然使用上述公式计算，只不过置信度要低于同时检测到。
本发明实施例提供的障碍物识别方法，通过点云目标对象和图像目标对象的对应关系，融合两者的检测结果(分别都有障碍物类型及其置信度)，获得障碍物类型的可靠结果及其置信度。即使图像目标检测的结果不是很可靠，存在一定程度的漏报和误报也不影响目标对象的类型的可靠识别。
在一个实施例中，确定点云目标对象和图像目标对象为同一目标对象，包括：
将点云目标对象投影到图像数据中；
根据点云目标对象与图像目标对象的重合度，确定点云目标对象和图像目标对象为同一目标对象。
具体地，确定点云目标对象和图像目标对象为同一目标对象也就是通过图像和点云的联合标定参数，将点云目标投影到图像，然后将点云目标对象和图像目标对象一一对应起来。一旦对应起来，就能够找到点云目标对象和图像目标对象之间的对应关系，汇总点云目标识别和图像目标识别的结果，点云目标对象就有了确定的类型。
在点云投影之前，要对激光雷达和相机进行联合标定，获取相机的联合标定参数。然后取配成一对的点云数据和图像数据，用这个标定参数将三维点云投影到图像的二维平面上，使同一个物体的点云与图像轮廓完全重合。
激光雷达和相机进行联合标定的根本目的是将激光雷达的点云投射到图像上，使同一个物体的点云与图像轮廓完全重合。为了实现这一目标需要两步：
第一步：用外参将点云中的点从雷达坐标系(xw,yw,zw)变换成相机坐标系(xc，yc，zc)：
其中R是旋转矩阵，也可以用直角坐标系下三个方向的旋转 (Pitch，Roll,Yaw)来表示，t是平移向量，即直角坐标系下三个方向的距离(tx,ty，tz)，旋转加平移总共六个参数，构成外参。
第二步：用内参将相机坐标系中的点(xc,yc，zc)变成像素坐标 (u,v)：
其中fx和fy是水平和垂直两个方向的焦距，u0和v0是相机中心的像素坐标，s是轴倾斜系数，总共五个参数，构成内参。
内参只和相机(机身与镜头)相关，业界有通行且成熟的检测算法来获得相机内参，常规的方法是用相机拍摄若干帧不同姿态的棋盘格照片，然后将照片输入标准的检测算法即可输出内参。
外参只和雷达与相机的相对位置关系有关，通常需要将点云根据测定好的内参和一组凭经验确定的外参估计值将点云投影到图像上，调整外参使同一个物体的点云与图像轮廓完全重合，然后获得最终的外参。
有了联合标定参数之后，将点云目标检测到的目标投影到图像，与图像目标检测的结果进行对应，根据重合度的大小来判定两者是否是同一个目标。
图6是应用本发明提供的障碍物识别方法的示意图之五，参照图 6，可以得到：图中的车头的检测结果完全重合，则可以判定两者是同一个目标。人员B的点云检测框和图像检测框不完全重合，就需要计算交并比IOU，即两个检测框的交集和并集之比。阈值通常设定为 0.5，即IOU＞0.5时，认为两者是同一个目标，否则不是同一个目标。而人员A和信号机则只有点云检测到，图像未检测到，只能确认该位置有目标对象，可能无法核实具体类型。
本发明实施例提供的障碍物识别方法，通过对激光雷达和相机进行联合标定，将点云目标投影到图像，根据点云目标对象与图像目标对象的重合度，确定两个目标对象是否为同一个目标对象，从而提高了障碍物的类型识别的准确性。
在一个实施例中，本发明提供的障碍物识别方法，还包括：
对目标障碍物进行锁定，并跟踪；
其中，目标障碍物是根据连续目标数量帧的点云数据和连续目标数量帧的图像数据识别出的；
根据目标障碍物在最后一帧点云数据和图像数据中的运动趋势，确定目标障碍物的位置。
具体地，前方的车辆、行人等障碍物一旦出现就不会突然消失，但是传感器的检测结果可能会出现抖动或漏检，尤其是基于深度学习的图像目标检测，不能完全保证每时每刻都能可靠检测到障碍物，激光雷达的可靠性较高，检测的稳定性是有保障的，但是如果有遮挡的情况发生，也会出现漏检。
为了避免漏检的情况发生，就需要对障碍物进行锁定跟踪。一旦障碍物被锁定，即使有几帧数据中未被检测到，系统也仍然会继续报告该障碍物，并且根据最后一帧数据中被检测到时的运动趋势对障碍物的位置进行估计，更新障碍物的位置和距离。
尤其是车辆等大型目标，其运行速度和方向在短时间内都不可能有太大的变化，通过锁定跟踪，能够给出比较准确的位置估计。
进入锁定跟踪的前提是连续若干帧被检测到，并且确定在轨行区或轨行区附近。
对于车辆等大型目标，需要在系统中建立一个对象，记录其每时每刻的位置、速度和运动方向，并根据每帧检测到的结果更新其位置和速度，当出现漏检的情况时，根据其最后时刻的位置和速度进行位置估计并报告。相对于行人等小型目标，对漏检的容忍度更高，也就是说即使出现多帧的漏检也仍然持续报告障碍物。
对于行人等小型低速目标，也需要在系统中建立一个对象，记录其每时每刻的位置、速度和运动方向，并根据每帧检测到的结果更新其位置和速度，当出现漏检的情况时，不做位置估计，只按照最后时刻的位置持续报告障碍物。相对于车辆等大型目标，对漏检的容忍度较低，当有几帧检测不到时即取消锁定跟踪。
本发明实施例提供的障碍物识别方法，通过对障碍物进行锁定跟踪，可以有效避免漏检的情况，并根据障碍物在最后一帧数据中出现的位置和速度，确定其具体位置，保证了障碍物识别的可靠性。
下面对本发明提供的障碍物识别装置进行描述，下文描述的障碍物识别装置与上文描述的障碍物识别方法可相互对应参照。
图7为本发明提供的障碍物识别装置的结构示意图，如图7所示，该装置可以包括：
第一确定模块710，用于根据目标轨道区域的点云数据，确定点云目标对象；
第二确定模块720，用于根据与点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
第三确定模块730，用于根据点云目标对象和轨道图像，确定点云目标对象的位置；
第四确定模块740，用于根据点云目标对象和图像目标对象，确定点云目标对象的类型；
第五确定模块750，用于根据点云目标对象的位置和类型，确定障碍物的位置和类型。
本发明实施例提供的障碍物识别装置，通过以点云数据为主进行障碍物识别，通过判断点云目标对象与轨道的相对位置关系确定点云目标对象是否在轨道上，不依赖于事先对待检测目标的样本采集和模型训练，即使某个从未训练过的障碍物出现在轨行区，也能被识别出来，从而提高了障碍物识别的可靠性，也不依赖于电子地图，不需要事先建立电子地图即可对未知的轨道区域进行感知和障碍物检测。
在一个实施例中，第四确定模块740具体用于：：
根据每个点云目标对象的高度和宽度，确定每个点云目标对象的类型置信度；
根据图像数据，确定图像目标对象，以及每个图像目标对象的类型置信度；
根据点云目标对象和点云目标对象的类型置信度，以及图像目标对象和图像目标对象的类型置信度，确定点云目标对象的障碍物类型。
在一个实施例中，根据每个点云目标对象的高度和宽度，确定每个点云目标对象的类型置信度，包括：
根据每个点云目标对象的高度和宽度，确定每个点云目标对象的高宽比置信度，高度置信度和宽度置信度；
根据高宽比置信度，高度置信度和宽度置信度，确定每个点云目标对象的类型置信度。
在一个实施例中，第三确定模块730，具体用于：
将点云数据投射到图像数据上，提取轨道图像内的第一点云数据；
提取点云目标对象或图像目标对象的底部靠近地面部分的第二点云数据；
根据第一点云数据和第二点云数据，确定第一地面点云数据；
对第一地面点云数据进行曲线拟合，确定第二地面点云数据；
将第二地面点云数据投影到图像数据中，确定轨道点云数据；
根据轨道点云数据和点云目标对象，将落在轨道点云数据对应的轨行区内的点云目标对象确定为障碍物。
在一个实施例中，根据点云目标对象和点云目标对象的类型置信度，以及图像目标对象和图像目标对象的类型置信度，确定点云目标对象的障碍物类型，包括：
在确定点云目标对象和图像目标对象为同一目标对象的情况下，根据点云目标对象的类型置信度，和图像目标对象的类型置信度，确定点云目标对象的障碍物类型。
在一个实施例中，确定所述点云目标对象和所述图像目标对象为同一目标对象，包括：
将点云目标对象投影到图像数据中；
根据点云目标对象与图像目标对象的重合度，确定点云目标对象和图像目标对象为同一目标对象。
在一个实施例中，本发明实施例提供的障碍物识别装置，还包括：
跟踪模块，用于对目标障碍物进行锁定，并跟踪；
其中，目标障碍物是根据连续目标数量帧的点云数据和连续目标数量帧的图像数据识别出的；
位置确定模块，用于根据目标障碍物在最后一帧点云数据和图像数据中的运动趋势，确定目标障碍物的位置。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行障碍物识别方法，该方法包括：
根据目标轨道区域的点云数据，确定点云目标对象；
根据与点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
根据点云目标对象和轨道图像，确定点云目标对象的位置；
根据点云目标对象和图像目标对象，确定点云目标对象的类型；
根据点云目标对象的位置和类型，确定障碍物的位置和类型。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的障碍物识别方法，该方法包括：
根据目标轨道区域的点云数据，确定点云目标对象；
根据与点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
根据点云目标对象和轨道图像，确定点云目标对象的位置；
根据点云目标对象和图像目标对象，确定点云目标对象的类型；
根据点云目标对象的位置和类型，确定障碍物的位置和类型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的障碍物识别方法，该方法包括：
根据目标轨道区域的点云数据，确定点云目标对象；
根据与点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
根据点云目标对象和轨道图像，确定点云目标对象的位置；
根据点云目标对象和图像目标对象，确定点云目标对象的类型；
根据点云目标对象的位置和类型，确定障碍物的位置和类型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种障碍物识别方法，其特征在于，包括：
根据目标轨道区域的点云数据，确定点云目标对象；
根据与所述点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置；
根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型；
根据所述点云目标对象的位置和类型，确定障碍物的位置和类型。
2.根据权利要求1所述的障碍物识别方法，其特征在于，所述根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型，包括：
根据每个所述点云目标对象的高度和宽度，确定每个所述点云目标对象的类型置信度；
根据所述图像数据，确定每个所述图像目标对象的类型置信度；
根据所述点云目标对象和所述点云目标对象的类型置信度，以及所述图像目标对象和所述图像目标对象的类型置信度，确定所述点云目标对象的类型。
3.根据权利要求2所述的障碍物识别方法，其特征在于，所述根据每个所述点云目标对象的高度和宽度，确定每个所述点云目标对象的类型置信度，包括：
根据每个所述点云目标对象的高度和宽度，确定每个所述点云目标对象的高宽比置信度，高度置信度和宽度置信度；
根据所述高宽比置信度，高度置信度和宽度置信度，确定每个所述点云目标对象的类型置信度。
4.根据权利要求1所述的障碍物识别方法，其特征在于，所述根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置，包括：
将所述点云数据投射到所述图像数据上，提取所述轨道图像内的第一点云数据；
提取所述点云目标对象或所述图像目标对象的底部靠近地面部分的第二点云数据；
根据所述第一点云数据和所述第二点云数据，确定第一地面点云数据；
对所述第一地面点云数据进行曲线拟合，确定第二地面点云数据；
将所述第二地面点云数据投影到所述图像数据中，确定轨道点云数据；
根据所述轨道点云数据和所述点云目标对象，确定所述点云目标对象落在所述轨道点云数据对应的轨行区内。
5.根据权利要求2所述的障碍物识别方法，其特征在于，所述根据所述点云目标对象和所述点云目标对象的类型置信度，以及所述图像目标对象和所述图像目标对象的类型置信度，确定所述点云目标对象的类型，包括：
在确定所述点云目标对象和所述图像目标对象为同一目标对象的情况下，根据所述点云目标对象的类型置信度，和所述图像目标对象的类型置信度，确定所述点云目标对象的类型。
6.根据权利要求5所述的障碍物识别方法，其特征在于，所述确定所述点云目标对象和所述图像目标对象为同一目标对象，包括：
将所述点云目标对象投影到所述图像数据中；
根据所述点云目标对象与所述图像目标对象的重合度，确定所述点云目标对象和图像目标对象为同一目标对象。
7.根据权利要求4所述的障碍物识别方法，其特征在于，还包括：
对目标障碍物进行锁定，并跟踪；
其中，所述目标障碍物是根据连续目标数量帧的所述点云数据和连续目标数量帧的所述图像数据识别出的；
根据所述目标障碍物在最后一帧所述点云数据和所述图像数据中的运动趋势，确定所述目标障碍物的位置。
8.一种障碍物识别装置，其特征在于，包括：
第一确定模块，用于根据目标轨道区域的点云数据，确定点云目标对象；
第二确定模块，用于根据与所述点云数据的采集时间最接近的目标轨道区域的图像数据，确定轨道图像和图像目标对象；
第三确定模块，用于根据所述点云目标对象和所述轨道图像，确定所述点云目标对象的位置；
第四确定模块，用于根据所述点云目标对象和所述图像目标对象，确定所述点云目标对象的类型；
第五确定模块，用于根据所述点云目标对象的位置和类型，确定障碍物的位置和类型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述障碍物识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述障碍物识别方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述障碍物识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364552.7A CN114119729A (zh) | 2021-11-17 | 2021-11-17 | 障碍物识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364552.7A CN114119729A (zh) | 2021-11-17 | 2021-11-17 | 障碍物识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119729A true CN114119729A (zh) | 2022-03-01 |
Family
ID=80397112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111364552.7A Pending CN114119729A (zh) | 2021-11-17 | 2021-11-17 | 障碍物识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119729A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN116755441A (zh) * | 2023-06-19 | 2023-09-15 | 国广顺能(上海)能源科技有限公司 | 移动机器人的避障方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613424A (zh) * | 2020-12-27 | 2021-04-06 | 盛视达(天津)科技有限公司 | 铁轨障碍物检测方法、装置、电子设备和存储介质 |
| KR20210065837A (ko) * | 2019-11-27 | 2021-06-04 | 한국전자통신연구원 | 점유 격자 지도 생성 장치 및 방법 |
| WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN113536883A (zh) * | 2021-03-23 | 2021-10-22 | 长沙智能驾驶研究院有限公司 | 障碍物检测方法、车辆、设备及计算机存储介质 |
-
2021
- 2021-11-17 CN CN202111364552.7A patent/CN114119729A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210065837A (ko) * | 2019-11-27 | 2021-06-04 | 한국전자통신연구원 | 점유 격자 지도 생성 장치 및 방법 |
| WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN112613424A (zh) * | 2020-12-27 | 2021-04-06 | 盛视达(天津)科技有限公司 | 铁轨障碍物检测方法、装置、电子设备和存储介质 |
| CN113536883A (zh) * | 2021-03-23 | 2021-10-22 | 长沙智能驾驶研究院有限公司 | 障碍物检测方法、车辆、设备及计算机存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN114721404B (zh) * | 2022-06-08 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN116755441A (zh) * | 2023-06-19 | 2023-09-15 | 国广顺能(上海)能源科技有限公司 | 移动机器人的避障方法、装置、设备及介质 |
| CN116755441B (zh) * | 2023-06-19 | 2024-03-12 | 国广顺能(上海)能源科技有限公司 | 移动机器人的避障方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11320833B2 (en) | Data processing method, apparatus and terminal | |
| WO2019116958A1 (ja) | 車載環境認識装置 | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| JP4328692B2 (ja) | 物体検出装置 | |
| US8154594B2 (en) | Mobile peripheral monitor | |
| US8180100B2 (en) | Plane detector and detecting method | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| CN112154454A (zh) | 目标对象的检测方法、系统、设备及存储介质 | |
| CN114119729A (zh) | 障碍物识别方法及装置 | |
| JP2013140515A (ja) | 立体物検出装置及びプログラム | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| CN112906777A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN112683228A (zh) | 单目相机测距方法及装置 | |
| CN112541938A (zh) | 一种行人速度测量方法、系统、介质及计算设备 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| WO2019065970A1 (ja) | 車両用外界認識装置 | |
| CN104331907A (zh) | 一种基于orb特征检测测量载体速度的方法 | |
| CN114118253B (zh) | 一种基于多源数据融合的车辆检测方法及检测装置 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| Wang et al. | Geometry constraints-based visual rail track extraction | |
| Barth et al. | Vehicle tracking at urban intersections using dense stereo | |
| CN111553342A (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
| KR101910256B1 (ko) | 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템 | |
| CN111260709B (zh) | 一种面向动态环境的地面辅助的视觉里程计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |