CN109840454B - 目标物定位方法、装置、存储介质以及设备 - Google Patents
目标物定位方法、装置、存储介质以及设备 Download PDFInfo
- Publication number
- CN109840454B CN109840454B CN201711219175.1A CN201711219175A CN109840454B CN 109840454 B CN109840454 B CN 109840454B CN 201711219175 A CN201711219175 A CN 201711219175A CN 109840454 B CN109840454 B CN 109840454B
- Authority
- CN
- China
- Prior art keywords
- laser
- laser point
- coordinate system
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001914 filtration Methods 0.000 claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 43
- 238000001514 detection method Methods 0.000 abstract description 39
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 14
- 230000004927 fusion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008447 perception Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种目标物定位方法、装置、存储介质以及设备,属于大数据处理技术领域。方法包括:将采集到的激光点由指定坐标系投影到图像坐标系下;基于在采集到的视频图像中检测到的m个目标物,对投影到图像坐标系下的激光点进行划分;在图像坐标系下,对得到的每一个激光点集合进行首轮脏点过滤;在指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤以及对每一个经过下一轮脏点过滤的激光点集合进行聚类;对于每一个目标物,基于与目标物对应的y个激光点子集合中的目标激光点子集合,计算自车距目标物的距离。本公开融合了视觉检测在验证障碍物存在性方面以及激光在测距方面的优势,实现了对目标物的精确定位。
Description
技术领域
本公开涉及大数据处理技术领域,特别涉及一种目标物定位方法、装置、存储介质以及设备。
背景技术
先进驾驶辅助系统(Advanced Driver Assistant System,ADAS)以及自动驾驶系统(Autonomous Driving System,ADS),可自动对车辆行驶路径进行合理规划以及对车辆行驶状态进行控制,比如ADAS和ADS可以及时感知自车当前行使道路上的相关道路信息,并据此做出及时并正确的驾驶操作,以避免驾驶员注意力不集中或反应不及时导致的车辆事故。正是因为ADAS和ADS具有上述优势,因此ADAS和ADS成为了当前一个人工智能研究热点。作为汽车未来的发展趋势,ADAS和ADS具有广阔的发展前景。
其中,ADAS和ADS中均包括感知模块以及规控模块,感知模块通常由安装在车辆上的各种传感器组成,主要用于在车辆行驶过程中实时感知当前行驶道路上的关键障碍物。一般来讲,感知模块可包括多种传感器如摄像头或激光雷达等。规控模块用于接收感知模块获取到的有关于关键障碍物的感知数据,并基于感知数据对车辆进行行驶路径规划以及对车辆行驶状态进行控制。如果将关键障碍物称之为目标物的话,则针对目标物的感知过程来讲,由于目标物的存在与否以及对目标物的测距精度,对后续规控模块能否做出合理决策有着重要影响,因此如何实现目标物定位,即如何检测当前行驶道路上是否存在目标物以及如何测量目标物与自车之间的距离,成为了时下本领域技术人员关注的一个焦点。
相关技术在进行目标物定位时通常采取下述两种方式实现:一种为基于视觉的方式,首先基于视觉检测技术进行目标物检测,即在采集到的视频图像中(在图像坐标系下)确定当前行驶道路上存在的目标物,并确定目标物出现在视频图像中的第一位置。之后,进行视觉测距,即基于目标物在图像坐标系下的第一位置,计算在车辆坐标系下该目标物的第二位置,进而根据得到的第二位置计算自车与目标物之间的距离。另一种为基于激光的方式,即首先设定聚类数目,在激光扫描后,通过将激光点在车辆坐标系下进行聚类实现目标物检测。而之所以可以这样做是因为激光射到目标物上会返回一个类似L型的激光点簇,所以激光点比较密集的地方很大程度上是因为存在目标物。此外,还需获取激光检测到的目标物与自车之间的距离,即进行激光测距。
在实现本公开的过程中,发现相关技术至少存在以下问题:
针对第一种方式,视觉测距的精度有限,误差较大,所以后续规控模块在进行路径规划与车辆行驶状态控制时极有可能会出现偏差,精准度不高,从而导致车辆在行驶过程中存在较大的安全风险。针对第二种方式,激光检测目标物的精度有限,误检几率较大,比如将灌木丛、道路隔离带、广告牌等也当作目标物,所以后续规控模块在进行路径规划与车辆行驶状态控制时同样极有可能会出现偏差,精准度不高,也存在较大的安全风险。
发明内容
本公开实施例提供了一种目标物定位方法、装置、存储介质以及设备,解决了相关技术中由于视觉测距和激光检测目标物的精度有限、误差较大,因此导致车辆在进行路径规划与行驶状态控制时精准度不高,继而致使车辆在行驶过程中存在较大安全风险的问题。所述技术方案如下:
第一方面,提供了一种目标物定位方法,所述方法包括:
将采集到的激光点由指定坐标系投影到图像坐标系下,所述指定坐标系是以自车为坐标原点的坐标系;
基于在采集到的视频图像中检测到的m个目标物,对投影到所述图像坐标系下的所述激光点进行划分,得到所述m个目标物对应的m个激光点集合,m≥1;
在所述图像坐标系下,对所述m个激光点集合中的每一个激光点集合进行首轮脏点过滤,所述脏点为没有射到所述目标物上的激光点;
在所述指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤;
在所述指定坐标系下,对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到y个激光点子集合,y≥2;
对于每一个目标物,基于与所述目标物对应的y个激光点子集合中的目标激光点子集合,计算自车距所述目标物的距离,所述目标激光点子集合为在所述图像坐标系下聚类中心与自车距离最小的集合。
本公开实施例通过视觉检测技术对摄像头采集到的视频图像进行目标物检测,并将采集到的激光点投影到图像坐标系下,进而基于对目标物的检测结果对这些激光点进行一个个激光点集合的划分,之后,本公开实施例进一步地去除各个激光点集合中的激光脏点,最终实现基于真实射到目标物上的激光点来完成对目标物的定位,由于本公开实施例融合了视觉检测在验证障碍物是否存在方面更为精准的优势以及激光点在测距方面更为精准的优势,所以本公开实施例对目标物的定位精度更高,使得后续规控模块在进行路径规划与车辆行驶状态控制时不会出现较大偏差,精确性能更好,这为规控模块在进行路径规划与车辆行驶状态控制时提供了良好保障,确保了行车安全。
在第一方面的第一种可能的实现方式中,所述将采集到的激光点由指定坐标系投影到图像坐标系下,包括:获取每一个所述激光点在所述指定坐标系下的三维坐标位置;获取所述指定坐标系与所述图像坐标系之间的投影转换矩阵;基于所述投影转换矩阵和所述三维坐标位置,计算每一个所述激光点在所述图像坐标系下的二维坐标位置。
本公开实施例将激光点投影到图像坐标系下,投影精度较好、误差小,为后续激光测距打下了基础。
结合第一方面,在第一方面的第二种可能的实现方式中,所述基于在采集到的视频图像中检测到的m个目标物,对投影到所述图像坐标系下的所述激光点进行划分,得到m个激光点集合,包括:获取每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息;基于每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息,在所述视频图像中确定出每一个目标物所在的矩形框区域;获取位于每一个矩形框区域之内的激光点,得到所述m个激光点集合。
需要说明的是,本公开实施例会将位于所述m个矩形框区域之外的其他激光点进行滤除。
在将激光点投影到图像坐标系下后,本公开实施例通过检测到的m个目标物的矩形区域,来对各个激光点进行划分,可以有效去除采集到的激光点中那些射到地面、灌木丛、天空等非关键障碍物上的激光点,初步得到了跟m个目标物相关的激光点。
结合第一方面,在第一方面的第三种可能的实现方式中,所述在所述图像坐标系下,对所述m个激光点集合中的每一个激光点集合进行首轮脏点过滤,包括:对于每一个激光点集合,获取与所述激光点集合匹配的目标物在所述视频图像中的最低高度以及最高高度;在所述激光点集合中,确定高度值小于所述最低高度或大于所述最高高度的第一类激光脏点;将所述第一类激光脏点在所述激光点集合中滤除。
由于各个激光点集合中包括没有真实射到目标物上的脏点,因此本公开实施例还会根据目标物在视频图像中的大小来滤除这些脏点,达到进一步地净化激光点集合的目的,确保了后续激光测距的精确性。
其中,上述步骤描述的是如何去掉各个激光点集合中射到地面以及目标物上方的激光脏点,进一步地,本公开实施例还会去掉其他异常的激光点,即
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述方法还包括:
对于每一个经过所述第一类激光脏点滤除的激光点集合,在所述激光点集合中确定与自车距离最小的特定激光点的二维坐标位置;对于除所述特定激光点之外的任意一个激光点,如果所述任意一个激光点的二维坐标位置与所述特定激光点的二维坐标位置之间的距离差值大于目标阈值,则将所述任意一个激光点确定为一个第二类激光脏点;在经过所述第一类激光脏点滤除的激光点集合中,滤除所述第二类激光脏点。
由于目标物的矩形区域中有时会包括部分背景,比如包括远处背景,因此在经过第一类激光脏点滤除的激光点集合中,可能还会包括射到这类背景上的激光点,经过这个步骤可以滤除上述激光点,得到比较可信的激光点集合,确保了后续激光测距的精确性。
结合第一方面,在第一方面的第五种可能的实现方式中,所述在所述指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤,包括:对于每一个经过首轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到z个激光点子集合,z≥2;在所述z个激光点子集合中确定激光点数目最多的指定激光点子集合;将除了所述指定激光点子集合之外的其他激光点子集合包含的激光点滤除。
本步骤进一步地对完成首轮脏点过滤的激光点集合再次进行脏点过滤,这样即便上述的脏点滤除不彻底,还可通过这一次的脏点滤除过程来保证激光点集合的纯净度,达到再次地净化激光点集合的目的,确保了后续激光测距的精确性。
结合第一方面,在第一方面的第六种可能的实现方式中,当y=2且所述目标物为车辆时,所述在所述指定坐标系下,对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到y个激光点子集合,包括:对于每一个经过下一轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到射到所述目标物的头部或尾部的第一激光点子集合以及射到所述目标物的侧面的第二激光点子集合;
所述对于每一个目标物,基于与所述目标物对应的y个激光点子集合中的目标激光点子集合,计算自车距所述目标物的距离,包括:将所述第一激光点子集合确定为所述目标激光点子集合;获取所述指定坐标系下所述目标激光点子集合的聚类中心的三维坐标位置;基于所述三维坐标位置计算自车距所述目标车辆的距离。
由于目标激光点子集合在图像坐标系下聚类中心距离自车最近,即所述目标激光点子集合为在图像坐标系下聚类中心的视觉深度最小的集合,因此根据这一聚类中心的三维坐标位置激光自车距离目标车辆的距离更为精确,确保了激光测距的准确性。
第二方面,提供一种目标物定位装置,所述装置用于执行上述第一方面所述的目标物定位方法。
第三方面,提供了一种存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的目标物定位方法。
第四方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机能够执行上述第一方面所述的目标物定位方法。
第五方面,提供了一种用于目标物定位的设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的目标物定位方法。
附图说明
图1是本公开实施例提供的在无人驾驶场景下实现无人驾驶的流程图;
图2是本公开实施例提供的一种目标物定位方法的处理流程示意图;
图3是本公开实施例提供的一种经过视觉检测后的视频图像的示意图;
图4是本公开实施例提供的一种目标物定位方法的流程图;
图5是本公开实施例提供的一种激光点云投影到图像坐标系下的效果图;
图6是本公开实施例提供的一种视觉检测结果对激光点云进行粗分割的效果图;
图7是本公开实施例提供的一种对激光点集合经过首轮脏点过滤后的效果图;
图8是本公开实施例提供的一种对激光点集合经过下一轮脏点过滤后的效果图;
图9是本公开实施例提供的一种对激光点在车辆坐标下进行聚类的示意图;
图10是本公开实施例提供的一种对激光点在视觉深度方向上进行聚类的示意图;
图11是本公开实施例提供的一种目标物定位装置的结构示意图;
图12是本公开实施例提供的一种用于目标物定位的设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
在对本公开实施例进行详细地解释说明之前,首先对本公开实施例涉及的一些名词进行解释说明。
感知:通过各种传感器实现感知。其中,传感器可包括摄像头、激光雷达或毫米波雷达等,本公开实施例对此不进行具体限定。在本公开实施例中,ADAS和ADS利用各种传感器来感知车辆当前行驶道路上的关键障碍物。
关键障碍物:在本公开实施例中又称之为目标物。其中,关键障碍物指代对车辆当前行驶有影响的障碍物。比如,当前行驶道路上出现的其他车辆以及行人均属于关键障碍物。
非关键障碍物:区别于关键障碍物,指代与对车辆当前行驶没有影响的障碍物,比如道路两旁的灌木丛、道路隔离带或沿路上的广告牌等均属于非关键障碍物。
激光脏点:指代没有射到关键障碍物上的激光点,比如射到地面或者非关键障碍物上的激光点均为激光脏点。
视觉深度:还可称之为深度知觉或距离知觉。其中,视觉深度可反映采集到的视频图像中不同物体距离自车的远近情况,或者同一物体的不同面距离自车的远近情况。比如,一个目标物的视觉深度最小即表明这一目标物距离自车的距离最近。又或者,一个车辆的头部相较于侧面的视觉深度更小,即表明该车辆的头部距离自车更近,而该车辆的尾部距离自车相较于头部来说稍远一些。
规控:接收各个传感器感知到的感知数据,并基于接收到的感知数据对车辆进行行驶路径规划以及对车辆行驶状态进行控制。
本公开实施例可应用于无人驾驶场景以及辅助驾驶场景下。以无人驾驶场景为例,参见图1,无人驾驶车辆实现无人驾驶主要包括以下处理流程。
步骤1、感知数据采集
该步骤主要是通过车辆上安装的摄像头或激光雷达等各种传感器对车辆当前行驶道路上出现的目标物进行感知数据的采集。
如图1所示,感知数据采集可概括为视频图像读取和激光扫描两个方面。针对视频图像读取,通常无人驾驶车辆的顶部会安装有多个摄像头,以便多方位拍摄车辆的当前行驶道路,比如摄像头以30Hz的速度进行图像采集,并将采集到的视频图像送入视觉检测模块,以进行目标物检测。针对激光扫描,比如激光雷达以10FPS的频率对外部环境进行信息采集。
步骤2、目标物检测
采用视觉检测技术对采集到的视频图像进行目标物检测,并给出目标物在视频图像中的位置。其中,可采用卷积神经网络技术进行目标物检测。此外,若在进行目标物检测时,卷积神经网络技术在确保检测效果满足要求的前提下无法达到实时性需求,则还可利用目标跟踪技术来确保感知的实时性,本公开实施例对此不进行具体限定。
步骤3、视觉测距
对在视频图像中检测到的目标物进行测距。即,对通过视觉检测技术检测到的每个目标物,利用视觉测距原理,得到其在真实场景中距离自车的距离。而之所以这样做是因为视觉检测技术仅能检测目标物在图像坐标系下的位置,因此还需通过视觉测距技术来确定在真实的三维场景下距离自车多远的地方存在着目标物。
通常情况下视觉测距的精度有限,所以视觉测距结果一般需要与激光雷达等传感器的测量结果相融合,这样方可给出目标物准确的定位信息。
步骤4、多传感器融合
基于摄像头的视觉感知在验证目标物是否存在方面具有较好的效果,但是却无法给出目标物在指定坐标系下的准确位置。因此通过多传感器融合,来融合各种传感器的优势,准确对当前行使道路上的目标物进行定位。其中,指定坐标系为以自车为原点的坐标系,自车在本公开实施例中实现目标物定位方法,自车也可称之为本端车辆。
步骤5、规控
通过多传感器融合输出的有关于目标物的感知数据,对车辆进行行驶路径规划以及对车辆行驶状态进行控制。其中,规控步骤由规控模块实现,由于规控模块具体来决定车辆如何行驶,因此规控模块为车辆的控制中心。
以上介绍了在无人驾驶场景下实现无人驾驶的流程,针对辅助驾驶场景与其同理。
由于视觉检测在验证目标物的存在性方面效果较好,有着其他传感器无法比拟的优势,能够检测出目标物在视频图像中的精确位置,但是受限于目标物远离摄像头以及视觉检测给出的目标物在视频图像中的矩形框不紧致等因素,视觉测距的精度较差,而激光扫描在验证目标物的存在方面效果较差,但是测距却非常精确,基于此,本公开实施例提出了一种融合视觉检测以及激光测距的对目标物进行定位的方法。
其中,该种目标物定位方法应用于图1中的多传感器融合步骤,通过融合视觉检测结果与激光测距信息,可以精确的输出目标物在指定坐标系下的位置信息,为规控模块做出合理的决策提供了保障。
本公开实施例提供的目标物定位方法的执行主体为车载融合感知设备,即车载融合感知设备安装在车辆上,其既可以与车辆融为一体,也可以为独立于车辆的单独设备,本公开实施例对此不进行具体限定。其中,车载融合感知设备可融合诸如摄像头或激光雷达等各种车辆上安装的传感器的感知数据。具体地,本公开实施例提供的目标物定位方法部署在车载融合感知设备上,通过软件程序改进,使得车载融合感知设备可输出目标物精准的位置信息。其中,此处提及的位置信息包括目标物的具体位置以及目标物与自车的距离。
如图2所示,本公开实施例提供的目标物定位方法的主要流程如下:
步骤1、将采集到的激光点云投影到图像坐标系。
其中,激光点云中包含数量众多的激光点。利用视觉检测算法在采集到的视频图像中进行目标物检测,并将采集到的激光点云投影到图像坐标系下。
需要说明的是,本公开实施例之所以将采集到的激光点云投影到图像坐标系,目的是为了在图像坐标系下完成对激光点云中大部分不相关激光点的过滤。
步骤2、利用视觉检测结果对激光点云进行粗分割。
在图像坐标系下,利用视觉检测后对检测到的目标物进行标识的矩形框,将激光点云粗分割成m个激光点集合。其中,m的取值范围为大于或等于1。
其中,在进行视觉检测后,如图3所示,对于出现在视频图像中的目标物,一般均会用一个个矩形框来标识其所在位置。这个矩形框即为对目标物的位置预测结果,在本公开实施例中可将其称之为矩形框区域。
步骤3、去除m个激光点集合中每个激光点集合中的激光脏点。
步骤4、将经过步骤3处理后的每个激光点集合在指定坐标系下进行聚类,以进一步去除激光脏点。
即,对步骤3得到的每个激光点集合在指定坐标系下进行聚类,进一步去掉诸如射到电线杆或树木等上的激光脏点。
需要说明的是,本公开实施例之所以在指定坐标系下进行聚类,是因为在指定坐标系下有明显的远近关系,根据这一关系能够较好地去除激光脏点,得到距离自车最近且最为可靠的聚类中心。比如,在指定坐标系下能够很容易地确定出上述矩形框区域中哪些激光点是射到距离近的车辆上的,而哪些激光点是射到距离远的电线杆或树木上的。其中,通常电线杆或树木等在矩形框区域中是作为背景出现的,本公开实施例通过在指定坐标系下进行聚类,可以很容易地将射到距离近的车辆上的激光点和射到距离远的背景上的激光脏点区分开来,从而方便完成激光脏点的去除。
步骤5、对经过步骤4处理后的每一个激光点集合再次进行聚类,实现对目标物的定位。
对步骤4步得到的比较干净的激光点集合在深度方向上进行聚类,区分射到车头(或车尾)与射到车侧面的激光点,基于步骤4中确定出来的聚类中心得到目标物的精准位置,并基于这个位置来测量距离自车的距离。
综上所述,本公开实施例提供了一种视觉检测与激光测距相融合的目标物定位方法,分别利用了摄像头与激光雷达两种传感器的各自优势,可以精准地实现对目标物的定位,为后续规控模块作出合理的决策打下了良好的基础。
下面结合上述内容对本公开实施例提供的目标物定位方法进行详细地解释说明。
图4是本公开实施例提供的一种目标物定位方法的流程图。参见图4,本公开实施例提供的方法流程包括:
激光点云投影到图像坐标系
401、将采集到的激光点由指定坐标系投影到图像坐标系下。
假设采集到n个激光点,且采集到的n个激光点组成一个激光点集合{Vi},则这个激光点集合可以表示为如下:
Vi=[xwi,ywi,zwi]T,其中i的取值为1至n。
其中,在将每一个激光点由指定坐标系投影到图像坐标系下时,可采取下述方式实现:获取每一个激光点在指定坐标系下的三维坐标位置,其中上述xwi,ywi,zwi指代激光点Vi的三维坐标位置;之后,获取指定坐标系与图像坐标系之间的投影转换矩阵,基于该投影转换矩阵计算每一个激光点在图像坐标系下的二维坐标位置。以投影转换矩阵为R为例,则有:
在进行归一化处理后,得到激光点Vi在图像坐标系下对应的二维坐标位置为(xci,yci)。
综上所述,在通过投影计算后,可以得到激光点集合{Vi}中每一个激光点对应在图像坐标系下的二维坐标位置,即:Vi=[xwi,ywi,zwi]T~(xci,yci)i=1~n。
图5示出了激光点云投影到图像坐标系下的效果图。在图5中横向的一排排点对应投影到视频图像中的激光点投影。由图5可以看出,有较多的激光点会射到诸如地面、交通牌、灌木等非关键障碍物上,而且距离摄像头越远,射到目标物上的激光点数量越少。
需要说明的是,本步骤暗含了将采集到的激光点从初始确定的三维坐标位置投影到指定坐标系下的过程。即,本步骤投影到图像坐标下是先通过将激光点在激光坐标系下投影到指定坐标系下,再经由指定坐标系与图像坐标系之间的投影转换矩阵,实现由指定坐标系下投影到图像坐标系下。
换一种表达方式,对于采集到激光点,通常会给出激光点在激光坐标系下的三维坐标位置,之后本公开实施例可将激光点在激光坐标系下的三维坐标位置转换为在图像坐标系下的二维坐标位置,以及在指定坐标系下的三维坐标位置。即,对于每一个激光点来说对应有两种投影,利用不同的投影矩阵便可实现这两种投影。其中,这两种投影一个是投影到图像坐标系下,另一个是投影到指定坐标系下。
利用视觉检测结果对激光点云进行粗分割
402、基于在采集到的视频图像中检测到的m个目标物,对投影到图像坐标系下的激光点进行划分,得到m个目标物对应的m个激光点集合。
假设基于视觉检测算法在视频图像上检测到m个目标物,且m个目标物在视频图像上的位置为Rj=[xj,yj,wj,hj],其中j的取值范围为1至m,xj指代目标物j在视频图像中的横坐标位置,yj指代目标物j在视频图像中的纵坐标位置,wj指代目标物j在视频图像中的宽度,hj指代目标物j在视频图像中的高度。即,xj和yj指代目标物在视频图像中的二维坐标位置,wj和hj指代目标物在视频图像中的尺寸信息。
在本公开实施例中,在对激光点云进行粗分割时可按照下述规则实现:获取m个目标物中每一个目标物在视频图像中的二维坐标位置以及尺寸信息;基于每一个目标物在视频图像中的二维坐标位置以及尺寸信息,在视频图像中确定出每一个目标物所在的矩形框区域;获取位于每一个矩形框区域之内的激光点,得到m个激光点集合。
换一种表达方式,在进行激光点云的粗分割时,对于每一个激光点,本公开实施例通过其投影到图像坐标系下的二维坐标位置是否位于目标物所在的矩形框中来,判断这个激光点是否属于射到检测到的目标物上的激光点。
假设射到目标物Rj上的激光点组成集合Aj,那么:
即,将位于m个矩形框区域之内的激光点保留,并将位于m个矩形框区域之外的其他激光点进行滤除。
综上所述,通过视觉检测结果对激光点云的过滤,可以去除大部分射到诸如地面、灌木丛、天空等非关键障碍物上的激光点。即,通过上述步骤402的处理得到激光点云的m个粗分割集:Aj,j=1~m。其中,在对激光点云进行粗分割处理后,其效果图可如图6所示。
去除m个激光点集合中每个激光点集合中的激光脏点
如图6所示,在一个个矩形框区域(目标物所在的矩形框)中仍然会存在部分射到诸如地面和远处障碍物上的激光点,这些激光点属于激光脏点还需要去除,因此本公开实施例还包括下述步骤403。
403、在图像坐标系下,对m个激光点集合中的每一个激光点集合进行首轮脏点过滤。
在本公开实施例中,对于m个激光点集合Aj,在进行首轮脏点过滤时,主要基于以下两个方面:
(1)、去除射到地面以及目标物上方的激光脏点
即,对于m个激光点集合Aj,获取与该激光点集合匹配的目标物在视频图像中的最低高度以及最高高度。之后,在该激光点集合中,确定高度值小于最低高度或大于最高高度的第一类激光脏点,将第一类激光脏点在该激光点集合中滤除。
这一步骤即实现了去除射到地面以及目标物上方的激光脏点。其中,与该激光点集合匹配的目标物指代该激光点集合中包含的激光点所射到的那个目标物。下面以一个具体的例子对本步骤进行说明。其中,激光点的高度即指代激光点投影到图像坐标系下的纵向坐标。
以目标物为车辆为例,参见图6以及图7,针对车辆这类关键障碍物而言,由于车身具有一定高度,因此通过激光点在视频图像中的高度zj,可以去除射到车身下方以及车身上方的激光点。换一种表达方式,对于激光点集合Aj中的每一个激光点,若任意一个激光点满足:Zclsj_l<zj<Zclsj_h,则保留该激光点,否则,则将该激光点作为激光脏点去除。其中,
Zclsj_l,Zclsj_h指代车辆的最低高度和最高高度。m个激光点集合Aj在经过上述处理后,得到m个激光点集合Bj。
(2)、去除其他异常的激光点
如图6以及图7所示,由于矩形框区域(目标物所在的矩形框)内会包含部分远处背景,因此m个激光点集合Bj中可能会包含一部分射到目标物后方的激光点,这些激光点同样需要去除。在本公开实施例中,为了去除这些激光点可采取下述方式实现:
对于m个激光点集合Bj,在激光点集合Bj中确定与自车距离最小的特定激光点的二维坐标位置;对于除特定激光点之外的任意一个激光点,如果任意一个激光点的二维坐标位置与特定激光点的二维坐标位置之间的距离差值大于目标阈值,则将这个激光点确定为一个激光脏点;最终将激光点集合Bj中出现的激光脏点去除,便得到激光点集合Cj。
换一种表达方式,对激光点集合Bj中的每一个激光点,若满足:||Vi-V0||<L,则保留这个激光点,否则,则将这个激光点作为激光脏点去除。其中,V0指代激光点集Bj中距离自车最近的激光点,即上述提及的特定激光点,Vi指代激光点集合Bj中除了特定激光点之外的任意一个激光点。
需要说明的是,在激光点集合Bj中确定与自车距离最小的特定激光点时,可采取下述方式实现:确定激光点集合Bj中每一个激光点在指定坐标系下的横纵坐标(x,y),然后比较每一个激光点的sqrt(x^2+y^2)值大小,取sqrt(x^2+y^2)的最小值,与该最小值所匹配的激光点即为激光点集合Bj中与自车距离最小的特定激光点V0。其中,sqrt函数用于计算一个非负实数的平方根。
如图7所示,经过上述步骤403的处理后,可以得到射到每个目标物上较为可信的激光点。换一种表达方式,在图7中的每个矩形框区域中均保留了比较可信的激光点。
在指定坐标系下进行聚类,进一步地去除激光脏点
由图8可知,位于视频图像右侧的矩形框区域,在经过上述步骤403的处理后仍然会有部分激光点射到诸如电线杆、栏杆、灌木等非关键障碍物上,这些激光点对最终确定实现目标物定位的影响非常大,因此需要去除,即本公开实施例还包括下述步骤404。
404、在指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤。
对于m个激光点集合Cj,在指定坐标系下对激光点集合Cj中包括的激光点进行聚类,得到z个激光点子集合;之后,在z个激光点子集合中确定激光点数目最多的指定激光点子集合,得到真实射到目标物上的激光点;最终,将激光点集合Cj中除了指定激光点子集合之外的其他z-1个激光点子集合中包含的激光点滤除,得到激光点集合Dj。
其中,z的取值范围为大于或等于2,通常情况下z的取值为2,即本步骤通常是在进行二聚类,即进行聚类数目为2的聚类。在完成二聚类后,将激光点数目最多的那一个激光点子集合作为真实射到目标物上的激光点。
换一种表达方式,对于每一个激光点集合Cj,在指定坐标系下通过进行二聚类来进一步去除射到非目标物上的激光脏点,如图9所示,将激光点数目最多的那一类作为真实射到目标物上的激光点,进而得到比较干净的激光点集合Dj。需要说明的是,在图9中每一个激光点的位置坐标均是指定坐标系下的三维坐标位置。
对得到的比较干净的激光点集合在深度方向上进行聚类,实现对目标物的定位
405、在指定坐标系下对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到y个激光点子集合,对于每一个目标物,基于与该目标物对应的y个激光点子集合中的目标激光点子集合,计算自车距目标物的距离。
其中,y的取值范围为大于或等于2,针对该步骤,当目标物为车辆时,本公开实施例对m个激光点集合Dj中的每一个激光点集合在深度方向上进行聚类。而之所以进行基于视觉深度的聚类,是为了区分射到车辆的车头或车尾的激光点、与射到车辆侧方的激光点。
其中,目标激光点子集合为在图像坐标系下聚类中心的视觉深度最小的集合,目标激光点集合中包含的激光点是属于射到车头或车尾上的点。换一种表达方式,目标激光点子集合的聚类中心为射到车头或车尾的这些激光点的聚类中心。如图10所示,图中两个星型标记所在的位置即为目标激光点子集合的聚类中心。其中,在图10中,针对左边的车辆而言,目标激光点子集合属于射到车头上的点,针对右边的车辆而言,目标激光点子集合属于射到车尾上的点。而基于射到车头或车尾上的激光点来估计目标物的指定坐标系下的位置以及与自车的距离明显更加精准。
在本公开实施例中,在深度方向上进行聚类时通常也是进行二聚类,即车头或车尾为一类,车辆侧方为一类。总结来说,当y的取值为2时,y个激光点子集合的聚类过程如下:
对于每一个经过下一轮脏点过滤的激光点集合Dj,在指定坐标系下对该激光点集合中包括的激光点进行在深度方向上进行二聚类,得到射到车辆头部或车辆尾部的第一激光点子集合以及射到车辆侧面的第二激光点子集合。
在完成基于深度方向的聚类后,便可基于y个激光点子集合中的目标激光点子集合,计算自车距目标物的距离。即,获取指定坐标系下目标激光点子集合的聚类中心的三维坐标位置,这个聚类中心的三维坐标位置便为最终确定出来的目标物在指定坐标系下的坐标位置,之后,基于该聚类中心的三维坐标位置,计算自车距目标物的距离,从而完成对当前行驶道路上出现的目标物的定位。即得到关键障碍物在指定坐标系下精确且稳定的位置。
另外需要说明的是,在指定坐标系下去除激光脏点时会将经过上述步骤403处理后剩余的激光点投影到指定坐标系下,这个时候每个激光点既有对应的在图像坐标系下的二维坐标位置,也有对应在指定坐标系下的三维坐标位置。基于此,在通过上述步骤405确定出目标激光点子集合的聚类中心后,此时这个聚类中心实际上已经是针对于指定坐标系而言了,即此时该聚类中心的坐标就是其在指定坐标系下的三维坐标位置。
本公开实施例提供的方法,通过视觉检测技术对摄像头采集到的视频图像进行目标物检测,并将采集到的激光点投影到图像坐标系下,进而基于对目标物的检测结果对这些激光点进行一个个激光点集合的划分,之后,本公开实施例进一步地去除各个激光点集合中的激光脏点,最终实现基于真实射到目标物上的激光点来完成对目标物的定位,由于本公开实施例融合了视觉检测在验证障碍物是否存在方面更为精准的优势以及激光点在测距方面更为精准的优势,所以本公开实施例对目标物的定位精度更高,使得后续规控模块在进行路径规划与车辆行驶状态控制时不会出现较大偏差,精确性能更好,这为规控模块在进行路径规划与车辆行驶状态控制时提供了良好保障,确保了行车安全。
另外,由于激光点从指定坐标系投影至图像坐标系的精度远高于视觉检测结果从图像坐标系投影到指定坐标系的精度,所以在图像坐标系下进行多传感器融合可以显著提升对目标物的定位精度。此外,本公开实施例基于视觉检测结果确定射到目标物上的激光点,为基于激光测距技术对视觉检测到的目标物进行精确定位提供了可能。
图11是本公开实施例提供的一种目标物定位装置的结构示意图。参见图11,该装置包括:
投影模块1101,用于将采集到的激光点由指定坐标系投影到图像坐标系下,所述指定坐标系是以自车为坐标原点的坐标系;
划分模块1102,用于基于在采集到的视频图像中检测到的m个目标物,对投影到所述图像坐标系下的所述激光点进行划分,得到m个激光点集合;
第一过滤模块1103,用于在所述图像坐标系下,对所述m个激光点集合中的每一个激光点集合进行首轮脏点过滤,所述脏点为没有射到所述目标物上的激光点;
第二过滤模块1104,用于在所述指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤;
聚类模块1105,用于在所述指定坐标系下,对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到y个激光点子集合;
定位模块1106,用于对于每一个目标物,基于与所述目标物对应的y个激光点子集合中的目标激光点子集合,计算自车距所述目标物的距离,所述目标激光点子集合为在所述图像坐标系下聚类中心的与自车距离最小的集合。
在另一个实施例中,投影模块1101,用于获取每一个所述激光点在所述指定坐标系下的三维坐标位置;获取所述指定坐标系与所述图像坐标系之间的投影转换矩阵;基于所述投影转换矩阵和所述三维坐标位置,计算每一个所述激光点在所述图像坐标系下的二维坐标位置。
在另一个实施例中,划分模块1102,用于获取每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息;基于每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息,在所述视频图像中确定出每一个目标物所在的矩形框区域;获取位于每一个矩形框区域之内的激光点,得到所述m个激光点集合。
在另一个实施例中,第一过滤模块1103,用于对于每一个激光点集合,获取与所述激光点集合匹配的目标物在所述视频图像中的最低高度以及最高高度;在所述激光点集合中,确定高度值小于所述最低高度或大于所述最高高度的第一类激光脏点;将所述第一类激光脏点在所述激光点集合中滤除。
在另一个实施例中,第一过滤模块1103,还用于对于每一个经过所述第一类激光脏点滤除的激光点集合,在所述激光点集合中确定与自车距离最小的特定激光点的二维坐标位置;对于除所述特定激光点之外的任意一个激光点,如果所述任意一个激光点的二维坐标位置与所述特定激光点的二维坐标位置之间的距离差值大于目标阈值,则将所述任意一个激光点确定为一个第二类激光脏点;在经过所述第一类激光脏点滤除的激光点集合中,滤除所述第二类激光脏点。
在另一个实施例中,第二过滤模块1104,用于对于每一个经过首轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到z个激光点子集合;在所述z个激光点子集合中确定激光点数目最多的指定激光点子集合;将除了所述指定激光点子集合之外的其他激光点子集合包含的激光点滤除。
在另一个实施例中,当y=2且所述目标物为车辆时,聚类模块1105,用于对于每一个经过下一轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到射到车辆头部或车辆尾部的第一激光点子集合以及射到车辆侧面的第二激光点子集合;
定位模块1106,用于将所述第一激光点子集合确定为所述目标激光点子集合;获取所述指定坐标系下所述目标激光点子集合的聚类中心的三维坐标位置;基于所述三维坐标位置计算自车距所述目标车辆的距离。
本公开实施例提供的装置,通过视觉检测技术对摄像头采集到的视频图像进行目标物检测,并将采集到的激光点投影到图像坐标系下,进而基于对目标物的检测结果对这些激光点进行一个个激光点集合的划分,之后,本公开实施例进一步地去除各个激光点集合中的激光脏点,最终实现基于真实射到目标物上的激光点来完成对目标物的定位,由于本公开实施例融合了视觉检测在验证障碍物是否存在方面更为精准的优势以及激光点在测距方面更为精准的优势,所以本公开实施例对目标物的定位精度更高,使得后续规控模块在进行路径规划与车辆行驶状态控制时不会出现较大偏差,精确性能更好,这为规控模块在进行路径规划与车辆行驶状态控制时提供了良好保障,确保了行车安全。
另外,由于激光点从指定坐标系投影至图像坐标系的精度远高于视觉检测结果从图像坐标系投影到指定坐标系的精度,所以在图像坐标系下进行多传感器融合可以显著提升对目标物的定位精度。此外,本公开实施例基于视觉检测结果确定射到目标物上的激光点,为基于激光测距技术对视觉检测到的目标物进行精确定位提供了可能。
图12是本公开实施例提供的一种用于目标物定位的设备的结构示意图,该设备具体为前文所述的车载融合感知设备,用于执行上述实施例中提供的目标物定位方法。参见图12,该设备1200包括:
收发器110、包括有一个或一个以上存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、包括有一个或者一个以上处理核心的处理器170等部件。本领域技术人员可以理解,图12中示出的设备1200结构并不构成对设备1200的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
收发器110可用于收发信息过程中信号的接收和发送。通过收发器110,设备1200可以和位于车辆内的其他设备(比如各种传感器)进行通信。其中,通信方式包括但不限于蓝牙无线通信方式、无线保真(Wireless Fidelity,WiFi)无线通信方式等。
存储器120可用于存储软件程序以及模块,处理器170通过运行存储在存储器120的至少一条指令、至少一段程序、代码集或指令集,从而执行各种功能应用以及数据处理。存储器120主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一条指令、至少一段程序、代码集或指令集等;存储数据区可存储根据设备1200的使用所创建的数据(比如音频数据)等。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的信号输入。具体地,输入单元130可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作,并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器170,并能接收处理器170发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元130还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及设备1200的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器170以确定触摸事件的类型,随后处理器170根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图12中,触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
设备1200还可包括至少一种传感器150,比如光传感器。具体地,光传感器可包括环境光传感器,其中环境光传感器可根据环境光线的明暗来调节显示面板的亮度。
音频电路160、扬声器161,传声器162可提供用户与设备1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器170处理后,经收发器110发送给诸如车辆内的其他设备,或者将音频数据输出至存储器120以便进一步处理。
处理器170是设备1200的控制中心,利用各种接口和线路连接整个设备1200的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行设备1200的各种功能和处理数据,从而对设备1200进行整体监控。可选的,处理器170可包括一个或多个处理核心;优选的,处理器170可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器170中。
具体在本实施例中,设备1200的显示单元可以是触摸屏显示器,设备1200的处理器170会运行存储在存储器120中的至少一条指令、至少一段程序、代码集或指令集,从而实现上述实施例所述的目标物定位方法。
在另一个示例性的实施例中,本公开实施例还提供了一种存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述设备1200的处理器加载并执行以实现上述实施例所述的目标物定位方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的可选实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (16)
1.一种目标物定位方法,其特征在于,所述方法包括:
将采集到的激光点由指定坐标系投影到图像坐标系下,所述指定坐标系是以自车为坐标原点的坐标系;
基于在采集到的视频图像中检测到的m个目标物,对投影到所述图像坐标系下的所述激光点进行划分,得到所述m个目标物对应的m个激光点集合,m≥1;
在所述图像坐标系下,对所述m个激光点集合中的每一个激光点集合进行首轮脏点过滤,所述脏点为没有射到所述目标物上的激光点;
在所述指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤;
在所述指定坐标系下,对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到2个激光点子集合;
对于每一个目标物,基于与所述目标物对应的2个激光点子集合中的目标激光点子集合,计算自车距所述目标物的距离,所述目标激光点子集合为在所述图像坐标系下聚类中心与自车距离最小的集合;
所述目标物为车辆,所述在所述指定坐标系下,对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到2个激光点子集合,包括:
对于每一个经过下一轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到射到所述目标物的头部或尾部的第一激光点子集合以及射到所述目标物的侧面的第二激光点子集合,其中,所述第一激光点子集合为所述目标激光点子集合。
2.根据权利要求1所述的方法,其特征在于,所述将采集到的激光点由指定坐标系投影到图像坐标系下,包括:
获取每一个所述激光点在所述指定坐标系下的三维坐标位置;
获取所述指定坐标系与所述图像坐标系之间的投影转换矩阵;
基于所述投影转换矩阵和所述三维坐标位置,计算每一个所述激光点在所述图像坐标系下的二维坐标位置。
3.根据权利要求1所述的方法,其特征在于,所述基于在采集到的视频图像中检测到的m个目标物,对投影到所述图像坐标系下的所述激光点进行划分,得到所述m个目标物对应的m个激光点集合,包括:
获取每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息;
基于每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息,在所述视频图像中确定出每一个目标物所在的矩形框区域;
获取位于每一个矩形框区域之内的激光点,得到所述m个目标物对应的m个激光点集合。
4.根据权利要求1所述的方法,其特征在于,所述在所述图像坐标系下,对所述m个激光点集合中的每一个激光点集合进行首轮脏点过滤,包括:
对于每一个激光点集合,获取与所述激光点集合匹配的目标物在所述视频图像中的最低高度以及最高高度;
在所述激光点集合中,确定高度值小于所述最低高度或大于所述最高高度的第一类激光脏点;
将所述第一类激光脏点在所述激光点集合中滤除。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对于每一个经过所述第一类激光脏点滤除的激光点集合,在所述激光点集合中确定与自车距离最小的特定激光点的二维坐标位置;
对于除所述特定激光点之外的任意一个激光点,如果所述任意一个激光点的二维坐标位置与所述特定激光点的二维坐标位置之间的距离差值大于目标阈值,则将所述任意一个激光点确定为一个第二类激光脏点;
在经过所述第一类激光脏点滤除的激光点集合中,滤除所述第二类激光脏点。
6.根据权利要求1所述的方法,其特征在于,所述在所述指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤,包括:
对于每一个经过首轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到z个激光点子集合,z≥2;
在所述z个激光点子集合中确定激光点数目最多的指定激光点子集合;
将除了所述指定激光点子集合之外的其他激光点子集合包含的激光点滤除。
7.根据权利要求1所述的方法,其特征在于,所述对于每一个目标物,基于与所述目标物对应的2个激光点子集合中的目标激光点子集合,计算自车距所述目标物的距离,包括:
将所述第一激光点子集合确定为所述目标激光点子集合;
获取所述指定坐标系下所述目标激光点子集合的聚类中心的三维坐标位置;
基于所述三维坐标位置计算自车距所述目标车辆的距离。
8.一种目标物定位装置,其特征在于,所述装置包括:
投影模块,用于将采集到的激光点由指定坐标系投影到图像坐标系下,所述指定坐标系是以自车为坐标原点的坐标系;
划分模块,用于基于在采集到的视频图像中检测到的m个目标物,对投影到所述图像坐标系下的所述激光点进行划分,得到所述m个目标物对应的m个激光点集合,m≥1;
第一过滤模块,用于在所述图像坐标系下,对所述m个激光点集合中的每一个激光点集合进行首轮脏点过滤,所述脏点为没有射到所述目标物上的激光点;
第二过滤模块,用于在所述指定坐标系下,对每一个经过首轮脏点过滤的激光点集合进行下一轮脏点过滤;
聚类模块,用于在所述指定坐标系下,对每一个经过下一轮脏点过滤的激光点集合进行聚类,得到2个激光点子集合;
定位模块,用于对于每一个目标物,基于与所述目标物对应的2个激光点子集合中的目标激光点子集合,计算自车距所述目标物的距离,所述目标激光点子集合为在所述图像坐标系下聚类中心与自车距离最小的集合;
其中,所述目标物为车辆,所述聚类模块用于对于每一个经过下一轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到射到所述目标物的头部或尾部的第一激光点子集合以及射到所述目标物的侧面的第二激光点子集合,其中,所述第一激光点子集合为所述目标激光点子集合。
9.根据权利要求8所述的装置,其特征在于,所述投影模块,用于获取每一个所述激光点在所述指定坐标系下的三维坐标位置;获取所述指定坐标系与所述图像坐标系之间的投影转换矩阵;基于所述投影转换矩阵和所述三维坐标位置,计算每一个所述激光点在所述图像坐标系下的二维坐标位置。
10.根据权利要求8所述的装置,其特征在于,所述划分模块,用于获取每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息;基于每一个目标物在所述视频图像中的二维坐标位置以及尺寸信息,在所述视频图像中确定出每一个目标物所在的矩形框区域;获取位于每一个矩形框区域之内的激光点,得到所述m个目标物对应的m个激光点集合。
11.根据权利要求8所述的装置,其特征在于,所述第一过滤模块,用于对于每一个激光点集合,获取与所述激光点集合匹配的目标物在所述视频图像中的最低高度以及最高高度;在所述激光点集合中,确定高度值小于所述最低高度或大于所述最高高度的第一类激光脏点;将所述第一类激光脏点在所述激光点集合中滤除。
12.根据权利要求11所述的装置,其特征在于,所述第一过滤模块,还用于对于每一个经过所述第一类激光脏点滤除的激光点集合,在所述激光点集合中确定与自车距离最小的特定激光点的二维坐标位置;对于除所述特定激光点之外的任意一个激光点,如果所述任意一个激光点的二维坐标位置与所述特定激光点的二维坐标位置之间的距离差值大于目标阈值,则将所述任意一个激光点确定为一个第二类激光脏点;在经过所述第一类激光脏点滤除的激光点集合中,滤除所述第二类激光脏点。
13.根据权利要求8所述的装置,其特征在于,所述第二过滤模块,用于对于每一个经过首轮脏点过滤的激光点集合,在所述指定坐标系下对所述激光点集合中包括的激光点进行聚类,得到z个激光点子集合;在所述z个激光点子集合中确定激光点数目最多的指定激光点子集合;将除了所述指定激光点子集合之外的其他激光点子集合包含的激光点滤除。
14.根据权利要求8所述的装置,其特征在于,所述定位模块,用于将所述第一激光点子集合确定为所述目标激光点子集合;获取所述指定坐标系下所述目标激光点子集合的聚类中心的三维坐标位置;基于所述三维坐标位置计算自车距所述目标车辆的距离。
15.一种存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7中任一权利要求所述的目标物定位方法。
16.一种用于目标物定位的设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7中任一权利要求所述的目标物定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711219175.1A CN109840454B (zh) | 2017-11-28 | 2017-11-28 | 目标物定位方法、装置、存储介质以及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711219175.1A CN109840454B (zh) | 2017-11-28 | 2017-11-28 | 目标物定位方法、装置、存储介质以及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109840454A CN109840454A (zh) | 2019-06-04 |
CN109840454B true CN109840454B (zh) | 2021-01-29 |
Family
ID=66881311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711219175.1A Active CN109840454B (zh) | 2017-11-28 | 2017-11-28 | 目标物定位方法、装置、存储介质以及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109840454B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309741B (zh) * | 2019-06-19 | 2022-03-08 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法及装置 |
CN110427122A (zh) * | 2019-07-10 | 2019-11-08 | 北京云迹科技有限公司 | 基于激光传感器的触摸控制方法 |
CN110865393A (zh) * | 2019-11-29 | 2020-03-06 | 广州视源电子科技股份有限公司 | 基于激光雷达的定位方法及系统、存储介质和处理器 |
CN113792566B (zh) * | 2020-05-25 | 2024-05-17 | 华为技术有限公司 | 一种激光点云的处理方法及相关设备 |
CN111832410B (zh) * | 2020-06-09 | 2022-09-20 | 北京航空航天大学 | 一种基于视觉与激光雷达融合的前向列车检测方法 |
CN112113536B (zh) * | 2020-08-10 | 2022-10-04 | 浙江吉利汽车研究院有限公司 | 一种车载摄像头测距方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198302A (zh) * | 2013-04-10 | 2013-07-10 | 浙江大学 | 一种基于双模态数据融合的道路检测方法 |
CN104751119A (zh) * | 2015-02-11 | 2015-07-01 | 中国科学院大学 | 基于信息融合的行人快速检测跟踪方法 |
US9256226B1 (en) * | 2012-01-30 | 2016-02-09 | Google Inc. | Object bounding box estimation |
CN106407947A (zh) * | 2016-09-29 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
CN106650809A (zh) * | 2016-12-20 | 2017-05-10 | 福州大学 | 一种车载激光点云目标分类方法和系统 |
CN106679671A (zh) * | 2017-01-05 | 2017-05-17 | 大连理工大学 | 一种基于激光数据的导航标识图识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9189862B2 (en) * | 2010-06-10 | 2015-11-17 | Autodesk, Inc. | Outline approximation for point cloud of building |
-
2017
- 2017-11-28 CN CN201711219175.1A patent/CN109840454B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256226B1 (en) * | 2012-01-30 | 2016-02-09 | Google Inc. | Object bounding box estimation |
CN103198302A (zh) * | 2013-04-10 | 2013-07-10 | 浙江大学 | 一种基于双模态数据融合的道路检测方法 |
CN104751119A (zh) * | 2015-02-11 | 2015-07-01 | 中国科学院大学 | 基于信息融合的行人快速检测跟踪方法 |
CN106407947A (zh) * | 2016-09-29 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
CN106650809A (zh) * | 2016-12-20 | 2017-05-10 | 福州大学 | 一种车载激光点云目标分类方法和系统 |
CN106679671A (zh) * | 2017-01-05 | 2017-05-17 | 大连理工大学 | 一种基于激光数据的导航标识图识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109840454A (zh) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109840454B (zh) | 目标物定位方法、装置、存储介质以及设备 | |
EP3629233A1 (en) | Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium | |
CN110920611B (zh) | 基于邻车的车辆控制方法和装置 | |
JP7266627B2 (ja) | 早期警報方法、装置、電子機器、記録媒体及びコンピュータプログラム製品 | |
CN109345829B (zh) | 无人车的监控方法、装置、设备及存储介质 | |
KR20210115026A (ko) | 차량 인텔리전트 운전 제어 방법 및 장치, 전자 기기 및 기억 매체 | |
JPWO2014017520A1 (ja) | 立体物検出装置及び立体物検出方法 | |
CN111216127A (zh) | 一种机器人控制方法、装置、服务器及介质 | |
CN111988524A (zh) | 一种无人机与摄像头协同避障方法、服务器及存储介质 | |
CN110083099B (zh) | 一种符合汽车功能安全标准自动驾驶架构系统和工作方法 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
CN111986232B (zh) | 目标物体的检测方法、装置、机器人及存储介质 | |
CN111177869A (zh) | 传感器布局方案的确定方法、装置及设备 | |
CN111666876A (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
JP2021100847A (ja) | 車両カーブ走行用情報処理方法及び装置 | |
CN113008237A (zh) | 一种路径规划方法及装置、飞行器 | |
CN114037966A (zh) | 高精地图特征提取方法、装置、介质及电子设备 | |
CN113076830A (zh) | 环境通行区域检测方法、装置、车载终端及存储介质 | |
US20220219679A1 (en) | Spatial parking place detection method and device, storage medium, and program product | |
CN111667706A (zh) | 车道级路面状况识别方法、路况提示方法和装置 | |
CN111640301A (zh) | 故障车辆的检测方法、系统、装置、电子设备及存储介质 | |
CN112595728B (zh) | 一种道路问题确定方法和相关装置 | |
CN110458815A (zh) | 有雾场景检测的方法及装置 | |
CN111959526A (zh) | 基于无人车的控制方法、装置、无人车和电子设备 | |
CN116563801A (zh) | 交通事故检测方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |