CN112270694B - 基于激光雷达扫描图进行城市环境动态目标检测的方法 - Google Patents
基于激光雷达扫描图进行城市环境动态目标检测的方法 Download PDFInfo
- Publication number
- CN112270694B CN112270694B CN202010646588.3A CN202010646588A CN112270694B CN 112270694 B CN112270694 B CN 112270694B CN 202010646588 A CN202010646588 A CN 202010646588A CN 112270694 B CN112270694 B CN 112270694B
- Authority
- CN
- China
- Prior art keywords
- vfl
- last
- dynamic
- unique
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种基于激光雷达扫描图进行城市环境动态目标检测的方法,所述方法将激光雷达点云投影为全景深度影像,建立全景深度影像和点云间的索引关系,检测初始动态区域和去除背景静态区域后,构建相关变化光流去除伪动态检测区域,最后进行点聚类及区域填充完成城市环境动态目标检测。本发明实现了一种高效的在雷达点云和激光雷达全景深度影像投影下的动态目标检测方法,视角突破了传统方法的限制,提高了现有技术中仅采用三维点云方法的动态目标检测的检测准确性和计算效率。
Description
技术领域
本发明涉及激光雷达点云与全景投影影像处理技术,具体涉及一种基于激光雷达扫描图进行城市环境动态目标检测的方法。
背景技术
动态目标检测是自动驾驶车辆进行环境感知的关键研究方向。在过去的30年里全世界大量的研究实现了基于雷达点云、连续影像、传感器融合系统的模型相关和模型无关的多目标检测和跟踪方法。在近10年,随着深度学习理论的快速发展,深度神经网络技术在解决多目标检测和跟踪问题上也得到了广泛的应用。
当前的无模型动态目标检测和跟踪算法常利用深度网络进行目标分类,检测三维轮廓,或者结合目标间几何关系并融合单个或多个传感器数据进行场景中的所有目标三维轮廓的检测。
不采用深度学习的一些方法,有的定义融合多传感器分类信息的组合目标表征框架结构来提升检测精度,或者在补偿雷达运动失真的同时在三维空间进行近实时点云查询和目标分类,或利用多普勒雷达检测跟踪动态点、进行区域分割,但计算效率较低。
对仅采用序列影像的动态目标检测方法,其水平视角相比雷达点云360度视角非常有限,并且需要深度神经网络算法进行目标分类。对利用雷达点云帧的动态目标检测方法,同一场景下所有动态目标均可以被检测,但很难区分特征近似的动态目标与静态目标。因此,设计并实现一种城市环境下利用激光雷达全景深度影像进行动态目标检测的方法具有重要的创新性和具体应用价值。
发明内容
本发明的目的是提供一种基于激光雷达扫描图进行城市环境动态目标检测的方法,在激光雷达点云和激光雷达全景深度影像投影下进行动态目标检测,提高现有技术中仅采用三维点云方法的动态目标检测的检测准确性和计算效率。
本发明所采用的技术方案为:
基于激光雷达扫描图进行城市环境动态目标检测的方法,其特征在于:
所述方法将激光雷达点云投影为全景深度影像,建立全景深度影像和点云间的索引关系,检测初始动态区域和去除背景静态区域后,构建相关变化光流去除伪动态检测区域,最后进行点聚类及区域填充完成城市环境动态目标检测。
所述方法具体包括以下步骤:
第一步,将激光雷达点云投影为全景深度影像;
第二步,建立激光雷达全景深度影像和激光雷达点云之间的索引关系;
第三步,初始动态区域检测;
第四步,初始背景静态区域去除;
第五步,构建相关变化光流;
第六步,去除由于遮挡和暴露的背景点导致的伪动态检测区域;
第七步,点聚类及区域填充;
第八步,对检测结果进行检查。
第一步具体为:
定义Pi=(xi,yi,zi)(i=1,...,n)为激光雷达坐标系的雷达点云中的一点;投影Pi到全景影像坐标系下的全景深度图中点Rj=(uj,vj)(j=1,...,m);变换关系为:
将所用雷达点的有效深度范围定义为[rmin,rmax];
正则化点Pi=(xi,yi,zi)中的xi,yi坐标,取值范围为[-1,1],得:
xi=φi·π-1 (2)
yi=1-2(ψi·180/π+fup)/f (3)
继续将xi,yi转换为取值为[0,1]的数值并据式(1)计算全景深度影像中的点Rj=(uj,vj),ri是像素在坐标Rj=(uj,vj)下的深度,zi保持激光雷达点原始坐标值。
第二步具体为:
定义长度为n的Iunique_0来存储与全景影像对应像素索引[1,m]对应的第i个(i=1,...,n)激光雷达点Pi;Iunique_0的计算为:
Iunique_0_i=(uj-1)·w+vj (4)
得到:
vj=Iunique_0_i-(uj-1)·w (6)
定义长度为m的Iselected_0来存储选择的全景影像的对应点Iunique_0;Iselected_0存储所有的点云帧下的原始索引信息;在n次循环之后,对Iselected_0进行去除所有的表示无对应原始索引的0;之后,Iselected_0和Iunique_0分别更新为Iselected和Iunique,并且k≤m;当所有的原始激光雷达点云和全景影像的索引序列Iselected和Iunique构造更新完成,激光雷达点的三维坐标存储在与全景影像对应的Iselected和Iunique之中;在Iselected中索引第i个Iunique_i_idx,在Iunique中索引第i个Iunique_i_idx得到Iunique_i。
第三步具体为:
激光雷达点云的相邻两帧Flast和Fcurrent,利用当前场景雷达坐标系下全景影像两个连续帧对应点二维信息的变化来检测动态目标;变换Flast到当前雷达坐标系得到Fvfl,两帧间的变换可表示为Fvfl=Tc,lFlast,这里Tc,l∈R4×4,Rc,l∈SO(3),tc,l∈R3分别表示变换矩阵Tc,l的旋转和平移部分;将Fvfl和Fcurrent投影为全景影像Svfl_0和Scurrent_0,为方便相邻像素计算,将全景影像Svfl_0(w×h)变为Svfl((w-4)×(h-4)),在四周各减少2个像素;定义:
其中:
得到Svfl里所有非零深度值为列表d0,以及利用σu和σv进行Scurrent_0所有3×3邻域变换的结果为9个列表:d1到d9;
为检测动态区域,定义矩阵:
D0={dl|l=[0,9]}, (10)
Dl={d0-dl|l=[1,9]}. (11)
索引列表Idx_1满足:
标记候选动态区域里的Idx_1序列点为黄色,其他非零点为绿色背景,零值为蓝色像素,表示无深度值。
第四步具体为:
转换Dl中的元素为布尔矩阵Bl以方便移动方向的计算;
3×3邻域变换的编号为:
考虑与候选动态点具有相同移动方向的点;
因此,定义运动方向检测矩阵M1为M1={Bl(1)·Bl(k)|k=[2,6,7,3,8,9]};为避免对应于D0的第k+1列的零值导致检测出错,定义M2为M2={D0(u,v)|u=all rows of D0,v=k+1},用M12=M1·M2检测移动方向;定义这里u是D0的所有行数,用于统计候选动态点和6个邻域点之间相同移动方向的数目;选择候选动态点和6个领域点之间相同移动方向的点,这里{(u,v)|NM(u)=6},对u等于D0的所有行数都有NM(u)=6。
第五步具体为:
激光雷达点云相邻两帧Flast和Fcurrent,需要转换Flast到当前的激光雷达坐标帧下得到Fvfl以及转换Fcurrent到上一个激光雷达坐标帧下得到Fvfc;四个激光雷达帧和它们对应的全景影像的投影记为形状大小均为w×h的Slast,Svfl,Scurrent和Svfc;从全景影像Svfl或者Scurrent得到一系列待选动态点{(uvfl,vvfl)|NM(uvfl)=6};
需要在全景影像和激光雷达点云之间建立索引来帮助寻找全景影像Slast像素{(ulast,vlast)}对应Svfc的对应像素{(uvfl,vvfl)};首先输入点{(uvfl_j,vvfl_j)}到式(4)得到Iunique_j_vfl,然后在Iunique_vfl寻找Iunique_j_vfl获得它的索引Iunique_j_vfl_idx,再次通过Iunique_j_vfl_idx在Iselected_vfl中索引来找出r的索引j;Svfl是Fvfl投影来的,Fvfl是从Flast通过Tvfl,last转换过来的,因此r的索引j在Fvfl和Flast中是不变的;利用r的索引j,直接在Iselected_las寻找Iuniquej__last_idx;同时,Slast是从Flast投影来的,因此Svfl中所有的像素均是Slast的子集;最后,可以在Iunique_last中索引Iunique_j_last_idx得到Iunique_j_last,进而通过式(5)和(6)得到{(ulast,vlast)}。
第六步具体为:
(1)去除遮挡背景点:
在Slast的背景中找到伪动态点对应光流,以Slast中的背景点为起点,在Svfl和Scurrent中以树干表面为终点;这里逆变换Scurrent所有候选动态点{(ucurrent,vcurrent)}到Svfc中的{(uvfc,vvfc)};为动态点序列,ε2为rvfc和rlast之间的最大误差,规则为:
(2)去除暴露出的背景点:
令rlast为{(ulast,vlast)}在Slast中的深度值,rvfl和rcurrent分别为{(ucurrent,vcurrent)}在Svfl和Scurrent中的深度值,采用如下规则去除暴露出的背景点:
第七步具体为:
在场景动态目标已检测到的背景聚类点已去除后,利用聚类计算场景中的动态目标个数,并利用区域填充恢复整个动态目标。
第八步具体为:
在输出最后的检测结果前去除动态目标检测结果中的伪聚类点来减小误检率;检查时,全景深度影像SR的中间列的某一行进行点云投影,然后这幅图像里的每一个待选动态目标区域Ri(i∈[1,m])和SR'中其对应区域R′i作比较;SR和SR'赋值作为逻辑矩阵分别为
然后计算:
这样交集的像素点数可以得到:
由每个区域的动态点的数据得到:
Ni={sum(Ri)|Ri∈SR,i∈[1,m]}. (20)
定义比率R为:
最后,如果比率R大于阈值ε3,那么判断候选动态目标区域是动态目标,否则判断为背景区域。
本发明具有以下优点:
(1)本发明检测动态目标没有利用传统的二维雷达灰度图,也没有采用序列单双目影像,也没有直接利用三维雷达点云数据或是融合点云与图像数据,而是采用激光雷达点云投影后得到的全景深度影像进行动态目标检测。这个视角突破了传统方法的限制,从而可以探索实现新的检测处理方法和思路。
(2)设计了一种高效的初始动态区域检测方法来处理二维全景影像,为后续进一步的准确检测做好准备。
(3)设计和构造了一种在原始雷达点云和激光雷达全景深度影像之间一对一的对应索引方法,这种索引方法可以实现在雷达帧和全景帧下寻找对应点。
(4)设计和构造了从雷达点云两个邻域帧获取的四个相关激光雷达全景影像的相关变化光流,并且其变换帧可以用来在真实的动态点和伪动态点之间寻找不同的投影规则。以便伪动态点可以被准确剔除,并且相关变化光流可以保留并用于后续的聚类区域填充处理。
附图说明
图1是新的动态目标检测算法帧示意图;
图2是索引构造处理和变化关系示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
对仅采用序列影像的动态目标检测方法,其水平视角相比雷达点云360度视角非常有限,并且需要深度神经网络算法进行目标分类。对利用雷达点云帧的动态目标检测方法,同一场景下所有动态物体均可以被检测,但很难区分特征近似的动态目标与静态目标。,难以满足城市环境下自动驾驶近实时环境感知的需求。本发明基于一种城市环境下的利用激光雷达全景深度影像的动态目标检测方法,实现一种高效的在激光雷达点云和激光雷达全景深度影像投影下的动态目标检测方法,提高了仅采用三维点云方法的动态目标检测的检测准确性和计算效率。
本发明的思路是将激光雷达点云投影为激光雷达全景深度影像,建立激光雷达全景深度影像和激光雷达点云之间的对应索引关系,接着进行初始动态区域检测和背景静态区域去除,并设计和构造了相关变化光流用于去除由于遮挡和暴露的背景点导致的伪动态检测区域,然后进行点聚类及区域填充,最后对检测结果进行检查评估。
具体包括以下步骤:
第一步,将激光雷达点云投影为全景深度影像;
第二步,建立激光雷达全景深度影像和激光雷达点云之间的索引关系;
第三步,初始动态区域检测;
第四步,初始背景静态区域去除;
第五步,设计和构造相关变化光流;
第六步,去除由于遮挡和暴露的背景点导致的伪动态检测区域;
第七步,点聚类及区域填充;
第八步,对检测结果进行检查评估。
所述第二步中,设计和构造了一种在原始雷达点云和激光雷达全景深度影像之间一对一的索引方法,这种索引方法可以实现在雷达点云相邻帧之间和全景图相邻帧之间下寻找对应点。
所述第三步,设计了一种高效的初始动态区域检测方法来处理二维全景影像,为后续进一步的准确检测做好准备。
所述第五步,设计和构造了在雷达点云两个相邻帧的全景影像及其变换帧之间的相关变化光流,可用于对真伪动态点实现前后帧一致性检查,从而准确区分真伪动态点,同时真动态点的相关变化光流对应点可保留用于聚类和区域填充。
参见附图,本发明通过以下技术方案具体实施得以实现:
第一步,将激光雷达点云投影为全景深度影像。
定义Pi=(xi,yi,zi)(i=1,...,n)为激光雷达坐标系的雷达点云中的一点。投影Pi到全景影像坐标系下的全景深度图中点Rj=(uj,vj)(j=1,...,m)。变换关系为:
为保证雷达点数据精度和有效性,将所用雷达点的有效深度范围定义为[rmin,rmax]。为方便计算,正则化点Pi=(xi,yi,zi)中的xi,yi坐标,取值范围为[-1,1]。可得:
xi=φi·π-1 (2)
yi=1-2(ψi·180/π+fup)/f (3)
继续将xi,yi转换为取值为[0,1]的数值并据式(1)计算全景深度影像中的点Rj=(uj,vj),ri是像素在坐标Rj=(uj,vj)下的深度,zi保持激光雷达点原始坐标值。
第二步,建立激光雷达全景深度影像和激光雷达点云之间的索引关系。
定义长度为n的Iunique_0来存储与全景影像对应像素索引[1,m]对应的第i个(i=1,...,n)激光雷达点Pi。Iunique_0的计算为:
Iunique_0_i=(uj-1)·w+vj (4)
可以得到:
vj=Iunique_0_i-(uj-1)·w (6)
定义长度为m的Iselected_0来存储选择的全景影像的对应点Iunique_0。Iselected_0存储所有的点云帧下的原始索引信息。在n次循环之后,需要对Iselected_0进行去除所有的表示无对应原始索引的0。之后,Iselected_0和Iunique_0分别更新为Iselected和Iunique,并且k≤m。当所有的原始激光雷达点云和全景影像的索引序列Iselected和Iunique构造更新完成,激光雷达点的三维坐标存储在与全景影像对应的Iselected和Iunique之中。在Iselected中索引第i个Iunique_i_idx,在Iunique中索引第i个Iunique_i_idx得到Iunique_i。
第三步,初始动态区域检测。
激光雷达点云的相邻两帧Flast和Fcurrent,利用当前场景雷达坐标系下全景影像两个连续帧对应点二维信息的变化来检测动态目标。变换Flast到当前雷达坐标系得到Fvfl,两帧间的变换可表示为Fvfl=Tc,lFlast,这里Tc,l∈R4×4,Rc,l∈SO(3),tc,l∈R3分别表示变换矩阵Tc,l的旋转和平移部分。将Fvfl和Fcurrent投影为全景影像Svfl_0和Scurrent_0,为方便相邻像素计算,将全景影像Svfl_0(w×h)变为Svfl((w-4)×(h-4)),在四周各减少2个像素。定义:
其中:
这样可以得到Svfl里所有非零深度值为列表d0,以及利用σu和σv进行Scurrent_0所有3×3邻域变换的结果为9个列表:d1到d9。
为检测动态区域,还需要定义矩阵:
D0={dl|l=[0,9]}, (10)
Dl={d0-dl|l=[1,9]}. (11)
索引列表Idx_1满足:
标记候选动态区域里的Idx_1序列点为黄色,其他非零点为绿色背景,零值为蓝色像素,表示无深度值。
第四步,初始背景静态区域去除。
转换Dl中的元素为布尔矩阵Bl以方便移动方向的计算。
3×3邻域变换的编号如表(a)和表(b)。考虑与候选动态点(表中点1)具有相同移动方向的点,如表(b)箭头所示。
因此,定义运动方向检测矩阵M1为M1={Bl(1)·Bl(k)|k=[2,6,7,3,8,9]}。为避免对应于D0的第k+1列的零值导致检测出错,定义M2为M2={D0(u,v)|u=all rows of D0,v=k+1},用M12=M1·M2检测移动方向。定义这里u是D0的所有行数,用于统计候选动态点和6个邻域点之间相同移动方向的数目。选择候选动态点和6个领域点之间相同移动方向的点,这里{(u,v)|NM(u)=6},对u等于D0的所有行数都有NM(u)=6。
第五步,设计和构造相关变化光流。
激光雷达点云相邻两帧Flast和Fcurrent,需要转换Flast到当前的激光雷达坐标帧下得到Fvfl以及转换Fcurrent到上一个激光雷达坐标帧下得到Fvfc。四个激光雷达帧和它们对应的全景影像的投影记为形状大小均为w×h的Slast,Svfl,Scurrent和Svfc。从全景影像Svfl或者Scurrent得到一系列待选动态点{(uvfl,vvfl)|NM(uvfl)=6}。
需要在全景影像和激光雷达点云之间建立索引来帮助寻找全景影像Slast像素{(ulast,vlast)}对应Svfc的对应像素{(uvfl,vvfl)}。首先输入点{(uvfl_j,vvfl_j)}到式(4)得到Iunique_j_vfl,然后在Iunique_vfl寻找Iunique_j_vfl获得它的索引Iunique_j_vfl_idx,再次通过Iunique_j_vfl_idx在Iselected_vfl中索引来找出r的索引j。Svfl是Fvfl投影来的,Fvfl是从Flast通过Tvfl,last转换过来的,因此r的索引j在Fvfl和Flast中是不变的。因此可以利用r的索引j,直接在Iselected_last寻找Iuniquej__last_idx。同时,Slast是从Flast投影来的,因此Svfl中所有的像素均是Slast的子集。最后,可以在Iunique_last中索引Iuniquje__las得到Iunique_j_last,进而通过式(5)和(6)得到{(ulast,vlast)}。这样相关变化光流就在两个相邻帧中构造出来了。
第六步,去除由于遮挡和暴露的背景点导致的伪动态检测区域。
(1)去除遮挡背景点。对于遮挡问题,可以在Slast的背景中找到一些伪动态点对应光流,它们以Slast中的背景点为起点,在Svfl和Scurrent中以树干表面为终点。这里逆变换Scurrent所有候选动态点{(ucurrent,vcurrent)}到Svfc中的{(uvfc,vvfc)}。对于静态目标,树干表面所有点遵循Tvfc,current转换关系,因此像素深度rvfc和Slast中同一坐标{(uvfc,vvfc)}的深度rlast相比时,这两个深度值应该几乎相等。但是对于真实的动态目标,例如场景中的汽车流,这些点不遵循Tvfc,current转换关系,不停留在汽车表面。当像素深度rvfc和Slast中同一坐标{(uvfc,vvfc)}的深度rlast相比时,深度值应该是不同的。为动态点序列,ε2为rvfc和rlast之间的最大误差,规则可以写为:
而且,除了通过这条规则判断外,计算中使用3*3或者5*5相邻块的平均值来获取像素的深度值,以提升算法的健壮性。
(2)去除暴露出的背景点。令rlast为{(ulast,vlast)}在Slast中的深度值,rvfl和rcurrent分别为{(ucurrent,vcurrent)}在Svfl和Scurrent中的深度值,可以采用如下规则去除暴露出的背景点:
第七步,点聚类及区域填充。
在场景动态目标已检测到的背景聚类点已去除后,可利用聚类计算场景中的动态目标个数,并利用区域填充恢复整个动态目标。
第八步,对检测结果进行检查评估。
需要在输出最后的检测结果前去除动态目标检测结果中的一些伪聚类点来减小误检率。例如图像的中间列的第7行和第8行,四辆车、一个树干和一个检测到的远处的目标它们被周围的聚类颜色所包围,对应相邻两个帧假定待选目标分类数m=6,树干是一个伪动态目标。因此检查时,全景深度影像SR的中间列的第8行进行点云投影,然后这幅图像里的每一个待选动态目标区域Ri(i∈[1,m])应该和SR'中其对应区域R′i作比较。SR和SR'赋值作为逻辑矩阵分别为
然后计算:
这样交集的像素点数可以得到:
每个区域的动态点的数据可以得到:
Ni={sum(Ri)|Ri∈SR,i∈[1,m]}. (20)
定义比率R为:
最后,如果比率R大于阈值ε3,那么判断候选动态目标区域是动态目标,否则判断为背景区域。
本发明的内容不限于实施例所列举,本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换,均为本发明的权利要求所涵盖。
Claims (6)
1.基于激光雷达扫描图进行城市环境动态目标检测的方法,其特征在于:
所述方法将激光雷达点云投影为全景深度影像,建立全景深度影像和点云间的索引关系,检测初始动态区域和去除背景静态区域后,构建相关变化光流去除伪动态检测区域,最后进行点聚类及区域填充完成城市环境动态目标检测;
所述方法具体包括以下步骤:
第一步,将激光雷达点云投影为全景深度影像;
第二步,建立激光雷达全景深度影像和激光雷达点云之间的索引关系;
第三步,初始动态区域检测;
第三步具体为:
激光雷达点云的相邻两帧Flast和Fcurrent,利用当前场景雷达坐标系下全景影像两个连续帧对应点二维信息的变化来检测动态目标;变换Flast到当前雷达坐标系得到Fvfl,两帧间的变换可表示为Fvfl=Tc,lFlast,这里Tc,l∈R4×4,Rc,l∈SO(3),tc,l∈R3分别表示变换矩阵Tc,l的旋转和平移部分;将Fvfl和Fcurrent投影为全景影像Svfl_0和Scurrent_0,为方便相邻像素计算,将全景影像Svfl_0(w×h)变为Svfl((w-4)×(h-4)),在四周各减少2个像素;定义:
其中:
得到Svfl里所有非零深度值为列表d0,以及利用σu和σv进行Scurrent_0所有3×3邻域变换的结果为9个列表:d1到d9;
为检测动态区域,定义矩阵:
D0={dl|l=[0,9]},(10)
Dl={d0-dl|l=[1,9]}.(11)索引列表Idx_1满足:
标记候选动态区域里的Idx_1序列点为黄色,其他非零点为绿色背景,零值为蓝色像素,表示无深度值;
第四步,初始背景静态区域去除;
第四步具体为:
转换Dl中的元素为布尔矩阵Bl以方便移动方向的计算;
3×3邻域变换的编号为:
考虑与候选动态点具有相同移动方向的点;
因此,定义运动方向检测矩阵M1为M1={Bl(1)·Bl(k)|k=[2,6,7,3,8,9]};为避免对应于D0的第k+1列的零值导致检测出错,定义M2为M2={D0(u,v)|u=all rows of D0,v=k+1},用M12=M1·M2检测移动方向;定义这里u是D0的所有行数,用于统计候选动态点和6个邻域点之间相同移动方向的数目;选择候选动态点和6个领域点之间相同移动方向的点,这里{(u,v)|NM(u)=6},对u等于D0的所有行数都有NM(u)=6;
第五步,构建相关变化光流;
第五步具体为:
激光雷达点云相邻两帧Flast和Fcurrent,需要转换Flast到当前的激光雷达坐标帧下得到Fvfl以及转换Fcurrent到上一个激光雷达坐标帧下得到Fvfc;四个激光雷达帧和它们对应的全景影像的投影记为形状大小均为w×h的Slast,Svfl,Scurrent和Svfc;从全景影像Svfl或者Scurrent得到一系列待选动态点{(uvfl,vvfl)|NM(uvfl)=6};
需要在全景影像和激光雷达点云之间建立索引来帮助寻找全景影像Slast像素{(ulast,vlast)}对应Svfc的对应像素{(uvfl,vvfl)};首先输入点{(uvfl_j,vvfl_j)}到式(4)得到Iunique_j_vfl,然后在Iunique_vfl寻找Iunique_j_vfl获得它的索引Iunique_j_vfl_idx,再次通过Iunique_j_vfl_idx在Iselected_vfl中索引来找出r的索引j;Svfl是Fvfl投影来的,Fvfl是从Flast通过Tvfl,last转换过来的,因此r的索引j在Fvfl和Flast中是不变的;利用r的索引j,直接在Iselected_last寻找Iunique_j_last_idx;同时,Slast是从Flast投影来的,因此Svfl中所有的像素均是Slast的子集;最后,可以在Iunique_last中索引Iunique_j_last_idx得到Iunique_j_last,进而通过式(5)和(6)得到{(ulast,vlast)}。
第六步,去除由于遮挡和暴露的背景点导致的伪动态检测区域;
第七步,点聚类及区域填充;
第八步,对检测结果进行检查。
2.根据权利要求1所述的基于激光雷达扫描图进行城市环境动态目标检测的方法,其特征在于:
第一步具体为:
定义Pi=(xi,yi,zi)(i=1,...,n)为激光雷达坐标系的雷达点云中的一点;投影Pi到全景影像坐标系下的全景深度图中点Rj=(uj,vj)(j=1,...,m);变换关系为:
这里,深度ri=||Pi||2,激光雷达垂直分辨率f=fup+fdown,w和h分别是投影全景深度影像的宽和高,偏航角φi和俯仰角ψi分别由φi=arctan(yi,xi)和ψi=-arcsin(zi·ri -1)计算得到;
将所用雷达点的有效深度范围定义为[rmin,rmax];
正则化点Pi=(xi,yi,zi)=中的xi,yi坐标,取值范围为[-1,1],得:
xi=φi·π-1 (2)
yi=1-2(ψi·180/π+fup)/f (3)
继续将xi,yi转换为取值为[0,1]的数值并据式(1)计算全景深度影像中的点Rj=(uj,vj),ri是像素在坐标Rj=(uj,vj)下的深度,zi保持激光雷达点原始坐标值。
3.根据权利要求2所述的基于激光雷达扫描图进行城市环境动态目标检测的方法,其特征在于:
第二步具体为:
定义长度为n的Iunique_0来存储与全景影像对应像素索引[1,m]对应的第i个(i=1,...,n)激光雷达点Pi;Iunique_0的计算为:
Iunique_0_i=(uj-1)·w+vj (4)
得到:
vj=Iunique_0_i-(uj-1)·w (6)
定义长度为m的Iselected_0来存储选择的全景影像的对应点Iunique_0;Iselected_0存储所有的点云帧下的原始索引信息;在n次循环之后,对Iselected_0进行去除所有的表示无对应原始索引的0;之后,Iselected_0和Iunique_0分别更新为Iselected和Iunique,并且k≤m;当所有的原始激光雷达点云和全景影像的索引序列Iselected和Iunique构造更新完成,激光雷达点的三维坐标存储在与全景影像对应的Iselected和Iunique之中;在Iselected中索引第i个Iunique_i_idx,在Iunique中索引第i个Iunique_i_idx得到Iunique_i。
4.根据权利要求3所述的基于激光雷达扫描图进行城市环境动态目标检测的方法,其特征在于:
第六步具体为:
(1)去除遮挡背景点:
在Slast的背景中找到伪动态点对应光流,以Slast中的背景点为起点,在Svfl和Scurrent中以树干表面为终点;这里逆变换Scurrent所有候选动态点{(ucurrent,vcurrent)}到Svfc中的{(uvfc,vvfc)};为动态点序列,ε2为rvfc和rlast之间的最大误差,规则为:
(2)去除暴露出的背景点:
令rlast为{(ulast,vlast)}在Slast中的深度值,rvfl和rcurrent分别为{(ucurrent,vcurrent)}在Svfl和Scurrent中的深度值,采用如下规则去除暴露出的背景点:
5.根据权利要求4所述的基于激光雷达扫描图进行城市环境动态目标检测的方法,其特征在于:
第七步具体为:
在场景动态目标已检测到的背景聚类点已去除后,利用聚类计算场景中的动态目标个数,并利用区域填充恢复整个动态目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010646588.3A CN112270694B (zh) | 2020-07-07 | 2020-07-07 | 基于激光雷达扫描图进行城市环境动态目标检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010646588.3A CN112270694B (zh) | 2020-07-07 | 2020-07-07 | 基于激光雷达扫描图进行城市环境动态目标检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112270694A CN112270694A (zh) | 2021-01-26 |
CN112270694B true CN112270694B (zh) | 2023-04-18 |
Family
ID=74349079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010646588.3A Active CN112270694B (zh) | 2020-07-07 | 2020-07-07 | 基于激光雷达扫描图进行城市环境动态目标检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112270694B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819861B (zh) * | 2021-02-26 | 2024-06-04 | 广州小马慧行科技有限公司 | 点云的运动补偿方法、装置与计算机可读存储介质 |
CN112818968A (zh) * | 2021-04-19 | 2021-05-18 | 北京三快在线科技有限公司 | 一种目标物分类方法及装置 |
CN112991234B (zh) * | 2021-05-17 | 2021-08-13 | 浙江华是科技股份有限公司 | 一种监控数据处理方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971403B (zh) * | 2017-04-27 | 2020-04-03 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
CN107576960B (zh) * | 2017-09-04 | 2021-03-16 | 赵建辉 | 视觉雷达时空信息融合的目标检测方法及系统 |
EP3525000B1 (en) * | 2018-02-09 | 2021-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene |
CN109100741B (zh) * | 2018-06-11 | 2020-11-20 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
US10634793B1 (en) * | 2018-12-24 | 2020-04-28 | Automotive Research & Testing Center | Lidar detection device of detecting close-distance obstacle and method thereof |
CN109671109B (zh) * | 2018-12-25 | 2021-05-07 | 中国人民解放军61540部队 | 密集点云生成方法及系统 |
-
2020
- 2020-07-07 CN CN202010646588.3A patent/CN112270694B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112270694A (zh) | 2021-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
Wang et al. | Fusing bird’s eye view lidar point cloud and front view camera image for 3d object detection | |
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN112270694B (zh) | 基于激光雷达扫描图进行城市环境动态目标检测的方法 | |
CN111429514A (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
CN113128348A (zh) | 一种融合语义信息的激光雷达目标检测方法及系统 | |
CN111524233B (zh) | 一种静态场景动态目标的三维重建方法 | |
CN111860651B (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
CN110852182A (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
Wang et al. | Fusing bird view lidar point cloud and front view camera image for deep object detection | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
Ouyang et al. | A cgans-based scene reconstruction model using lidar point cloud | |
CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
CN114118247A (zh) | 一种基于多传感器融合的无锚框3d目标检测方法 | |
CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
CN117173399A (zh) | 一种跨模态交叉注意力机制的交通目标检测方法及系统 | |
CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
Akın et al. | Challenges in determining the depth in 2-d images | |
CN116503746B (zh) | 基于多层嵌套非全映射u型网络的红外小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |