CN112270694A - 基于激光雷达扫描图进行城市环境动态目标检测的方法 - Google Patents

Abstract

本发明涉及一种基于激光雷达扫描图进行城市环境动态目标检测的方法，所述方法将激光雷达点云投影为全景深度影像，建立全景深度影像和点云间的索引关系，检测初始动态区域和去除背景静态区域后，构建相关变化光流去除伪动态检测区域，最后进行点聚类及区域填充完成城市环境动态目标检测。本发明实现了一种高效的在雷达点云和激光雷达全景深度影像投影下的动态目标检测方法，视角突破了传统方法的限制，提高了现有技术中仅采用三维点云方法的动态目标检测的检测准确性和计算效率。

Description

基于激光雷达扫描图进行城市环境动态目标检测的方法

技术领域

本发明涉及激光雷达点云与全景投影影像处理技术，具体涉及一 种基于激光雷达扫描图进行城市环境动态目标检测的方法。

背景技术

动态目标检测是自动驾驶车辆进行环境感知的关键研究方向。在 过去的30年里全世界大量的研究实现了基于雷达点云、连续影像、 传感器融合系统的模型相关和模型无关的多目标检测和跟踪方法。在 近10年，随着深度学习理论的快速发展，深度神经网络技术在解决 多目标检测和跟踪问题上也得到了广泛的应用。

当前的无模型动态目标检测和跟踪算法常利用深度网络进行目 标分类，检测三维轮廓，或者结合目标间几何关系并融合单个或多个 传感器数据进行场景中的所有目标三维轮廓的检测。

不采用深度学习的一些方法，有的定义融合多传感器分类信息的 组合目标表征框架结构来提升检测精度，或者在补偿雷达运动失真的 同时在三维空间进行近实时点云查询和目标分类，或利用多普勒雷达 检测跟踪动态点、进行区域分割，但计算效率较低。

对仅采用序列影像的动态目标检测方法，其水平视角相比雷达点 云360度视角非常有限，并且需要深度神经网络算法进行目标分类。 对利用雷达点云帧的动态目标检测方法，同一场景下所有动态目标均 可以被检测，但很难区分特征近似的动态目标与静态目标。因此，设 计并实现一种城市环境下利用激光雷达全景深度影像进行动态目标 检测的方法具有重要的创新性和具体应用价值。

发明内容

本发明的目的是提供一种基于激光雷达扫描图进行城市环境动 态目标检测的方法，在激光雷达点云和激光雷达全景深度影像投影下 进行动态目标检测，提高现有技术中仅采用三维点云方法的动态目标 检测的检测准确性和计算效率。

本发明所采用的技术方案为：

基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征 在于：

所述方法将激光雷达点云投影为全景深度影像，建立全景深度影 像和点云间的索引关系，检测初始动态区域和去除背景静态区域后， 构建相关变化光流去除伪动态检测区域，最后进行点聚类及区域填充 完成城市环境动态目标检测。

所述方法具体包括以下步骤：

第一步，将激光雷达点云投影为全景深度影像；

第二步，建立激光雷达全景深度影像和激光雷达点云之间的索引 关系；

第三步，初始动态区域检测；

第四步，初始背景静态区域去除；

第五步，构建相关变化光流；

第六步，去除由于遮挡和暴露的背景点导致的伪动态检测区域；

第七步，点聚类及区域填充；

第八步，对检测结果进行检查。

第一步具体为：

定义P_i＝(x_i,y_i,z_i)(i＝1,...,n)为激光雷达坐标系的雷达点云中的一 点；投影P_i到全景影像坐标系下的全景深度图中点 R_j＝(u_j，v_j)(j＝1，...，m)；变换关系为：

这里，深度r_i＝||p_i||₂，激光雷达垂直分辨率f＝f_up+f_down，w和h分 别是投影全景深度影像的宽和高，偏航角φ_i和俯仰角ψ_i分别由 φ_i＝arctan(y_i,x_i)和ψ_i＝-arcsin(z_i·r_i ^-1)计算得到；

将所用雷达点的有效深度范围定义为[r_min,r_max]；

正则化点P_i＝(x_i,y_i,z_i)中的x_i,y_i坐标，取值范围为[-1,1]，得：

x_i＝φ_i·π^-1 (2)

y_i＝1-2(ψ_i·180/π+f_up)/f (3)

继续将x_i,y_i转换为取值为[0,1]的数值并据式(1)计算全景深度 影像中的点R_j＝(u_j,v_j)，r_i是像素在坐标R_j＝(u_j,v_j)下的深度，z_i保持 激光雷达点原始坐标值。

第二步具体为：

定义长度为n的I_{unique_0}来存储与全景影像对应像素索引[1,m] 对应的第i个(i＝1,...,n)激光雷达点P_i；I_{unique_0}的计算为：

I_{unique_0_i}＝(u_j-1)·w+v_j (4)

得到：

v_j＝I_{unique_0_i}-(u_j-1)·w (6)

定义长度为m的I_{selected_0}来存储选择的全景影像的对应点I_{unique_0}； I_{selected_0}存储所有的点云帧下的原始索引信息；在n次循环之后，对 I_{selected_0}进行去除所有的表示无对应原始索引的0；之后，I_{selected_0}和 I_{unique_0}分别更新为I_selected和I_unique，并且k≤m；当所有的原始激光雷达 点云和全景影像的索引序列I_selected和I_unique构造更新完成，激光雷达点 的三维坐标存储在与全景影像对应的I_selected和I_unique之中；在I_selected中 索引第i个I_{unique_i_idx},在I_unique中索引第i个I_{unique_i_idx}得到I_{unique_i}。

第三步具体为：

激光雷达点云的相邻两帧F_last和F_current,利用当前场景雷达坐标 系下全景影像两个连续帧对应点二维信息的变化来检测动态目标；变 换F_last到当前雷达坐标系得到F_vfl，两帧间的变换可表示为F_vfl＝T_c,lF_last, 这里T_c,l∈R^4×4，R_c,l∈SO(3)，t_c,l∈R³分别表示变换矩阵T_c,l的旋转和平 移部分；将F_vfl和F_current投影为全景影像S_{vfl_0}和S_{current_0}，为方便相邻像 素计算，将全景影像S_{vfl_0}(w×h)变为S_vfl((w-4)×(h-4)),在四周各减 少2个像素；定义：

其中：

得到S_vfl里所有非零深度值为列表d₀，以及利用σ_u和σ_v进行S_{current_0}所有 3×3邻域变换的结果为9个列表：d₁到d₉；

为检测动态区域,定义矩阵：

D₀＝{d_l|l＝[0,9]}, (10)

D_l＝{d₀-d_l|l＝[1,9]}. (11)

索引列表I_{dx_1}满足：

标记候选动态区域里的I_{dx_1}序列点为黄色，其他非零点为绿色 背景，零值为蓝色像素，表示无深度值。

第四步具体为：

转换D_l中的元素为布尔矩阵B_l以方便移动方向的计算；

3×3邻域变换的编号为：

考虑与候选动态点具有相同移动方向的点；

因此,定义运动方向检测矩阵M₁为M₁＝{B_l(1)·B_l(k)|k＝[2,6,7,3,8,9]}；为避免对应于D₀的第k+1列的零值导 致检测出错，定义M₂为M₂＝{D₀(u,v)|u＝all rows of D₀,v＝k+1},用 M₁₂＝M₁·M₂检测移动方向；定义

这里u是D₀的所有行 数，用于统计候选动态点和6个邻域点之间相同移动方向的数目；选 择候选动态点和6个领域点之间相同移动方向的点,这里{(u，v) |N_M(u)＝6}，对u等于D₀的所有行数都有N_M(u)＝6。

第五步具体为：

激光雷达点云相邻两帧F_last和F_current,需要转换F_last到当前的激光 雷达坐标帧下得到F_vfl以及转换F_current到上一个激光雷达坐标帧下得到 F_vfc；四个激光雷达帧和它们对应的全景影像的投影记为形状大小均 为w×h的S_last,S_vfl,S_current和S_vfc；从全景影像S_vfl或者S_current得到一系列 待选动态点{(u_vfl,v_vfl)|N_M(u_vfl)＝6}；

需要在全景影像和激光雷达点云之间建立索引来帮助寻找全景 影像S_last像素{(u_last,v_last)}对应S_vfc的对应像素{(u_vfl,v_vfl)}；首先输入点 {(u_{vfl_j},v_{vfl_j})}到式(4)得到I_{unique_j_vfl},然后在I_{unique_vfl}寻找I_{unique_j_vfl}获得它的索引I_{unique_j_vfl_idx},再次通过I_{unique_j_vfl_idx}在I_{selected_vfl}中索引来找出 r的索引j；S_vfl是F_vfl投影来的，F_vfl是从F_last通过T_vfl,last转换过来的， 因此r的索引j在F_vfl和F_last中是不变的；利用r的索引j，直接在I_{selected_las}寻找I_{uniquej__last_idx}；同时，S_last是从F_last投影来的，因此S_vfl中所 有的像素均是S_last的子集；最后，可以在I_{unique_last}中索引I_{unique_j_last_idx}得 到I_{unique_j_last}，进而通过式(5)和(6)得到{(u_last,v_last)}。

第六步具体为：

(1)去除遮挡背景点：

在S_last的背景中找到伪动态点对应光流,以S_last中的背景点为起 点，在S_vfl和S_current中以树干表面为终点；这里逆变换S_current所有候选动 态点{(u_current,v_current)}到S_vfc中的{(u_vfc,v_vfc)}；

为动态点序列，ε₂为r_vfc和r_last之间的最大误差,规则为：

(2)去除暴露出的背景点：

令r_last为{(u_last,v_last)}在S_last中的深度值,r_vfl和r_current分别为{(u_current,v_current)} 在S_vfl和S_current中的深度值，采用如下规则去除暴露出的背景点：

第七步具体为：

在场景动态目标已检测到的背景聚类点已去除后，利用聚类计算 场景中的动态目标个数，并利用区域填充恢复整个动态目标。

第八步具体为：

在输出最后的检测结果前去除动态目标检测结果中的伪聚类点 来减小误检率；检查时，全景深度影像S_R的中间列的某一行进行点云 投影，然后这幅图像里的每一个待选动态目标区域R_i(i∈[1,m])和S_R'中其对应区域R_i'作比较；S_R和S_R'赋值作为逻辑矩阵分别为

然后计算：

这样交集的像素点数可以得到：

由每个区域的动态点的数据得到：

N_i＝{sum(R_i)|R_i∈S_R,i∈[1,m]}. (20)

定义比率R为：

最后,如果比率R大于阈值ε₃，那么判断候选动态目标区域是动 态目标，否则判断为背景区域。

本发明具有以下优点：

(1)本发明检测动态目标没有利用传统的二维雷达灰度图，也 没有采用序列单双目影像，也没有直接利用三维雷达点云数据或是融 合点云与图像数据，而是采用激光雷达点云投影后得到的全景深度影 像进行动态目标检测。这个视角突破了传统方法的限制，从而可以探 索实现新的检测处理方法和思路。

(2)设计了一种高效的初始动态区域检测方法来处理二维全景 影像，为后续进一步的准确检测做好准备。

(3)设计和构造了一种在原始雷达点云和激光雷达全景深度影 像之间一对一的对应索引方法，这种索引方法可以实现在雷达帧和全 景帧下寻找对应点。

(4)设计和构造了从雷达点云两个邻域帧获取的四个相关激光 雷达全景影像的相关变化光流，并且其变换帧可以用来在真实的动态 点和伪动态点之间寻找不同的投影规则。以便伪动态点可以被准确剔 除，并且相关变化光流可以保留并用于后续的聚类区域填充处理。

附图说明

图1是新的动态目标检测算法帧示意图；

图2是索引构造处理和变化关系示意图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

对仅采用序列影像的动态目标检测方法，其水平视角相比雷达点 云360度视角非常有限，并且需要深度神经网络算法进行目标分类。 对利用雷达点云帧的动态目标检测方法，同一场景下所有动态物体均 可以被检测，但很难区分特征近似的动态目标与静态目标。，难以满 足城市环境下自动驾驶近实时环境感知的需求。本发明基于一种城市 环境下的利用激光雷达全景深度影像的动态目标检测方法，实现一种 高效的在激光雷达点云和激光雷达全景深度影像投影下的动态目标 检测方法，提高了仅采用三维点云方法的动态目标检测的检测准确性 和计算效率。

本发明的思路是将激光雷达点云投影为激光雷达全景深度影像， 建立激光雷达全景深度影像和激光雷达点云之间的对应索引关系，接 着进行初始动态区域检测和背景静态区域去除，并设计和构造了相关 变化光流用于去除由于遮挡和暴露的背景点导致的伪动态检测区域， 然后进行点聚类及区域填充，最后对检测结果进行检查评估。

具体包括以下步骤：

第一步，将激光雷达点云投影为全景深度影像；

第二步，建立激光雷达全景深度影像和激光雷达点云之间的索引 关系；

第三步，初始动态区域检测；

第四步，初始背景静态区域去除；

第五步，设计和构造相关变化光流；

第六步，去除由于遮挡和暴露的背景点导致的伪动态检测区域；

第七步，点聚类及区域填充；

第八步，对检测结果进行检查评估。

所述第二步中，设计和构造了一种在原始雷达点云和激光雷达全 景深度影像之间一对一的索引方法，这种索引方法可以实现在雷达点 云相邻帧之间和全景图相邻帧之间下寻找对应点。

所述第三步，设计了一种高效的初始动态区域检测方法来处理二 维全景影像，为后续进一步的准确检测做好准备。

所述第五步，设计和构造了在雷达点云两个相邻帧的全景影像及 其变换帧之间的相关变化光流，可用于对真伪动态点实现前后帧一致 性检查，从而准确区分真伪动态点，同时真动态点的相关变化光流对 应点可保留用于聚类和区域填充。

参见附图，本发明通过以下技术方案具体实施得以实现：

第一步，将激光雷达点云投影为全景深度影像。

定义P_i＝(x_i,y_i,z_i)(i＝1,...,n)为激光雷达坐标系的雷达点云中的一 点。投影P_i到全景影像坐标系下的全景深度图中点R_j＝(u_j,v_j)(j＝1,...,m)。变换关系为：

这里，深度r_i＝||p_i||₂，激光雷达垂直分辨率f＝f_up+f_down，w和h分 别是投影全景深度影像的宽和高，偏航角φ_i和俯仰角ψ_i分别由 φ_i＝arctan(y_i,x_i)和ψ_i＝-arcsin(z_i·r_i ^-1)计算得到。

为保证雷达点数据精度和有效性，将所用雷达点的有效深度范围 定义为[r_min,r_max]。为方便计算，正则化点P_i＝(x_i,y_i,z_i)中的x_i,y_i坐标， 取值范围为[-1,1]。可得：

x_i＝φ_i·π^-1 (2)

y_i＝1-2(ψ_i·180/π+f_up)/f (3)

继续将x_i,y_i转换为取值为[0,1]的数值并据式(1)计算全景深度 影像中的点R_j＝(u_j,v_j)，r_i是像素在坐标R_j＝(u_j,v_j)下的深度，z_i保持 激光雷达点原始坐标值。

第二步，建立激光雷达全景深度影像和激光雷达点云之间的索引 关系。

定义长度为n的I_{unique_0}来存储与全景影像对应像素索引[1,m] 对应的第i个(i＝1,...,n)激光雷达点P_i。I_{unique_0}的计算为：

I_{unique_0_i}＝(u_j-1)·w+v_j (4)

可以得到：

v_j＝I_{unique_0_i}-(u_j-1)·w (6)

定义长度为m的I_{selected_0}来存储选择的全景影像的对应点I_{unique_0}。 I_{selected_0}存储所有的点云帧下的原始索引信息。在n次循环之后，需要 对I_{selected_0}进行去除所有的表示无对应原始索引的0。之后，I_{selected_0}和 I_{unique_0}分别更新为I_selected和I_unique，并且k≤m。当所有的原始激光雷达 点云和全景影像的索引序列I_selected和I_unique构造更新完成，激光雷达点的三维坐标存储在与全景影像对应的I_selected和I_unique之中。在I_selected中 索引第i个I_{unique_i_idx},在I_unique中索引第i个I_{unique_i_idx}得到I_{unique_i}。

第三步，初始动态区域检测。

激光雷达点云的相邻两帧F_last和F_current,利用当前场景雷达坐标 系下全景影像两个连续帧对应点二维信息的变化来检测动态目标。变 换F_last到当前雷达坐标系得到F_vfl，两帧间的变换可表示为F_vfl＝T_c,lF_last, 这里T_c,l∈R^4×4，R_c,l∈SO(3)，t_c,l∈R³分别表示变换矩阵T_c,l的旋转和平 移部分。将F_vfl和F_current投影为全景影像S_{vfl_0}和S_{current_0}，为方便相邻像素计算，将全景影像S_{vfl_0}(w×h)变为S_vfl((w-4)×(h-4)),在四周各 减少2个像素。定义：

其中：

这样可以得到S_vfl里所有非零深度值为列表d₀，以及利用σ_u和σ_v进行 S_{current_0}所有3×3邻域变换的结果为9个列表：d₁到d₉。

为检测动态区域,还需要定义矩阵：

D₀＝{d_l|l＝[0,9]}, (10)

D_l＝{d₀-d_l|l＝[1,9]}. (11)

索引列表I_{dx_1}满足：

标记候选动态区域里的I_{dx_1}序列点为黄色，其他非零点为绿色 背景，零值为蓝色像素，表示无深度值。

第四步，初始背景静态区域去除。

转换D_l中的元素为布尔矩阵B_l以方便移动方向的计算。

3×3邻域变换的编号如表(a)和表(b)。考虑与候选动态点(表中 点1)具有相同移动方向的点，如表(b)箭头所示。

因此,定义运动方向检测矩阵M₁为 M₁＝{B_l(1)·B_l(k)|k＝[2,6,7,3,8,9]}。为避免对应于D₀的第k+1列的零值导 致检测出错，定义M₂为M₂＝{D₀(u,v)|u＝all rows of D₀,v＝k+1},用M₁₂＝M₁·M₂检测移动方向。定义

这里u是D₀的所有行 数，用于统计候选动态点和6个邻域点之间相同移动方向的数目。选 择候选动态点和6个领域点之间相同移动方向的点,这里{(u，v) |N_M(u)＝6}，对u等于D₀的所有行数都有N_M(u)＝6。

第五步，设计和构造相关变化光流。

激光雷达点云相邻两帧F_last和F_current,需要转换F_last到当前的激光 雷达坐标帧下得到F_vfl以及转换F_current到上一个激光雷达坐标帧下得到 F_vfc。四个激光雷达帧和它们对应的全景影像的投影记为形状大小均 为w×h的S_last,S_vfl,S_current和S_vfc。从全景影像S_vfl或者S_current得到一系列 待选动态点{(u_vfl,v_vfl)|N_M(u_vfl)＝6}。

需要在全景影像和激光雷达点云之间建立索引来帮助寻找全景 影像S_last像素{(u_last,v_last)}对应S_vfc的对应像素{(u_vfl,v_vfl)}。首先输入点 {(u_{vfl_j},v_{vfl_j})}到式(4)得到I_{unique_j_vfl},然后在I_{unique_vfl}寻找I_{unique_j_vfl}获得它的索引I_{unique_j_vfl_idx},再次通过I_{unique_j_vfl_idx}在I_{selected_vfl}中索引来找出 r的索引j。S_vfl是F_vfl投影来的，F_vfl是从F_last通过T_vfl,last转换过来的， 因此r的索引j在F_vfl和F_last中是不变的。因此可以利用r的索引j, 直接在I_{selected_last}寻找I_{uniquej__last_idx}。同时,S_last是从F_last投影来的,因此 S_vfl中所有的像素均是S_last的子集。最后,可以在I_{unique_last}中索引 I_{uniquje__las}得到I_{unique_j_last},进而通过式(5)和(6)得到{(u_last,v_last)}。这 样相关变化光流就在两个相邻帧中构造出来了。

第六步，去除由于遮挡和暴露的背景点导致的伪动态检测区域。

(1)去除遮挡背景点。对于遮挡问题，可以在S_last的背景中找到一 些伪动态点对应光流,它们以S_last中的背景点为起点，在S_vfl和S_current中 以树干表面为终点。这里逆变换S_current所有候选动态点{(u_current,v_current)} 到S_vfc中的{(u_vfc,v_vfc)}。对于静态目标,树干表面所有点遵循T_vfc,current转 换关系,因此像素深度r_vfc和S_last中同一坐标{(u_vfc,v_vfc)}的深度r_last相比 时,这两个深度值应该几乎相等。但是对于真实的动态目标，例如场 景中的汽车流，这些点不遵循T_vfc,current转换关系，不停留在汽车表面。 当像素深度r_vfc和S_last中同一坐标{(u_vfc,v_vfc)}的深度r_last相比时，深度值应 该是不同的。

为动态点序列，ε₂为r_vfc和r_last之间的最大误差,规则可 以写为：

而且,除了通过这条规则判断外,计算中使用3*3或者5*5相邻块的 平均值来获取像素的深度值，以提升算法的健壮性。

(2)去除暴露出的背景点。令r_last为{(u_last,v_last)}在S_last中的深度值,r_vfl和r_current分别为{(u_current,v_current)}在S_vfl和S_current中的深度值，可以采用如下 规则去除暴露出的背景点：

第七步，点聚类及区域填充。

在场景动态目标已检测到的背景聚类点已去除后，可利用聚类计算 场景中的动态目标个数，并利用区域填充恢复整个动态目标。

第八步，对检测结果进行检查评估。

需要在输出最后的检测结果前去除动态目标检测结果中的一些伪 聚类点来减小误检率。例如图像的中间列的第7行和第8行，四辆车、 一个树干和一个检测到的远处的目标它们被周围的聚类颜色所包围， 对应相邻两个帧假定待选目标分类数m＝6,树干是一个伪动态目标。 因此检查时，全景深度影像S_R的中间列的第8行进行点云投影，然后 这幅图像里的每一个待选动态目标区域R_i(i∈[1,m])应该和S_R'中其 对应区域R'_i作比较。S_R和S_R'赋值作为逻辑矩阵分别为

然后计算：

这样交集的像素点数可以得到：

每个区域的动态点的数据可以得到：

N_i＝{sum(R_i)|R_i∈S_R,i∈[1,m]}. (20)

定义比率R为：

最后,如果比率R大于阈值ε₃，那么判断候选动态目标区域是动 态目标，否则判断为背景区域。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅 读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本 发明的权利要求所涵盖。

Claims (10)

1.基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

所述方法将激光雷达点云投影为全景深度影像，建立全景深度影像和点云间的索引关系，检测初始动态区域和去除背景静态区域后，构建相关变化光流去除伪动态检测区域，最后进行点聚类及区域填充完成城市环境动态目标检测。

2.根据权利要求1所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

所述方法具体包括以下步骤：

第一步，将激光雷达点云投影为全景深度影像；

第二步，建立激光雷达全景深度影像和激光雷达点云之间的索引关系；

第三步，初始动态区域检测；

第四步，初始背景静态区域去除；

第五步，构建相关变化光流；

第六步，去除由于遮挡和暴露的背景点导致的伪动态检测区域；

第七步，点聚类及区域填充；

第八步，对检测结果进行检查。

3.根据权利要求2所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第一步具体为：

定义P_i＝(x_i,y_i,z_i)(i＝1,...,n)为激光雷达坐标系的雷达点云中的一点；投影P_i到全景影像坐标系下的全景深度图中点R_j＝(u_j，v_j)(j＝1，...，n)；变换关系为：

这里，深度r_i＝||p_i||₂，激光雷达垂直分辨率f＝f_up+f_down，w和h分别是投影全景深度影像的宽和高，偏航角φ_i和俯仰角ψ_i分别由φ_i＝arctan(y_i,x_i)和ψ_i＝-arcsin(z_i·r_i ^-1)计算得到；

将所用雷达点的有效深度范围定义为[r_min,r_max]；

正则化点P_i＝(x_i,y_i,z_i)中的x_i,y_i坐标，取值范围为[-1,1]，得：

x_i＝φ_i·π^-1 (2)

y_i＝1-2(ψ_i·180/π+f_up)/f (3)

继续将x_i,y_i转换为取值为[0,1]的数值并据式(1)计算全景深度影像中的点R_j＝(u_j,v_j)，r_i是像素在坐标R_j＝(u_j,v_j)下的深度，z_i保持激光雷达点原始坐标值。

4.根据权利要求3所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第二步具体为：

定义长度为n的I_{unique_0}来存储与全景影像对应像素索引[1,m]对应的第i个(i＝1,...,n)激光雷达点P_i；I_{unique_0}的计算为：

I_{unique_0_i}＝(u_j-1)·w+v_j (4)

得到：

v_j＝I_{unique_0_i}-(u_j-1)·w (6)

定义长度为m的I_{selected_0}来存储选择的全景影像的对应点I_{unique_0}；I_{selected_0}存储所有的点云帧下的原始索引信息；在n次循环之后，对I_{selected_0}进行去除所有的表示无对应原始索引的0；之后，I_{selected_0}和I_{unique_0}分别更新为I_selected和I_unique，并且k≤m；当所有的原始激光雷达点云和全景影像的索引序列I_selected和I_unique构造更新完成，激光雷达点的三维坐标存储在与全景影像对应的I_selected和I_unique之中；在I_selected中索引第i个I_{unique_i_idx},在I_unique中索引第i个I_{unique_i_idx}得到I_{unique_i}。

5.根据权利要求4所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第三步具体为：

激光雷达点云的相邻两帧F_last和F_current,利用当前场景雷达坐标系下全景影像两个连续帧对应点二维信息的变化来检测动态目标；变换F_last到当前雷达坐标系得到F_vfl，两帧间的变换可表示为F_vfl＝T_c,lF_last,这里T_c,l∈R^4×4，R_c,l∈SO(3)，t_c,l∈R³分别表示变换矩阵T_c,l的旋转和平移部分；将F_vfl和F_current投影为全景影像S_{vfl_0}和S_{current_0}，为方便相邻像素计算，将全景影像S_{vfl_0}(w×h)变为S_vfl((w-4)×(h-4)),在四周各减少2个像素；定义：

其中：

得到S_vfl里所有非零深度值为列表d₀，以及利用σ_u和σ_v进行S_{current_0}所有3×3邻域变换的结果为9个列表：d₁到d₉；

为检测动态区域,定义矩阵：

D₀＝{d_l|l＝[0,9]}, (10)

D_l＝{d₀-d_l|l＝[1,9]}. (11)

索引列表I_{dx_1}满足：

标记候选动态区域里的I_{dx_1}序列点为黄色，其他非零点为绿色背景，零值为蓝色像素，表示无深度值。

6.根据权利要求5所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第四步具体为：

转换D_l中的元素为布尔矩阵B_l以方便移动方向的计算；

3×3邻域变换的编号为：

考虑与候选动态点具有相同移动方向的点；

因此,定义运动方向检测矩阵M₁为M₁＝{B_l(1)·B_l(k)|k＝[2,6,7,3,8,9]}；为避免对应于D₀的第k+1列的零值导致检测出错，定义M₂为M₂＝{D₀(u,v)|u＝all rows of D₀,v＝k+1},用M₁₂＝M₁·M₂检测移动方向；定义

这里u是D₀的所有行数，用于统计候选动态点和6个邻域点之间相同移动方向的数目；选择候选动态点和6个领域点之间相同移动方向的点,这里{(u，v)|N_M(u)＝6}，对u等于D₀的所有行数都有N_M(u)＝6。

7.根据权利要求6所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第五步具体为：

激光雷达点云相邻两帧F_last和F_current,需要转换F_last到当前的激光雷达坐标帧下得到F_vfl以及转换F_current到上一个激光雷达坐标帧下得到F_vfc；四个激光雷达帧和它们对应的全景影像的投影记为形状大小均为w×h的S_last,S_vfl,S_current和S_vfc；从全景影像S_vfl或者S_current得到一系列待选动态点{(u_vfl,v_vfl)|N_M(u_vfl)＝6}；

需要在全景影像和激光雷达点云之间建立索引来帮助寻找全景影像S_last像素{(u_last,v_last)}对应S_vfc的对应像素{(u_vfl,v_vfl)}；首先输入点{(u_{vfl_j},v_{vfl_j})}到式(4)得到I_{unique_j_vfl},然后在I_{unique_vfl}寻找I_{unique_j_vfl}获得它的索引I_{unique_j_vfl_idx},再次通过I_{unique_j_vfl_idx}在I_{selected_vfl}中索引来找出r的索引j；S_vfl是F_vfl投影来的，F_vfl是从F_last通过T_vfl,last转换过来的，因此r的索引j在F_vfl和F_last中是不变的；利用r的索引j，直接在I_{selected_last}寻找I_{uniquej__last_idx}；同时，S_last是从F_last投影来的，因此S_vfl中所有的像素均是S_last的子集；最后，可以在I_{unique_last}中索引I_{unique_j_last_idx}得到I_{unique_j_last}，进而通过式(5)和(6)得到{(u_last,v_last)}。

8.根据权利要求7所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第六步具体为：

(1)去除遮挡背景点：

在S_last的背景中找到伪动态点对应光流,以S_last中的背景点为起点，在S_vfl和S_current中以树干表面为终点；这里逆变换S_current所有候选动态点{(u_current,v_current)}到S_vfc中的{(u_vfc,v_vfc)}；

为动态点序列，ε₂为r_vfc和r_last之间的最大误差,规则为：

(2)去除暴露出的背景点：

令r_last为{(u_last,v_last)}在S_last中的深度值,r_vfl和r_current分别为{(u_current,v_current)}在S_vfl和S_current中的深度值，采用如下规则去除暴露出的背景点：

9.根据权利要求8所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第七步具体为：

在场景动态目标已检测到的背景聚类点已去除后，利用聚类计算场景中的动态目标个数，并利用区域填充恢复整个动态目标。

10.根据权利要求9所述的基于激光雷达扫描图进行城市环境动态目标检测的方法，其特征在于：

第八步具体为：

在输出最后的检测结果前去除动态目标检测结果中的伪聚类点来减小误检率；检查时，全景深度影像S_R的中间列的某一行进行点云投影，然后这幅图像里的每一个待选动态目标区域R_i(i∈[1,m])和S_R'中其对应区域R'_i作比较；S_R和S_R'赋值作为逻辑矩阵分别为

然后计算：

这样交集的像素点数可以得到：

由每个区域的动态点的数据得到：

N_i＝{sum(R_i)|R_i∈S_R,i∈[1,m]}. (20)

定义比率R为：

最后,如果比率R大于阈值ε₃，那么判断候选动态目标区域是动态目标，否则判断为背景区域。

Images