CN107729843B - 基于雷达与视觉信息融合的低地板有轨电车行人识别方法 - Google Patents

Abstract

本发明涉及一种基于雷达与视觉信息融合的低地板有轨电车行人识别方法，雷达通过发射和接收信号，得到目标所在二维图像中的目标点的坐标；生成待检测区域；训练似物行人检测模型，将待检测区域分成若干个大小相同的子窗口，通过滑动窗口遍历每个子窗口，计算二值化规范梯度特征与似物行人检测模型的二值化规范梯度特征的相似度，并与设定的相似度阈值进行比较，将包含待检测区域的子窗口进行聚类融合，得到一个包含完整待检测目标的窗口；计算窗口的方向梯度直方图特征。本发明采用毫米波雷达信息获取方式，直接获取待检测障碍物的距离、速度信息；采用毫米波雷达检测信息，有利于快速的在图像上分割出感兴趣区域，减小图像识别时的搜索区域。

Description

基于雷达与视觉信息融合的低地板有轨电车行人识别方法

技术领域

本发明涉及低地板有轨电车主动安全预警领域，具体地说是一种基于雷达与视觉信息融合的低地板有轨电车行人识别方法。

背景技术

随着城市交通的大力发展，低地板有轨电车已经成为人们出行的重要交通工具，但随之而来交通事故也较为频发，为了有效减少或避免交通事故的发生，需要研究一种有轨电车前方预警检测方法，当电车前方出现障碍物目标时，能及时准确地给驾驶人提供警告，并能获取障碍物相对于本车的位置、速度、加速度等状态信息，从而为有轨电车的安全行驶提供技术保障。

由于有轨电车驾驶环境的复杂性，单一传感器在获取目标信息时存在一定的局限性，多源传感器信息融合可弥补这一缺陷。该方法将多个传感器在时间或空间上或者同一传感器的多个特征，按照一定的规则进行信息的相互配合与合并，从而实现对环境某些特征的描述。

发明内容

针对现有技术的不足，本发明提供一种基于雷达与视觉信息融合的低地板有轨电车行人识别方法，将毫米波雷达及视觉传感器进行融合，兼具毫米波雷达检测距离长、全天候、受天气条件影响小和视觉检测方法的直观、精确的特点，将二者进行结合，形成技术优势互补，降低对单一传感器的依赖性。

本发明为实现上述目的所采用的技术方案是：

一种基于雷达与视觉信息融合的低地板有轨电车行人识别方法，包括以下步骤：

步骤1：雷达通过发射和接收信号，获取前方目标的距离、速度和角度信息；

步骤2：将得到的距离和角度信息进行坐标变换，得到目标所在二维图像中的目标点的坐标；

步骤3：以目标点为中心，生成包含当前目标的待检测区域；

步骤4：训练包括二值化规范梯度特征的似物行人检测模型，将待检测区域分成若干个大小相同的子窗口，通过滑动窗口遍历每个子窗口，计算每个子窗口的二值化规范梯度特征与似物行人检测模型的二值化规范梯度特征的相似度，并与设定的相似度阈值进行比较，如果该相似度大于设定的相似度阈值，则该子窗口包含待检测目标，否则不包含待检测目标；

步骤5：将包含待检测区域的子窗口进行聚类融合，得到一个包含完整待检测目标的窗口；

步骤6：计算步骤5中得到的包含完整待检测目标的窗口的方向梯度直方图特征，并根据训练得到的包含方向梯度直方图特征的行人检测模型，利用支持向量机，判断如果该待检测目标为行人，则预警，否则不预警。

所述雷达通过发射和接收信号，获取前方目标的距离、速度和角度信息包括以下步骤：

步骤1：雷达发射天线发射调频序列信号，设信号的载波频率为f₀，带宽为B，调频周期为T_chirp；

步骤2：雷达连续接收第一天线和第二天线的L个周期的接收信号，进行下混频至基带，得到L个周期的差拍信号，并将L个周期的差拍信号进行离散采样，得到L行N列的矩阵S₁和矩阵S₂，其中，采样频率为f_s，第l行为第l个周期的差拍信号的离散采样数据，0≤l≤L-1，每行数据点数为N；

步骤3：对矩阵S₁和矩阵S₂的每一行作N_FFT点FFT，即提取快时间域差拍信号频率谱，得到L行N_FFT列的矩阵S_R1和矩阵S_R2；

步骤4：对矩阵S_R1和矩阵S_R2的每一列作L_FFT点FFT，即提取慢时间域多普勒频率谱，得到L_FFT行N_FFT列的矩阵S_RD1和矩阵S_RD2；

步骤5：对矩阵S_RD1进行二维平均单元-有序统计恒虚警检测，若对矩阵S_RD1中第m行、第n列的数据S_1(m,n)大于相应门限，则计算目标的速度和距离；

步骤6：提取矩阵S_RD1、矩阵S_RD2中第m行、第n列的数据S_1(m,n)和数据S_2(m,n)的相位Φ₁和相位Φ₂，计算目标的角度。

所述目标的速度为：

所述目标的距离为：

所述目标的角度为：

其中，c为光速，v为目标的速度，R为目标的距离，θ为目标的角度，T_chirp为调频周期，f_s为采样频率，f₀为载波频率，B为带宽，Φ₁为第m行、第n列的数据S_1(m,n)的相位、Φ₂为数据S_2(m,n)的相位，L_FFT为第L_FFT行的行数，m为第m行的行数，n为第n列的列数，d为天线间距。

所述包括二值化规范梯度特征的似物行人检测分类器的训练过程为：

步骤1：在标准行人数据训练集中的含行人图像上，根据行人尺寸范围，选取若干个不同尺寸的图像区域，提取正样本和负样本的二值化规范梯度特征，输入到线性支持向量机中训练，得到一个适应于各种尺寸的支持向量机判别模型，作为级联分类器的第一级；

步骤2：通过支持向量机判别模型搜索正样本，得到目标样本作为级联分类器的第二级训练的正样本；将负样本和在不含有行人的图像中随机采样若干一定尺寸大小的窗口样本作为级联分类器的第二级训练的负样本；

步骤3：提取第二级训练的负样本的二值化规范梯度特征，输入到线性支持向量机中训练，得到多个支持向量机二级分类器。

所述正样本为选取的与人工行人标注框面积交比大于0.6的图像区域；

所述负样本为选取的与人工行人标注框面积交比小于0.4的图像区域。

提取二值化规范梯度特征包括：

将图像区域调整为8×8的尺寸大小；计算8×8图像中每一个点的梯度，得到该图像的64维二值化规范梯度特征。

所述计算每个子窗口的二值化规范梯度特征与似物行人检测分类器的二值化规范梯度特征的相似度包括以下过程：

步骤1：采用滑动窗口的方式，根据行人尺寸范围，在待检测区域内生成若干个子区域，提取每个子区域的二值化规范梯度特征；

步骤2：利用级联分类器，根据每个子区域的BING特征，计算每个子区域的相似性得分；

步骤3：保留每个子区域的相似性得分高于设定阈值的子区域，作为待选粗提取窗口，剔除每个子区域的相似性得分不高于设定阈值的子区域；

步骤4：依次计算待选粗提取窗口的中心和雷达得到的目标点的距离，若距离数值高于设定值，则该待选粗提取窗口处于待检测区域边缘，删掉该待选粗提取窗口，剩余窗口为确定粗提取窗口。

所述每个子区域的相似性得分为

s_l＝<w,g_l>

o_l＝s_l×v_i+t_i

其中，s_l为每个子区域使用一级分类器计算的二值化规范梯度特征相似性得分，o_l为每个子区域使用二级分类器计算的二值化规范梯度特征相似性得分，l为子区域位置，g_l为每个子区域的二值化规范梯度特征，<v_i，t_i>为级联分类器的二级分类器，i为样本的窗口尺寸，w为支持向量机判别模型。

所述聚类融合包括：

将所有确定的粗提取窗口在水平和垂直方向上分别扩展1.1～1.2倍，并使用层级聚类方法对扩展后的粗提取窗口进行聚类。

所述层级聚类包括以下过程：

步骤1：对于任意矩形窗口r_i计算其与其他窗口r_j的相似性大小值：

其中，w表示矩形窗口的宽，h表示矩形窗口的高，d_i表示两矩形窗口各自对应的四条边之间的距离，k为阈值系数；

步骤2：当任意两矩形的相似性满足上述中步骤1中的关系，则将其视为一类，并将该两个矩形窗口r_i和r_j所属类中小的一类归并到大的一类中；

步骤3：在大的一类的矩形窗口中，采用聚类融合方法获取最终窗口：

其中，c_i表示第i类矩形集合，r_j表示c_i类中各矩形窗口，R_i表示对c_i类矩形集合聚类融合后的得到的最终窗口。

本发明具有以下有益效果及优点：

1.本发明采用毫米波雷达信息获取方式，可直接获取待检测障碍物的距离、速度信息；

2.本发明利用采用毫米波雷达检测信息，有利于快速的在图像上分割出感兴趣区域，减小图像识别时的搜索区域；

3.本发明利用毫米波雷达与HOG-SVM视觉检测算法相结合，可增加检测精度和稳定性。

附图说明

图1是本发明的方法流程图；

图2是本发明中在窗口部分覆盖目标情况下的行人识别结果仿真图；

图3是本发明中在窗口紧凑覆盖目标情况下的行人识别结果仿真图；

图4是本发明中采用矩形聚类融合算法解决交叉覆盖问题的识别结果仿真图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的方法流程图。

雷达通过发射和接收信号，获取前方目标的距离、速度和角度信息；然后将得到的距离和角度信息进行坐标变换，得到目标所在二维图像中的目标点的坐标；接着以目标点为中心，生成包含当前目标的待检测区域；采用训练包括二值化规范梯度特征的似物行人检测模型，将待检测区域分成若干个大小相同的子窗口，通过滑动窗口遍历每个子窗口，计算每个子窗口的二值化规范梯度特征与似物行人检测模型的二值化规范梯度特征的相似度，并与设定的相似度阈值进行比较，如果该相似度大于设定的相似度阈值，则该子窗口包含待检测目标，否则不包含待检测目标；接下来将包含待检测区域的子窗口进行聚类融合，得到一个包含完整待检测目标的窗口；最后计算得到包含完整待检测目标的窗口的方向梯度直方图特征，并根据训练得到的包含方向梯度直方图特征的行人检测模型，利用支持向量机，判断如果该待检测目标为行人，则预警，否则不预警。

如图2所示为本发明中在窗口部分覆盖目标情况下的行人识别结果示意图。

经似物检测产生的候选窗口存在部分覆盖目标的问题，如果直接提取这些候选区域HOG特征进行验证可能会导致检测目标的遗漏。

如图3所示为本发明中在窗口紧凑覆盖目标情况下的行人识别结果示意图。

在部分检测窗口可以完全覆盖目标的情况下，由于划定区域太紧凑，后续的HOG特征设定最小窗口为64*128，同时检测过程中通常需要行人周围一定的背景与其轮廓作对比，因此太紧凑也可能漏检，如图3所示。

如图4所示为本发明中采用矩形聚类融合算法解决交叉覆盖问题的识别结果示意图。

针对矩形窗口部分覆盖和紧凑覆盖等问题，采用对粗提取结果先进行尺度矫正以解决覆盖紧凑和缓解部分覆盖的问题，再通过矩形聚类融合算法解决交叉覆盖问题，从图中可知，可以看到尺寸矫正和融合过程同时也增大了一些虚假粗提取窗口，不过其尺寸已远小于原有的背景，将在验证阶段被快速滤除。

Claims (10)

1.一种基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于，包括以下步骤：

步骤1：雷达通过发射和接收信号，获取前方目标的距离、速度和角度信息；

步骤2：将得到的距离和角度信息进行坐标变换，得到目标所在二维图像中的目标点的坐标；

步骤3：以目标点为中心，生成包含当前目标的待检测区域；

步骤4：训练包括二值化规范梯度特征的似物行人检测模型，将待检测区域分成若干个大小相同的子窗口，通过滑动窗口遍历每个子窗口，计算每个子窗口的二值化规范梯度特征与似物行人检测模型的二值化规范梯度特征的相似度，并与设定的相似度阈值进行比较，如果该相似度大于设定的相似度阈值，则该子窗口包含待检测目标，否则不包含待检测目标；

步骤5：将包含待检测区域的子窗口进行聚类融合，得到一个包含完整待检测目标的窗口；

步骤6：计算步骤5中得到的包含完整待检测目标的窗口的方向梯度直方图特征，并根据训练得到的包含方向梯度直方图特征的行人检测模型，利用支持向量机，判断如果该待检测目标为行人，则预警，否则不预警。

2.根据权利要求1所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述雷达通过发射和接收信号，获取前方目标的距离、速度和角度信息包括以下步骤：

步骤1：雷达发射天线发射调频序列信号，设信号的载波频率为f₀，带宽为B，调频周期为T_chirp；

步骤2：雷达连续接收第一天线和第二天线的L个周期的接收信号，进行下混频至基带，得到L个周期的差拍信号，并将L个周期的差拍信号进行离散采样，得到L行N列的矩阵S₁和矩阵S₂，其中，采样频率为f_s，第l行为第l个周期的差拍信号的离散采样数据，0≤l≤L-1，每行数据点数为N；

步骤3：对矩阵S₁和矩阵S₂的每一行作N_FFT点FFT，即提取快时间域差拍信号频率谱，得到L行N_FFT列的矩阵S_R1和矩阵S_R2；

步骤4：对矩阵S_R1和矩阵S_R2的每一列作L_FFT点FFT，即提取慢时间域多普勒频率谱，得到L_FFT行N_FFT列的矩阵S_RD1和矩阵S_RD2；

步骤5：对矩阵S_RD1进行二维平均单元-有序统计恒虚警检测，若矩阵S_RD1中第m行、第n列的数据S_1(m,n)大于相应门限，则计算目标的速度和距离；

步骤6：提取矩阵S_RD1、矩阵S_RD2中第m行、第n列的数据S_1(m,n)和数据S_2(m,n)的相位Φ₁和相位Φ₂，计算目标的角度。

3.根据权利要求2所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：

所述目标的速度为：

所述目标的距离为：

所述目标的角度为：

其中，c为光速，v为目标的速度，R为目标的距离，θ为目标的角度，T_chirp为调频周期，f_s为采样频率，f₀为载波频率，B为带宽，Φ₁为第m行、第n列的数据S_1(m,n)的相位、Φ₂为数据S_2(m,n)的相位，L_FFT为第L_FFT行的行数，m为第m行的行数，n为第n列的列数，d为天线间距。

4.根据权利要求1所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述包括二值化规范梯度特征的似物行人检测分类器的训练过程为：

步骤1：在标准行人数据训练集中的含行人图像上，根据行人尺寸范围，选取若干个不同尺寸的图像区域，提取正样本和负样本的二值化规范梯度特征，输入到线性支持向量机中训练，得到一个适应于各种尺寸的支持向量机判别模型，作为级联分类器的第一级；

步骤2：通过支持向量机判别模型搜索正样本，得到目标样本作为级联分类器的第二级训练的正样本；将负样本和在不含有行人的图像中随机采样若干一定尺寸大小的窗口样本作为级联分类器的第二级训练的负样本；

步骤3：提取第二级训练的负样本的二值化规范梯度特征，输入到线性支持向量机中训练，得到多个支持向量机二级分类器。

5.根据权利要求4所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述正样本为选取的与人工行人标注框面积交比大于0.6的图像区域；

所述负样本为选取的与人工行人标注框面积交比小于0.4的图像区域。

6.根据权利要求4所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：提取二值化规范梯度特征包括：

将图像区域调整为8×8的尺寸大小；计算8×8图像中每一个点的梯度，得到该图像的64维二值化规范梯度特征。

7.根据权利要求1所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述计算每个子窗口的二值化规范梯度特征与似物行人检测分类器的二值化规范梯度特征的相似度包括以下过程：

步骤1：采用滑动窗口的方式，根据行人尺寸范围，在待检测区域内生成若干个子区域，提取每个子区域的二值化规范梯度特征；

步骤2：利用级联分类器，根据每个子区域的BING特征，计算每个子区域的相似性得分；

步骤3：保留每个子区域的相似性得分高于设定阈值的子区域，作为待选粗提取窗口，剔除每个子区域的相似性得分不高于设定阈值的子区域；

步骤4：依次计算待选粗提取窗口的中心和雷达得到的目标点的距离，若距离数值高于设定值，则该待选粗提取窗口处于待检测区域边缘，删掉该待选粗提取窗口，剩余窗口为确定粗提取窗口。

8.根据权利要求7所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述每个子区域的相似性得分为

s_l＝＜w,g_l>

o_l＝s_l×v_i+t_i

其中，s_l为每个子区域使用一级分类器计算的二值化规范梯度特征相似性得分，o_l为每个子区域使用二级分类器计算的二值化规范梯度特征相似性得分，l为子区域位置，g_l为每个子区域的二值化规范梯度特征，<v_i，t_i>为级联分类器的二级分类器，i为样本的窗口尺寸，w为支持向量机判别模型。

9.根据权利要求1所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述聚类融合包括：

将所有确定的粗提取窗口在水平和垂直方向上分别扩展1.1～1.2倍，并使用层级聚类方法对扩展后的粗提取窗口进行聚类。

10.根据权利要求9所述的基于雷达与视觉信息融合的低地板有轨电车行人识别方法，其特征在于：所述层级聚类包括以下过程：

步骤1：对于任意矩形窗口r_i计算其与其他窗口r_j的相似性大小值：

其中，w表示矩形窗口的宽，h表示矩形窗口的高，d_i表示两矩形窗口各自对应的四条边之间的距离，k为阈值系数；

步骤2：当任意两矩形的相似性满足上述中步骤1中的关系，则将其视为一类，并将该两个矩形窗口r_i和r_j所属类中小的一类归并到大的一类中；

步骤3：在大的一类的矩形窗口中，采用聚类融合方法获取最终窗口：

其中，c_i表示第i类矩形集合，r_j表示c_i类中各矩形窗口，R_i表示对c_i类矩形集合聚类融合后的得到的最终窗口。

Images