CN105512641A - 一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法 - Google Patents

Abstract

一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，涉及图像模式识别和机器智能领域。解决了现有算法的实时性差以及识别动态物体不准确的问题。当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；步将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。它适用于检测行人及车辆。

Description

一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法

技术领域

本发明涉及图像模式识别和机器智能领域。

背景技术

在现今的视频去雨去雪算法中，首先是检测视频处于下雨下雪状态，通常采用光流算法来检测此时天气的状态。光流法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差。但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。

当检测到此时是下雨下雪状态，就需要对视频进行去雨去雪。视频去雨去雪算法同样需要用到光流算法，如《Stereovideoderaininganddesnowingbasedonspatiotemporalframewarping》、《VideoDerainingandDesnowingUsingTemporalCorrelationandLow-RankMatrixCompletion》、《UtilizingLocalPhaseInformationtoRemoveRainfromVideo[J].InternationalJournalofComputerVision》、《Arainpixelrecoveryalgorithmforvideoswithhighlydynamicscenes[J].ImageProcessing》和《Dynamicscenerainremovalformovingcameras[C]//DigitalSignalProcessing》。光流算法需要至少两帧数据，才能检测出动态的物体，其中动态物体包括行人、车辆和雨雪。通过GMM速度分类算法对动态物体进行速度分类，可以区分出行人、车辆和雨滴。最后对视频中雨滴进行滤波，去掉图像中的雨滴，对于其他动态物体行人和车辆且他们都处于雨区的部分，需要用保边去噪算法进行滤波，保持行人和车辆的边缘，使视频中行人和车辆不会发生形变，不会影响视频中的行人识别。

采用光流算法结合GMM速度分类算法完成视频中动态行人和车辆的检测，但是这种算法计算量大，且至少需要两帧的视频数据，实时性差，而且光流算法必须依赖GMM分类算法才能完成检测，所以对GMM分类算法精度要求较高，如果GMM速度分类算法中的速度阈值选择错误，则会导致行人和车辆检测错误，造成整个视频图像行人车辆发生形变。

因此，如何克服光流算法结合GMM速度分类算法的实时性差以及识别动态物体不准确的缺点，是本领域研究的热点。

发明内容

本发明的目的是解决光流算法结合GMM速度分类算法的实时性差以及识别动态物体不准确的问题，提出了一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法。一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，

步骤一、当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；

步骤二、采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；

步骤三、通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；

步骤四、将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；

步骤五、采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。

步骤二中采用激光雷达扫描视频窗口前方，通过激光雷达测得的动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆，其具体过程如下：

设定速度阈值d，d为3km/h～5km/h；

如果V>d，则该动态物体是车辆；

如果0<V<d，则该动态物体是行人。

步骤三中通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标，其具体过程为：

步骤三一、设定激光雷达的扫描高度H为0.85m～1m，且该高度处于行人和车辆高度的水平中线处；

步骤三二、激光雷达水平扫描，获得动态物体水平中线处的二维起始坐标(X1，H)和终点坐标(X2，H)；

步骤三三、根据中线原理，则行人及车辆的高度均为2H；

步骤三四、根据激光雷达测距原理获得行人及车辆与激光雷达之间的距离，其过程为：

激光雷达与行人和车辆之间的距离均为S＝vt/2；

其中，v是激光雷达的速度3*10⁸m/s，t是激光雷达激光发射回波所需时间t2与激光雷达中激光发射的时间t1的差，即t＝t2-t1；

步骤三五、结合步骤三三及步骤三四获得行人的位置坐标，即

行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H，S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；

车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始三维坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)。

步骤四中将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像，其映射过程为：

步骤四一、建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；

步骤四二、建立摄像机坐标系与激光雷达坐标系之间的关系；

步骤四三、建立激光雷达坐标系与图像坐标系之间的关系；

步骤四四、将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标；

步骤四五、将步骤四四中的行人及车辆的位置在图像坐标系下的位置坐标标注在步骤一中的图像上，即获得映射图像。

步骤四一中建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；其过程为：

建立摄像机的空间直角坐标系(Xc，Yc，Zc)，原点为O1；建立图像坐标系的二维直角坐标系(X,Y)，原点为O2；

其中，Xc轴与X轴平行；Yc轴与Y轴平行；Zc轴垂直于图像构成的二维平面，且Zc轴为摄像机的光轴。

步骤四二中建立摄像机坐标系与激光雷达坐标系之间的关系；其具体过程为：

假设空间一点P在摄像机坐标系下坐标为P(x_c,y_c,z_c),在激光雷达坐标系下的坐标为P(x_l,y_l,z_l)，则它们存在如下关系：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T=\left[\begin{array}{ccc}r11& r12& r13\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T;$

其中，R和T分别为旋转和平移矩阵；r11...r33均是旋转矩阵R中的元素；z_c的大小取决于摄像机参数。

步骤四三中建立激光雷达坐标系与图像坐标系之间的关系；其具体过程为：

空间一点P在激光雷达坐标下的坐标P(x_l,y_l,z_l)，变换到图像像素坐标系(u，v)下，其坐标满足下述关系式：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right];$

即空间一点P在图像像素坐标系下的坐标为

其中，K为摄像机内参数矩阵；[Rt]为摄像机外参数矩阵；M为投影矩阵；m₁₁...m₃₄均为投影矩阵M的元素；u＝X，v＝Y。

步骤四四中将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标，其具体过程为：

将行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H,S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)

依次带入步骤四二和步骤四三中，获得行人及车辆的位置在图像坐标系下的位置坐标，即

行人的位置在图像坐标系下的位置坐标为：

图像坐标系下行人的头部的起始坐标图像坐标系下行人的头部的结束坐标图像坐标系下行人的脚部起始坐标图像坐标系下行人的脚部终点坐标

车辆的位置在图像坐标系下的位置坐标为：

图像坐标系下车辆顶部的起始坐标图像坐标系下车辆顶部的终点坐标图像坐标系下车辆底部的起始坐标图像坐标系下车辆底部的终点坐标

步骤五中采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像；其具体过程为：

对步骤四得到的行人和车辆的位置在图像坐标系下的位置坐标进行保边去噪处理：

保边去噪公式为：

$g(i,j)=\frac{{\mathrm{\&Sigma;}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\&Sigma;}}_{k,l}w(i,j,k,l)};$

其中，w(i,j,k,l)是保边去噪滤波器，f(k,l)是行人及车辆在映射图像中的位置坐标围城的区域；g(i,j)是防失真映射图像；∑表示求和；

其中，w(i,j,k,l)的值取决于定义域核d(i,j,k,l)和值域核r(i,j,k,l)的乘积；

定义域核 $d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{{\mathrm{\&sigma;}}^2}_d});$

值域核 $r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{{\mathrm{\&sigma;}}_r}^2});$

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{{\mathrm{\&sigma;}}_d}^2}-\frac{\left|\right|f(j,j)-f(k,l)|{|}^2}{2{{\mathrm{\&sigma;}}_r}^2});$

其中，i,j,k,l为图像像素的横纵坐标；σ² _d为定义域方差；σ_r为值域方差，f(i,j)为原图像；||f(i,j)-f(k,l)||²表示绝对值再求平方。

本发明所述的方法，在对视频中的图像进行去雨去雪之前，对视频中的图像进行处理，标定出图像中的行人及车辆的区域，在进行去雨去雪之后，不会使图像中的行人及车辆失真，准确识别动态物体，提高了后续去雨去雪算法速度。现有的光流算法需要前后两帧视频才能检测到动态物体，同时还需要用到GMM算法，两个算法计算量大，而本发明采用激光雷达检测动态物体，不需要前后两帧视频，只需要当前视频即可，速度非常快，同时激光检测动态物体十分的准确。

本发明能够用来快速检测视频中的行人和车辆，实时性好，提高去雨去雪算法准确性，该方法主要应用在智能交通领域中，提高车辆的主动安全性。本发明采用激光雷达来检测行人和车辆，速度快，实时性好，准确性好，提高了自主驾驶的安全性。

本发明适用于检测行人及车辆。

附图说明

图1为一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的流程图；

图2为摄像机坐标系和图像坐标系的位置关系；

图3为下雨状态下的图像；

图4为激光雷达测距原理图；

图5为激光雷达扫描行人中线位置的图像；

图6为映射图像中的行人的位置坐标围成的区域；

图7为经过本发明的方法再进行去雨去雪后获得的图像。

具体实施方式

具体实施方式一、参照图1至图7具体说明本实施方式，本实施方式所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，该方法适用于视频中处于下雨下雪状态时对视频中的图像进行去雨去雪处理之前的前期处理；

该方法包括下述步骤：

步骤一、当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；

步骤二、采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；

步骤三、通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；

步骤四、将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；

步骤五、采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。

本方法完成后，继续进行步骤六、对防失真映射图像进行去雨去雪。

本实施方式中，当遇到恶劣的天气(雨雪天气)，雨和雪会造成视频中图像发白发亮，为图像识别(行人车辆)带来了困难，因此如何对视频中的图像进行去雨去雪处理，同时保证视频去雨去雪的实时性，是十分必要的。若对视频中的图像进行去雨去雪的处理时，采用的算法如果计算过程太慢，不利于后续的行人和车辆的识别，可能造成交通事故。而本发明采用激光雷达来检测行人和车辆，速度快，实时性好，保证了自主驾驶的安全性。

具体实施方式二、本实施方式是对实施方式一所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤二中采用激光雷达扫描视频窗口前方，通过激光雷达测得的动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆，其具体过程如下：

设定速度阈值d，d为3km/h～5km/h；

如果V>d，则该动态物体是车辆；

如果0<V<d，则该动态物体是行人。

具体实施方式三、本实施方式是对实施方式一所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤三中通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标，其具体过程为：

步骤三一、设定激光雷达的扫描高度H为0.85m～1m，且该高度处于行人和车辆高度的水平中线处；

步骤三二、激光雷达水平扫描，获得动态物体水平中线处的二维起始坐标(X1，H)和终点坐标(X2，H)；

步骤三三、根据中线原理，则行人及车辆的高度均为2H；

步骤三四、根据激光雷达测距原理获得行人及车辆与激光雷达之间的距离，其过程为：

激光雷达与行人和车辆之间的距离均为S＝vt/2；

其中，v是激光雷达的速度3*10⁸m/s，t是激光雷达激光发射回波所需时间t2与激光雷达中激光发射的时间t1的差，即t＝t2-t1；

步骤三五、结合步骤三三及步骤三四获得行人的位置坐标，即

行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H，S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；

车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始三维坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)。

具体实施方式四、本实施方式是对实施方式一所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤四中将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像，其映射过程为：

步骤四一、建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；

步骤四二、建立摄像机坐标系与激光雷达坐标系之间的关系；

步骤四三、建立激光雷达坐标系与图像坐标系之间的关系；

步骤四四、将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标；

步骤四五、将步骤四四中的行人及车辆的位置在图像坐标系下的位置坐标标注在步骤一中的图像上，即获得映射图像。

具体实施方式五、本实施方式是对实施方式四所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤四一中建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；其过程为：

建立摄像机的空间直角坐标系(Xc，Yc，Zc)，原点为O1；建立图像坐标系的二维直角坐标系(X,Y)，原点为O2；

其中，Xc轴与X轴平行；Yc轴与Y轴平行；Zc轴垂直于图像构成的二维平面，且Zc轴为摄像机的光轴。本实施方式中，要建立激光雷达图像与摄像机图像之间的对应关系,就需要建立摄像机的数学模型。所建的数学模型越接近实际且能准确标定出来,就越能获得较高的精度。

具体实施方式六、本实施方式是对实施方式四所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤四二中建立摄像机坐标系与激光雷达坐标系之间的关系；其具体过程为：

假设空间一点P在摄像机坐标系下坐标为P(x_c,y_c,z_c),在激光雷达坐标系下的坐标为P(x_l,y_l,z_l)，则它们存在如下关系：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T=\left[\begin{array}{ccc}r11& r12& r13\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T$

其中，R和T分别为旋转和平移矩阵；r11...r33均是旋转矩阵R中的元素；z_c的大小取决于摄像机参数。

具体实施方式七、本实施方式是对实施方式四所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤四三中建立激光雷达坐标系与图像坐标系之间的关系；其具体过程为：

空间一点P在激光雷达坐标下的坐标P(x_l,y_l,z_l)，变换到图像像素坐标系(u，v)下，其坐标满足下述关系式：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\&lsqb;Rt\&rsqb;\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right];$

即空间一点P在图像像素坐标系下的坐标为

其中，K为摄像机内参数矩阵；[Rt]为摄像机外参数矩阵；M为投影矩阵；m₁₁...m₃₄均为投影矩阵M的元素；u＝X，v＝Y。

本实施方式中，空间一点P在图像像素坐标系下的坐标为的获取过程为，根据公式 $\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T=\left[\begin{array}{ccc}r11& r12& r13\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T$ 获得z_c＝Rz_l+T，然后将z_c＝Rz_l+T代入公式

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\&lsqb;Rt\&rsqb;\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]$ 中，

即 $({\mathrm{Rz}}_l+T)\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right],$ 经过计算，获得空间一点P在图像像素坐标系下的坐标为

$P(\frac{M}{{\mathrm{Rz}}_l+T}{x}_l,\frac{M}{{\mathrm{Rz}}_l+T}{y}_l).$

具体实施方式八、本实施方式是对实施方式四所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤四四中将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标，其具体过程为：

将行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H,S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)

依次带入步骤四二和步骤四三中，获得行人及车辆的位置在图像坐标系下的位置坐标，即

图像坐标系下行人的头部的起始坐标图像坐标系下行人的头部的结束坐标图像坐标系下行人的脚部起始坐标图像坐标系下行人的脚部终点坐标

车辆的位置在图像坐标系下的位置坐标为：

图像坐标系下车辆顶部的起始坐标图像坐标系下车辆顶部的终点坐标图像坐标系下车辆底部的起始坐标图像坐标系下车辆底部的终点坐标

具体实施方式九、本实施方式是对实施方式一所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤五中采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像；其具体过程为：

对步骤四得到的行人和车辆的位置在图像坐标系下的位置坐标进行保边去噪处理：

保边去噪公式为：

$g(i,j)=\frac{{\mathrm{\&Sigma;}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\&Sigma;}}_{k,l}w(i,j,k,l)};$

其中，w(i,j,k,l)是保边去噪滤波器，f(k,l)是行人及车辆在映射图像中的位置坐标围城的区域；g(i,j)是防失真映射图像；∑表示求和；

其中，w(i,j,k,l)的值取决于定义域核d(i,j,k,l)和值域核r(i,j,k,l)的乘积；

定义域核 $d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-1)}^2}{2{{\mathrm{\&sigma;}}^2}_d});$

值域核 $r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{{\mathrm{\&sigma;}}_r}^2});$

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{{\mathrm{\&sigma;}}_d}^2}-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{{\mathrm{\&sigma;}}_r}^2});$

其中，i,j,k,l为图像像素的横纵坐标；σ² _d为定义域方差；σ_r为值域方差，f(i,j)为原图像；||f(i,j)-f(k,l)||²表示绝对值再求平方。

本实施方式中，对图像进行保边去噪，行人车辆的边缘不受滤波影响，不会发生形变。如果正常图像滤波，不把行人和车辆的位置保护好，行人车辆会发生形变。

具体实施方式十、本实施方式是对实施方式一所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法的进一步说明，本实施方式中，

步骤六中对防失真映射图像进行去雨去雪，其具体过程为：

对防失真映射图像上非行人区域和非车辆区域进行滤波，滤波半径为2；

滤波方法是：防失真映射图像中的每一点的像素值由该点的一个邻域中各点像素值相加获得像素总和，该像素总和作为防失真映射图像的像素值，即消除雨雪给图像带来的噪声，完成对防失真映射图像的去雨去雪。

Claims (9)

1.一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤一、当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；

步骤二、采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；

步骤三、通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；

步骤四、将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；

步骤五、采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。

2.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤二中采用激光雷达扫描视频窗口前方，通过激光雷达测得的动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆，其具体过程如下：

设定速度阈值d，d为3km/h～5km/h；

如果V>d，则该动态物体是车辆；

如果0<V<d，则该动态物体是行人。

3.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤三中通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标，其具体过程为：

步骤三一、设定激光雷达的扫描高度H为0.85m～1m，且该高度处于行人和车辆高度的水平中线处；

步骤三二、激光雷达水平扫描，获得动态物体水平中线处的二维起始坐标(X1，H)和终点坐标(X2，H)；

步骤三三、根据中线原理，则行人及车辆的高度均为2H；

步骤三四、根据激光雷达测距原理获得行人及车辆与激光雷达之间的距离，其过程为：

激光雷达与行人和车辆之间的距离均为S＝vt/2；

其中，v是激光雷达的速度3*10⁸m/s，t是激光雷达激光发射回波所需时间t2与激光雷达中激光发射的时间t1的差，即t＝t2-t1；

步骤三五、结合步骤三三及步骤三四获得行人的位置坐标，即

行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H，S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；

车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始三维坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)。

4.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤四中将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像，其映射过程为：

步骤四一、建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；

步骤四二、建立摄像机坐标系与激光雷达坐标系之间的关系；

步骤四三、建立激光雷达坐标系与图像坐标系之间的关系；

步骤四四、将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标；

步骤四五、将步骤四四中的行人及车辆的位置在图像坐标系下的位置坐标标注在步骤一中的图像上，即获得映射图像。

5.根据权利要求4所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤四一中建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；其过程为：

建立摄像机的空间直角坐标系(Xc，Yc，Zc)，原点为O1；建立图像坐标系的二维直角坐标系(X,Y)，原点为O2；

其中，Xc轴与X轴平行；Yc轴与Y轴平行；Zc轴垂直于图像构成的二维平面，且Zc轴为摄像机的光轴。

6.根据权利要求4所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤四二中建立摄像机坐标系与激光雷达坐标系之间的关系；其具体过程为：

假设空间一点P在摄像机坐标系下坐标为P(x_c,y_c,z_c),在激光雷达坐标系下的坐标为P(x_l,y_l,z_l)，则它们存在如下关系：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T=\left[\begin{array}{ccc}r11& r12& r13\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+T;$

其中，R和T分别为旋转和平移矩阵；r11...r33均是旋转矩阵R中的元素；z_c的大小取决于摄像机参数。

7.根据权利要求4所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤四三中建立激光雷达坐标系与图像坐标系之间的关系；其具体过程为：

空间一点P在激光雷达坐标下的坐标P(x_l,y_l,z_l)，变换到图像像素坐标系(u，v)下，其坐标满足下述关系式：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\\ 1\end{array}\right];$

即空间一点P在图像像素坐标系下的坐标为

其中，K为摄像机内参数矩阵；[Rt]为摄像机外参数矩阵；M为投影矩阵；m₁₁...m₃₄均为投影矩阵M的元素；u＝X，v＝Y。

8.根据权利要求4所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤四四中将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标，其具体过程为：

将行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H,S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)

依次带入步骤四二和步骤四三中，获得行人及车辆的位置在图像坐标系下的位置坐标，即

行人的位置在图像坐标系下的位置坐标为：

图像坐标系下行人的头部的起始坐标图像坐标系下行人的头部的结束坐标图像坐标系下行人的脚部起始坐标图像坐标系下行人的脚部终点坐标

车辆的位置在图像坐标系下的位置坐标为：

图像坐标系下车辆顶部的起始坐标图像坐标系下车辆顶部的终点坐标图像坐标系下车辆底部的起始坐标图像坐标系下车辆底部的终点坐标

9.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，

步骤五中采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像；其具体过程为：

对步骤四得到的行人和车辆的位置在图像坐标系下的位置坐标进行保边去噪处理：

保边去噪公式为：

$g(i,j)=\frac{{\mathrm{\&Sigma;}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\&Sigma;}}_{k,l}w(i,j,k,l)};$

其中，w(i,j,k,l)是保边去噪滤波器，f(k,l)是行人及车辆在映射图像中的位置坐标围城的区域；g(i,j)是防失真映射图像；∑表示求和；

其中，w(i,j,k,l)的值取决于定义域核d(i,j,k,l)和值域核r(i,j,k,l)的乘积；

定义域核 $d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{{\mathrm{\&sigma;}}^2}_d});$

值域核 $r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{{\mathrm{\&sigma;}}_r}^2});$

$w\left(i,j,k,l\right)=\exp \left(-\frac{{\left(i-k\right)}^2+{\left(j-l\right)}^2}{2{{\mathrm{\&sigma;}}_d}^2}-\frac{\left|\right|f\left(i,j\right)-f\left(k,l\right)|{|}^2}{2{{\mathrm{\&sigma;}}_r}^2}\right);$

其中，i,j,k,l为图像像素的横纵坐标；σ² _d为定义域方差；σ_r为值域方差，f(i,j)为原图像；||f(i,j)-f(k,l)||²表示绝对值再求平方。