CN110176022A - 一种基于视频检测的隧道全景监控系统及方法 - Google Patents

Abstract

本发明公开了一种基于视频检测的隧道全景监控方法及系统，通过对视频中车辆进行检测跟踪和车型识别，并转换成真实环境中车辆行进路径与速度、车类型，结合对隧道进行三维模型重建，实时显示隧道三维模型地图中车辆信息及交通状况，具有较好的实用性和便捷性。本发明涉及监控技术领域。

Description

一种基于视频检测的隧道全景监控系统及方法

技术领域

本发明涉及监控技术领域，尤其涉及一种基于视频检测的隧道全景监控系统及方法。

背景技术

随着我国交通道路的快速发展，铁路及公路的隧道建设项目与日俱增。由于我国复杂的地理条件以及隧道本身的特点，隧道监控系统在隧道的运营和管理以及事故处理中发挥着极其重要的作用。如不采用先进的监控管理措施，在交通量大、气候恶劣的情况下，极易发生交通事故和交通阻塞，隧道的监控管理成为车辆在隧道安全正常运行的重要保障。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种基于视频检测的隧道全监控方法及系统，实时监控隧道内的车辆信息及交通状况。

本发明所采用的技术方案是：

第一方面，本发明实施例提供了一种基于视频检测的隧道全景监控方法，其包括步骤：

标定相机参数；

对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型；

根据所述相机参数，将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型；

对隧道内部进行二维扫描，得到隧道二维栅格地图，将所述隧道二维栅格地图转换成隧道三维模型地图；

计算世界坐标与地图坐标的变换关系；

根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型。

作为上述方案的进一步改进，所述标定相机参数步骤具体包括：

根据图像信息，计算相机主点坐标c＝(u₀，v₀)；

根据隧道中的道路信息，计算世界坐标系上X、Y、Z三个方向上的灭点坐标P_VX(U_X，V_X)，P_VY(U_Y，V_Y)，P_VZ(U_Z，V_Z)，根据径向畸变约束计算相机焦距(f_x，f_y)初值以及相机旋转角度(ω，κ）值，根据相机旋转角度以及相机安装高度，计算平移矢量(t_x，t_y，t_z)初值；

获取路面以上的特征点，通过最小化特征点在图像上的重投影误差对相机参数进行优化，得到畸变参数k₁，k₂。

作为上述方案的进一步改进，所述对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型步骤具体包括：

对视频序列图像进行处理，根据背景更新算法更新背景；

根据卡尔曼滤波跟踪算法，对视频中的车辆进行检测跟踪，得到视频中车辆行进路径与速度；

通过更新后生成的背景与视频中的原图进行差分，检测视频中的运动车辆，通过车辆数据集根据AlexNet分类网络进行训练，输出识别模型，将检测出的运动车辆输入所述识别模型中进行识别，得到车类型。

作为上述方案的进一步改进，所述对隧道内部进行二维扫描，得到隧道二维栅格地图，将所述隧道二维栅格地图转换成隧道三维模型地图步骤具体包括：

对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；

对所述隧道二维栅格地图进行美化，转换成jpg格式的隧道二维栅格地图；

将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。

作为上述方案的进一步改进，所述根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型步骤具体包括：

根据世界坐标与地图坐标的变换关系，将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置，进而得到地图坐标系下的车辆移动情况；

实时显示隧道三维模型地图中车辆移动情况、车类型。

第二方面，本发明实施例提供了一种基于视频检测的隧道全景监控系统，适用于第一方面实施例所述的基于视频检测的隧道全景监控方法，所述系统包括：

相机标定模块，用于标定相机参数；

视频车检模块，用于对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型；

隧道建模模块，用于对隧道内部进行二维扫描，得到隧道二维栅格地图，将所述隧道二维栅格地图转换成隧道三维模型地图；

数据转换模块，用于根据相机参数，将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型，还用于计算世界坐标与地图坐标的变换关系；

显示模块，用于根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型。

作为上述方案的进一步改进，所述相机标定模块具体包括：

第一计算单元，用于根据图像信息，计算相机主点坐标c＝(u₀，v₀)；

第二计算单元，用于根据隧道中的道路信息，计算世界坐标系上X、Y、Z三个方向上的灭点坐标P_VX(U_X，V_X)，P_VY(U_Y，V_Y)，P_VZ(U_Z，V_Z)，根据径向畸变约束计算相机焦距(f_x，f_y)初值以及相机旋转角度(ω，κ)初值，根据相机旋转角度以及相机安装高度，计算平移矢量(t_x，t_y，t_z)初值；

优化单元，用于获取路面以上的特征点，通过最小化特征点在图像上的重投影误差对相机参数进行优化，得到畸变参数k₁，k₂。

作为上述方案的进一步改进，所述视频车检模块具体包括：

背景更新单元，用于对视频序列图像进行处理，根据背景更新算法更新背景；

车辆跟踪单元，用于根据卡尔曼滤波跟踪算法，对视频中车辆进行检测跟踪，得到视频中车辆行进路径与速度；

车型识别单元，用于通过更新后生成的背景与视频中的原图进行差分，检测视频中的运动车辆，通过车辆数据集根据AlexNet分类网络进行训练，输出识别模型，将检测出的运动车辆输入所述识别模型中进行识别，得到车类型。

作为上述方案的进一步改进，所述隧道建模模块具体包括：

扫描单元，用于对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；

转换单元，用于对所述隧道二维栅格地图进行美化，转换成jpg格式的隧道二维栅格地图；

制作单元，用于将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。

作为上述方案的进一步改进，所述显示模块具体包括：

转换计算单元，用于根据世界坐标与地图坐标的变换关系，将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置，进而得到地图坐标系下的车辆移动情况；

显示单元，用于实时显示隧道三维模型地图中车辆移动情况、车类型。

本发明的有益效果是：

本发明一种基于视频检测的隧道全景监控方法及系统，通过对视频中车辆进行检测跟踪和车型识别，并转换成真实环境中车辆行进路径与速度、车类型，结合对隧道进行三维模型重建，实时显示隧道三维模型地图中车辆信息及交通状况，具有较好的实用性和便捷性。

附图说明

图1是本发明实施例一的基于视频检测的隧道全景监控方法流程示意图；

图2是本发明相机投影成像过程示意图；

图3是本发明实施例二的基于视频检测的隧道全景监控系统模块框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

图1是本发明实施例一的基于视频检测的隧道全景监控方法流程示意图，参照图1，一种基于视频检测的隧道全景监控方法，包括步骤S1至步骤S6。

S1，标定相机参数；

S2，对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型；

S3，根据相机参数，将视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型；

S4，对隧道内部进行二维扫描，得到隧道二维栅格地图，将隧道二维栅格地图转换成隧道三维模型地图；

S5，根据世界坐标与地图坐标的变换关系以及真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型。

本实施例中，步骤S1具体包括子步骤：

S11，根据图像信息，计算相机主点坐标c＝(u₀，v₀)；

S12，根据隧道中的道路信息，计算世界坐标系上X、Y、Z三个方向上的灭点坐标P_VX(U_X，V_X)，P_VY(U_Y，V_Y)，P_VZ(U_Z，V_Z)，根据径向畸变约束计算相机焦距(f_x，f_y)初值以及相机旋转角度(ω，κ)初值，根据相机旋转角度以及相机安装高度，计算平移矢量(t_x，t_y，t_z)初值；

S13，获取路面以上的特征点，通过最小化特征点在图像上的重投影误差对相机参数进行优化，得到畸变参数k₁，k₂。

图2是本发明相机投影成像过程示意图，参照图2，点P在图像坐标系上的二维坐标为p＝[p_u，p_v，1]^T，变换到相机坐标系上的三维坐标为P_c＝[p_c，p_c，f]^T，最后相机坐标系变换到世界坐标系上的三维坐标为P＝[P_X，P_Y，P_Z]^T。整个过程的变换关系为：

其中，K为相机内部参数矩阵，由相机主点c＝(u₀，v₀)和相机焦距(f_x，f_y)构成，s一般为0。[R T]为相机外部参数，T＝[t_x，t_y，t_z]^T为平移矢量，R为旋转矩阵，具体为：

其中，(ω，κ)表示相机分别相对相机坐标系X_c轴、Y_c轴、Z_c轴的旋转角度。

对于步骤S11中相机主点坐标c＝(u₀，v₀)，的计算，根据图像信息，已知相机拍摄图像的大小为[w，h]，假设相机的主光轴与图像中心重合，则相机的主点坐标为：

u₀＝w/2，v₀＝h/2 (3)

本实施例中，步骤S12具体为：根据隧道中的道路信息，确定灭点的方向，将沿道路面形成的灭点记为P_VX(U_X，V_X)，垂直与道路方向的灭点记为P_VY(U_Y，V_Y)，垂直与路面方向的灭点记为P_VZ(U_Z，V_Z)。

对于灭点P_VX(U_X，V_X)，对隧道影像场景中的道路线等直线特征进行检测并利用Hough变换进行直线拟合，提取直线参数。根据直线参数将直线无限延长，一般情况下，影像中的直线不严格交于一点，因此需要用整体直线优化的方式求取灭点坐标。具体实现为：取初始灭点的坐标为P_VX0(U_X0，V_X0)，影像中有效的直线方程为：f_i(x，y)＝k_iX+b_i-y，i表示第i条直线，将初始灭点坐标带入直线方程，得到初始误差，利用最小二乘法优化方法，不断迭代更新灭点坐标使整体误差下降，最终得到精确的灭点坐标P_VX(U_X，V_X)。

对于灭点P_VY(U_Y，V_Y)，由于隧道中没有明显的垂直道路方向的参照物，所以可利用经过的车辆作为参照物，进行直线特征提取。对检测到的车辆进行边缘提取，保留垂直道路方向的直线特征，类似的，利用Hough变换进行直线拟合，提取直线参数，通过最小二乘法优化得到精确的灭点坐标P_VY(U_Y，V_Y)。

根据相机成像关系，将灭点坐标由像素坐标系转化为相机坐标系，P_VX(U_X，V_X)和P_VY(U_Y，V_Y)分别转换为P′_VX(U′_X，V′_X)和P′_VY(U′_Y，V′_Y)，转换关系如下：

作为初始值，可令f_x＝f_y＝f，根据径向畸变约束(RAC)，相机初始焦距计算公式为：

对于灭点P_VZ(U_Z，V_Z)，首先令向量r_x＝O_cP_VX，r_y＝O_cP_VY，r_z＝O_cP_VZ，在相机坐标系中X_c轴、Y_c轴、Z_c轴两两垂直，则向量r_z可根据右手法则由向量r_x，r_y叉乘计算得到。为保证向量严格正交，需要重新计算：

r′_y＝r_y-(r_x*r_y)r_x，r_z＝r_x×r′_y (7)

所以P_VZ(U_Z，V_Z)可由r_z得到。

由于灭点方向表征相机坐标系的三个坐标轴方向，所以由向量r_x，r_y，r_z组成的旋转矩阵[r_x，r′_y，r_z]即为旋转矩阵R的初值。

在隧道场景中，监控相机的安装高度一般比较容易测量，所以以公路面为高度起点，摄像机的高度H已知，并且旋转矩阵R可得到旋转角度(ω，κ)的初始值。以摄像机在公路面的垂直投影点为世界坐标系的原点，根据空间位置关系，那么相机的平移矢量(t_x，t_y，t_z)初值分别为：

取畸变系数k₁，k₂为0。

根据隧道实际场景，综合利用特征比较明显的标志物进行重投影计算，比如利用道路两旁的黄黑警戒线，墙面上、路面上的无源反光灯等具有固定尺寸的参照物，量取路面以上的特征点到路面的高度，即可得到这些特征点的世界坐标，这些特征点不仅包含了二维路面点，还包含了三维空间标识点，提高了标定优化精度。

待优化的相机参数有：u₀，v₀，f_x，f_y，ω，κ，t_x，t_y，t_z，K₁，K₂，为提高优化精度，分阶段对参数进行优化。当初始参数不够准确时，特征点的重投影误差会比较大，有时导致全局优化时无法收敛，所以，为保证优化能够进行，第一阶段对相机外部参数(ω，κ，t_x，t_y，t_z)进行优化，关于外部参数的重投影误差方程为：

其中P_i为第i个特征点P_w在图像的实际像点坐标，N为特征点个数，P_i′为空间点i根据全局标定参数计算得到的图像上的投影坐标，通过降低方程F₁的误差以取得精度较高的外部参数。

当点数大于3时，利用LM(Levenberg-Marquardt)优化算法进行迭代优化，获得最优解。

由于误差方程非线性，当点数大于3时，利用LM(Levenberg-Marquardt)优化算法进行迭代优化，获得最优解。

第二阶段联合相机内部参数(ω，κ，t_x，t_y，t_z，u₀，v₀，f_x，f_y，k₁，k₂)进行内外参数迭代优化。类似的，关于内外参数的重投影误差方程F₂为：

同样地对上式进行泰勒展开，建立关于内外参数的误差方程，利用LM优化算法，获得最优内外参数解。

最后，取k₁＝k₂＝0，联合相机内外参数得到关于全局参数(ω，κ，t_x，t_y，t_z，u₀，v₀，f_x，f_y，k₁，k₂)的重投影误差方程F₃为：

用同样的方式进行迭代优化使误差最小化，即可得到最终的相机标定参数。

任取图像中某一点，均可计算出其在真实世界坐标中的位置，进而可以计算车辆的实际移动距离。

本实施例中，步骤S2具体包括子步骤：

S21，对视频序列图像进行处理，根据背景更新算法更新背景；

S22，根据卡尔曼滤波跟踪算法，对视频中的车辆进行检测跟踪，得到视频中车辆行进路径与速度；

S23，通过更新后生成的背景与视频中的原图进行差分，检测视频中的运动车辆，通过车辆数据集根据AlexNet分类网络进行训练，输出识别模型，将检测出的运动车辆输入所述识别模型中进行识别，得到车类型。

本实施例中，步骤S21具体包括子步骤：

S211，将第一帧图像I₀作为原始背景B₀，并令i＝1；

S212，求当前帧的帧差二值图像BW_i为：

其中，I_i，I_i-1分别为当前帧和上一帧图像；abs(I_i-I_i-1)为连续两帧差分的模值图像，T为阈值。

S213，对BW_i进行形态学处理，以防止运动区域误判为非运动区域，从而得到新的二值图像MBW_i。

S214，由BW_i更新背景B_i为：

分别为背景图像和二值图像在像素(x，y)处的值，为迭代速度系数。

S215，重复步骤S212、步骤S213直至背景更新完成。

卡尔曼滤波器通常用状态方程和观测方程来描述，具体形式如公式(14)、(15)所示：

x_k＝F_kx_k-1+u_k (14)

z_k＝H_kx_k-1+v_k (15)

其中，F_k为状态转移矩阵，H_k为观测矩阵，u_k和v_k分别是协方差为Q_k和R_k的零均值高斯噪声。

本实施例中，步骤S22具体包括子步骤：

S221，当目标车辆进入的第一帧图像中，选取目标车辆的初始位置，构造出目标车辆的表观模型，同时对卡尔曼滤波器进行初始化；

S222，根据卡尔曼滤波的预测结果确定在当前帧中的搜索区域，再根据目标车辆检测的结果，在搜索区域找到能与车辆模板相匹配的候选目标区域；

S223，在目标车辆的跟踪过程中，可以通过计算候选区域目标车辆与目标车辆模板的相似度值来判断目标车辆有没有被遮挡，如果目标车辆发生了遮挡，则对卡尔曼滤波的参数进行适当的调整；

S224，更新卡尔曼滤波器，得到目标的状态信息；

S225，根据遮挡情况更新滤波器的参数；

S226，开始处理下一侦图像。

针对复杂的交通应用场景，在传统的卡尔曼滤波跟踪算法基础上提出了基于二级特征匹配的卡尔曼滤波跟踪算法，二级特征匹配即基于目标区域的几何特征和核直方图特征的匹配。

对于通过目标检测所得的前景目标区域，可以提取该区域的中心坐标及长宽等参数作为匹配特征。如此可得系统的特征向量及观测向量如公式(16)。

其中，状态变量X(t)中，x(t)、y(t)分别目标中心点的x和y坐标，w(t)、h(t)分别表示目标区域的宽度和高度，v_x(t)、v_y(t)、v_w(t)、v_h(t)分别对应前4个分量的变化速度。Y(t)为观测向量，各分量的意义同状态向量。

基于卡尔曼滤波的跟踪算法，通过对车辆的跟踪确定在每一帧图像中的车辆是否为同一车辆，后期再将同一个车辆的识别结果进行统计，通过统计的结果确定出该车辆的种类，通过对识别结果进行统计分析可以降低由于某一帧图像的识别错误而产生的整个识别结果的错误，提高了车型识别的准确率。

在摄像机有效监控区域内绘制虚拟测速线L₁，L₂，…L_i，这些虚拟测速线图像上的间距分别为n₁，n₂，…n_i，根据模块一摄像机标定参数以及变换公式计算出虚拟测速线在真实环境中距离分别为N₁，N₂，…N_i，视频车辆速测定方法为：

当车辆目标行驶进入测速监控区域时，先由模块二第1部分的车辆检测算法对目标车辆进行检测，以确定车辆的图像位置，在有效区域内应用模块二第2部分的目标跟踪算法对车辆进行跟踪，确定其运动轨迹，与此同时记录下车辆控制点(如车尾中心)在图像中的位置坐标(u_i，v_i)；当车辆控制点分别经过虚拟测速线L₁，L₂，…L_i时，记录对应的视频帧号f₁，f₂，…f_i；那么在虚拟测速间隔内的速度分别为：

v_i＝N_i×FPS/(f_i-f_i-1) (17)

式中，FPS为当前视频的帧率。

本实施例中，在步骤S23中，每个输入的图像由固定倍数的数据扩充，有效改善由收集的数据集太小引起的问题。

将Dropout添加到AlexNet分类网络的训练中，这样每个隐藏的神经元层都不会以概率p工作。在一次迭代中，不起作用的节点可以不被视为网络的一部分，但可能在下一次迭代中再次起作用。凡是不工作的神经元都不参与向前运算和BP运算。与此同时，每次输入的神经网络结构都不相同，从而增加了鲁棒性，减少了过拟合。

本实施例中，步骤S4具体包括子步骤：

S41，对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；

S42，对所述隧道二维栅格地图进行美化，转换成jpg格式的隧道二维栅格地图；

S43，将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。

具体的，通过SLAM技术对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；通过Photoshop对隧道二维栅格地图进行美化，包括边缘修正，添加隧道设备仪器等，并转换成jpg格式的隧道二维栅格地图并保存；最后，使用illustrator将jpg格式图片按照尺寸制作成svg格式的隧道三维模型地图。使用SharpVectors将svg格式的隧道三维模型地图转换成xaml格式文件。

本实施例中，步骤S5具体包括：

根据隧道二维栅格地图上明显的标志物，标记三个点，记为ABC，并且记下ABC的像素坐标；

根据隧道二维栅格地图标记相应位置，记为abc，通过AMCL定位算法得到abc的坐标信息，得到三对世界坐标与地图坐标的对应关系，即A点像素坐标对应a点世界坐标，B点像素坐标对应b点世界坐标，C点像素坐标对应c点世界坐标，根据三对世界坐标与地图坐标的对应关系，计算出世界坐标系与地图坐标系的转换矩阵T₁。

本实施例中，步骤S6具体包括子步骤：

S61，根据世界坐标与地图坐标的变换关系，将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置，进而得到地图坐标系下的车辆移动情况；

S62，实时显示隧道三维模型地图中车辆移动情况、车类型。

一种基于视频检测的隧道全景监控方法，通过对视频中车辆进行检测跟踪和车型识别，并转换成真实环境中车辆行进路径与速度、车类型，结合对隧道进行三维模型重建，实时显示隧道三维模型地图中车辆信息及交通状况，具有较好的实用性和便捷性。

实施例二

图3是本发明实施例二的基于视频检测的隧道全景监控系统模块框图，参照图3，一种基于视频检测的隧道全景监控系统，包括：

相机标定模块，用于标定相机参数；

视频车检模块，用于对视频中车辆进行检测跟踪的车型识别，得到视频中车辆行进路径与速度、车类型；

隧道建模模块，用于对隧道内部进行二维扫描，得到隧道二维栅格地图，将隧道二维栅格地图转换成隧道三维模型地图；

数据转换模块，用于根据相机参数，将视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型，还用于计算世界坐标与地图坐标的变换关系；

显示模块，用于根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型。

本实施例中，相机标定模块具体包括：

第一计算单元，用于根据图像信息，计算相机主点坐标c＝(u₀，v₀)；

第二计算单元，用于根据隧道中的道路信息，计算世界坐标系上X、Y、Z三个方向上的灭点坐标P_VX(U_X，V_X)，P_VY(U_Y，V_Y)，P_VZ(U_Z，V_Z)，根据径向畸变约束计算相机焦距(f_x，f_y)初值以及相机旋转角度(ω，κ)初值，根据相机旋转角度以及相机安装高度，计算平移矢量(t_x，t_y，t_z)初值；

优化单元，用于获取路面以上的特征点，通过最小化特征点在图像上的重投影误差对相机参数进行优化，得到畸变参数k₁，k₂。

本实施例中，视频车检模块具体包括：

背景更新单元，用于对视频序列图像进行处理，根据背景更新算法更新背景；

车辆跟踪单元，用于根据卡尔曼滤波跟踪算法，对视频中车辆进行检测跟踪，得到视频中车辆行进路径与速度；

车型识别单元，用于通过更新后生成的背景与视频中的原图进行差分，检测视频中的运动车辆，通过车辆数据集根据AlexNet分类网络进行训练，输出识别模型，将检测出的运动车辆输入所述识别模型中进行识别，得到车类型。

本实施例中，隧道建模模块具体包括：

扫描单元，用于对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；

转换单元，用于对所述隧道二维栅格地图进行美化，转换成jpg格式的隧道二维栅格地图；

制作单元，用于将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。

本实施例中，显示模块具体包括：

转换计算单元，用于根据世界坐标与地图坐标的变换关系，将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置，进而得到地图坐标系下的车辆移动情况；

显示单元，用于实时显示隧道三维模型地图中车辆移动情况、车类型。

本发明实施例二提供基于视频检测的隧道全景监控系统用于实施上述实施例一的基于视频检测的隧道全景监控方法，其工作原理和有益效果一一对应，因而不再赘述。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于视频检测的隧道全景监控方法，其特征在于，其包括步骤：

标定相机参数；

对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型；

根据所述相机参数，将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型；

对隧道内部进行二维扫描，得到隧道二维栅格地图，将所述隧道二维栅格地图转换成隧道三维模型地图；

计算世界坐标与地图坐标的变换关系；

根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型。

2.根据权利要求1所述的一种基于视频检测的隧道全景监控方法，其特征在于，所述标定相机参数步骤具体包括：

根据图像信息，计算相机主点坐标c＝(u₀，v₀)；

根据隧道中的道路信息，计算世界坐标系上X、Y、Z三个方向上的灭点坐标P_VX(U_X，V_X)，P_VY(U_Y，V_Y)，P_VZ(U_Z，V_Z)，根据径向畸变约束计算相机焦距(f_x，f_y)初值以及相机旋转角度初值，根据相机旋转角度以及相机安装高度，计算平移矢量(t_x，t_y，t_z)初值；

获取路面以上的特征点，通过最小化特征点在图像上的重投影误差对相机参数进行优化，得到畸变参数k₁，k₂。

3.根据权利要求1所述的一种基于视频检测的隧道全景监控方法，其特征在于，所述对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型步骤具体包括：

对视频序列图像进行处理，根据背景更新算法更新背景；

根据卡尔曼滤波跟踪算法，对视频中的车辆进行检测跟踪，得到视频中车辆行进路径与速度；

通过更新后生成的背景与视频中的原图进行差分，检测视频中的运动车辆，通过车辆数据集根据AlexNet分类网络进行训练，输出识别模型，将检测出的运动车辆输入所述识别模型中进行识别，得到车类型。

4.根据权利要求1所述的一种基于视频检测的隧道全景监控方法，其特征在于，所述对隧道内部进行二维扫描，得到隧道二维栅格地图，将所述隧道二维栅格地图转换成隧道三维模型地图步骤具体包括：

对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；

对所述隧道二维栅格地图进行美化，转换成jpg格式的隧道二维栅格地图；

将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。

5.根据权利要求1至4任一项所述的一种基于视频检测的隧道全景监控方法，其特征在于，所述根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型步骤具体包括：

根据世界坐标与地图坐标的变换关系，将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置，进而得到地图坐标系下的车辆移动情况；

实时显示隧道三维模型地图中车辆移动情况、车类型。

6.一种基于视频检测的隧道全景监控系统，适用于如权利要求1至5任一项所述的基于视频检测的隧道全景监控方法，其特征在于，其包括：

相机标定模块，用于标定相机参数；

视频车检模块，用于对视频中车辆进行检测跟踪和车型识别，得到视频中车辆行进路径与速度、车类型；

隧道建模模块，用于对隧道内部进行二维扫描，得到隧道二维栅格地图，将所述隧道二维栅格地图转换成隧道三维模型地图；

数据转换模块，用于根据相机参数，将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型，还用于计算世界坐标与地图坐标的变换关系；

显示模块，用于根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型，计算得到地图坐标下的车辆移动情况，实时显示隧道三维模型地图中车辆移动情况、车类型。

7.根据权利要求6所述的一种基于视频检测的隧道全景监控系统，其特征在于，所述相机标定模块具体包括：

第一计算单元，用于根据图像信息，计算相机主点坐标c＝(u₀，v₀)；

第二计算单元，用于根据隧道中的道路信息，计算世界坐标系上X、Y、Z三个方向上的灭点坐标P_VX(U_X，V_X)，P_VY(U_Y，V_Y)，P_VZ(U_Z，V_Z)，根据径向畸变约束计算相机焦距(f_x，f_y)初值以及相机旋转角度初值，根据相机旋转角度以及相机安装高度，计算平移矢量(t_x，t_y，t_z)初值；

优化单元，用于获取路面以上的特征点，通过最小化特征点在图像上的重投影误差对相机参数进行优化，得到畸变参数k₁，k₂。

8.根据权利要求6所述的一种基于视频检测的隧道全景监控系统，其特征在于，所述视频车检模块具体包括：

背景更新单元，用于对视频序列图像进行处理，根据背景更新算法更新背景；

车辆跟踪单元，用于根据卡尔曼滤波跟踪算法，对视频中车辆进行检测跟踪，得到视频中车辆行进路径与速度；

车型识别单元，用于通过更新后生成的背景与视频中的原图进行差分，检测视频中的运动车辆，通过车辆数据集根据AlexNet分类网络进行训练，输出识别模型，将检测出的运动车辆输入所述识别模型中进行识别，得到车类型。

9.根据权利要求6所述的一种基于视频检测的隧道全景监控系统，其特征在于，所述隧道建模模块具体包括：

扫描单元，用于对隧道内部进行二维扫描，得到pgm格式的隧道二维栅格地图；

转换单元，用于对所述隧道二维栅格地图进行美化，转换成jpg格式的隧道二维栅格地图；

制作单元，用于将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。

10.根据权利要求6至9任一项所述的一种基于视频检测的隧道全景监控系统，其特征在于，所述显示模块具体包括：

转换计算单元，用于根据世界坐标与地图坐标的变换关系，将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置，进而得到地图坐标系下的车辆移动情况；

显示单元，用于实时显示隧道三维模型地图中车辆移动情况、车类型。