CN111274843B - 基于监控视频的货车超载监测方法及系统 - Google Patents

Abstract

一种基于监控视频的货车超载监测方法及系统，通过从视频文件中进行车辆目标检测得到目标货车图像，进而对其中的轮胎区域进行特征提取得到车身之间的像素距离作为特征，然后基于特征和参照物计算出轮胎实际形变信息和货车类型，通过车型数据库得到车辆核定载重信息后根据轮胎实际形变信息、车辆核定载重信息判断得到超载结果。本发明通过视频处理测量车身与车轮之间的距离，将测得距离与正常的车身与车轮之间的距离进行对比，判断货车是否超载。

Description

基于监控视频的货车超载监测方法及系统

技术领域

本发明涉及的是一种智慧交通方面的应用，具体涉及一种通过对道路监控视频的处理来监测道路上货车的超载监测的方法及系统。

背景技术

传统治超监测站主要用静态称重及动态称重的方法测量货车载重，现有新的技术中通过磁阻传感器测量货车悬架和车轴的距离，将货车悬架和车轴的距离和货车载重建立数学模型，可以得出货车载重情况和超载检测结果。相比传统的称重方式，更加简单而容易实施。但是不可避免需要安装传感器，人为破坏传感器的可能性极大，需要人为的监管。

现有一种通过监控视频分析车辆轮胎状态判断车辆超载的方法，通过处理侧边摄像头拍摄的车辆侧边视频，测量出车身与轮胎之间的距离，也就是车辆悬架在超载中垂直方向的形变量，通过对比前轮和后轮的距离的差值或者与实际车辆超载测出的正常值对比，得出车辆超载的判断。但是这种方式测得数据主要是有明显轮毂的小轿车，对没有明显轮毂的货车没有通过视频测量的方法。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于监控视频的货车超载监测方法及系统，通过视频处理测量车身与车轮之间的距离，将测得距离与正常的车身与车轮之间的距离进行对比，判断货车是否超载。

本发明是通过以下技术方案实现的：

本发明通过从视频文件中进行车辆目标检测得到目标货车图像，进而对其中的轮胎区域进行特征提取得到车身之间的像素距离作为特征，然后基于特征和参照物计算出轮胎实际形变信息和货车类型，通过车型数据库得到车辆核定载重信息后根据轮胎实际形变信息、车辆核定载重信息判断得到超载结果。

技术效果

与现有技术相比，本发明安装更加方便无需繁琐的安装过程，监控视频安装成本远远低于动态称重一系列设备的安装，甚至现在一个完整的超载监测系统中，往往需要监控视频和动态称重系统同时安装；本发明充分利用视频技术的成熟性，以及视频的非主动性，在不需要人为监督车辆安装压力传感器的安装行为，通过非接触式的视频区监督货车的超载行为，能够加强道路超载监管的范围，加强道路交通超载的整治。

附图说明

图1为发明结构示意图；

图2为实施例流程图。

具体实施方式

如图1所示，为本实施例涉及的一种基于监控视频的货车超载监测系统，包括：车辆目标检测模块、轮胎状态获取模块、载重转换模块、车型识别模块、超载判断模块以及车型数据库，其中：车辆目标检测模块获取视频中的目标货车图像并输出至轮胎状态获取模块，轮胎状态获取模块对轮胎区域进行特征提取得到车身之间的像素距离作为特征并输出至载重转换模块，载重转换模块根据特征和参照物计算轮胎实际形变信息，车型识别模块根据车辆目标检测模块获取目标车辆的图像，然后将图像经过二值化处理，最后对比已有车型数据库车型图像计算货车边缘差值，识别得到目标货车的类型。并通过车型数据库得到车辆核定载重信息后输出至超载判断模块，超载判断模块根据轮胎实际形变信息、车辆核定载重信息判断得到超载结果。

所述的视频中目标的货车图像，通过加权平均将视频中的彩色图像转换成灰度图像，经中值滤波处理去除噪声后通过运动辅助背景差分法和基于二维交叉熵的差分图像目标提取方法得到，具体包括：

①建立一个图像领域N(i,j)：

N(i，j)＝{b(p，q)∈B：i-ε≤p≤i+ε，j-ε≤p≤j+ε}，

其中：ε为窗口大小，N(i,j)为当前像素点，b为坐标为p，q的背景像素点；然后计算当前像素点c(i,j)与临近区域的距离，得到前景图像像素f(i,j)：

在该公式中，添加了低置信度的额外状态，设定了前景图像取值为0.5，介于前景图像和背景图像之间的状态。当取值为1时，判定为前景图像，如果为0判定为背景图像像素。这个中间状态用于指明一个模糊状态用于背景图像建模的更新。

所述的背景图像建模的更新是指：

其中：α为学习率，当前景像素取值为0.5时，不能判断是否是背景图像，根据学习率进行计算背景图。

②根据建立的前景图像，通过设置的背景更新公式b(n+1)，迭代地更新背景图像直至迭代次数达到最大次数，得到背景图像。

③用步骤①得到的当前含有货车的图像减去步骤②得到的背景图像，得到差分图像；

④通过计算步骤③得到的差分图像的二维直方图，对于二维直方图任意阈值矢量(s,t)计算准则函数：

其中：L为直方图中的区域边界，遍历区域边界，计算准则函数，当准则函数的取最小值，确定分割阈值用于目标图像分割，最后通过对获取到的分割后的目标图像进行连通处理将图像中空点闭合得到目标图像。

所述的分割阈值，通过计算准则函数确定，该准则函数的计算式包含二维交叉熵的计算。

所述的特征提取是指：从目标货车图像中获取车辆的轮廓信息并进一步处理得到车辆轮胎的与车身之间的像素距离作为特征，具体包括：

i.通过canny算法检测目标货车图像中的货车边缘信息；

ii.对货车边缘信息进行hough变换实现特征拟合，获取更精细的边缘；

iii.对精细边缘信息进行hough变换确定轮胎的圆心和车身下边界像素坐标。

所述的canny算法利用高斯平滑滤波器来平滑图像以除去噪声，然后采用一阶偏导的有限差分来计算梯度幅值和方向，同时在处理过程中，还将经过一个非极大值抑制的过程，最后采用两个阈值来连接边缘。

所述的hough变换将一个坐标系中的直线和圆映射到另外一个坐标系中的点，通过两个坐标系的转换，可以求出对应的区域，即拟合图像中的直线和圆。

所述的轮胎实际形变信息，通过载重转换模块将特征获取到的车身之间的像素距离中车身下边缘像素点与轮胎的圆心和半径，经坐标转换得到。

所述的参照物优选容易识别的方格形式的斑马线，方格的每个格子都有精确的长度数值。

所述的坐标转换包括：世界坐标与拍摄视频的摄像机坐标的转换、摄像机坐标与理想像平面坐标转换、理想像平面坐标转换与畸变像平面坐标转换以及畸变像平面坐标转换与计算机图像坐标转换。

所述的数值计算式，将得到的图像中车辆下边沿直线：Ax+By+C＝0，和车辆轮胎圆心(x0,y0)，根据点到直线距离公式：

最后通过与之前获取的货车的像素坐标转换，获取实际真实的距离D。

所述的世界坐标，即真实或现实世界坐标系，或全局坐标系，为真实的距离。

所述的摄像机坐标，以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为z轴，与像素行和列平行的x、y轴，建立的三维直角坐标系。

所述的理想像平面坐标，是原点为光轴与像平面的交点，x轴、y轴与摄像机坐标系x、y轴平行的坐标。

所述的畸变像平面坐标，是拍摄过程造成的畸变形成的坐标。

所述的像素坐标，是图像中像素点在像素阵列中的行数和列数，u、v轴与像平面的x、y轴平面平行，原点选取像素阵列的一个角，图形像素坐标转换至世界坐标具体为：

其中：uv为像素坐标，XYZ为射界坐标，A为摄像机的内参数矩阵，由摄像机内部参数确定，R、T为旋转矩阵和平移变量为待标定的摄像机外部参数，Q为常数与图像的透镜畸变有关。

所述的车型识别模块根据目标货车图像进行二值化处理并计算货车边缘差值实现目标货车的类型识别，具体包括：

a.通过背景差分法获取的目标图像的边缘二值化处理，处理后获得的目标图像为：

f(x,y)为输入图像，ε为全局最优阈值法获得的阈值，具体是对差分图像进行二值化处理后统计每幅图像灰度的分布特性，再根据类间类内方差比来确定最优阈值的值。这样获取的图像，尽可能的缩小了目标图像的边缘的图像区域以减小数据的处理量；

b.通过计算目标货车与数据库车型的边缘像素的差值，将差值最小的数据库中的货车识别为目标车辆同一类型的货车，具体为：Diff＝∑|S(i，j)-Ti(i，j)|，其中：Diff为像素差别，S(i,j)为目标图像像素点，Ti(i,j)为货车图像像素点。

所述的车型数据库内置道路上常见的货车的车型信息，该车型信息包括但不限于：货车的轴载信息、核定载重信息和车型的图像信息，同时包括：通过实验测试的不同的货车类型超载时货车车身与轮胎之间标准距离D₀。

所述的车型数据库是额外建立的数据库，其中货车信息是道路数据采集获取的数据，通过统计道路上货车的类型数量，同时结合实际的货车类型信息不断更新并存储在本地的数据库中；货车车身与轮胎之间的标准距离是在实际的道路车辆在额定载重时车身与轮胎之间的距离，是在实际的道路行驶中测量的结果，存储在数据库中，将作为判断车辆是否超载的标准。

所述的超载判断模块是通过前面的模块的数据分析，对比数据判断货车的超载情况。首先获取最后坐标转换模块输出的像素转换成的车身与轮胎的实际距离D，然后与实际生活中的货车正常没有超载的距离D0进行对比，δ＝|D-D0|，如果δ超过正常值，判断货车超载。

表1为本发明效果对比:

本发明提出的基于监控视频的超载检测方法，直接从货车通过的道路的监控视频中，通过分析视频判断货车的超载状态，不需要安装复杂的称重设备或者各类传感器设备。现在的监控设备广泛的普及，能够使得本发明的获取超载状态的方式更加广泛运用。发明通过设置车型数据库，针对不同的货车有不同的测量标准，提高判断的准确度。同时本发明中获取目标车辆的方法采用运动辅助背景减法，有效避免类似于树叶等小物体的扰动影响，更好的提取目标物体。鉴于本发明需要测量精确的距离，轮廓的需要更多细节，这里采用二维交叉熵的方式获取更多轮廓细节，提高测量精确度。

表1

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于监控视频的货车超载监测系统，其特征在于，包括：车辆目标检测模块、轮胎状态获取模块、载重转换模块、车型识别模块、超载判断模块以及车型数据库，其中：车辆目标检测模块获取视频中的目标货车图像并输出至轮胎状态获取模块，轮胎状态获取模块对轮胎区域进行特征提取得到车身之间的像素距离作为特征并输出至载重转换模块，载重转换模块根据特征和参照物计算轮胎实际形变信息，车型识别模块根据车辆目标检测模块获取目标车辆的图像，然后将图像经过二值化处理，最后对比已有车型数据库车型图像计算货车边缘差值，识别得到目标货车的类型，并通过车型数据库得到车辆核定载重信息后输出至超载判断模块，超载判断模块根据轮胎实际形变信息、车辆核定载重信息，对比数据判断货车的超载情况；

所述的对比数据判断货车的超载情况是指：获取最后坐标转换模块输出的像素转换成的车身与轮胎的实际距离D后，与实际生活中的货车正常没有超载的距离D0进行对比，δ＝|D-D0|，当δ超过正常值时判断货车超载；

所述的货车超载监测是指：通过从视频文件中进行车辆目标检测得到目标货车图像，进而对其中的轮胎区域进行特征提取得到车身之间的像素距离作为特征，然后基于特征和参照物计算出轮胎实际形变信息和货车类型，通过车型数据库得到车辆核定载重信息后根据轮胎实际形变信息、车辆核定载重信息判断得到超载结果；

所述的轮胎实际形变信息，通过载重转换模块将特征获取到的车身之间的像素距离中车身下边缘像素点与轮胎的圆心和半径，通过与之前获取的货车的像素坐标转换，获取实际真实的距离D。

2.根据权利要求1所述的基于监控视频的货车超载监测系统，其特征是，所述的目标货车图像，通过加权平均将视频中的彩色图像转换成灰度图像，经中值滤波处理去除噪声后通过运动辅助背景差分法和基于二维交叉熵的差分图像目标提取方法得到，具体包括：

①建立一个图像领域N(i,j)：

N(i，j)＝{b(p，q)∈B:i-ε≤p≤i+ε，j-ε≤p≤j+ε}，

其中：ε为窗口大小，N(i,j)为当前像素点，b为坐标为p，q的背景像素点；然后计算当前像素点c(i,j)与临近区域的距离，得到前景图像像素f(i,j)：

在该公式中，添加了低置信度的额外状态，设定了前景图像取值为0.5，介于前景图像和背景图像之间的状态，当取值为1时，判定为前景图像，当为0判定为背景图像像素，这个中间状态用于指明一个模糊状态用于背景图像建模的更新；

②根据建立的前景图像，通过设置的背景更新公式b(n+1)，迭代地更新背景图像直至迭代次数达到最大次数，得到背景图像；

③用步骤①得到的当前含有货车的图像减去步骤②得到的背景图像，得到差分图像；

④通过计算步骤③得到的差分图像的二维直方图，对于二维直方图任意阈值矢量(s,t)计算准则函数：

其中：L为直方图中的区域边界，遍历区域边界，计算准则函数，当准则函数的取最小值，确定分割阈值用于目标图像分割，最后通过对获取到的分割后的目标图像进行连通处理将图像中空点闭合得到目标图像。

3.根据权利要求2所述的基于监控视频的货车超载监测系统，其特征是，所述的背景图像建模的更新是指：

其中：α为学习率，当前景像素取值为0.5时，不能判断是否是背景图像，根据学习率进行计算背景图。

4.根据权利要求1所述的基于监控视频的货车超载监测系统，其特征是，所述的特征提取是指：从目标货车图像中获取车辆的轮廓信息并进一步处理得到车辆轮胎的与车身之间的像素距离作为特征，具体包括：

i.通过canny算法检测目标货车图像中的货车边缘信息；

ii.对货车边缘信息进行hough变换实现特征拟合，获取更精细的边缘；

iii.对精细边缘信息进行hough变换确定轮胎的圆心和车身下边界像素坐标。

5.根据权利要求1所述的基于监控视频的货车超载监测系统，其特征是，所述的轮胎实际形变信息，通过载重转换模块将特征获取到的车身之间的像素距离中车身下边缘像素点与轮胎的圆心和半径，经坐标转换得到。

6.根据权利要求1所述的基于监控视频的货车超载监测系统，其特征是，所述的参照物采用容易识别的方格形式的斑马线，方格的每个格子都有精确的长度数值。

7.根据权利要求1所述的基于监控视频的货车超载监测系统，其特征是，所述的坐标转换包括：世界坐标与拍摄视频的摄像机坐标的转换、摄像机坐标与理想像平面坐标转换、理想像平面坐标转换与畸变像平面坐标转换以及畸变像平面坐标转换与计算机图像坐标转换。

8.根据权利要求1所述的基于监控视频的货车超载监测系统，其特征是，所述的货车类型，根据目标货车图像进行二值化处理并计算货车边缘差值实现目标货车的类型识别，具体包括：

a.通过背景差分法获取的目标图像的边缘二值化处理，用像素点0为货车图像，1为非货车像素点，同时尽可能缩小目标图像的边缘的图像区域以减小数据的处理量；

b.通过计算目标货车与数据库车型的边缘像素的差值，将差值最小的数据库中的货车识别为目标车辆同一类型的货车，具体为：Diff＝Σ|S(i，j)-Ti(i，j)|，其中：Diff为像素差别，S(i,j)为目标图像像素点，Ti(i,j)为货车图像像素点。

Images