CN114964445A - 基于车辆识别的多模块动态称重方法 - Google Patents

Abstract

本发明公开了一种基于车辆识别的多模块动态称重方法，以嵌入式GPU作为基础的硬件平台，以Yolov3算法作为基础，通过Darknet‑53模型训练采集的车辆数据集，运用NVIDIA提供的TensorRT对得到权重文件推理得到加速模型，经过Yolov3算法处理得到待检测车辆目标的类别信息和位置信息。基于卡尔曼滤波对目标在跟踪帧的状态进行预测，通过匈牙利算法求出使代价成本最小的车框和车轮的分配，来实现对视频中车辆的跟踪配对。运用引射线法来判断识别到的所有车轮信息与它们所对应的车框，车辆类别，车辆编号。由点到直线距离公式和点与射线的相对位置公式，通过每个秤台车块的四个边，求得点在车块的位置，点相对于每个边的距离，确定车框的点、前后轮的点在秤台上具体的位置信息。

Description

基于车辆识别的多模块动态称重方法

技术领域

本发明设计车辆识别与公路车辆动态称重领域，特别是涉及一种基于车辆识别的多模块动态称重方法。

背景技术

目前国内车辆超限超载治理采用传统的动态称重技术，最开始采用的是应变式轴重秤，在基坑中布置传感器以及秤台，当秤台上有车辆经过时，传感器采集到信号，根据该信号分析车辆轴重，最终通过累加轴重得到车辆的总重。然后采用的是应变式轴组秤，该称量方式将联轴当作一个整体进行称量，此时必须增加称台的长度，一般在应用时长度大于4米而小于6米。该称量方式能够改善称量精度，增强算法鲁棒性。接下来发展到采用应变式整车秤，整车秤的称台长度大于16米而小于20米，确保能够准确判别不同车轴，并且区分称台上的不同辆车，在称台前后端各自安装轴识别仪，并且在上称端安装车辆分离器，通过传感器采集信号，分析信号，对于车辆称重数据的处理，尤其是通过传感器信号实现对于秤台上车辆位置的实时跟踪以及车辆轴数的识别。

车辆在行驶中，由于车辆振动以及路面不平整会导致称重传感器信号产生较大的震荡，通常采用传统信号处理方法，并且对于轴信号以及轴数的识别采用容错机制。但是系统在实际场景下，需要面对复杂的道路交通情况，更要面对司机不同的驾驶行为。比如司机的刹车行为，导致车辆在最后一块称重块的下秤端慢慢驶过，使得车辆的轴信号在识别时出错，造成系统的结果发生错误。

因此需要一种可以不借助于称重传感器信号判断秤台上车辆位置以及车辆轴数，并且确保通行效率的车辆超载超限、高速治超、非现执法的治理手段。

发明内容

本发明的目的在于克服上述现有技术不足，针对复杂的道路交通情况以及司机的不同驾驶行为，导致轴信号识别出错，造成系统结果出错。本发明提出了一种不借助于称重传感器信号判断秤台上车辆位置以及车辆轴数，并且确保通行效率的基于车辆识别的多模块动态称重方法。

本发明采用的技术方案如下：

为了实现不借助于称重传感器信号判断秤台上车辆位置以及车辆轴数，以两车道，五车块的秤台为例；

基于车辆识别的多模块动态称重方法，包括以下的步骤：

1)把车辆目标检测当作回归问题，将采集的数据集经过Darknet-53网络模型的训练。对得到的权重文件经过Yolov3算法的处理就能直接得到待检测目标的类别信息和位置信息。通过此算法实现对视频中车辆的检测；

2)通过卡尔曼滤波对目标在跟踪帧的状态进行预测，接下来通过匈牙利算法求出使代价成本最小的车框和车轮的分配，即最优车框车轮，来实现对视频中车辆的跟踪配对；

3)输出车框，车轮，车型，车号信息用作后续位置判断；

4)通过Opencv截取整个秤台图像，对秤台的每个车道和车块进行位置标定，即标记每个交点的像素位置，并记录；

5)将车轮位置信息和车框位置信息对应，通过判断车轮的相对位置找到每个识别的车框对应前后轮；

6)对秤台的每个车道车块的交点，通过两点引一条射线来将其分割成两车道，五车块。假设有点为(x_p,y_p)，射线的头尾两点为(x_l1,y_l1)，(x_l2,y_l2)，得到斜率

由点到射线距离公式：

求得距离，对这个公式加以扩充得到可计算点与射线的相对位置来确定点在射线的左边还是右边的公式：

v＝(y_l1-y_l2)x_p-(x_l1-x_l2)y_p+(x_l1y_l2-x_l2y_l1)

当v>0，点的位置在射线右边；v<0，点的位置在射线左边。通过公式实时计算车框的点、车前后轮的点在秤台上的车道和车块的对应位置，然后得到这一时刻车辆在秤台的位置信息。

7)将得到的具体位置信息传送回传统的动态称重系统进行进一步判断。

本发明是一种基于车辆识别的多模块动态称重系统，解决了复杂的道路交通情况以及司机的不同驾驶行为，导致轴信号识别出错，造成系统结果出错。达到了不借助于称重传感器信号判断秤台上车辆位置以及车辆轴数，并且确保通行效率。

附图说明

图1推理加速流程图；

图2目标检测与跟踪流程图；

图3秤台位置信息标定图；

图4识别到车辆的信息图；

图5详细秤台信息；

图6确定位置信息流程图；

具体实施方式

(1)车辆识别模块

本发明首先通过在国道，高速，试验场架设摄像装置采集录像视频，用来制作训练的数据集。

本发明采用DarkNet-53作为主干网络进行训练，训练得到的权重文件直接在嵌入式并行计算设备或边缘处理器上部署时，用Yolov3算法进行车辆的识别，但无法达到预期的帧率，本发明采用英伟达公司提供的TensorRT进行优化推理，使用推理引擎对模型进行优化加速，通过减小模型的大小达到更快的推理速度。如图1所示。

本发明对得到的目标检测与跟踪算法融合，以达到实时跟踪目标的功能。流程如图2所示，首先提取出监控视频里的每一视频帧，把视频帧图像输入检测模型以检测当前视频帧中车辆目标检测框所在位置及车辆类别，根据置信度进行检测框的筛选，即删去置信度不高的检测框，这里删去置信度低于0.6的检测框，接着使用非极大值抑制筛选这些检测框。接着使用卡尔曼滤波预测当前帧中车辆目标的位置，当视频帧图像中出现检测目标被遮挡时，对于同一时间消失的多个跟踪器，计算当前视频帧中新检测到的车辆目标的外观特征与各个跟踪器已收集的特征向量集间的余弦距离矩阵，基于该矩阵通过匈牙利算法对检测目标和预测结果进行匹配。匹配未成功的跟踪器和检测目标、处于未确认态的跟踪器，使用IOU方式进行匹配。计算跟踪器矩阵，矩阵每行表示跟踪器和各个检测结果之间的IOU距离。成功匹配的跟踪器，需要进行参数更新，并且往跟踪器特征集中加入外观特征。对于匹配未成功的跟踪器，预测了新的目标位置，但是与当前帧中的检测目标匹配不上，判断其具体状态，对不满足确认态进行删除。

该模块可以通过摄像装置和相连的嵌入式并行计算设备或边缘处理器将记录的视频精确的检测出车框，车辆类别和轮子数量。

(2)确定具体位置信息模块

本发明通过摄像装置记录的图像进行秤台车道和车块的标定，如图3所示，将图像的每一块的具体位置信息，即图像上像素点的信息按顺序做上标记并存储在程序中，本发明中的位置信息都是像素点在图像上的坐标(x,y)。

如图4所示，识别会得到车框的左上点位置信息和右下点位置，车轮的左上点位置信息(x₁,y₁)和右下点位置(x₂,y₂)，对识别得到的车框信息，车辆类别，车辆编号，车轮信息，车轮编号进行进一步的处理，首先对提取车轮左下和右下的点的位置信息，计算车轮中心点的位置

车轮压路面的点的位置

通过车框左上右下位置信息，将车框左下右上点的位置信息确认出来。

本发明运用引射线法来判断识别到的所有车轮信息它们所对应的车框，车辆类别，车辆编号来做下一步的判断，其中每一个车框对应一个车辆类别和车辆编号。通过每个车轮的中心点向右边引一条射线，如果和车框交点为奇数则在多边形内，则轮子对应这个车框；若无交点或为偶数则不在多边形内，则轮子不属于这个车框。这样就可以将识别的车框和车轮一对多的对应起来。

接下来只需要车的最前轮和最后轮来判断位置信息，中间的车轮可以舍弃掉，通过计算每个车框中车轮的中心点的相对位置来找到最小值和最大值，即y坐标的最小值和最大值，从而得到需要保留的前轮和后轮。

通过上面的步骤，可以得到车框位置信息，它对应的前后轮压在路面点的位置信息。通过和秤台标定的车道车块具体信息从而得到的横纵的射线来确定它的具体位置信息，秤台信息如图5所示。总体流程如图6所示，假设点为(x_p,y_p)，射线的头尾两点为(x_l1,y_l1)，(x_l2,y_l2)，得到斜率

由点到射线距离公式：

求得距离，对这个公式加以扩充得到可计算点与射线的相对位置来确定点在射线的左边还是右边的公式：

v＝(y_l1-y_l2)x_p-(x_l1-x_l2)y_p+(x_l1y_l2-x_l2y_l1)

当v>0，点的位置在右边；v<0，点的位置在左边。接下来判断车框右下和前车轮压路面的点，以一个点为例，若在纵1射线(通过两点确定一条射线)的左侧，则车辆不在秤台上，不需要接下来的判断；若车框右下和前车轮压路面的点在纵1的右侧，则判断和纵6射线和横1射线，横3射线的位置信息，若在纵6射线的左边，横1射线上边，横3射线下边，则表明在秤台内，进行下一步具体判断，若不满足条件，则不在秤台内；接下来判断点在横2射线的上边还是下边，从而判断出在第几车道，如果在上边，则是第二车道，反之在第一车道；然后从纵1射线到纵6射线依顺序判断点在它们的左边还是右边，如果点在当前射线的右边，而且点在下一个射线的左边，则在这两条射线之间，从而判断出在秤台中的第几车块；接下来通过点到直线的距离公式判断具体的点到横纵射线位置信息，比如如果在第一车道第二车块，则通过公式计算点到横1射线，纵3射线的距离，则可得到具体位置信息。车框左下和后车轮压路面的点以同样的方式计算。若车离得较远可能无法识别出车轮，则用车框左下右下的点为主，若识别出车轮则以前轮后轮压路面的点来确认更加准确的在秤台上的位置信息。

Claims (5)

1.基于车辆识别的多模块动态称重方法，其特征在于，包括以下的步骤：

1)把车辆目标检测当作回归问题，将采集的数据集经过Darknet-53网络模型的训练，对得到的权重文件经过Yolov3算法的处理就能直接得到待检测目标的类别信息和位置信息，通过此算法实现对视频中车辆的检测；

2)通过卡尔曼滤波对目标在跟踪帧的状态进行预测，接下来通过匈牙利算法求出使代价成本最小的车框和车轮的分配，即最优车框车轮，来实现对视频中车辆的跟踪配对；

3)输出车框，车轮，车型，车号信息用作后续位置判断；

4)通过Opencv截取整个秤台图像，对秤台的每个车道和车块进行位置标定，即标记每个交点的像素位置，并记录；

5)将车轮位置信息和车框位置信息对应，通过判断车轮的相对位置找到每个识别的车框对应前后轮；

6)对秤台的每个车道车块的交点，通过两点引一条射线来将其分割成两车道，五车块，假设有点为(x_p,y_p)，射线的头尾两点为(x_l1,y_l1)，(x_l2,y_l2)，得到斜率

由点到射线距离公式：

求得距离，对这个公式加以扩充得到可计算点与射线的相对位置来确定点在射线的左边还是右边的公式：

v＝(y_l1-y_l2)x_p-(x_l1-x_l2)y_p+(x_l1y_l2-x_l2y_l1)

当v>0，点的位置在射线右边；v<0，点的位置在射线左边，通过公式实时计算车框的点、车前后轮的点在秤台上的车道和车块的对应位置，然后得到这一时刻车辆在秤台的位置信息；

7)将得到的具体位置信息传送回传统的动态称重系统进行进一步判断。

2.根据权利要求1所述的基于车辆识别的多模块动态称重方法，其特征在于，所述步骤1)，对公路上的车辆，主要是货车进行数据集的采集与标定，通过Darknet-53网络模型进行训练，得到相应的权重文件，为了部署在嵌入式并行设备或边缘处理器设备，运用Nvidia提供的TensorRT对得到的权重文件模型进行推理加速，之后经过Yolov3算法的处理，得到车轮、不同类型的车辆的类别信息和位置信息。

3.根据权利要求1所述的基于车辆识别的多模块动态称重方法，其特征在于，所述步骤2)，需要将识别到的车辆和摄像中的车辆对应起来，通过跟踪识别的车辆并标号，来匹配当前画面中所有的车辆，首先提取出视频里的每一视频帧，把视频帧图像输入检测模型，检测当前视频帧中车辆目标检测框所在位置及车辆类别，根据置信度进行检测框的筛选，即删去置信度不高的检测框，并进行非极大值抑制删除重复的框，然后使用卡尔曼滤波预测当前帧中车辆目标的位置，通过匈牙利算法对检测目标和预测结果进行匹配，匹配未成功的跟踪器和检测目标、处于未确认态的跟踪器，使用IOU方式进行匹配，成功匹配的跟踪器，需要进行参数更新，并且往跟踪器特征集中加入外观特征，实时跟踪识别视频中不同的车辆，车轮。

4.根据权利要求1所述的基于车辆识别的多模块动态称重方法，其特征在于，所述步骤5)，运用引射线法来判断识别到的所有车轮信息它们所对应的车框，车辆类别，车辆编号来做下一步的判断，其中每一个车框对应一个车辆类别和车辆编号，通过每个车轮的中心点向右边引一条射线，如果和车框交点为奇数则在多边形内，则轮子对应这个车框；若无交点或为偶数则不在多边形内，则轮子不属于这个车框，这样就可以将识别的车框和车轮一对多的对应起来，需要车的最前轮和最后轮来判断位置信息，中间的车轮可以舍弃掉，通过计算每个车框中车轮的中心点的相对位置，来找到最小值和最大值，从而得到需要保留的前轮和后轮。

5.根据权利要求1所述的基于车辆识别的多模块动态称重方法，其特征在于，所述步骤6)，由点到直线距离公式和点与射线的相对位置公式，通过每个秤台车块的四个边，都能求得一点在这个车块的位置，相对于每个边的距离，判断是否在这个车块上，遍历所有的车块，就能确定车框的点，车前后轮的点在秤台上具体的位置信息。

Images