CN113408550B - 基于图像处理的智能称重管理系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于图像处理的智能称重管理系统。该系统包括轨迹获取单元：由车辆信息序列获取侧面图像的初始曲线轨迹；轨迹更新单元：对初始曲线轨迹进行更新得到新曲线轨迹；图像分类单元：根据初始曲线轨迹和新曲线轨迹之间像素点的位置变化进行图像集合分类；对象检测单元：根据不同的图像集合实现对应的目标检测。通过对图像进行分类，能够保证图像数据的准确性和一致性，且能够根据目标检测需求直接调用对应的图像集合，减少了冗余计算，提高图像数据交互的效率。

Description

基于图像处理的智能称重管理系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于图像处理的智能称重管理系统。

背景技术

在车辆的称重过程中，根据车辆位于的不同位置需要选取相应的图像进行处理，例如在车辆上秤前需要关注车辆的车牌信息，车辆上秤时则需要关注车辆的车身移动信息等。在现有技术中通常采用光电门等方式进行触发检测时，该方式下的传感器部署和维护较为复杂，且成本过高；而采用视觉触发的方式进行检测时，需要对连续视频帧图像进行逐帧处理才能确定检测时刻，该方式会导致较多的冗余计算。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的智能称重管理系统，所采用的技术方案具体如下：

本发明实施例提供了一种基于图像处理的智能称重管理系统，该系统包括：

轨迹获取单元，用于获取包含车身和车头的侧面图像，对所述侧面图像中所述车头的角点关键点之间进行相互连接以得到多条连接线；基于图像坐标系，根据所述连接线与坐标轴之间的夹角分别获取两条车头侧边线和两条车头正边线；以所述车头正边线的中心点、所述车头正边线与所述坐标轴之间的夹角、所述车头侧边线之间的长度比值以及称重入口点构建车辆信息序列，以得到所述侧面图像对应的初始曲线轨迹；

轨迹更新单元，用于由相邻所述侧面图像中车辆包围框之间的包围框变化预测子曲线轨迹，基于所述子曲线轨迹对所述初始曲线轨迹进行切分以得到切分曲线轨迹，利用所述子曲线轨迹和所述切分曲线轨迹对所述初始曲线轨迹进行更新得到新曲线轨迹；

图像分类单元，用于由所述初始曲线轨迹和所述新曲线轨迹之间像素点的位置变化得到轨迹参数阈值，结合相邻帧中目标检测区域的面积交并比和所述轨迹参数阈值对所述侧面图像进行图像集合分类；

对象检测单元，用于根据不同的所述图像集合实现对应的目标检测。

优选的，所述轨迹获取单元中根据所述连接线与坐标轴之间的夹角分别获取两条车头侧边线和两条车头正边线的方法，包括：

将与纵轴之间夹角最小的两条所述连接线作为所述车头侧边线，将与横轴之间夹角最小且相互平行的两条所述连接线作为所述车头正边线。

优选的，所述图像分类单元中结合相邻帧中目标检测区域的面积交并比和所述轨迹参数阈值对所述侧面图像进行图像集合分类的方法，包括：

当所述面积交并比大于或等于所述轨迹参数阈值时，将后一帧所述侧面图像保存在前一帧所述侧面图像所在的图像集合；否则由后一帧所述侧面图像构建新图像集合。

优选的，所述轨迹获取单元中所述中心点是指两条所述车头正边线的中心点中最大纵坐标值所对应的。

优选的，所述目标检测包括：车牌、驾驶员与刷卡机的交互以及车轮与称重边界的交互。

优选的，所述轨迹更新单元中基于所述子曲线轨迹对所述初始曲线轨迹进行切分以得到切分曲线轨迹的方法，包括：

根据所述子曲线轨迹和所述初始曲线轨迹之间的长度得到长度因数，由所述长度因数对所述初始曲线轨迹进行切分以得到多个第一曲线轨迹；

将与所述子曲线轨迹距离最近的所述第一曲线轨迹作为所述切分曲线轨迹。

优选的，所述图像分类单元中由所述初始曲线轨迹和所述新曲线轨迹之间像素点的位置变化得到轨迹参数阈值的方法，包括：

在T时间段内，根据每个时刻的所述初始曲线轨迹和对应的所述新曲线轨迹中的多个像素点位置获取每个像素点的第一位置变化；

根据相邻帧之间的所述第一位置变化获取每个像素点的第二位置变化，在所述T时间段内按时间序列将多个像素点的所述第二位置变化构成变化矩阵；

由所述变化矩阵得到所述轨迹参数阈值。

优选的，所述轨迹更新单元中利用所述子曲线轨迹和所述切分曲线轨迹对所述初始曲线轨迹进行更新得到新曲线轨迹的方法，包括：

通过结合遗忘系数和记忆系数对所述初始曲线轨迹进行更新得到所述新曲线轨迹。

本发明实施例至少存在以下有益效果：利用曲线轨迹切分和子曲线轨迹生成的方式，且结合遗忘系数和记忆系数对初始曲线轨迹进行优化以得到准确的新曲线轨迹，进而根据初始曲线轨迹和新曲线轨迹之间像素点的位置变化对图像进行图像集合分类，根据不同的图像集合实现对应目标的检测，这样能够保证图像数据的准确性和一致性，减少了冗余计算，提高图像数据交互的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于图像处理的智能称重管理系统的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的智能称重管理系统，其具体实施方式、结构、特征及其作用，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于图像处理的智能称重管理系统的具体方案。

本发明实施例所针对的具体场景为：道路车辆称重场景下，称重设施附近通常存在高杆，相机部署于高杆上，可覆盖称重设施及称重设施附近场景。

优选的，本发明实施例中相机采用RGB相机且位姿固定。

参照附图1，本发明实施例提供了一种基于图像处理的智能称重管理系统，该系统包括轨迹获取单元10、轨迹更新单元20、图像分类单元30以及对象检测单元40。

轨迹获取单元10用于获取包含车身和车头的侧面图像，对侧面图像中车头的角点关键点之间进行相互连接以得到多条连接线；基于图像坐标系，根据连接线与坐标轴之间的夹角分别获取两条车头侧边线和两条车头正边线；以车头正边线的中心点、车头正边线与坐标轴之间的夹角、车头侧边线之间的长度比值以及称重入口点构建车辆信息序列，以得到侧面图像对应的初始曲线轨迹。

具体的，利用RGB相机采集包含车辆的车头和车身的侧面图像以得到该车辆的视频序列，首先对视频序列中的单帧侧面图像进行粗区域划分：以图像高度的二分之一处划分感兴趣区域，位于图像上方的感兴趣区域为第一粗感知区域，选取车辆完全位于第一粗感知区域的侧面图像为关键帧图像。

将关键帧图像送入车辆信息感知编码器和车辆信息感知解码器，输出车辆关键点热力图，其中，由于车头信息在车身不同位姿下均是可见的，因此车辆关键点为车头的4个角点关键点。将4个角点关键点之间相互连接能够获取六条连接线，基于图像坐标系，将与纵轴之间夹角最小的两条连接线作为车头侧边线，将与横轴之间夹角最小且相互平行的两条连接线作为车头正边线。选择两条车头正边线中最大纵坐标值所对应的中心点（x _s ，y _s ）作为起始点、车头正边线与横轴之间的夹角θ、两条车头侧边线之间的长度比值η作为朝向信息、称重入口点（x _e ，y _e ）作为目标点，进而以中心点（x _s ，y _s ）、夹角θ、长度比值η和称重入口点（x _e ，y _e ）构建车辆信息序列[ x _s ，y _s ，θ，η，x _e ，y _e ]。将单帧关键帧图像和对应的车辆信息序列通过初始轨迹生成编码器和初始轨迹生成解码器得到初始曲线轨迹。

需要说明的是，已知起始点、目标点和朝向信息也可以通过贝塞尔曲线得到曲线轨迹。

轨迹更新单元20用于由相邻侧面图像中车辆包围框之间的包围框变化预测子曲线轨迹，基于子曲线轨迹对初始曲线轨迹进行切分以得到切分曲线轨迹，利用子曲线轨迹和切分曲线轨迹对初始曲线轨迹进行更新得到新曲线轨迹。

具体的，由于利用深度神经网络难以对曲线轨迹进行预测，尤其是距离较长的曲线轨迹，因此初始曲线轨迹的预测并不准确，故，将初始曲线轨迹和对应的时间戳输入轨迹更新单元20，轨迹更新单元20根据初始曲线轨迹的时间戳t选择第t-1帧关键帧图像和第t帧关键帧图像进行处理，以实现初始曲线轨迹的遗忘优化，则优化的方法为：

1）图像处理单元，用于获取包围框变化信息。

将关键帧图像送入语义分割编码器和语义分割解码器，输出语义分割图像，由于车辆包围框包括车身包围框和车头包围框，因此语义分割类别包括车身像素点、车头像素点、道路及其他，分别取车身像素点和车头像素点的最小外接矩形，作为车身包围框和车头包围框。

需要说明的是，由于车身的部分会存在两部分，例如车身侧面和车身上面，因此，本发明实施例只保留一个最大的车身包围框。

由第 t-1帧关键帧图像和第t帧关键帧图像中的车身包围框和车头包围框，获取包围框变化信息，则包围框变化信息包括车身包围框变化为

和车头包围框变化

，其中

为包围框的大小变化，

为包围框的中心点位置变化。

2）轨迹处理单元，用于根据包围框变化信息获取子曲线轨迹和切分曲线轨迹。

将包围框变化信息送入全连接层预测子曲线轨迹，该子曲线轨迹无需由起始点和目标点，而是由当前位置点到最佳预测位置点。通过像素点统计子曲线轨迹的长度，根据子曲线轨迹的长度向下搜索最接近初始曲线轨迹长度的长度因数，由长度因数对初始曲线轨迹进行切分以得到多个第一曲线轨迹，分别计算第一曲线轨迹与子曲线轨迹之间的欧式距离，将与子曲线轨迹距离最近的第一曲线轨迹作为切分曲线轨迹。

3）遗忘单元，用于获取遗忘系数。

对切分曲线轨迹进行切分曲线多项式拟合得到多项式中每项的系数，以构成第一系数序列，其中令多项式的固定项数为k个。将子曲线轨迹、切分曲线轨迹和切分曲线多项式对应的第一系数系列送入第一全连接层，经Sigomid函数输出切分曲线多项式中每项系数的遗忘系数；其中第一全连接层训练时由遗忘单元、记忆单元和预测单元联合监督。

4）记忆单元，用于获取记忆系数。

同理，对子曲线轨迹进行子曲线多项式拟合得到多项式中每项的系数，以构成第二系数序列。将子曲线轨迹、切分曲线轨迹和子曲线多项式对应的第二系数系列送入第二全连接层，经Sigomid函数输出子曲线多项式中每项系数的记忆系数；其中第二全连接层训练时由遗忘单元、记忆单元和预测单元联合监督。

5）预测单元，用于得到更新后的新曲线轨迹。

分别以遗忘系数和记忆系数作为切分曲线多项式和子曲线多项式中每项系数的权重，对其进行加权相加以获得更新后的新曲线轨迹。

将新曲线轨迹、语义分割图像和车身的包围框变化信息作为输入送入包围框预测编码器和包围框预测解码器，输出预测语义分割图，并通过最小外接矩形获取预测包围框；利用预测包围框、遗忘系数和记忆系数构建遗忘单元、记忆单元和预测单元的联合损失函数，则联合损失函数为：L=L _bbox +L _f 。其中，L _f 为遗忘系数和记忆系数的损失，即L _f =|α+β-1|，α为遗忘系数，β为记忆系数；L _bbox 为预测包围框的损失。

需要说明的是，本发明实施例中采用第t+1帧关键帧图像的真实包围框作为标注，以预测包围框与真实包围框的交并比作为预测包围框的损失。

图像分类单元30用于由初始曲线轨迹和新曲线轨迹之间像素点的位置变化得到轨迹参数阈值，结合相邻帧中目标检测区域的面积交并比和轨迹参数阈值对侧面图像进行图像集合分类。

具体的，由于上述轨迹更新单元20采用切分的方式对初始曲线轨迹进行更新，则各时刻对于曲线轨迹的更新位置不同，且会存在位置的重复更新。以初始曲线轨迹的起始点为起点，标记初始曲线轨迹有N个像素点，在T时间段内选取各时刻对应的初始曲线轨迹所包含的像素点数量的最大值作为N，则第n个像素点的位置变化可通过其邻域表示，即首先根据第t-1帧关键帧图像的初始曲线轨迹和对应的新曲线轨迹得到第n个像素点的第一位置变化，同理根据第t帧关键帧图像的初始曲线轨迹和对应的新曲线轨迹得到第n个像素点的第一位置变化，进而根据第 t-1帧中第n个像素点的第一位置变化和第t帧中第n个像素点的第一位置变化得到第n个像素点的第二位置变化，在T时间段内按时间序列将N个像素点的第二位置变化信息构成变化矩阵，该变化矩阵的尺寸为（T-1）*N，将该变化矩阵送入归集参数编码器和全连接层，输出轨迹参数的预测值。

将关键帧图像中的曲线轨迹信息和车辆的包围框信息分别作为输入送入ROI提取第一编码器和ROI提取第二编码器，并进行特征张量联合，通过ROI提取解码器输出ROI区域，该ROI区域是指目标检测区域，目标检测区域用于确定车辆位于不同位置时的目标检测，该目标检测包括：在车辆未达到称重区域时，目标检测为车牌；当车辆到达称重区域时刻，目标检测为驾驶员与刷卡机的交互；当车辆在称重过程期间时，目标检测为车轮与称重边界的交互等。

以轨迹参数的预测值作为轨迹参数阈值，计算相邻两帧中目标检测区域的面积交并比，当面积交并比大于或等于轨迹参数阈值时，将后一帧关键帧图像保存在前一帧关键帧图像所在的图像集合；否则由后一帧关键帧图像构建新图像集合，进而对视频序列中的所有关键帧图像进行图像分类以得到多个图像集合。

对象检测单元40用于根据不同的图像集合实现对应的目标检测。

具体的，根据客户端需求调用对应的图像集合以实现对应目标的检测，例如将目标检测为车牌的图像集合送入车牌识别单元，该车牌识别单元通过光学字符识别以实现车牌检测；将目标检测为交互情况的图像集合送入交互检测单元，该交互检测单元可以通过i-CAN网络实现交互情况的检测。

综上所述，本发明实施例提供了一种基于图像处理的智能称重系统，该系统在轨迹获取单元10根据采集的侧面图像获取车辆信息序列以得到侧面图像对应的初始曲线轨迹；在轨迹更新单元20根据相邻侧面图像中车辆包围框之间的包围框变化预测子曲线轨迹，基于子曲线轨迹对初始曲线轨迹进行切分以得到切分曲线轨迹，利用子曲线轨迹和切分曲线轨迹对初始曲线轨迹进行更新得到新曲线轨迹；在图像分类单元30由初始曲线轨迹和新曲线轨迹之间像素点的位置变化对侧面图像进行图像集合分类；在对象检测单元40根据不同的图像集合实现对应的目标检测。利用曲线轨迹切分和子曲线轨迹生成的方式，且结合遗忘系数和记忆系数对初始曲线轨迹进行优化以得到准确的新曲线轨迹，进而根据初始曲线轨迹和新曲线轨迹之间像素点的位置变化对图像进行图像集合分类，根据不同的图像集合实现对应目标的检测，这样能够保证图像数据的准确性，提高图像数据交互的效率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于图像处理的智能称重管理系统，其特征在于，该系统包括：

轨迹获取单元，用于获取包含车身和车头的侧面图像，对所述侧面图像中所述车头的角点关键点之间进行相互连接以得到多条连接线；基于图像坐标系，根据所述连接线与坐标轴之间的夹角分别获取两条车头侧边线和两条车头正边线，将与纵轴之间夹角最小的两条所述连接线作为所述车头侧边线，将与横轴之间夹角最小且相互平行的两条所述连接线作为所述车头正边线；以两条所述车头正边线中最大纵坐标值所对应的中心点、所述车头正边线与所述坐标轴之间的夹角、所述车头侧边线之间的长度比值以及称重入口点构建车辆信息序列，将单帧所述侧面图像和对应的所述车辆信息序列通过初始轨迹生成编码器和初始轨迹生成解码器得到对应的初始曲线轨迹；选择两条所述车头正边线中最大纵坐标值所对应的中心点作为所述初始曲线轨迹的起点、所述称重入口点为所述初始曲线轨迹的终点；

轨迹更新单元，用于由相邻所述侧面图像中车辆包围框之间的包围框变化预测子曲线轨迹，所述相邻所述侧面图像是根据初始曲线轨迹的时间戳t选择第t-1帧关键帧图像和第t帧关键帧图像获得的；基于所述子曲线轨迹对所述初始曲线轨迹进行切分以得到切分曲线轨迹，利用所述子曲线轨迹和所述切分曲线轨迹对所述初始曲线轨迹进行更新得到新曲线轨迹；所述切分曲线轨迹的获取方法包括：根据所述子曲线轨迹和所述初始曲线轨迹之间的长度得到长度因数，由所述长度因数对所述初始曲线轨迹进行切分以得到多个第一曲线轨迹，将与所述子曲线轨迹距离最近的所述第一曲线轨迹作为所述切分曲线轨迹；

图像分类单元，用于由所述初始曲线轨迹和所述新曲线轨迹之间像素点的位置变化得到轨迹参数阈值，结合相邻帧中目标检测区域的面积交并比和所述轨迹参数阈值对所述侧面图像进行图像集合分类；所述目标检测区域用于确定车辆位于不同位置时的目标检测，该目标检测包括：在车辆未达到称重区域时，目标检测为车牌；当车辆到达称重区域时刻，目标检测为驾驶员与刷卡机的交互；当车辆在称重过程期间时，目标检测为车轮与称重边界的交互；

对象检测单元，用于根据不同的所述图像集合实现对应的目标检测；

所述图像分类单元中由所述初始曲线轨迹和所述新曲线轨迹之间像素点的位置变化得到轨迹参数阈值的方法，包括：

在T时间段内，根据每个时刻的所述初始曲线轨迹和对应的所述新曲线轨迹中的多个像素点位置获取每个像素点的第一位置变化；

根据第t-1帧中第n个像素点的第一位置变化和第t帧中第n个像素点的第一位置变化得到第n个像素点的第二位置变化，在所述T时间段内按时间序列将多个像素点的所述第二位置变化构成变化矩阵；

由所述变化矩阵得到所述轨迹参数阈值；

所述图像分类单元中结合相邻帧中目标检测区域的面积交并比和所述轨迹参数阈值对所述侧面图像进行图像集合分类的方法，包括：

当所述面积交并比大于或等于所述轨迹参数阈值时，将后一帧所述侧面图像保存在前一帧所述侧面图像所在的图像集合；否则由后一帧所述侧面图像构建新图像集合。

2.如权利要求1所述的系统，其特征在于，所述轨迹更新单元中利用所述子曲线轨迹和所述切分曲线轨迹对所述初始曲线轨迹进行更新得到新曲线轨迹的方法，包括：

通过结合遗忘系数和记忆系数对所述初始曲线轨迹进行更新得到所述新曲线轨迹。

Images