CN113158725B - 一种综合性工程车辆施工动作判断方法 - Google Patents

Abstract

本发明提供了一种综合性工程车辆施工动作判断方法，其硬件设施包括位于道路旁及各个场地的监控摄像头，全部监控摄像头均通过网络连接后台服务器，判断方法包括以下步骤：1)、目标获取：将监控摄像头所拍摄的画面输入后台服务器，启动检测算法，开始输出画面上的目标；2)、目标追踪：此时监控摄像头的视角固定不变，启动追踪算法对画面中移动和/或静止的目标进行追踪，根据追踪结果判断目标是否发生位移，并将同一目标的检测结果归类；3)、序列标准化：目标检测的结果图片大小尺寸不唯一，将图片尺寸标准化为设定图像，设定图像为224×224方形图像；4)、工程机械的施工动作分析；5)、报警触发。本发明增加施工动作分析算法，减少误报几率。

Description

一种综合性工程车辆施工动作判断方法

技术领域

本发明属于连续视频帧识别技术领域，特别是一种综合性工程车辆施工动作判断方法。

背景技术

随着油气管线、光线输送线路埋设网逐渐丰富，对埋设区域实施监控保护，需要及时发 现违法施工并进行预警变得尤为重要。对于这类施工的管控与预警，智能化无人值守的重点 应该集中在可能造成较大破坏的大型工程车辆方面。

CN111967377A工程车辆状态识别方法、装置、设备及存储介质：根据目标视频确定目标 区域对应的道路场景；若道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获 得工程车辆识别结果；根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状 态。这一发明中主要依靠背景、工程车数量等因素，由人为规定的工程车数量阈值及场景模 型来确定工程车工作状态，判断可靠性较低。

CN111666989A工程车辆和物体识别方法：使用两层采集装置，分别采集集位置参数、运 行参数及图像参数；并使用采集数据构建线性集成模型；根据线性集成模型进行隶属度计算， 输出识别结果，实现了不同类别的特征元素通过线性集成方法融合后进行隶属度计算，有利 于提高隶属度计算结果的准确性，提高物体识别的准确度，提高车辆对交通环境感知能力的 准确性。此方法充分利用了雷达和视觉传感器采集的数据，可用于识别周边工程车辆及物体， 但是方法偏重于依靠雷达探测距离来判断移动等状态，对于车辆种类、具体施工动作等详细 信息判别不够精确。

CN107679495B一种输电线路周边活动工程车辆的检测方法，此方法训练了一个用于识别 工程车辆的卷积神经网络模型，在检测图片中的工程车辆时通过图像差分得到候选检测区域， 然后在超像素分割的基础上对候选检测区域进行合并生长，得到最终的候选检测区域，最后 将候选区域输入训练好的神经网络进行分类，并将分类为工程车辆的区域进行标记示警。此 方法通过两步目标检测方法，实现了工程车辆的检测和识别，但是未涉及工程车辆施工动作 检测。

目前的技术方案方法采用了多种传感器与神经网络算法，但是对工程车辆的监控预警大 多局限于工程车辆的入侵、移动检测方面，在检测到工程车辆时即时触发报警，很容易将正 常停放、途径路过、甚至被动运输过程中的工程车辆检测为非法施工目标，造成大量误报。

发明内容

本发明的目的是针对现有的技术存在上述问题，提出了一种增加目标追踪算法对连续帧 中的目标区分归类，并增加施工动作分析算法，提取连续帧的时空特征，最终输出工程车辆 目标是否施工动作的综合性工程车辆施工动作判断方法。

本发明的目的可通过下列技术方案来实现：一种综合性工程车辆施工动作判断方法，其 硬件设施包括位于道路旁及各个场地的监控摄像头，全部监控摄像头均通过网络连接后台服 务器，判断方法包括以下步骤：

1)、目标获取：将全部监控摄像头所拍摄的画面输入后台服务器，启动检测算法，开始 输出画面上的目标；

2)、目标追踪：此时监控摄像头的视角固定不变，启动追踪算法对画面中移动和/或静止 的目标进行追踪，根据追踪结果判断目标是否发生位移；

3)、序列标准化：目标检测的结果图片大小尺寸不唯一，将图片尺寸标准化为设定图像， 设定图像为224×224方形图像；

4)、工程机械的施工动作分析：寻找设定图像的前后帧之间是否存在关键性差异，使用 帧融合特征提取的方式，对连续目标图像提取时空特征并进行是否作业的判断，具体算法如 下：

4a)、输入单目标工程车图像序列尺寸定义为c×l×h×w，c是通道数，在施工动作分析 算法中固定为3，代表RGB三个颜色通道，l是序列的帧数长度，算法中固定为12，h和w分 别是帧的高度和宽度，均固定为224，使用二维空间特征提取网络对输入的单目标工程车图 像序列进行特征提取，最终得到12个1024维特征向量：

liner_data＝2DEncoder(inputs),inputs∈R^{3×12×224×224}，liner_data∈R^12×2048

式中2DEncoder(·)表示二维空间特征提取操作，对12帧3×224×224的图像矩阵分别 进行特征提取，将每一帧图像的有效信息压缩在1024维向量中，进一步轻量化时空特征提取 网络；

4b)、使用一个学习嵌入向量输入构建顺序编码向量，将上一步中整理出的12个特征向 量与顺序编码向量pos_embeding相加作为编码器输入：

liner_data₁＝liner_data+pos_embeding，liner_data₁∈R^13×2048

顺序编码向量pos_embeding经过数据训练后，有助于后续时间特征提取时权重评估；

4c)、针对每一组输入，通过两个不同的编码过程构建两组u,v数据向量，两个编码过程 的参数均为学习参数，经过训练后，线性编码得到进一步提炼的检索基准向量矩阵u，数据 编码得到数据内容矩阵v：

u＝linerEncoder(liner_data₁),u∈R^8×13×128

v＝dataEncoder(liner_data₁),v∈R^8×13×128

使用点乘方式比较矩阵u内部向量之间的相似度，矩阵u,u^T相乘并归一化，对相似度结 果使用组合分类，并点乘数据内容矩阵v，得到每一帧及与其相关性较大帧的融合特征：

其中，T表示矩阵转置操作，maxsort(·)表示组合分类，将被操作矩阵数据对比度增大； 组合分类结果与数据内容矩阵点乘，可以按照相关性结果给矩阵v加权，最终输出的结果为 每一帧与其他帧的关联特征组合；

4d)、为避免训练中帧融合过程梯度消失，故引入残差，将未融合特征与融合特征加权相 加，获得帧融合网络的时空特征输出：

x_out₂＝liner_data₁+x_out₁,x_out₂∈R^13×2048；

4e)、引入残差后的输出特征进行过滤，去掉因相加操作造成的矩阵值跳变，使用后置特 征过滤网络，进行两次线性过滤：

x_out＝max(0,x_out₂·w₁+b₁)w₂+b₂,x_out∈R^13×2048；

4f)、获得全帧融合特征维度为13×2048，而后进行一次一维映射，并使用组合分类器 给出最终分类结果：

fin_out＝maxsort(fc(x_out))

最终得到的分类结果仅为二分类，即存在施工动作或不存在施工动作；

5)、报警触发：综合利用追踪算法及施工动作分析算法的分析结果，对工程车辆进入管 线埋设区域、途径路过、停放、危险施工各种状态作出判断，根据使用者设定的危险等级发 出预警信号，及时阻止可能危害管线设施的违法施工行为。

本综合性工程车辆施工动作判断方法中，检测算法、追踪算法属于现有技术，故在此不 进行详细说明。

本综合性工程车辆施工动作判断方法，在使用神经网络算法检测工程车辆的基础上，增 加目标追踪算法对连续帧中的目标区分归类，并增加施工动作分析算法，提取连续帧的时空 特征，最终输出工程车辆目标是否在进行施工动作的判断。该方法使用多段算法流水线模式， 对监控防护区域的工程车辆正常停放、违法施工、途径路过等状态作出判断，根据使用者设 定的危险等级发出预警信号，及时阻止可能危害管线设施的工程施工行为，同时减少误报。

在上述的综合性工程车辆施工动作判断方法中，在步骤2)中，追踪算法将监控摄像头 视角固定时长内检测出的目标逐个区分开，按照时间顺序排序后将每个目标的连续检测图片 输入施工动作分析算法得出追踪结果。

在上述的综合性工程车辆施工动作判断方法中，在步骤3)中，224×224方形图像计算 如下：

mnorm＝m×224/max(m,n)；nnorm＝n×224/max(m,n)；

式中m,n为原始图片宽高，mnorm，nnorm为标准化后的图片宽高；对不足112长度的部 分画面进行补黑。

在上述的综合性工程车辆施工动作判断方法中，在步骤4)中，帧融合特征的提取操作 运算量与输入帧的大小正相关，为了减轻帧融合特征的提取运算量，首先逐帧提取二维特征 信息，再使用强化特征关联的方式融合连续帧的时空特征。由此在保证判断效果的前提下，减少直接提取多帧信息的复杂运算，提升算法效率。

在上述的综合性工程车辆施工动作判断方法中，在步骤4)中，关键性差异具体指挖掘 机挖斗动作或叉车前叉升降动作。还包括其它工程车辆的工作动作，在此不进行一一列举。

在上述的综合性工程车辆施工动作判断方法中，在步骤4c)中，由于在特征输入前增加 一维顺序编码向量pos_embeding，在该步运算中，帧融合特征提取同时获取顺序特征提取，为时间特征提取增加权重辅助。

与现有技术相比，本综合性工程车辆施工动作判断方法具有以下有益效果：

本方法在工程车辆检测系统的基础上，增加了目标追踪模块和施工动作判断方法，共同 架构形成一种综合性工程车辆施工动作判断方法，进一步提升了监控视频内容分析能力，让 前端算法可以分辨出工程车的工作状态，决定是否触发危险告警，有效过滤非违法情况，减 少误报几率。系统可根据使用者设定的危险等级发出预警信号，及时阻止可能危害管线设施 的工程施工行为。

附图说明

图1是本发明的目标检测及目标追踪算法获得同一目标连续帧序列的流程框图。

图2是本发明的施工动作分析方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：

如图1和图2所示，本综合性工程车辆施工动作判断方法，其硬件设施包括位于道路旁 及各个场地的监控摄像头，全部监控摄像头均通过网络连接后台服务器，判断方法包括以下 步骤：

1)、目标获取：将全部监控摄像头所拍摄的画面输入后台服务器，启动检测算法，开始 输出画面上的目标；

2)、目标追踪：此时监控摄像头的视角固定不变，启动追踪算法对画面中移动和/或静止 的目标进行追踪，根据追踪结果判断目标是否发生位移；

3)、序列标准化：目标检测的结果图片大小尺寸不唯一，将图片尺寸标准化为设定图像， 设定图像为224×224方形图像；

4)、工程机械的施工动作分析：寻找设定图像的前后帧之间是否存在关键性差异，使用 帧融合特征提取的方式，对连续目标图像提取时空特征并进行是否作业的判断，具体算法如 下：

4a)、输入单目标工程车图像序列尺寸定义为c×l×h×w，c是通道数，在施工动作分析 算法中固定为3，代表RGB三个颜色通道，l是序列的帧数长度，算法中固定为12，h和w分 别是帧的高度和宽度，均固定为224，使用二维空间特征提取网络对输入的单目标工程车图 像序列进行特征提取，最终得到12个1024维特征向量：

liner_data＝2DEncoder(inputs),inputs∈R^{3×12×224×224}，liner_data∈R^12×2048

式中2DEncoder(·)表示二维空间特征提取操作，对12帧3×224×224的图像矩阵分别 进行特征提取，将每一帧图像的有效信息压缩在1024维向量中，进一步轻量化时空特征提取 网络；

4b)、使用一个学习嵌入向量输入构建顺序编码向量，将上一步中整理出的12个特征向 量与顺序编码向量pos_embeding相加作为编码器输入：

liner_data₁＝liner_data+pos_embeding，liner_data₁∈R^13×2048

顺序编码向量pos_embeding经过数据训练后，有助于后续时间特征提取时权重评估；

4c)、针对每一组输入，通过两个不同的编码过程构建两组u,v数据向量，两个编码过程 的参数均为学习参数，经过训练后，线性编码得到进一步提炼的检索基准向量矩阵u，数据 编码得到数据内容矩阵v：

u＝linerEncoder(liner_data₁),u∈R^8×13×128

v＝dataEncoder(liner_data₁),v∈R^8×13×128

使用点乘方式比较矩阵u内部向量之间的相似度，矩阵u,u^T相乘并归一化，对相似度结 果使用组合分类，并点乘数据内容矩阵v，得到每一帧及与其相关性较大帧的融合特征：

其中，T表示矩阵转置操作，maxsort(·)表示组合分类，将被操作矩阵数据对比度增大； 组合分类结果与数据内容矩阵点乘，可以按照相关性结果给矩阵v加权，最终输出的结果为 每一帧与其他帧的关联特征组合；

4d)、为避免训练中帧融合过程梯度消失，故引入残差，将未融合特征与融合特征加权相 加，获得帧融合网络的时空特征输出：

x_out₂＝liner_data₁+x_out₁,x_out₂∈R^13×2048；

4e)、引入残差后的输出特征进行过滤，去掉因相加操作造成的矩阵值跳变，使用后置特 征过滤网络，进行两次线性过滤：

x_out＝max(0,x_out₂·w₁+b₁)w₂+b₂,x_out∈R^13×2048；

4f)、获得全帧融合特征维度为13×2048，而后进行一次一维映射，并使用组合分类器 给出最终分类结果：

fin_out＝maxsort(fc(x_out))

最终得到的分类结果仅为二分类，即存在施工动作或不存在施工动作；

5)、报警触发：综合利用追踪算法及施工动作分析算法的分析结果，对工程车辆进入管 线埋设区域、途径路过、停放、危险施工各种状态作出判断，根据使用者设定的危险等级发 出预警信号，及时阻止可能危害管线设施的违法施工行为。

本综合性工程车辆施工动作判断方法，在使用神经网络算法检测工程车辆的基础上，增 加目标追踪算法对连续帧中的目标区分归类，并增加施工动作分析算法，提取连续帧的时空 特征，最终输出工程车辆目标是否在进行施工动作的判断。该方法使用多段算法流水线模式， 对监控防护区域的工程车辆正常停放、违法施工、途径路过等状态作出判断，根据使用者设 定的危险等级发出预警信号，及时阻止可能危害管线设施的工程施工行为，同时减少误报。

在步骤2)中，追踪算法将监控摄像头视角固定时长内检测出的目标逐个区分开，按照 时间顺序排序后将每个目标的连续检测图片输入施工动作分析算法得出追踪结果。

在步骤3)中，224×224方形图像计算如下：

mnorm＝m×224/max(m,n)；nnorm＝n×224/max(m,n)；

式中m,n为原始图片宽高，mnorm，nnorm为标准化后的图片宽高；对不足112长度的部 分画面进行补黑。

在步骤4)中，帧融合特征的提取操作运算量与输入帧的大小正相关，首先逐帧提取二 维特征信息，再使用强化特征关联的方式融合连续帧的时空特征。由此在保证判断效果的前 提下，减少直接提取多帧信息的复杂运算，提升算法效率。

在步骤4)中，关键性差异具体指挖掘机挖斗动作或叉车前叉升降动作。还包括其它工 程车辆的工作动作，在此不进行一一列举。

在步骤4c)中，由于在特征输入前增加一维顺序编码向量pos_embeding，在该步运算 中，帧融合特征提取同时获取顺序特征提取，该顺序特征即为时间特征。

与现有技术相比，本综合性工程车辆施工动作判断方法具有以下有益效果：

本方法在工程车辆检测系统的基础上，增加了目标追踪模块和施工动作判断方法，共同 架构形成一种综合性工程车辆施工动作判断方法，进一步提升了监控视频内容分析能力，让 前端算法可以分辨出工程车的工作状态，决定是否触发危险告警，有效过滤非违法情况，减 少误报几率。系统可根据使用者设定的危险等级发出预警信号，及时阻止可能危害管线设施 的工程施工行为。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的 技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护 范围。

Claims (5)

1.一种综合性工程车辆施工动作判断方法，其硬件设施包括位于道路旁及各个场地的监控摄像头，全部监控摄像头均通过网络连接后台服务器，其特征在于，判断方法包括以下步骤：

1)、目标获取：将全部监控摄像头所拍摄的画面输入后台服务器，启动检测算法，开始输出画面上的目标；

2)、目标追踪：此时监控摄像头的视角固定不变，启动追踪算法对画面中移动和/或静止的目标进行追踪，根据追踪结果判断目标是否发生位移；

3)、序列标准化：目标检测的结果图片大小尺寸不唯一，将图片尺寸标准化为设定图像，设定图像为224×224方形图像；

4)、工程机械的施工动作分析：寻找设定图像的前后帧之间是否存在关键性差异，使用帧融合特征提取的方式，对连续目标图像提取时空特征并进行是否作业的判断，具体算法如下：

4a)、输入单目标工程车图像序列尺寸定义为c×l×h×w，c是通道数，在施工动作分析算法中固定为3，代表RGB三个颜色通道，l是序列的帧数长度，算法中固定为12，h和w分别是帧的高度和宽度，均固定为224，使用二维空间特征提取网络对输入的单目标工程车图像序列进行特征提取，最终得到12个1024维特征向量：

liner_data＝2DEncoder(inputs),inputs∈R^{3×12×224×224}，liner_data∈R^12×2048

式中2DEncoder(·)表示二维空间特征提取操作，对12帧3×224×224的图像矩阵分别进行特征提取，将每一帧图像的有效信息压缩在1024维向量中，进一步轻量化时空特征提取网络；

4b)、使用一个学习嵌入向量输入构建顺序编码向量，将上一步中整理出的12个特征向量与顺序编码向量pos_embeding相加作为编码器输入：

liner_data₁＝liner_data+pos_embeding，liner_data₁∈R^13×2048

顺序编码向量pos_embeding经过数据训练后，有助于后续时间特征提取时权重评估；

4c)、针对每一组输入，通过两个不同的编码过程构建两组u,v数据向量，两个编码过程的参数均为学习参数，经过训练后，线性编码得到进一步提炼的检索基准向量矩阵u，数据编码得到数据内容矩阵v：

u＝linerEncoder(liner_data₁),u∈R^8×13×128

v＝dataEncoder(liner_data₁),v∈R^8×13×128

使用点乘方式比较矩阵u内部向量之间的相似度，矩阵u,u^T相乘并归一化，对相似度结果使用组合分类，并点乘数据内容矩阵v，得到每一帧及与其相关性较大帧的融合特征：

其中，T表示矩阵转置操作，maxsort(·)表示组合分类，将被操作矩阵数据对比度增大；组合分类结果与数据内容矩阵点乘，可以按照相关性结果给矩阵v加权，最终输出的结果为每一帧与其他帧的关联特征组合；

4d)、为避免训练中帧融合过程梯度消失，故引入残差，将未融合特征与融合特征加权相加，获得帧融合网络的时空特征输出：

x_out₂＝liner_data₁+x_out₁,x_out₂∈R^13×2048；

4e)、引入残差后的输出特征进行过滤，去掉因相加操作造成的矩阵值跳变，使用后置特征过滤网络，进行两次线性过滤：

x_out＝max(0,x_out₂·w₁+b₁)w₂+b₂,x_out∈R^13×2048；

4f)、获得全帧融合特征维度为13×2048，而后进行一次一维映射，并使用组合分类器给出最终分类结果：

fin_out＝maxsort(fc(x_out))

最终得到的分类结果仅为二分类，即存在施工动作或不存在施工动作；

5)、报警触发：综合利用追踪算法及施工动作分析算法的分析结果，对工程车辆进入管线埋设区域、途径路过、停放、危险施工各种状态作出判断，根据使用者设定的危险等级发出预警信号，及时阻止可能危害管线设施的违法施工行为。

2.如权利要求1所述的综合性工程车辆施工动作判断方法，其特征在于，在步骤2)中，追踪算法将监控摄像头视角固定时长内检测出的目标逐个区分开，按照时间顺序排序后将每个目标的连续检测图片输入施工动作分析算法得出追踪结果。

3.如权利要求1所述的综合性工程车辆施工动作判断方法，其特征在于，在步骤4)中，帧融合特征的提取操作运算量与输入帧的大小正相关，首先逐帧提取二维特征信息，再使用强化特征关联的方式融合连续帧的时空特征。

4.如权利要求1所述的综合性工程车辆施工动作判断方法，其特征在于，在步骤4)中，关键性差异具体指挖掘机挖斗动作或叉车前叉升降动作。

5.如权利要求1所述的综合性工程车辆施工动作判断方法，其特征在于，在步骤4c)中，由于在特征输入前增加一维顺序编码向量pos_embeding，在该步运算中，帧融合特征提取同时获取顺序特征提取。

Images