CN106650622B - 基于混合lbf形状回归模型的挖掘机工作状态识别方法 - Google Patents

Abstract

本发明公开了一种基于混合LBF形状回归模型的挖掘机工作状态识别方法，包括以下步骤：1）训练挖掘机的混合LBF形状回归模型，并使用此模型来预测输入视频帧中挖掘机的形状（即特征点的相对坐标的集合）；2）根据这些特征点的坐标以及检测到的挖掘机的长宽比，计算挖掘机工作状态特征描述子；3）使用SVM分类器判断当前挖掘机的工作状态——工作状态或者非工作状态。本发明提出的基于混合LBF形状回归模型的挖掘机工作状态识别方法，可对土地间的挖掘机工作状态进行准确地自动识别，为建筑工地施工现场监测提供了智能化手段。

Description

基于混合LBF形状回归模型的挖掘机工作状态识别方法

技术领域

本发明涉及智能视频分析技术领域，更具体地，涉及一种基于混合LBF(LocalBinary Features，局部二值特征)形状回归模型的挖掘机工作状态识别方法。

背景技术

我国土地资源日益严峻，各类违法用地案件也呈多发频发态势，国土资源部高度重视土地执法监察工作。2011年，国土资源部在15个地级市、县(市、区)开展土地视频监控试点，对重点违法用地易发区域进行了视频监控。挖掘机是工程建设中最主要的工程机械之一，土地间的挖掘机工作状态的准确自动识别，是及时发现违法用地现象的重要手段。另外，挖掘机工作状态的自动识别，可为工程项目管理人员及时提供施工现场的重要管理信息。

对于挖掘机工作状态监控，中国专利公开了“一种挖掘机工作状态远程监控装置”(专利公开号：CN201716836U)，提供了一种使用角速度传感器监控挖掘机工作状态的远程监控装置；“一种基于图像的露天矿挖掘机装车过程的监控方法和装置”(专利公开号：CN102244771B)，利用DSP对接收到的数字图像信息和角度测量信息进行对比、匹配处理和计算，得出相应的监控结果。这些专利均需利用角速度传感器采集挖掘机关键的角度，不仅要增加挖掘机硬件装置，而且在违法用地监控等应用中由于施工者逃避监测难以获取挖掘机角速度传感器的信息。因此，提供一种利用智能视频分析自动识别挖掘机工作状态的方法是非常有必要的。

近年，LBF形状回归模型在人脸关键点检测、人脸对齐中越来越显现出其优越性。如，一种基于LBP的人脸特征提取方法及装置(CN 103761515A)，一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法(CN104298963A)、一种基于级联回归的人脸关键点定位方法(CN103824050A)。而LBF形状回归模型在其它目标对象特征点检测的研究目前极少。

发明内容

本发明的目的在于提出一种基于混合LBF形状回归模型的挖掘机工作状态识别方法。本发明是利用混合LBF形状回归模型预测挖掘机形状(即特征点的相对坐标的集合)，计算挖掘机工作状态特征描述子，用SVM分类器进行二分类，从而判断出当前挖掘机的工作状态——工作状态或者非工作状态。

为了实现上述目的，本发明的技术方案为：

一种基于混合LBF形状回归模型的挖掘机工作状态识别方法，包括以下步骤：

S1.训练一个混合LBF形状回归模型，并使用此模型来预测输入视频帧中挖掘机的形状(即特征点的相对坐标的集合)；

S2.根据挖掘机的长宽比及S1获得的特征点坐标，计算挖掘机工作状态特征描述子；

S3.利用SVM分类器识别挖掘机的工作状态——工作状态或者非工作状态。

本发明将LBF形状回归模型引入挖掘机特征点检测中，进而提出基于混合LBF形状回归模型的挖掘机工作状态识别方法，对提高挖掘机等施工机械智能化监管水平意义重大。

优选地，所述步骤S1具体为：1)计算该挖掘机的长宽比，根据长宽比把挖掘机分为N类，将该挖掘机归一化到该类挖掘机对应的尺寸SIZE；2)分别针对每一类挖掘机训练相应的LBF_n(n＝1,2,…，N)模型，形成混合LBF形状回归模型；3)使用该混合LBF模型，对输入视频中的挖掘机进行形状S*预测。

优选地，所述步骤S2具体为1)根据两帧关键帧图像中挖掘机的长宽比WHRatio₀和WHRatio₁，计算挖掘机长宽比的变化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；2)依据S1中获得的特征点，计算反应回转臂、铲斗柱、铲斗和机身旋转四种因素变化的关键夹角变化ΔAngle；3)将长宽比的变化ΔWHRatio和夹角的变化ΔAngle串联起来作为挖掘机工作状态的特征描述子MMF(Machine Motion Feature)，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘机的运动特征。

优选地，所述步骤S4具体为：使用SVM的方法进行二分类，从而判断出当前挖掘机的工作状态——工作状态或者非工作状态。

本发明的有益效果是：

1、本发明将用于人脸对齐的LBF形状回归模型引入挖掘机工作状态识别，通过对视频帧中挖掘机的形状(即特征点的相对坐标的集合)预测，为挖掘机工作状态的特征描述子构建提供精确的信息，也为感兴趣目标运动分析提供新的解决方法。

2、本发明能对土地间的挖掘机工作状态进行准确地自动识别，是及时发现违法用地现象的重要手段。

附图说明

图1是本发明基于混合LBF形状回归模型的挖掘机工作状态识别方法的流程图。

图2是挖掘机4个特征点构成的形状特征示意图。

图3是挖掘机工作状态关键夹角变化示意图。

图4是局部二值特征的提取过程图：图4(a)是挖掘机某一特征点的局部二值特征具体的提取过程流程图，图4(b)是挖掘机所有特征点局部二值特征的提取过程流程图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

如图1，本发明分为离线学习阶段和在线识别工作阶段：

S1、学习阶段时，准备挖掘机训练，训练挖掘机的混合LBF形状回归模型，利用形状特征计算变化角度，构造挖掘机工作状态的特征描述子MMF(Machine Motion Feature)，训练以MMF为输入的挖掘机工作状态识别的SVM分类器。

S11：挖掘机数据集准备。

实验中，采用DPM(可变形部件模型)检测模型，进行视频序列中挖掘机检测，将检测出的3000张挖掘机图像序列保存下来，作为此实验的素材。对于每一张挖掘机图像，手工标注4个特征点(如图2中的白色圆心点)，来刻画挖掘机机身的旋转以及回转臂、铲斗柱与铲斗的变化，这4个特征点的相对坐标即为挖掘机形状S。并对视频段中挖掘机工作/非工作状态进行标注。

S12：训练一个混合LBF形状回归模型。

S121：LBF模型需要统一尺寸。为克服LBF模型对挖掘机归一化过程中造成形变、导致鲁棒性较差的问题，本发明根据挖掘机外接矩形长宽比把挖掘机分为N类，然后在每一类上分别训练一个LBF_n(n＝1,2,…，N)模型，再将这N个LBF_n模型集成为混合LBF模型。在本实施例中，N＝3，将挖掘机外接矩形长宽比小于1.2的部分归一化到统一尺寸(80,100)；长宽比大于等于1.2且小于2.0的部分归一化到统一尺寸(160,100)；长宽比大于等于2.0部分归一化到统一尺寸(220,100)。

分别训练3类LBF₁、LBF₂和LBF₃模型，在S122步骤中，由于这3类模型构建方法相同，为了便于表达，用LBF表示LBF_n。

S122：为获得挖掘机形状特征，利用给定的初始形状S⁰，将上一步迭代的形状S^t-1加上当前形状增量作为当前形状S^t，当前形状增量ΔS^t计算公式：

ΔS^t＝W^tΦ^t(I,S^t-1)， (1)

其中I表示输入的图像，Φ^t和W^t分别表示第t迭代的特征映射函数和线性回归矩阵。接着，不断重复以上步骤直到形状S达到要求。要构建LBF模型，则要训练训练Φ^t和W^t，具体步骤：

(1)对于上一阶段的形状S^t-1特征点相对坐标集合，分别以各个特征点为中心选取半径r的圆形局部区域(附图4中实心圆圈内部分)，然后在该区域内随机选取的两个像素点(图4(a)中的A和B)来计算对应的像素差特征{I(x₁,y₁)-I(x₂,y₂)|(x₁,y₁),(x₂,y₂)∈Ω}，其中Ω表示该特征点局部区域。

(2)对于每个特征点的局部区域，为了由两个像素点像素差，预测当前实际的形状增量(即特征点相对坐标的偏移值)，分别独立使用随机森林方法学习局部特征映射函数其随机森林训练的目标函数为：

其中，I_i表示第i张训练样本，操作π_l表示提取向量中元素，表示在第i张训练样本中提取第l个特征点的实际二维偏移值。如表示在第2张训练样本中提取出第3个特征点的相对横坐标和纵坐标实际偏移值。

对已训练成功的随机森林的每一棵决策树中，各非叶节点为像素差最佳分割点；各叶节点中都存储了一个二维偏移向量。

(3)在特征点形状特征提取时，每个特征点的局部区域中，随机选取两个像素点的像素差在训练得到的随机森林中的每棵决策树上进行遍历，直到到达每棵树的一个叶节点。随机森林的输出就是存储在这些叶节点的二维偏移值之和。假设叶节点的总数为D，那么输出可表示为：

其中是一个2×D的矩阵，其每一列是存储在相应叶节点上的二维偏移向量；而则为D维的二值向量。对于中每一维来说，如果输入样本可到达某叶节点，它的值就为1，反之则为0。中非零的数目与随机森林中决策树的个数相同，称为“局部二值特征”。

局部二值特征的提取步骤(附图4)：图4(a)每一个局部特征映射函数将其对应的局部区域编码为一个二值特征，然后将所有的局部二值特征组合起来构成一个高维的二值特征。图4(b)在所有特征点上，使用随机森林作为局部映射函数，并根据样本遍历的情况获得对应的D维的局部二值特征。

(4)将局部二值特征组合起来构成一个全局二值特征Φ^t，并通过回归学习的方式获得一个全局线性回归模型W^t。其优化目标函数是关于W^t的二次函数：

其中第一部分是回归的目标，第二部分在W^t上做L₂规则化，λ则是控制规则化强度的参数。全局二值特征Φ^t的维度很高，为避免过学习，必须进行规则化处理。对于挖掘机4个特征点来说，Φ^t的维度可能达到10K+。此外，该全局二值特征是高度稀疏的，所以使用双坐标下降法进行全局最优，获得W^t。所有阶段的特征映射函数Φ＝[Φ¹,…,Φ^T]以及全局线性回归矩阵W＝[W¹,…,W^T]构成一个LBF模型，即LBF＝{Φ,W,S}。

(5)对输入挖掘机图像序列，利用公式(1)计算ΔS^t，将ΔS^t与第t-1次迭代的特征点相对坐标S^t-1相加得到第t迭代特征点相对坐标S^t，最终获得挖掘机的预测形状S^*(即特征点的相对坐标的集合)。

S123、根据这些特征点的坐标以及检测到的挖掘机的长宽比，计算挖掘机工作状态特征描述子，具体过程为：

1)根据两帧关键帧图像中挖掘机外接矩形的长宽比WHRatio₀和WHRatio₁，计算挖掘机长宽比的变化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；2)依据步骤S122中获得的特征点的相对坐标，计算反应回转臂、铲斗柱、铲斗和机身旋转四种因素变化的关键夹角变化(见附图2)，其中，上角标i表示不同的角度，下角标j表示不同的关键帧；3)将长宽比的变化ΔWHRatio和夹角的变化ΔAngle，串联起来作为挖掘机工作状态的特征描述子MMF(Machine Motion Feature)，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘机的运动特征。

S124、以挖掘机工作状态的特征描述子MMF为输入，以挖掘机工作/非工作状态为输出，训练SVM分类器，从而判断出当前挖掘机的工作状态——工作状态或者非工作状态。其中，SVM选择了C_SVC类型、RBF核函数。其中，C_SVC的参数C设置为10，RBF的参数gamma则设置为8.0。

S2、工作阶段时(附件图1中的在线识别)，对采集到的挖掘机视频序列，利用S1训练得到的LBF模型计算局部二值特征，预测当前实际的形状增量计算挖掘机工作状态的特征描述子MMF，将MMF输入到SVM分类器中，获得挖掘工作/非工作状态。

下面说明本发明的实验结果：

本实验中，分别采用ΔWHRatio、ΔAngle和MMF＝[ΔWHRatio,ΔAngle]三种特征描述子分别对20段挖掘机视频片段进行挖掘机运动状态识别，这20段视频包括挖掘机静止、行驶和挖掘工作，每段视频为5分钟。具体的实验结果如表1所示。表1中的准确率指的是测试集中挖掘机处于工作状态和非工作状态两情况的片段的正确识别数占测试集总数的百分比。从表1可以看到，使用ΔAngle特征描述子时，其准确率达到92.66％，这远高于采用ΔWHRatio特征描述子62.80％的准确率。实验表明，利用混合LBF模型进行挖掘机形状S*(即特征点的相对坐标的集合)预测，可获取反应回转臂、铲斗柱、铲斗和机身旋转四种因素变化的关键夹角变化ΔAngle，该ΔAngle对挖掘机运动状态的描述能力比使用ΔWHRatio挖掘机长宽比的变化差值更强。而且，采用MMF特征描述子比采用ΔAngle特征描述子的准确率提高了0.87％，高达93.53％。因此，本发明方法能对土地间的挖掘机工作状态进行准确地自动识别。

表1 挖掘机工作状态识别结果统计表

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于混合LBF形状回归模型的挖掘机工作状态识别方法，包括以下步骤：

S1.训练一个混合LBF形状回归模型，并使用该混合LBF形状回归模型来预测输入视频帧中挖掘机的形状，即预测输入视频中挖掘机的特征点的相对坐标的集合；

S2.根据挖掘机的长宽比及步骤S1获得的特征点的相对坐标，计算挖掘机工作状态特征描述子；

S3.将挖掘机工作状态特征描述子作为SVM分类器的输入，识别挖掘机的工作状态，挖掘机的工作状态包括工作状态或者非工作状态；

所述步骤S2具体为：

S21、根据前后两帧图像中挖掘机的长宽比WHRatio₀和WHRatio₁，计算挖掘机长宽比的变化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；

S22、依据步骤S1中获得的挖掘机特征点，计算反映挖掘机回转臂、铲斗柱、铲斗和机身旋转四种因素变化的夹角变化ΔAngle；

S23、将长宽比的变化ΔWHRatio和夹角的变化ΔAngle串联起来作为挖掘机工作状态的特征描述子MMF，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘机的运动特征。

2.根据权利要求1所述的基于混合LBF形状回归模型的挖掘机工作状态识别方法，其特征在于，所述步骤S1具体为：

S11、计算挖掘机的长宽比，根据长宽比把挖掘机分为N类，将挖掘机归一化到该类挖掘机对应的尺寸SIZE；

S12、分别针对每一类挖掘机训练相应的LBF_n模型，n＝1,2,…，N，将每一类的LBF_n模型相集成，形成混合LBF形状回归模型；

S13、使用混合LBF形状回归模型，对输入视频中的挖掘机进行形状S*预测，即预测输入视频中挖掘机的特征点的相对坐标。

3.根据权利要求1所述的基于混合LBF形状回归模型的挖掘机工作状态识别方法，其特征在于，所述步骤S3具体为：采用挖掘机工作状态特征描述子作为分类器的输入，并使用SVM分类器进行二分类，从而判断出当前挖掘机的工作状态，即确定挖掘机属于工作状态或者非工作状态。