CN111611858B - 一种基于多角度判别的倾轧轨迹面自动检测方法和装置 - Google Patents

一种基于多角度判别的倾轧轨迹面自动检测方法和装置 Download PDF

Info

Publication number
CN111611858B
CN111611858B CN202010315095.1A CN202010315095A CN111611858B CN 111611858 B CN111611858 B CN 111611858B CN 202010315095 A CN202010315095 A CN 202010315095A CN 111611858 B CN111611858 B CN 111611858B
Authority
CN
China
Prior art keywords
angle
target
image
road roller
construction vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010315095.1A
Other languages
English (en)
Other versions
CN111611858A (zh
Inventor
范荣全
朱峰
贺含峰
刘俊勇
李涛
吕俊杰
张劲
都亮
何凌
刘克亮
杨刚
唐杨
王霆
赵星俨
周笑言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Sichuan Electric Power Co Ltd
Original Assignee
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Sichuan Electric Power Co Ltd filed Critical State Grid Sichuan Electric Power Co Ltd
Priority to CN202010315095.1A priority Critical patent/CN111611858B/zh
Publication of CN111611858A publication Critical patent/CN111611858A/zh
Application granted granted Critical
Publication of CN111611858B publication Critical patent/CN111611858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种基于多角度判别的倾轧轨迹面自动检测方法和装置，涉及图像分析和处理领域。首先利用目标跟踪方法实现目标车辆的跟踪；其次基于本发明提出的BOF‑MCF特征参数学习和自动识别角度信息；然后基于不同角度提出不同的轨迹面检测方法，将不同角度轨迹面相连接，最终得到施工车辆倾轧轨迹面。整套施工车辆轨迹面检测方案可行性高，测量精准，适用性高；在能表征施工车辆的同时提高整个项目压路机的识别效率，最后的路径面识别结果与手动标记参考结果误差小，适用于施工车辆的轨迹面测量。可以有效跟踪施工车辆，获取施工车辆运行轨迹面积，有助于实时监测工地倾轧情况，提升施工工地的管控效率。

Description

一种基于多角度判别的倾轧轨迹面自动检测方法和装置
技术领域
本发明涉及图像分析和处理领域，尤其是一种基于多角度判别的倾轧轨迹面自动检测方法和装置。
背景技术
近年来，施工管理的信息化，即“智慧工地”，是一个研究热点。但相比于其他行业，建筑业的施工及相关管理活动依然主要采用人完成。在此背景下，探索运用新技术变革传统施工管理方式，构建智慧工地系统，具有显著的探索意义和实践价值。
在工程施工场景中对施工场地的填方压实有明确的要求与技术指标，需要对的压路机倾轧路径有精准的判断，并实时监控填压的覆盖情况，才能对填方压实的施工过程有准确的控制。现有技术中对压路机倾轧路径的判断通常是由现场人工查看并判断的，而人工监测和判断存在人力成本大、精准度不高、难以实时控制的缺陷，尤其是难以针对在施工场景中施工车辆在地面行驶的轨迹面积进行精准测量。
目前对车辆的轨迹测量方面的研究，大都是对车辆的线状轨迹进行测量，目前还没有研究应用在车辆的轨迹面积的测量，而在施工车辆例如压路机的运行中，测量其运行的轨迹面积对施工却是必要的。
发明内容
本发明为了定位施工车辆倾轧路径，实现对填方压实的施工过程控制，实时监控填压的的覆盖情况，测量施工车辆的倾轧面积，提出了一种基于多角度判别的倾轧轨迹面自动检测方法和装置，通过图像处理技术对工程车辆进行跟踪和分析，实现施工车辆倾轧轨迹面的自动提取。
本发明采用的技术方案如下：
一种基于多角度判别的倾轧轨迹面自动检测方法，用于对施工车辆倾轧轨迹面进行自动检测，包括如下步骤：
S01，对采集的连续视频帧进行目标跟踪和实时定位，获取各视频帧中目标施工车辆的中心位置；
S02，构建多角度目标样本训练库，并建立目标样本训练库图像以及待识别目标图像的 BOF特征参数；
S03，对待识别目标图像利用BOF特征的匹配相关滤波器参数学习，判断目标车辆所属角度类别；
S04，根据目标车辆所属的角度类别对目标车辆进行ROI区域粗定位和二次定位，得到目标施工车辆的轮廓；
S05，从目标施工车辆轮廓中自动检测和提取目标施工车辆的倾轧直线；
S06，根据提取的倾轧直线自动检测目标施工车辆的轨迹，得到目标施工车辆的倾轧轨迹面。
进一步，所述施工车辆为压路机。
进一步，所述步骤S02中构建多角度目标样本训练库包括：
首先对施工车辆的多角度分类标准进行设置，将施工车辆角度分为五类：“正面”、“正侧”、“侧面”、“背侧”和“背面”；
其次从视频中截取临界角度施工车辆图片，每类角度选取m张图片，五类角度共5m张图片，作为多角度目标样本训练库，记为
Figure BDA0002459236040000021
其中上标表示角度类别，下标表示图片编号。
进一步，所述对多角度目标样本训练库的特征参数计算过程包括：
首先提取多角度目标样本训练库
Figure BDA0002459236040000022
中每一区域的特征，再通过K 均值聚类方法将特征聚类，每个聚类中心形成一个有代表性的特征单词word，样本训练库所提取到的n个特征单词即构成特征词典，即{word1,word2,…wordn}；最后，将多角度目标样本训练库
Figure BDA0002459236040000023
中的每一张图像通过特征词典中单词出现的概率直方图构成的n维特征向量{v1,v2,...vn}表征，即图像Ii的BOF特征向量表示为：
Figure BDA0002459236040000024
Ii表示多角度压路机训练样本库中的任意一张图像。
进一步，所述步骤S03中对待识别目标图像利用BOF特征的匹配相关滤波器参数学习，判断目标车辆所属角度类别具体包括：
S301，提取待识别目标图像的BOF特征向量；
对于目标图像It，根据已知的特征词典{word1,word2,…wordn}计算目标图片It中特征词典各单词出现频率向量，作为其对应的BOF特征向量,It的BOF特征向量表示为：
Figure BDA0002459236040000025
S302，利用BOF特征向量创建DCF相关滤波器模型Fl，并对待识别目标图像进行匹配相关滤波器参数自适应学习；
所述待识别目标图像It的n维BOF特征向量fvt所对应滤波器Fl的n个参数 {f1,f2,…,fn}，通过最小化实际相关响应
Figure BDA0002459236040000031
与理想相关响应d的均方误差实现，其均方误差计算式为：
Figure BDA0002459236040000032
其中，式(2)中，*表示循环相关，第二项加数是权重为ε的滤波器参数正则化，初始化滤波器参数时设置高斯滤波器；
式(2)使用Parseval定理将式(2)转换到频域，可计算出使式(2)结果最小的滤波器为：
Figure BDA0002459236040000033
其中，Fl为fl对应的离散傅里叶变换，Vl t为
Figure BDA0002459236040000034
对应的离散傅里叶变换，
Figure BDA0002459236040000035
表征了复共轭性；式(3)表征了通过单一目标图片It特征向量fvt学习滤波器的结果；
S303，判断新一帧目标图像的角度时，根据新一帧目标图像的BOF特征更新滤波器参数，通过新一帧目标图像BOF特征
Figure BDA0002459236040000036
更新滤波器f的分子
Figure BDA0002459236040000037
和分母Dnew为：
Figure BDA0002459236040000038
Figure BDA0002459236040000039
其中，ω是滤波器更新速率参数，利用新一帧图像的BOF特征的离散傅里叶变换Vnew，结合当前滤波器参数Bnow和Dnow，得到新一帧目标图像的滤波器参数，表征当前帧图像中压路机的角度信息；
S304，利用BOF-DCF滤波器Fl对待识别目标图像It的BOF特征向量fvt进行打分，得到分数yscore；
S305，根据分数yscore判断目标图像中工程车辆角度是I型还是II型；
在得到多角度目标样本训练库中图像Ii与当前待识别目标图片It的相关分数后，相关分数最高对应的样本图像即认为是目标图片最匹配的对象，该对象的角度即认为是目标图片It中施工车辆的角度；
若角度自动检测结果为Ⅰ型角度，输出图片I'，若角度自动检测结果为Ⅱ型角度，输出图片I”；
所述Ⅰ型角度是指施工车辆位于正面及背面，所述Ⅱ型角度压路机是指施工车辆位于正侧面、侧面、背侧面。
进一步，所述S304利用BOF-DCF滤波器Fl对待识别目标图像It的BOF特征向量fvt进行打分，得到分数yscore具体包括：
由前述步骤可知已知特征词典{word1,word2,…wordn}，则多角度目标样本训练库
Figure BDA0002459236040000022
中的每一张图像都可以计算得到其特征词典单词出现的频率直方图，即表征匹配图像的特征向量
Figure BDA0002459236040000042
其离散傅里叶变换
Figure BDA0002459236040000043
中包含有样本训练库图片中压路机的角度信息，计算待识别目标训练样本库中任一图像Ii的特征向量与滤波器参数之间相关分数的离散傅里叶变换为：
Figure BDA0002459236040000044
其中，Bnow和Dnow是根据待识别目标图像Ii的BOF特征向量计算得到的滤波器参数，λ为常数，保证分母不为0；
对计算结果做傅里叶逆变换，取实数部分记为多角度目标样本训练库中任一图像Ii与当前待识别目标图片It的相关分数：
Figure BDA0002459236040000045
进一步，所述步骤S05中从压路机轮廓中自动检测和提取目标施工车辆的倾轧直线具体包括：
S501，对轮廓图像IDoG进行梯度计算及伪排序：利用式(12)对压路机轮廓图IDoG中每个像素点IDoG(x,y)的右下方的四个像素进行梯度计算，找到可能有线段边缘的地方，其中式(13) 及式(14)分别是像素点IDoG(x,y)在x,y方向上的一阶微分；然后对梯度值按照其的分布进行一定程度的排序，伪排序将时间缩短到O(n)线性时间内；
Figure BDA0002459236040000046
Figure BDA0002459236040000051
Figure BDA0002459236040000052
S502，分割水平线场得到LSR区域，每个像素点梯度的垂直方向角度是像素点的水平线角度，利用式(15)求得：
Figure BDA0002459236040000053
S503，对LSR区域进行矩形验证：利用Contrario方法和Helmholtz法则对LSR进行矩形验证；
S504，筛选目标施工车辆的碾轮轴长/架长作为倾轧直线。
进一步，所述步骤S504中筛选目标的碾轮轴长/架长作为倾轧直线具体包括：
首先对横杆位置进行初定位，选取目标施工车辆图像下1/2部分来进行直线结构的提取；
其次对不同角度的目标施工车辆设定不同的横杆约束条件：
正面背面横杆约束条件为：直线角度的绝对值应在±20°内，且直线长度大于图片宽度的1/2；侧面/前侧面/后侧面横杆约束条件为：直线角度的绝对值应在±10°内，且直线长度大于图片宽度的1/2；
使用以上约束条件对初定位的可能碾轮轴长/架长进行判断，最终得到不同角度的碾轮轴长/架长作为倾轧直线，并用于倾轧面的识别。
进一步，所述步骤S06根据提取的倾轧直线自动检测轨迹面，得到目标施工车辆的倾轧轨迹面具体包括：
S601，对当前帧图像和下一帧图像自动提取倾轧直线长度；
S602,将相邻两帧图像中所检测到的倾轧直线的两端相连构成帧间差四边形，该四边形即为相邻两帧内压路机的倾轧路径面；
S603,将目标视频中所有相邻两帧的帧间差四边形叠加，即为该视频中目标施工车辆完整的倾轧轨迹面。
另一方面本发明还提供了一种基于多角度判别的倾轧轨迹面自动检测装置，其特征在于，所述装置是基于前述任一倾轧轨迹面自动检测方法步骤对应的模块单元组成的检测装置，以用于对施工车辆倾轧轨迹面进行自动检测。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提供的基于多角度判别的倾轧轨迹面自动检测方法和装置，整套施工车辆轨迹面积的测量方案可行性高，对于不同角度的施工车辆调用不同的轨迹面积检测方案，测量精准，适用性高；在能表征施工车辆的同时提高整个项目压路机的识别效率，最后的路径面识别结果与手动标记参考结果误差小，适用于施工车辆的轨迹面测量，可以有效跟踪施工车辆，获取施工车辆运行轨迹面积，有助于实时监测工地倾轧情况，提升施工工地的管控效率，方案高效实用客观准确。
附图说明
图1是本发明实施例提供的基于多角度判别的倾轧轨迹面自动检测方法流程图。
图2是本发明实施例提供的Mean-Shift跟踪方法流程图。
图3是本发明实施例提供的不同角度压路机示意图，(a)“正面”压路机；(b)“正侧”压路机；(c)“正侧”压路机；(d)“侧面”压路机；(e)“侧面”压路机；(f)“背面”压路机；(g)“背侧”压路机；(h)“背侧”压路机。
图4是本发明实施例提供的压路机图片BOF特征提取流程图。
图5是本发明实施例提供的基于BOF-MCF特征参数的压路机多角度自动识别流程图。
图6是本发明实施例提供的压路机Ⅰ型及Ⅱ型角度的路径面提取算法流程。
图7是本发明实施例提供的压路机灰度直方图及C分量直方图，(a)灰度直方图，(b)C分量直方图。
图8是本发明实施例提供的I型角度压路机的ROI粗定位步骤的结果示例，(a)压路机原图I′，(b)C分量灰度图I'c，(c)ROI粗定位I'bw。
图9是本发明实施例提供的Ⅱ型角度压路机的ROI粗定位步骤的结果示例图，(a)色调 H分量I”H，(b)饱和度S分量I”S，(c)黄色色调区域提取I”H-bw，(d)饱和度分量二值化I”S-bw， (e)C分量二值化I”C-bw，(f)前侧面压路机粗定位I”bw。
图10是本发明实施例提供的轮廓二次定位步骤的结果示例图，(a)孔洞填充Ik，(b)去除小面积对象Ie，(c)中值滤波If，(d)DoG算子提取边缘IDoG，(e)压路机原图叠加轮廓信息。
图11是本发明实施例提供的不同角度的压路机及其碾轮轴长/架长，(a)正面压路机及其碾轮轴长，(b)正侧面压路机及其碾轮轴长，(c)侧面压路机及其碾轮轴长，(d)背侧面压路机及其架长，(e)背面压路机及其架长。
图12是本发明实施例提供的碾轮轴长/架长检测算法流程图。
图13是本发明实施例提供的碾轮轴长结果示例，(a)LSD检测的候选碾轮轴长，(b)筛选后的碾轮轴长。
图14是本发明实施例提供的正面压路机帧间四边形的叠加示意图。
图15是本发明实施例提供的所提取的各个角度压路机倾轧路径轨迹面，(a)正面(b)前侧面(c)侧面(d)背侧面转向背面。
图16是本发明实施例提供的多角度压路机自动识别结果图，(a)“正面”压路机自动识别结果图；(b)“背面”压路机自动识别结果图；(c)“正侧”压路机自动识别结果图； (d)“侧面”压路机自动识别结果图；(e)“背侧”压路机自动识别结果图。
图17是本发明实施例提供的压路机多角度识别结果图，(a)“正面”压路机自动识别结果；(b)“侧面”压路机自动识别结果；(c)“正侧”转“侧面”压路机自动识别结果； (d)“背侧”转“背面”压路机自动识别结果。
图18是本发明实施例提供的不同图像特征对应的压路机视频识别正确率。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
以下实施例中将选取压路机作为目标工程车辆，从而对具体方案进行详细说明，在其他实施例中所述目标工程车辆还可以是其他类型的工程车辆，或者类似场景中的非工程车辆，其仅仅是本发明技术方案所针对的分析对象，以适用于本发明方案并解决对应的技术问题为准。
实施例1
如图1所示，本实施例为一种基于多角度判别的倾轧轨迹面自动检测方法，包括如下步骤，
S01，对采集的连续视频帧进行目标跟踪和实时定位，获取各视频帧中目标工程车辆的中心位置；
对连续的视频帧进行目标车辆位置检测包括首先在第一帧图像中确定目标车辆，再利用目标跟踪方法实现目标车辆的连续跟踪，并输出目标车辆的中心位置。
本实施例采用基于Mean-Shift跟踪方法，实现对压路机的自动目标跟踪，其流程如图 2所示。首先对第一帧图像I1初始化跟踪框中心并建立搜索窗核函数，然后建立颜色概率模型与相似度函数中的权值。对于下一帧图像I2，先对前一帧目标图像I1用灰度直方图进行记录，然后对当前帧图像I2进行操作，先移动I1初始化跟踪框中心点到偏移值，用初始窗口内的像素点求得Mean-Shift矢量，计算目标模型与候选模型的相似性函数系数，相似性函数系数越大，表示目标模型与候选模型越匹配，然后以图像I2中相似性函数系数取最大值的点为新起点，继续移动，直到遍历完所有视频帧并寻找到相似性函数系数取得最大值的点，这个点就是Mean-Shift跟踪算法得到的图像I2目标压路机的中心位置。以此类推，对所有视频帧完成工程车中心位置的检测。
S02，构建多角度目标样本训练库，并建立目标样本训练库图像以及待识别目标图像的 BOF特征参数；
在对目标车辆进行实时定位后，还需要对各图像帧中的目标车辆进行角度识别。本实施例中采用无人机对目标压路机进行实时拍摄和监控，由于无人机与压路机的相对位置不同，视频中压路机的角度不同。压路机向靠近无人机的方向行驶时，压路机的碾轮完整可见，此时用碾轮轴长表示压路机的倾轧面；压路机向远离无人机的方向行驶时，压路机的碾轮被遮挡，无法用碾轮轴长表示倾轧面。为了准确识别压路机倾轧轨迹面，本实施例在识别压路机倾轧轨迹前先实现压路机角度的自动识别，从而根据不同角度的压路机，提出不同的压路机倾轧面自动检测方法。
为了搭建多角度压路机训练样本库，分析采集数据将压路机角度分为五类：“正面”、“正侧”、“侧面”、“背侧”和“背面”,如图3所示，“正面”和“正侧”根据是否能够看到单一完整的后车轮为标准。从图3中可以看到，图(a)不能看到后车轮，视为“正面”，图(b)(c) 能够看到后车轮，视为“正侧”；“侧面”即车辆侧面与图像的横轴几乎平行，如图(d)(e) 所示；“背面”和“背侧”同样根据是否能够看到单一完整的后车轮为标准，图(f)不能看到后车轮，视为“背面”，图(g)(h)能够看到后车轮，视为“背侧”。
多角度压路机分类标准设置好后，从视频中截取临界角度压路机图片，每类角度选取m 张图片，五类角度共5m张图片，作为多角度目标样本训练库，记为
Figure BDA0002459236040000022
其中，上标表示角度类别，下标表示图片编号。
对多角度目标样本训练库的特征参数计算过程如图4所示。首先提取压路机多角度目标样本训练库
Figure BDA0002459236040000082
中每一区域的特征，再通过K均值聚类方法将特征聚类，每个聚类中心形成一个有代表性的特征单词word，图像集所提取到的n个特征单词即构成特征词典(Feature_dictionary)，即{word1,word2,…wordn}；最后，将多角度目标样本训练库
Figure BDA0002459236040000091
中的每一张图像通过特征词典中单词出现的概率直方图构成的n维特征向量{v1,v2,…vn}表征，即图像Ii(Ii表示多角度压路机训练样本库中的任意一张图像)的BOF特征向量表示为：
Figure BDA0002459236040000092
假设目标图片为It，目标跟踪识别结果是单一压路机，It的主体元素为压路机本身和泥土背景，没有太多其他干扰因素，因此使用BOF特征词典方法可以有效地表征压路机的角度特征，高效识别各图像帧中的压路机角度。
S03，对待识别目标图像利用BOF特征的匹配相关滤波器参数学习，判断目标车辆所属角度类别，如图5所示，具体包括：
S301，提取待识别目标图像的BOF特征向量；
对于目标图像It，根据已知的特征词典{word1,word2,…wordn}计算目标图片It中特征词典各单词出现频率向量，作为其对应的BOF特征向量,It的BOF特征向量表示为：
Figure BDA0002459236040000093
S302，利用BOF特征向量创建DCF相关滤波器模型Fl，并对待识别目标图像进行匹配相关滤波器参数自适应学习；
根据特征词典得到待识别目标图像的BOF特征向量fvt后，结合DCF滤波器的初始参数，学习相关滤波器的参数，其中包含目标图像It中压路机的角度特征。
所述待识别目标图像It的n维BOF特征向量fvt所对应滤波器Fl的n个参数 {f1,f2,…,fn}，这通过最小化实际相关响应
Figure BDA0002459236040000094
与理想相关响应d的均方误差实现。其均方误差计算式为：
Figure BDA0002459236040000095
其中，式(2)中，*表示循环相关，第二项加数是权重为ε的滤波器参数正则化。一般理想的相关响应输出为参数化标准差的高斯函数，因此初始化滤波器参数时设置高斯滤波器。
式(2)为典型的线性最小二乘问题，使用Parseval定理将式(2)转换到频域，可计算出使式(2)结果最小的滤波器为：
Figure BDA0002459236040000101
其中，Fl为fl对应的离散傅里叶变换，Vl t为
Figure BDA0002459236040000102
对应的离散傅里叶变换，
Figure BDA0002459236040000103
表征了复共轭性。
式(3)表征了通过单一目标图片It特征向量fvt学习滤波器的结果。
S303，为了精准判断每一帧目标图像的角度，需要保证相关滤波器的鲁棒性，因此，本实施例提出基于自适应的思想使滤波器近似达到理想效果，即判断新一帧目标图像的角度时，需根据新一帧目标图像的BOF特征更新滤波器参数。通过新一帧目标图像BOF特征
Figure BDA0002459236040000104
更新滤波器f的分子
Figure BDA0002459236040000105
和分母Dnew为：
Figure BDA0002459236040000106
Figure BDA0002459236040000107
其中，ω是滤波器更新速率参数，利用新一帧图像的BOF特征的离散傅里叶变换Vnew，结合当前滤波器参数Bnow和Dnow，得到新一帧目标图像的滤波器参数，表征当前帧图像中压路机的角度信息，更好地匹配多角度待识别目标训练样本库中的图片。
S304，利用BOF-DCF滤波器Fl对It的BOF特征向量fvt进行打分，得到分数yscore；
由前述步骤可知已知特征词典{word1,word2,…wordn}，则多角度目标样本训练库
Figure BDA0002459236040000091
中的每一张图像都可以计算得到其特征词典单词出现的频率直方图，即表征匹配图像的特征向量
Figure BDA0002459236040000109
其离散傅里叶变换
Figure BDA00024592360400001010
中包含有样本训练库图片中压路机的角度信息。计算待识别目标训练样本库中任一图像Ii的特征向量与滤波器参数之间相关分数的离散傅里叶变换为：
Figure BDA00024592360400001011
其中，Bnow和Dnow是根据待识别目标图像Ii的BOF特征向量计算得到的滤波器参数，λ为常数，保证分母不为0。
此处计算的结果为相关分数的离散傅里叶变换，为了得到实相关分数，对计算结果做傅里叶逆变换，取实数部分记为多角度目标样本训练库中任一图像Ii与当前待识别目标图片 It的相关分数：
Figure BDA0002459236040000111
S305，根据分数yscore判断目标图像中工程车辆角度是I型还是II型。
由于压路机位于正面及背面时，图像色彩较为单一，相比于侧面拥有更少的精细结构。而侧面压路机图像黄色区域较多，所以本实施例将压路机位于正面及背面时称为Ⅰ型角度压路机，将压路机位于正侧面、侧面、背侧面时称为Ⅱ型角度压路机。
在得到多角度目标样本训练库中图像Ii与当前待识别目标图片It的相关分数后，相关分数最高对应的样本图像即认为是目标图片最匹配的对象，该对象的角度标签即认为是目标图片It中压路机的角度。若角度自动检测结果为Ⅰ型角度，输出图片I'，若角度自动检测结果为Ⅱ型角度，输出图片I”。
以此完成对目标图像帧中压路机所属的角度类别，并根据该角度类别进行相应的后续处理。
S04，根据目标所属的角度类别对目标压路机进行ROI区域粗定位和二次定位，得到压路机的轮廓。
由前述步骤可以判断目标图像帧中压路机的的角度为I型还是II型，由于两种类型的角度其位置和形状特点不相同，因此需要分别对两类图像帧进行进一步处理，如图6所示。
S401，根据压路机所属角度类别对压路机进行粗定位，得到目标图像帧中的压路机ROI 区域；
(a)若判断为I型角度压路机，由于压路机与土地等背景在常用的HSI色彩空间中难以区分，图7(a)为压路机灰度直方图，存在多个峰值，区分度较小；而CMY色彩空间中的C分量直方图存在明显的双峰，能够较好地区分压路机与背景，如图7(b)所示。
因此首先将目标图像It转换到CMY色彩空间，其转换公式如下：
Figure BDA0002459236040000112
进一步在CMY色彩空间中提取C分量灰度图像I'c，如图8(a)为压路机原图，图8(b)为C分量灰度图；再对I'c进行Otsu自动阈值分割算法计算自适应阈值，使图像中前景及背景两类的类间方差最大，类内方差最小。如图8(c)所示为ROI区域粗定位算法分割得到的 I型角度压路机ROI区域I'bw。
(b)若判断为Ⅱ型角度压路机，相较于I型角度压路机图像，Ⅱ型角度压路机图像的黄色区域大且细节结构较多。因此Ⅱ型角度压路机的ROI粗定位算法应在HSI色彩空间中利用色调分量提取黄色区域，以及提取CMY色彩空间中C分量使压路机与背景区分度变大，并进一步使用Otsu算法进行处理，如图9所示。
首先将Ⅱ型角度压路机图像I″转换到HIS色彩空间，由图9(b)知饱和度分量图像I”s中压路机边界明显，且背景与压路机之间的差距较大。再利用Otsu算法提取压路机饱和度较高的区域，得到压路机底部区域的有效分割I”s-bw。由于图9(a)色调图像I”H中土地与压路机的黄色存在不同，因此为了进一步对压路机黄色区域进行提取，本文对色调分量中压路机黄色所在色调范围进行分割提取I”H-bw，有效地避开了土地对ROI区域提取算法的干扰，如图9(c)所示。最终将色调I”H-bw及饱和度I”s-bw的二值图像与CMY色彩空间中C分量二值图像 I”C-bw求并集，得到图9(f)中压路机轮廓的ROI区域提取I”bw
S402，基于形态学及DOG算子对图像帧中的压路机ROI区域进行二次定位，得到压路机的轮廓；
S4021，对压路机ROI区域进行孔洞填充获得Ik；
为了更好地提取压路机碾轮轴长/架长，需要将所得压路机ROI图像Ibw(Ibw表示I型角度压路机ROI区域I'bw或Ⅱ型角度压路机ROI区域I”bw所属图像)进行形态学操作，以去除背景等干扰项对分割结果的影响。在对压路机图像进行ROI粗定位后，ROI图像Ibw存在驾驶舱位置等部分缺失，因此利用孔洞填充将部分丢失的位置进行填补，其公式如下：
Figure BDA0002459236040000121
其中B为3×3的对称结构元，其中心元素为1其余部分为0；Ibw表示压路机ROI图像，Ik是与压路机ROI区域Ibw尺寸相同的阵列，I0为全0矩阵，Ik为当前所填充的孔洞阵列。当给定每个孔洞中的一个点后，用式(9)进行迭代填充所有孔洞，当Ik＝Ik-1时算法在迭代的第k步结束；Ik和B的并集包含所有填充的孔洞及这些孔洞的边界，填充后的图像如图10(a)。
S4022，去除孤立小面积对象，将图像Ik中混杂的土地和杂物等非压路机区域去除得到更为准确的轮廓图像获得Ie，如图10(b)；
S4023,采用中值滤波对图像Ie进行平滑获得图像If,其公式如下：
Figure BDA0002459236040000131
其中，x，y分别为图像If的横纵坐标，如图10(c)，中值滤波能够减弱压路机图像If中的噪声对直线检测的影响，保证直线检测时的有效性和可靠性。
S3024，利用DoG算子对压路机图像If边缘进行自动提取。DoG算子计算复杂量小、且边缘提取准确、抗噪能力强，该算子对图像If进行两次不同的高斯变换，再进行差分运算，其数学表达式如下式：
Figure BDA0002459236040000132
其中，M、N、σ1、σ2是DoG算子的参数，x、y分别为DoG算子横纵坐标。将所得DoG 算子与图像Im卷积，得到压路机轮廓的自动分割IDoG，如图10(d)所示。图10(e)为将所提取的轮廓IDoG在压路机原图上进行叠加后的效果。
S05，从压路机轮廓中自动检测和提取压路机的碾轮轴长/架长直线；
如图11，压路机处于正面、前侧面和侧面时，提取压路机前方碾轮轴长作为压路机倾轧长度；当压路机处于背侧面和背面时，碾轮轴长被车身遮挡，因此检测压路机后车架长作为压路机倾轧长度。
如图12所示，为从压路机轮廓中提取碾轮轴长/架长检测的流程图，包括如下步骤：
S501，对轮廓图像IDoG进行梯度计算及伪排序：首先利用式(12)对压路机轮廓图IDoG中每个像素点IDoG(x,y)的右下方的四个像素进行梯度计算，找到可能有线段边缘的地方。其中式(13)及式(14)分别是像素点IDoG(x,y)在x,y方向上的一阶微分。然后对梯度值按照其的分布进行一定程度的排序，伪排序将时间缩短到O(n)线性时间内。
Figure BDA0002459236040000141
Figure BDA0002459236040000142
Figure BDA0002459236040000143
S502，分割水平线场得到LSR区域，每个像素点梯度的垂直方向角度是像素点的水平线角度，可利用式(15)求得：
Figure BDA0002459236040000144
所有点的水平线角度形成了一个水平线场，依据水平线角度用区域生长的方法将水平线场切割成若干个连通域，每个连通域中所有像素点的水平线角度变化不能超过一个容忍值τ，这样的连通域称为线支持区域，每个线支持区域都是碾轮轴长/架长的候选区。
其中区域生长的方法是利用伪排序得到的排序列表中梯度幅值大的点作为种子点，以该点的水平线角度作为区域的初始角度θregion，然后在八邻域中寻找与θregion的偏差小于容忍值τ的点，然后将该点加入到区域中并更新，更新计算公式如下：
Figure BDA0002459236040000145
其中，j表示遍历时的像素点下标，当区域中所有点的八邻域中都不满足与θregion的偏差小于容忍值τ时，停止生长。误差容忍值τ默认被设为22.5，对于整个区域矩形来说，误差容忍度是45度。由于梯度值小的像素对应于图像中平滑或者变化较缓的区域，而它们在量化时将会引起更大的梯度计算误差，所以需要通过设置梯度阈值，使梯度值小于梯度阈值的点不会在LSR中使用。
S503，对LSR区域进行矩形验证：为了得到更准确更小的可能碾轮轴长/架长所在的区域，需要利用Contrario方法和Helmholtz法则对LSR进行矩形验证。对IDoG的LSD检测结果如图13(a)所示，然后可根据实际需求筛选掉碾轮轴长/架长。
S504，筛选目标碾轮轴长/架长。在本实施例中，为了快速的筛选目标横杆直线，我们先对横杆位置进行初定位，因为横杆位置位于压路机靠下位置，所以选取压路机图像下1/2 部分来进行直线结构的提取。然后对于不同角度的压路机有不同的横杆约束条件：
正面背面横杆约束条件为：直线角度的绝对值应在±20°内，且直线长度大于图片宽度的1/2。图13(b)是最终筛选出来的横杆结果。
侧面/前侧面/后侧面横杆约束条件为：直线角度的绝对值应在±10°内，且直线长度大于图片宽度的1/2。
使用以上约束条件对初定位的可能碾轮轴长/架长进行判断，最终得到不同角度的碾轮轴长/架长，并用于倾轧面的识别。
S06，根据提取的碾轮轴长/架长直线自动检测轨迹面，得到目标施工车辆的倾轧轨迹面。
S601，对当前帧图像和下一帧图像自动提取碾轮轴长/架长长度；
S602,将相邻两帧图像中所检测到的碾轮轴长/架长直线的两端相连构成帧间差四边形，该四边形即为相邻两帧内压路机的倾轧路径面；如图14中虚线连接的直线A1A2和B1B2，构成帧间差四边形A1A2B2B1，该四边形即为相邻两帧内压路机的倾轧路径面。
S603,将目标视频中所有相邻两帧的帧间差四边形叠加，即可表示出该视频中压路机完整的倾轧轨迹面，如图15所示，图(a)-(d)中的箭头轨迹分别为本实施例所提取的(a) 正面、(b)前侧面、(c)侧面、(d)背侧面转向背面的各个角度压路机倾轧路径轨迹面。
实施例2
本实施例为一种基于多角度判别的倾轧轨迹面自动检测装置，其特征在于，所述装置是基于前述任一实施例中的倾轧轨迹面自动检测方法步骤对应的模块单元组成的检测装置，以用于对施工车辆倾轧轨迹面进行自动检测。
实施例3
为了更好地说明本发明所提供的方案所具有的优异效果，本实施例通过实验测试结果进行说明。实验视频数据由大疆无人机在国家电网施工现场30米高度实地航拍得到。无人机采集视频格式为mp4，共采集施工现场视频15段，视频平均时长70秒，视频分辨率为1080P，即图片像素为1920*1080，帧率为25，共10629帧图像。
视频中无人机与压路机相对位置随机，视频中包含1-3个不同的施工车型，压路机概貌完整，包含完整的压路机行驶过程。
1、压路机角度判别实验结果
图像的BOF特征表征了图像的区域特征信息，涵盖了压路机的角度信息，通过多角度压路机样本训练库中基准图片的匹配相关滤波响应，可准确识别目标图像中压路机的角度信息。应用该匹配算法识别无人机拍摄视频中压路机角度结果如图16所示，整段压路机视频角度识别结果如图17所示。
图17中，横坐标表示视频帧数，纵坐标表示压路机角度数值化的结果，压路机的“正面”、“正侧”、“侧面”、“背侧”和“侧面”分别对应数值2、1.5、1、0.5、0。由图可知，压路机视频中只存在单个角度时，识别正确率较高，但若存在角度转变，则正确率有所下降。因为压路机行驶速度较慢，相邻帧之间的偏移不大，导致在两个角度的临界位置难以判断其真实角度，出现角度判断错误的图片。
2、压路机角度判别对比实验分析
图像匹配可以通过不同的特征进行相关滤波实现，典型的图像特征包括方向梯度直方图 (Histogram of Oriented Gridients,HOG)特征、轮廓(Outline)特征等，本实施例采用7 段视频对比上述特征与匹配相关滤波相结合实现压路机角度识别效果和基于BOF-MCF的角度识别效果，7段视频包含的角度信息为：“正侧”、“正侧-正面-正侧”、“正侧-侧面”、“正面”、“背侧-背面”、“背侧”、“侧面”，结果如表1所示：
表1基于不同特征的MCF压路机角度识别效果对比
Figure BDA0002459236040000161
表1的可视化结果如图18所示。
对比表1的结果可知，基于BOF特征的匹配相关滤波器可以精准高效地识别压路机的角度信息，角度识别正确率均在90％以上。其中，“正侧”、“正面”和“背面”三类单一角度识别正确率高，而“侧面”和有角度变化的识别率有所下降，因为视频中压路机帧间角度差较小，无人机与压路机的相对位置的稍微偏移都会导致压路机角度判别错误。
压路机图像的BOF特征是基于匹配图像库计算得到的特征单词出现频率直方图，即使图片大小不一，也可以得到维度相同的特征向量，因此BOF特征在不对图像做任何处理的情况下，可以较好地表征彩色图片的特征，基本没有信息丢失。HOG特征和轮廓特征向量的维度与图片大小相关，而进行匹配相关滤波的输入参数必须维度一致，因此计算上述两类特征向量之前需要对压路机图片进行大小调整，大小调整处理涉及图像降采样或插值，会导致压路机图像信息部分丢失或被修改，进而造成压路机角度信息不完整，角度识别正确率低。
3、碾轮轴长/架长实验结果与分析
为了分析本发明方案的碾轮轴长/架长检测效果及压路机倾轧路径面检测性能，实验每隔10帧手动标定一次标准样本，其中包含正面78帧的压路机碾轮轴长、前侧面46帧的压路机碾轮轴长、侧面25帧的压路机碾轮轴长、后侧面50帧的压路机架长以及背面80帧的架长作为实验的标准样本。
本发明方案利用LSD对碾轮轴长/架长进行检测，为了分析LSD的检测效果，实验通过标准的碾轮轴长/架长与检测的碾轮轴长/架长的绝对角度差Δθ进行分析。其中绝对角度差Δθ的定义如下：
假设一条标准碾轮轴长/架长的两个端点坐标分别为A1(x1,y1)、B1(x2,y2)，一条通过LGC 算法检测出来的碾轮轴长/架长的两个端点坐标分别为A2(x3,y3)、B2(x4,y4)，则有：
Figure BDA0002459236040000171
根据式(17)，本实验计算了压路机五个角度的绝对角度差Δθ。压路机五个角度的绝对角度差Δθ大小的占比如表2所示。
表2压路机五个角度的绝对角度差Δθ大小的占比
角度 正面 背面 前侧面 后侧面 侧面
Δθ≤2° 97.44％ 11.25％ 65.22％ 16.00％ 16.00％
2°＜Δθ≤5° 2.56％ 81.25％ 32.61％ 76.00％ 60.00％
5°＜Δθ≤10° 0.00％ 7.50％ 2.17％ 12.00％ 24.00％ 
由表2可知，标准的碾轮轴长/架长与检测的碾轮轴长/架长的绝对角度差Δθ主要分布在0°～5°的范围，绝对角度Δθ差的范围较小，LSD的检测效果较好，具有实际意义，适用于本发明的压路机碾轮轴长/架长检测。
4、压路机倾轧路径面检测结果与分析
为了评估本发明提出方案的压路机倾轧路径面检测性能，利用Dice系数(TheDice Similarity Coefficient)、过识别率、欠识别率作为评估路径面识别结果的指标。使用Dice 系数作为算法提取及手动标记的压路机路径面的重叠部分度量，代表本发明方案所提取的倾轧路径面结果与手动标记结果的相似度，其计算公式如式(18)所示：
Figure BDA0002459236040000172
式(18)中TS为提出算法输出的压路机倾轧路径面集合，RS为手动标记的参考路径面集合。
过识别率：即识别结果在手动标记的参考路径面之外的像素点的占比，其公式如式(19) 所示：
Figure BDA0002459236040000181
式(19)中，OS表示识别结果中不被包含在参考路径面结果中的像素点个数。OSR值越大则说明本研究提出的算法过识别越严重。
欠识别率：即识别结果在参考路径面之中所缺少的像素点的占比，其公式如式(20)所示：
Figure BDA0002459236040000182
式(20)中，US表示在参考路径面结果中没有被包含在本研究算法识别结果中的像素点个数,且USR值越大则说明本研究提出算法的检测结果欠识别越严重。表3为本实施例测试结果的Dice系数、过识别率、欠识别率结果。由表3中参数可知，本发明提出的算法DSC参数在83.00％～92.72％的范围内，说明路径面识别结果与手动标记参考结果相似度高，且过识别率和欠识别率较低，则提出算法所得结果误差较小，适用于不同角度的压路机倾轧路径面自动检测。
表3提出算法的性能分析结果
Figure BDA0002459236040000183
本发明针对施工车辆的轨迹面积测量方面提出了一种基于多角度判别的施工车辆轨迹面积分析方案。首先，在首帧图像中确定目标车辆，再利用Mean-Shift目标跟踪实现目标车辆的跟踪，输出目标车辆位置；其次，基于本发明提出的BOF-MCF特征参数学习和自动识别压路机的角度信息；然后，基于不同角度的压路机，提出不同的轨迹面检测方法，将不同角度压路机的轨迹面相连接，最终得到施工车辆倾轧轨迹面。
整套施工车辆轨迹面积的测量方案可行性高：首先，基于实际施工车辆运行轨迹的实际情况，提出BOF-MCF特征参数来识别压路机的角度信息，不同角度的施工车辆调用不同的轨迹面积检测方案，测量精准，适用性高；其次，在轨迹面测量中，利用碾轮轴长/架长来替代整个施工车辆，在能表征施工车辆的同时提高整个项目压路机的识别效率，最后的路径面识别结果与手动标记参考结果误差小，适用于施工车辆的轨迹面测量。
本方案可以有效跟踪施工车辆，获取施工车辆运行轨迹面积，有助于实时监测工地倾轧情况，提升施工工地的管控效率。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (9)

1.一种基于多角度判别的倾轧轨迹面自动检测方法，用于对施工车辆倾轧轨迹面进行自动检测，其特征在于，包括如下步骤：
S01，对采集的连续视频帧进行目标跟踪和实时定位，获取各视频帧中目标施工车辆的中心位置；
S02，构建多角度目标样本训练库，并建立目标样本训练库图像以及待识别目标图像的BOF特征参数；
S03，对待识别目标图像利用BOF特征的匹配相关滤波器参数学习，判断目标车辆所属角度类别；
S04，根据目标车辆所属的角度类别对目标车辆进行ROI区域粗定位和二次定位，得到目标施工车辆的轮廓；
S05，从目标施工车辆轮廓中自动检测和提取目标施工车辆的倾轧直线；
S06，根据提取的倾轧直线自动检测目标施工车辆的轨迹，得到目标施工车辆的倾轧轨迹面；
步骤S02中对所述多角度目标样本训练库的特征参数计算过程包括：
首先提取多角度目标样本训练库中每一区域的特征，再通过K均值聚类方法将特征聚类，每个聚类中心形成一个有代表性的特征单词word，样本训练库所提取到的n个特征单词即构成特征词典，即{word1,word2,...wordn}；最后，将多角度目标样本训练库中的每一张图像通过特征词典中单词出现的概率直方图构成的n维特征向量{v1,v2,...vn}表征，即图像Ii的BOF特征向量表示为：
Ii表示多角度压路机训练样本库中的任意一张图像。
2.如权利要求1所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，所述施工车辆为压路机。
3.如权利要求1所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，所述步骤S02中构建多角度目标样本训练库包括：
首先对施工车辆的多角度分类标准进行设置，将施工车辆角度分为五类：“正面”、“正侧”、“侧面”、“背侧”和“背面”；
其次从视频中截取临界角度施工车辆图片，每类角度选取m张图片，五类角度共5m张图片，作为多角度目标样本训练库，记为其中上标表示角度类别，下标表示图片编号。
4.如权利要求1所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，所述步骤S03中对待识别目标图像利用BOF特征的匹配相关滤波器参数学习，判断目标车辆所属角度类别具体包括：
S301，提取待识别目标图像的BOF特征向量；
对于目标图像It，根据已知的特征词典{word1,word2,...wordn}计算目标图片It中特征词典各单词出现频率向量，作为其对应的BOF特征向量,It的BOF特征向量表示为：
S302，利用BOF特征向量创建DCF相关滤波器模型Fl，并对待识别目标图像进行匹配相关滤波器参数自适应学习；
所述待识别目标图像It的n维BOF特征向量fvt所对应滤波器Fl的n个参数{f1,f2,...,fn}，通过最小化实际相关响应与理想相关响应d的均方误差实现，其均方误差计算式为：
其中，式(2)中，*表示循环相关，第二项加数是权重为ε的滤波器参数正则化，初始化滤波器参数时设置高斯滤波器；
式(2)使用Parseval定理将式(2)转换到频域，可计算出使式(2)结果最小的滤波器为：
其中，Fl为fl对应的离散傅里叶变换，Vl t为对应的离散傅里叶变换，表征了复共轭性；式(3)表征了通过单一目标图片It特征向量fvt学习滤波器的结果；
S303，判断新一帧目标图像的角度时，根据新一帧目标图像的BOF特征更新滤波器参数，通过新一帧目标图像BOF特征更新滤波器f的分子和分母Dnew为：
其中，ω是滤波器更新速率参数，利用新一帧图像的BOF特征的离散傅里叶变换Vnew，结合当前滤波器参数Bnow和Dnow，得到新一帧目标图像的滤波器参数，表征当前帧图像中压路机的角度信息；
S304，利用BOF-DCF滤波器Fl对待识别目标图像It的BOF特征向量fvt进行打分，得到分数yscore；
S305，根据分数yscore判断目标图像中工程车辆角度是I型还是II型；
在得到多角度目标样本训练库中图像Ii与当前待识别目标图片It的相关分数后，相关分数最高对应的样本图像即认为是目标图片最匹配的对象，该对象的角度即认为是目标图片It中施工车辆的角度；
若角度自动检测结果为Ⅰ型角度，输出图片I'，若角度自动检测结果为Ⅱ型角度，输出图片I”；
所述Ⅰ型角度是指施工车辆位于正面及背面，所述Ⅱ型角度是指施工车辆位于正侧面、侧面、背侧面。
5.如权利要求4所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，所述S304利用BOF-DCF滤波器Fl对待识别目标图像It的BOF特征向量fvt进行打分，得到分数yscore具体包括：
由前述步骤可知已知特征词典{word1,word2,...wordn}，则多角度目标样本训练库中的每一张图像都可以计算得到其特征词典单词出现的频率直方图，即表征匹配图像的特征向量其离散傅里叶变换中包含有样本训练库图片中压路机的角度信息，计算待识别目标训练样本库中任一图像Ii的特征向量与滤波器参数之间相关分数的离散傅里叶变换为：
其中，Bnow和Dnow是根据待识别目标图像Ii的BOF特征向量计算得到的滤波器参数，λ为常数，保证分母不为0；
对计算结果做傅里叶逆变换，取实数部分记为多角度目标样本训练库中任一图像Ii与当前待识别目标图片It的相关分数：
6.如权利要求1所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，所述步骤S05中从压路机轮廓中自动检测和提取目标施工车辆的倾轧直线具体包括：
S501，对轮廓图像IDoG进行梯度计算及伪排序：利用式(12)对压路机轮廓图IDoG中每个像素点IDoG(x,y)的右下方的四个像素进行梯度计算，找到有线段边缘的地方，其中式(13)及式(14)分别是像素点IDoG(x,y)在x,y方向上的一阶微分；然后对梯度值按照其的分布进行排序，伪排序将时间缩短到O(n)线性时间内；
S502，分割水平线场得到LSR区域，每个像素点梯度的垂直方向角度是像素点的水平线角度，利用式(15)求得：
S503，对LSR区域进行矩形验证：利用Contrario方法和Helmholtz法则对LSR进行矩形验证；
S504，筛选目标施工车辆的碾轮轴长/架长作为倾轧直线。
7.如权利要求6所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，
所述步骤S504中筛选目标的碾轮轴长/架长作为倾轧直线具体包括：
首先对横杆位置进行初定位，选取目标施工车辆图像下1/2部分来进行直线结构的提取；
其次对不同角度的目标施工车辆设定不同的横杆约束条件：
正面背面横杆约束条件为：直线角度的绝对值应在±20°内，且直线长度大于图片宽度的1/2；侧面/前侧面/后侧面横杆约束条件为：直线角度的绝对值应在±10°内，且直线长度大于图片宽度的1/2；
使用以上约束条件对初定位的碾轮轴长/架长进行判断，最终得到不同角度的碾轮轴长/架长作为倾轧直线，并用于倾轧面的识别。
8.如权利要求1所述的一种基于多角度判别的倾轧轨迹面自动检测方法，其特征在于，所述步骤S06根据提取的倾轧直线自动检测轨迹面，得到目标施工车辆的倾轧轨迹面具体包括：
S601，对当前帧图像和下一帧图像自动提取倾轧直线长度；
S602,将相邻两帧图像中所检测到的倾轧直线的两端相连构成帧间差四边形，该四边形即为相邻两帧内压路机的倾轧路径面；
S603,将目标视频中所有相邻两帧的帧间差四边形叠加，即为该视频中目标施工车辆完整的倾轧轨迹面。
9.一种基于多角度判别的倾轧轨迹面自动检测装置，其特征在于，所述装置是基于权利要求1-8中任一倾轧轨迹面自动检测方法步骤对应的模块单元组成的检测装置，以用于对施工车辆倾轧轨迹面进行自动检测。
CN202010315095.1A 2020-04-21 2020-04-21 一种基于多角度判别的倾轧轨迹面自动检测方法和装置 Active CN111611858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010315095.1A CN111611858B (zh) 2020-04-21 2020-04-21 一种基于多角度判别的倾轧轨迹面自动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010315095.1A CN111611858B (zh) 2020-04-21 2020-04-21 一种基于多角度判别的倾轧轨迹面自动检测方法和装置

Publications (2)

Publication Number Publication Date
CN111611858A CN111611858A (zh) 2020-09-01
CN111611858B true CN111611858B (zh) 2023-04-25

Family

ID=72194554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010315095.1A Active CN111611858B (zh) 2020-04-21 2020-04-21 一种基于多角度判别的倾轧轨迹面自动检测方法和装置

Country Status (1)

Country Link
CN (1) CN111611858B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239966B (zh) * 2022-05-30 2024-04-09 中国地质大学（武汉） 一种基于图像处理的隐伏基底古裂谷识别提取方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4700899B2 (ja) * 2003-04-14 2011-06-15 株式会社豊田自動織機 駐車支援装置
US8213725B2 (en) * 2009-03-20 2012-07-03 Eastman Kodak Company Semantic event detection using cross-domain knowledge
JP2013250796A (ja) * 2012-05-31 2013-12-12 Sumitomo Electric Ind Ltd 番号標検出装置、番号標検出方法及びコンピュータプログラム
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
US10163000B2 (en) * 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
CN109919072B (zh) * 2019-02-28 2021-03-19 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法

Also Published As

Publication number Publication date
CN111611858A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
Oliveira et al. Automatic road crack detection and characterization
CN108805904B (zh) 一种基于卫星序列图像的运动舰船检测与跟踪方法
CN107169401B (zh) 基于轨道视觉特征谱的轨道入侵物检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN107895139B (zh) 一种基于多特征融合的sar图像目标识别方法
CN111274843B (zh) 基于监控视频的货车超载监测方法及系统
CN107610114A (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN108052904B (zh) 车道线的获取方法及装置
CN110598613B (zh) 一种高速公路团雾监测方法
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN109635789B (zh) 基于强度比和空间结构特征提取的高分辨sar图像分类方法
CN102346854A (zh) 前景物体检测方法和设备
Daniel et al. Automatic road distress detection and analysis
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
CN107742113A (zh) 一种基于目标数量后验的sar图像集群目标检测方法
CN110717900A (zh) 基于改进Canny边缘检测算法的受电弓磨耗检测方法
CN112308873A (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
KR101941043B1 (ko) 고화질 항공 이미지에서의 물체 검출 방법
CN111611858B (zh) 一种基于多角度判别的倾轧轨迹面自动检测方法和装置
Tsai et al. Vehicle detection using normalized color and edge map
Huang et al. Superpixel-based change detection in high resolution sar images using region covariance features
CN111783834B (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
CN108229562B (zh) 一种得到路面具体破损分类情况的方法
Kanchev et al. Blurred image regions detection using wavelet-based histograms and SVM
CN112991425B (zh) 一种水域水位提取方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201203

Address after: 610000 No. 366 Shuxiu West Road, Wuhou District, Chengdu City, Sichuan Province

Applicant after: STATE GRID SICHUAN ELECTRIC POWER Corp.

Applicant after: ABA POWER SUPPLY COMPANY, STATE GRID SICHUAN ELECTRIC POWER Co.

Address before: 610000 No. 366 Shuxiu West Road, Wuhou District, Chengdu City, Sichuan Province

Applicant before: STATE GRID SICHUAN ELECTRIC POWER Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant