CN111539277A - 一种输电线路区域内施工机械的检测方法及系统 - Google Patents

一种输电线路区域内施工机械的检测方法及系统 Download PDF

Info

Publication number
CN111539277A
CN111539277A CN202010289669.2A CN202010289669A CN111539277A CN 111539277 A CN111539277 A CN 111539277A CN 202010289669 A CN202010289669 A CN 202010289669A CN 111539277 A CN111539277 A CN 111539277A
Authority
CN
China
Prior art keywords
pixel point
matching
value
codebook
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010289669.2A
Other languages
English (en)
Inventor
李冰
贾雪健
王新颖
翟永杰
赵振兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
North China Electric Power University
NARI Group Corp
Zhejiang Dahua Technology Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202010289669.2A priority Critical patent/CN111539277A/zh
Publication of CN111539277A publication Critical patent/CN111539277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线路区域内施工机械的检测方法及系统，所述检测方法包括首先，基于视频数据生成待检测区域的码书背景模型；将待检测图像中的每个像素点与码书背景模型进行匹配，得到待检测图像中的运动目标的像素点坐标集合；根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；将待检测图像和Box集合输入训练好的Fast R‑CNN模型进行监测。本发明将运动目标检测和深度学习目标检测相结合，使Fast R‑CNN只关注图像信息中的前景目标。从而大大减少了算法的冗余计算，同时，利用码书的运动目标检测作用，使得Fast R‑CNN依靠少量图像样本即可取得较好的检测效果。提高了对输电线路中施工机械的检测精度和检测速度。

Description

一种输电线路区域内施工机械的检测方法及系统
技术领域
本发明涉及输电线路检测技术领域，特别是涉及一种输电线路区域内施工机械的检测方法及系统。
背景技术
通过对输电线路的入侵行为统计发现，大型机械碰线是输电线路外力入侵的主要因素，因此通过输电线路监控信息来实现对大型机械的自动识别，可以大大减少巡视人员的工作量，同时也会及时发现大型机械的入侵，保障输电线路的运行安全。
目前基于输电线路监控视频的大型机械入侵检测研究较少，当前用于图像的入侵检测方法，一类是基于运动目标的入侵检测方法，典型的方法包括帧差法、高斯混合模型(GMM)、码书(CodeBook)等；另一类是基于图像分类的方法，如SVM分类器、Adaboost分类器以及深度学习检测器(Fast R-CNN)等。但是基于运动目标检测的入侵检测方法易于受现场环境的干扰而产生误检，同时由于算法本身的局限性，无法提供入侵物体的类别信息(如人、车辆等)，不利于实际应用中的排查工作，存在大量的冗余计算。基于图像分类的方法虽然对背景具有较强的适应能力，并且能提供入侵物体的类别信息，但其需要大量的标注图像样本，少量的图像样本无法达到较好的效果。如何减少深度学习检测器的冗余计算和在训练过程中的图像样本，提高对输电线路中施工机械的检测精度和检测速度，成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种输电线路区域内施工机械的检测方法及系统，以减少深度学习检测器的冗余计算和在训练过程中的图像样本，提高对输电线路中施工机械的检测精度和检测速度。
为实现上述目的，本发明提供了如下方案：
一种输电线路区域内施工机械的检测方法，所述检测方法包括如下步骤：
采集输电线路的待检测区域的视频数据；
基于所述视频数据生成待检测区域的码书背景模型；
采集待检测区域的图像，获得待检测图像；
将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；
将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。
可选的，所述基于所述视频数据生成待检测区域的码书背景模型，具体包括：
将所述视频数据的每个像素点表示成时间序列向量Xi＝(xi1,xi2,…,xin,…,xiN)；其中，Xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xiN分别表示第i个像素点的第1帧、第2帧、第n帧和第N帧图像的参数；xin＝(Rin,Gin,Bin)，Rin,Gin,Bin分别表示第i个像素点的第n帧图像的R值，G值，B值；
分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
可选的，所述分别建立每个像素点的时间序列向量的码书，具体包括：
初始化码书字数和码书集合，令码书字数L＝0，码书集合CB为空集；
将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
Figure BDA0002449916590000021
其中，fm表示第m个码字匹配成功的次数，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值；Btin表示第i个像素点的第n帧图像的亮度值，
Figure BDA0002449916590000022
Btm表示第m码字的亮度值，
Figure BDA0002449916590000023
min Btm和max Btm分别表示与第m个码字相匹配的第i个像素点的所有帧图像的亮度值的最小值和最大值；λm表示第m个码字匹配成功的最大时间间隔，tn表示视频数据的第n帧的时间，pm和qm表示第m个码字第一次和最后一次匹配成功的时间；
执行步骤“判断n的数值是否小于N，得到第二判断结果”；
若所述匹配结果表示匹配不成功，则判断m的数值是否小于L，得到第一判断结果；
若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第一判断结果表示否，则令码书字数L的值增加1，并创建一个新的码字cL＝((Rin,Gin,Bin),Btin,Btin,1,tn-1,tn,tn)；
判断n的数值是否小于N，得到第二判断结果；
若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第二判断结果表示否，则输出第i个像素点的包含L个码字的码书集合，作为第i个像素点的码书。
可选的，所述将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果，具体包括：
判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(Btin,<minBtm,maxBtm>)＝true，得到第三判断结果；其中，vm表示第m个码字的RGB值，vm＝(Rm,Gm,Bm)，ε1表示第一预设阈值；
Figure BDA0002449916590000031
若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；
若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
可选的，所述根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合，具体包括：
将运动目标的像素点坐标集合映射到二值矩阵中，得到映射矩阵；
采用两遍扫描算法对所述映射矩阵进行连通区域检测，将每个连通区域作为一个运动目标，得到多个运动目标；
从多个所述运动目标中筛选出像素点数量大于像素点数量最低阈值的运动目标，得到筛选后的运动目标；
对每个所述筛选后的运动目标进行最大外接矩形检测，得到每个筛选后的运动目标的最大外接矩形坐标，作为Box集合。
可选的，将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果，之前还包括：
采用已标注的施工机械图像数据集，训练Fast R-CNN网络，得到训练好的Fast R-CNN模型。
一种输电线路区域内施工机械的检测系统，所述检测系统包括：
视频数据采集模块，用于采集输电线路的待检测区域的视频数据；
码书背景模型建立模块，用于基于所述视频数据生成待检测区域的码书背景模型；
待检测图像采集模块，用于采集待检测区域的图像，获得待检测图像；
运动目标检测模块，用于将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
最大外接矩形坐标确定模块，用于根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；
监测模块，用于将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。
可选的，所述码书背景模型建立模块，具体包括：
时间序列向量生成子模块，用于将所述视频数据的每个像素点表示成时间序列向量Xi＝(xi1,xi2,…,xin,…,xiN)；其中，Xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xiN分别表示第i个像素点的第1帧、第2帧、第n帧和第N帧图像的参数；xin＝(Rin,Gin,Bin)，Rin,Gin,Bin分别表示第i个像素点的第n帧图像的R值，G值，B值；
码书背景模型建立子模块，用于分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
可选的，所述码书背景模型建立子模块，具体包括：
初始化单元，用于初始化码书字数和码书集合，令码书字数L＝0,码书集合CB为空集；
匹配单元，用于将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
码字更新单元，用于若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
Figure BDA0002449916590000051
其中，fm表示第m个码字匹配成功的次数，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值；Btin表示第i个像素点的第n帧图像的亮度值，
Figure BDA0002449916590000052
Btm表示第m码字的亮度值，
Figure BDA0002449916590000053
min Btm和max Btm分别表示与第m个码字相匹配的第i个像素点的所有帧图像的亮度值的最小值和最大值；λm表示第m个码字匹配成功的最大时间间隔，tn表示视频数据的第n帧的时间，pm和qm表示第m个码字第一次和最后一次匹配成功的时间；执行步骤“判断n的数值是否小于N，得到第二判断结果”；
第一判断单元，用于若所述匹配结果表示匹配不成功，则判断m的数值是否小于L，得到第一判断结果；
第一循环单元，用于若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
码字新建单元，用于若所述第一判断结果表示否，则令码书字数L的值增加1，并创建一个新的码字cL＝((Rin,Gin,Bin),Btin,Btin,1,tn-1,tn,tn)；
第二判断单元，用于判断n的数值是否小于N，得到第二判断结果；
第二循环单元，用于若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
码书输出单元，用于若所述第二判断结果表示否，则输出第i个像素点的包含L个码字的码书集合，作为第i个像素点的码书。
可选的，所述匹配单元，具体包括：
第三判断子单元，判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(Btin,<minBtm,maxBtm>)＝true，得到第三判断结果；其中，vm表示第m个码字的RGB值，vm＝(Rm,Gm,Bm)，ε1表示第一预设阈值；
Figure BDA0002449916590000054
匹配结果获取子单元，用于若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提出了一种输电线路区域内施工机械的检测方法及系统，所述检测方法包括如下步骤：首先，基于视频数据生成待检测区域的码书背景模型；将待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。本发明将运动目标检测和深度学习目标检测相结合，可使Fast R-CNN只关注图像信息中的前景目标，即运动目标。从而大大减少了算法的冗余计算，同时，利用码书的运动目标检测作用，使得Fast R-CNN依靠少量图像样本即可取得较好的检测效果。提高了对输电线路中施工机械的检测精度和检测速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种输电线路区域内施工机械的检测方法的流程图；
图2为本发明提供的一种输电线路区域内施工机械的检测方法的原理图；
图3为现有技术中的Fast R-CNN算法的原理示意图；
图4为现有技术中的Fast R-CNN算法的感兴趣区域池化的原理图；
图5为本发明提供的采用码书背景模型匹配得到的Box集合输入Fast R-CNN进行检测的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种输电线路区域内施工机械的检测方法及系统，以减少深度学习检测器的冗余计算和在训练过程中的图像样本，提高对输电线路中施工机械的检测精度和检测速度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了实现上述目的本发明提供一种输电线路区域内施工机械的检测方法，如图1和2所示，所述检测方法包括如下步骤：
步骤101，采集输电线路的待检测区域的视频数据。
步骤102，基于所述视频数据生成待检测区域的码书背景模型。
步骤102所述基于所述视频数据生成待检测区域的码书背景模型，具体包括：将所述视频数据的每个像素点表示成时间序列向量Xi＝(xi1,xi2,…,xin,…,xiN)；其中，Xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xiN分别表示第i个像素点的第1帧、第2帧、第n帧和第N帧图像的参数；xin＝(Rin,Gin,Bin)，Rin,Gin,Bin分别表示第i个像素点的第n帧图像的R值，G值，B值；分别建立每个像素点的时间序列向量的码书，得到码书背景模型。每一个像素点建立一个码书CodeBook(CB)，每个CodeBook由L个码字CodeWord(CW)构成(如式1)。每个像素拥有不同大小的CodeBook。其中CodeWord的结构如式2所示。
CB＝(CW1,CW2,…CWL) (1)
CWm＝{(Rm,Gm,Bm),maxBtm,minBtm,fm,λm,pm,qm} (2)
maxBtm,minBtm表示所有与第m个码字匹配的帧的亮度最大值和最小值。m＝1,2，…，L。
fm表示第m个码字出现的次数。
λm表示算法训练过程中第m个码字出现的最大时间间隔。
pm,qm分别表示第m个码字第一次出现和最后一次出现的时间。
其中，所述分别建立每个像素点的时间序列向量的码书，具体包括：
初始化码书字数和码书集合，令码书字数L＝0，码书集合CB为空集；
将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
Figure BDA0002449916590000071
其中，fm表示第m个码字匹配成功的次数，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值；Btin表示第i个像素点的第n帧图像的亮度值，
Figure BDA0002449916590000081
Btm表示第m码字的亮度值，
Figure BDA0002449916590000082
min Btm和max Btm分别表示与第m个码字相匹配的第i个像素点的所有帧图像的亮度值的最小值和最大值；λm表示第m个码字匹配成功的最大时间间隔，tn表示视频数据的第n帧的时间，pm和qm表示第m个码字第一次和最后一次匹配成功的时间；
执行步骤“判断n的数值是否小于N，得到第二判断结果”；
若所述匹配结果表示匹配不成功，则判断m的数值是否小于L，得到第一判断结果；
若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第一判断结果表示否，则令码书字数L的值增加1，并创建一个新的码字cL＝((Rin,Gin,Bin),Btin,Btin,1,tn-1,tn,tn)；
判断n的数值是否小于N，得到第二判断结果；
若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第二判断结果表示否，则输出第i个像素点的包含L个码字的码书集合，作为第i个像素点的码书。
所述将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果，具体包括：判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(Btin,<minBtm,maxBtm>)＝true，得到第三判断结果；其中，vm表示第m个码字的RGB值，vm＝(Rm,Gm,Bm)，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值，ε1表示第一预设阈值；
Figure BDA0002449916590000083
Btin表示第i个像素点的第n帧的亮度
Figure BDA0002449916590000084
Btm表示第m个码字的亮度；min Btm和max Btm分别表示与第m个码字相匹配的所有的像素点的亮度的最小值和最大值；若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
步骤103，采集待检测区域的图像，获得待检测图像；
步骤104，将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合。
对待检测图像中的每一个像素点执行以下步骤，则可以得到该图像中运动目标的像素点坐标集合，记为Obj。
按照公式3和公式4找到与待检测图像中的像素点xt的码书(CodeBook)中与xt相匹配的码字cm，Bt为待检测图像中的像素点xt的亮度值。
若没有找到匹配的码字，则该像素点属于运动目标中的像素点。
colordist(xt，vm)≤ε2 (3)
brightness(Bt，<min Btm，max Btm>)＝true (4)
若可以找到匹配的码字，则按照码书建立过程的规则，对码字进行更新。
本发明即使在检测过程中，也会对建立好的码书码字进行更新，以达到背景模型实时更新的目的。
步骤105，根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合。
步骤105所述根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合，具体包括：
将运动目标的像素点坐标集合映射到二值矩阵中，得到映射矩阵；即，构建运动目标前景图：新建一个二值矩阵，矩阵的大小和待检测图像的大小一致，依据Obj中的各个像素点坐标，将二值矩阵的相应坐标置1，其余位置设置为0。即得到了Obj在二值矩阵中的映射。
采用两遍扫描算法对所述映射矩阵进行连通区域检测，将每个连通区域作为一个运动目标，得到多个运动目标；即，在经过Obj映射后的二值矩阵上，依靠连通域算法中的两遍扫描法(Two-Pass)，对该二值矩阵进行连通域检测，得到若干个独立的目标。
从多个所述运动目标中筛选出像素点数量大于像素点数量最低阈值的运动目标，得到筛选后的运动目标；即，设置合适的阈值θ，对步骤4中得到的若干个目标进行删选，剔除掉像素点总数少于θ的目标。
对每个所述筛选后的运动目标进行最大外接矩形检测，得到每个筛选后的运动目标的最大外接矩形坐标，作为Box集合。即对筛选后的所有目标进行最大外接矩形检测，得到每个目标的最大外接矩形坐标。记为Box集合。
采用已标注的施工机械图像数据集，训练Fast R-CNN网络，得到训练好的Fast R-CNN模型。
步骤106，将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。
如图3所示，基于现有的Fast R-CNN算法的检测过程为：
输入图像。
通过深度网络中的卷积层(VGG、Alexnet、Resnet等中的卷积层)对图像进行特征提取，得到图片的特征图。
通过选择性搜索算法得到图像的感兴趣区域(又称区域建议框)，感兴趣区域的数量通常取2000个。
对得到的感兴趣区域进行ROI pooling(感兴趣区域池化)：即通过坐标投影的方法，在特征图上得到输入图像中的感兴趣区域对应的特征区域，并对该区域进行最大值池化，这样就得到了感兴趣区域的特征，并且统一特征大小，其原理如图4所示。
对ROI pooling层的输出(及感兴趣区域对应的特征图最大值池化后的特征)作为每个感兴趣区域的特征向量；
将感兴趣区域的特征向量与全连接层相连，并定义多任务损失函数，分别与softmax分类器和BoundingBox回归器相连，分别得到当前感兴趣区域的类别及坐标包围框；
对所有得到的包围框进行非极大值抑制(NMS)，得到最终的检测结果。
如图5所示，本发明采用码书背景建模的方式生成的Box集合来代替感兴趣区域集合。可以大幅提高Box集合的质量，过滤掉了静止的冗余目标，从而使算法的检测速度大幅提高。
本发明还提供一种输电线路区域内施工机械的检测系统，所述检测系统包括：
视频数据采集模块，用于采集输电线路的待检测区域的视频数据。
码书背景模型建立模块，用于基于所述视频数据生成待检测区域的码书背景模型。
所述码书背景模型建立模块，具体包括：时间序列向量生成子模块，用于将所述视频数据的每个像素点表示成时间序列向量Xi＝(xi1,xi2,…,xin,…,xiN)；其中，Xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xiN分别表示第i个像素点的第1帧、第2帧、第n帧和第N帧图像的参数；xin＝(Rin,Gin,Bin)，Rin,Gin,Bin分别表示第i个像素点的第n帧图像的R值，G值，B值；码书背景模型建立子模块，用于分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
其中，所述码书背景模型建立子模块，具体包括：
初始化单元，用于初始化码书字数和码书集合，令码书字数L＝0,码书集合CB为空集。
匹配单元，用于将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果。
码字更新单元，用于若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
Figure BDA0002449916590000111
其中，fm表示第m个码字匹配成功的次数，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值；Btin表示第i个像素点的第n帧图像的亮度值，
Figure BDA0002449916590000112
Btm表示第m码字的亮度值，
Figure BDA0002449916590000113
min Btm和max Btm分别表示与第m个码字相匹配的第i个像素点的所有帧图像的亮度值的最小值和最大值；λm表示第m个码字匹配成功的最大时间间隔，tn表示视频数据的第n帧的时间，pm和qm表示第m个码字第一次和最后一次匹配成功的时间；执行步骤“判断n的数值是否小于N，得到第二判断结果”。
第一判断单元，用于若所述匹配结果表示匹配不成功，则判断m的数值是否小于L，得到第一判断结果。
第一循环单元，用于若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”。
码字新建单元，用于若所述第一判断结果表示否，则令码书字数L的值增加1，并创建一个新的码字cL＝((Rin,Gin,Bin),Btin,Btin,1,tn-1,tn,tn)。
第二判断单元，用于判断n的数值是否小于N，得到第二判断结果。
第二循环单元，用于若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”。
码书输出单元，用于若所述第二判断结果表示否，则输出第i个像素点的包含L个码字的码书集合，作为第i个像素点的码书。
待检测图像采集模块，用于采集待检测区域的图像，获得待检测图像；
运动目标检测模块，用于将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
最大外接矩形坐标确定模块，用于根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；
监测模块，用于将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。
所述匹配单元，具体包括：
第三判断子单元，判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(Btin,＜minBtm,maxBtm＞)＝true，得到第三判断结果；其中，vm表示第m个码字的RGB值，vm＝(Rm,Gm,Bm)，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值，ε1表示第一预设阈值；
Figure BDA0002449916590000121
Btin表示第i个像素点的第n帧的亮度
Figure BDA0002449916590000122
Btm表示第m个码字的亮度。
匹配结果获取子单元，用于若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明应用于输电线路监控区域的施工机械检测，通过CodeBook背景建模和FastR-CNN相结合的方法可以提高检测精度，尤其是提高对运动目标的检测精度。
本发明的算法相比于单纯使用Fast R-CNN进行检测，可大幅减少误检率，使FastR-CNN算法仅仅关注运动目标，达到了精准的对施工中的机械进行检测。
本发明使用CodeBook生成的Box集合来替代Fast R-CNN的Box集合生成过程，可以大幅提高Box集合的质量，过滤掉了静止的冗余目标，从而使算法的检测速度大幅提高。
本发明可以缓解Fast R-CNN对数据(训练样本图像)的依赖，使用少量数据即可得到较好的检测结果。
本说明书中等效实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，等效实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种输电线路区域内施工机械的检测方法，其特征在于，所述检测方法包括如下步骤：
采集输电线路的待检测区域的视频数据；
基于所述视频数据生成待检测区域的码书背景模型；
采集待检测区域的图像，获得待检测图像；
将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；
将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。
2.根据权利要求1所述的输电线路区域内施工机械的检测方法，其特征在于，所述基于所述视频数据生成待检测区域的码书背景模型，具体包括：
将所述视频数据的每个像素点表示成时间序列向量Xi＝(xi1,xi2,…,xin,…,xiN)；其中，Xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xiN分别表示第i个像素点的第1帧、第2帧、第n帧和第N帧图像的参数；xin＝(Rin,Gin,Bin)，Rin,Gin,Bin分别表示第i个像素点的第n帧图像的R值，G值，B值；
分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
3.根据权利要求2所述的输电线路区域内施工机械的检测方法，其特征在于，所述分别建立每个像素点的时间序列向量的码书，具体包括：
初始化码书字数和码书集合，令码书字数L＝0，码书集合CB为空集；
将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
Figure FDA0002449916580000011
其中，fm表示第m个码字匹配成功的次数，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值；Btin表示第i个像素点的第n帧图像的亮度值，
Figure FDA0002449916580000021
Btm表示第m码字的亮度值，
Figure FDA0002449916580000022
min Btm和max Btm分别表示与第m个码字相匹配的第i个像素点的所有帧图像的亮度值的最小值和最大值；λm表示第m个码字匹配成功的最大时间间隔，tn表示视频数据的第n帧的时间，pm和qm表示第m个码字第一次和最后一次匹配成功的时间；
执行步骤“判断n的数值是否小于N，得到第二判断结果”；
若所述匹配结果表示匹配不成功，则判断m的数值是否小于L，得到第一判断结果；
若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第一判断结果表示否，则令码书字数L的值增加1，并创建一个新的码字cL＝((Rin,Gin,Bin),Btin,Btin,1,tn-1,tn,tn)；
判断n的数值是否小于N，得到第二判断结果；
若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第二判断结果表示否，则输出第i个像素点的包含L个码字的码书集合，作为第i个像素点的码书。
4.根据权利要求3所述的输电线路区域内施工机械的检测方法，其特征在于，所述将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果，具体包括：
判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(Btin,<min Btm,max Btm>)＝true，得到第三判断结果；其中，vm表示第m个码字的RGB值，vm＝(Rm,Gm,Bm)，ε1表示第一预设阈值；
Figure FDA0002449916580000023
若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；
若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
5.根据权利要求1所述的输电线路区域内施工机械的检测方法，其特征在于，所述根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合，具体包括：
将运动目标的像素点坐标集合映射到二值矩阵中，得到映射矩阵；
采用两遍扫描算法对所述映射矩阵进行连通区域检测，将每个连通区域作为一个运动目标，得到多个运动目标；
从多个所述运动目标中筛选出像素点数量大于像素点数量最低阈值的运动目标，得到筛选后的运动目标；
对每个所述筛选后的运动目标进行最大外接矩形检测，得到每个筛选后的运动目标的最大外接矩形坐标，作为Box集合。
6.根据权利要求1所述的输电线路区域内施工机械的检测方法，其特征在于，将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果，之前还包括：
采用已标注的施工机械图像数据集，训练Fast R-CNN网络，得到训练好的Fast R-CNN模型。
7.一种输电线路区域内施工机械的检测系统，其特征在于，所述检测系统包括：
视频数据采集模块，用于采集输电线路的待检测区域的视频数据；
码书背景模型建立模块，用于基于所述视频数据生成待检测区域的码书背景模型；
待检测图像采集模块，用于采集待检测区域的图像，获得待检测图像；
运动目标检测模块，用于将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
最大外接矩形坐标确定模块，用于根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立Box集合；
监测模块，用于将所述待检测图像和所述Box集合输入训练好的Fast R-CNN模型，获得检测结果。
8.根据权利要求7所述的输电线路区域内施工机械的检测系统，其特征在于，所述码书背景模型建立模块，具体包括：
时间序列向量生成子模块，用于将所述视频数据的每个像素点表示成时间序列向量Xi＝(xi1,xi2,…,xin,…,xiN)；其中，Xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xiN分别表示第i个像素点的第1帧、第2帧、第n帧和第N帧图像的参数；xin＝(Rin,Gin,Bin)，Rin,Gin,Bin分别表示第i个像素点的第n帧图像的R值，G值，B值；
码书背景模型建立子模块，用于分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
9.根据权利要求8所述的输电线路区域内施工机械的检测系统，其特征在于，所述码书背景模型建立子模块，具体包括：
初始化单元，用于初始化码书字数和码书集合，令码书字数L＝0,码书集合CB为空集；
匹配单元，用于将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
码字更新单元，用于若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
Figure FDA0002449916580000041
其中，fm表示第m个码字匹配成功的次数，Rm,Gm,Bm分别表示第m个码字的R值，G值，B值；Btin表示第i个像素点的第n帧图像的亮度值，
Figure FDA0002449916580000042
Btm表示第m码字的亮度值，
Figure FDA0002449916580000043
min Btm和max Btm分别表示与第m个码字相匹配的第i个像素点的所有帧图像的亮度值的最小值和最大值；λm表示第m个码字匹配成功的最大时间间隔，tn表示视频数据的第n帧的时间，pm和qm表示第m个码字第一次和最后一次匹配成功的时间；执行步骤“判断n的数值是否小于N，得到第二判断结果”；
第一判断单元，用于若所述匹配结果表示匹配不成功，则判断m的数值是否小于L，得到第一判断结果；
第一循环单元，用于若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
码字新建单元，用于若所述第一判断结果表示否，则令码书字数L的值增加1，并创建一个新的码字cL＝((Rin,Gin,Bin),Btin,Btin,1,tn-1,tn,tn)；
第二判断单元，用于判断n的数值是否小于N，得到第二判断结果；
第二循环单元，用于若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
码书输出单元，用于若所述第二判断结果表示否，则输出第i个像素点的包含L个码字的码书集合，作为第i个像素点的码书。
10.根据权利要求9所述的输电线路区域内施工机械的检测系统，其特征在于，所述匹配单元，具体包括：
第三判断子单元，判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(Btin,<min Btm,max Btm>)＝true，得到第三判断结果；其中，vm表示第m个码字的RGB值，vm＝(Rm,Gm,Bm)，ε1表示第一预设阈值；
Figure FDA0002449916580000051
匹配结果获取子单元，用于若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
CN202010289669.2A 2020-04-14 2020-04-14 一种输电线路区域内施工机械的检测方法及系统 Pending CN111539277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010289669.2A CN111539277A (zh) 2020-04-14 2020-04-14 一种输电线路区域内施工机械的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010289669.2A CN111539277A (zh) 2020-04-14 2020-04-14 一种输电线路区域内施工机械的检测方法及系统

Publications (1)

Publication Number Publication Date
CN111539277A true CN111539277A (zh) 2020-08-14

Family

ID=71977415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010289669.2A Pending CN111539277A (zh) 2020-04-14 2020-04-14 一种输电线路区域内施工机械的检测方法及系统

Country Status (1)

Country Link
CN (1) CN111539277A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435393A (zh) * 2021-07-12 2021-09-24 北京林业大学 森林火灾烟雾根节点检测方法、装置和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268478A (zh) * 2013-05-23 2013-08-28 西安科技大学 一种基于历史像素集匹配度的遗留物快速检测方法
CN104318271A (zh) * 2014-11-21 2015-01-28 南京大学 一种基于适应性编码和几何平滑汇合的图像分类方法
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法
CN105389831A (zh) * 2015-11-11 2016-03-09 南京邮电大学 一种基于yuv色空间的多目标检测方法
CN109145872A (zh) * 2018-09-20 2019-01-04 北京遥感设备研究所 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法
CN109446978A (zh) * 2018-10-25 2019-03-08 哈尔滨工程大学 基于凝视卫星复杂场景的飞机动目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268478A (zh) * 2013-05-23 2013-08-28 西安科技大学 一种基于历史像素集匹配度的遗留物快速检测方法
CN104318271A (zh) * 2014-11-21 2015-01-28 南京大学 一种基于适应性编码和几何平滑汇合的图像分类方法
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法
CN105389831A (zh) * 2015-11-11 2016-03-09 南京邮电大学 一种基于yuv色空间的多目标检测方法
CN109145872A (zh) * 2018-09-20 2019-01-04 北京遥感设备研究所 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法
CN109446978A (zh) * 2018-10-25 2019-03-08 哈尔滨工程大学 基于凝视卫星复杂场景的飞机动目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘赏: "《计算机图像和视频处理实验教程》", 30 September 2014, 中国铁道出版社, pages: 95 *
王习越等: "基于多特征融合的户外视频烟雾检测算法", 《现代计算机(专业版)》, no. 11, 15 April 2015 (2015-04-15), pages 78 - 83 *
赵谦等: "《智能视频图像处理技术与应用》", 30 November 2016, 西安电子科技大学出版社, pages: 47 - 49 *
阳冰成: ""视频序列中行人目标检测与跟踪"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2019 (2019-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435393A (zh) * 2021-07-12 2021-09-24 北京林业大学 森林火灾烟雾根节点检测方法、装置和设备
CN113435393B (zh) * 2021-07-12 2023-05-09 北京林业大学 森林火灾烟雾根节点检测方法、装置和设备

Similar Documents

Publication Publication Date Title
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
US9600746B2 (en) Image processing apparatus and image processing method
CN111767878B (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
US20070058837A1 (en) Video motion detection using block processing
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN108734684B (zh) 动态照明场景的图像背景减除
US20190385312A1 (en) Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN110599516A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN112861917A (zh) 基于图像属性学习的弱监督目标检测方法
CN114419739A (zh) 行为识别模型的训练方法、行为识别方法及设备
CN111985488B (zh) 一种基于离线高斯模型的目标检测分割方法及系统
CN113963333A (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN111539277A (zh) 一种输电线路区域内施工机械的检测方法及系统
CN110969173A (zh) 目标分类方法及装置
Yang et al. Video anomaly detection for surveillance based on effective frame area
CN117197746A (zh) 基于深度学习的安全监测系统及方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN114913442A (zh) 一种异常行为检测方法、装置及计算机存储介质
CN111402185B (zh) 一种图像检测方法及装置
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN116189286A (zh) 一种视频图像暴力行为检测模型及检测方法
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Bing

Inventor after: Luo Wang

Inventor after: Xiong Jianping

Inventor after: Nie Liqiang

Inventor after: Zhang Wanzheng

Inventor after: Jia Xuejian

Inventor after: Wang Xinying

Inventor after: Zhai Yongjie

Inventor after: Zhao Zhenbing

Inventor before: Li Bing

Inventor before: Jia Xuejian

Inventor before: Wang Xinying

Inventor before: Zhai Yongjie

Inventor before: Zhao Zhenbing

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220316

Address after: 071003 North China Electric Power University No.1 campus, 619 Yonghua North Street, Baoding City, Hebei Province

Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING)

Applicant after: NARI Group Corp.

Applicant after: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Applicant after: SHANDONG University

Applicant after: Zhiyang Innovation Technology Co.,Ltd.

Address before: 071003 North China Electric Power University No.1 campus, 619 Yonghua North Street, Baoding City, Hebei Province

Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING)

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814