CN111291624A - 一种挖掘机目标识别方法及系统 - Google Patents

一种挖掘机目标识别方法及系统 Download PDF

Info

Publication number
CN111291624A
CN111291624A CN202010046073.XA CN202010046073A CN111291624A CN 111291624 A CN111291624 A CN 111291624A CN 202010046073 A CN202010046073 A CN 202010046073A CN 111291624 A CN111291624 A CN 111291624A
Authority
CN
China
Prior art keywords
determining
excavator
classifier
image
sample weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010046073.XA
Other languages
English (en)
Other versions
CN111291624B (zh
Inventor
张申
张学东
晋涛
李永祥
张娜
王大伟
马丽强
陈青松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Electric Power Research Institute Of Sepc
Original Assignee
Shanxi Zhenzhong Electric Power Co ltd
Electric Power Research Institute of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Zhenzhong Electric Power Co ltd, Electric Power Research Institute of State Grid Shanxi Electric Power Co Ltd filed Critical Shanxi Zhenzhong Electric Power Co ltd
Priority to CN202010046073.XA priority Critical patent/CN111291624B/zh
Publication of CN111291624A publication Critical patent/CN111291624A/zh
Application granted granted Critical
Publication of CN111291624B publication Critical patent/CN111291624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本发明涉及一种挖掘机目标识别方法及系统。所述识别方法包括:获取输电走廊监控装置所拍摄的数据图像;将所述数据图像划分为训练集与测试集;根据所述训练集生成多个弱分类器;根据所述弱分类器确定最优弱分类器;根据所述最优弱分类器确定强分类器;根据所述简单样本训练所述强分类器,确定简单级联分类器;根据所述复杂样本训练所述强分类器,确定复杂级联分类器;根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像;根据所述挖掘机候选图像确定检测网络模型;根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。采用本发明所提供的识别方法及系统能够简化训练过程,满足实时性要求。

Description

一种挖掘机目标识别方法及系统
技术领域
本发明涉及挖掘机目标识别领域,特别是涉及一种挖掘机目标识别方法及系统。
背景技术
随着输电通道三跨点的远程运行维护智能化,防外力破坏监测技术已成为一种不可缺少的监管技术,输电走廊的监控装置采集了海量的图像监控数据,需要运行人员长期在岗监视,导致在线监测系统的效果受限,实现工程作业车检测的自动化可以降低运行维护工作者的劳动强度,实时排除电力运行的安全隐患。
目前应用实际中的目标检测方案对挖掘机等工程作业车辆的识别与检测,大多采用基于运动目标的传统视频检测方法,这种检测方法在背景环境变化大的情况下适应性差,在野外复杂的背景条件下无法满足要求。近来,将深度学习算法应用在输电走廊监控的研究越来越多,现有的检测挖掘机技术往往采用包含两步(训练候选框、训练检测网络)的Two-stage方法,训练过程复杂,无法满足实时性要求。
发明内容
本发明的目的是提供一种挖掘机目标识别方法及系统,以解决现有的检测挖掘机技术训练过程复杂,无法满足实时性要求的问题。
为实现上述目的,本发明提供了如下方案:
一种挖掘机目标识别方法,包括:
获取输电走廊监控装置所拍摄的数据图像;所述数据图像包括含有挖掘机图像以及未含有挖掘机图像;所述含有挖掘机图像为正样本,所述未含有挖掘机图像为负样本;
将所述数据图像划分为训练集与测试集;所述训练集包括简单样本以及复杂样本;
根据所述训练集生成多个弱分类器;
根据所述弱分类器确定最优弱分类器;
根据所述最优弱分类器确定强分类器;
根据所述简单样本训练所述强分类器,确定简单级联分类器;
根据所述复杂样本训练所述强分类器,确定复杂级联分类器;
根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像;
根据所述挖掘机候选图像确定检测网络模型;
根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。
可选的,所述根据所述训练集生成多个弱分类器,具体包括:
提取所述训练集中的每个样本图像的哈尔Haar特征;
对每个所述Haar特征生成一个弱分类器。
可选的,所述根据所述弱分类器确定最优弱分类器,具体包括:
初始化所述正样本的正样本权重以及所述负样本的负样本权重,并计算所述正样本的正样本权重和以及所述负样本的负样本权重和;
计算所述Haar特征内的每一个元素位于所述元素之前的正样本权重和以及每一个元素位于所述元素之前的负样本权重和;
根据所述正样本权重、所述负样本权重和、所述每一个元素位于所述元素之前的正样本权重和以及所述每一个元素位于所述元素之前的负样本权重和确定每个所述元素的分类误差;
根据所述分类误差确定最小分类误差,并获取所述最小分类误差对应的Haar特征;
根据所述最小分类误差对应的Haar特征确定最优弱分类器。
可选的,所述根据所述最优弱分类器确定强分类器,具体包括:
在一个迭代过程中,根据多个所述弱分类器确定一个最优弱分类器;在迭代次数阈值内,确定多个所述最优弱分类器;
计算每一个所述最优弱分类器的加权错误率;
根据所述加权错误率确定最小加权错误率,并获取所述最小加权错误率对应的最优弱分类器;所述最小加权错误率对应的最优弱分类器为强分类器。
可选的,所述根据所述挖掘机候选图像确定检测网络模型,具体包括:
对所述挖掘机候选图像进行降噪处理,确定降噪后的挖掘机候选图像;
获取所述降噪后的挖掘机候选图像的原始图像参数;所述原始图像参数包括边界框、所述边界框的中心点位置坐标、宽度和高度;
将所述降噪后的挖掘机候选图像输入到神经网络模型中,并获取预测图像参数;所述预测图像参数包括预测边界框的中心点位置坐标、宽度、高度、边界框的置信度以及类别判别变量;
对比所述原始图像参数以及所述预测图像参数,确定目标检测交并比IOU最大的预测边界框,并将所述目标检测交并比IOU最大的预测边界框标记为有目标;
根据所述目标检测交并比IOU最大的预测边界框确定检测网络模型。
一种挖掘机目标识别系统,包括:
数据图像获取模块,用于获取输电走廊监控装置所拍摄的数据图像;所述数据图像包括含有挖掘机图像以及未含有挖掘机图像;所述含有挖掘机图像为正样本,所述未含有挖掘机图像为负样本;
划分模块,用于将所述数据图像划分为训练集与测试集;所述训练集包括简单样本以及复杂样本;
弱分类器生成模块,用于根据所述训练集生成多个弱分类器;
最优弱分类器确定模块,用于根据所述弱分类器确定最优弱分类器;
强分类器确定模块,用于根据所述最优弱分类器确定强分类器;
简单级联分类器确定模块,用于根据所述简单样本训练所述强分类器,确定简单级联分类器;
复杂级联分类器确定模块,用于根据所述复杂样本训练所述强分类器,确定复杂级联分类器;
挖掘机候选图像确定模块,用于根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像;
检测网络模型确定模块,用于根据所述挖掘机候选图像确定检测网络模型;
识别模块,用于根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。
可选的,所述弱分类器生成模块具体包括:
提取单元,用于提取所述训练集中的每个样本图像的哈尔Haar特征;
弱分类器生成单元,用于对每个所述Haar特征生成一个弱分类器。
可选的,所述最优弱分类器确定模块具体包括:
初始化单元,用于初始化所述正样本的正样本权重以及所述负样本的负样本权重,并计算所述正样本的正样本权重和以及所述负样本的负样本权重和;
元素正样本权重和以及元素负样本权重和计算单元,用于计算所述Haar特征内的每一个元素位于所述元素之前的正样本权重和以及每一个元素位于所述元素之前的负样本权重和;
分类误差确定单元,用于根据所述正样本权重、所述负样本权重和、所述每一个元素位于所述元素之前的正样本权重和以及所述每一个元素位于所述元素之前的负样本权重和确定每个所述元素的分类误差;
最小分类误差对应的Haar特征确定单元,用于根据所述分类误差确定最小分类误差,并获取所述最小分类误差对应的Haar特征;
最优弱分类器确定单元,用于根据所述最小分类误差对应的Haar特征确定最优弱分类器。
可选的,所述强分类器确定模块具体包括:
迭代单元,用于在一个迭代过程中,根据多个所述弱分类器确定一个最优弱分类器;在迭代次数阈值内,确定多个所述最优弱分类器;
加权错误率计算单元,用于计算每一个所述最优弱分类器的加权错误率;
最优弱分类器确定单元,用于根据所述加权错误率确定最小加权错误率,并获取所述最小加权错误率对应的最优弱分类器;所述最小加权错误率对应的最优弱分类器为强分类器。
可选的,所述检测网络模型确定模块具体包括:
降噪单元,用于对所述挖掘机候选图像进行降噪处理,确定降噪后的挖掘机候选图像;
原始图像参数获取单元,用于获取所述降噪后的挖掘机候选图像的原始图像参数;所述原始图像参数包括边界框、所述边界框的中心点位置坐标、宽度和高度;
预测图像参数获取单元,用于将所述降噪后的挖掘机候选图像输入到神经网络模型中,并获取预测图像参数;所述预测图像参数包括预测边界框的中心点位置坐标、宽度、高度、边界框的置信度以及类别判别变量;
对比单元,用于对比所述原始图像参数以及所述预测图像参数,确定目标检测交并比IOU最大的预测边界框,并将所述目标检测交并比IOU最大的预测边界框标记为有目标;
检测网络模型确定单元,用于根据所述目标检测交并比IOU最大的预测边界框确定检测网络模型。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种挖掘机目标识别方法及系统,利用数据图像生成弱分类器,并通过弱分类器最终确定简单级联分类器以及复杂级联分类器,根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像,一次筛选出含有挖掘机区域的图像,快速排除大部分没有挖掘机的候选区域,尽可能排除多余的环境场景干扰;再通过构建检测网络模型识别出挖掘机候选图像中的挖掘机,二次精确筛选出挖掘机。本发明在识别数据图像中的挖掘机的过程中,无需训练候选框,直接训练检测网络,简化了训练过程,满足实时性要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的挖掘机目标识别方法流程图;
图2为本发明所提供的粗检测模块框图;
图3为本发明所提供的检测模块网络结构图;
图4为本发明所提供的挖掘机目标识别系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种挖掘机目标识别方法及系统,能够简化训练过程,满足实时性要求。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的挖掘机目标识别方法流程图,如图1所示,一种挖掘机目标识别方法,包括:
步骤101:获取输电走廊监控装置所拍摄的数据图像;所述数据图像包括含有挖掘机图像以及未含有挖掘机图像;所述含有挖掘机图像为正样本,所述未含有挖掘机图像为负样本。
数据集准备:
采集并整理输电走廊监控装置所拍摄的数据图像;对数据图像进行标记,判断有无挖掘机,包含挖掘机的图像为正样本,不包含挖掘机的图像为负样本;对标记好的图像数据建立样本数据集。
步骤102:将所述数据图像划分为训练集与测试集;所述训练集包括简单样本以及复杂样本。
图2为本发明所提供的粗检测模块框图,如图2所示,粗检测模块:
将样本数据集中所有N个样本按10:1的比例创建训练集和测试集,训练集用于训练粗检测模块和检测模块的分类器,测试集用于评估分类器的性能。其中调整训练集中包含正样本与负样本的比例到约1:3,以此提高分类器的性能,假设正样本个数为n1,负样本个数为n0
将训练集中的所有样本分为两类,一类是背景简单,只包括了天空、道路或田地的简单样本,另一类是内容复杂、图片的纹理和颜色丰富的复杂样本。并对所有样本图像进行归一化,降低不同光照对处理过程的影响。
步骤103:根据所述训练集生成多个弱分类器。
对每个样本分别提取哈尔特征(Haar-like features)Haar特征,使用积分图快速计算图像的Haar特征值,得到特征值集合α,α中每一个元素对应一个类别标签y(y取1或0,即“是挖掘机”和“不是挖掘机”):
Figure BDA0002369434620000071
其中m为灰度图中构造的Haar特征个数,n为训练集中样本个数,αij为第j个样本的第i个Haar特征值。记第i个Haar特征在训练样本集上得到特征向量V,即矩阵A的第i行。将特征向量V中每个样本的特征值从小到大排列,构成新的特征向量V'。
对于每一个Haar特征都能生成一个弱分类器h(x),其数学结构为
Figure BDA0002369434620000072
其中,h(x)为弱分类器的值,p为±1,使不等号方向始终为“<”;f(x)为特征值,θ为阈值;
初始化样本权重:
Figure BDA0002369434620000081
分别计算两类样本的权重和,记为t1和t0,对每个元素计算位于其之前的两类样本的权重和,记为s1和s0
每个元素指Haar特征值集合α中某个Haar特征值的每一个元素(即第i行的每一个元素)。
其中,对每个元素计算位于其之前的两类样本权重和的具体实际含义如下所示:
以“对每一个元素计算位于其之前的正样本权重和”为例:对于
Figure BDA0002369434620000082
来说,比如要计算位于α13之前的正样本权重和,
就是计算元素α11和α12里面的正样本权重和;要计算位于α1n之前的正样本权重和,就是计算元素α11、α12、...α1(n-1)里面的所有正样本权重和。
步骤104:根据所述弱分类器确定最优弱分类器。
每个元素的分类误差计算公式为:r=min((s1+(t0-s0)),(s0+(t1-s1))),找到样本带权分类错误最小的特征(即r最小)对应的特征值,作为第一次迭代中该最优弱分类器的阈值,第一次迭代过程结束,得到第一个最优弱分类器。
步骤105:根据所述最优弱分类器确定强分类器。
用上一次迭代产生的最优弱分类器训练强分类器。T为训练的迭代次数,归一化权重
Figure BDA0002369434620000083
每个弱分类器的错误率ε=Σqj|h(x)-y|。提高上一次迭代中不能被正确分类的样本的权重,将新的样本和上次分错的样本放在一起进行下一次迭代;
直到T次迭代后生成了T个最优弱分类器,计算每一个最优弱分类器的加权错误率,选择误差最小的分类器形成强分类器C(x):
Figure BDA0002369434620000091
步骤106:根据所述简单样本训练所述强分类器,确定简单级联分类器。
步骤107:根据所述复杂样本训练所述强分类器,确定复杂级联分类器。
步骤108:根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像。
对简单样本和复杂样本分别训练包含多个强分类器的级联分类器,级联分类器是将多个训练完成的强分类器串联起来得到的。
首先经过由简单样本训练得到的简单级联分类器,用于快速排除大部分背景简单的负样本,然后经过由复杂样本训练得到的复杂级联分类器,最终识别含有挖掘机的图片。
步骤109:根据所述挖掘机候选图像确定检测网络模型。
步骤110:根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。
检测模块:
对粗检测筛选后的挖掘机候选图像采用中值滤波进行降噪处理,并按10:1创建训练集和测试集,将样本图像尺寸调整到416*416*3大小,用于训练网络模型;所述挖掘机候选图像为疑似包含挖掘机的图像区域,这些图像构成新样本数据集。
图3为本发明所提供的检测模块网络结构图,如图3所示,将训练样本传入检测模块网络中,经过多层卷积操作,输出层输出结果为13*13*21大小的张量,在13*13窗口的每个网格中,包括了三个预测边界框的中心点位置坐标(x,y)、宽和高(w,h)、边界框包含目标的置信度score,以及类别判别变量p;
对预测边界框位置坐标、宽和高四个值计算其与原标记框的交并比IOU,判断预测边界框中是否含有目标。在同一个网格里的三个预测边界框中选取IOU较大的一个预测边界框,标记为有目标,其他为无目标;
计算损失函数值,对网络参数进行迭代优化,初始化边界框坐标预测误差λcoord=5,边界框中不包含目标的置信度λnoobj=0.5,其他权重设为1,学习率设为0.001,损失函数如下式计算:
Figure BDA0002369434620000101
其中,
Figure BDA0002369434620000102
表示第i个单元格存在目标,第j个边界框预测目标。
迭代直至损失函数值不再下降,得到检测网络模型。
利用测试集对训练好的检测模型进行测试,计算检测正确率,通过正确率的高低微调学习率和损失权重并再次训练,进而优化神经网络,直到得到稳定且满足要求的正确率。
数据集更新:
定期采集输电走廊监控装置拍摄的图像数据,用其评估该目标检测方法的性能,若性能下降,则将其进行标记后加入数据样本集,完成数据样本集的更新,不断学习,最终达到对监控图像中挖掘机的精确检测。
图4为本发明所提供的挖掘机目标识别系统结构图,如图4所示,一种挖掘机目标识别系统,包括:
数据图像获取模块401,用于获取输电走廊监控装置所拍摄的数据图像;所述数据图像包括含有挖掘机图像以及未含有挖掘机图像;所述含有挖掘机图像为正样本,所述未含有挖掘机图像为负样本。
划分模块402,用于将所述数据图像划分为训练集与测试集;所述训练集包括简单样本以及复杂样本。
弱分类器生成模块403,用于根据所述训练集生成多个弱分类器。
所述弱分类器生成模块403具体包括:提取单元,用于提取所述训练集中的每个样本图像的哈尔Haar特征;
弱分类器生成单元,用于对每个所述Haar特征生成一个弱分类器。
最优弱分类器确定模块404,用于根据所述弱分类器确定最优弱分类器。
所述最优弱分类器确定模块404具体包括:
初始化单元,用于初始化所述正样本的正样本权重以及所述负样本的负样本权重,并计算所述正样本的正样本权重和以及所述负样本的负样本权重和;
元素正样本权重和以及元素负样本权重和计算单元,用于计算所述Haar特征内的每一个元素位于所述元素之前的正样本权重和以及每一个元素位于所述元素之前的负样本权重和;
分类误差确定单元,用于根据所述正样本权重、所述负样本权重和、所述每一个元素位于所述元素之前的正样本权重和以及所述每一个元素位于所述元素之前的负样本权重和确定每个所述元素的分类误差;
最小分类误差对应的Haar特征确定单元,用于根据所述分类误差确定最小分类误差,并获取所述最小分类误差对应的Haar特征;
最优弱分类器确定单元,用于根据所述最小分类误差对应的Haar特征确定最优弱分类器。
强分类器确定模块405,用于根据所述最优弱分类器确定强分类器。
所述强分类器确定模块405具体包括:
迭代单元,用于在一个迭代过程中,根据多个所述弱分类器确定一个最优弱分类器;在迭代次数阈值内,确定多个所述最优弱分类器;
加权错误率计算单元,用于计算每一个所述最优弱分类器的加权错误率;
最优弱分类器确定单元,用于根据所述加权错误率确定最小加权错误率,并获取所述最小加权错误率对应的最优弱分类器;所述最小加权错误率对应的最优弱分类器为强分类器。
简单级联分类器确定模块406,用于根据所述简单样本训练所述强分类器,确定简单级联分类器。
复杂级联分类器确定模块407,用于根据所述复杂样本训练所述强分类器,确定复杂级联分类器。
挖掘机候选图像确定模块408,用于根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像。
检测网络模型确定模块409,用于根据所述挖掘机候选图像确定检测网络模型。
所述检测网络模型确定模块409具体包括:
降噪单元,用于对所述挖掘机候选图像进行降噪处理,确定降噪后的挖掘机候选图像;
原始图像参数获取单元,用于获取所述降噪后的挖掘机候选图像的原始图像参数;所述原始图像参数包括边界框、所述边界框的中心点位置坐标、宽度和高度;
预测图像参数获取单元,用于将所述降噪后的挖掘机候选图像输入到神经网络模型中,并获取预测图像参数;所述预测图像参数包括预测边界框的中心点位置坐标、宽度、高度、边界框的置信度以及类别判别变量;
对比单元,用于对比所述原始图像参数以及所述预测图像参数,确定目标检测交并比IOU最大的预测边界框,并将所述目标检测交并比IOU最大的预测边界框标记为有目标;
检测网络模型确定单元,用于根据所述目标检测交并比IOU最大的预测边界框确定检测网络模型。
识别模块410,用于根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。
本发明所提供的所述识别方法及系统应用于输电走廊监控图像的挖掘机目标检测方法,为线路远程智能化监控的大规模应用提供了技术参考;本发明所提供的所述识别方法结合了传统的Adaboost算法和YOLO算法的优点,不仅保持了算法的准确性,更大大提高了检测速度,满足输电线路监测的实时性要求。
本发明对简单样本训练简单级联分类器,可以快速排除大部分背景简单的不包含挖掘机的负样本,可以减小计算量,并提高检测效率;本发明控制训练集的正负样本比例,在保证样本均衡的条件下提高分类器的性能。
本发明采用改进YOLO网络后的网络模型剔除了原网络的部分卷积层,取消了原本三个不同尺度的输出结果,而改成输出一个结果,在保证准确率的同时大大减小计算量,从而提高检测速度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种挖掘机目标识别方法,其特征在于,包括:
获取输电走廊监控装置所拍摄的数据图像;所述数据图像包括含有挖掘机图像以及未含有挖掘机图像;所述含有挖掘机图像为正样本,所述未含有挖掘机图像为负样本;
将所述数据图像划分为训练集与测试集;所述训练集包括简单样本以及复杂样本;
根据所述训练集生成多个弱分类器;
根据所述弱分类器确定最优弱分类器;
根据所述最优弱分类器确定强分类器;
根据所述简单样本训练所述强分类器,确定简单级联分类器;
根据所述复杂样本训练所述强分类器,确定复杂级联分类器;
根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像;
根据所述挖掘机候选图像确定检测网络模型;
根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。
2.根据权利要求1所述的挖掘机目标识别方法,其特征在于,所述根据所述训练集生成多个弱分类器,具体包括:
提取所述训练集中的每个样本图像的哈尔Haar特征;
对每个所述Haar特征生成一个弱分类器。
3.根据权利要求2所述的挖掘机目标识别方法,其特征在于,所述根据所述弱分类器确定最优弱分类器,具体包括:
初始化所述正样本的正样本权重以及所述负样本的负样本权重,并计算所述正样本的正样本权重和以及所述负样本的负样本权重和;
计算所述Haar特征内的每一个元素位于所述元素之前的正样本权重和以及每一个元素位于所述元素之前的负样本权重和;
根据所述正样本权重、所述负样本权重和、所述每一个元素位于所述元素之前的正样本权重和以及所述每一个元素位于所述元素之前的负样本权重和确定每个所述元素的分类误差;
根据所述分类误差确定最小分类误差,并获取所述最小分类误差对应的Haar特征;
根据所述最小分类误差对应的Haar特征确定最优弱分类器。
4.根据权利要求1所述的挖掘机目标识别方法,其特征在于,所述根据所述最优弱分类器确定强分类器,具体包括:
在一个迭代过程中,根据多个所述弱分类器确定一个最优弱分类器;在迭代次数阈值内,确定多个所述最优弱分类器;
计算每一个所述最优弱分类器的加权错误率;
根据所述加权错误率确定最小加权错误率,并获取所述最小加权错误率对应的最优弱分类器;所述最小加权错误率对应的最优弱分类器为强分类器。
5.根据权利要求1所述的挖掘机目标识别方法,其特征在于,所述根据所述挖掘机候选图像确定检测网络模型,具体包括:
对所述挖掘机候选图像进行降噪处理,确定降噪后的挖掘机候选图像;
获取所述降噪后的挖掘机候选图像的原始图像参数;所述原始图像参数包括边界框、所述边界框的中心点位置坐标、宽度和高度;
将所述降噪后的挖掘机候选图像输入到神经网络模型中,并获取预测图像参数;所述预测图像参数包括预测边界框的中心点位置坐标、宽度、高度、边界框的置信度以及类别判别变量;
对比所述原始图像参数以及所述预测图像参数,确定目标检测交并比IOU最大的预测边界框,并将所述目标检测交并比IOU最大的预测边界框标记为有目标;
根据所述目标检测交并比IOU最大的预测边界框确定检测网络模型。
6.一种挖掘机目标识别系统,其特征在于,包括:
数据图像获取模块,用于获取输电走廊监控装置所拍摄的数据图像;所述数据图像包括含有挖掘机图像以及未含有挖掘机图像;所述含有挖掘机图像为正样本,所述未含有挖掘机图像为负样本;
划分模块,用于将所述数据图像划分为训练集与测试集;所述训练集包括简单样本以及复杂样本;
弱分类器生成模块,用于根据所述训练集生成多个弱分类器;
最优弱分类器确定模块,用于根据所述弱分类器确定最优弱分类器;
强分类器确定模块,用于根据所述最优弱分类器确定强分类器;
简单级联分类器确定模块,用于根据所述简单样本训练所述强分类器,确定简单级联分类器;
复杂级联分类器确定模块,用于根据所述复杂样本训练所述强分类器,确定复杂级联分类器;
挖掘机候选图像确定模块,用于根据所述简单级联分类器以及所述复杂级联分类器确定所述数据图像中的挖掘机候选图像;
检测网络模型确定模块,用于根据所述挖掘机候选图像确定检测网络模型;
识别模块,用于根据所述检测网络模型识别所述挖掘机候选图像中的挖掘机。
7.根据权利要求6所述的挖掘机目标识别系统,其特征在于,所述弱分类器生成模块具体包括:
提取单元,用于提取所述训练集中的每个样本图像的哈尔Haar特征;
弱分类器生成单元,用于对每个所述Haar特征生成一个弱分类器。
8.根据权利要求7所述的挖掘机目标识别系统,其特征在于,所述最优弱分类器确定模块具体包括:
初始化单元,用于初始化所述正样本的正样本权重以及所述负样本的负样本权重,并计算所述正样本的正样本权重和以及所述负样本的负样本权重和;
元素正样本权重和以及元素负样本权重和计算单元,用于计算所述Haar特征内的每一个元素位于所述元素之前的正样本权重和以及每一个元素位于所述元素之前的负样本权重和;
分类误差确定单元,用于根据所述正样本权重、所述负样本权重和、所述每一个元素位于所述元素之前的正样本权重和以及所述每一个元素位于所述元素之前的负样本权重和确定每个所述元素的分类误差;
最小分类误差对应的Haar特征确定单元,用于根据所述分类误差确定最小分类误差,并获取所述最小分类误差对应的Haar特征;
最优弱分类器确定单元,用于根据所述最小分类误差对应的Haar特征确定最优弱分类器。
9.根据权利要求6所述的挖掘机目标识别系统,其特征在于,所述强分类器确定模块具体包括:
迭代单元,用于在一个迭代过程中,根据多个所述弱分类器确定一个最优弱分类器;在迭代次数阈值内,确定多个所述最优弱分类器;
加权错误率计算单元,用于计算每一个所述最优弱分类器的加权错误率;
最优弱分类器确定单元,用于根据所述加权错误率确定最小加权错误率,并获取所述最小加权错误率对应的最优弱分类器;所述最小加权错误率对应的最优弱分类器为强分类器。
10.根据权利要求6所述的挖掘机目标识别系统,其特征在于,所述检测网络模型确定模块具体包括:
降噪单元,用于对所述挖掘机候选图像进行降噪处理,确定降噪后的挖掘机候选图像;
原始图像参数获取单元,用于获取所述降噪后的挖掘机候选图像的原始图像参数;所述原始图像参数包括边界框、所述边界框的中心点位置坐标、宽度和高度;
预测图像参数获取单元,用于将所述降噪后的挖掘机候选图像输入到神经网络模型中,并获取预测图像参数;所述预测图像参数包括预测边界框的中心点位置坐标、宽度、高度、边界框的置信度以及类别判别变量;
对比单元,用于对比所述原始图像参数以及所述预测图像参数,确定目标检测交并比IOU最大的预测边界框,并将所述目标检测交并比IOU最大的预测边界框标记为有目标;
检测网络模型确定单元,用于根据所述目标检测交并比IOU最大的预测边界框确定检测网络模型。
CN202010046073.XA 2020-01-16 2020-01-16 一种挖掘机目标识别方法及系统 Active CN111291624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010046073.XA CN111291624B (zh) 2020-01-16 2020-01-16 一种挖掘机目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010046073.XA CN111291624B (zh) 2020-01-16 2020-01-16 一种挖掘机目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN111291624A true CN111291624A (zh) 2020-06-16
CN111291624B CN111291624B (zh) 2023-04-07

Family

ID=71021229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010046073.XA Active CN111291624B (zh) 2020-01-16 2020-01-16 一种挖掘机目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN111291624B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100272366A1 (en) * 2009-04-24 2010-10-28 Sony Corporation Method and device of detecting object in image and system including the device
CN105868776A (zh) * 2016-03-25 2016-08-17 中国科学院自动化研究所 一种基于图像处理技术的变压器设备识别方法及装置
CN107316036A (zh) * 2017-06-09 2017-11-03 广州大学 一种基于级联分类器的害虫识别方法
CN108470138A (zh) * 2018-01-24 2018-08-31 博云视觉(北京)科技有限公司 用于目标检测的方法和装置
CN110084173A (zh) * 2019-04-23 2019-08-02 精伦电子股份有限公司 人头检测方法及装置
CN110210354A (zh) * 2019-05-23 2019-09-06 南京邮电大学 一种雾霾天气交通标识检测与识别的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100272366A1 (en) * 2009-04-24 2010-10-28 Sony Corporation Method and device of detecting object in image and system including the device
CN105868776A (zh) * 2016-03-25 2016-08-17 中国科学院自动化研究所 一种基于图像处理技术的变压器设备识别方法及装置
CN107316036A (zh) * 2017-06-09 2017-11-03 广州大学 一种基于级联分类器的害虫识别方法
CN108470138A (zh) * 2018-01-24 2018-08-31 博云视觉(北京)科技有限公司 用于目标检测的方法和装置
CN110084173A (zh) * 2019-04-23 2019-08-02 精伦电子股份有限公司 人头检测方法及装置
CN110210354A (zh) * 2019-05-23 2019-09-06 南京邮电大学 一种雾霾天气交通标识检测与识别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵德安;曹硕;孙月平;戚浩;阮承治: "基于联动扩展神经网络的水下自由活蟹检测器研究" *
黄飞: "一种基于Haar-like特征和Adaboost树形分类器的实时车辆识别方法研究", 《宿州学院学报》 *

Also Published As

Publication number Publication date
CN111291624B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108830188B (zh) 基于深度学习的车辆检测方法
CN111444821B (zh) 一种城市道路标志自动识别方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN111259930A (zh) 自适应注意力指导机制的一般性目标检测方法
CN113435546B (zh) 基于区分置信度水平的可迁移图像识别方法及系统
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN104063719A (zh) 基于深度卷积网络的行人检测方法及装置
CN105930794A (zh) 一种基于云计算的室内场景识别方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN105868734A (zh) 基于bow图像表征模型的输电线路大型施工车辆识别方法
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN110097067B (zh) 一种基于层进式特征变换的弱监督细粒度图像分类方法
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
CN111291624B (zh) 一种挖掘机目标识别方法及系统
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
Al-Shammri et al. A Combined Method for Object Detection under Rain Conditions Using Deep Learning
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220207

Address after: 030024 No. 6, Qingnian Road, Shanxi, Taiyuan

Applicant after: STATE GRID ELECTRIC POWER Research Institute OF SEPC

Address before: 030000 Shanxi Electric Power Research Institute of State Grid, No. 6, Qingnian Road, Yingze District, Taiyuan City, Shanxi Province

Applicant before: STATE GRID ELECTRIC POWER Research Institute OF SEPC

Applicant before: SHANXI ZHENZHONG ELECTRIC POWER Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant