CN109272060B - 一种基于改进的darknet神经网络进行目标检测的方法和系统 - Google Patents

一种基于改进的darknet神经网络进行目标检测的方法和系统 Download PDF

Info

Publication number
CN109272060B
CN109272060B CN201811036910.XA CN201811036910A CN109272060B CN 109272060 B CN109272060 B CN 109272060B CN 201811036910 A CN201811036910 A CN 201811036910A CN 109272060 B CN109272060 B CN 109272060B
Authority
CN
China
Prior art keywords
convolution
convolution block
detection model
layer
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811036910.XA
Other languages
English (en)
Other versions
CN109272060A (zh
Inventor
舒军
吴柯
李鑫武
涂杏
沈开斌
蒋明威
杨露
舒心怡
潘健
王淑青
陈张言
徐成鸿
李志魁
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yichuang Zhilian Information Technology Co ltd
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201811036910.XA priority Critical patent/CN109272060B/zh
Publication of CN109272060A publication Critical patent/CN109272060A/zh
Application granted granted Critical
Publication of CN109272060B publication Critical patent/CN109272060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出的一种基于改进的darknet神经网络进行目标检测的方法和系统,包括:采用固定相机连续获取训练样本图像,并对训练样本中的检测目标进行边框和类别的标注;通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本;基于改进的darknet神经网络构造图像检测模型;利用上述检测模型训练样本图像,并设置检测模型训练时的学习率及迭代次数,输出指定通道数的像素特征图片;每迭代一定次数保存相应的检测模型,直到指定迭代次数终止,并利用最终的检测模型进行相关图像目标检测。本发明对更加细微的物体有更好的识别度,提高图像保真度并改善了群体目标检测时的遮挡漏检情况。

Description

一种基于改进的darknet神经网络进行目标检测的方法和 系统
技术领域
本发明属于深度学习领域,涉及一种目标检测方法,尤其涉及一种基于改进的darknet神经网络进行目标检测的方法和系统。
背景技术
随着机器学习的发展,基于深度学习来进行目标检测的技术越来越成熟。为了适应工业上的需求,现有电箱的开关检测算法中,用作特征模型的样本图像常采用固定相机连续抓取来获得,对于拍摄采集到的部分样本图片,如果检测的目标在整个图像中所占的面积区域非常的少,这会引发一个很大的问题:在改进之前的darknet神经网络结构中,卷积神经网络采取了大量的池化操作,其中下采样因子为32,输入一张416×416像素的图片最终会生成13×13的预测栅格,如果训练样本的目标区域在整个图像中所占很少的区域或像素,即检测的目标在图像中的像素数小于32时,这将会导致检测模型的误检或漏检。
现有的darknet神经网络结构有32层,经过一系列卷积和池化,将26×26分辨率的输出层特征与13×13分辨率的输出层特征整合,最后对输出预测和分类,其对小目标的检测效果仍存在不足,且对群体目标的检测存在一定程度的遮挡漏检。
发明内容
本发明主要是解决现有技术所存在的因检测目标在图像中占比很小导致的技术问题;提供了一种改进的darknet神经网络架构,对于图片的输入,以电箱开关的检测图片为例,如图1,输入的测试图像像素降采样到416×416,13×13的栅格难以将目标全部分辨出来,而26×26的栅格则允许探测器得到更精细的特征,其中每个栅格包含更多检测的开关的像素,更加易于特征的识别,同时网络结构对52×52分辨率的输出的特征与26×26分辨率的输出进行整合输出,为了进一步提高小对象的保真度,对原网络中的52×52输出特征层直接连接到最后一层探测器,有效的改善了高清图像中的细微目标检测准确度,对于检测群体目标聚在一起时造成的漏检问题也有明显的改善。
本发明提出的一种基于改进的darknet神经网络进行目标检测的方法,包括如下步骤:
步骤1,采用固定相机连续获取训练样本图像,并对训练样本中的检测目标进行边框和类别的标注;
步骤2,通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本;
步骤3,基于改进的darknet神经网络构造图像检测模型,该检测模型包括依次连接的卷积层、池化层、卷积层、池化层、卷积块(1)、池化层、卷积块(2)、池化层和卷积块(3),然后复制卷积块(2)中的最后一层的输出,分别输入到路由层(1)和路由层(2)中,将卷积块(3)最后一层的输出和路由层(1)的输出依次输入到整合层和卷积块(4)中,路由层(2)的输出输入到卷积块(5)中,最终将卷积块(4)和卷积块(5)输入到分类层,所述卷积块(1)-(5)均包括多个卷积层;
步骤4,利用步骤3中的检测模型训练样本图像,并设置检测模型训练时的学习率及迭代次数,输出指定通道数的像素特征图片,对图像分类输出检测模型的权重、损失率、准确率;
步骤5,每迭代一定次数保存相应的检测模型,直到指定迭代次数终止,并利用最终的检测模型进行相关图像目标检测。
进一步的,所述卷积块(1)和卷积块(2)分别包括3个卷积层,卷积块(3)包括7个卷积层,卷积块(4)和卷积块(5)分别包括2个卷积层。
本发明还提供一种基于改进的darknet神经网络进行目标检测的系统,包括如下模块,
样本获取模块,用于采用固定相机连续获取训练样本图像,并对训练样本中的检测目标进行边框和类别的标注;
样本处理模块,用于通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本;
检测模型构建模块,用于基于改进的darknet神经网络构造图像检测模型,该检测模型包括依次连接的卷积层、池化层、卷积层、池化层、卷积块(1)、池化层、卷积块(2)、池化层和卷积块(3),然后复制卷积块(2)中的最后一层的输出,分别输入到路由层(1)和路由层(2)中,将卷积块(3)最后一层的输出和路由层(1)的输出依次输入到整合层和卷积块(4)中,路由层(2)的输出输入到卷积块(5)中,最终将卷积块(4)和卷积块(5)输入到分类层,所述卷积块(1)-(5)均包括多个卷积层;
检测模型训练模块,用于利用检测模型构建模块中的检测模型训练样本图像,并设置检测模型训练时的学习率及迭代次数,输出指定通道数的像素特征图片,对图像分类输出检测模型的权重、损失率、准确率;
目标检测模块,用于每迭代一定次数保存相应的检测模型,直到指定迭代次数终止,并利用最终的检测模型进行相关图像目标检测。
进一步的,所述卷积块(1)和卷积块(2)分别包括3个卷积层,卷积块(3)包括7个卷积层,卷积块(4)和卷积块(5)分别包括2个卷积层。
与改进前的网络结构相比,改进后的darknet神经网络在预测目标时将从更加细密的26×26的栅格中提取目标特征,对更加细微的物体有更好的识别度;改进后对52×52分辨率的特征分别进行整合和直接输出,提高图像保真度并改善了群体目标检测时的遮挡漏检情况。
附图说明
图1是本发明实施例的栅格效果说明图。
图2是本发明实施例的流程图。
图3是本发明实施例中改进后的darknet神经网络架构图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明,应当理解的是,此处所描述的实施示例仅用于说明和解释本发明,并不用与限定本发明。
请见图2,本发明提供的一种基于改进的darknet神经网络进行目标检测的方法,包括以下步骤:
步骤1:读取本地图片;
本实施例以电箱开关的检测图片为例,首先载入2万张标注好边框和类别的本地样本图片;
步骤2:生成批次,打乱样本载入顺序;
按照样本的顺序每32个为一批次,并通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本,以便增强图像识别模型的稳定性,本例中设置模型训练时的学习率为0.0001、迭代次数为45000;
步骤3:构造图像目标检测模型;
检测架构模型请见下表1:
表1目标检测架构模型
Figure GDA0002961026460000051
对于上表中的卷积块,其中包含矩阵所示的多个卷积层。
在分类层中,图像特征进行连接整合,提取到最终的26×26特征图对每个位置设置不同大小的先验框,使用anchor boxes策略,即使用特征图的一个中心点去预测这些物体的边界框,同时计算置信度;这样各个位置的anchor box都单独预测一套分类概率,最终将各个类别中概率大于0.5的边界框筛选出,取出概率值最高的边界框,以便后期显示在图形界面上。
必须注意的是,层数的序列从0开始计算,所有的卷积操作都对输入图像首先进行BN算法(标准化函数)处理,并使用LReLU激活函数输出。最终的通道数=每个栅格的框数(默认为5)×(对象种类数+5),本例的对象种类数为2,最终通道数35。
步骤4:根据卷积网络训练样本图像,对图像进行一系列卷积和下采样操作,输出指定通道数的像素特征图片,对图像分类输出网络的权重、损失率、准确率,方便直观地对检测过程和效果进行评估;
步骤5:每抵达100迭代次数为一间隔保存权重模型,迭代次数超过1000时每10000次保存一次训练的模型,这样我们得到多个权重模型,以免中途程序崩溃时重头训练,最终的权重模型用来做相关图像目标检测。
本实施例保存图像分类识别模型后结合opencv可进行软件界面可视化来识别新的图片。
本发明实施例还提供一种基于改进的darknet神经网络进行目标检测的系统,包括如下模块,
样本获取模块,用于采用固定相机连续获取训练样本图像,并对训练样本中的检测目标进行边框和类别的标注;
样本处理模块,用于通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本;
检测模型构建模块,用于基于改进的darknet神经网络构造图像检测模型,该检测模型包括依次连接的卷积层、池化层、卷积层、池化层、卷积块(1)、池化层、卷积块(2)、池化层和卷积块(3),然后复制卷积块(2)中的最后一层的输出,分别输入到路由层(1)和路由层(2)中,将卷积块(3)最后一层的输出和路由层(1)的输出依次输入到整合层和卷积块(4)中,路由层(2)的输出输入到卷积块(5)中,最终将卷积块(4)和卷积块(5)输入到分类层,所述卷积块(1)-(5)均包括多个卷积层;
检测模型训练模块,用于利用检测模型构建模块中的检测模型训练样本图像,并设置检测模型训练时的学习率及迭代次数,输出指定通道数的像素特征图片,对图像分类输出检测模型的权重、损失率、准确率;
目标检测模块,用于每迭代一定次数保存相应的检测模型,直到指定迭代次数终止,并利用最终的检测模型进行相关图像目标检测。
各模块与各步骤的实现方式相应,本发明不予撰述。
本文效果可通过以下实验来实现:
1.实验条件
在Ubuntu 16.04LTS系统上安装CUDA8.0及OpenCV3.3进行实验。
2.实验内容
将本文中采集到的2万张电箱开关图片利用软件labellmg对图像中的检测目标进行边框标注处理,制作为VOC数据集格式,共2个种类。将其作为样本图像经过本发明中提到的各个步骤,计算出平均准确率mAP及每秒传输速率FPS,将其与原有的框架YOLOv2和现有的主流框架Fast R-CNN、Faster R-CNN、SSD进行对比。
3.实验结果及分析
在训练结束之后,得到的实验结果数据如下表:
表2检测框架对比
Figure GDA0002961026460000071
Figure GDA0002961026460000081
可以看到在电箱开关制作的VOC数据集中,本文框架在达到一定平均精确度的情况下,处理速度也保持在较高的水平;与改进前对比,改进后的网络结构在速度上基本没有下降,平均精确度明显提升,说明其针对小目标的检测性能强,对于码头的船只检测及无人机高空对地目标等检测有一定参考意义。
本发明对30层的darknet神经网络架构进行了改进,为减少模型粗糙度适当减少了神经网络层数,加密了预测栅格的密度,并分出一个过渡层让探测器直接访问这个拓展的像素特征,使模型以更好地匹配小型预测目标,对密集的群体目标效果明显,并具备一定适用性。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于改进的darknet神经网络进行目标检测的方法,其特征在于,包括如下步骤:
步骤1,采用固定相机连续获取训练样本图像,并对训练样本中的检测目标进行边框和类别的标注;
步骤2,通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本;
步骤3,基于改进的darknet神经网络构造图像检测模型,该检测模型包括依次连接的卷积层、池化层、卷积层、池化层、卷积块(1)、池化层、卷积块(2)、池化层和卷积块(3),然后复制卷积块(2)中的最后一层的输出,分别输入到路由层(1)和路由层(2)中,将卷积块(3)最后一层的输出和路由层(1)的输出依次输入到整合层和卷积块(4)中,路由层(2)的输出输入到卷积块(5)中,最终将卷积块(4)和卷积块(5)输入到分类层,所述卷积块(1)-(5)均包括多个卷积层;
步骤4,利用步骤3中的检测模型训练样本图像,并设置检测模型训练时的学习率及迭代次数,输出指定通道数的像素特征图片,对图像分类输出检测模型的权重、损失率、准确率;
步骤5,每迭代一定次数保存相应的检测模型,直到指定迭代次数终止,并利用最终的检测模型进行相关图像目标检测。
2.如权利要求1所述的一种基于改进的darknet神经网络进行目标检测的方法,其特征在于:所述卷积块(1)和卷积块(2)分别包括3个卷积层,卷积块(3)包括7个卷积层,卷积块(4)和卷积块(5)分别包括2个卷积层。
3.一种基于改进的darknet神经网络进行目标检测的系统,其特征在于,包括如下模块,
样本获取模块,用于采用固定相机连续获取训练样本图像,并对训练样本中的检测目标进行边框和类别的标注;
样本处理模块,用于通过旋转角度、调整饱和度、调整曝光量、调整色调来生成更多训练样本;
检测模型构建模块,用于基于改进的darknet神经网络构造图像检测模型,该检测模型包括依次连接的卷积层、池化层、卷积层、池化层、卷积块(1)、池化层、卷积块(2)、池化层和卷积块(3),然后复制卷积块(2)中的最后一层的输出,分别输入到路由层(1)和路由层(2)中,将卷积块(3)最后一层的输出和路由层(1)的输出依次输入到整合层和卷积块(4)中,路由层(2)的输出输入到卷积块(5)中,最终将卷积块(4)和卷积块(5)输入到分类层,所述卷积块(1)-(5)均包括多个卷积层;
检测模型训练模块,用于利用检测模型构建模块中的检测模型训练样本图像,并设置检测模型训练时的学习率及迭代次数,输出指定通道数的像素特征图片,对图像分类输出检测模型的权重、损失率、准确率;
目标检测模块,用于每迭代一定次数保存相应的检测模型,直到指定迭代次数终止,并利用最终的检测模型进行相关图像目标检测。
4.如权利要求3所述的一种基于改进的darknet神经网络进行目标检测的系统,其特征在于:所述卷积块(1)和卷积块(2)分别包括3个卷积层,卷积块(3)包括7个卷积层,卷积块(4)和卷积块(5)分别包括2个卷积层。
CN201811036910.XA 2018-09-06 2018-09-06 一种基于改进的darknet神经网络进行目标检测的方法和系统 Active CN109272060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811036910.XA CN109272060B (zh) 2018-09-06 2018-09-06 一种基于改进的darknet神经网络进行目标检测的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811036910.XA CN109272060B (zh) 2018-09-06 2018-09-06 一种基于改进的darknet神经网络进行目标检测的方法和系统

Publications (2)

Publication Number Publication Date
CN109272060A CN109272060A (zh) 2019-01-25
CN109272060B true CN109272060B (zh) 2021-04-16

Family

ID=65187345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811036910.XA Active CN109272060B (zh) 2018-09-06 2018-09-06 一种基于改进的darknet神经网络进行目标检测的方法和系统

Country Status (1)

Country Link
CN (1) CN109272060B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900002557A1 (it) * 2019-02-22 2020-08-22 Univ Bologna Alma Mater Studiorum Metodo e sistema di codifica basati su immagini
CN109753903B (zh) * 2019-02-27 2020-09-15 北航(四川)西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN110059556A (zh) * 2019-03-14 2019-07-26 天津大学 一种基于深度学习的变电站开关分合状态检测方法
CN111291799A (zh) * 2020-01-21 2020-06-16 青梧桐有限责任公司 房间窗户分类模型构建方法、房间窗户分类方法及系统
CN111523610B (zh) * 2020-05-06 2023-04-21 青岛联合创智科技有限公司 一种样本高效标注的物品识别方法
CN111783794B (zh) * 2020-06-08 2023-08-22 湖北工业大学 一种基于深度可分离卷积残差块和改进nms的多尺度目标检测方法
CN111881764B (zh) * 2020-07-01 2023-11-03 深圳力维智联技术有限公司 一种目标检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563411A (zh) * 2017-08-07 2018-01-09 西安电子科技大学 基于深度学习的在线sar目标检测方法
CN108416327A (zh) * 2018-03-28 2018-08-17 京东方科技集团股份有限公司 一种目标检测方法、装置、计算机设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563411A (zh) * 2017-08-07 2018-01-09 西安电子科技大学 基于深度学习的在线sar目标检测方法
CN108416327A (zh) * 2018-03-28 2018-08-17 京东方科技集团股份有限公司 一种目标检测方法、装置、计算机设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Improved YOLOv2 Object Detection Model》;Rui Li 等;《 2018 6th International Conference on Multimedia Computing and Systems》;20180512;全文 *
《Pedestrian Detection Based on YOLOv2 with Skip Structure in Underground Coal Mine》;Lin Wang 等;《2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference》;20171231;全文 *

Also Published As

Publication number Publication date
CN109272060A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109272060B (zh) 一种基于改进的darknet神经网络进行目标检测的方法和系统
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
CN111461319B (zh) 可适应用户要求的基于cnn的对象检测方法及装置
CN110599445A (zh) 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
CN111767962B (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN112200089B (zh) 一种基于车辆计数感知注意力的稠密车辆检测方法
CN113052170A (zh) 一种无约束场景下的小目标车牌识别方法
CN115861799A (zh) 基于注意力梯度的轻量化空对地目标检测方法
CN118410724B (zh) 一种输电线路异物识别方法、系统、计算机设备及介质
CN116740528A (zh) 一种基于阴影特征的侧扫声呐图像目标检测方法及系统
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN109409285B (zh) 基于重叠切片的遥感视频目标检测方法
CN112013820B (zh) 一种面向无人机机载平台部署的实时目标检测方法及装置
CN116994074A (zh) 一种基于深度学习的摄像头脏污检测方法
CN116682057A (zh) 一种基于窗口自注意力机制的变电站安全隐患检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230413

Address after: Room 306-307, Zhongchuang Building, No. 2 Darui Road, Guandong Industrial Park, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430074

Patentee after: Wuhan Yichuang Zhilian Information Technology Co.,Ltd.

Address before: 430068 1, Lijia 1 village, Nanhu, Wuchang District, Wuhan, Hubei

Patentee before: HUBEI University OF TECHNOLOGY

TR01 Transfer of patent right