CN110188709A - 基于深度学习的遥感影像中油桶的检测方法和检测系统 - Google Patents

基于深度学习的遥感影像中油桶的检测方法和检测系统 Download PDF

Info

Publication number
CN110188709A
CN110188709A CN201910474856.5A CN201910474856A CN110188709A CN 110188709 A CN110188709 A CN 110188709A CN 201910474856 A CN201910474856 A CN 201910474856A CN 110188709 A CN110188709 A CN 110188709A
Authority
CN
China
Prior art keywords
training
neural network
network model
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910474856.5A
Other languages
English (en)
Inventor
尹青山
李锐
段强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201910474856.5A priority Critical patent/CN110188709A/zh
Publication of CN110188709A publication Critical patent/CN110188709A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明公开了一种基于深度学习的遥感影像中油桶的检测方法和检测系统，属于深度学习领域，要解决的技术问题为如何借助深度学习实现对遥感影像中油桶的精确检测；方法包括：按照帧将监控视频分割为若干个像素比例相同的视频图像；对于每个视频图像标注人员位置和人员类型；通过Faster R‑CNN神经网络模型对标注后的视频图像进行检索训练；通过ResNet‑152CNN神经网络模型对标注后的视频图像进行分类训练；通过训练后Faster R‑CNN神经网络模型检索和训练ResNet‑152CNN神经网络模型检索实时监控视频。系统包括视频采集单元、标注单元、检索训练单元、分类训练单元和推理模块。

Description

基于深度学习的遥感影像中油桶的检测方法和检测系统
技术领域
本发明涉及深度学习领域，具体地说是一种基于深度学习的遥感影像中油桶的检测方法和检测系统。
背景技术
油桶目标一直以来都是军事打击的重要目标之一，在机场和港口军事遥感影像的毁伤信息提取和分析中，油桶目标的识别是油桶目标毁伤信息提取和分析的前提，其识别的准确度直接影响到毁伤信息提取和分析的效果。因此，研究遥感影像中油桶目标识别技术具有重要的意义。传统的油桶影像的检测有三种方法：基于Hough变换，该方法缺点是计算复杂、内存需求大；模板匹配方法，该方法准确率不高。利用油桶目标内部灰度值都比较均匀，与其相邻区域灰度值反差较大的影像辐射特征的油桶识别方法，该方法准确度不高。
深度学习的概念源于人工神经网络的研究，由Hinton等人于2006年提出。2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：(1)多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；(2)深度神经网络在训练上的难度，可以通过“逐层初始化”(layer-wisepre-training)来有效克服，在文章中逐层初始化是通过无监督学习实现的。由此可见，深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
借助机器学习领域深度学习研究的发展，识别技术得到突飞猛进的发展。将深度学习研究引入到识别领域，极大提高了识别的准确率降低了人的工作量。
基于上述分析，如何借助深度学习实现对遥感影像中油桶的精确检测，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种基于深度学习的遥感影像中油桶的检测方法及检测系统，来解决如何借助深度学习实现对遥感影像中油桶的精确检测的问题。
第一方面，本发明提供一种基于深度学习的遥感影像中油桶的检测方法，包括：
按照帧将监控视频分割为若干个像素比例相同的视频图像；
对于每个视频图像标注人员位置和人员类型，人员类型包括工作人员和非工作人员；
通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，生成训练后Faster R-CNN神经网络模型；
通过ResNet-152CNN神经网络模型对标注后的视频图像进行分类训练，生成训练后ResNet-152CNN神经网络模型；
通过训练后Faster R-CNN神经网络模型检索实时监控视频的人员位置，并通过训练后ResNet-152CNN神经网络模型检索实时监控视频的人员类型。
在上述实施方式中，Faster R-CNN神经网络模型是一个通用的物体检测模型，该模型能够自动识别图像中可识别对象在图像中的像素位置和对象类别，是基于深度学习的目标检测中应用最为广泛的模型。由于，Faster R-CNN神经网络模型的输入图像必须为相同像素比例的图像，即输入图像长与宽的像素相同且图像大小相同，所以需要将监控视频分割为像素比例相同的视频图像。
作为优选，通过labelImg工具对于每个视频图像标注人员位置和人员类型。
上述优选的实施方式中，labelImg工具为常用的一种图像标注工具。
作为优选，通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，包括：
通过卷积层对视频图像进行特征提取，输出图像特征；
通过Region Proposal对图像特征进行学习，输出若干个感兴趣区域；
通过RoIHead对图像特征和感兴趣区域进行训练学习，判断感兴趣区域的类型，并对感兴趣区域的位置进行微调。
作为优选，卷积层为预训练的VGG16的卷积层。
第二方面，本发明提供一种基于深度学习的遥感影像中油桶的检测系统，包括：
视频采集单元，所述视频采集单元用于获取监控视频，并按照帧将监控视频分割为若干个像素比例相同的视频图像；
标注单元，所述标注单元用于对每个视频图像标注人员位置和人员类型，人员类型包括工作人员和非工作人员；
检索训练单元，所述检索训练单元用于通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，生成训练后Faster R-CNN神经网络模型；
分类训练单元，所述分类训练单元通过ResNet-152CNN神经网络模型对标注后的视频图像进行分类训练，生成训练后ResNet-152CNN神经网络模型；
推理模块，所述推理模块用于通过训练后Faster R-CNN神经网络模型检索实时监控视频的人员位置，并通过训练后ResNet-152CNN神经网络模型检索实时监控视频的人员类型。
作为优选，标注单元配置有labelImg工具，labelImg工具用于对每个视频图像标注人员位置和人员类型。
作为优选，Faster R-CNN神经网络模型，包括：
卷积层，所述卷积层用于对视频图像进行特征提取，输出图像特征；
Region Proposal，所述Region Proposal用于对图像特征进行学习，输出若干个感兴趣区域；
RoIHead，所述RoIHead用于对图像特征和感兴趣区域进行训练学习，判断感兴趣区域的类型，并对感兴趣区域的位置进行微调。
作为优选，卷积层为预训练的VGG16的卷积层。
本发明的基于深度学习的遥感影像中油桶的检测方法及检测系统具有以下优点：训练Faster R-CNN神经网络模型以及ResNet-152CNN神经网络模型，通过训练后的FasterR-CNN神经网络模型检测人员位置，通过训练后的ResNet-152CNN神经网络模型检测人员类型，在两个模型的配合下提高识别的效率和准确度，快速精确的识别出施工现场的外来人员。
附图说明
为了更清除地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为实施例1基于深度学习的遥感影像中油桶的检测方法流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于深度学习的遥感影像中油桶的检测方法及检测系统，用于解决如何借助深度学习实现对遥感影像中油桶的精确检测的技术问题。
实施例1：
如附图1所示，本发明的基于深度学习的遥感影像中油桶的检测方法，包括：
S100、按照帧将监控视频分割为若干个像素比例相同的视频图像；
S200、对于每个视频图像标注人员位置和人员类型，人员类型包括工作人员和非工作人员；
S300、通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，生成训练后Faster R-CNN神经网络模型；
S400、通过ResNet-152CNN神经网络模型对标注后的视频图像进行分类训练，生成训练后ResNet-152CNN神经网络模型；
S500、通过训练后Faster R-CNN神经网络模型检索实时监控视频的人员位置，并通过训练后ResNet-152CNN神经网络模型检索实时监控视频的人员类型。
其中，步骤S100中，将监控视频分割为若干个像素比例相同的视频图像，为视频图像长与宽的像素相同、且图像大小相同。以便于视频图像输入Faster R-CNN神经网络模型。
步骤S200中，可通过常用的标注工具在视频图像中标注人员位置和人员类型，本实施例中选用labelImg进行标注。
步骤S300中，Faster R-CNN神经网络模型包括卷积层、Region Proposal和RoIHead，卷积层为预训练的VGG16的卷积层，通过该Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，包括如下步骤：
S310、通过卷积层对视频图像进行特征提取，输出图像特征；
S320、通过Region Proposal对图像特征进行学习，输出若干个感兴趣区域；
S330、通过RoIHead对图像特征和感兴趣区域进行训练学习，判断感兴趣区域的类型，并对感兴趣区域的位置进行微调。
步骤S400中，ResNet-152CNN神经网络模型选用现有的常用的模型，对视频图像进行分类训练，输出人员类型，并得到训练后ResNet-152CNN神经网络模型。
通过步骤S300和步骤S400，得到训练后Faster R-CNN神经网络模型和训练后ResNet-152CNN神经网络模型，将上述两个模型保存在本地。对于实时采集到的监控视频，通过训练后的Faster R-CNN神经网络模型对实时监控视频进行人员位置检测，通过训练后ResNet-152CNN神经网络模型对实时监控视频进行人员类型检测。该方法应用于工地上时，可快速精确的识别出工地外来人员。
实施例2：
本发明的基于深度学习的遥感影像中油桶的检测系统，包括：视频采集单元、标注单元、检索训练单元、分类训练单元和推理模块。
视频采集单元配置有摄像头和图像分割模块，通过该摄像头获取监控视频，通过图像分割模块按照帧将监控视频分割为若干个像素比例相同的视频图像。像素比例相同的视频图像指长与宽像素相同、且图像大小相同的视频图像。
标注单元内配置有标注工具，通过标注工具对每个视频图像标注人员位置和人员类型，人员类型包括工作人员和非工作人员。本实施例中配置的标注工具为labelImg工具。
检索训练单元，配置有Faster R-CNN神经网络模型，标注单元输出的标注后视频图像输入检索训练单元，在检索训练单元内通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，生成训练后Faster R-CNN神经网络模型，并将生成的训练后FasterR-CNN神经网络模型保存在推理模块。
分类训练单元，配置有ResNet-152CNN神经网络模型，标注单元输出的标注后视频图像输入检索训练单元，通过ResNet-152CNN神经网络模型对标注后的视频图像进行分类训练，生成训练后ResNet-152CNN神经网络模型，并将生成的训练后ResNet-152CNN神经网络模型保存在推理模块，
推理模块，存储有训练后Faster R-CNN神经网络模型和训练后ResNet-152CNN神经网络模型，通过视频采集单元输出的视频图像输入该推理模块，通过训练后Faster R-CNN神经网络模型检索实时监控视频的人员位置，并通过训练后ResNet-152CNN神经网络模型检索实时监控视频的人员类型，从而可精确实现人员识别以及人员位置的定位。
本实施例的基于深度学习的遥感影像中油桶的检测系统可实现实施例1公开的基于深度学习的遥感影像中油桶的检测方法。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.基于深度学习的遥感影像中油桶的检测方法，其特征在于包括：
按照帧将监控视频分割为若干个像素比例相同的视频图像；
对于每个视频图像标注人员位置和人员类型，人员类型包括工作人员和非工作人员；
通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，生成训练后Faster R-CNN神经网络模型；
通过ResNet-152CNN神经网络模型对标注后的视频图像进行分类训练，生成训练后ResNet-152CNN神经网络模型；
通过训练后Faster R-CNN神经网络模型检索实时监控视频的人员位置，并通过训练后ResNet-152CNN神经网络模型检索实时监控视频的人员类型。
2.根据权利要求1所述的基于深度学习的遥感影像中油桶的检测方法，其特征在于通过labelImg工具对于每个视频图像标注人员位置和人员类型。
3.根据权利要求1所述的基于深度学习的遥感影像中油桶的检测方法，其特征在于通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，包括：
通过卷积层对视频图像进行特征提取，输出图像特征；
通过Region Proposal对图像特征进行学习，输出若干个感兴趣区域；
通过RoIHead对图像特征和感兴趣区域进行训练学习，判断感兴趣区域的类型，并对感兴趣区域的位置进行微调。
4.根据权利要求3所述的基于深度学习的遥感影像中油桶的检测方法，其特征在于卷积层为预训练的VGG16的卷积层。
5.基于深度学习的遥感影像中油桶的检测系统，其特征在于包括：
视频采集单元，所述视频采集单元用于获取监控视频，并按照帧将监控视频分割为若干个像素比例相同的视频图像；
标注单元，所述标注单元用于对每个视频图像标注人员位置和人员类型，人员类型包括工作人员和非工作人员；
检索训练单元，所述检索训练单元用于通过Faster R-CNN神经网络模型对标注后的视频图像进行检索训练，生成训练后Faster R-CNN神经网络模型；
分类训练单元，所述分类训练单元通过ResNet-152CNN神经网络模型对标注后的视频图像进行分类训练，生成训练后ResNet-152CNN神经网络模型；
推理模块，所述推理模块用于通过训练后Faster R-CNN神经网络模型检索实时监控视频的人员位置，并通过训练后ResNet-152CNN神经网络模型检索实时监控视频的人员类型。
6.根据权利要求5所述的基于深度学习的遥感影像中油桶的检测系统，其特征在于标注单元配置有labelImg工具，labelImg工具用于对每个视频图像标注人员位置和人员类型。
7.根据权利要求5所述的基于深度学习的遥感影像中油桶的检测系统，其特征在于Faster R-CNN神经网络模型，包括：
卷积层，所述卷积层用于对视频图像进行特征提取，输出图像特征；
Region Proposal，所述Region Proposal用于对图像特征进行学习，输出若干个感兴趣区域；
RoIHead，所述RoIHead用于对图像特征和感兴趣区域进行训练学习，判断感兴趣区域的类型，并对感兴趣区域的位置进行微调。
8.根据权利要求7所述的基于深度学习的遥感影像中油桶的检测系统，其特征在于卷积层为预训练的VGG16的卷积层。
CN201910474856.5A 2019-06-03 2019-06-03 基于深度学习的遥感影像中油桶的检测方法和检测系统 Pending CN110188709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910474856.5A CN110188709A (zh) 2019-06-03 2019-06-03 基于深度学习的遥感影像中油桶的检测方法和检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910474856.5A CN110188709A (zh) 2019-06-03 2019-06-03 基于深度学习的遥感影像中油桶的检测方法和检测系统

Publications (1)

Publication Number Publication Date
CN110188709A true CN110188709A (zh) 2019-08-30

Family

ID=67719814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910474856.5A Pending CN110188709A (zh) 2019-06-03 2019-06-03 基于深度学习的遥感影像中油桶的检测方法和检测系统

Country Status (1)

Country Link
CN (1) CN110188709A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633238A (zh) * 2020-12-31 2021-04-09 上海蓬渤机电设备有限公司 一种基于深度学习图像处理的电焊施工检测方法
CN113989632A (zh) * 2021-09-13 2022-01-28 西安电子科技大学 一种遥感图像桥梁检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491830A (zh) * 2018-04-23 2018-09-04 济南浪潮高新科技投资发展有限公司 一种基于深度学习的施工现场人员制服穿着识别的方法
CN108596273A (zh) * 2018-05-09 2018-09-28 合肥黎曼信息科技有限公司 一种皮肤病图像分类方法
CN109193468A (zh) * 2018-11-19 2019-01-11 国网四川省电力公司成都供电公司 一种基于无人机技术的输电线路运维监控方法
CN109344890A (zh) * 2018-09-20 2019-02-15 浪潮软件股份有限公司 一种基于深度学习的烟柜卷烟识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491830A (zh) * 2018-04-23 2018-09-04 济南浪潮高新科技投资发展有限公司 一种基于深度学习的施工现场人员制服穿着识别的方法
CN108596273A (zh) * 2018-05-09 2018-09-28 合肥黎曼信息科技有限公司 一种皮肤病图像分类方法
CN109344890A (zh) * 2018-09-20 2019-02-15 浪潮软件股份有限公司 一种基于深度学习的烟柜卷烟识别方法
CN109193468A (zh) * 2018-11-19 2019-01-11 国网四川省电力公司成都供电公司 一种基于无人机技术的输电线路运维监控方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633238A (zh) * 2020-12-31 2021-04-09 上海蓬渤机电设备有限公司 一种基于深度学习图像处理的电焊施工检测方法
CN113989632A (zh) * 2021-09-13 2022-01-28 西安电子科技大学 一种遥感图像桥梁检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN109635727A (zh) 一种人脸表情识别方法及装置
CN106326874A (zh) 一种人眼图像中的虹膜识别方法及其装置
Huang et al. Development and validation of a deep learning algorithm for the recognition of plant disease
CN104143079A (zh) 人脸属性识别的方法和系统
CN107895160A (zh) 人脸检测与识别装置及方法
CN106778506A (zh) 一种融合深度图像和多通道特征的表情识别方法
CN105426875A (zh) 一种基于深度卷积神经网络的人脸识别方法和考勤系统
CN107301376A (zh) 一种基于深度学习多层刺激的行人检测方法
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN110287895A (zh) 一种基于卷积神经网络进行情绪测量的方法
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN111382727B (zh) 一种基于深度学习的犬脸识别方法
CN110188709A (zh) 基于深度学习的遥感影像中油桶的检测方法和检测系统
CN109753962A (zh) 基于混合网络的自然场景图像中文本区域的处理方法
CN114638256A (zh) 基于声波信号及注意力网络的变压器故障检测方法及其系统
CN107944373A (zh) 一种基于深度学习的视频异常行为检测方法
CN110414298A (zh) 一种猴脸多属性联合识别方法
CN114550270A (zh) 一种基于双注意力机制的微表情识别方法
Shao et al. InMAS: Deep learning for designing intelligent making system
CN111582195B (zh) 一种汉语唇语单音节识别分类器构建方法
Maheshwari et al. Performance Analysis of Mango Leaf Disease using Machine Learning Technique
CN106096598A (zh) 一种利用深度相关神经网络模型识别人脸表情的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830

RJ01 Rejection of invention patent application after publication