CN112906593A - 一种基于Faster RCNN的水闸图像识别方法 - Google Patents
一种基于Faster RCNN的水闸图像识别方法 Download PDFInfo
- Publication number
- CN112906593A CN112906593A CN202110233074.XA CN202110233074A CN112906593A CN 112906593 A CN112906593 A CN 112906593A CN 202110233074 A CN202110233074 A CN 202110233074A CN 112906593 A CN112906593 A CN 112906593A
- Authority
- CN
- China
- Prior art keywords
- sluice
- data
- training
- model
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于FasterRCNN的水闸图像识别方法，步骤为：1)数据获取：数据主要来源于重点水利工程提供的监控视频；2)数据预处理：通过对视频进行批量截图，并选择一些较少的图片通过翻转、旋转、裁剪等操作进行扩充；3)制作数据集：对图片数据进行标注，并划分训练集、测试集和验证集；4)模型训练：构建FasterRCNN网络结构，设定训练参数，利用数据集进行训练；5)模型测试：利用训练好的模型对新数据进行预测分类。本发明通过对水闸图像的分析，实现对水闸状态的自动识别，用于辅助水利工作人员监测水闸运行状态，确认水闸调度是否正常。模型训练完成后使用方便，准确度高，应用前景广阔。
Description
技术领域
本发明属于图像识别技术领域，特别涉及一种基于Faster RCNN的水闸图像识别方法。
背景技术
随着视频监控平台的建设完成，数据采集手段越来越丰富。水闸相关数据中，最直观的数据便是视频数据了，可以清晰的看出水闸的调度情况。而目前已有视频监控平台大都是仅提供视频的捕获、存储和回放等简单的功能，用来记录发生的事情，很难起到预警和报警的作用.若要保证实时监控异常行为并及时采取有效措施，就需要监控人员一刻不停的监看视频，这种情况下，监控人员容易疲惫，尤其面对多路监控视频时，往往目不暇接，很难及时对异常做出反应.因此这就迫切需要智能视频监控，来辅助监控人员的工作。
在防汛等重要的时候，往往需要实时的获取最新的水闸运行状态数据，因此会产生海量的视频数据，如何从这些海量数据中高效地发现我们需要解决的问题，就成为智能视频监控技术要解决的主要问题。具体地讲，智能视频监控技术就是为了让计算机像人的大脑，让摄像头像人的眼睛，由计算机智能地分析从摄像头中获取的图像序列，对被监控场景中的内容进行理解，实现对异常行为的自动预警和报警。已有视频监控平台缺少对与防汛重大事件相关的视频和图像的自动识别，视频监控平台的利用率有待进一步提高。
20世纪末以来，随着计算机视觉的发展，出现了越来越多的图像识别相关的技术，尤其是深度学习技术的进步，让图像识别技术在精确度上得到了质的飞跃。以深度学习为基础的目标检测方法发展迅速，在各个领域都取得了重大的成就，而Faster RCNN算法就是众多目标检测算法中较为出色的一个。
目前水闸运行状态检测主要是依靠系统自身调度指令的反馈和人工通过视频检测。在防汛等重要的时候，往往需要实时的获取最新的水闸运行状态数据。仅仅依靠人工来识别海量视频数据中闸门运行状态，无疑是一件费时费力的工作，而且难以在短时间内完成。
发明内容
发明目的：为了克服现有技术中存在的复杂场景中水闸调度是否成功，人力难以辅助决策的问题，本发明提供一种基于Faster RCNN的水闸图像识别方法，能够能够准确帮助识别水闸运行状态。
技术方案：为实现上述目的，本发明提供一种基于Faster RCNN的水闸图像识别方法，包括如下步骤：
(1)从重点水利工程的监控视频中获取数据；
(2)对获取的数据进行处理：通过对视频进行批量截图，并将图片通过翻转、旋转、裁剪和颜色变换进行扩充；
(3)制作数据集：对图片数据进行标注，并划分训练集、测试集和验证集；
(4)模型训练：构建Faster RCNN网络结构，设定训练参数，利用数据集进行训练；
(5)模型测试：利用训练好的模型对新数据进行预测分类。
进一步的，所述步骤(3)中制作数据集的具体步骤如下：对获得的图片通过标签进行标注，标签类别分别为‘closed’和‘open’，生成xml文件，并将图片和对应的xml文件设置为VOC2007数据集格式；同时对数据集进行划分，生成train、test、trainval和val的txt文件。
进一步的，所述步骤(4)中模型训练的具体步骤如下：
(4.1)对Faster RCNN模型进行改进：使用ROI-Align代替ROI-Pooling操作，减少由于双线性插值法对浮点数取整导致的误差，提升模型的准确度；
(4.2)在不影响模型检测性能的前提下，加快网络训练速度。将网络的第一个卷积核变小，减少神经元个数，从而使得网络训练速度得到提升；
(4.3)使用ResNet50作为主干网络。
进一步的，所述步骤(5)中模型测试的具体步骤如下：将测试图片输入训练模型中，检测出图片中水闸的启闭状态，以及开启的水闸数量统计。
进一步的，所述步骤(1)中从重点水利工程的监控视频中获取数据的具体步骤如下：根据重点水利工程的视频数据，为了避免数据集重复，每间隔3s截图并保存为jpg格式；其中截图包括各种水闸闸门的启闭状态。
本发明可以自动地提取水闸调度的相关特征，对水闸闸门运行状态进行检测。相较于依靠人工识别，在速度上有大大的提升，能够减少不少的人力，加快了工作效率。而且模型有着较为精确的准确率，能够达到预期的目标，可以以此技术为基础构建相关智能视频监控系统，辅助工作人员对水闸状态检测。
有益效果：本发明与现有技术相比具有以下优点：
本发明使用ROI-Align代替ROI-Pooling操作，使模型生成的候选框映射产生固定大小的feature map，从而提升了模型的准确度；同时将网络的第一个卷积核变小，减少神经元个数，提升了网络训练速度。本发明在识别闸门启闭状态上取得良好效果。
附图说明
图1为本发明的流程图；
图2为具体实施例中的网络结构图；
图3为具体实施例中视频截取图片的示例图；
图4为具体实施例中采用本发明所得到的预测结果展示图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
下面结合如图1所示的流程图，本发明提出的一种基于Faster RCNN的水闸图像识别方法包括如下步骤：
步骤S1：数据获取：数据主要来源于重点水利工程的监控视频，为了避免数据集重复，按间隔3s进行截图，保存为jpg格式；所获得的截图应包括各种水闸闸门的启闭状态，图片示例图3所示。图3中可以看出从左数的7个水闸是关闭状态，而右边的水闸则是开启状态。
步骤S2：数据预处理：由于深度学习需要大量样本进行学习，在对视频进行批量截图后，在选择部分图片进行旋转、翻转、裁剪、颜色变换等操作，丰富数据集，满足深度学习对数据集的需要。
步骤S3：制作数据集：将获得的图片数据按顺序重新命名，使用人工标注软件Labelimg对获得的jpg图片进行标注，标签类别分别为‘closed’和‘open’，生成xml文件，并将图片和对应的xml文件设置为VOC2007数据集格式；同时对数据集进行划分，生成train、test、trainval和val等txt文件，这类txt文件包含的信息为其所划分得到的图片文件名。
步骤S4：模型训练：首先对模型进行修改：使用ROI-Align代替ROI-Pooling操作，减少由于双线性插值法对浮点数取整导致的误差，提升模型的准确度；在不影响模型检测性能的前提下，加快网络训练速度。将网络的第一个卷积核变小，减少神经元个数，提升使得网络训练速度；使用ResNet50作为主干网络。之后，构建Faster RCNN网络结构，设定训练参数，利用数据集进行训练。训练过程如图2所示，首先，输入训练图片，利用CNN网络进行卷积特征提取，然后通过RPN滑动窗口机制获得区域建议和区域得分，利用非极大值抑制算法输出前N个得分的区域建议，然后将这些区域建议输入ROI池化层，通过池化层得到区域建议特征，最后利用全连接层进行目标分类。
步骤S5：模型测试：利用训练好的模型对新数据进行预测分类，将测试图片输入训练模型中，检测出图片中水闸的启闭状态，以及开启的水闸数量统计。检测效果如图4所示，图3中水闸图片进行预测后，模型判定有四个闸门开启，并在图4左上角统计了开启闸门个数。
Claims (5)
1.一种基于Faster RCNN的水闸图像识别方法，其特征在于，包括如下步骤：
(1)从重点水利工程的监控视频中获取数据；
(2)对获取的数据进行处理：通过对视频进行批量截图，并将图片通过翻转、旋转、裁剪和颜色变换进行扩充；
(3)制作数据集：对图片数据进行标注，并划分训练集、测试集和验证集；
(4)模型训练：构建Faster RCNN网络结构，设定训练参数，利用数据集进行训练；
(5)模型测试：利用训练好的模型对新数据进行预测分类。
2.根据权利要求1所述的一种基于Faster RCNN的水闸图像识别方法，其特征在于，所述步骤(3)中制作数据集的具体步骤如下：对获得的图片通过标签进行标注，标签类别分别为‘closed’和‘open’，生成xml文件，并将图片和对应的xml文件设置为VOC2007数据集格式；同时对数据集进行划分，生成train、test、trainval和val的txt文件。
3.根据权利要求1所述的一种基于Faster RCNN的水闸图像识别方法，其特征在于，所述步骤(4)中模型训练的具体步骤如下：
(4.1)对Faster RCNN模型进行改进：使用ROI-Align代替ROI-Pooling操作；
(4.2)将网络的第一个卷积核变小，减少神经元个数；
(4.3)使用ResNet50作为主干网络。
4.根据权利要求1所述的一种基于Faster RCNN的水闸图像识别方法，其特征在于，所述步骤(5)中模型测试的具体步骤如下：将测试图片输入训练模型中，检测出图片中水闸的启闭状态，以及开启的水闸数量统计。
5.根据权利要求1所述的一种基于Faster RCNN的水闸图像识别方法，其特征在于，所述步骤(1)中从重点水利工程的监控视频中获取数据的具体步骤如下：根据重点水利工程的视频数据，每间隔3s截图并保存为jpg格式；其中截图包括各种水闸闸门的启闭状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110233074.XA CN112906593A (zh) | 2021-03-03 | 2021-03-03 | 一种基于Faster RCNN的水闸图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110233074.XA CN112906593A (zh) | 2021-03-03 | 2021-03-03 | 一种基于Faster RCNN的水闸图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112906593A true CN112906593A (zh) | 2021-06-04 |
Family
ID=76107303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110233074.XA Withdrawn CN112906593A (zh) | 2021-03-03 | 2021-03-03 | 一种基于Faster RCNN的水闸图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906593A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114928720A (zh) * | 2022-05-13 | 2022-08-19 | 重庆云凯科技有限公司 | 一种停车道闸杆的状态的检测系统及方法 |
| WO2024098681A1 (zh) * | 2022-11-08 | 2024-05-16 | 中国长江电力股份有限公司 | 基于yolo自动识别的水电站平板闸门启闭方法 |
-
2021
- 2021-03-03 CN CN202110233074.XA patent/CN112906593A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114928720A (zh) * | 2022-05-13 | 2022-08-19 | 重庆云凯科技有限公司 | 一种停车道闸杆的状态的检测系统及方法 |
| WO2024098681A1 (zh) * | 2022-11-08 | 2024-05-16 | 中国长江电力股份有限公司 | 基于yolo自动识别的水电站平板闸门启闭方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Deep learning‐based safety helmet detection in engineering management based on convolutional neural networks | |
| AU2020102091A4 (en) | Intelligent steel slag detection method and system based on convolutional neural network | |
| CN110826538B (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
| CN107948166B (zh) | 基于深度学习的流量异常检测方法及装置 | |
| CN108898085B (zh) | 一种基于手机视频的道路病害智能检测方法 | |
| CN111563557B (zh) | 一种电力电缆隧道内目标检测的方法 | |
| CN110569843B (zh) | 一种矿井目标智能检测与识别方法 | |
| CN105095866A (zh) | 一种快速行为识别方法和系统 | |
| CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
| CN113553977B (zh) | 一种基于改进yolo v5的安全帽检测方法和系统 | |
| CN112906593A (zh) | 一种基于Faster RCNN的水闸图像识别方法 | |
| CN111652225A (zh) | 基于深度学习的非侵入式摄像读取方法及系统 | |
| Han et al. | Structural damage-causing concrete cracking detection based on a deep-learning method | |
| CN108776452B (zh) | 一种特种设备现场维保监控方法及系统 | |
| CN111612786A (zh) | 基于全卷积神经网络的混凝土缺陷检测方法、装置及存储介质 | |
| Xingxin et al. | Adaptive auxiliary input extraction based on vanishing point detection for distant object detection in high-resolution railway scene | |
| KR20230023263A (ko) | 딥러닝 기반 하수도 결함 감지 방법 및 그 장치 | |
| CN113469938A (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
| CN116977904A (zh) | 一种基于YOLOv5的快速识别大场景多人工衣检测方法 | |
| CN114387564A (zh) | 一种基于YOLOv5的磕头机停抽检测方法 | |
| CN111368726A (zh) | 建筑工地作业面人数统计方法、系统、存储介质及装置 | |
| Sheng et al. | A YOLOX-Based Detection Method of Triple-Cascade Feature Level Fusion for Power System External Defects | |
| Wang et al. | Defect Detection from Power Line Images using Advanced Deep Detectors | |
| Liu et al. | End-to-end high-speed railway dropper breakage and slack monitoring based on computer vision | |
| CN112329863B (zh) | 一种牵引变电所内隔离开关状态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210604 |