CN109993055A - 一种基于神经网络的连续异常图像检测方法 - Google Patents

一种基于神经网络的连续异常图像检测方法 Download PDF

Info

Publication number
CN109993055A
CN109993055A CN201910128624.4A CN201910128624A CN109993055A CN 109993055 A CN109993055 A CN 109993055A CN 201910128624 A CN201910128624 A CN 201910128624A CN 109993055 A CN109993055 A CN 109993055A
Authority
CN
China
Prior art keywords
image
feature
neural network
abnormal image
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910128624.4A
Other languages
English (en)
Inventor
刘�文
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Isa Data Technology Co Ltd, Beijing Yisa Technology Co Ltd filed Critical Qingdao Isa Data Technology Co Ltd
Priority to CN201910128624.4A priority Critical patent/CN109993055A/zh
Publication of CN109993055A publication Critical patent/CN109993055A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的连续异常图像检测方法，主要包括：1）通过FFMPEG读取摄像头实时视频的帧图像，并对检测区域进行裁剪，获取到识别的区域图像，2）使用CNN实时对获得的实时图像进行特征的提取，并且将最后的特征拉伸展平成一个[1,512]的特征，每获取5个一维的图像特征后将五个一维的特征堆叠成一个[5,512]的特征，从而实现既保留了图像的空间上的特征又保留了视频序列上的特征，使用循环神经网络学习该特征的时间序列的信息从而检测到异常的图像的变化最终达到了检测异常图像的目的。本发明专利在识别的准确率上非常高，通过对实时的视频图像的处理来达到监测皮带破损的目的，从而可以提前预警，保证了工业的安全生产。

Description

一种基于神经网络的连续异常图像检测方法
技术领域
本发明属于深度学习和人工智能领域，特别的是指一种基于神经网络的连续异常图像检测方法。
背景技术
随着科学技术的迅猛发展，人工智能已成为如今的热门领域，使用深度学习技术来进行图像识别、语音识别、语音合成、数据预测、视频分类已应用到实际场景中，相信以后深度学习会给人们的生活带来越来越多的便利，智能也会改变人们的生活。
当然将人工智能应用于工业生产也是当下人工智能技术落地的难点，尤其是将人工智能应用于高危行业的安全生产方面，例如煤矿采煤的运输传送带长时间运转容易出现皮带的破损缺口等情况，这种情况容易发生一些安全隐患，本发明意在发明一种深度学习算法，通过对实时的视频图像的处理来达到监测皮带破损的目的，从而可以提前预警，保证了工业的安全生产。
发明内容
鉴于上述技术背景，本发明的目的在于使用人工智能技术，实现对基于视频的连续异常图像的检测，同时要保证检测的准确率。对于方法的实现主要包括以下步骤：
一种基于神经网络的连续异常图像检测方法，主要包括以下几个步骤：
1）通过FFMPEG读取摄像头实时视频的帧图像，并对检测区域进行裁剪，获取到识别的区域图像；
2）使用CNN实时对获得的实时图像进行特征的提取，并且将最后的特征拉伸展平成一个[1,512]的特征；
3）每获取5个一维的图像特征后将五个一维的特征堆叠成一个[5,512]的特征，从而实现既保留了图像的空间上的特征又保留了视频序列上的特征；
4）使用循环神经网络学习该特征的时间序列的信息从而检测到异常的图像的变化最终达到了检测异常图像的目的。
优选的，本检测方法使用了自设计的神经网络组合形式，主要可以分为三个部分。
优选的，第一个部分，图像特征提取部分本方法采用了（3*3）的小卷积核和（2*2）的小池化步长，通过深度卷积最终将（80，250，3）的图像提取为（2，7，512）的图像，并且最终降维为（1，512）的特征。
优选的，第二个部分，在网络中对提取的连续的图像特征进行堆叠拼接为连续的图像特征创作时序特征，例如将原来5个（1，512）的单图像特征堆叠拼接成（5，512）的图像特征，从而既保留了图像的空间特征信息又保留了图像的时序特征信息，五个特征的拼接正如该方法的训练数据一样（图1），可以看出五幅图像的拼接正常部分都是一样的，不一样的只是每一幅图像的缺口破损位置的变化。
优选的，第三个部分，使用循环神将网络学习时序信息，这里使用组合后的五个特征图像作为GRU的训练数据，搭建了GRU循环神经网络，并且使用了反向循环神经网络和正向循环神经网络的结合，有研究表明双向循环神经网络的效果要比单向的神经网络要好。
优选的，其中有五连续时序上的输入，将这五个输入进行特征的提取并降维后得到五个一维的特征图像然后经过特征的堆叠拼接，得到新的特征数据，最后将特征数据送入GRU学习特征的序列特征从而可以达到检测缺口破损图像在时序上变化情况，从而达到识别异常图像的目的。
与现有技术相比，本发明具有如下有益效果：
本发明中，在训练过程中采用一种end-to-end的训练方式，使用原始图片作为输，通过前向传播计算误差，反向传播更显模型权重,模型训时通过多个输入来分别不同的序列，然后在网络内部对图像进行降维和按时序重新排列，对排列后的新数据在使用循神经网络进行学习序列特征，最后通过SoftMax预测标签属性，该方法在识别的准确率上非常高，并且该方法对未知的皮带的缺口破损有很好的识别能力，通过对实时的视频图像的处理来达到监测皮带破损的目的，从而可以提前预警，保证了工业的安全生产，带来更好的使用前景。
附图说明
图1为本发明一种基于神经网络的连续异常图像检测方法的流程图；
图2为本发明一种基于神经网络的连续异常图像检测方法的整体模型架构图；
图3为本发明一种基于神经网络的连续异常图像检测方法的训练数据示例图。
具体实施方式
下面结合附图对本发明作进一步描述,以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
包括以下步骤：
步骤1：图像特征提取部分本方法采用了（3*3）的小卷积核和（2*2）的小池化步长，通过深度卷积最终将（80，250，3）的图像提取为（2，7，512）的图像，并且最终降维为（1，512）的特征。
步骤2：在网络中对提取的连续的图像特征进行堆叠拼接为连续的图像特征创作时序特征，例如将原来5个（1，512）的单图像特征堆叠拼接成（5，512）的图像特征，从而既保留了图像的空间特征信息又保留了图像的时序特征信息，五个特征的拼接正如该方法的训练数据一样，可以看出五幅图像的拼接正常部分都是一样的，不一样的只是每一幅图像的缺口破损位置的变化。
步骤3：使用循环神将网络学习时序信息，这里使用组合后的五个特征图 像作为GRU的训练数据，搭建了GRU循环神经网络，并且使用了反向循环神 经网络和正向循环神经网络的结合，有研究表明双向循环神经网络的效果要 比单向的神经网络要好。该方法的总体架构如图2所示，其中有五连续时序 上的输入，将这五个输入进行特征的提取并降维后得到五个一维的特征图像 然后经过特征的堆叠拼接，得到新的特征数据，最后将特征数据送入GRU学 习特征的序列特征从而可以达到检测缺口破损图像在时序上变化情况，从而达到识别异常图像的目的；
在训练过程中采用一种end-to-end的训练方式，使用原始图片作为输， 通过前向传播计算误差，反向传播更显模型权重。模型训时通过多个输入来 分别不同的序列，然后在网络内部对图像进行降维和按时序重新排列，对排 列后的新数据在使用循神经网络进行学习序列特征，最后通过SoftMax预测 标签属性。该方法在识别的准确率上非常高，并且该方法对未知的皮带的缺 口破损有很好的识别能力。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行 业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明 书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下， 本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范 围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于神经网络的连续异常图像检测方法，其特征在于，主要包括以下几个步骤：
1）通过FFMPEG读取摄像头实时视频的帧图像，并对检测区域进行裁剪，获取到识别的区域图像；
2）使用CNN实时对获得的实时图像进行特征的提取，并且将最后的特征拉伸展平成一个[1,512]的特征；
3）每获取5个一维的图像特征后将五个一维的特征堆叠成一个[5,512]的特征，从而实现既保留了图像的空间上的特征又保留了视频序列上的特征；
4）使用循环神经网络学习该特征的时间序列的信息从而检测到异常的图像的变化最终达到了检测异常图像的目的。
2.根据权利1所述的一种基于神经网络的连续异常图像检测方法，其特征在于：本检测方法使用了自设计的神经网络组合形式，主要可以分为三个部分。
3.根据权利2所述的一种基于神经网络的连续异常图像检测方法，其特征在于：第一个部分，图像特征提取部分本方法采用了（3*3）的小卷积核和（2*2）的小池化步长，通过深度卷积最终将（80，250，3）的图像提取为（2，7，512）的图像，并且最终降维为（1，512）的特征。
4.根据权利2所述的一种基于神经网络的连续异常图像检测方法，其特征在于：第二个部分，在网络中对提取的连续的图像特征进行堆叠拼接为连续的图像特征创作时序特征，例如将原来5个（1，512）的单图像特征堆叠拼接成（5，512）的图像特征，从而既保留了图像的空间特征信息又保留了图像的时序特征信息，五个特征的拼接正如该方法的训练数据一样（图1），可以看出五幅图像的拼接正常部分都是一样的，不一样的只是每一幅图像的缺口破损位置的变化。
5.根据权利2所述的一种基于神经网络的连续异常图像检测方法，其特征在于：第三个部分，使用循环神将网络学习时序信息，这里使用组合后的五个特征图像作为GRU的训练数据，搭建了GRU循环神经网络，并且使用了反向循环神经网络和正向循环神经网络的结合，有研究表明双向循环神经网络的效果要比单向的神经网络要好。
6.根据权利5所述的一种基于神经网络的连续异常图像检测方法，其特征在于：其中有五连续时序上的输入，将这五个输入进行特征的提取并降维后得到五个一维的特征图像然后经过特征的堆叠拼接，得到新的特征数据，最后将特征数据送入GRU学习特征的序列特征从而可以达到检测缺口破损图像在时序上变化情况，从而达到识别异常图像的目的。
CN201910128624.4A 2019-02-21 2019-02-21 一种基于神经网络的连续异常图像检测方法 Pending CN109993055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910128624.4A CN109993055A (zh) 2019-02-21 2019-02-21 一种基于神经网络的连续异常图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910128624.4A CN109993055A (zh) 2019-02-21 2019-02-21 一种基于神经网络的连续异常图像检测方法

Publications (1)

Publication Number Publication Date
CN109993055A true CN109993055A (zh) 2019-07-09

Family

ID=67130321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910128624.4A Pending CN109993055A (zh) 2019-02-21 2019-02-21 一种基于神经网络的连续异常图像检测方法

Country Status (1)

Country Link
CN (1) CN109993055A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651421A (zh) * 2020-09-04 2021-04-13 江苏濠汉信息技术有限公司 一种红外热成像输电线路防外破监测系统及其建模方法
CN116596870A (zh) * 2023-05-05 2023-08-15 辽宁工程技术大学 一种传送带疲劳程度检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022244A (zh) * 2016-05-16 2016-10-12 广东工业大学 基于递归神经网络建模的无监督人群异常监测及定位方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN108446630A (zh) * 2018-03-20 2018-08-24 平安科技（深圳）有限公司 机场跑道智能监控方法、应用服务器及计算机存储介质
CN108985376A (zh) * 2018-07-17 2018-12-11 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022244A (zh) * 2016-05-16 2016-10-12 广东工业大学 基于递归神经网络建模的无监督人群异常监测及定位方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN108446630A (zh) * 2018-03-20 2018-08-24 平安科技（深圳）有限公司 机场跑道智能监控方法、应用服务器及计算机存储介质
CN108985376A (zh) * 2018-07-17 2018-12-11 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN WANG ET.AL: "Learning Spatiotemporal Features With 3DCNN and ConvGRU for Video Anomaly Detection", 《PROCEEDINGS OF ICSP2018》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651421A (zh) * 2020-09-04 2021-04-13 江苏濠汉信息技术有限公司 一种红外热成像输电线路防外破监测系统及其建模方法
CN116596870A (zh) * 2023-05-05 2023-08-15 辽宁工程技术大学 一种传送带疲劳程度检测方法及装置

Similar Documents

Publication Publication Date Title
Lea et al. Temporal convolutional networks for action segmentation and detection
Najibi et al. Ssh: Single stage headless face detector
Wu et al. The application of deep learning in computer vision
Soo Object detection using Haar-cascade Classifier
Ashraf et al. Weapons detection for security and video surveillance using cnn and YOLO-v5s
CN103902966B (zh) 基于序列时空立方体特征的视频交互事件分析方法及装置
Yu et al. Railway obstacle detection algorithm using neural network
CN108229407A (zh) 一种视频分析中的行为检测方法与系统
CN104281853A (zh) 一种基于3d卷积神经网络的行为识别方法
CN106355162A (zh) 一种基于视频监控的入侵检测方法
CN110378233B (zh) 一种基于人群行为先验知识的双分支异常检测方法
Cheng et al. A self-constructing cascade classifier with AdaBoost and SVM for pedestriandetection
CN109993055A (zh) 一种基于神经网络的连续异常图像检测方法
Wang et al. Fire detection in infrared video surveillance based on convolutional neural network and SVM
CN109993122A (zh) 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法
CN111582092A (zh) 一种基于人体骨架的行人异常行为检测方法
Subaweh et al. Implementation of pixel based adaptive segmenter method for tracking and counting vehicles in visual surveillance
CN104616034B (zh) 一种烟雾检测方法
CN108764026A (zh) 一种基于时序检测单元预筛选的视频行为检测方法
CN110705413B (zh) 基于视线方向和lstm神经网络的情感预测方法及系统
Mukhopadhyay et al. FPGA deployable fire detection model for real-time video surveillance systems using convolutional neural networks
Mohammed et al. Smart surveillance system to monitor the committed violations during the pandemic
Tung et al. Camera tamper detection using codebook model for video surveillance
CN108491751A (zh) 一种基于简单动作的探索特权信息的复杂动作识别方法
Shankar et al. Intelligent video analytics (iva) and surveillance system using machine learning and neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709