CN109993122A - 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法 - Google Patents

一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法 Download PDF

Info

Publication number
CN109993122A
CN109993122A CN201910261083.2A CN201910261083A CN109993122A CN 109993122 A CN109993122 A CN 109993122A CN 201910261083 A CN201910261083 A CN 201910261083A CN 109993122 A CN109993122 A CN 109993122A
Authority
CN
China
Prior art keywords
staircase
model
pedestrian
res
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910261083.2A
Other languages
English (en)
Inventor
庞善臣
乔思波
李铮
尹文静
丁桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201910261083.2A priority Critical patent/CN109993122A/zh
Publication of CN109993122A publication Critical patent/CN109993122A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法。本发明利用传统目标检测算法的思路，对乘坐扶梯的行人进行实时检测。同时，判断目标对象在乘坐扶梯时的行为是否存在异常。如果存在模型所能识别的危险动作，则会发出报警，减少危险事件的发生。本发明在设计深度卷积神经网络模型时，加入了BatchNormalization和ResNet的技巧，通过不断累加组合设计的“CBR”、“Res_unit”和“Res_n_block”3种网络模块，加深网络的层次，提取更加有效细致的图片信息，更好的理解图片数据。最后，通过两个跳跃连接得到大小不一的特征图，这样能够保证检测到不同大小的实际物体，提高模型的准确率。本发明提供的技术方案可以对行人乘坐扶梯异常行为达到精确识别判断，并且具有识别效率高、处理速度快的特点。

Description

一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法
技术领域
本发明涉及目标检测领域，特别涉及一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法。
背景技术
目标检测算法作为图像理解和图像识别的基石，是解决图像分割、场景识别、目标跟踪等高级视觉任务的基础。同时，在人工智能和信息技术等多个领域也具有广泛的应用，包括机器人视觉、无人机监控、安全、自动驾驶、人机交互、基于内容的图像检索、智能视频监控和增强现实等领域。目前，目标检测算法已经在逐步的发展，实时检测的准确率稳步提升。
近年来，由于各界的支持，深度学习得到了快速的发展。其中，卷积神经网络作为深度学习的代表，在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果。而卷积神经网络实现了一种端到端的图像处理模式，减少了人工对于图像的干预，更能细致的理解图像的特征。利用卷积神经网络作为目标检测算法的主体，也是当今比较流行的一种方式。目前，利用卷积神经网络建立的比较成熟的目标检测算法主要有YOLO、Faster R-CNN、R-FCN和SSD等，在实时目标检测领域都取得了很好的效果。
发明内容
为了减少频现的行人乘扶梯出现的各种不安全事件，本发明提出了一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，对正在乘扶梯中的行人存在的异常行为进行实时检测并报警。
本发明所采用的技术方案如下：
一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，包括以下部分：
A、采集行人乘坐扶梯数据集，并对数据集进行预处理；
B、设计“CBR”、“Res_unit”和“Res_n_block”等三个主要模块，利用这三个模块构建深度卷积神经网络模型，对行人乘扶梯行为进行识别检测，并设计“Warning”报警模块，对检测出的异常行为进行报警提醒；
C、构建已设计的深度卷积神经网络异常行为检测模型，并利用采集的数据集进行训练、测试，验证模型的可信性。
部分A中，首先，采集行人乘坐扶梯时的行为图片数据，图片类型包括正常行为图片数据和异常行为图片数据。其中，正常行为图片数据包括：行人在乘坐扶梯时，将左手或者右手搭在扶梯上，确保身体呈现稳定状态；异常行为包括：行人乘坐扶梯时，左手或者右手都不搭扶扶梯，或者坐在扶梯护栏上，或者在手扶电梯中跑步等行为。然后，对采集的数据集进行分类、整理。目前将图片中出现的行为分为4类，即：normal，dangerous_1，dangerous_2,dangerous_3。最后，对图片中的行为构建标签数据集。其中，正常行为的标签为normal，左手或者右手都不搭扶在扶梯上的标签是dangerous_1，坐在扶梯护栏上的标签为dangerous_2，在扶梯中跑步的标签为dangerous_3。
部分B中，“CBR”是指由一次卷积操作(Convolution)、一次标准化处理(BatchNormalization)和一次激活处理(Relu)组成的基本模块。“Res_unit”是指首先将该单元的初始输入值复制一份到临时变量skip_temp，然后将输入值经过两次“CBR”模块处理，最后将其输出结果与临时变量skip_temp的值相加，得到该单元的最终输出值。“Res_n_block”是指首先将该模块的输入进行一次填充处理，然后，将处理的结果输入到“CBR”模块中，最后经过n个“Res_unit”单元，得到该模块的最终结果。“Warning”模块是指根据检测到的结果进行不同程度的报警处理。整个深度卷积神经网络的行人乘扶梯异常行为检测模型是由“CBR”、“Res_unit”和“Res_n_block”组合得到的。该模型会对输入图片进行细致的特征提取，检测不同大小的目标物体，输出两种不同大小的feature_map。最终，结合两种feature_map，对检测出存在异常行为的数据，经过“Warning”模块发出不同程度的报警，对检测出正常行为的数据，不做处理。
部分C中，将采集的整个数据集按照7:2:1的比例分为训练集、验证集和测试集。训练集对设计的模型进行训练，验证集对初始训练好的模型微调超参数，测试集对已调整好的模型进行测试，得到模型在测试集上的准确度。
本发明提供的技术方案带来的有益效果是：
本发明通过对设计的3种卷积模块不同方式的组合，并在模块中采用不同规模的超参数，加深了整个模型的层次，避免出现梯度消失或梯度爆炸问题。利用得到的两种不同大小的特征图，能够有效检测到大小不一的实际目标物，提高了模型检测的准确率，加快了模型检测的速度。在模型检测结果之后，加入了报警模块，提醒乘坐扶梯的行人注意危险，减少不安全事件的发生，使得整个模型对于社会安全的意义重大。
附图说明
为了更清楚地说明本发明的技术方案，下面将对发明内容中所需要使用的附图作简要地介绍。
图1为本发明的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的“CBR”详解图；
图2为本发明的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的“Res_unit”详解图；
图3为本发明的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的“Res_n_block”详解图；
图4为本发明的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施方式作进一步地详细描述。
实施例一
对于深度卷积神经网络模型具体设计细节包括以下内容：对于feature_map_1，首先，将初始输入图片经过一次“CBR”模块处理，对图像做初步的预处理工作。然后，依次经过Res_1_block、Res_2_block、Res_8_block、Res_8_block模块处理，此时，复制一份输出值，并命名为skip_1。另外，将该输出值依次经过Res_4_block、5次“CBR”模块处理，将此时的输出值复制一份，并命名为skip_2。最后，将上一步的输出值依次经过一次“CBR”、一次卷积操作，得到feature_map_1。对于feature_map_2，首先，获取上述操作的保存值，即skip_1、skip_2。对skip_2经过一次“CBR”，并进行上采样，使之与skip_1的大小相匹配，然后经过一次concat连接处理，将两者沿深度通道合并。最后，将合并值经过6次“CBR”、一次卷积操作处理，得到feature_map_2。综合feature_map_1和feature_map_2，对于检测出异常行为的经过“warning”模块处理，发出不同程度的危险信号，对于正常行为，不作处理。

Claims (4)

1.一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，包括以下部分：
A、采集行人乘坐扶梯数据集，并对数据集进行预处理；
B、设计“CBR”、“Res_unit”和“Res_n_block”等三个主要模块，利用这三个模块构建深度卷积神经网络模型，对行人乘扶梯行为进行识别检测，并设计“Warning”报警模块，对检测出的异常行为进行报警提醒；
C、建立已设计的异常行为检测模型，并利用采集的数据集进行训练、测试，验证模型的可信性。
2.根据权利要求1所述的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，其特征在于，所述的部分A中，采集行人乘坐扶梯时的行为图片数据，图片类型包括正常行为图片数据和异常行为图片数据。其中，正常行为图片数据包括：行人在乘坐扶梯时，将左手或者右手搭在扶梯上，确保身体呈现稳定状态；异常行为图片数据包括：行人乘坐扶梯时，左手或者右手都不搭扶扶梯，或者坐在扶梯护栏上，或者在手扶电梯中跑步等行为。然后，对采集的数据集进行预处理。目前将图片中出现的行为分为4类，即：normal，dangerous_1，dangerous_2,dangerous_3。对图片中的行为构建标签数据集，其中，正常行为的标签为normal，左手或者右手都不搭扶在扶梯上的标签是dangerous_1，坐在扶梯护栏上的标签为dangerous_2，在扶梯中跑步的标签为dangerous_3。
3.根据权利要求1所述的一种基于脉冲神经膜系统的快速并行细化算法，其特征在于，所述的部分B中，“CBR”是指由一次卷积操作(Convolution)、一次标准化处理(BatchNormalization)和一次激活处理(Relu)组成的基本模块。“Res_unit”是指首先保存一次该单元的初始输入值，然后将输入值经过两次“CBR”模块处理，最后将其输出结果与保存的初始输入值相加，得到该单元的最终输出值。“Res_n_block”是指首先将该模块的输入进行一次填充处理，然后，将处理的结果输入到“CBR”模块中，最后经过n个“Res_unit”单元，得到该模块的最终结果。“Warning”模块是指根据检测到的结果进行不同程度的报警处理。整个深度卷积神经网络的行人乘扶梯异常行为检测模型是由“CBR”、“Res_unit”和“Res_n_block”组合得到的。该模型会对输入图片进行细致的特征提取，输出两种不同大小的feature_map，最终，结合两种feature_map，对检测出存在异常行为的数据，经过“Warning”模块发出不同程度的报警，对检测出正常行为的数据，不做处理。
4.根据权利要求1所述的一种基于脉冲神经膜系统的快速并行细化算法，其特征在于，所述的部分C中，将采集的整个数据集按照7:2:1的比例分为训练集、验证集和测试集。训练集对设计的模型进行训练，验证集对初始训练好的模型微调超参数，测试集对已调整好的模型进行测试，得到模型在测试集上的准确度。
CN201910261083.2A 2019-04-02 2019-04-02 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法 Pending CN109993122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910261083.2A CN109993122A (zh) 2019-04-02 2019-04-02 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910261083.2A CN109993122A (zh) 2019-04-02 2019-04-02 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法

Publications (1)

Publication Number Publication Date
CN109993122A true CN109993122A (zh) 2019-07-09

Family

ID=67132148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910261083.2A Pending CN109993122A (zh) 2019-04-02 2019-04-02 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法

Country Status (1)

Country Link
CN (1) CN109993122A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348381A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于深度学习的视频行为识别方法
CN110634557A (zh) * 2019-08-23 2019-12-31 广东省智能制造研究所 一种基于深度神经网络的医护资源辅助调配方法及系统
CN111814669A (zh) * 2020-07-08 2020-10-23 中国工商银行股份有限公司 一种银行网点异常行为的识别方法及装置
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112347939A (zh) * 2020-11-09 2021-02-09 浙江新再灵科技股份有限公司 基于多维特征的乘梯不文明按键识别方法
CN112950638A (zh) * 2019-12-10 2021-06-11 深圳华大生命科学研究院 图像分割方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109492575A (zh) * 2018-11-06 2019-03-19 东北大学 一种基于YOLOv3的扶梯安全监测方法
CN109543632A (zh) * 2018-11-28 2019-03-29 太原理工大学 一种基于浅层特征融合引导的深层网络行人检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109492575A (zh) * 2018-11-06 2019-03-19 东北大学 一种基于YOLOv3的扶梯安全监测方法
CN109543632A (zh) * 2018-11-28 2019-03-29 太原理工大学 一种基于浅层特征融合引导的深层网络行人检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周忠义等: "基于多路特征融合和深度学习的露霜图像分类", 《计算机应用与软件》 *
肥羊汤: "YOLOV3", 《CSDN》 *
陈聪等: "一种改进的卷积神经网络行人识别方法", 《应用科技》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348381A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于深度学习的视频行为识别方法
CN110634557A (zh) * 2019-08-23 2019-12-31 广东省智能制造研究所 一种基于深度神经网络的医护资源辅助调配方法及系统
CN110634557B (zh) * 2019-08-23 2022-08-23 广东省智能制造研究所 一种基于深度神经网络的医护资源辅助调配方法及系统
CN112950638A (zh) * 2019-12-10 2021-06-11 深圳华大生命科学研究院 图像分割方法、装置、电子设备及计算机可读存储介质
CN112950638B (zh) * 2019-12-10 2023-12-29 深圳华大生命科学研究院 图像分割方法、装置、电子设备及计算机可读存储介质
CN111814669A (zh) * 2020-07-08 2020-10-23 中国工商银行股份有限公司 一种银行网点异常行为的识别方法及装置
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112347939A (zh) * 2020-11-09 2021-02-09 浙江新再灵科技股份有限公司 基于多维特征的乘梯不文明按键识别方法

Similar Documents

Publication Publication Date Title
CN109993122A (zh) 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法
CN108520080B (zh) 船舶柴油发电机故障预测与健康状态在线评估系统及方法
CN103761748B (zh) 异常行为检测方法和装置
CN103839065B (zh) 人群动态聚集特征提取方法
CN102945554B (zh) 基于学习和加速鲁棒surf特征的目标跟踪方法
CN108960065A (zh) 一种基于视觉的驾驶行为检测方法
CN102143354B (zh) 基于视频图像处理的输电导线舞动识别计算方法
CN105320966A (zh) 一种车辆行驶状态识别方法及装置
CN109034134A (zh) 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN106650647A (zh) 基于传统算法和深度学习算法级联的车辆检测方法及系统
CN116012762A (zh) 一种针对电力设备的交通路口视频影像分析方法及系统
Liu et al. Improved YOLOX-S abnormal condition detection for power transmission line corridors
CN116486240A (zh) 图像识别算法在输电线路无人机智能巡检方法上的应用
CN110705693A (zh) 一种无人机异常行为识别模块及其识别方法
CN112633262B (zh) 通道监测方法、装置、电子设备及介质
CN112052829B (zh) 一种基于深度学习的飞行员行为监控方法
CN105741503A (zh) 一种现有监控设备下的停车场实时预警方法
CN116862867A (zh) 基于改进AnoGAN的小样本变电站设备视觉缺陷检测方法及系统
CN106873050A (zh) 一种高速铁路地震预警系统检测评价方法
CN109766780A (zh) 一种基于深度学习的船舶烟雾排放在线检测和追踪方法
CN115049875A (zh) 一种基于深度学习的变电站中佩戴绝缘手套的检测方法
Ni et al. A proposed license plate classification method based on convolutional neural network
Wei et al. Distracted driver behavior detection based-on an improved yolox framework
CN114913481B (zh) 一种基于图像识别的加油站或充电站异常入侵检测方法
CN104168473B (zh) 一种视频图像的横波干扰的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709