CN112381066B - 乘梯异常行为识别方法、监测系统、计算机设备和存储介质 - Google Patents
乘梯异常行为识别方法、监测系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112381066B CN112381066B CN202011452295.8A CN202011452295A CN112381066B CN 112381066 B CN112381066 B CN 112381066B CN 202011452295 A CN202011452295 A CN 202011452295A CN 112381066 B CN112381066 B CN 112381066B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- behavior
- video data
- behaviors
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 230000006399 behavior Effects 0.000 claims abstract description 73
- 238000013528 artificial neural network Methods 0.000 claims abstract description 67
- 230000002159 abnormal effect Effects 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本申请涉及一种乘梯异常行为识别方法、监测系统、计算机设备和存储介质。所述乘梯异常行为识别方法包括：获取与乘客乘梯行为相关的实时视频数据，将实时视频数据进行预处理，得到与实时视频数据相关的行为特征数据，根据行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据异常行为识别结果输出相应的报警指令，其中，子深度神经网络具有多个，分别对不同的异常行为进行识别。采用本方法能够提高乘梯异常行为识别的效率以及准确度。
Description
技术领域
本申请涉及电梯安全技术领域，特别是涉及一种乘梯异常行为识别方法、监测系统、计算机设备和存储介质。
背景技术
自动扶梯以及电梯是现在人们生活场景中必不可少的传送工具，但是在乘坐过程中，经常会因为乘客的异常乘梯行为导致电梯事故，从而造成不必要的人员伤亡。
在现有技术中，通常在电梯轿厢内部或在扶梯上方位置设置摄像头实时进行视屏拍摄，然后再由值班人员进行监控或事后翻看监控记录。单凭借摄像头采集信息作为监控在功能使用上是比较单一的，另外也存在很多弊端，比如：需要监控人员通过肉眼实时监控，但由于人眼容易疲劳，会丢失很多信息，容易发生漏检的情况；采集到的数据多于事后的调查取证，无法实现实时报警功能，不能及时阻止异常事件的发生等。
然而，随着人工智能的快速发展，现有技术中也有运用人工智能通过视频数据对乘客异常行为进行识别，利用YOLOv3网络模型对实时视频流以每秒10帧的频率进行截取交由后台服务器与标注标样进行对比分析，从而得到危险乘梯行为的结果识别。但是该方案依托后台强大的GPU服务器实时进行算法分析、样本对比，导致在实际商业案例中费用高昂，无法大面积进行推广。
发明内容
基于此，有必要针对上述问题，提供一种能够至少解决其中一个问题的乘梯异常行为识别方法、监测系统、计算机设备和存储介质。
一种乘梯异常行为识别方法，包括：
获取与乘客乘梯行为相关的实时视频数据；
将所述实时视频数据进行预处理，得到与所述实时视频数据相关的行为特征数据；
根据所述行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据所述异常行为识别结果输出相应的报警指令；
其中，所述子深度神经网络具有多个，分别对不同的异常行为进行识别。
可选的，所述将所述实时视频数据进行预处理，得到与所述实时视频数据相关的行为特征数据包括：
将所述视频数据根据预设频率进行截取，得到多帧连续的视频图像；
根据各帧视频图像进行行为特征提取，分别得到与各帧视频图像对应的行为特征数据。
可选的，训练所述子深度神经网络包括：
获取与乘客乘梯行为相关的视频数据；
将所述视频数据进行预处理，得到与所述视频数据对应的训练特征数据；
根据所述训练特征数据对深度神经网络进行训练，得到所述训练特征数据对应的异常判定阈值；
计算目标判定阈值与异常判定阈值之间的实际偏差，并根据所述实际差异对所述深度神经网络中的参数进行调整；
直至所述实际偏差达到预期，完成训练得到训练后的深度神经网络，所述训练后的深度神经网络具有多个与各异常行为对应的子深度神经网络。
可选的，所述目标判定阈值根据对应的所述的视频数据进行异常行为标注后得到。
可选的，所述深度神经网络中包括OpenPose结构以及带空洞卷积的MobileNet；
其中，所述OpenPose具有7x7卷积层。
可选的，各所述异常行为依据乘梯类型分为直梯异常行为以及扶梯异常行为；
所述直梯异常行为包括：扒轿厢门、在轿厢内跳跃、长时间挡门、携带电动车；
所述扶梯异常行为包括：摔倒、逆行、大型物体滞留以及推婴儿车。
本申请还提供了一种乘梯异常行为监测系统，包括摄像装置、边缘计算网关以及警报装置；
所述摄像装置用于采集与电梯上乘客行为相关的实时视频数据并发送至所述边缘计算网关；
所述边缘计算网关接收到所述实时视频数据根据上述的乘梯异常行为识别方法进行处理后，输出相应的报警指令；
所述警报装置用于根据所述报警指令进行报警。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取与乘客乘梯行为相关的实时视频数据；
将所述实时视频数据进行预处理，得到与所述实时视频数据相关的行为特征数据；
根据所述行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据所述异常行为识别结果输出相应的报警指令；
其中，所述子深度神经网络具有多个，分别对不同的异常行为进行识别。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取与乘客乘梯行为相关的实时视频数据；
将所述实时视频数据进行预处理，得到与所述实时视频数据相关的行为特征数据；
根据所述行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据所述异常行为识别结果输出相应的报警指令；
其中，所述子深度神经网络具有多个，分别对不同的异常行为进行识别。
上述乘梯异常行为识别方法、监测系统、计算机设备和存储介质，通过先对实时视频数据采用预处理的方式，预先判断乘坐直梯或者扶梯的乘客是否出现异常行为以及是某一类异常行为后，再将处理后的视频数据输入相应的子深度神经网络中进行最终识别。这样将视频数据进行分类识别的方式大大降低了运算难度，提高了识别的准确度。
附图说明
图1为一个实施例中乘梯异常行为识别方法的流程示意图；
图2为一个实施例中训练子深度神经网络方法的流程示意图；
图3为一个实施例中乘梯异常行为识别装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，提供了一种乘梯异常行为识别方法，该方法包括：
步骤S102，获取与乘客乘梯行为相关的实时视频数据；
步骤S104，将实时视频数据进行预处理，得到与实时视频数据相关的行为特征数据；
步骤S106，根据行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据所述异常行为识别结果输出相应的报警指令；
其中，子深度神经网络具有多个，分别对不同的异常行为进行识别。
在步骤S102中，实时视频数据由设置在电梯轿厢内的摄像装置采集得到。在使用扶梯的场景中，可通过在扶梯上方位置设置摄像装置采集实时视频数据。通过利用摄像装置对乘客进行实时监控，以确保当有乘梯异常行为发生时可立马捕捉到相关视频数据。
其中，乘梯异常行为依据乘梯类型分为直梯异常行为以及扶梯异常行为。在乘坐直梯时，异常行为包括：扒轿厢门、在轿厢内跳跃、长时间挡门、携带电动车。在乘坐扶梯时，异常行为包括：摔倒、逆行、大型物体滞留以及推婴儿车，上述异常行为均有可能导致电梯事故的发生。
为了提高异常行为识别的精准度，以及减少后续的运算量，对实时视频数据预先进行处理，即在步骤S104中，将获取的实时视频数据进行预处理，得到行为特征数据的过程包括：
将视频数据根据预设频率进行截取，得到多帧连续的视频图像；
根据各帧视频图像进行行为特征提取，分别得到与各帧视频图像对应的行为特征数据。
摄像装置一秒时间内会采集到连续的多张照片，但并不需要对每张照片都进行特征提取，在本实施例中，以一秒7-9张视频图像的频率对实时视频数据进行截取。这样可以通过截取时序连续的多张图像获取图像中乘客连续的动作，以便于对摔倒、逆行、在轿厢内跳跃以及长时间挡门这样的持续性异常行为动作进行识别。
在获取到实时视频图像之后，分别对每一帧图像中的所有乘客，提取人体骨骼关键点。通过分析处理，前后帧之间每个关键点的坐标变化，可以获取到乘客的动作信息，进而判断是否发生异常行为。除了将乘客的行为特征进行提取以外，在对乘客携带电动车进轿厢以及推着婴儿车上扶梯等异常行为，可通过物体轮廓提取的方法，进行识别。
在步骤S106中，将上步骤中提取的行为特征数据与预设的异常行为标准进行逐一对比进行初步的判断。其中，可以根据电梯的种类或者应用的环境将可能发生的各类异常行为标准进行提前设置。
在本实施例中，在异常行为识别和物体检测时，将各类异常行为的图片，作为样本加入训练集，搭建深度学习神经网络模型，进行大量训练之后可以得到一个标准模型。利用该模型，进行推理判断是否有异常行为的发生，或者电动车、婴儿车等违禁物体的存在。
通过上述步骤，对特征行为数据进行过滤，将乘梯正常行为滤除后，再将疑似是异常行为特征行为数据进行初步判断，确定属于某一类异常行为后，将该异常特征数据输入相应的子深度神经网络。
在本实施例中，设置有多个分别一一对应各类异常行为且具有识别能力的子深度神经网络。将经过初步判断的行为特征数据再通过对应的子深度神经网络进行异常识别，可得到准确度高的识别结果。这样分类别进行异常识别的方式一方面提高的识别的准确度，一方面降低了对运算能力的要求。
得到异常行为识别结果之后，再根据异常行为识别结果输出相应的报警指令。若经过子深度神经网络的识别后，异常行为识别结果为存在异常行为的发生，随即发送报警指令进行报警。报警指令可直接发送至设置在电梯上的语音装置进行语音提示，或同步发送至监控室，使得监控人员可及时制止乘梯异常行为以避免造成人员伤亡。
在其中一实施例中，还可针对电梯轿厢内或扶梯上乘客超载的情况设置相对应的子深度神经网络进行识别，当乘客数量超过预设的数量时，可以及时进行警告。
在其中一实施例中，将每次子深度神经网络输出的异常行为识别结果进行记录，以日志的方式进行存储。一段时间后，可将日志内的各识别结果与实际情况进行核实，将识别结果与实际情况不同的对应实时视频数据对子深度神经网络进行训练，进一步的提高各子深度神经网络的识别准确性。
如图2所示，本申请还提供了一种训练子深度神经网络的方法，包括：
步骤S202，获取与乘客乘梯行为相关的视频数据；
步骤S204，将视频数据进行预处理，得到与视频数据对应的训练特征数据；
步骤S206，根据训练特征数据对深度神经网络进行训练，得到训练特征数据对应的异常判定阈值；
步骤S208，计算目标判定阈值与异常判定阈值之间的实际偏差，并根据实际差异对深度神经网络中的参数进行调整；
步骤S210，直至实际偏差达到预期，完成训练得到训练后的深度神经网络，训练后的深度神经网络具有多个与各异常行为对应的子深度神经网络。
在本实施例中，利用大量的与乘客乘梯行为相关的视频数据对深度神经网络进行训练直至该深度神经网络具有识别能力。在步骤S202中，获取的视频数据可由多台摄像装置采集得到。
在步骤S204中，对视频数据进行预处理，得到训练特征数据的过程与步骤S104相同，故不再进行赘述。
其中，目标判定阈值根据对应的的视频数据进行异常行为标注后得到。
步骤S206至S208是一个循环训练的过程，并且采用监督学习的方式。将大量的训练特征数据作为深度神经网络的输入，将对应的训练特征数据上标记上已知结果后作为输出进行自主学习,通过不断调整深度神经网络中的参数对训练特征数据进行拟合，并且经过多次拟合得出可靠的异常判定阈值，此时的异常判断阈值接近目标判断阈值，说明深度神经网络以及具备识别能力完成学习训练。
完成训练后，还可将新的视频数据输入深度神经网络，通过对输出异常判定阈值是否达到目标判定阈值，从而判断深度神经网络对未知视频数据样本是否提供较为准确的预测能力，以确保深度神经网络进行异常行为识别的准确性。
在本实施例中，在构建深度神经网络时，深度神经网络内部具有多个独立模型分别对应各类异常行为的识别。在训练的过程中，视频数据中包含有不同的异常行为同时对深度神经网络进行训练。在完成训练后，对深度神经网络中的各独立模型进行单一的导出，使其成为识别不同异常行为的多个子深度神经网络。这样在预判断后，可以进行针对某一异常行为进行识别，大大减少的运算量，且提高了准确性。
在本实施例中，深度神经网络对现有模型内部结构进行改进，将OpenPose运用到人体姿态检测和行为识别中，OpenPose包含了7x7卷积层，对OpenPose微调之后，使用带空洞卷积的MobileNet结构代替原来的VGG结构，并将两个Branch合并成一个，输出时在分叉成两个输出。
上述乘梯异常行为识别方法中，在进行乘梯异常行为识别之前，对实时视频数据进行行为特征提取以及欲判断的步骤一方面提高了识别的准确性，一方面为后续的识别步骤分担了一部分运算量。并且在进行识别时，由对应的子深度神经网络进行单独的识别，进一步减少了运算量，提高了识别效率。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，本申请还提供了一种乘梯异常行为监测系统，包括摄像装置、边缘计算网关以及警报装置。
摄像装置用于采集与电梯上乘客行为相关的实时视频数据并发送至所述边缘计算网关。
边缘计算网关接收到所述实时视频数据根据上述的乘梯异常行为识别方法进行处理后，输出相应的报警指令。
警报装置用于根据所述报警指令进行报警。
通常，对视频数据进行分析均依托强大的后台GPU进行算法分析、样本对比等，但是实际运用起来费用较高，无法大面积进行推广。
为了解决上述问题，本申请中基于深度神经网络将需要后端GPU算法处理的庞大算法模型拆分成多个子深度神经网络，并兼容在一个边缘计算网关中，由处于前端的边缘计算网关对视频数据进行特征提取、预判断以及异常行为识别，在降低成本的同时，提高了识别精准度以及效率。
在本实施例中，警报装置可为设置在电梯上的语音提示装置，或设置于监控室的服务器等。
在一个实施例中，如图3所示，提供了一种乘梯异常行为识别装置，包括：数据获取模块302、数据预处理模块304和异常行为识别模块306，其中：
数据获取模块302，用于获取与乘客乘梯行为相关的实时视频数据；
数据预处理模块304，用于将实时视频数据进行预处理，得到与实时视频数据相关的行为特征数据；
异常行为识别模块306，用于根据行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据异常行为识别结果输出相应的报警指令；
其中，子深度神经网络具有多个，分别对不同的异常行为进行识别。
关于乘梯异常行为识别装置的具体限定可以参见上文中对于乘梯异常行为识别方法的限定，在此不再赘述。上述乘梯异常行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各类异常行为标准数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种乘梯异常行为识别方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取与乘客乘梯行为相关的实时视频数据；
将所述实时视频数据进行预处理，得到与实时视频数据相关的行为特征数据；
根据行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据异常行为识别结果输出相应的报警指令；
其中，子深度神经网络具有多个，分别对不同的异常行为进行识别。
在本实施例中，计算机设备为上述监测系统中的边缘计算网关。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取与乘客乘梯行为相关的实时视频数据；
将实时视频数据进行预处理，得到与实时视频数据相关的行为特征数据；
根据行为特征数据以及预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据异常行为识别结果输出相应的报警指令；
其中，子深度神经网络具有多个，分别对不同的异常行为进行识别。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种乘梯异常行为识别方法，其特征在于，包括：
获取与乘客乘梯行为相关的实时视频数据；
将所述实时视频数据进行预处理，得到与所述实时视频数据相关的行为特征数据；
根据所述行为特征数据与预设的各类异常行为标准进行预判断，将预判断为异常的行为特征数据输入对应识别该异常行为的训练后的子深度神经网络，得到异常行为识别结果，根据异常行为识别结果输出相应的报警指令；
其中，所述子深度神经网络具有多个，分别对不同的异常行为进行识别；
训练所述子深度神经网络包括：
获取与乘客乘梯行为相关的视频数据；
将所述视频数据进行预处理，得到与所述视频数据对应的训练特征数据；
根据所述训练特征数据对深度神经网络进行训练，得到所述训练特征数据对应的异常判定阈值；
计算目标判定阈值与异常判定阈值之间的实际偏差，并根据所述实际差异对所述深度神经网络中的参数进行调整；
直至所述实际偏差达到预期，完成训练得到训练后的深度神经网络，对所述训练后的深度神经网络中的各独立模型进行单一的导出，使其成为识别不同异常行为的多个子深度神经网络，所述深度神经网络中包括OpenPose结构以及带空洞卷积的MobileNet；其中，所述OpenPose具有7x7卷积层。
2.根据权利要求1所述的乘梯异常行为识别方法，其特征在于，将所述实时视频数据进行预处理，得到与所述实时视频数据相关的行为特征数据包括：
将所述视频数据根据预设频率进行截取，得到多帧连续的视频图像；
根据各帧视频图像进行行为特征提取，分别得到与各帧视频图像对应的行为特征数据。
3.根据权利要求1所述的乘梯异常行为识别方法，其特征在于，所述目标判定阈值根据对应的所述的视频数据进行异常行为标注后得到。
4.根据权利要求1所述的乘梯异常行为识别方法，其特征在于，各所述异常行为依据乘梯类型分为直梯异常行为以及扶梯异常行为；
所述直梯异常行为包括：扒轿厢门、在轿厢内跳跃、长时间挡门、携带电动车；
所述扶梯异常行为包括：摔倒、逆行、大型物体滞留以及推婴儿车。
5.一种乘梯异常行为监测系统，其特征在于，包括摄像装置、边缘计算网关以及警报装置；
所述摄像装置用于采集与电梯上乘客行为相关的实时视频数据并发送至所述边缘计算网关；
所述边缘计算网关接收到所述实时视频数据根据权利要求1至4任一项所述的乘梯异常行为识别方法进行处理后，输出相应的报警指令；
所述警报装置用于根据所述报警指令进行报警。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述乘梯异常行为识别方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的乘梯异常行为识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011452295.8A CN112381066B (zh) | 2020-12-10 | 2020-12-10 | 乘梯异常行为识别方法、监测系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011452295.8A CN112381066B (zh) | 2020-12-10 | 2020-12-10 | 乘梯异常行为识别方法、监测系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381066A CN112381066A (zh) | 2021-02-19 |
| CN112381066B true CN112381066B (zh) | 2023-04-18 |
Family
ID=74590973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011452295.8A Active CN112381066B (zh) | 2020-12-10 | 2020-12-10 | 乘梯异常行为识别方法、监测系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381066B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926773A (zh) * | 2021-02-23 | 2021-06-08 | 深圳市北斗智能科技有限公司 | 乘车安全预警方法、装置、电子设备及存储介质 |
| CN113361351A (zh) * | 2021-05-27 | 2021-09-07 | 湖南信达通信息技术有限公司 | 一种基于图像识别的逆行判断方法及系统 |
| CN113479732B (zh) * | 2021-07-01 | 2023-04-18 | 成都新潮传媒集团有限公司 | 电梯控制方法、装置及存储介质 |
| CN113609937B (zh) * | 2021-07-24 | 2023-12-22 | 全图通位置网络有限公司 | 一种城市轨道交通的应急处理方法、系统及存储介质 |
| CN114153917A (zh) * | 2021-11-08 | 2022-03-08 | 盟拓软件(苏州)有限公司 | 基于区块链的电梯监控系统、方法和计算机设备 |
| CN114429616A (zh) * | 2022-01-26 | 2022-05-03 | 中煤科工集团重庆智慧城市科技研究院有限公司 | 基于计算机视觉的箱体异常状态识别方法 |
| CN114701934B (zh) * | 2022-04-29 | 2024-02-23 | 菱王电梯有限公司 | 电梯的安防控制方法、装置、系统以及云平台、存储介质 |
| CN114940424B (zh) * | 2022-05-30 | 2023-10-03 | 重庆紫光华山智安科技有限公司 | 一种电梯检测方法、系统、计算机设备及可读介质 |
| CN114973684B (zh) * | 2022-07-25 | 2022-10-14 | 深圳联和智慧科技有限公司 | 一种建筑工地定点监控方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107612938A (zh) * | 2017-10-27 | 2018-01-19 | 朱秋华 | 一种网络用户异常行为检测方法、装置、设备及存储介质 |
| CN108197575A (zh) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | 一种基于目标检测和骨点检测的异常行为识别方法及装置 |
| CN109271886A (zh) * | 2018-08-29 | 2019-01-25 | 武汉大学 | 一种教育考试监控视频的人体行为分析方法及系统 |
| CN110414313A (zh) * | 2019-06-06 | 2019-11-05 | 平安科技（深圳）有限公司 | 异常行为告警方法、装置、服务器及存储介质 |
| CN110942028A (zh) * | 2019-08-13 | 2020-03-31 | 树根互联技术有限公司 | 异常行为检测方法、装置及电子设备 |
| CN111517204A (zh) * | 2020-05-08 | 2020-08-11 | 广东省特种设备检测研究院佛山检测院 | 一种自动扶梯安全监控方法、装置、设备及可读存储介质 |
| CN111563396A (zh) * | 2019-01-25 | 2020-08-21 | 北京嘀嘀无限科技发展有限公司 | 在线识别异常行为的方法、装置、电子设备及可读存储介质 |
| CN111753594A (zh) * | 2019-03-29 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 危险识别方法、装置及系统 |
| CN111914661A (zh) * | 2020-07-06 | 2020-11-10 | 广东技术师范大学 | 异常行为识别方法、目标异常识别方法、设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9355306B2 (en) * | 2013-09-27 | 2016-05-31 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for recognition of abnormal behavior |
| CN107662869B (zh) * | 2016-07-29 | 2021-06-29 | 奥的斯电梯公司 | 用于乘客运送装置的大数据分析处理系统和方法 |
| US11501572B2 (en) * | 2018-03-26 | 2022-11-15 | Nvidia Corporation | Object behavior anomaly detection using neural networks |
| CN109522793B (zh) * | 2018-10-10 | 2021-07-23 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
| CN110533011B (zh) * | 2019-10-12 | 2022-05-24 | 创新奇智(青岛)科技有限公司 | 发放传单行为的检测方法及检测系统 |
| CN110782639A (zh) * | 2019-10-28 | 2020-02-11 | 深圳奇迹智慧网络有限公司 | 异常行为告警方法、装置、系统和存储介质 |
| CN111242004A (zh) * | 2020-01-10 | 2020-06-05 | 厦门瑞为信息技术有限公司 | 一种基于电梯监控数据处理的自动告警方法及系统 |
| CN111666818B (zh) * | 2020-05-09 | 2023-06-16 | 大连理工大学 | 一种驾驶员异常姿态检测方法 |
-
2020
- 2020-12-10 CN CN202011452295.8A patent/CN112381066B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107612938A (zh) * | 2017-10-27 | 2018-01-19 | 朱秋华 | 一种网络用户异常行为检测方法、装置、设备及存储介质 |
| CN108197575A (zh) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | 一种基于目标检测和骨点检测的异常行为识别方法及装置 |
| CN109271886A (zh) * | 2018-08-29 | 2019-01-25 | 武汉大学 | 一种教育考试监控视频的人体行为分析方法及系统 |
| CN111563396A (zh) * | 2019-01-25 | 2020-08-21 | 北京嘀嘀无限科技发展有限公司 | 在线识别异常行为的方法、装置、电子设备及可读存储介质 |
| CN111753594A (zh) * | 2019-03-29 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 危险识别方法、装置及系统 |
| CN110414313A (zh) * | 2019-06-06 | 2019-11-05 | 平安科技（深圳）有限公司 | 异常行为告警方法、装置、服务器及存储介质 |
| CN110942028A (zh) * | 2019-08-13 | 2020-03-31 | 树根互联技术有限公司 | 异常行为检测方法、装置及电子设备 |
| CN111517204A (zh) * | 2020-05-08 | 2020-08-11 | 广东省特种设备检测研究院佛山检测院 | 一种自动扶梯安全监控方法、装置、设备及可读存储介质 |
| CN111914661A (zh) * | 2020-07-06 | 2020-11-10 | 广东技术师范大学 | 异常行为识别方法、目标异常识别方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381066A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381066B (zh) | 乘梯异常行为识别方法、监测系统、计算机设备和存储介质 | |
| CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
| CN111241938A (zh) | 基于图像校验的人脸识别方法、装置和计算机设备 | |
| CN111191507A (zh) | 智慧社区的安全预警分析方法及系统 | |
| CN111652185A (zh) | 一种基于违章行为识别的安全施工方法、系统、装置及存储介质 | |
| CN112487913A (zh) | 一种基于神经网络的标注方法、装置及电子设备 | |
| CN111675059A (zh) | 基于人脸识别的电梯控制方法、装置和计算机设备 | |
| CN111985340A (zh) | 基于神经网络模型的人脸识别方法、装置和计算机设备 | |
| CN114436087B (zh) | 基于深度学习的电梯乘客扒门检测方法及系统 | |
| CN113673495B (zh) | 一种基于神经网络的智慧安防方法、系统和可读存储介质 | |
| CN115620471A (zh) | 一种基于大数据筛查的图像识别安防系统 | |
| CN116758493B (zh) | 基于图像处理的隧道施工监测方法、装置及可读存储介质 | |
| CN111908288A (zh) | 一种基于TensorFlow的电梯安全系统及方法 | |
| KR102367584B1 (ko) | 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템 | |
| CN110717456A (zh) | 对象监控方法和装置、系统、电子设备、存储介质 | |
| CN113989285B (zh) | 基于图像的皮带偏移监测方法、装置、设备及存储介质 | |
| US20200160500A1 (en) | Prediction device, prediction method, and storage medium | |
| CN114495015A (zh) | 人体姿态检测方法和装置 | |
| CN114120175A (zh) | 基于计算机视觉的输煤皮带异物识别方法 | |
| CN113920471A (zh) | 生产废物的远程监控方法、装置、计算机设备及存储介质 | |
| CN111652201B (zh) | 基于深度视频事件补全的视频数据异常识别方法和装置 | |
| KR101203050B1 (ko) | 베르누이혼합모델을 이용한 영상의 배경모델링장치 및 방법 | |
| CN112435240B (zh) | 一种面向工人违规使用手机的深度视觉手机检测系统 | |
| CN115810218A (zh) | 基于机器视觉和目标检测的人员异常行为检测方法及系统 | |
| CN110458114B (zh) | 一种人数确定方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Identification method, monitoring system, computer equipment, and storage medium for abnormal behavior during elevator rides Granted publication date: 20230418 Pledgee: Zhejiang Commercial Bank Co.,Ltd. Hangzhou Linping Branch Pledgor: HANGZHOU XO-LIFT Co.,Ltd. Registration number: Y2024980001764 |