CN111046832A - 基于图像识别的逆行判断方法、装置、设备和存储介质 - Google Patents

基于图像识别的逆行判断方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111046832A
CN111046832A CN201911343549.XA CN201911343549A CN111046832A CN 111046832 A CN111046832 A CN 111046832A CN 201911343549 A CN201911343549 A CN 201911343549A CN 111046832 A CN111046832 A CN 111046832A
Authority
CN
China
Prior art keywords
layer
head
twenty
active layer
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911343549.XA
Other languages
English (en)
Other versions
CN111046832B (zh
Inventor
毛宇丰
湛维昭
鲍淑红
张少文
陈朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Metro Design and Research Institute Co Ltd
Guangzhou Xinke Jiadu Technology Co Ltd
Original Assignee
Guangzhou Metro Design and Research Institute Co Ltd
Guangzhou Xinke Jiadu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Metro Design and Research Institute Co Ltd, Guangzhou Xinke Jiadu Technology Co Ltd filed Critical Guangzhou Metro Design and Research Institute Co Ltd
Priority to CN201911343549.XA priority Critical patent/CN111046832B/zh
Publication of CN111046832A publication Critical patent/CN111046832A/zh
Application granted granted Critical
Publication of CN111046832B publication Critical patent/CN111046832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于图像识别的逆行判断方法、装置、设备和存储介质。该方法包括：实时获取扶梯区域的视频数据；检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；确认所述头部区域的数量是否大于预设门限值；若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。基于头部区域的目标检测的结果精确，并且根据乘客数量选择不同的逆行参考能够实现精确的逆行检测和告警。

Description

基于图像识别的逆行判断方法、装置、设备和存储介质
技术领域
本发明实施例涉及公共服务技术领域，尤其涉及基于图像识别的逆行判断方法、装置、设备和存储介质。
背景技术
随着城市化进程的加快，城市人口比例越来越高，大城市的人口越来越多，与人口变化同步发展的还有城市公共服务的快速发展，地铁、商场、机场等。为在人群密集的公共场合提供高效快速的人员集散方案，扶梯因为其不间断运行得到大量的使用。但是在乘客集中在运行的扶梯上除了设备故障带来的安全隐患，还存在乘客乘坐扶梯过程中不遵守公共秩序(例如逆行)带来的安全隐患。
在现有技术中，为了减少扶梯上乘客逆行带来的安全事故的发生，会通过红外感应等方案对扶梯上乘客的行进方向进行检测，并对逆行乘客发出提醒告警，但是现有的检测方案因为乘客遮挡、场景复杂等原因，出现大量漏检、误检、告警错误等情况。
发明内容
本发明提供了基于图像识别的逆行判断方法、装置、设备和存储介质，以解决现有技术中对逆行检测出现漏检、误检和告警错误的技术问题。
第一方面，本发明实施例提供了一种基于图像识别的逆行判断方法，包括：
实时获取扶梯区域的视频数据；
检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；
确认所述头部区域的数量是否大于预设门限值；
若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；
若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
其中，所述检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向，包括：
检测所述视频数据中的头部区域；
计算每个所述头部区域在相邻两帧中的偏移量；
若单个所述头部区域在连续N帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
若单个所述头部区域在连续N帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，N为大于2的整数。
其中，所述检测所述视频数据中的头部区域，具体为：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
其中，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
其中，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
其中，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
Figure BDA0002332738680000031
其中b为偏置项。
其中，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
第二方面，本发明实施例还提供了一种基于图像识别的逆行判断装置，包括：
视频数据获取单元，用于实时获取扶梯区域的视频数据；
头部区域跟踪单元，用于检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；
头部数量判断单元，用于确认所述头部区域的数量是否大于预设门限值；
第一逆行判断单元，用于若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；
第二逆行判断单元，用于若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
其中，所述头部区域跟踪单元，包括：
头部区域检测模块，用于检测所述视频数据中的头部区域；
偏移量计算模块，用于计算每个所述头部区域在相邻两帧中的偏移量；
下行运动判断模块，用于若单个所述头部区域在连续N帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
上行运动判断模块，用于若单个所述头部区域在连续N帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，N为大于2的整数。
其中，所述头部区域检测模块，具体用于：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
其中，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
其中，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
其中，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
Figure BDA0002332738680000051
其中b为偏置项。
其中，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面任一所述的基于图像识别的逆行判断方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一所述的基于图像识别的逆行判断方法。
上述基于图像识别的逆行判断方法、装置、设备和存储介质，通过实时获取扶梯区域的视频数据；检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；确认所述头部区域的数量是否大于预设门限值；若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。基于头部区域的目标检测的目标区域集中、目标特征明显、受其他乘客遮挡的影响较小，并且根据乘客数量选择不同的逆行参考能够实现更加精确的逆行检测和告警。
附图说明
图1为本发明实施例一提供的一种基于图像识别的逆行判断方法的流程图；
图2为本发明实施例二提供的一种基于图像识别的逆行判断方法的流程图；
图3为本发明实施例二提供的用于训练人头朝向分类器的卷积神经网络的结构示意图；
图4为本发明实施例三提供的一种基于图像识别的逆行判断装置的结构示意图；
图5为本发明实施例四提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于图像识别的逆行判断方法的流程图。如图所示，该基于图像识别的逆行判断方法具体包括：
步骤S101：实时获取扶梯区域的视频数据。
扶梯区域指公共场所安装有扶梯的区域，一般来说，一个扶梯区域安装有两部扶梯分别向两个方向运送乘客，常见的扶梯形式有水平扶梯(常用于机场)和上下扶梯(用于楼层之间)。当然，根据实际乘客运送需求和公共场所的具体设计情况，一个扶梯区域也可能安装有一部扶梯或者多于两部扶梯，一个扶梯区域的两部扶梯也可以是同向运行。为保证扶梯的正常运行，避免在公共场所发生因无序行为导致的设备故障和踩踏事件，对乘坐扶梯时的行李携带、乘客站位、个人行为等都有具体的约束，其中乘客逆行是扶梯运行过程中最容易导致意外的个人行为(尤其是上下扶梯)。
在扶梯上，不遵守扶梯乘坐规则的行为导致的安全事故通常具有突发性，因此需要对扶梯上的乘客状态进行实时监测，排除乘客行为带来的安全隐患，对于安装有扶梯的公共场所而言，通常有运行时间长，客流量大等特征，如果对扶梯的实时监测通过人力实现，不仅效率低，而且漏洞多。
在本方案中，对应在扶梯区域安装摄像头，通过摄像头实时获取扶梯区域的视频数据，基于对视频数据的处理识别判断快速完成逆行判断，摄像头可以安装在扶梯的任意一端，如果扶梯比较长，可以两端都安装摄像头，对于大长度的扶梯，还可以在扶梯中间位置的上方加装摄像头。对于每个摄像头采集到的视频数据而言，其处理识别判断过程相同。
步骤S102：检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向。
视频数据中的图像处理以帧为单位，对于每帧图像，通过目标检测算法定位到每个行人对应的头部区域；在连续帧之间，利用头部跟踪算法，获得每个头部区域的运动向量，运动向量用于表征头部运动方向。
步骤S103：确认所述头部区域的数量是否大于预设门限值。
在基于头部区域的运动向量的逆行判断过程中，扶梯上的乘客数量不同，具体的逆行判断参考不同。在乘客数量较小的情况下，扶梯本身的运动方向能从视频数据中识别出来，通过扶梯的运动方向与头部区域的运动方向的比较能直接判断出逆行状态；在乘客数量较大的情况下，乘客的拥挤状态可能会遮挡扶梯，进而对扶梯本身的运动方向的识别产生干扰，此时可以通过多个头部区域的运动方向的统计确认扶梯的运动方向，并进一步确认逆行的乘客。预设门限值是一个经验值，具体可以是绝对值，即在扶梯上总共出现多少头部区域；预设门限值也可以是相对值，即扶梯上单位面积上有多少头部区域。
步骤S104：若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
在扶梯正常运行过程中，乘客的运动方向应当与所在扶梯的运动方向相同，当少数乘客的运动方向与乘客的主流运动方向不同时，视为少数乘客的运动方向与扶梯的运动方向不同，即少数乘客会出现逆行。这一运动关系体现到头部区域的运动方向的统计结果上，逆行的头部区域的数量与所有头部区域的数量的比较至少小于50％，因此，将运动方向与多数头部区域的运动方向不同的头部区域标记为逆行。
步骤S105：若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
如果扶梯上的当前状态是乘客较少，即扶梯上的乘客密度不影响直接从视频数据中获取扶梯的运动方向，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，然后以扶梯的运动方向为参考，如果头部区域的运动方向和扶梯的运动方向相同，则该头部区域的运动方向正常，如果头部区域的运动方向和扶梯的运动方向不同，则该头部区域可以标记为逆行。
上述，通过实时获取扶梯区域的视频数据；检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；确认所述头部区域的数量是否大于预设门限值；若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
实施例二
图2为本发明实施例二提供的一种基于图像识别的逆行判断方法的流程图。本实施例是在上述实施例的基础上进行具体化。
具体的，参考图2，本实施例提供的基于图像识别的逆行判断方法具体包括：
步骤S201：实时获取扶梯区域的视频数据。
步骤S202：检测所述视频数据中的头部区域。
具体来，对视频数据中的头部区域的检测需要检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向。人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
具体来说，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
Figure BDA0002332738680000101
其中b为偏置项。
请参考图3，在前述卷积神经网络结构的基础上，所述预设卷积神经网络还可以进一步嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。在图3所示的卷积神经网络中，考虑到整个结构由多个层间关系相似的小单元组成，因此在图3中仅示出部分小单元，而对于对应每个卷积层存在的激活层，在图3中也未予示出。
压缩激励层对特征通道间的相关性，而不是空间分布中的相关性，进行建模，能够增强重要的特征，减弱不重要的特征，加强特征的指向性，最终提升准确率。同时，在网络中嵌入压缩激励层并不会显著增加参数量和计算量，工程实践表明该网络能够满足扶梯逆行的实时性要求。
步骤S203：计算每个所述头部区域在相邻两帧中的偏移量。
步骤S204：若单个所述头部区域在连续N帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行。
N为大于2的整数。
步骤S205：若单个所述头部区域在连续N帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行。
在实际的识别过程中，逆行状态应该是对一定时长内的状态综合判断，仅仅基于两帧的图像判断，数据处理量太大，并且数据样本数太少，这种情况下的统计可能会存在结果异常，例如乘坐扶梯过程中调整与前方乘客多隔一个台阶。对连续N帧的累计偏移量计算能够获得更准确的判断结果，例如10帧、15帧(监控摄像头采集的视频数据一般是每秒25帧)。
步骤S206：若所述头部区域的数量大于预设门限值，根据所述头部区域对应的人头朝向对对应的运动方向进行修正。
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
步骤S207：根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
步骤S208：若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
在本方案中，预设门限值的可以固定，例如1、2等自然数，也可以是其他根据扶梯长度、宽度等自定义的数值，在具体实施过程中，预设门限值的设定是不影响跟踪到扶梯的运动方向。
在具体的视频数据处理实现过程中，以上步骤中的判断过程实际通过数学表达实现。令k为视频数据的帧号，Ik为视频数据中的第k帧图像，
Figure BDA0002332738680000111
为第k帧扶梯的运动向量，
Figure BDA0002332738680000112
为第k帧第i个人头的运动向量。令c为连续N帧范围内扶梯的逆行状态值，c＝1为扶梯存在行人逆行，c＝0为扶梯不存在行人逆行。ck为第k帧图像的行人逆行状态值，ck＝1为第k帧图像存在行人逆行，ck＝0为第k帧图像不存在行人逆行。
Figure BDA0002332738680000121
为每个异常人头区域的逆行状态值，
Figure BDA0002332738680000122
为第k帧图像的第i个人头逆行，
Figure BDA0002332738680000123
为第k帧图像的第i个人头非逆行。如果满足
Figure BDA0002332738680000124
则
Figure BDA0002332738680000125
如果满足
Figure BDA0002332738680000126
则
Figure BDA0002332738680000127
对于基础的判断机制，第一种情况是头部区域的数量大于预设门限值，则通过所有人头区域的运动方向的统计结果判断逆行状态。令Mk为第k帧图像上异常人头数目，T为逆行人头数目占比阈值，如果满足
Figure BDA0002332738680000128
则ck＝1；如果满足
Figure BDA0002332738680000129
则ck＝0。令T'为逆行的帧数占比阈值，如果
Figure BDA00023327386800001210
则c＝1；如果
Figure BDA00023327386800001211
则c＝0。
更具体而言，行人数量大于设定值，使用大部分行人的运动向量
Figure BDA00023327386800001212
作为扶梯自身运动向量
Figure BDA00023327386800001213
令maxT为密集人数阈值，令
Figure BDA00023327386800001214
为第k帧图像大部分行人的运动向量，
Figure BDA00023327386800001215
为第k帧图像和大部分行人反向的那部分异常人头的运动向量。如果满足Nk＞1且Nk≤maxT，则
Figure BDA00023327386800001216
Nk为第k帧图像上的人头数量。令Nk|U为第k帧图像Ik上行的人头计数，令Nk|D为第k帧图像Ik下行的人头计数，
Figure BDA00023327386800001217
为第k帧图像第i个人头的上行运动状态值，
Figure BDA00023327386800001218
为第k帧图像第i个人头的下行运动状态值，则
Figure BDA00023327386800001219
以及
Figure BDA00023327386800001220
如果满足
Figure BDA00023327386800001221
则
Figure BDA00023327386800001222
如果满足
Figure BDA00023327386800001223
则
Figure BDA00023327386800001224
如果满足
Figure BDA00023327386800001225
则
Figure BDA00023327386800001226
如果满足Nk|U＜Nk|D，则
Figure BDA00023327386800001227
第二种情况是头部区域的数量小于或等于预设门限值，则通过扶梯的运动方向判断逆行状态。对于第i个人头如果满足
Figure BDA0002332738680000131
则
Figure BDA0002332738680000132
如果满足
Figure BDA0002332738680000133
则
Figure BDA0002332738680000134
遍历所有人头，如果满足
Figure BDA0002332738680000135
则ck＝1；如果满足
Figure BDA0002332738680000136
则ck＝0。连续N帧循环遍历，如果满足
Figure BDA0002332738680000137
则c＝1，如果满足
Figure BDA0002332738680000138
则c＝0。
具体的头部区域的运动方向识别过程中，对于第k帧图像Ik第i个人头的运动向量
Figure BDA0002332738680000139
的计算：令j为该人头的跟踪ID，Tj为该人头的跟踪轨迹数目，yt为第t个轨迹时跟踪框中心点的纵坐标，该人头在运动轨迹上竖直方向的分向量为
Figure BDA00023327386800001310
令
Figure BDA00023327386800001311
为上行单位向量，
Figure BDA00023327386800001312
为下行单位向量，已知
Figure BDA00023327386800001313
Figure BDA00023327386800001314
如果满足
Figure BDA00023327386800001315
则
Figure BDA00023327386800001316
如果满足
Figure BDA00023327386800001317
则
Figure BDA00023327386800001318
其中T”是头部区域在运动轨迹的竖直方向上的偏移量阈值绝对值。
对于步骤S206中的修正过程，令
Figure BDA00023327386800001319
为第k帧图像第i个人头的朝向向量，
Figure BDA00023327386800001320
为人头正面朝向向量，
Figure BDA00023327386800001321
为人头背面朝向向量，已知
Figure BDA00023327386800001322
Figure BDA00023327386800001323
为第k帧图像第i个人头误报状态值，如果该人头运动向量和朝向向量不符合实际运动，则
Figure BDA00023327386800001324
如果该人头运动向量和朝向向量符合实际运动，则
Figure BDA00023327386800001325
对这部分人头，首先通过人头朝向分类算法获取其朝向向量
Figure BDA00023327386800001326
其次，如果异常人头运动向量满足
Figure BDA00023327386800001327
而朝向向量满足
Figure BDA00023327386800001328
符合行人运动姿态，则
Figure BDA00023327386800001329
反之，如果朝向向量满足
Figure BDA00023327386800001330
则
Figure BDA00023327386800001331
如果异常人头运动向量满足
Figure BDA00023327386800001332
而朝向向量满足
Figure BDA00023327386800001333
符合行人运动姿态，则
Figure BDA00023327386800001334
反之，如果朝向向量满足
Figure BDA00023327386800001335
则
Figure BDA00023327386800001336
如果满足Nk＞1且Nk≤maxT：如果满足
Figure BDA00023327386800001337
且
Figure BDA00023327386800001338
且
Figure BDA00023327386800001339
或者满足
Figure BDA00023327386800001340
且
Figure BDA00023327386800001341
则第i个人头属于异常人头，如果满足
Figure BDA00023327386800001342
且
Figure BDA00023327386800001343
则
Figure BDA00023327386800001344
如果满足
Figure BDA00023327386800001345
且
Figure BDA00023327386800001346
则
Figure BDA00023327386800001347
如果满足
Figure BDA00023327386800001348
且
Figure BDA00023327386800001349
则
Figure BDA00023327386800001350
如果满足
Figure BDA00023327386800001351
且
Figure BDA00023327386800001352
则
Figure BDA00023327386800001353
在本方案中，可以进一步设定预设上限值，当识别出的头部区域的数量大于预设上限值时，可以停止逆行判断，从逻辑上而言，当扶梯上的人数量足够多时，乘客无法逆行，此时默认暂停逆行判断。
实施例三
图4为本发明实施例三提供的一种基于图像识别的逆行判断装置的结构示意图。参考图4，该基于图像识别的逆行判断装置包括：视频数据获取单元301、头部区域跟踪单元302、头部数量判断单元303、第一逆行判断单元304以及第二逆行判断单元305。
其中，视频数据获取单元301，用于实时获取扶梯区域的视频数据；头部区域跟踪单元302，用于检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；头部数量判断单元303，用于确认所述头部区域的数量是否大于预设门限值；第一逆行判断单元304，用于若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；第二逆行判断单元305，用于若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
在上述实施例的基础上，所述头部区域跟踪单元302，包括：
头部区域检测模块，用于检测所述视频数据中的头部区域；
偏移量计算模块，用于计算每个所述头部区域在相邻两帧中的偏移量；
下行运动判断模块，用于若单个所述头部区域在连续N帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
上行运动判断模块，用于若单个所述头部区域在连续N帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，N为大于2的整数。
在上述实施例的基础上，所述头部区域检测模块，具体用于：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
其中，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
在上述实施例的基础上，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
在上述实施例的基础上，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
Figure BDA0002332738680000151
在上述实施例的基础上，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
本发明实施例提供的基于图像识别的逆行判断装置包含在基于图像识别的逆行判断设备中，且可用于执行上述任意实施例提供的基于图像识别的逆行判断方法，具备相应的功能和有益效果。
实施例四
图5为本发明实施例四提供的一种终端设备的结构示意图，该终端设备是前文所述基于图像识别的逆行判断设备的一种具体的硬件呈现方案。如图5所示，该终端设备包括处理器410、存储器420、输入装置430、输出装置440以及通信装置450；终端设备中处理器410的数量可以是一个或多个，图5中以一个处理器410为例；终端设备中的处理器410、存储器420、输入装置430、输出装置440以及通信装置450可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于图像识别的逆行判断方法对应的程序指令/模块(例如，基于图像识别的逆行判断装置中的视频数据获取单元301、头部区域跟踪单元302、头部数量判断单元303、第一逆行判断单元304以及第二逆行判断单元305)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的基于图像识别的逆行判断方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。通信装置450用于与图像拍摄模块进行数据通信。
上述终端设备包含基于图像识别的逆行判断装置，可以用于执行任意基于图像识别的逆行判断方法，具备相应的功能和有益效果。
实施例六
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行前述实施例所述的基于图像识别的逆行判断方法。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于图像识别的逆行判断方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述基于图像识别的逆行判断装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于图像识别的逆行判断方法，其特征在于，包括：
实时获取扶梯区域的视频数据；
检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；
确认所述头部区域的数量是否大于预设门限值；
若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；
若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
2.根据权利要求1所述的方法，其特征在于，所述检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向，包括：
检测所述视频数据中的头部区域；
计算每个所述头部区域在相邻两帧中的偏移量；
若单个所述头部区域在连续N帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
若单个所述头部区域在连续N帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，N为大于2的整数。
3.根据权利要求1所述的方法，其特征在于，所述检测所述视频数据中的头部区域，具体为：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
4.根据权利要求3所述的方法，其特征在于，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
5.根据权利要求3所述的方法，其特征在于，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
6.根据权利要求5所述的方法，其特征在于，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
Figure FDA0002332738670000021
其中b为偏置项。
7.根据权利要求6所述的方法，其特征在于，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
8.一种基于图像识别的逆行判断装置，其特征在于，包括：
视频数据获取单元，用于实时获取扶梯区域的视频数据；
头部区域跟踪单元，用于检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；
头部数量判断单元，用于确认所述头部区域的数量是否大于预设门限值；
第一逆行判断单元，用于若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；
第二逆行判断单元，用于若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的基于图像识别的逆行判断方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的基于图像识别的逆行判断方法。
CN201911343549.XA 2019-12-24 2019-12-24 基于图像识别的逆行判断方法、装置、设备和存储介质 Active CN111046832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911343549.XA CN111046832B (zh) 2019-12-24 2019-12-24 基于图像识别的逆行判断方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911343549.XA CN111046832B (zh) 2019-12-24 2019-12-24 基于图像识别的逆行判断方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111046832A true CN111046832A (zh) 2020-04-21
CN111046832B CN111046832B (zh) 2023-06-02

Family

ID=70238708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911343549.XA Active CN111046832B (zh) 2019-12-24 2019-12-24 基于图像识别的逆行判断方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111046832B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611938A (zh) * 2020-05-22 2020-09-01 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
CN112875481A (zh) * 2021-01-13 2021-06-01 深圳英飞拓科技股份有限公司 一种扶梯的运行控制方法、装置、终端设备和介质
CN113657189A (zh) * 2021-07-26 2021-11-16 浙江大华技术股份有限公司 行为检测方法、电子装置和计算机可读存储介质
CN113723372A (zh) * 2021-11-01 2021-11-30 北京卓建智菡科技有限公司 一种提示方法、装置、计算机设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1192072A (ja) * 1997-09-19 1999-04-06 Mitsubishi Electric Building Techno Service Co Ltd エスカレータの警報装置
CN101670973A (zh) * 2008-09-09 2010-03-17 东芝电梯株式会社 自动扶梯监视系统
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN106127148A (zh) * 2016-06-21 2016-11-16 华南理工大学 一种基于机器视觉的手扶电梯乘客异常行为检测算法
CN107194360A (zh) * 2017-05-25 2017-09-22 智慧航安（北京）科技有限公司 逆向通行对象识别方法、装置及系统
CN108564774A (zh) * 2018-06-01 2018-09-21 郑子哲 一种基于视频人流统计技术的智能校园防踩踏预警装置
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109819208A (zh) * 2019-01-02 2019-05-28 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法
CN110427824A (zh) * 2019-06-28 2019-11-08 特斯联（北京）科技有限公司 一种人工智能虚拟场景的安防自动测试方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1192072A (ja) * 1997-09-19 1999-04-06 Mitsubishi Electric Building Techno Service Co Ltd エスカレータの警報装置
CN101670973A (zh) * 2008-09-09 2010-03-17 东芝电梯株式会社 自动扶梯监视系统
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN106127148A (zh) * 2016-06-21 2016-11-16 华南理工大学 一种基于机器视觉的手扶电梯乘客异常行为检测算法
CN107194360A (zh) * 2017-05-25 2017-09-22 智慧航安（北京）科技有限公司 逆向通行对象识别方法、装置及系统
CN108564774A (zh) * 2018-06-01 2018-09-21 郑子哲 一种基于视频人流统计技术的智能校园防踩踏预警装置
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109819208A (zh) * 2019-01-02 2019-05-28 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法
CN110427824A (zh) * 2019-06-28 2019-11-08 特斯联（北京）科技有限公司 一种人工智能虚拟场景的安防自动测试方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611938A (zh) * 2020-05-22 2020-09-01 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
CN111611938B (zh) * 2020-05-22 2023-08-29 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
CN112875481A (zh) * 2021-01-13 2021-06-01 深圳英飞拓科技股份有限公司 一种扶梯的运行控制方法、装置、终端设备和介质
CN113657189A (zh) * 2021-07-26 2021-11-16 浙江大华技术股份有限公司 行为检测方法、电子装置和计算机可读存储介质
CN113657189B (zh) * 2021-07-26 2024-02-09 浙江大华技术股份有限公司 行为检测方法、电子装置和计算机可读存储介质
CN113723372A (zh) * 2021-11-01 2021-11-30 北京卓建智菡科技有限公司 一种提示方法、装置、计算机设备及计算机可读存储介质
CN113723372B (zh) * 2021-11-01 2022-01-18 北京卓建智菡科技有限公司 一种提示方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111046832B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN111046832A (zh) 基于图像识别的逆行判断方法、装置、设备和存储介质
CN111144247B (zh) 一种基于深度学习的自动扶梯乘客逆行检测方法
US9183432B2 (en) People counting device and people trajectory analysis device
KR101375583B1 (ko) 비디오에서의 물체 조밀도 판단
CN110188644B (zh) 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
EP2093698A1 (en) Crowd congestion analysis
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
EP2093699A1 (en) Movable object status determination
US20130113934A1 (en) Monitoring system and monitoring method
US20130195364A1 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
CN105513342A (zh) 一种基于视频跟踪的车辆排队长度计算方法
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
CN112766038B (zh) 一种根据图像识别的车辆跟踪方法
CN116153086B (zh) 基于深度学习的多路段交通事故及拥堵检测方法及系统
KR100900494B1 (ko) 이동체 움직임 추적 시스템 및 그 제어방법
CN114926422B (zh) 一种上下车客流量检测方法及系统
CN110713082B (zh) 一种电梯控制方法、系统、装置和存储介质
CN111382705A (zh) 逆行行为检测方法、装置、电子设备及可读存储介质
CN116486332A (zh) 客流量监测方法、装置、设备及存储介质
CN108573497B (zh) 客流统计装置和方法
CN112249849B (zh) 一种地铁自动扶梯人流量监测方法
CN103606280A (zh) 一种信息识别方法、装置以及系统
CN110942642B (zh) 一种基于视频的交通缓驶检测方法及系统
Shen et al. Metro Pedestrian Detection Based on Mask R-CNN and Spatial-temporal Feature
CN112580633A (zh) 一种公共交通客流统计装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant