CN112990068A - 一种基于深度学习的电梯乘员计数方法及系统 - Google Patents

一种基于深度学习的电梯乘员计数方法及系统 Download PDF

Info

Publication number
CN112990068A
CN112990068A CN202110346663.9A CN202110346663A CN112990068A CN 112990068 A CN112990068 A CN 112990068A CN 202110346663 A CN202110346663 A CN 202110346663A CN 112990068 A CN112990068 A CN 112990068A
Authority
CN
China
Prior art keywords
deep learning
passenger
passengers
elevator
identification module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110346663.9A
Other languages
English (en)
Inventor
丁武
刘宏宇
李林
陈学志
于洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Huadun Safety Technology Co Ltd
Original Assignee
Liaoning Huadun Safety Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Huadun Safety Technology Co Ltd filed Critical Liaoning Huadun Safety Technology Co Ltd
Priority to CN202110346663.9A priority Critical patent/CN112990068A/zh
Publication of CN112990068A publication Critical patent/CN112990068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Elevator Control (AREA)

Abstract

本申请的实施例提供了一种基于深度学习的电梯乘员计数方法，所述方法包括：S1、摄像装置实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；S2、所述深度学习识别模块对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；S3、所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。本申请的方案具有普遍适用性，能够广泛运用于各种类型电梯的实时检测。

Description

一种基于深度学习的电梯乘员计数方法及系统
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种基于深度学习的电梯乘员计数方法及系统。
背景技术
计算机视觉(CV)是近年来机器学习领域的一大应用。它的研究目的是探索计算机如何对基于大量的图像进行理解并运用。从事计算机视觉的研究目标，使用近年来较为流行的深度学习工具，通过对图像潜在的特征进行分析，而电梯数据包含了丰富的人体特征信息。在大规模物联网化潮流兴起的现在，在线视频实时分析也成为了计算机视觉的新课题。无论是对于电梯数据归档工作，还是对于电梯内人员数目的分析，都将带来极大的便利。电梯数据中也出现较多的时间信息。例如“年月日时分秒”等等，这些时间描述对于实时分析能够加入一定的验证。
由于目前电梯摄像头无法获取到内部人员的全部特征，因此现有技术存在一定缺陷与不足：一是现有技术是基于人员的全部特征来检测人员的存在；二是不同电梯内的摄像头型号还是存在较大差异，不同电梯内的光源亮度更是千差万别，不利于相关技术的进一步开展。
综上可见，现有技术对电梯内乘员目标的识别还存在许多的不足之处，难以获得可靠的乘员目标识别结果，也就无法实现对电梯乘员的准确计数。
申请内容
为了解决上述背景技术中存在的技术问题，本申请提供了一种基于深度学习的电梯乘员计数方法及系统。
本申请的第一方面提供了一种基于深度学习的电梯乘员计数方法，所述方法包括：
S1、摄像装置实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；
S2、所述深度学习识别模块对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；
S3、所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。
可选地，所述将所述视频图像跳帧发送给深度学习识别模块，包括：
所述摄像装置检测是否获取到电梯门开关信号，若是，则将所述视频图像跳帧发送给深度学习识别模块。
可选地，所述将所述视频图像跳帧发送给深度学习识别模块，还包括：
在检测到电梯门开-关期间，以第一间隔跳频发送所述视频图像给深度学习识别模块，在电梯门关之后的预设时段内以第二间隔跳频发送所述视频图像给深度学习识别模块；其中，所述第一间隔小于所述第二间隔。
可选地，在步骤S2之前，还包括如下步骤：
获取同一电梯不同时段、不同照明条件下的视频图像帧组成训练集，对所述训练集中的图像帧中的乘员区域进行人工标注；
将标注后的所述训练集输入所述深度学习识别模型以对其进行训练。
可选地，所述深度学习识别模块基于神经网络算法；
所述深度学习识别模块包括特征提取网络、分支网络一、分支网络二；其中，将所述视频图像帧输入特征提取网络以提取特征，所述特征包括辨别特征和附加属性；然后将所述特征分别输入分支网络一和分支网络二，所述分支网络一基于所述特征进行乘员识别，所述分支网络二基于所述特征识别对应乘员的属性。
可选地，所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，包括：
S31、构建电梯仓的三维坐标系；
S32、基于所述视频图像提取电梯仓的三维边界，以获得电梯仓在三维坐标系中的空间界限；
S33、将所述乘员的头部投射至所述三维坐标系；
S34、检测所述乘员的头部是否位于电梯仓的所述空间界限的边界面上，若是，则进一步检测在所述空间界限的内部是否存在与该乘员属性相似度大于第一阈值的乘员，若是，则将其判定为虚假目标以滤除。
可选地，识别出的所述乘员信息还包括乘员的高度、轮廓面积；
于是，在步骤S34之后，还包括：
S35、基于所述乘员的高度计算所述空间界限内的乘员的高度均值，判断所述乘员的高度是否低于所述均值超过第二阈值，若是，则将所述乘员判定为虚假目标以滤除；否则，执行步骤S36；
S36、判断所述乘员的轮廓面积是否小于第三阈值，若是，则将所述乘员判定为虚假目标以滤除。
本申请的第二方面提供了一种基于深度学习的电梯乘员计数系统，所述系统包括摄像装置、深度学习识别模块和核实模块；其中，
所述摄像装置，用于实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；
所述深度学习识别模块，用于对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；
所述核实模块，用于基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。
可选地，所述摄像装置，还用于检测是否获取到电梯门开关信号，若是，则将所述视频图像跳帧发送给深度学习识别模块。
可选地，所述摄像装置，还用于在检测到电梯门开-关期间，以第一间隔跳频发送所述视频图像给深度学习识别模块，在电梯门关之后的预设时段内以第二间隔跳频发送所述视频图像给深度学习识别模块；其中，所述第一间隔小于所述第二间隔。
可选地，所述深度学习识别模块采用如下步骤进行训练：
获取同一电梯不同时段、不同照明条件下的视频图像帧组成训练集，对所述训练集中的图像帧中的乘员区域进行人工标注；
将标注后的所述训练集输入所述深度学习识别模型以对其进行训练。
可选地，所述深度学习识别模块基于神经网络算法；
所述深度学习识别模块包括特征提取网络、分支网络一、分支网络二；其中，将所述视频图像帧输入特征提取网络以提取特征，所述特征包括辨别特征和附加属性；然后将所述特征分别输入分支网络一和分支网络二，所述分支网络一基于所述特征进行乘员识别，所述分支网络二基于所述特征识别对应乘员的属性。
可选地，所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，包括：
S31、构建电梯仓的三维坐标系；
S32、基于所述视频图像提取电梯仓的三维边界，以获得电梯仓在三维坐标系中的空间界限；
S33、将所述乘员的头部投射至所述三维坐标系；
S34、检测所述乘员的头部是否位于电梯仓的所述空间界限的边界面上，若是，则进一步检测在所述空间界限的内部是否存在与该乘员属性相似度大于第一阈值的乘员，若是，则将其判定为虚假目标以滤除。
可选地，识别出的所述乘员信息还包括乘员的高度、轮廓面积；
于是，在步骤S34之后，还包括：
S35、基于所述乘员的高度计算所述空间界限内的乘员的高度均值，判断所述乘员的高度是否低于所述均值超过第二阈值，若是，则将所述乘员判定为虚假目标以滤除；否则，执行步骤S36；
S36、判断所述乘员的轮廓面积是否小于第三阈值，若是，则将所述乘员判定为虚假目标以滤除。
本申请的第三方面还提供了一种电子设备，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前所述方法的步骤。
本申请的第四方面还提供了一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如前所述方法的步骤。
本申请的有益效果在于：
(1)本申请的方案在训练深度学习识别模块时是将不同时段、不同照明条件下的视频图像帧作为训练集，能够最大限度地减小电梯内部差异对于检测造成的影响，具有普遍适用性，能够广泛运用于各种类型电梯的实时检测；
(2)本申请的方案还设置了核实模块来滤除镜像、广告牌/海报人物、宠物的干扰，得出的乘员数目更可信，这样在电梯故障时，就可以向电梯管理/救援部门第一时间提供电梯被困人员数目，为后来的营救提供有效的帮助。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开的一种基于深度学习的电梯乘员计数方法的流程示意图；
图2是本申请实施例公开的一种基于深度学习的电梯乘员计数系统的结构示意图；
图3是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
实施例一
请参阅图1，图1是本申请实施例公开的一种基于深度学习的电梯乘员计数方法的流程示意图。如图1所示，本申请实施例的一种基于深度学习的电梯乘员计数方法，所述方法包括：
S1、摄像装置实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；
S2、所述深度学习识别模块对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；
S3、所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。
在本申请实施例中，区别于现有技术，本申请的方案采用跳频的方式来提取及传输视频图像帧，这样可以使深度学习识别模块减少识别处理量，极大的提高处理的实时性。同时，相当多的电梯仓内的仓壁是镜面的，甚至是玻璃材质的，这样就必然会出现镜像；而深度学习识别模块仅能够对视频图像帧中的人物特征目标进行识别，其无法区分哪些是真实乘员，哪些是虚假的镜像，显然，镜像的出现会严重影响乘员计数结果。对此，本申请的方案还设置了核实模块来对深度学习识别模块的识别结果进行验证过滤，以避免上述问题。
可选地，所述将所述视频图像跳帧发送给深度学习识别模块，包括：
所述摄像装置检测是否获取到电梯门开关信号，若是，则将所述视频图像跳帧发送给深度学习识别模块。
可选地，所述将所述视频图像跳帧发送给深度学习识别模块，还包括：
在检测到电梯门开-关期间，以第一间隔跳频发送所述视频图像给深度学习识别模块，在电梯门关之后的预设时段内以第二间隔跳频发送所述视频图像给深度学习识别模块；其中，所述第一间隔小于所述第二间隔。
在本申请实施例中，只有在电梯门出现开合时才会有乘员进出，此时进行乘员的计算/重新计算才是有必要的，所以，本申请方案中的摄像装置仅在获取到电梯门开关信号时才将视频图像帧发送给深度学习识别模块，以降低深度学习识别模块的识别无意义识别负荷。
而且，以跳频方式多次传输视频图像帧可以使得深度学习模块获得相对足够的图像帧样本，从中筛选出更为合适的图像帧进行识别，而且，也可以基于多幅图像帧同时进行乘员识别，这样可以避免因乘员身高等的差别而产生遮挡导致的漏识别，相应地，将从多个视频图像帧中获得的不重复的乘员目标合成至同一视频帧(例如前述的最合适进行乘员识别的视频图像帧)中，当然，对于被遮挡的乘员来说，可以仅在其对应位置添加标注框即可。
本申请还特别限定在电梯门开-关期间以较高的跳频频率、在电梯门关之后的预设时段内以较低的跳频频率来传输视频图像帧。因为，电梯门开-关期间乘员进出十分活跃，此时以更高的频率传输视频图像帧，可以使得深度学习识别模块获得更为完整、全面的乘员变动情况，比如，电梯内有一位位于电梯门口的较矮的乘客，在电梯开门之前他一直被后面的乘员遮挡，摄像装置拍摄的图像中并不能识别到他，而当电梯门开-关期间，由于乘员进出会导致各乘员之间的位置发生变化，于是，该较矮的乘客就很有可能会在某一刻被拍摄到，所以，此时提高跳频频率以获得更多的视频图像帧，是有实际意义的；而当电梯关门之后，电梯内的乘员出于安全的考虑通常不会大幅度变换位置，所以，此时即便以更高的跳频频率后传视频图像帧，前述的被遮挡的较矮的乘员也是无法被拍摄到的，显然，这一期间提高跳频频率对于提高乘员计数准确性来说是无意义的，而且还会额外增加深度学习识别模块的处理负荷，所以，本申请的方案设置此期间仅以较低的频率后传视频图像帧以使深度学习识别模块能够获得满足识别条件的帧图像即可。
可选地，在步骤S2之前，还包括如下步骤：
获取同一电梯不同时段、不同照明条件下的视频图像帧组成训练集，对所述训练集中的图像帧中的乘员区域进行人工标注；
将标注后的所述训练集输入所述深度学习识别模型以对其进行训练。
在本申请实施例中，对于深度学习识别模块来说，对其预先进行训练是十分关键的步骤。首先，我们先获取同一电梯不同时段、不同照明条件下的视频图像帧组成训练集，其中，不同时段可以为高峰时段、低峰时段，不同照明条件可以包括电梯内灯光的开/关(例如发生故障后电梯内的照明失效场景)、电梯开门后外界光线的强弱等；然后再通过使用图像标注工具，将有人员的地方标注出来；最后，把图片和标注出的数据整合起来作为训练神经网络的样本，让神经网络不断根据这些样本进行学习，最终神经网络能够提取出有效的乘员特征。其中，由于训练集包括了多种条件下的电梯内图像，所以，本申请中经过训练的深度学习识别模块可以获得明显更强适应性，保证了不同的时段、不同照明条件下均可以获得准确的识别结果；而且，为了便于后续对乘员属性信息的利用，在进行人工标注时可采用曲线来将乘员区域进行框选。
可选地，所述深度学习识别模块基于神经网络算法；
所述深度学习识别模块包括特征提取网络、分支网络一、分支网络二；其中，将所述视频图像帧输入特征提取网络以提取特征，所述特征包括辨别特征和附加属性；然后将所述特征分别输入分支网络一和分支网络二，所述分支网络一基于所述特征进行乘员识别，所述分支网络二基于所述特征识别对应乘员的属性。
在本申请实施例中，本申请设计的深度学习识别模块包括特征提取网络、分支网络一、分支网络二，其中特征提取网络仅用于从视频图像帧中提取特征，而分支网络一和分支网络二分别用于乘员识别和属性识别。如此设置的好处是，深度学习识别模块内部分工明确且有条不紊，于是，本申请的深度学习识别模块可以获得较高的识别效率。其中，辨别特征可以是连通域特性、头发特性、帽子特性等可用于识别乘员的特征，附加属性可以是衣着特性(如衣服颜色、款式等)、体型特性(如身高、胖瘦、肩宽等)等用于乘员之间进行区分的属性，当然，还应当包括在视频图像中的位置信息，以利于后续的数目统计。
可选地，所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，包括：
S31、构建电梯仓的三维坐标系；
S32、基于所述视频图像提取电梯仓的三维边界，以获得电梯仓在三维坐标系中的空间界限；
S33、将所述乘员的头部投射至所述三维坐标系；
S34、检测所述乘员的头部是否位于电梯仓的所述空间界限的边界面上，若是，则进一步检测在所述空间界限的内部是否存在与该乘员属性相似度大于第一阈值的乘员，若是，则将其判定为虚假目标以滤除。
在本申请实施例中，如前所述，许多的电梯仓的仓壁设置有镜面效果，这些镜面的存在会导致深度学习识别模块识别出的乘员人员成倍的增加，这显然是无法接受的。针对该问题，本申请先基于无乘员的电梯仓图像构建电梯仓的三维坐标系，然后再提取出电梯仓的边界线，将边界线与三维坐标进行结合就可以获得电梯仓的空间界限，然后，基于乘员的头部所处的位置就可以轻易的框出位于电梯仓空间界限中的乘员。对于乘员的镜像，其是位于所述空间界限的边界面上的，基于该条件可以对镜像目标进行初步识别。
但是，电梯的仓壁上通常还会有广告牌/海报，其上也经常会有明显的人物图像，该人物图像也是会被深度学习识别模块所识别的。对此，本申请进一步检测在所述空间界限的内部存在与该乘员属性相似度大于第一阈值的乘员(即该镜像的原物)，如果有，则说明该乘员并非广告牌/海报上的人像，而是电梯仓内的真实乘员，即可基于上述两个条件来将镜像目标滤除。
但是，广告牌/海报上的人物图像的穿着、发型等属性也是有可能与电梯内乘员高度相似的，比如当电梯内乘员身着与广告牌/海报中的人物相同的西服正装时，也可以判定在所述空间界限的内部存在与该乘员属性相似度大于第一阈值的乘员(即该镜像的原物)，显然，这会导致将广告牌/海报上的人物图像判定为真实电梯乘员。对此，作为前述方案的一种附加方案，继续判断乘员的属性信息中的面部信息是否完整，若是，则判定为将其判定为虚假目标以滤除。也就是说，当基于穿着、发型等属性而无法判断其是否是真实乘员时，进一步判断其是否露出了较为完整的面部(比如，同时检测到两只眼睛)，因为电梯中的乘员通常不会被拍到较为完整的面部(因为摄像装置通常是正对电梯门布置)，而广告牌/海报中的人物却通常是露出正脸，基于该特点可进一步滤除广告牌/海报上的人物图像。
综上所述，本申请的方案可采取上述递进组合式的镜像/平面人物的滤除方法来提高电梯仓内乘员的真实数目的计算准确性，上述方案可根据设计需要自由组合，本申请对此可不做具体限定。
可选地，识别出的所述乘员信息还包括乘员的高度、轮廓面积；
于是，在步骤S34之后，还包括：
S35、基于所述乘员的高度计算所述空间界限内的乘员的高度均值，判断所述乘员的高度是否低于所述均值超过第二阈值，若是，则将所述乘员判定为虚假目标以滤除；否则，执行步骤S36；
S36、判断所述乘员的轮廓面积是否小于第三阈值，若是，则将所述乘员判定为虚假目标以滤除。
在本申请实施例中，除了镜面因素，电梯内还会有乘员携带宠物进入，而且越来越多的宠物主会给自己的宠物佩戴类人服饰(例如衣服、帽子等)，于是，对于主要识别乘员头部的深度学习识别模块来说，其很有可能会将这些宠物误识别为人类乘员。针对该问题，本申请进一步限定深度学习识别模块在识别出的乘员信息还包括乘员的高度、轮廓面积，其中，若乘员的高度明显低于电梯内乘员的平均高度，则说明该乘员是宠物，应当予以滤除；但是，宠物有可能会被主人抱着，显然，单纯依靠高度并不能完全滤除宠物虚假目标，于是，本申请还基于乘员的轮廓面积进行再判断，因为人类的轮廓面积通常是显著大于宠物的，所以，如果乘员的轮廓面积小于第三阈值，则说明是宠物，应当予以滤除。
其中，对于第三阈值的确定，可基于能够站立的X周岁婴儿的轮廓面积经验值(比如统计均值)来确定。而且，当电梯内的乘员数量大于第四阈值时，则提高该第三阈值(例如基于X+N周岁的儿童的轮廓面积经验值)，反之，则降低该第三阈值(例如基于前述X周岁婴儿的轮廓面积经验值)。因为，当电梯内乘员较少时，家长更有可能会让具有站立能力的婴儿独立站立乘梯，而当电梯内人员较多时，家长通常不会让年龄特别小的婴儿独立站立，而是选择抱着，所以，此时应当基于比如7岁儿童的轮廓面积经验值来确定第三阈值。于是，本申请通过上述调节第三阈值的大小的方法，能够获得更好的对宠物的滤除效果。
实施例二
请参阅图2，图2是本申请实施例公开的一种基于深度学习的电梯乘员计数系统的结构示意图。如图2所示，本申请实施例的一种基于深度学习的电梯乘员计数系统，所述系统包括摄像装置、深度学习识别模块和核实模块；其中，
所述摄像装置，用于实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；
所述深度学习识别模块，用于对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；
所述核实模块，用于基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。
可选地，所述摄像装置，还用于检测是否获取到电梯门开关信号，若是，则将所述视频图像跳帧发送给深度学习识别模块。
可选地，所述摄像装置，还用于在检测到电梯门开-关期间，以第一间隔跳频发送所述视频图像给深度学习识别模块，在电梯门关之后的预设时段内以第二间隔跳频发送所述视频图像给深度学习识别模块；其中，所述第一间隔小于所述第二间隔。
可选地，所述深度学习识别模块采用如下步骤进行训练：
获取同一电梯不同时段、不同照明条件下的视频图像帧组成训练集，对所述训练集中的图像帧进行乘员头部的人工标注；
将标注后的所述训练集输入所述深度学习识别模型以对其进行训练。
可选地，所述深度学习识别模块基于神经网络算法；
所述深度学习识别模块包括特征提取网络、分支网络一、分支网络二；其中，将所述视频图像帧输入特征提取网络以提取特征，所述特征包括辨别特征和附加属性；然后将所述特征分别输入分支网络一和分支网络二，所述分支网络一基于所述特征进行乘员识别，所述分支网络二基于所述特征识别对应乘员的属性。
可选地，所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，包括：
S31、构建电梯仓的三维坐标系；
S32、基于所述视频图像提取电梯仓的三维边界，以获得电梯仓在三维坐标系中的空间界限；
S33、将所述乘员的头部投射至所述三维坐标系；
S34、检测所述乘员的头部是否位于电梯仓的所述空间界限的边界面上，若是，则进一步检测在所述空间界限的内部是否存在与该乘员属性相似度大于第一阈值的乘员，若是，则将其判定为虚假目标以滤除。
可选地，识别出的所述乘员信息还包括乘员的高度、轮廓面积；
于是，在步骤S34之后，还包括：
S35、基于所述乘员的高度计算所述空间界限内的乘员的高度均值，判断所述乘员的高度是否低于所述均值超过第二阈值，若是，则将所述乘员判定为虚假目标以滤除；否则，执行步骤S36；
S36、判断所述乘员的轮廓面积是否小于第三阈值，若是，则将所述乘员判定为虚假目标以滤除。
实施例三
请参阅图3，图3是本申请实施例公开的一种电子设备的结构示意图。如图3所示，本申请实施例的一种电子设备，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述方法的步骤。
实施例四
本申请实施例的还提供了一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如实施例一所述方法的步骤。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的电梯乘员计数方法，其特征在于：所述方法包括：
S1、摄像装置实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；
S2、所述深度学习识别模块对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；
S3、所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。
2.根据权利要求1所述的方法，其特征在于：所述将所述视频图像跳帧发送给深度学习识别模块，包括：
所述摄像装置检测是否获取到电梯门开关信号，若是，则将所述视频图像跳帧发送给深度学习识别模块。
3.根据权利要求2所述的方法，其特征在于：所述将所述视频图像跳帧发送给深度学习识别模块，还包括：
在检测到电梯门开-关期间，以第一间隔跳频发送所述视频图像给深度学习识别模块，在电梯门关之后的预设时段内以第二间隔跳频发送所述视频图像给深度学习识别模块；其中，所述第一间隔小于所述第二间隔。
4.根据权利要求1所述的方法，其特征在于：在步骤S2之前，还包括如下步骤：
获取同一电梯不同时段、不同照明条件下的视频图像帧组成训练集，对所述训练集中的图像帧中的乘员区域进行人工标注；
将标注后的所述训练集输入所述深度学习识别模型以对其进行训练。
5.根据权利要求1所述的方法，其特征在于：所述深度学习识别模块基于神经网络算法；
所述深度学习识别模块包括特征提取网络、分支网络一、分支网络二；其中，将所述视频图像帧输入特征提取网络以提取特征，所述特征包括辨别特征和附加属性；然后将所述特征分别输入分支网络一和分支网络二，所述分支网络一基于所述特征进行乘员识别，所述分支网络二基于所述特征识别对应乘员的属性。
6.根据权利要求1所述的方法，其特征在于：所述核实模块基于对所述乘员信息进行核实，滤除虚假目标，包括：
S31、构建电梯仓的三维坐标系；
S32、基于所述视频图像提取电梯仓的三维边界，以获得电梯仓在三维坐标系中的空间界限；
S33、将所述乘员的头部投射至所述三维坐标系；
S34、检测所述乘员的头部是否位于电梯仓的所述空间界限的边界面上，若是，则进一步检测在所述空间界限的内部是否存在与该乘员属性相似度大于第一阈值的乘员，若是，则将其判定为虚假目标以滤除。
7.根据权利要求1所述的方法，其特征在于：识别出的所述乘员信息还包括乘员的高度、轮廓面积；
于是，在步骤S34之后，还包括：
S35、基于所述乘员的高度计算所述空间界限内的乘员的高度均值，判断所述乘员的高度是否低于所述均值超过第二阈值，若是，则将所述乘员判定为虚假目标以滤除；否则，执行步骤S36；
S36、判断所述乘员的轮廓面积是否小于第三阈值，若是，则将所述乘员判定为虚假目标以滤除。
8.一种基于深度学习的电梯乘员计数系统，其特征在于：所述系统包括摄像装置、深度学习识别模块和核实模块；其中，
所述摄像装置，用于实时拍摄电梯仓视频图像，并将所述视频图像跳帧发送给深度学习识别模块；
所述深度学习识别模块，用于对接收的所述视频图像进行乘员识别并添加标注框，将识别出的乘员信息发送给核实模块；
所述核实模块，用于基于对所述乘员信息进行核实，滤除虚假目标，对剩余的所述乘员信息基于所述标注框进行乘员计数。
9.一种电子设备，其特征在于：所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述方法的步骤。
10.一种计算机存储介质，其特征在于：该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述方法的步骤。
CN202110346663.9A 2021-03-31 2021-03-31 一种基于深度学习的电梯乘员计数方法及系统 Pending CN112990068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110346663.9A CN112990068A (zh) 2021-03-31 2021-03-31 一种基于深度学习的电梯乘员计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110346663.9A CN112990068A (zh) 2021-03-31 2021-03-31 一种基于深度学习的电梯乘员计数方法及系统

Publications (1)

Publication Number Publication Date
CN112990068A true CN112990068A (zh) 2021-06-18

Family

ID=76338638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110346663.9A Pending CN112990068A (zh) 2021-03-31 2021-03-31 一种基于深度学习的电梯乘员计数方法及系统

Country Status (1)

Country Link
CN (1) CN112990068A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348382A1 (en) * 2013-05-22 2014-11-27 Hitachi, Ltd. People counting device and people trajectory analysis device
US20160292521A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Depth Sensor Based Passenger Detection
CN107609597A (zh) * 2017-09-26 2018-01-19 嘉世达电梯有限公司 一种电梯轿厢人数检测系统及其检测方法
CN110002314A (zh) * 2018-08-09 2019-07-12 浙江新再灵科技股份有限公司 一种基于深度学习的电梯乘客被困人数检测系统
CN111353377A (zh) * 2019-12-24 2020-06-30 浙江工业大学 一种基于深度学习的电梯乘客数检测方法
CN111898553A (zh) * 2020-07-31 2020-11-06 成都新潮传媒集团有限公司 一种判别虚像人员的方法、装置及计算机设备
US20200364468A1 (en) * 2019-05-17 2020-11-19 Zeroeyes Llc Intelligent video surveillance system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348382A1 (en) * 2013-05-22 2014-11-27 Hitachi, Ltd. People counting device and people trajectory analysis device
US20160292521A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Depth Sensor Based Passenger Detection
CN107609597A (zh) * 2017-09-26 2018-01-19 嘉世达电梯有限公司 一种电梯轿厢人数检测系统及其检测方法
CN110002314A (zh) * 2018-08-09 2019-07-12 浙江新再灵科技股份有限公司 一种基于深度学习的电梯乘客被困人数检测系统
US20200364468A1 (en) * 2019-05-17 2020-11-19 Zeroeyes Llc Intelligent video surveillance system and method
CN111353377A (zh) * 2019-12-24 2020-06-30 浙江工业大学 一种基于深度学习的电梯乘客数检测方法
CN111898553A (zh) * 2020-07-31 2020-11-06 成都新潮传媒集团有限公司 一种判别虚像人员的方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN108319953B (zh) 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN110378236B (zh) 基于深度学习的车辆身份识别模型构建、识别方法和系统
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN108596041B (zh) 一种基于视频的人脸活体检测方法
CN103440475B (zh) 一种自动取款机使用者人脸可见性判断系统及方法
CN110119656A (zh) 作业现场违章人员的智能监控系统及现场违章监控方法
CN109359625A (zh) 基于头肩检测和人脸识别技术判断顾客身份的方法和系统
CN109214315A (zh) 人车跨镜头追踪方法及装置
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
CN106241584A (zh) 一种基于扶梯安全的智能视频监控系统及方法
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN109271886A (zh) 一种教育考试监控视频的人体行为分析方法及系统
CN104091354A (zh) 一种基于视频图像的火灾检测方法及其火灾检测装置
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN110046560A (zh) 一种危险驾驶行为检测方法和相机
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN105868690A (zh) 识别驾驶员打手机行为的方法和装置
CN104182769B (zh) 一种车牌检测方法及系统
CN108583592A (zh) 一种地铁乘务作业信息采集智能检测方法
CN108609018B (zh) 用于分析危险驾驶行为的预警终端、预警系统及分析算法
CN108205649A (zh) 驾驶员开车接打电话的状态识别方法及装置
CN115841651B (zh) 基于计算机视觉与深度学习的施工人员智能监测系统
CN108776143A (zh) 一种鸡蛋蛋壳表面微小污斑的在线视觉检测装置及方法
RU2315352C2 (ru) Способ и система для автоматического обнаружения трехмерных образов

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination