CN112200039A - 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法 - Google Patents

电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法 Download PDF

Info

Publication number
CN112200039A
CN112200039A CN202011053632.6A CN202011053632A CN112200039A CN 112200039 A CN112200039 A CN 112200039A CN 202011053632 A CN202011053632 A CN 202011053632A CN 112200039 A CN112200039 A CN 112200039A
Authority
CN
China
Prior art keywords
camera
image
human body
human
core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011053632.6A
Other languages
English (en)
Inventor
招嘉焕
陈小军
陶洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Robustel Technologies Co ltd
Original Assignee
Guangzhou Robustel Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Robustel Technologies Co ltd filed Critical Guangzhou Robustel Technologies Co ltd
Priority to CN202011053632.6A priority Critical patent/CN112200039A/zh
Publication of CN112200039A publication Critical patent/CN112200039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

本发明属于电子技术领域，其公开了一种电梯轿厢全覆盖的人体检测和行为判断的方法，所述方法包括如下步骤：步骤1：第一摄像头、第二摄像头获取轿厢内部、轿厢门口的图像；步骤2：第一摄像头、第二摄像头根据图像识别图像中的人脸；步骤3：在识别特定的人物的动作时，以第一摄像头、第二摄像头中的一个为主摄像头且另外一个为辅助摄像头，所述主摄像头能够获取该特定的人物的全部人脸或其所获取的特定的人物的人脸的图像面积大于辅助摄像头所获取的特定的人物的人脸的图像面积；步骤4：以主摄像头获取的图像分析该人物的动作。该方法结合两个摄像头来分析轿厢内的人的行为，其覆盖全面，分析准确合理，同时本发明还公开了一种电梯轿厢的监控系统和该系统的运行分析方法。

Description

电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析 方法
技术领域
本发明涉及电子技术领域，具体为一种电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法。
背景技术
CN201810885953.9公开了一种姿势判断方法及装置，其中姿势判断方法，采用阅读机器人进行姿势判断，所述阅读机器人具有用于采集被判断对象的图像的透视摄像头，所述方法包括：利用所述摄像头获取被判断对象的图像，其中所述图像至少包括所述被判断对象的脊柱图片信息；对所述图像进行预处理，以获得姿势信息；从所述姿势信息中提取所述被判断对象的脊柱的多个关节点的位置信息，根据所述位置信息依次连接相邻的所述关节点，以获得关节点曲线；对比所述关节点曲线与预存的标准关节点曲线，得到对比结果；根据所述对比结果，判断所述姿势是否标准；若所述姿势不标准，则执行预设提醒操作，从而实现了对姿势是否标准的准确判断。
在电梯轿厢内，由于空间狭小、人员来往频繁，其采用上述监控方法存在固有缺陷。
目前电梯轿厢内有单摄像头的人体检测机制和设备，通过一个摄像头拍摄电梯门的方向，通过深度学习算法判断有无人员进入、已经电梯门开关状态。从而衍生出行梯困人等异常警报的触发。
但会有2个比较常见的缺点：
1、一台摄像机为了兼顾电梯门开关的判断，往往只会对电梯门附近位置进行拍摄。而360相机，在还原图片时候，会造成部分角落的显示丢失，或者是图像变形。因此此台摄像机不会使用360鱼眼摄像头，而是采用一般的非大广角摄像头。那么对于在角落的位置其实无法进行影像的覆盖。
2、针对电梯内的人行为，没有增加姿态判断机制。无法识别出有乘员躺卧在地，或者下蹲、坐倒等姿势。不利于电梯日常秩序维护，或者异常情况下对晕倒人员的及时报警。而下蹲、坐倒等姿势，也不一会在单摄像头拍摄范围之内。
所以，现有的电梯轿厢的人员姿势、动作的判断存在严重不足、准确性不高、检测方法不合理的问题。
发明内容
本发明的目的在于提供一种电梯轿厢全覆盖的人体检测和行为判断的方法，该方法结合两个摄像头来分析轿厢内的人的行为，其覆盖全面，分析准确合理，同时本发明还公开了一种电梯轿厢的监控系统和该系统的运行分析方法。
为实现上述目的，本发明提供如下技术方案：一种电梯轿厢全覆盖的人体检测和行为判断的方法，电梯轿厢内的顶部的对角设置第一摄像头和第二摄像头；所述第一摄像头、第二摄像头正对轿厢内部且第一摄像头、第二摄像头的至少部分视野重合；
所述方法包括如下步骤：
步骤1：第一摄像头、第二摄像头获取轿厢内部、轿厢门口的图像；
步骤2：第一摄像头、第二摄像头根据图像识别图像中的人脸；
步骤3：在识别特定的人物的动作时，以第一摄像头、第二摄像头中的一个为主摄像头且另外一个为辅助摄像头，所述主摄像头能够获取该特定的人物的全部人脸或其所获取的特定的人物的人脸的图像面积大于辅助摄像头所获取的特定的人物的人脸的图像面积；
步骤4：以主摄像头获取的图像分析该人物的动作。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，步骤4中，若主摄像头所获取的图像不能覆盖该人物的全部肢体，则结合辅助摄像头来分析人物的动作。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，步骤4中，若主摄像头所获取的图像不能覆盖该人物的全部肢体，则通过主摄像头所获取的图像分析该人物在图像中的肢体的动作，通过辅助摄像头所获取的图像分析该人物的其他肢体的动作，最后将主摄像头获取的图像、辅助摄像头获取的图像经分析的结果综合得到人物的动作。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，以电梯轿厢内的侧壁的边为竖坐标轴，以垂直于竖坐标轴的横线为横坐标轴；在分析人物的动作时，以该竖坐标轴和横坐标轴组成的坐标轴系为基准对人物的动作进行分析。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，在分析人物的动作时，包括如下子步骤：
子步骤41：识别中该人物的各个身体的部位；
子步骤42：将相邻的部位进行连线，将该连线置于坐标轴系中；
子步骤43：分析各连线和坐标轴系的横坐标轴、竖坐标轴的夹角；
子步骤44：根据子步骤43的计算结果来分析人体的动作。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，步骤3中，通过第一摄像头、第二摄像头识别出轿厢内所有的人后，对各个人进行动作分析。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，所述身体的部位包括躯体的主关节、人脸的特征器官；所述人脸的特征器官包括、眼睛、嘴、鼻子中至少一个；所述主关节包括耳朵、手、脚、肘关节、膝关节、胯关节、肩关节中的多个。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，所述第一摄像头和第二摄像头的视野之和涵盖电梯轿厢的设定高度以下的所有空间。
在上述的电梯轿厢全覆盖的人体检测和行为判断的方法中，还包括步骤5：重复步骤1-4，识别人物的运动轨迹和连续的动作。
同时，本发明还公开了一种电梯轿厢的监控系统，包括在电梯轿厢内的顶部对角设置的第一摄像头和第二摄像头；所述第一摄像头、第二摄像头正对轿厢内部且第一摄像头、第二摄像头的至少部分视野重合；
还包括多核CPU、GPU；所述多核CPU用于执行如上所述的方法；
所述CPU至少具有第一核心、第二核心、第三核心、第四核心；
所述第一核心、第三核心、GPU用于对第一摄像头所获取的图像进行处理、从图像中分离出可识别人脸的人体、对分离出的人体的图像进行识别得到该人体的动作；
所述第二核心、第四核心对第二摄像头所获取的图像进行处理、从图像中分离出可识别人脸的人体、对分离出的人体的图像进行识别得到该人体的动作。
在上述的电梯轿厢的监控系统中，所述第一核心用于存储和预处理第一摄像头获取的图像，得到第一预处理图像；
所述第二核心用于存储和预处理第二摄像头获取的图像，得到第二预处理图像；
所述第三核心用于清点、保存和预处理第一预处理图像中经GPU区分出来的各人体的图像，并将各人体的图像发送给GPU处理，通过GPU分析各人体的动作，将GPU分析得到的动作进行计算分析得到人体的行为；
所述第四核心用于清点、保存和预处理第二预处理图像中经GPU区分出来的各人体的图像，并将各人体的图像发送给GPU处理，通过GPU分析各人体的动作，将GPU分析得到的动作进行计算分析得到人体的行为；
所述GPU用于对第一预处理图像、第二预处理图像进行人体识别，将各人体予以区分；用于对第三核心和第四核心预处理的各人体的图像进行识别，分析各人体的动作。
同时，本发明还公开了一种如上述的监控系统的分析方法，包括如下步骤：
步骤11：第一核心对第一摄像头获取的图像进行存储、预处理得到第一预处理图像；第二核心对于第二摄像头获取的图像进行存储预处理得到第二预处理图像；
步骤12：GPU分别对于第一预处理图像、第二预处理图像进行分析，分离出第一预处理图像、第二预处理图像中可识别的人脸的人体；
步骤13：第三核心基于步骤12的分析对于第一预处理图像进行处理，分离出可识别人脸的人体，得到第一个体图像；第四核心基于步骤12的分析对于第二预处理图像进行处理，分离出可识别人脸的人体，得到第二个体图像；
步骤14：GPU对于第一个体图像、第二个体图像进行分析，分析各人体的动作；
步骤15：第三核心、第四核心基于步骤14的分析得到第一个体图像的行为、第二个体图像的行为。
在上述的监控系统的分析方法中，所述第一摄像头、第二摄像头按照预设间隔时间不断获取图像；并通过CPU和GPU通过步骤11-步骤15进行处理，绘制各人体的运动轨迹和识别连续的动作所代表的行为的意义。
在上述的监控系统的分析方法中，，所述CPU还用于在分析得到行为的意义或者根据人体的运动轨迹推测出设备运行状态后并符合告警条件的情况下发出告警。
在上述的监控系统的分析方法中，符合告警条件的行为的意义为病理行为、非法行为、不合规行为；
当某一人体的运动轨迹在设定时间内持续在电梯轿厢内不间断的保持，且电梯门没有开关。则判断电梯处于故障停运状态，符合告警条件。
在上述的监控系统的分析方法中，所述病理行为包括平躺、坐姿依靠电梯轿厢；所述不合规行为包括骑车行为、推车行为、抽烟行为。
与现有技术相比，本发明的有益效果是：
本发明提供2个摄像头的覆盖方式，实现梯内监控无死角。通过对两个摄像头的图像捕捉情况灵活调整两个设想头的主从关系，进而利于人物识别，降低动作分析难度。
优选地，在无法全身拍摄的情况下，两个摄像头还可相互补充，进行图像分析，识别人的完整的动作。
同时借此增加人体姿势的识别，判断下蹲、坐倒、躺卧等姿势的判断，有效补充了实际场景的使用需求。
此外，结合多线程的CPU和一个GPU，对2个摄像头进行流水线的设计，增强设备处理能力，提高反应速度。
附图说明
图1为本实施例1的结构示意图；
图2为本实施例1的人体部位标号后的示意图；
图3-7为本实施例1中各种人体姿势的示意图；
图8为本实施例1的应用场景图；
图9为本实施例1的流程图；
图10为本实施例1的步骤4的流程图；
图11为本实施例2的结构图；
图12为本实施例2的工作时序图；
图13-18为本实施例2的各时刻的GPU和CPU的工作状态图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参考图1-10，一种电梯轿厢全覆盖的人体检测和行为判断的方法，电梯轿厢3内的顶部的对角设置第一摄像头1和第二摄像头2；所述第一摄像头1、第二摄像头2正对轿厢3内部且第一摄像头1、第二摄像头2的部分视野重合；第一摄像头1、第二摄像头2的视野范围不低于距离轿厢3的底面2米的高度。
所述方法包括如下步骤：
步骤1：第一摄像头1、第二摄像头2获取轿厢3内部、轿厢3门口的图像；
第一摄像头1、第二摄像头2的覆盖区域可参考图1所示，两者配合可覆盖轿厢3内和门口的所有面积，可识别轿厢3门口的人和轿厢3外面的人。
步骤2：第一摄像头1、第二摄像头2根据图像识别图像中的人脸；
设备人脸时一个非常重要的步骤，是为后面步骤中决定采用哪个摄像头作为主摄像头的依据，人脸的识别并非要识别该人的身份，只是要识别该人脸的特征以及将其和其他人脸区分开就可以。
步骤3：在识别特定的人物的动作时，以第一摄像头1、第二摄像头2中的一个为主摄像头且另外一个为辅助摄像头，所述主摄像头能够获取该特定的人物的全部人脸或其所获取的特定的人物的人脸的图像面积大于辅助摄像头所获取的特定的人物的人脸的图像面积；
当第一摄像头1拍摄到轿厢3中某一人物的人脸的全部时，在识别该人物的动作时，以第一摄像头1为主摄像头，以第二摄像头2为辅助摄像头；
或者，当第一摄像头1拍摄到轿厢3中某一人物的人脸的图像面积大于第二摄像头2拍摄到轿厢3中某一人物的人脸的图像面积时，在识别该人物的动作时，以第一摄像头1为主摄像头，以第二摄像头2为辅助摄像头；
第二摄像头2作为主摄像头时也依据上述方法。
在此步骤中，涉及到如何通过第一摄像头1和第二摄像头2锁定同一个人的问题，一般来说，在第一摄像头1的画面中出现的物体在第二摄像头2中也应当会在对应的位置出现，所以通过位置的定位可确定同一个人，也可以通过衣着特征等能够表征同一个人的方法来识别两个摄像头中的人物是否为同一人，比如同一个人其衣服、裤子前后应当是具有相同的特征的，通过特征识别的方法也可以识别是同一个人，最优选的是，基于空间位置的定位和服饰等特征识别结合来识别同一个人。
在特定情况下，如果只有一个摄像头捕捉到人体，则以该摄像头为主摄像头，另外一个摄像头在后续的动作分析过程中不起作用。
步骤4：以主摄像头获取的图像分析该人物的动作；
在分析人的动作之前，建议建立一个坐标轴系，通过坐标轴系来进行关节关系的确定更为准确，具体来说，以电梯轿厢3内的侧壁的边为竖坐标轴，以垂直于竖坐标轴的横线为横坐标轴；在分析人物的动作时，以该竖坐标轴和横坐标轴组成的坐标轴系为基准对人物的动作进行分析；该坐标轴系还可以预防摄像头装反(这种情况在工程安装过程中经常出现，一旦出现装反的情况，会在图像中表现为该坐标轴系倒立了。)；
在分析人物的动作时，包括如下子步骤：
子步骤41：识别中该人物的各个身体的部位；
身体的部位的确定是预先经过AI训练后计算机来进行识别，这个技术是现有技术中常用的。如谷歌的Move Mirror技术，谷歌的Move Mirror技术不仅仅可识别关节所在，甚至于在后文的动作识别中也可以利用谷歌的Move Mirror技术。
所述身体的部位包括躯体的主关节、人脸的特征器官；所述人脸的特征器官包括耳朵、眼睛、嘴、鼻子中至少一个；所述主关节包括手、脚、肘关节、膝关节、胯关节、肩关节中的多个。
子步骤42：将相邻的部位进行连线，将该连线置于坐标轴系中；
参考图3，图3中将人体的各个关节部位以及脸部特征部位进行编号，对各编号进行连线。
子步骤43：分析各连线和坐标轴系的横坐标轴、竖坐标轴的夹角；
当人进行某一个动作是，是多个关节协同作用的结果，所以通过不同的连线和坐标系的关系，就可以判断人的动作。
子步骤44：根据子步骤43的计算结果来分析人体的动作。
需要说明的是，在分析人体的动作时，也可以参考背景技术中所引用的专利技术。
但是，在本实施例中，是具有应用于轿厢3中的，上述子步骤41-44是比较优选的方式，参考图2-7，可以看出，当双腿直立时，人腿和坐标轴系的竖坐标轴是平行的；当人弯腰时，肩关节和胯关节的连线是与竖坐标轴具有一定的夹角的。
在分析人的动作时，是需要结合各关节之间的连线来确定的，不应该通过手臂的形状或腿的形状就确定了动作，应该是手、脚、躯干、头部和坐标系的各夹角来综合分析人的动作。
在特殊情况下，参考图8，如果主摄像头不能覆盖该人物的全部肢体，则通过主摄像头所获取的图像分析该人物在图像中的肢体的动作，通过辅助摄像头所获取的图像分析该人物的其他肢体的动作，最后将主摄像头获取的图像、辅助摄像头获取的图像经分析的结果综合得到人物的动作。辅助摄像头通过所获取的图像分析该人物的其他肢体的动作的方法可参考子步骤41-44。
参考图2，图2示出了人体的各个部位，并且进行了编号。当人员全部覆盖侦测以后，就可以对其姿态进行识别。每个人的关节部分，都会打上数字标签。文明行为或者异常情况，可以通过编号0(头部)、1(颈部)、8和11(股关节)、9和12(膝盖)、10和13(脚脖子)进行位置分析。
比如，以下行为的算法示意，角度按顺时针方向计算。：
参考图3，低头：0-1连线和水平线夹角大于315度；
参考图4，站立：1和8/11的线条，对应8和10，或者11和13的线条，夹角大于125度。且9和10的连线，与垂直线小于45度。
踢腿则是有一腿部连线与垂直线夹角大于45度。
参考图5，弯腰：1和8/11的线条，对应8和10，或者11和13的线条，夹角小于125度。
参考图6，卧趟：8-10，或者11-13的线条，与水平线夹角小于45度。
参考图7，下蹲：8-9线条，对应9-10线条的夹角小于45度。同理，12-11线条，对应12-13线条的夹角也小于45度。
步骤5：重复步骤1-4，识别人物的运动轨迹和连续的动作。
多次重复步骤1-4，可根据动作识别行为，如抽烟的行为，可通过是否有发光的烟头、是否手臂频繁的靠近嘴边等来识别，如晕倒的行为，可通过晕倒前的站立结合晕倒后的持续的倒地动作进行分析得到。
步骤1-5中并没有详细阐述除了人体之外的其他物体的判断，实际上结合其他物体可以更为准确的分析人的行为，比如通过摄像头分析物体是否为电动车，就可以判断这个人是否推了电动车进入轿厢3，通过摄像头分析物体是否为利刃，结合两个人之间的位置和动作就可以判断是否存在抢劫行为等。
此外步骤1-5中也没有描述对于类似于人体的图像的排出，但是实际上通过第一摄像头1和第二摄像头2也可以判断，由于二维图片不管在哪个角度来说，在坐标系中的位置都是相同的且不变的，可以在前期的图像训练中，根据这两个指标可将轿厢3上广告中的人脸予以识别和剔除，避免对后续识别造成影响。
在步骤1-5中，并非是对仅仅对一个人进行分析，上述步骤1-5是对轿厢3中任意一个人进行分析，在实际操作过程中，应当应用步骤1-5来分析轿厢3内的全部人员。
实施例2
参考图10，一种电梯轿厢的监控系统，包括在电梯轿厢3内的顶部对角设置的第一摄像头1和第二摄像头2；所述第一摄像头1、第二摄像头2正对轿厢3内部且第一摄像头1、第二摄像头2的至少部分视野重合；
还包括多核CPU4、GPU5；
所述CPU4至少具有第一核心41、第二核心42、第三核心43、第四核心44；
所述第一核心41、第三核心43、GPU5用于对第一摄像头1所获取的图像进行处理、从图像中分离出可识别人脸的人体、对分离出的人体的图像进行识别得到该人体的动作；
所述第二核心42、第四核心44对第二摄像头2所获取的图像进行处理、从图像中分离出可识别人脸的人体、对分离出的人体的图像进行识别得到该人体的动作。
具体来说，所述第一核心41用于存储和预处理第一摄像头1获取的图像，得到第一预处理图像；
所述第二核心42用于存储和预处理第二摄像头2获取的图像，得到第二预处理图像；
所述第三核心43用于清点、保存和预处理第一预处理图像中经GPU5区分出来的各人体的图像，并将各人体的图像发送给GPU5处理，通过GPU5分析各人体的动作，将GPU5分析得到的动作进行计算分析得到人体的行为；
所述第四核心44用于清点、保存和预处理第二预处理图像中经GPU5区分出来的各人体的图像，并将各人体的图像发送给GPU5处理，通过GPU5分析各人体的动作，将GPU5分析得到的动作进行计算分析得到人体的行为；
所述GPU5用于对第一预处理图像、第二预处理图像进行人体识别，将各人体予以区分；用于对第三核心43和第四核心44预处理的各人体的图像进行识别，分析各人体的动作。
该系统的运行过程和原理为：
其过程包括如下步骤：
步骤11：第一核心41对第一摄像头1获取的图像进行存储、预处理得到第一预处理图像；第二核心42对于第二摄像头2获取的图像进行存储预处理得到第二预处理图像；
在步骤11中，第一核心41、第二核心42的处理主要包括以下几个小步骤：1、控制第一摄像头1和第二摄像头2获取图像；2、保存图像文件；3、读取和预处理图像，这里的预处理包括降噪处理、清晰化处理等，使图像更利于GPU5进行人体识别的技术都可算作预处理。
步骤12：GPU5分别对于第一预处理图像、第二预处理图像进行分析，分离出第一预处理图像、第二预处理图像中可识别的人脸的人体；
GPU5是指图形处理器，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器；通过写入的程序，可以将识别人体、从图像中分离人体、识别人体的特征位置，甚至于识别人体的动作等，其相比于CPU4更加专注于图像的处理。
步骤13：第三核心43基于步骤12的分析对于第一预处理图像进行处理，分离出可识别人脸的人体，得到第一个体图像；第四核心44基于步骤12的分析对于第二预处理图像进行处理，分离出可识别人脸的人体，得到第二个体图像；
也就是说，第三核心43和第四核心44的第一个功能就是将各个符合条件的个体的图像从第一预处理图像、第二预处理图像中剥离出来，利于后续GPU5进行动作分析。
步骤14：GPU5对于第一个体图像、第二个体图像进行分析，分析各人体的动作；
步骤15：第三核心43、第四核心44基于步骤14的分析得到第一个体图像的行为、第二个体图像的行为。
第三核心43、第四核心44的另外一个功能就是根据GPU5的分析结果来确定该动作是什么动作，是进行动作判断的执行者。通过步骤14的描述可以知道，GPU5只是动作的分析者，GPU5分析了动作后，通过CPU4来判断是什么动作。
所述第一摄像头1、第二摄像头2按照预设间隔时间不断获取图像；并通过CPU4和GPU5通过步骤11-步骤15进行处理，绘制各人体的运动轨迹和识别连续的动作所代表的行为的意义。
在上述步骤之外，所述CPU4还用于在分析得到行为的意义或者根据人体的运动轨迹推测出设备运行状态后并符合告警条件的情况下发出告警，符合告警条件的行为的意义为病理行为、非法行为、不合规行为；
当某一人体的运动轨迹在设定时间内持续在电梯轿厢3内不间断的保持，且电梯门没有开关。则判断电梯处于故障停运状态，符合告警条件，具体来说，所述病理行为包括平躺、坐姿依靠电梯轿厢3；所述不合规行为包括骑车行为、推车行为、抽烟行为。非法行为包括搏斗、抢劫、强奸、纵火等行为。
参考图12-18，本实施例的CPU4多线程和GPU5结合，可通过多核心、多线程的CPU4来对第一摄像头1和第二摄像头2的图像的判断进行流水化。
参考图13-18，可看出GPU5的计算在本实施例中是进行了充分的优化的。基于多核心的CPU4的存在，参考图14，当CPU41在拍摄照片时，GPU5对于上一张照片进行预处理，实现对于人体1和2的推理，用于将单个人体从人群中识别出来，当GPU5对上一张照片预处理完成实现人体1的推理后，就会转入对于另外一张照片处理完成人体2的推理，在GPU5进行人体1和2的推理时，第一核心41、第二核心42对第一摄像头1、第二摄像头2继续获得的图像进行预处理，参考图15，然后GPU5会转入对姿态1和姿态2的推理；此时第三核心43和第四核心44会对第一摄像头1、第二摄像头2后续获取的图像中分离出来的人体的图像进行预处理。
通过图,13-图18的分析可以发现，GPU5是处于不间断的工作状态的，当其完成人体推理后就会转入姿态推理，然后又进行人体推理，这得益于多核心CPU4的处理任务的分配。
通过软件优化2个摄像头的识别工作，尽可能提高GPU5利用率，从而提升应用的性能。按照实际测试结果，采用此方式整体性能可以提高20％-40％左右。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (16)

1.一种电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于：电梯轿厢内的顶部的对角设置第一摄像头和第二摄像头；所述第一摄像头、第二摄像头正对轿厢内部且第一摄像头、第二摄像头的至少部分视野重合；
所述方法包括如下步骤：
步骤1：第一摄像头、第二摄像头获取轿厢内部、轿厢门口的图像；
步骤2：第一摄像头、第二摄像头根据图像识别图像中的人脸；
步骤3：在识别特定的人物的动作时，以第一摄像头、第二摄像头中的一个为主摄像头且另外一个为辅助摄像头；所述主摄像头能够获取该特定的人物的全部人脸或其所获取的特定的人物的人脸的图像面积大于辅助摄像头所获取的特定的人物的人脸的图像面积；
步骤4：以主摄像头获取的图像分析该人物的动作。
2.根据权利要求1所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于：步骤4中，若主摄像头所获取的图像不能覆盖该人物的全部肢体，则结合辅助摄像头来分析人物的动作。
3.根据权利要求2所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于：步骤4中，若主摄像头所获取的图像不能覆盖该人物的全部肢体，则通过主摄像头所获取的图像分析该人物在图像中的肢体的动作，通过辅助摄像头所获取的图像分析该人物的其他肢体的动作，最后将主摄像头获取的图像、辅助摄像头获取的图像经分析的结果综合得到人物的动作。
4.根据权利要求1所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于，以电梯轿厢内的侧壁的边为竖坐标轴，以垂直于竖坐标轴的横线为横坐标轴；在分析人物的动作时，以该竖坐标轴和横坐标轴组成的坐标轴系为基准对人物的动作进行分析。
5.根据权利要求1所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于，在分析人物的动作时，包括如下子步骤：
子步骤41：识别中该人物的各个身体的部位；
子步骤42：将相邻的部位进行连线，将该连线置于坐标轴系中；
子步骤43：分析各连线和坐标轴系的横坐标轴、竖坐标轴的夹角；
子步骤44：根据子步骤43的计算结果来分析人体的动作。
6.根据权利要求1所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于，步骤3中，通过第一摄像头、第二摄像头识别出轿厢内所有的人后，对各个人进行动作分析。
7.根据权利要求5所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于，所述身体的部位包括躯体的主关节、人脸的特征器官；所述人脸的特征器官包括眼睛、嘴、鼻子中至少一个；所述主关节包括耳朵、手、脚、肘关节、膝关节、胯关节、肩关节中的多个。
8.根据权利要求1所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于，所述第一摄像头和第二摄像头的视野之和涵盖电梯轿厢的设定高度以下的所有空间。
9.根据权利要求1所述的电梯轿厢全覆盖的人体检测和行为判断的方法，其特征在于，还包括步骤5：重复步骤1-4，识别人物的运动轨迹和连续的动作。
10.一种电梯轿厢的监控系统，其特征在于，包括在电梯轿厢内的顶部对角设置的第一摄像头和第二摄像头；所述第一摄像头、第二摄像头正对轿厢内部且第一摄像头、第二摄像头的至少部分视野重合；
还包括多核CPU、GPU；
所述多核CPU用于执行如权利要求1-9任一所述的方法；
所述CPU至少具有第一核心、第二核心、第三核心、第四核心；
所述第一核心、第三核心、GPU用于对第一摄像头所获取的图像进行处理、从图像中分离出可识别人脸的人体、对分离出的人体的图像进行识别得到该人体的动作；
所述第二核心、第四核心对第二摄像头所获取的图像进行处理、从图像中分离出可识别人脸的人体、对分离出的人体的图像进行识别得到该人体的动作。
11.根据权利要求10所述的电梯轿厢的监控系统，其特征在于，所述第一核心用于存储和预处理第一摄像头获取的图像，得到第一预处理图像；
所述第二核心用于存储和预处理第二摄像头获取的图像，得到第二预处理图像；
所述第三核心用于清点、保存和预处理第一预处理图像中经GPU区分出来的各人体的图像，并将各人体的图像发送给GPU处理，通过GPU分析各人体的动作，将GPU分析得到的动作进行计算分析得到人体的行为；
所述第四核心用于清点、保存和预处理第二预处理图像中经GPU区分出来的各人体的图像，并将各人体的图像发送给GPU处理，通过GPU分析各人体的动作，将GPU分析得到的动作进行计算分析得到人体的行为；
所述GPU用于对第一预处理图像、第二预处理图像进行人体识别，将各人体予以区分；用于对第三核心和第四核心预处理的各人体的图像进行识别，分析各人体的动作。
12.一种如权利要求10或11所述的监控系统的分析方法，其特征在于，包括如下步骤：
步骤11：第一核心对第一摄像头获取的图像进行存储、预处理得到第一预处理图像；第二核心对于第二摄像头获取的图像进行存储预处理得到第二预处理图像；
步骤12：GPU分别对于第一预处理图像、第二预处理图像进行分析，分离出第一预处理图像、第二预处理图像中可识别的人脸的人体；
步骤13：第三核心基于步骤12的分析对于第一预处理图像进行处理，分离出可识别人脸的人体，得到第一个体图像；第四核心基于步骤12的分析对于第二预处理图像进行处理，分离出可识别人脸的人体，得到第二个体图像；
步骤14：GPU对于第一个体图像、第二个体图像进行分析，分析各人体的动作；
步骤15：第三核心、第四核心基于步骤14的分析得到第一个体图像的行为、第二个体图像的行为。
13.根据权利要求11所述的监控系统的分析方法，其特征在于，所述第一摄像头、第二摄像头按照预设间隔时间不断获取图像；并通过CPU和GPU通过步骤11-步骤15进行处理，绘制各人体的运动轨迹和识别连续的动作所代表的行为的意义。
14.根据权利要求13所述的监控系统的分析方法，其特征在于，所述CPU还用于在分析得到行为的意义或者根据人体的运动轨迹推测出设备运行状态后并符合告警条件的情况下发出告警。
15.根据权利要求13所述的监控系统的分析方法，其特征在于，符合告警条件的行为的意义为病理行为、非法行为、不合规行为；
当某一人体的运动轨迹在设定时间内持续在电梯轿厢内不间断的保持，且电梯门无开关动作，则判断电梯处于故障停运状态，符合告警条件。
16.根据权利要求15所述的监控系统的分析方法，其特征在于，所述病理行为包括平躺、坐蹲姿依靠电梯轿厢；所述不合规行为包括骑车行为、推车行为、抽烟行为。
CN202011053632.6A 2020-09-30 2020-09-30 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法 Pending CN112200039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011053632.6A CN112200039A (zh) 2020-09-30 2020-09-30 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011053632.6A CN112200039A (zh) 2020-09-30 2020-09-30 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法

Publications (1)

Publication Number Publication Date
CN112200039A true CN112200039A (zh) 2021-01-08

Family

ID=74008019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011053632.6A Pending CN112200039A (zh) 2020-09-30 2020-09-30 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法

Country Status (1)

Country Link
CN (1) CN112200039A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792700A (zh) * 2021-09-24 2021-12-14 成都新潮传媒集团有限公司 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
CN113963439A (zh) * 2021-10-22 2022-01-21 无锡八英里电子科技有限公司 一种基于机器视觉的电梯轿厢扒门行为识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792700A (zh) * 2021-09-24 2021-12-14 成都新潮传媒集团有限公司 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
CN113792700B (zh) * 2021-09-24 2024-02-27 成都新潮传媒集团有限公司 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
CN113963439A (zh) * 2021-10-22 2022-01-21 无锡八英里电子科技有限公司 一种基于机器视觉的电梯轿厢扒门行为识别方法

Similar Documents

Publication Publication Date Title
Bălan et al. The naked truth: Estimating body shape under clothing
Bobick et al. The recognition of human movement using temporal templates
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
JP5598751B2 (ja) 動作認識装置
Havasi et al. Detection of gait characteristics for scene registration in video surveillance system
CN112200039A (zh) 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法
Guo et al. Action recognition in video by covariance matching of silhouette tunnels
Chen et al. A video‐based human fall detection system for smart homes
CN111243230A (zh) 基于两台深度相机的人体跌倒检测装置和方法
López-Méndez et al. Real-time upper body tracking with online initialization using a range sensor
Haritaoglu et al. Ghost/sup 3D: detecting body posture and parts using stereo
Cosar et al. Volume-based human re-identification with rgb-d cameras
CN112036324A (zh) 一种用于复杂多人场景的人体姿态判定方法及系统
Wang et al. Robust pose recognition of the obscured human body
Elhamod et al. Real-time semantics-based detection of suspicious activities in public spaces
Harguess et al. Occlusion robust multi-camera face tracking
Silapasuphakornwong et al. Posture recognition invariant to background, cloth textures, body size, and camera distance using morphological geometry
Zhan et al. Pictorial structures model based human interaction recognition
Martin et al. An evaluation of different methods for 3d-driver-body-pose estimation
CN110572618B (zh) 一种非法拍照行为监控方法、装置及系统
Hung et al. Detecting fall incidents of the elderly based on human-ground contact areas
EP4128016A1 (en) Motion tracking of a toothcare appliance
CN113792700A (zh) 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
Lablack et al. Analysis of human behaviour in front of a target scene
Bernier Real-time 3d articulated pose tracking using particle filters interacting through belief propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 511356 Room 501, building 2, No. 63, Yong'an Avenue, Huangpu District, Guangzhou, Guangdong

Applicant after: Guangzhou lubangtong Internet of things Technology Co.,Ltd.

Address before: 510653 room F315, 95 daguanzhong Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU ROBUSTEL TECHNOLOGIES Co.,Ltd.

CB02 Change of applicant information