CN113955594B - 一种电梯控制方法、装置、计算机设备和存储介质 - Google Patents

一种电梯控制方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113955594B
CN113955594B CN202111211430.4A CN202111211430A CN113955594B CN 113955594 B CN113955594 B CN 113955594B CN 202111211430 A CN202111211430 A CN 202111211430A CN 113955594 B CN113955594 B CN 113955594B
Authority
CN
China
Prior art keywords
human body
detection frame
passenger
body posture
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111211430.4A
Other languages
English (en)
Other versions
CN113955594A (zh
Inventor
李文海
章飞
李良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Building Technology Guangzhou Co Ltd
Original Assignee
Hitachi Building Technology Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Building Technology Guangzhou Co Ltd filed Critical Hitachi Building Technology Guangzhou Co Ltd
Priority to CN202111211430.4A priority Critical patent/CN113955594B/zh
Publication of CN113955594A publication Critical patent/CN113955594A/zh
Application granted granted Critical
Publication of CN113955594B publication Critical patent/CN113955594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/02Control systems without regulation, i.e. without retroactive action
    • B66B1/06Control systems without regulation, i.e. without retroactive action electric
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0012Devices monitoring the users of the elevator system

Abstract

本发明实施例提供了一种电梯控制方法、装置、计算机设备和存储介质,该方法包括:获取电梯轿厢内的监控图像,将监控图像输入预先训练好的人体姿态识别模型中,得到电梯轿厢内乘客的人体姿态,根据人体姿态判断乘客的健康状态是否是异常状态,若是,控制电梯运行至预设楼层。考虑到乘客在健康状态为异常状态时往往会伴随着人体姿态的改变,通过预先训练好的人体姿态识别模型对乘客的人体姿态进行分析来判断乘客的健康状态,既能准确判断出乘客的健康状态,又能在乘客的健康状态为异常状态时迅速作出救助反应,且无需人工实时监控,节约了人力。

Description

一种电梯控制方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及电梯安全技术领域,尤其涉及一种电梯控制方法、装置、计算机设备和存储介质。
背景技术
随着城市的快速发展,电梯作为一种运送人员和物资的垂直交通工具,已经深入到人们生活的方方面面,人们搭乘电梯的频率越来越高,而电梯通常情况下是一个密闭的空间,当乘客乘梯时若发生意外,往往难以在第一时间被发现,错过乘客的最佳救助时间而导致严重后果,为了保障乘客乘梯时的安全问题,实时监控乘客的健康状态并及时救助健康状态为异常状态的乘客是非常必要的。
目前,对电梯内乘客的健康状态的监控,一般为电梯的管理人员通过电梯轿厢内的监控视频来检测乘客的健康状态是否异常,但人工监测不仅耗费人力,也难以每时每刻都监测到乘客的健康状态,例如在管理人员换班时或者晚上无人值班时,都可能出现乘客健康状态异常而无法及时被救助的情况。
发明内容
本发明实施例提出了一种电梯控制方法、装置、计算机设备和存储介质,以解决人工监控电梯内乘客的健康状态存在的耗费人力、效果差的问题。
第一方面,本发明实施例提供了一种电梯控制方法,包括:
获取电梯轿厢内的监控图像;
将所述监控图像输入预先训练好的人体姿态识别模型中,得到所述电梯轿厢内乘客的人体姿态;
根据所述人体姿态判断所述乘客的健康状态是否是异常状态;
若是,控制电梯运行至预设楼层。
第二方面,本发明实施例还提供了一种电梯控制装置,包括:
监控图像获取模块,用于获取电梯轿厢内的监控图像;
人体姿态识别模块,用于将所述监控图像输入预先训练好的人体姿态识别模型中,得到所述电梯轿厢内乘客的人体姿态;
健康状态判断模块,用于根据所述人体姿态判断所述乘客的健康状态是否是异常状态,若是则执行电梯控制运行模块所执行的内容;
电梯运行控制模块,控制电梯运行至预设楼层。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序,
当所述一个或多个计算机程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的电梯控制方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的电梯控制方法。
本发明实施例在获取电梯轿厢内的监控图像后,将监控图像输入预先训练好的人体姿态识别模型中,得到电梯轿厢内乘客的人体姿态,根据人体姿态判断乘客的健康状态是否是异常状态,若是,控制电梯运行至预设楼层。考虑到乘客在健康状态为异常状态时往往会伴随着人体姿态的改变,通过预先训练好的人体姿态识别模型对乘客的人体姿态进行分析来判断乘客的健康状态,既能准确判断出乘客的健康状态,又能在乘客的健康状态为异常状态时迅速作出救助反应,且无需人工实时监控,节约了人力。
附图说明
图1为本发明实施例一提供的一种电梯控制方法的流程图;
图2为本发明实施例提供的电梯控制系统的示意图;
图3是本发明实施例二提供的一种电梯控制方法的流程图;
图4是本发明实施例三提供的一种人体姿态识别方法的流程图;
图5是本发明实施例三提供的一种人体姿态筛选方法的流程图;
图6为本发明实施例四提供的一种电梯控制装置的结构示意图;
图7为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种电梯控制方法的流程图,本实施例可适用于基于乘客的健康状态来控制电梯的情况,该方法可以由电梯控制装置来执行,该电梯控制装置可以由软件和/或硬件实现,可配置在计算机设备中,例如,配置在电梯管理系统中。
如图2所示,计算机设备为电梯管理系统,电梯管理系统包括智能分析单元201、小区系统202、电梯主控203、电梯数据转发单元204、路由器205、图像采集装置(IPC)206以及电梯轿厢207,不同模块之间可通过路由器205和/或电梯数据转发单元204进行数据交换。
由图像采集装置206实时采集电梯轿厢207中的监控图像,并将监控图像发送至智能分析单元201,智能分析单元201通过监控图像来判断是否存在乘客健康状态异常的情况,若是,向小区系统202发送乘客健康状态为异常状态的结果,小区系统202在接收到该结果时,生成控制电梯运行的控制指令并发送给电梯主控203,由电梯主控203根据控制指令来控制电梯的运行。
如图1所示,基于上述电梯管理系统,本发明实施例的电梯控制方法具体可以包括如下步骤:
S101、获取电梯轿厢内的监控图像。
电梯作为人们频繁出入的场所,为了保障电梯内乘客的安全,电梯轿厢内通常配置有摄像头,在电梯运行后轿厢属于密闭空间,要确认乘客的健康状态,可以通过电梯轿厢内的监控图像来进行判断,其中,监控图像为电梯管理系统中的图像采集设备206所采集的电梯轿厢内的实时图像。
监控图像的获取可以通过解码图像采集设备206采集到的RTSP视频流所获得,也可以通过抓拍方式进行采集,由于智能分析单元要应对多台电梯并行实时评估乘客身体状态的需求,对算力资源及带宽资源要求较高,为了节省算力资源及带宽资源,一般优先采用抓拍单帧图像的方式实现,例如,可以按照预设周期控制电梯轿厢内的摄像头进行拍摄得到监控图像。
S102、将监控图像输入预先训练好的人体姿态识别模型中,得到电梯轿厢内乘客的人体姿态。
由于乘客在乘坐电梯的时间较短,一般在2-3分钟以内,通常情况下乘客乘坐电梯时是站着的,而乘客在身体不舒适的情况下可能会坐在电梯轿厢地板上,例如乘客处于疲劳状态,而乘客躺在轿厢地板上则表示乘客健康状态异常,例如乘客晕倒或休克,因此,可以根据乘客的人体姿态来评估健康状态,例如,人体姿态为站或坐表示健康状态为正常状态,人体姿态为躺表示健康状态为异常状态,并可以根据以上评估得到人体姿态-健康状态匹配表。
针对乘客在不同健康状态下的不同人体姿态,可以采用电梯轿厢内图像样本对模型进行训练,得到满足要求的人体姿态识别模型,该模型用于识别乘客的人体姿态,进而评估乘客的健康状态。人体姿态识别模型可以预先由模型训练服务器完成,模型训练完成后部署到电梯的管理系统中的智能分析单元201,用于上述的人体姿态识别。
当乘客乘坐电梯时,电梯轿厢内的监控图像中即包括乘客的人体图像,将监控图像输入预先训练好的人体姿态识别模型中,即可以得到电梯轿厢内乘客的人体姿态。
S103、根据人体姿态判断乘客的健康状态是否是异常状态。
在获取乘客的人体姿态后,即可以根据人体姿态和预设的人体姿态-健康状态匹配表来判断乘客的健康状态是否是异常状态,若是,则执行步骤S104。
S104、控制电梯运行至预设楼层。
在判断出乘客的健康状态为异常状态时,即应该及时救助乘客,由于乘客的健康状态为异常状态时电梯通常处于某一中间楼层,因此,可以控制电梯管理系统退出正常服务状态,即不再响应召梯指令或前往目的楼层的指令等,而是控制电梯运行至便于救助乘客的预设楼层,例如,控制电梯运行至救助人员所在的楼层或者便于外来医务人员救助乘客的楼层。
本发明实施例在获取电梯轿厢内的监控图像后,将监控图像输入预先训练好的人体姿态识别模型中,得到电梯轿厢内乘客的人体姿态,根据人体姿态判断乘客的健康状态是否是异常状态,若是,控制电梯运行至预设楼层。考虑到乘客在健康状态为异常状态时往往会伴随着人体姿态的改变,通过预先训练好的人体姿态识别模型对乘客的人体姿态进行分析来判断乘客的健康状态,既能准确判断出乘客的健康状态,又能在乘客的健康状态为异常状态时迅速作出救助反应,且无需人工实时监控,节约了人力。
实施例二
图3为本发明实施例二提供的一种电梯控制方法的流程图,本实施例以实施例一为基础进一步优化,该电梯控制方法具体包括如下步骤:
S301、按照预设周期控制电梯轿厢内的摄像头进行拍摄,得到监控图像。
要确认乘客的健康状态,可以通过电梯轿厢内的监控图像来进行判断,其中,监控图像为电梯管理系统中的图像采集设备所采集的电梯轿厢内的实时图像,按照预设周期控制电梯轿厢内的摄像头进行拍摄来获取监控图像,无需通过解码RTSP视频流来采集监控图像,可以节省算力资源及带宽资源,并且可以快速获取到监控图像,有利于及时识别和救助健康状为异常状态的乘客。
S302、将监控图像输入人体识别子模型中,得到人体检测框。
针对乘客在不同健康状态下的不同人体姿态,可以采用电梯轿厢内图像样本对模型进行训练,得到满足要求的人体姿态识别模型,该模型用于识别乘客的人体姿态,进而评估乘客的健康状态。
人体识别子模型用于从图像中识别出人体,在采集到电梯轿厢内的监控图像后,可以采用Yolov4进行人体识别,输出人体数量及人体检测框,其中,人体检测框的数量等于人体数量。
另外,由于电梯轿厢中的图像采集设备通常安装在轿顶后部,与标准模型训练时采用的图像样本拍摄角度有很大的差别,采用Yolov4自带的模型及权重文件进行人体识别时,检出率很低,不能满足实际需要,因此,可以采用轿厢内采集的人体图像样本对Yolov4模型权重进行重新训练,得到满足要求的模型权重文件,用于对该电梯轿厢的监控图像进行人体识别,以提高人体识别的检出率,进一步地,提高乘客乘梯的安全性。
S303、在监控图像中截取人体检测框区域得到人体图像。
在将监控图像输入人体识别子模型中得到人体检测框时,还可以得到人体检测框的坐标,根据各人体检测框的坐标在监控图像中截取人体检测框区域,得人体图像。
S304、将人体图像输入人体姿态识别子模型中得到人体图像中人体的人体姿态。
人体姿态识别子模型用于根据人体图像来识别乘客的姿态,姿态可以包括站、坐、躺等。人体姿态识别子模型可以采用Resnet将各人体图像进行人体姿态的分类。
S305、判断人体姿态是否为预设人体姿态,预设人体姿态为人体躺在电梯轿厢内的姿态。
若是,执行S307-S308,若否,执行S306。
S306、确定乘客的健康状态为正常状态。
若乘客的人体姿态非预设人体姿态,则表示乘客当前的健康状态为正常状态。
S307、确定乘客的健康状态为异常状态。
若乘客的人体姿态为预设人体姿态,表示乘客当前的健康状态为异常状态,在确定乘客的健康状态为异常状态时,可以存储监控图像,以作为训练人体姿态识别模型的图像样本,生成乘客异常告警信息发送至预设终端设备。
S308、控制电梯运行至预设楼层。
在判断出乘客的健康状态为异常状态时,即应该对乘客进行及时地救助,由于乘客的健康状态为异常状态时电梯通常处于某一中间楼层,因此,可以控制电梯管理系统退出正常服务状态,即不再响应召梯指令或前往目的楼层的指令等,而是控制电梯运行至便于救助乘客的预设楼层,例如,控制电梯运行至救助人员所在的楼层或者便于外来医务人员救助乘客的楼层。
本发明实施例在按照预设周期控制电梯轿厢内的摄像头进行拍摄,得到监控图像后,将监控图像输入人体识别子模型中,得到人体检测框,在监控图像中截取人体检测框区域得到人体图像,最后将人体图像输入人体姿态识别子模型中得到人体图像中人体的人体姿态,得到电梯轿厢内乘客的人体姿态,根据人体姿态判断乘客的健康状态是否是异常状态,若是,控制电梯运行至预设楼层。本实施例先通过人体识别子模型检测到监控图像中的存在人体图像,再对监控图像中的人体图像进行截取,得到人体图像,最后通过人体姿态识别子模型识别人体图像得到人体姿态,在从监控图像中截取到人体图像的前提下,不用再获取人体关键点,大大降低了计算量,可以快速准确地识别出乘客的人体姿态。并且,两个子模型,可以分别训练,进而提高模型的准确度,更进一步地,能更准确地识别乘客的健康状态处于异常状态的状况,以及及时对乘客进行救助。
实施例三
图4为本发明实施例三提供的一种电梯控制方法的流程图,本实施例以实施例一为基础进一步优化,该电梯控制方法具体包括如下步骤:
S401、按照预设周期控制电梯轿厢内的摄像头进行拍摄,得到监控图像。
要确认乘客的健康状态,可以通过电梯轿厢内的监控图像来进行判断,其中,监控图像为电梯管理系统中的图像采集设备所采集的电梯轿厢内的实时图像,按照预设周期控制电梯轿厢内的摄像头进行拍摄来获取监控图像,无需通过解码RTSP视频流来采集监控图像,可以节省算力资源及带宽资源,并且可以快速获取到监控图像,有利于及时识别和救助健康状为异常状态的乘客。
S402、将监控图像输入至预先训练好的人体姿态识别模型中,得到至少一个姿态检测框及姿态检测框的坐标、标签和概率,标签表示人体姿态的类型。
人体姿态识别模型用于对监控图像进行识别来得到乘客的人体姿态。由于电梯轿厢与摄像头的位置基本是相对固定的,则摄像头拍摄到的轿厢内图像的范围也是固定的,因此,可以在拍摄范围内建立坐标系,拍摄后得到的姿态检测框的位置也可以用坐标来表示,标签表示姿态检测框中人体姿态的类型,例如站、坐、躺,概率表示姿态检测框中标签的置信度,概率的取值区间可以为[0,1],概率值越靠近1,置信度越高,概率值越靠近0,置信度越低。
S403、根据姿态检测框的坐标计算姿态检测框之间的交并比。
由于人体姿态之间存在相似之处,例如站和躺的时候,人体姿态是相似的,即针对同一乘客的人体图像,人体姿态识别模型可能会判定为不同的人体姿态,即输出不同的姿态检测框,而实际上该人体图像对应的人体姿态只为一种,因此,可以先判断同一人体图像是否存在有不同的姿态检测框来进行姿态检测框的筛选。
交并比即为IOU(Intersection over Union),用于确定两个区域的重合度,IOU越大,表示两个区域重合度越高。
当选定一个姿态检测框时,即可以确定该姿态检测框所对应的乘客的人体图像,为了判断该人体图像是否同时存在多个姿态检测框,可以先计算其他姿态检测框与该姿态检测框的区域重合度,即可以通过计算每2个姿态检测框之间的IOU来进行判断,具体地,可以通过计算姿态检测框的坐标所围成的区域面积之比来计算IOU。
S404、从交并比大于预设阈值的姿态检测框中筛选出概率值最大的姿态检测框,并将概率值最大的姿态检测框的标签表示的人体姿态作为乘客的人体姿态。
为了根据交并比判定姿态检测框是否源于同一人体图像,可以预先设置一个阈值,阈值通常不小于0.9,当姿态检测框之间的IOU大于预设阈值时,则认为姿态检测框之间的重合度较高,此2个姿态检测框源于同一乘客的人体图像,反之,当姿态检测框之间的IOU大于预设阈值时,则认为姿态检测框之间的重合度较低,此2个姿态检测框源于不同乘客的人体图像。
由于实际上该人体图像对应的人体姿态只为一种,因此,可以当同一人体图像存在有不同的姿态检测框时,可以从多个姿态检测框中筛选出置信度最高的姿态检测框作为最终结果,即该姿态检测框的标签表示的姿态即为乘客的人体姿态。
例如,在本实施例的一个示例中,一乘客的人体图像同时存在a、b、c三个姿态检测框,当a的概率值最大时,将b和c的概率值设置为0;当b概率值最大时,将a和c的概率值设置为0,当c概率值最大时,将a和b的概率值设置为0,概率值最大的姿态检测框的标签表示的姿态即为乘客的人体姿态。
由于不同的姿态检测框存在不同的概率值(置信度),在多个姿态检测框源于同一乘客的人体图像的情况下,将概率值非极大值的姿态检测框的概率值设置为0,即过滤掉概率值较小的姿态检测框。
如图5所示,在本发明的一个可选实施例中,当同一人体图像存在多个姿态检测框时,S404包括以下步骤:
S4041、将一概率值不为0的姿态检测框作为候选检测框。
概率值为0表示该姿态检测框的标签的置信度极低,则表示可以过滤掉该姿态检测框。
人体姿态识别模型在输出姿态检测框时一般是依次输出的,即各姿态检测框是有排列顺序的,可以先获取各姿态检测框的排列顺序,按正序依次选择一概率值不为0的姿态检测框作为候选检测框。当然,由于在本实施例中,是要遍历概率值不为0的姿态检测框的,因此,也可以随机选取一概率值不为0的姿态检测框作为候选检测框。
S4042、在剩余的、概率值不为0姿态检测框中,将与候选检测框的交并比大于预设阈值的姿态检测框作为对比检测框。
当确定候选检测框时,即可以确定该候选检测框所对应的乘客的人体图像,通过筛选与该候选检测框的交并比大于预设阈值的其他姿态检测框,可以得到与该候选检测框源于同一人体图像的姿态检测框,即对比检测框,再对候选检测框和对比检测框进行筛选。
S4043、针对每个对比检测框,判断对比检测框的概率值是否小于候选检测框的概率值。
候选检测框和对比检测框属于同一人体图像,但各自的标签不同,即表示不同的人体姿态,因此,在对候选检测框和对比检测框进行筛选时,可以根据候选检测框和对比检测框的置信度来进行筛选,即判断对比检测框的概率值是否小于候选检测框的概率值,若是执行S4044,若否执行S4045。
S4044、将对比检测框的概率值设置为0。
当对比检测框的概率值小于候选检测框的概率值时,将该对比检测框的概率值设置为0,即过滤掉该对比检测框。
S4045、将候选检测框的概率值设置为0,并返回执行步骤S4041。
当对比检测框的概率值大于候选检测框的概率值时,将该候选检测框的概率值设置为0,即过滤掉该候选检测框,从剩余的、概率不为0的姿态检测框中重新选取新的候选检测框,直至所有的姿态检测框遍历完毕。
当存在多个姿态检测框时,该多个姿态检测框可能源于同一乘客,也可能源于不同乘客,因此,最终的输出结果可能为一个或多个姿态检测框,输出多个姿态检测框时,每个姿态检测框分别源于不同的乘客。
S405、根据人体姿态判断乘客的健康状态是否是异常状态。
在获取乘客的人体姿态后,即可以根据人体姿态和预设的人体姿态-健康状态匹配表来判断乘客的健康状态是否是异常状态,若是执行步骤S406,若否结束。
S406、控制电梯运行至预设楼层。
在判断出乘客的健康状态为异常状态时,即应该及时救助乘客,由于乘客的健康状态为异常状态时电梯通常处于某一中间楼层,因此,可以控制电梯管理系统退出正常服务状态,即不再响应召梯指令或前往目的楼层的指令等,而是控制电梯运行至便于救助乘客的预设楼层,例如,控制电梯运行至救助人员所在的楼层或者便于外来医务人员救助乘客的楼层。
本发明实施例在按照预设周期控制电梯轿厢内的摄像头进行拍摄,得到监控图后,将监控图像输入至预先训练好的人体姿态识别模型中,得到至少一个姿态检测框及姿态检测框的坐标、标签和概率,标签表示人体姿态的类型,根据姿态检测框的坐标计算姿态检测框之间的交并比,从交并比大于预设阈值的姿态检测框中筛选出概率值最大的姿态检测框,并将概率值最大的姿态检测框的标签表示的人体姿态作为乘客的人体姿态,根据人体姿态判断乘客的健康状态是否是异常状态,若是,控制电梯运行至预设楼层。算法简单,速度快,能有效过滤掉错误的姿态检测结果,提升识别乘客的人体姿态的效率,有利于及时识别和救助健康状态为异常状态的乘客。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例四
图6为本发明实施例四提供的一种电梯控制装置的结构框图,具体可以包括如下模块:
监控图像获取模块601,用于获取电梯轿厢内的监控图像。
人体姿态识别模块602,用于将监控图像输入预先训练好的人体姿态识别模型中,得到电梯轿厢内乘客的人体姿态。
健康状态判断模块603,用于根据人体姿态判断乘客的健康状态是否是异常状态,若是则执行电梯控制运行模块所执行的内容。
电梯运行控制模块604,控制电梯运行至预设楼层。
在本发明的一个可选实施例中,监控图像获取模块601,包括:
监控图像获取子模块,用于按照预设周期控制电梯轿厢内的摄像头进行拍摄,得到监控图像。
在本发明的一个可选实施例中,人体姿态识别模型包括人体识别子模型和人体姿态识别子模型,人体姿态识别模块602,包括:
人体检测框获取子模块,用于将监控图像输入人体识别子模型中,得到人体检测框。
人体图像截取子模块,用于在监控图像中截取人体检测框区域得到人体图像。
人体姿态识别子模块,用于将人体图像输入人体姿态识别子模型中得到人体图像中人体的人体姿态。
在本发明的一个可选实施例中,人体姿态识别模块602,包括:
姿态检测框获取子模块,用于将监控图像输入至预先训练好的人体姿态识别模型中,得到至少一个姿态检测框及姿态检测框的坐标、标签和概率,标签表示人体姿态的类型。
交并比计算子模块,用于根据姿态检测框的坐标计算姿态检测框之间的交并比。
人体姿态筛选子模块,用于从交并比大于预设阈值的姿态检测框中筛选出概率值最大的姿态检测框,并将概率值最大的姿态检测框的标签表示的人体姿态作为乘客的人体姿态。
在本发明的一个可选实施例中,人体姿态筛选子模块包括:
候选检测框选择单元,用于将一概率值不为0的姿态检测框作为候选检测框;
对比检测框确定单元,用于在剩余的、概率值不为0姿态检测框中,将与候选检测框的交并比大于预设阈值的姿态检测框作为对比检测框;
概率值比较单元,用于针对每个对比检测框,判断对比检测框的概率值是否小于候选检测框的概率值;若是,将对比检测框的概率值设置为0;若否,将候选检测框的概率值设置为0,并返回执行将一概率值不为0的姿态检测框作为候选检测框的步骤。
在本发明的一个可选实施例中,健康状态判断模块603包括:
人体姿态判断子模块,用于判断人体姿态是否为预设人体姿态,预设人体姿态为人体躺在电梯轿厢内的姿态;若是,确定乘客的健康状态为异常状态;若否,确定乘客的健康状态为正常状态。
在本发明的一个可选实施例中,电梯控制装置还包括:
监控图像存储模块,用于在确定乘客的健康状态为异常状态时,存储监控图像。
告警信息生成模块,用于生成乘客健康状态为异常状态的告警信息并发送至预设终端设备。
本发明实施例所提供的电梯控制装置可执行本发明任意实施例所提供的电梯控制方法,具备执行方法相应的功能模块和有益效果。
实施例五
参照图7,示出了本发明一个示例中的一种计算机设备的结构示意图。如图7所示,该计算机设备具体可以包括:处理器701、存储器702、具有触摸功能的显示屏703、输入装置704、输出装置705以及通信装置706。该计算机设备中处理器701的数量可以是一个或者多个,图7中以一个处理器701为例。该计算机设备中存储器702的数量可以是一个或者多个,图7中以一个存储器702为例。该设备的处理器701、存储器702、显示屏703、输入装置704、输出装置705以及通信装置706可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器702作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作装置、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器702可进一步包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置706,用于与其他设备建立通信连接,其可以是有线通信装置和/或无线通信装置。
输入装置704可用于接收输入的数字或者字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置705可以包括扬声器等音频设备。需要说明的是,输入装置704和输出装置705的具体组成可以根据实际情况设定。
处理器701通过运行存储在存储器702中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述电梯控制方法。
具体地,实施例中,处理器701执行存储器702中存储的一个或多个程序时,具体实现本发明实施例提供的电梯控制方法步骤。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可实现本发明任意实施例中的电梯控制方法。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明应用于设备上任意实施例所提供的电梯控制方法中的相关操作。
需要说明的是,对于装置、计算机设备、存储介质实施例而言,由于其与系统实施例基本相似,所以描述的比较简单,相关之处参见系统实施例的部分说明即可。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备,服务器,或者网络设备等)执行本发明各个实施例所述的电梯控制方法。
值得注意的是,上述电梯控制装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种电梯控制方法,其特征在于,包括:
获取电梯轿厢内的监控图像;
将所述监控图像输入预先训练好的人体姿态识别模型中,得到所述电梯轿厢内乘客的人体姿态,包括:根据乘客的人体姿态评估健康状态,生成人体姿态-健康状态匹配表;
根据所述人体姿态判断所述乘客的健康状态是否是异常状态,包括:根据人体姿态和预设的人体姿态-健康状态匹配表来判断乘客的健康状态是否是异常状态;
若是,控制所述电梯轿厢运行至预设楼层;
其中,所述人体姿态识别模型包括人体识别子模型和人体姿态识别子模型,所述将所述监控图像输入至预先训练好的人体姿态识别模型中,得到所述电梯轿厢内乘客的人体姿态,包括:
将所述监控图像输入人体识别子模型中,得到人体检测框;
在所述监控图像中截取所述人体检测框区域得到人体图像;
将所述人体图像输入人体姿态识别子模型中得到人体图像中人体的人体姿态;
其中,所述将所述监控图像输入至预先训练好的人体姿态识别模型中,得到所述电梯轿厢内乘客的人体姿态,包括:
将所述监控图像输入至预先训练好的人体姿态识别模型中,得到至少一个姿态检测框及所述姿态检测框的坐标、标签和概率,所述标签表示人体姿态的类型;
根据所述姿态检测框的坐标计算所述姿态检测框之间的交并比;
从所述交并比大于预设阈值的所述姿态检测框中筛选出概率值最大的姿态检测框,并将概率值最大的姿态检测框的标签表示的人体姿态作为乘客的人体姿态;
其中,所述将所述监控图像输入人体识别子模型中,得到人体检测框,包括:
所述人体识别子模型在采集到电梯轿厢内的监控图像后,采用Yolov4进行人体识别,输出人体数量及所述人体检测框;其中,人体检测框的数量等于所述人体数量;
采用轿厢内采集的人体图像样本对Yolov4模型权重进行重新训练,得到满足要求的模型权重文件。
2.根据权利要求1所述的方法,其特征在于,所述获取电梯轿厢内的监控图像,包括:
按照预设周期控制所述电梯轿厢内的摄像头进行拍摄,得到监控图像。
3.根据权利要求1所述的方法,其特征在于,所述从交并比大于预设阈值的所述姿态检测框中筛选出概率值最大的姿态检测框,并将概率值最大的姿态检测框的标签表示的人体姿态作为乘客的人体姿态,包括:
将一概率值不为0的所述姿态检测框作为候选检测框;
在剩余的、概率值不为0所述姿态检测框中,将与所述候选检测框的交并比大于预设阈值的所述姿态检测框作为对比检测框;
针对每个所述对比检测框,判断所述对比检测框的概率值是否小于所述候选检测框的概率值;
若是,将所述对比检测框的概率值设置为0;
若否,将所述候选检测框的概率值设置为0,并返回执行将一概率值不为0的所述姿态检测框作为候选检测框的步骤。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述人体姿态判断所述电梯轿厢内的乘客的健康状态是否是异常状态,包括:
判断所述人体姿态是否为预设人体姿态,所述预设人体姿态为人体躺在电梯轿厢内的姿态;
若是,确定所述乘客的健康状态为异常状态;
若否,确定所述乘客的健康状态为正常状态。
5.根据权利要求1所述的方法,其特征在于,在根据所述人体姿态判断所述电梯轿厢内的乘客的健康状态是否是异常状态之后,还包括:
在确定所述乘客的健康状态为异常状态时,存储所述监控图像;
用于生成乘客健康状态为异常状态的告警信息并发送至预设终端设备。
6.一种电梯控制装置,其特征在于,包括:
监控图像获取模块,用于获取电梯轿厢内的监控图像;
人体姿态识别模块,用于将所述监控图像输入预先训练好的人体姿态识别模型中,得到所述电梯轿厢内乘客的人体姿态;
其中,人体姿态识别模块具体用于根据乘客的人体姿态评估健康状态,生成人体姿态-健康状态匹配表;
健康状态判断模块,用于根据所述人体姿态判断所述乘客的健康状态是否是异常状态,若是则执行电梯控制运行模块所执行的内容;
其中,健康状态判断模块具体用于根据人体姿态和预设的人体姿态-健康状态匹配表来判断乘客的健康状态是否是异常状态;
电梯运行控制模块,控制所述电梯轿厢运行至预设楼层;
其中,人体姿态识别模型包括人体识别子模型和人体姿态识别子模型,人体姿态识别模块包括人体检测框获取子模块、人体图像截取子模块和人体姿态识别子模块;
人体检测框获取子模块,用于将监控图像输入人体识别子模型中,得到人体检测框;
人体图像截取子模块,用于在监控图像中截取人体检测框区域得到人体图像;
人体姿态识别子模块,用于将人体图像输入人体姿态识别子模型中得到人体图像中人体的人体姿态;
其中,人体姿态识别模块包括姿态检测框获取子模块、交并比计算子模块和人体姿态筛选子模块;
姿态检测框获取子模块,用于将监控图像输入至预先训练好的人体姿态识别模型中,得到至少一个姿态检测框及姿态检测框的坐标、标签和概率,标签表示人体姿态的类型;
交并比计算子模块,用于根据姿态检测框的坐标计算姿态检测框之间的交并比;
人体姿态筛选子模块,用于从交并比大于预设阈值的姿态检测框中筛选出概率值最大的姿态检测框,并将概率值最大的姿态检测框的标签表示的人体姿态作为乘客的人体姿态;
其中,所述人体识别子模型在采集到电梯轿厢内的监控图像后,采用Yolov4进行人体识别,输出人体数量及所述人体检测框;其中,人体检测框的数量等于所述人体数量;
采用轿厢内采集的人体图像样本对Yolov4模型权重进行重新训练,得到满足要求的模型权重文件。
7.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序,
当所述一个或多个计算机程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一项所述的电梯控制方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的电梯控制方法。
CN202111211430.4A 2021-10-18 2021-10-18 一种电梯控制方法、装置、计算机设备和存储介质 Active CN113955594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111211430.4A CN113955594B (zh) 2021-10-18 2021-10-18 一种电梯控制方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111211430.4A CN113955594B (zh) 2021-10-18 2021-10-18 一种电梯控制方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113955594A CN113955594A (zh) 2022-01-21
CN113955594B true CN113955594B (zh) 2024-02-27

Family

ID=79464257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111211430.4A Active CN113955594B (zh) 2021-10-18 2021-10-18 一种电梯控制方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113955594B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114455414B (zh) * 2022-01-29 2024-04-05 广东卓梅尼技术股份有限公司 电梯乘客晕倒告警方法及装置、电子设备
CN115215185B (zh) * 2022-07-11 2023-12-19 广州广日电梯工业有限公司 基于机器视觉的电梯关门控制方法、系统、装置及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4128141A (en) * 1977-07-07 1978-12-05 Westinghouse Electric Corp. Elevator system
CN109353907A (zh) * 2017-09-05 2019-02-19 日立楼宇技术(广州)有限公司 电梯运行的安全提示方法和系统
CN110717476A (zh) * 2019-10-22 2020-01-21 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN112529073A (zh) * 2020-12-07 2021-03-19 北京百度网讯科技有限公司 模型训练方法、姿态估计方法、装置及电子设备
WO2021097750A1 (zh) * 2019-11-21 2021-05-27 深圳市欢太科技有限公司 人体姿态的识别方法、装置、存储介质及电子设备
CN113011290A (zh) * 2021-03-03 2021-06-22 上海商汤智能科技有限公司 事件检测方法及装置、电子设备和存储介质
CN113255606A (zh) * 2021-06-30 2021-08-13 深圳市商汤科技有限公司 行为识别方法、装置、计算机设备及存储介质
CN113486759A (zh) * 2021-06-30 2021-10-08 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US11332345B2 (en) * 2018-08-09 2022-05-17 Otis Elevator Company Elevator system with optimized door response

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4128141A (en) * 1977-07-07 1978-12-05 Westinghouse Electric Corp. Elevator system
CN109353907A (zh) * 2017-09-05 2019-02-19 日立楼宇技术(广州)有限公司 电梯运行的安全提示方法和系统
CN110717476A (zh) * 2019-10-22 2020-01-21 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
WO2021097750A1 (zh) * 2019-11-21 2021-05-27 深圳市欢太科技有限公司 人体姿态的识别方法、装置、存储介质及电子设备
CN112529073A (zh) * 2020-12-07 2021-03-19 北京百度网讯科技有限公司 模型训练方法、姿态估计方法、装置及电子设备
CN113011290A (zh) * 2021-03-03 2021-06-22 上海商汤智能科技有限公司 事件检测方法及装置、电子设备和存储介质
CN113255606A (zh) * 2021-06-30 2021-08-13 深圳市商汤科技有限公司 行为识别方法、装置、计算机设备及存储介质
CN113486759A (zh) * 2021-06-30 2021-10-08 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频监控的手扶电梯乘客异常行为识别;杜启亮等;《华南理工大学学报(自然科学版)》;20200815(第08期);14-25 *

Also Published As

Publication number Publication date
CN113955594A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
Petrović et al. IoT-based system for COVID-19 indoor safety monitoring
CN113955594B (zh) 一种电梯控制方法、装置、计算机设备和存储介质
CN106412501B (zh) 一种视频的施工安全行为智能监控系统及其监控方法
CN109993946A (zh) 一种监控告警方法、摄像头、终端、服务器及系统
CN109446936A (zh) 一种用于监控场景的身份识别方法及装置
JP6729793B2 (ja) 情報処理装置、制御方法、及びプログラム
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN111918039A (zh) 基于5g网络的人工智能高风险作业管控系统
CN111539338A (zh) 行人口罩佩戴管控方法、装置、设备及计算机存储介质
CN111027518A (zh) 可疑人群智能报警方法、装置、计算机设备及存储介质
CN108288025A (zh) 一种车载视频监控方法、装置及设备
CN110781735A (zh) 一种用于识别人员在岗状态的报警方法及系统
CN113569718A (zh) 提醒方法、装置、设备、系统和存储介质
CN108701393A (zh) 用于事件处理的系统及方法
CN111310647A (zh) 自动识别跌倒模型的生成方法和装置
CN114187561A (zh) 异常行为的识别方法、装置、终端设备及存储介质
CN114173094A (zh) 视频监控方法、装置、计算机设备和存储介质
CN110084530A (zh) 移动巡检的分析装置及其方法、移动巡检设备及存储介质
CN114764895A (zh) 异常行为检测装置和方法
CN113628172A (zh) 一种人员手持武器智能检测算法及智慧城市安防系统
CN108460357A (zh) 一种基于图像识别的开窗报警检测系统及方法
CN110928305B (zh) 用于铁路客运车站巡更机器人的巡更方法及系统
US20200293020A1 (en) Surveillance system with intelligent robotic surveillance device
Zhang et al. Falling detection of lonely elderly people based on NAO humanoid robot
CN116740617A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant