CN112079213B - 一种电梯入梯控制方法及电梯入梯控制系统 - Google Patents

一种电梯入梯控制方法及电梯入梯控制系统 Download PDF

Info

Publication number
CN112079213B
CN112079213B CN202010858842.6A CN202010858842A CN112079213B CN 112079213 B CN112079213 B CN 112079213B CN 202010858842 A CN202010858842 A CN 202010858842A CN 112079213 B CN112079213 B CN 112079213B
Authority
CN
China
Prior art keywords
target
elevator
face
preset
entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010858842.6A
Other languages
English (en)
Other versions
CN112079213A (zh
Inventor
张奎
陈国特
陈清梁
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinzailing Technology Co ltd
Original Assignee
Zhejiang Xinzailing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinzailing Technology Co ltd filed Critical Zhejiang Xinzailing Technology Co ltd
Priority to CN202010858842.6A priority Critical patent/CN112079213B/zh
Publication of CN112079213A publication Critical patent/CN112079213A/zh
Application granted granted Critical
Publication of CN112079213B publication Critical patent/CN112079213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/02—Control systems without regulation, i.e. without retroactive action
    • B66B1/06—Control systems without regulation, i.e. without retroactive action electric
    • B66B1/14—Control systems without regulation, i.e. without retroactive action electric with devices, e.g. push-buttons, for indirect control of movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators
    • B66B3/002—Indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Elevator Door Apparatuses (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Elevator Control (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种电梯入梯控制方法及电梯入梯控制系统，电梯入梯控制方法，包括：S1.采集电梯开门后的视频数据；S2.基于所述视频数据进行目标检测，并判断是否存在目标，若存在，则执行步骤S3，若不存在，则执行步骤S4；S3.基于预先设置的禁止入梯目标类别库对所述目标进行判断，若所述目标属于禁止入梯目标类别，则对所述目标进行目标跟踪，并控制所述电梯保持开门，若所述目标不属于禁止入梯目标类别，则执行步骤S4；S4.对所述电梯放行，并重新执行步骤S1至S3。本发明的检测准确度高，可靠性好。

Description

一种电梯入梯控制方法及电梯入梯控制系统
技术领域
本发明涉及电梯领域，尤其涉及一种电梯入梯控制方法及电梯入梯控制系统。
背景技术
近年来，随着高层小区日益增多。为了阻止消防隐患，目前大部分高层小区都出台了禁止电瓶车进入电梯的规定；此外个别高档小区也会存在禁止自行车或者大型犬乘坐电梯。但是都存在执行难度大的问题。所以出现了一些基于视频数据来做电瓶车检测的方法来阻止电瓶车上楼。
但基于视频图像检测来阻止乘梯的方法，虽然能够有效的阻止电瓶车进入电梯，但同时也存在着一些问题：
1)检测类别单一，只能对标准的电动车告警，对于电动自行车、大型犬等无法检测；
2)误检问题，而导致一些与电瓶车外观特征较为相近的比如玩具车，老年代步车等无法乘坐电梯的情况，给居民生活带来不便；
3)由于准确率问题，大部分方案仅实现了告警，如果乘梯人无视告警，仍然能正常乘梯。
发明内容
本发明的目的在于提供一种电梯入梯控制方法及电梯入梯控制系统。
为实现上述发明目的，本发明提供一种电梯入梯控制方法，包括：
S1.采集电梯开门后的视频数据；
S2.基于所述视频数据进行目标检测，并判断是否存在目标，若存在，则执行步骤S3，若不存在，则执行步骤S4；
S3.基于预先设置的禁止入梯目标类别库对所述目标进行判断，若所述目标属于禁止入梯目标类别，则对所述目标进行目标跟踪，并控制所述电梯保持开门，若所述目标不属于禁止入梯目标类别，则执行步骤S4；
S4.对所述电梯放行，并重新执行步骤S1至S3。
根据本发明的一个方面，步骤S3中，基于预先设置的禁止入梯目标类别库对所述目标进行判断，若所述目标属于禁止入梯目标类别，则对所述目标进行目标跟踪，并控制所述电梯保持开门的步骤中，获取对所述目标进行跟踪的图像，并对所述图像进行人脸检测和识别，获取所述图像中所包含的人脸特征；
基于预先设置的电梯人脸注册特征库对所述人脸特征进行检索，若所述人脸特征已在所述电梯人脸注册特征库中注册，则取消对所述电梯的控制，并执行步骤S4。
根据本发明的一个方面，基于预先设置的电梯人脸注册特征库对所述人脸特征进行检索的步骤中，若所述人脸特征未在所述电梯人脸注册特征库中注册，则继续控制所述电梯开门，并发出报警。
根据本发明的一个方面，步骤S2中，基于所述视频数据进行目标检测，并判断是否存在目标的步骤中，包括：
S21.对所述视频数据进行解码并获取相应的解码图像，并按第一预设间隔的帧数上传所述解码图像；
S22.获取所述解码图像，并进行目标检测，若所述解码图像中所述目标的置信度大于预先设置的阈值，则判断结果为存在。
根据本发明的一个方面，步骤S3中，基于预先设置的禁止入梯目标类别库对所述目标进行判断的步骤中，基于连续多帧所述解码图像进行判断确认，若所述目标出现的帧数大于第一预设值，则判断所述目标属于禁止入梯目标；
若所述目标出现的帧数小于第二预设值，则判断所述目标不属于禁止入梯目标；
所述第一预设值大于所述第二预设值。
根据本发明的一个方面，步骤S3中，对所述目标进行目标跟踪的步骤中，采用sort算法进行目标跟踪。
根据本发明的一个方面，获取对所述目标进行跟踪的图像，并对所述图像进行人脸检测和识别的步骤中，按照预设数量在所述图像中进行随机选取并基于选取的所述图像进行人脸检测和识别。
根据本发明的一个方面，基于预先设置的电梯人脸注册特征库对所述人脸特征进行检索的步骤中，若所述人脸特征与所述电梯人脸注册特征库中的数据的相似度的最大值大于预设阈值，则判断所述人脸特征已在所述电梯人脸注册特征库中注册；
若所述人脸特征与所述电梯人脸注册特征库中的数据的相似度的最大值小于预设阈值，则判断所述人脸特征未在所述电梯人脸注册特征库中注册。
根据本发明的一个方面，对所述图像进行人脸识别检测，获取所述图像中所包含的人脸特征的步骤中，采用基于resnet18的reid网络提取所述人脸特征。
根据本发明的一个方面，所述人脸特征与所述电梯人脸注册特征库中的数据的相似度采用余弦距离度量。
为实现上述发明目的，本发明提供一种电梯入梯控制系统，包括：用于获取视频数据数据的采集模块，与所述采集模块相连的前端设备，与所述前端设备相连的云服务器，与所述前端设备相连的电梯控制器；
所述云服务器用于接收所述前端设备上传的图像，并进行目标检测；
所述前端设备用于接收所述视频数据并进行解码处理，以及用于接收所述云服务器下发的目标检测结果并基于所述目标检测结果进行目标跟踪，人脸检测和识别；
所述电梯控制器用于接收所述前端设备下发的控制信号，控制所述电梯的运行。
根据本发明的一个方面，所述前端设备还用于将所述目标与禁止入梯目标类别库进行对比，以及进行人脸特征与电梯人脸注册特征库进行检索。
根据本发明的一个方面，所述前端设备包括：
图像数据采集单元，用于接收所述视频数据并进行解码处理，并将获取的图像上传到所述云服务器；
跟踪单元，用于接收所述云服务器下发的目标检测结果，并对目标进行跟踪；
识别单元，用于将所述目标的目标类别与禁止入梯目标类别库进行对比，以及在包含目标发截取图像中进行人脸检测和特征提取，并对该特征在电梯人脸注册特征库进行检索；
控制单元，用于向所述电梯控制器发送针对所述电梯的控制信号，以及用于播放告警语音。
根据本发明的一种方案，本发明的检测准确度高，可靠性好。
根据本发明的一种方案，通过摄像头采集电梯开门使得的视频数据，使用目标检测算法甄别出是否存在被禁止入梯的目标类别出现，例如、未注册过的电动车、宠物等。这时通过控制电梯保持开门，以便于防止这些类别的目标乘梯进入不同的楼层，以实现对大楼安全的第一层保证。
根据本发明的一种方案，在甄别出目标类别的情况下，进一步对目标是否为禁止入梯的目标进行确认，进而避免了出现误检的情况，尤其是外观特征比较相近的物体等出现时，通过进一步的确认保证了本发明的使用准确性。
根据本发明的一种方案，在检测到目标为禁止入梯目标的情况下，通过进一步使用人脸识别算法对于该目标的拥有者进行确认，以消除所检出的目标与被禁止入梯的目标过于接近而实际为非禁止入梯目标时，导致本发明出现控制电梯开门的情况。进而采用确认该目标拥有者是否为已注册的来进一步消除这种误检可能，对进一步提高本发明的检测精度有利。
根据本发明的一种方案，本发明能够检测出不同目标类别，进而其检测的范围更广，对保证大楼安全更为有利。
根据本发明的一种方案，本发明能够高准确度的甄别出外观相似度较高的目标，极大的降低了误检概率，进而对保证电梯的正常稳定运行有利。
根据本发明的一种方案，本发明实现了对电梯的控制，在出现被禁止入梯的目标时，能够稳定的控制电梯不再运行，进而对保证整个大楼的安全性更为有利。
附图说明
图1是示意性表示根据本发明的一种实施方式的电梯入梯控制方法的步骤框图；
图2是示意性表示根据本发明的一种实施方式的电梯入梯控制方法的流程图；
图3是示意性表示根据本发明的一种实施方式的目标检测的流程图；
图4是示意性表示根据本发明的一种实施方式的电梯入梯控制系统的结构框图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
结合图1和图2所示，根据本发明的一种实施方式，本发明的一种电梯入梯控制方法，包括：
S1.采集电梯开门后的视频数据；
S2.基于视频数据进行目标检测，并判断是否存在目标，若存在，则执行步骤S3，若不存在，则执行步骤S4；
S3.基于预先设置的禁止入梯目标类别库对目标进行判断，若目标属于禁止入梯目标类别，则对目标进行目标跟踪，并控制电梯保持开门，若目标不属于禁止入梯目标类别，则执行步骤S4；
S4.对电梯放行，并重新执行步骤S1至S3。
根据本发明的一种实施方式，步骤S1中，通过安装于电梯轿厢的数据采集模块实现对电梯开门后视频数据的采集。
根据本发明的一种实施方式，步骤S2中，基于视频数据进行目标检测，并判断是否存在目标的步骤中，包括：
S21.对视频数据进行解码并获取相应的解码图像，并按第一预设间隔的帧数上传解码图像；在本实施方式中，通过前端设备获取数据采集模块所采集的视频数据，进行相应的解码处理。在本实施方式中，上传解码图像可以每间隔2帧的方式上传一次解码的解码图像，即相当于每秒上传8张解码图像。
S22.获取解码图像，并进行目标检测，若解码图像中目标的置信度大于预先设置的阈值，则判断结果为存在。在本实施方式中，云服务器接收前端设备所上传的解码图像，然后及逆行目标检测。
如图3所示，在本实施方式中，目标检测过程中使用了yolov5检测网络，该检测网络对于每张输入的图像，输出N×(c,s,x1,y1,x2,y2)，N为检测到的目标数量，c为检测到的目标类别，本方案中可检测电动摩托车、电动自行车、宠物(常规宠物或大型犬)、自行车、平衡车和电动滑板车等类别的目标；s为检测到的目标的置信度；(x1,y1,x2,y2)为检测到的目标在图像中矩形框(该矩形框是基于检测出目标后所生成的包围该目标的框体)左上角和右下角的坐标位置。在本实施方式中，该检测网络仅输出s大于一定阈值，本方案为中将阈值设置为0.3，这样就可以输出置信度为大于0.3的目标。这里使用较小的阈值，是可以让用户可以自己做出检测率和检准率之前的平衡。对于某个电梯，如果误检较多，可以在前端设备上使用较高的阈值进行进一步的过滤。
根据本发明的一种实施方式，在步骤S2中检测出目标的情况下，执行步骤S3，则步骤S3中.基于预先设置的禁止入梯目标类别库对目标进行判断，若目标属于禁止入梯目标类别，则对目标进行目标跟踪，并控制电梯保持开门。在本实施方式中，如前所述的，在步骤S2中进行目标检测并获取目标的情况下，同时还输出了该目标的目标类别。进而，通过该输出的目标类别即可与预先设置的禁止入梯目标类别库进行匹配判断，进而可获知进行目标检测所获得的目标是否属于禁止入梯目标类别。
在本实施方式中，获知检测出的目标为禁止入梯目标类别时，则基于获取的视频数据进行目标跟踪。在本实施方式中，采用sort算法进行目标跟踪。同时，还需要向电梯下发控制信号阻止当前电梯关门。
在本实施方式中，步骤S3中，基于预先设置的禁止入梯目标类别库对目标进行判断的步骤中，基于连续多帧解码图像进行判断确认，若目标出现的帧数大于第一预设值，则进一步判断目标属于禁止入梯目标类别库中的禁止入梯目标类别。例如，如果某个类别的目标连续20帧图像的跟踪结果中，该目标出现的帧数的比例大于60％，则确定该目标是一个禁止入梯目标；则需要将该目标的跟踪图像中随机选择3张送入后续人脸识别操作；且需要向电梯控制器发送信号，阻止当前电梯关门；
若目标出现的帧数小于第二预设值，则判断目标不属于禁止入梯目标；在本实施方式中，第一预设值大于第二预设值。例如，如果某个类别的目标连续20帧图像的跟踪结果中，该目标出现的帧数的比例小于40％，则表明该目标不是禁止入梯目标，向电梯控制器发送信号，取消阻止当前电梯的关门信号。
根据本发明的一种实施方式，步骤S3中，基于预先设置的禁止入梯目标类别库对目标进行判断，若目标属于禁止入梯目标类别，则对目标进行目标跟踪，并控制电梯保持开门的步骤中，获取对目标进行跟踪的图像(该图像有目标跟踪过程中所使用的视频数据获得)，并对图像进行人脸检测和识别，获取图像中所包含的人脸特征。在本实施方式中，按照预设数量在图像中进行随机选取并基于选取的图像进行人脸检测和识别。例如，可以随机选取3张、5张、6张等数量的图像用于进行人脸识别，并使用DBFace方法进行人脸检测，并采用基于resnet18的reid网络提取人脸特征。
通过随机选取多张图像进行人脸识别，可防止输入单张图像检测不到人脸的情况出现，对提高本发明的使用准确性有利。
在本实施方式中，基于预先设置的电梯人脸注册特征库对人脸特征进行检索，若人脸特征已在电梯人脸注册特征库中注册，则取消对电梯的控制，并执行步骤S4。在本实施方式中，若人脸特征与电梯人脸注册特征库中的数据的相似度的最大值大于预设阈值，则判断人脸特征已在电梯人脸注册特征库中注册；则前述步骤中目标检测步骤中所获得的被禁止入梯的目标是与该人脸特征相对应的可乘梯的已注册目标。例如，如果该人脸特征与该电梯人脸注册特征库中某个人脸特征相似度的最大值大于指定阈值(比如0.8)，则说明该被禁止入梯的目标为可乘梯的已注册目标，向电梯控制器发送信号，取消阻止当前电梯的关门信号。
在本实施方式中，若人脸特征未在电梯人脸注册特征库中注册，则继续控制电梯开门，并发出报警。在本实施方式中，若人脸特征与电梯人脸注册特征库中的数据的相似度的最大值小于预设阈值，则判断人脸特征未在电梯人脸注册特征库中注册，则前述步骤中目标检测步骤中所获得的被禁止入梯的目标和该人脸特征均是不可乘梯的未注册目标。例如，如果该人脸特征与该电梯人脸注册特征库中某个人脸特征相似度的最大值小于指定阈值(比如0.8)，则说明该被禁止入梯的目标和该人脸特征均是被禁止乘梯的未注册目标，向电梯控制器发送信号，阻止当前电梯的关门，并播放告警语音提示。
根据本发明的一种实施方式，人脸特征与电梯人脸注册特征库中的数据的相似度采用余弦距离度量。
如图4所示，根据本发明的一种实施方式，本发明的一种电梯入梯控制系统，包括：用于获取视频数据数据的采集模块，与采集模块相连的前端设备，与前端设备相连的云服务器，与前端设备相连的电梯控制器。在本实施方式中，云服务器用于接收前端设备上传的图像，并进行目标检测和人脸识别检测；前端设备用于接收视频数据并进行解码处理，以及用于接收云服务器下发的目标检测结果并基于目标检测结果进行目标跟踪，以及人脸检测和识别；电梯控制器用于接收前端设备下发的控制信号，控制电梯的运行。
根据本发明的一种实施方式，前端设备还用于将目标与禁止入梯目标类别库进行对比，以及进行人脸特征与电梯人脸注册特征库进行检索。
根据本发明的一种实施方式，前端设备包括：
图像数据采集单元，用于接收视频数据并进行解码处理，并将获取的图像上传到云服务器；
跟踪单元，用于接收云服务器下发的目标检测结果，并对目标进行跟踪；
识别单元，用于将目标的目标类别与禁止入梯目标类别库进行对比，以及在包含目标的截取图像中进行人脸检测和特征提取，并对该特征在电梯人脸注册特征库进行检索；；
控制单元，用于向电梯控制器发送针对电梯的控制信号，以及用于播放告警语音。
上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种电梯入梯控制方法，包括：
S1.采集电梯开门后的视频数据；
S2.基于所述视频数据进行目标检测，并判断是否存在目标，若存在，则执行步骤S3，若不存在，则执行步骤S4；
S3.基于预先设置的禁止入梯目标类别库对所述目标进行判断，若所述目标属于禁止入梯目标类别，则对所述目标进行目标跟踪，并控制所述电梯保持开门，获取对所述目标进行跟踪的图像，并对所述图像进行人脸检测和识别，获取所述图像中所包含的人脸特征；
基于预先设置的电梯人脸注册特征库对所述人脸特征进行检索，若所述人脸特征已在所述电梯人脸注册特征库中注册，则取消对所述电梯的控制，并执行步骤S4；
若所述目标不属于禁止入梯目标类别，则执行步骤S4；
S4.对所述电梯放行，并重新执行步骤S1至S3。
2.根据权利要求1所述的电梯入梯控制方法，其特征在于，基于预先设置的电梯人脸注册特征库对所述人脸特征进行检索的步骤中，若所述人脸特征未在所述电梯人脸注册特征库中注册，则继续控制所述电梯开门，并发出报警。
3.根据权利要求1至2任一项所述的电梯入梯控制方法，其特征在于，步骤S2中，基于所述视频数据进行目标检测，并判断是否存在目标的步骤中，包括：
S21.对所述视频数据进行解码并获取相应的解码图像，并按第一预设间隔的帧数上传所述解码图像；
S22.获取所述解码图像，并进行目标检测，若所述解码图像中所述目标的置信度大于预先设置的阈值，则判断结果为存在。
4.根据权利要求3所述的电梯入梯控制方法，其特征在于，步骤S3中，基于预先设置的禁止入梯目标类别库对所述目标进行判断的步骤中，基于连续多帧所述解码图像进行判断确认，若所述目标出现的帧数大于第一预设值，则判断所述目标属于禁止入梯目标；
若所述目标出现的帧数小于第二预设值，则判断所述目标不属于禁止入梯目标；
所述第一预设值大于所述第二预设值。
5.根据权利要求1所述的电梯入梯控制方法，其特征在于，步骤S3中，对所述目标进行目标跟踪的步骤中，采用sort算法进行目标跟踪。
6.根据权利要求1所述的电梯入梯控制方法，其特征在于，获取对所述目标进行跟踪的图像，并对所述图像进行人脸检测和识别的步骤中，按照预设数量在所述图像中进行随机选取并基于选取的所述图像进行人脸检测和识别。
7.根据权利要求6所述的电梯入梯控制方法，其特征在于，基于预先设置的电梯人脸注册特征库对所述人脸特征进行检索的步骤中，若所述人脸特征与所述电梯人脸注册特征库中的数据的相似度的最大值大于预设阈值，则判断所述人脸特征已在所述电梯人脸注册特征库中注册；
若所述人脸特征与所述电梯人脸注册特征库中的数据的相似度的最大值小于预设阈值，则判断所述人脸特征未在所述电梯人脸注册特征库中注册。
8.根据权利要求1所述的电梯入梯控制方法，其特征在于，对所述图像进行人脸识别检测，获取所述图像中所包含的人脸特征的步骤中，采用基于resnet18的reid网络提取所述人脸特征。
9.根据权利要求7所述的电梯入梯控制方法，其特征在于，所述人脸特征与所述电梯人脸注册特征库中的数据的相似度采用余弦距离度量。
10.一种用于权利要求1至9任一项所述的电梯入梯控制方法的电梯入梯控制系统，其特征在于，包括：用于获取视频数据的采集模块，与所述采集模块相连的前端设备，与所述前端设备相连的云服务器，与所述前端设备相连的电梯控制器；
所述云服务器用于接收所述前端设备上传的图像，并进行目标检测；
所述前端设备用于接收所述视频数据并进行解码处理，以及用于接收所述云服务器下发的目标检测结果并基于所述目标检测结果进行目标跟踪，人脸检测和识别；
所述电梯控制器用于接收所述前端设备下发的控制信号，控制所述电梯的运行。
11.根据权利要求10所述的电梯入梯控制系统，其特征在于，所述前端设备还用于将所述目标与禁止入梯目标类别库进行对比，以及进行人脸特征与电梯人脸注册特征库进行检索。
12.根据权利要求11所述的电梯入梯控制系统，其特征在于，所述前端设备包括：
图像数据采集单元，用于接收所述视频数据并进行解码处理，并将获取的图像上传到所述云服务器；
跟踪单元，用于接收所述云服务器下发的目标检测结果，并对目标进行跟踪；
识别单元，用于将所述目标的目标类别与禁止入梯目标类别库进行对比，以及在包含目标发截取图像中进行人脸检测和特征提取，并对该特征在电梯人脸注册特征库进行检索；
控制单元，用于向所述电梯控制器发送针对所述电梯的控制信号，以及用于播放告警语音。
CN202010858842.6A 2020-08-24 2020-08-24 一种电梯入梯控制方法及电梯入梯控制系统 Active CN112079213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010858842.6A CN112079213B (zh) 2020-08-24 2020-08-24 一种电梯入梯控制方法及电梯入梯控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010858842.6A CN112079213B (zh) 2020-08-24 2020-08-24 一种电梯入梯控制方法及电梯入梯控制系统

Publications (2)

Publication Number Publication Date
CN112079213A CN112079213A (zh) 2020-12-15
CN112079213B true CN112079213B (zh) 2022-08-23

Family

ID=73727995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010858842.6A Active CN112079213B (zh) 2020-08-24 2020-08-24 一种电梯入梯控制方法及电梯入梯控制系统

Country Status (1)

Country Link
CN (1) CN112079213B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111776905B (zh) * 2020-08-13 2021-11-23 浙江新再灵科技股份有限公司 一种结合重识别的电瓶车入梯告警方法及系统
CN113003341B (zh) * 2021-02-22 2022-12-20 上海三菱电梯有限公司 电梯提醒系统
CN113343836A (zh) * 2021-06-02 2021-09-03 禾麦科技开发（深圳）有限公司 一种基于卷积神经网络的楼层电梯等候人群检测系统及方法
CN113378767A (zh) * 2021-06-28 2021-09-10 浙江新再灵科技股份有限公司 一种基于自适应学习的电梯预警控制方法及其系统
CN114524339B (zh) * 2022-01-06 2024-02-09 广东博智林机器人有限公司 电梯轿厢安全运行检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160739A (zh) * 2015-09-09 2015-12-16 北京旷视科技有限公司 自动识别设备、方法以及门禁系统
JP6271776B1 (ja) * 2017-01-17 2018-01-31 東芝エレベータ株式会社 エレベータの乗車検知システム
CN110436294A (zh) * 2019-08-08 2019-11-12 杭州吉时语科技有限公司 一种电瓶车入电梯检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5586503B2 (ja) * 2011-02-28 2014-09-10 三菱電機株式会社 車椅子検出装置、自転車検出装置およびエレベータ
CN108171840A (zh) * 2017-12-28 2018-06-15 广东傲智创新科技有限公司 一种基于人脸识别的楼宇控制系统
CN109977783B (zh) * 2019-02-28 2021-06-04 浙江新再灵科技股份有限公司 基于直梯场景婴儿车单独乘梯检测的方法
CN210393315U (zh) * 2019-08-30 2020-04-24 重庆玖玖新能源有限公司 一种自动识别违禁品的电梯控制设备
CN110759189A (zh) * 2019-10-30 2020-02-07 河南宙为电子技术有限公司 电梯管理方法、装置及系统
CN110950208B (zh) * 2019-11-12 2021-07-20 浙江新再灵科技股份有限公司 一种基于语义分割的禁止电动车入梯上行联动梯控方法
CN111332889A (zh) * 2020-03-16 2020-06-26 成都新潮传媒集团有限公司 一种电梯内宠物识别方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160739A (zh) * 2015-09-09 2015-12-16 北京旷视科技有限公司 自动识别设备、方法以及门禁系统
JP6271776B1 (ja) * 2017-01-17 2018-01-31 東芝エレベータ株式会社 エレベータの乗車検知システム
CN110436294A (zh) * 2019-08-08 2019-11-12 杭州吉时语科技有限公司 一种电瓶车入电梯检测方法

Also Published As

Publication number Publication date
CN112079213A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112079213B (zh) 一种电梯入梯控制方法及电梯入梯控制系统
CN110950208B (zh) 一种基于语义分割的禁止电动车入梯上行联动梯控方法
CN112132045B (zh) 一种基于计算机视觉的小区人员异常行为监控方案
CN107977646B (zh) 一种隔栏递物检测方法
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
US8660700B2 (en) Video-based system and method of elevator door detection
CN107416629B (zh) 电梯安全运行的控制方法和系统
US7382895B2 (en) Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
CN109657608B (zh) 基于人脸识别技术的尾随分析方法
CN106541968B (zh) 基于视觉分析的地铁车厢实时提示系统的识别方法
CN111439644A (zh) 电梯内电瓶车的报警方法及相关装置
CN101356108A (zh) 用于电梯控制的视频辅助系统
CN106144795A (zh) 通过识别用户操作用于乘客运输控制和安全的系统和方法
CN106144862A (zh) 用于乘客运输门控制的基于深度传感器的乘客感测
CN110304513B (zh) 一种避险方法、装置、终端设备及存储介质
CN109919066B (zh) 一种检测轨道交通车厢内乘客密度异常的方法和装置
CN111164036A (zh) 电梯的防范系统
CN109353907A (zh) 电梯运行的安全提示方法和系统
CN107522045A (zh) 电梯控制系统
JP2006168930A (ja) エレベータのセキュリティシステム及びエレベータドアの運転方法
CN114926422B (zh) 一种上下车客流量检测方法及系统
JP2006243972A (ja) 入退室管理装置
CN111776905B (zh) 一种结合重识别的电瓶车入梯告警方法及系统
CN111797759B (zh) 一种自动扶梯危险乘梯行为主动干预监测方法
JP4703358B2 (ja) エレベータ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant