CN117115740A - 基于深度学习的电梯开关门状态检测方法、装置及设备 - Google Patents

基于深度学习的电梯开关门状态检测方法、装置及设备 Download PDF

Info

Publication number
CN117115740A
CN117115740A CN202311141087.XA CN202311141087A CN117115740A CN 117115740 A CN117115740 A CN 117115740A CN 202311141087 A CN202311141087 A CN 202311141087A CN 117115740 A CN117115740 A CN 117115740A
Authority
CN
China
Prior art keywords
elevator
state
door opening
closing state
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311141087.XA
Other languages
English (en)
Inventor
田亮
田志仲
崔文朋
刘瑞
郑哲
王连忠
熊艳伟
赵文仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smartchip Microelectronics Technology Co Ltd
Original Assignee
Beijing Smartchip Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smartchip Microelectronics Technology Co Ltd filed Critical Beijing Smartchip Microelectronics Technology Co Ltd
Priority to CN202311141087.XA priority Critical patent/CN117115740A/zh
Publication of CN117115740A publication Critical patent/CN117115740A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的电梯开关门状态检测方法、装置及设备。首先，获取电梯门指定区域对应的目标电梯图像序列；接着，对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；然后，基于电梯开关门状态对应的概率数据序列生成表示电梯门在目标电梯图像序列对应的时间段内的开关门状态的开关门状态时序信息；最后，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。通过上述实施方可以实现对电梯开关门状态的实时准确检测。

Description

基于深度学习的电梯开关门状态检测方法、装置及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的电梯开关门状态检测方法、装置及设备。
背景技术
电梯是现代城市生活中的重要工具，为人们的生活带到便利的同时，也存在安全问题。因此，需要对电梯开关门状态进行快速准确地检测。
相关技术中，基于深度学习分割模型，判断电梯边缘位置的变化情况，以实现电梯开关门状态的检测。然而，基于深度学习分割模型方式的检测方式有待改进。
发明内容
本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种基于深度学习的电梯开关门状态检测方法、装置及设备。
本说明书实施方式提供一种基于深度学习的电梯开关门状态检测方法，所述方法包括：
获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；
对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；
基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；
根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。
在其中一个实施方式，所述基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息，包括：
对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；
对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。
在其中一个实施方式，所述对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息，包括：
对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；
若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值发生突变；所述预设数值为所述误检元素的相邻元素的取值。
在其中一个实施方式，所述根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果，包括：
若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。
在其中一个实施方式，所述概率数据序列中的概率数据是目标二分类模型输出的；所述目标二分类模型的训练过程，包括：
获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；其中，所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；
对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；
对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；
基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；
利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。
在其中一个实施方式，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述方法还包括：
确定所述指定电梯运行环境下的目标电梯；
获取安装于所述目标电梯内的图像采集装置采集的视频文件；
基于所述视频文件构建用于训练所述基础模型的补充样本集；
利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。
在其中一个实施方式，所述基于所述视频文件构建用于训练所述基础模型的补充样本集，包括：
确定所述视频文件中电梯处于所述第一状态对应的第一起始时刻和电梯处于所述第二状态对应的第二起始时刻；
基于所述第一起始时刻和所述第二起始时刻从所述视频文件截取第一状态视频段和第二状态视频段；
基于所述第一状态视频段和所述第二状态视频段构建所述补充样本集。
在其中一个实施方式，所述指定电梯运行环境包括电梯运行环境变化后的新运行环境，所述电梯运行环境变化包括以下任一种情况：
电梯轿厢内部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个；
电梯轿厢外部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个；
将针对第一运行环境训练的目标二分类模型用在第二运行环境中，所述第二运行环境与所述第一运行环境不同；所述补充样本集为所述第二运行环境中采集的视频文件。
本说明书实施方式提供一种基于深度学习的电梯开关门状态检测装置，所述装置包括：
图像序列获取模块，用于获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；
区域图像分类模块，用于对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；
状态时序生成模块，用于基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；
门状态检测模块，用于根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。
在其中一个实施方式，所述状态时序生成模块，还用于对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。
在其中一个实施方式，所述状态时序生成模块，还用于对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值却发生突变；所述预设数值为所述误检元素的相邻元素的取值。
在其中一个实施方式，所述门状态检测模块，还用于若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。
在其中一个实施方式，所述概率数据序列中的概率数据是目标二分类模型输出的；所述装置还包括分类模型训练模块，用于获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。
在其中一个实施方式，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述装置还包括分类模型训练模块，用于确定所述指定电梯运行环境下的目标电梯；获取安装于所述目标电梯内的图像采集装置采集的视频文件；基于所述视频文件构建用于训练所述基础模型的补充样本集；利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。
本说明书实施方式提供一种计算机设备，所述计算机设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种异构芯片，包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在所述存储器中且被配置为由所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行的计算机程序，所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行所述计算机程序时实现如上述任一项实施方式所述方法。
上述说明书实施方式中，首先，获取电梯门指定区域对应的目标电梯图像序列；接着，对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；然后，基于电梯开关门状态对应的概率数据序列生成表示电梯门在目标电梯图像序列对应的时间段内的开关门状态的开关门状态时序信息；最后，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。实现端到端的推理以及对电梯开关门状态的实时准确检测；进一步地，通过对图像序列中各帧图像进行开关门状态检测，输出开关门状态时序信息，可以减少电梯轿厢内部环境、电梯轿厢外部环境、人出入电梯等因素对检测结果的干扰，进而提升检测方式的泛化性和鲁棒性。
附图说明
图1a为本说明书一实施方式提供的电梯开关门状态检测方法的场景示意图；
图1b为本说明书另一实施方式提供的电梯开关门状态检测方法的场景示意图；
图1c为本说明书一实施方式提供的电梯开关门状态检测方法的流程示意图；
图1d为本说明书实施方式提供的确定电梯门指定区域的示意图；
图1e为本说明书实施方式提供的概率数据序列对应的曲线示意图；
图1f为本说明书实施方式提供的新的概率数据序列对应的曲线示意图；
图1g为本说明书实施方式提供的滤波后概率序列对应的曲线示意图；
图1h为本说明书实施方式提供的存在误检元素的曲线示意示意图；
图1i为本说明书实施方式提供的元素修正后的开关门状态时序信息对应的曲线示意图；
图2为本说明书实施方式提供的生成开关门状态时序信息的流程示意图；
图3为本说明书实施方式提供的确定开关门状态时序信息的流程示意图；
图4a为本说明书实施方式提供的目标二分类模型训练过程的流程示意图；
图4b为本说明书实施方式提供的目标二分类模型的结构示意图；
图4c为本说明书实施方式提供的普通的可分离卷积的结构示意图；
图4d为本说明书实施方式提供的Depthwise Convlution(DW Conv，深度可分离卷积层)层的结构示意图；
图4e为本说明书实施方式提供的Pointwise Convolution(PW Conv，逐点卷积层)改进的结构示意图；
图5为本说明书实施方式提供的得到适用于指定电梯运行环境的目标模型的流程示意图；
图6为本说明书实施方式提供的构建补充样本集的流程示意图；
图7为本说明书另一实施方式提供的电梯开关门状态检测方法的流程示意图；
图8为本说明书实施方式提供的电梯开关门状态检测装置的示意图；
图9为本说明书实施方式提供的计算机设备的内部结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
电梯是现代城市生活中的重要工具，广泛安装在办公区、商场及居民楼。电梯给人民群众的生活带来诸多便利的同时，也存在安全问题。在电梯发生异常情况时，如速度异常、开关门异常、困人异常等，需要对电梯开关门状态进行快速准确的检测。因此一种高效稳定的开关门检测方法至关重要。
电梯开关门检测技术需要做到及时检测电梯开关状态，有效避免因电梯门故障而引起的事故，在提高电梯运行效率降低维护成本的同时，为人们的生活带来方便和安全的体验。
目前电梯开关状态的检测主要有以下几个方向，第一种是利用传统的物理机械设备，对电梯开关门状态进行检测。传统的物理机械设备主要在老式电梯中，门机结构在运行中通过触碰的方式来反馈电梯门的开关状态，但是传统的物理机械设备的失效率较高。第二种是利用传感器类的设备(霍尔开关)，对电梯开关门状态进行检测。传感器类的设备可以通过检测磁场来判断电梯开关门状态，但是传感器类的设备的安装要求传感器类的设备必须切割磁场边缘，且距离要小于2cm。长时间使用后磁场减弱，也会导致传感器类的设备检测失效。传感器类的设备可以是加速度传感器，电梯从启动到停止必有一个加速一个减速过程，电梯运动过程中正常门处于关闭状态。若电梯门处于打开状态，电梯处于故障状态。但故障状态下两者是无关联的，另外加速度传感器受电梯中人的运动、电梯振动等影响会造成误判，所以加速度传感器可以作为检测电梯开关状态的一种辅助方式。
相关技术中，可以使用传统图像处理方式(如Canny边缘检测方法)，检测电梯门的两条竖线，电梯门处于关闭状态的时候只有一条，开门过程或关门过程中两条线的距离逐步变大或变小。可以通过帧差法或背景差法，使用电梯摄像头获取第一帧图作为基础图并记录开关状态，后续来的图与基础图做差，通过一定逻辑，来判断后续图与基础图的状态是否一致，从而判断电梯门的开关门状态。
相关技术中，可以使用光流法，对电梯门的两侧分别设定感兴趣区域并计算光流特征，通过运动来判断电梯门开关门状态。可以利用模版匹配的方法，划定感兴趣区域并提取关门时特征，然后在电梯运行过程中将感兴趣区域的当前特征与关门时的特征做相似性比对，最后通过相似性分值与预设阈值做比对，以实现对电梯开关门状态的检测。
相关技术中，可以通过人为设置标志物，在电梯门不易受干扰的区域，贴上标志物，接着通过目标检测的方法来检测标志物所在的位置来判断开关门，然后使用传统Kernelized Correlation Filter(KCF，核相关滤波器)检测并跟踪标志物，从而判断电梯开关门状态。还可以使用深度学习的方法对电梯开关门状态进行检测，该方法一定程度上可以提高精度和稳定性，为了提高精度还会做多个深度学习检测模型的级联，精度通常能达到98+％。基于分割的深度学习算法，获取电梯门的边线，判断边缘位置的变化情况，从而判断电梯开的开关门状态。基于深度学习的开关门分类模型，直接对每张图进行分类，实现端到端推理，精度可以达到99+％。
然而，传统图像处理方式受光照、进出人等影响，会造成误检的情况，而且当电梯门与电梯外亮度相近时，由于识别精度低，基本检测不到电梯门的两条竖线。帧差法或背景差法受运动、颜色、光照影响都比较大，运行不稳定，导致识别精度低。光流法计算量大，运行速度慢，同时受感兴趣区域划定、光照、图像纹理影响较大，导致该方法的识别精度低。模版匹配的方法受限于特征提取算法和相似性比对方法，而且在固定阈值下无法稳定保证结果正确性。KCF算法准确率低，受环境影响大，另外设置标志物的方法，标志物不能随意更换，贴到门上后要持久保存。高精度检测模型需要较大算力，实时性差，在模型构建时，数据标注工作量大，后期持续升级和更新成本高。
基于分割的深度学习算法的方式，在训练时标注数据工作量是巨大的，获取精度高的模型难度也较大，而且模型推理必须放到算力很高的服务器上，算上数据传输和模型的推理耗时，不能保证电梯门开关门状态检测的实时性。基于深度学习的开关门分类模型的方式，难以处理人进入电梯后的干扰，还有就是泛化性的限制，对新电梯识别精度会下降。非端到端识别方法，后期要加入大量人为设定规则和阈值，普适性差。传统的检测算法抗干扰能力差。
基于此，本说明书实施方式提供一种基于深度学习的电梯开关门状态检测方法。首先，获取电梯门指定区域对应的目标电梯图像序列；接着，对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；然后，基于电梯开关门状态对应的概率数据序列生成表示电梯门在目标电梯图像序列对应的时间段内的开关门状态的开关门状态时序信息；最后，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。可以减少人为设定逻辑，实现端到端的推理。通过上述实施方式，不仅可以实现对电梯开关门状态的实时准确检测。而且通过对图像序列中各帧图像进行开关门状态检测，输出开关门状态时序信息，可以减少电梯轿厢内部环境、电梯轿厢外部环境、人出入电梯等因素对检测结果的干扰，进而提升检测方式的泛化性和鲁棒性。
本说明书实施方式提供的方法可以应用于图1a的应用场景中，摄像头包括图像采集单元和模型推理单元，模型推理单元包括二分类模型及后处理单元。二分类模型部署在NPU核(Neural-network Process Units，嵌入式神经网络处理器)上，后处理单元部署在CPU核(Central Processing Unit，中央处理器)上。控制中心包括数据管理、显示管理、模型管理、用户管理，控制中心主要负责二分类模型版本管理及模型更新发布、回滚。显示平台包括内容管理和显示器排布。
具体地，通过安装在电梯内部的摄像头的采集单元采集目标电梯图像序列。图像采集单元把目标电梯图像序列输入到摄像头内部的模型推理单元，调用开关门二分类模型及后处理单元，获得表示电梯门在目标电梯图像序列对应的时间段内的开关门状态的开关门状态时序信息。然后通过网络将开关门状态时序信息上传至控制中心。控制中心利用开关门状态时序信息以及业务逻辑(比如门长时间开；电梯有人，仍长时间处于关闭状态；电梯上升下降状态门开着)，得到要显示的开关门状态检测结果并将其推送至显示平台，以供工作人员查看。
需要说明的是，请参阅图1b，电梯1安装有摄像头1，电梯2安装有摄像头2，电梯N安装有摄像头N。N部电梯通过各自内部安装的摄像头采集目标电梯图像序列，对目标电梯图像序列进行二分类以及后处理，得到开关门状态时序信息。摄像头通过网络将开关门状态时序信息上传至电梯告警平台的控制中心服务器，控制中心服务器对电梯开关门状态进行检测，得到开关门状态检测结果。控制中心通过网络将开关门状态检测结果上传至NVR(Network Video Recorder，网络视频录像机)进行存储并将其传输至监控显示大屏进行显示，以供工作人员进行查看。也可以使用移动设备通过网络远程访问控制中心，以获得开关门状态检测结果。
本说明书实施方式提供一种基于深度学习的电梯开关门状态检测方法，请参阅图1c，该方法可以包括以下步骤：
S110、获取目标电梯图像序列。
其中，目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像。电梯门指定区域为出入对象经过电梯门开合区域时出入对象与电梯门开合区域在电梯门开合方向上没有重叠的区域。电梯门开合区域可以是电梯门在开关过程中所占据的空间范围，这个区域通常由电梯门两侧及其前后方向上一定距离内的空间组成。示例性地，请参阅图1d，电梯门开合区域102与出入对象104在电梯门开合方向上没有重叠的区域为电梯门指定区域106。
在一些情况下，通过设置电梯门指定区域为出入对象经过电梯门开合区域时出入对象与电梯门开合区域在电梯门开合方向上没有重叠的区域，可以减少出入对象在进出电梯时对电梯门造成的遮挡，也可以减小模型处理的图像数据，加快对电梯开关门状态的推理检测。
具体地，可以通过图像采集装置对电梯门指定区域进行拍摄，得到目标电梯图像序列。可以将拍摄得到的目标电梯图像序列存储在图像采集装置本地，以便后续通过部署在图像采集装置中的目标二分类模型对电梯门区域图像进行二分类处理，实现对电梯开关门状态的实时检测。在另一些实施方式中，服务器本地存储有若干初始电梯图像序列，从初始电梯图像序列中可以直接获取目标电梯图像序列。
示例性地，图像采集装置可以是摄像头、监控摄像机、工业摄像机、鱼眼相机中的至少一种。工作人员可以通过监控平台的交互界面对电梯要进行监控的区域即电梯门指定区域进行标注，标注区域可以是电梯门部分的上1/4。
S120、对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列。
其中，电梯门区域图像的分类结果可以是电梯开状态或者是电梯关状态。电梯开状态可以是电梯轿厢内的图像采集装置能够拍摄到电梯外部时电梯门的状态。电梯关状态可以是电梯轿厢内的图像采集装置不能够拍摄到电梯外部时电梯门的状态。概率数据序列可以是基于时间顺序，将每帧电梯门区域图像处于电梯开状态的对应的概率数据或者每帧电梯门区域图像处于电梯关状态的对应的概率数据进行排列，构成的序列。
具体地，目标电梯图像序列包括若干帧电梯门区域图像。利用目标二分类模型对每帧电梯门区域图像进行分类处理，可以得到每帧电梯门区域图像对应的处于电梯开状态的概率数值以及处于电梯关状态的概率数值。在一些实施方式中，基于时间顺序，将每帧电梯门区域图像对应的处于电梯开状态的概率数值进行排列，构成电梯开关门状态对应的概率数据序列。在另一些实施方式中，基于时间顺序，将每帧电梯门区域图像对应的处于电梯关状态的概率数值进行排列，构成电梯开关门状态对应的概率数据序列。根据概率数据序列可以生成对应的曲线图。示例性地，请参阅图1e，曲线108为概率数据序列对应的曲线图。
示例性地，目标电梯图像序列包括电梯门指定区域对应的三帧电梯门区域图像A1、A2、A3。将电梯门区域图像A1输入至目标二分类模型进行分类处理，得到电梯门区域图像A1处于电梯开状态的概率数值为0.8，处于电梯关状态的概率数值为0.2。将电梯门区域图像A2输入至目标二分类模型进行分类处理，得到电梯门区域图像A2处于电梯开状态的概率数值为0.7，处于电梯关状态的概率数值为0.3。将电梯门区域图像A3输入至目标二分类模型进行分类处理，得到电梯门区域图像A3处于电梯开状态的概率数值为0.6，处于电梯关状态的概率数值为0.4。可以根据电梯门区域图像A1处于电梯开状态的概率数值为0.8、电梯门区域图像A2处于电梯开状态的概率数值为0.7、电梯门区域图像A3处于电梯开状态的概率数值为0.6构成电梯开关门状态对应的概率数据序列[0.8，0.7，0.6]。也可以根据电梯门区域图像A1处于电梯关状态的概率数值为0.2、电梯门区域图像A2处于电梯关状态的概率数值为0.3、电梯门区域图像A3处于电梯关状态的概率数值为0.4构成电梯开关门状态对应的概率数据序列[0.2，0.3，0.4]。
S130、基于电梯开关门状态对应的概率数据序列生成开关门状态时序信息。
其中，开关门状态时序信息用于表示电梯门在目标电梯图像序列对应的时间段内的开关门状态。电梯开状态可以使用1表示，电梯关状态可以使用0表示。
在一些情况下，开关门状态时序信息可以用于监控电梯开关门状态，以便后续获得电梯的故障情况。
具体地，由于指定时间段内(比如一秒内)，图像采集装置可以采集多帧电梯门区域图像，会造成图像的冗余，增加计算资源的消耗。因此，可以对概率数据序列进行采样，从该指定时间段内包括的电梯门区域图像的电梯开关门状态对应的概率数据序列中抽取指定数量的元素，将抽取出来的元素基于时间顺序进行排列，构成新的概率数据序列。通过上述操作对目标电梯图像序列进行处理，得到新的电梯开关门状态对应的概率数据序列。基于新的电梯开关门状态对应的概率数据序列，生成开关门状态时序信息。新的电梯开关门状态对应的概率数据序列可以生成对应的曲线图。示例性地，请参阅图1f，曲线110为新的概率数据序列对应的曲线图。
示例性地，一般一秒可以采集30帧电梯门区域图像。在一秒内抽取5至10帧都是可以的，也就是1/6s至1/3s时间精度内的电梯开关门状态对应的概率数据。
S140、根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。
其中，开关门状态检测结果可以是电梯开关门状态异常，或者可以是电梯开关门状态正常。
在一些情况下，将开关门状态时序信息与实际情况相结合，可以实现对电梯故障状态的检测，有助于维护人员对电梯进行及时的保养和维修。提高电梯的安全性。
具体地，找到元素取值0与元素取值1之间转换的点可以确定电梯开关门状态及电梯开关门状态的转换过程。结合实际情况，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。
在一些实施方式中，用户呼叫电梯后，电梯响应于用户的请求运行至用户所在楼层并处于平层状态时，电梯门需要经过正常开门的过程，然后用户进入电梯。或者用户在电梯内部按下楼层按钮，电梯响应于用户的请求，到达用户所选楼层并处于平层状态时，电梯门需要经过正常开门的过程，然后用户走出电梯。电梯门开门的时长可以根据具体情况而异。一般来说，在无人对电梯门进行触碰干扰时，电梯门正常开门的时间通常在3至10秒之间，具体取决于电梯的设计和制造商的要求。示例性地，可以设置电梯门开门时长为3秒，该电梯门开门时长的时间段内对应的开关门状态时序信息可以是000001111111111。
当在实际情况中，如果检测到实际开门过程中电梯门开门时长的时间段内对应的开关门状态时序信息为000011111111111或者000000111111111，可以认为电梯正常的，得到电梯开关门状态正常的检测结果。因为0与1转换的节点为电梯开状态与电梯关状态转换的临界点，它可以被归为电梯开状态也可以归为关状态。如果检测到实际开门过程中电梯门开门时长的时间段内对应的开关门状态时序信息为000000000000111，可以认为电梯的故障为电梯门打不开，得到电梯开关门状态异常的检测结果。
在另一些实施方式中，电梯处于平层状态，且用户进入电梯后，电梯门需要经过正常关门的过程。
电梯门关门的时长可以根据具体情况而异。一般来说，在无人对电梯门进行触碰干扰时，电梯门正常关门的时间通常在3至10秒之间，具体取决于电梯的设计和制造商的要求。示例性地，可以设置电梯门关门时长为3秒，该电梯门关门时长的时间段内对应的开关门状态时序信息可以是111111111100000。
当在实际情况中，如果检测到实际关门过程中电梯门关门时长的时间段内对应的开关门状态时序信息为111111111110000或者111111111000000，可以认为电梯正常的，得到电梯开关门状态正常的检测结果。如果检测到实际关门过程中电梯门关门时长的时间段内对应的开关门状态时序信息为111111111111111，可以认为电梯的故障为电梯门关不上，得到电梯开关门状态异常的检测结果。
在又一些实施方式中，通过对每帧电梯门区域图像进行检测，如果检测结果为电梯内有人，电梯处于电梯关状态，并且通过安置在电梯顶部的速度传感器检测到电梯处于静止状态，则开始计时，若计时器的时长超过60秒，则向监控平台发出困人的弹窗告警。
上述电梯开关门状态检测方法中，首先，获取电梯门指定区域对应的目标电梯图像序列；接着，对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；然后，基于电梯开关门状态对应的概率数据序列生成表示电梯门在目标电梯图像序列对应的时间段内的开关门状态的开关门状态时序信息；最后，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。可以减少人为设定逻辑，实现端到端的推理。通过上述实施方式，不仅可以实现对电梯开关门状态的实时准确检测。而且通过对图像序列中各帧图像进行开关门状态检测，输出开关门状态时序信息，可以减少电梯轿厢内部环境、电梯轿厢外部环境、人出入电梯等因素对检测结果的干扰，进而提升检测方式的泛化性和鲁棒性。
在一些实施方式中，请参阅图2，基于电梯开关门状态对应的概率数据序列生成开关门状态时序信息，可以包括以下步骤：
S210、对电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列。
其中，滤波处理可以用于减少或消除数据中的噪声、震荡或不规则性。通过对数据进行过滤的方法来减少变动或突变，并使数据更加连续和可预测。滤波处理可以通过滤波算法实现，滤波算法可以是移动平均滤波、中值滤波、高斯滤波。
在一些情况下，通过对电梯开关门状态对应的概率数据序列进行滤波处理，可以使概率数据变得更加规整和易于解释，有助于数据分析。
具体地，通过滤波函数对电梯开关门状态对应的概率数据序列进行滤波处理，可以使电梯开关门状态对应的概率数据序列中的突出部分变的平缓，以得到滤波后概率序列。示例性地，请参阅图1g，曲线112为滤波后概率序列对应的曲线图。
示例性地，使用一个滑动平均的窗口来对电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列。窗口大小可以依据摄像头的帧率进行调整。
S220、对滤波后概率序列进行二值化处理，得到开关门状态时序信息。
其中，二值化处理可以是将连续数据转换为离散数据的方法，通过设定一个阈值，将大于阈值的值设置为一个固定值，小于阈值的值设置为另一个固定值。
在一些情况下，二值化处理简化了数据的表示和处理，以减少存储空间和计算成本。二值化处理可以使特征更易于区分，更适合进行数据分析。
具体地，设置二值化处理的阈值为D。若电梯开关门状态对应的概率数据序列是由每帧电梯门区域图像处于电梯开状态的对应的概率数据构成时，对电梯开关门状态对应的滤波后概率序列进行二值化处理。当电梯开关门状态对应的滤波后概率数据大于等于阈值D时，将该数据设置为电梯开状态对应的固定值1，当电梯开关门状态对应的滤波后概率数据小于阈值D时，将该数据设置为电梯关状态对应的固定值为0。若电梯开关门状态对应的概率数据序列是由每帧电梯门区域图像处于电梯关状态的对应的概率数据组成的序列时，对电梯开关门状态对应的滤波后概率序列进行二值化处理。当电梯开关门状态对应的滤波后概率数据大于阈值D时，将该数据设置为电梯关状态对应的固定值0，当电梯开关门状态对应的滤波后概率数据小于等于阈值D时，将该数据设置为电梯开状态对应的固定值1。
示例性地，设置二值化处理的阈值为0.5。若电梯开关门状态对应的概率数据序列是由每帧电梯门区域图像处于电梯开状态的对应的概率数据构成时，滤波后概率序列可以为[1.0，0.9，0.8，0.7，0.6，0.5，0.4，0.3，0.2，0.1，0.0]。对滤波后概率序列进行二值化处理，将大于等于0.5的滤波后概率数据设置为电梯开状态对应的固定值1，将小于0.5的滤波后概率数据设置为电梯关状态对应的固定值为0。因此，滤波后概率序列[1.0，0.9，0.8，0.7，0.6，0.5，0.4，0.3，0.2，0.1，0.0]可以转换为[1，1，1，1，1，1，0，0，0，0，0]。
若电梯开关门状态对应的概率数据序列是由每帧电梯门区域图像处于电梯关状态的对应的概率数据组成的序列时，滤波后概率序列可以为[0.0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0]。对滤波后概率序列进行二值化处理，将大于0.5的滤波后概率数据设置为电梯开状态对应的固定值0，将小于等于0.5的滤波后概率数据设置为电梯关状态对应的固定值为1。因此，滤波后概率序列[0.0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0]可以转换为[1，1，1，1，1，1，0，0，0，0，0]。
上述电梯开关门状态检测方法中，对电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列，对滤波后概率序列进行二值化处理，得到开关门状态时序信息，以便后续对电梯开关门状态进行检测，得到开关门状态检测结果。
在一些实施方式中，请参阅图3，对滤波后概率序列进行二值化处理，得到开关门状态时序信息，可以包括以下步骤：
S310、对滤波后概率序列进行二值化处理，得到初始状态序列信息。
S320、若初始状态序列信息中存在误检元素，利用预设数值更新误检元素的取值，得到开关门状态时序信息。
其中，在误检元素对应的时刻电梯开关门状态没有转换但误检元素的取值却发生突变，预设数值为误检元素的相邻元素的取值。
在一些情况下，由于电梯门的电梯开状态和电梯关状态都是在一个时间段内完成的，不会在单帧电梯门区域图像对应的时间或者是几帧电梯门区域图像对应的时间(时间极短)内突然实现电梯开关门状态多次切换，即使是发生故障也会是稳定状态的变化过程。因此，当在初始状态序列信息中存在元素发生突变但电梯开关门状态没有转换时，需要将其进行修正。
具体地，对滤波后概率序列进行二值化处理，得到初始状态序列信息。若初始状态序列信息中存在电梯开关门状态没有转换但取值发生突变的元素即误检元素，设置误检元素的相邻元素的取值为预设数值。利用预设数值更新误检元素的取值，得到开关门状态时序信息。示例性地，请参阅图1h，区域114中可以认为存在误检元素，将其更新为相邻元素的取值，得到图1h中的元素修正后的开关门状态时序信息对应的曲线116。请参阅图1i，曲线116可以是开关门状态时序信息对应的曲线图。
在一些实施方式中，如果初始状态序列为000000000010000，有1个元素为1且该元素相邻元素的取值与该元素的取值均不同，可以认为电梯从电梯关状态转换至电梯开状态再转换至电梯关状态的持续时间很短，认为目标二分类模型造成了误检。将初始状态序列000000000010000中的突变元素1更新为其相邻元素的取值0，得到检测序列是000000000000000，以实现对初始状态序列000000000010000的修正。
上述电梯开关门状态检测方法中，对滤波后概率序列进行二值化处理，得到初始状态序列信息，若初始状态序列信息中存在误检元素，利用预设数值更新误检元素的取值，得到开关门状态时序信息。通过对误检元素进行修正，可以提高开关门状态时序信息的准确性和可靠性。
在一些实施方式中，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果，可以包括：若电梯处于运动状态，且根据开关门状态时序信息判定电梯在预设时长内处于非闭合状态，得到电梯开关门状态异常的检测结果。
其中，预设时长可以结合具体情况进行设置。比如预设时长可以是电梯处于电梯开状态下的2秒。
具体地，通过速度传感器检测电梯是否处于运动状态。当电梯处于运动状态时，开关门状态时序信息中元素的取值应一直为0。但基于实际情况，对目标电梯图像序列进行分类处理、滤波以及二值化处理后得到的开关门状态时序信息中，存在元素取值连续为1的情况，且连续为1的时长达到预设时长，可以判定电梯在预设时长内处于非闭合状态，得到电梯开关门状态异常的检测结果。
示例性地，电梯处于运动状态下，开关门状态时序信息应该为0000000000。但实际检测得到的开关门状态时序信息为0011111111，认为电梯在运动过程中，电梯门处于打开状态，可以判定电梯在预设时长内处于非闭合状态，得到电梯开关门状态异常的检测结果。
上述电梯开关门状态检测方法中，若电梯处于运动状态，且根据开关门状态时序信息判定电梯在预设时长内处于非闭合状态，得到电梯开关门状态异常的检测结果，有助于维护人员对电梯进行及时的保养和维修。提高电梯的安全性。
在一些实施方式中，请参阅图4a，概率数据序列中的概率数据是目标二分类模型输出的。目标二分类模型的训练过程，可以包括以下步骤：
S410、获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像。
其中，第一状态可以是上述实施方式中的电梯开状态。第二状态可以是上述实施方式中的电梯关状态。第一状态对应第一电梯开门宽度范围，第二状态对应第二电梯开门宽度范围。在第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部。在第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部。
具体地，当通过电梯开门宽度范围，电梯轿厢内的图像采集装置能够拍摄到电梯外部时，此时电梯门的状态为第一状态，此时电梯开门宽度范围可以定义为第一电梯开门宽度范围。通过电梯轿厢内的图像采集装置对第一状态下的电梯门进行拍摄，得到第一状态图像。当通过电梯开门宽度范围，电梯轿厢内的图像采集装置不能够拍摄到电梯外部时，此时电梯门的状态为第二状态，此时电梯开门宽度范围可以定义为第二电梯开门宽度范围。通过电梯轿厢内的图像采集装置对第二状态下的电梯门进行拍摄，得到第二状态图像。
示例性地，为了目标二分类模型的准确性与模型泛化能力，可以收集约60万张不同类型电梯、不同摄像头安装角度的电梯处于第一状态和第二状态下的电梯图像。
S420、对第一状态图像进行截取，得到电梯门指定区域对应的第一状态图像样本。
S430、对第二状态图像进行截取，得到电梯门指定区域对应的第二状态图像样本。
S440、基于第一状态图像样本以及第二状态图像样本构建训练样本集。
具体地，对第一状态图像进行截取，保留出入对象经过电梯门开合区域时出入对象与电梯门开合区域在电梯门开合方向上没有重叠的区域，得到第一状态图像样本。对第二状态图像进行截取，保留出入对象经过电梯门开合区域时出入对象与电梯门开合区域在电梯门开合方向上没有重叠的区域，得到第二状态图像样本。基于第一状态图像样本以及第二状态图像样本构建训练样本集。
示例性地，第一状态图像样本或者第二状态图像样本可以是高为28，宽为112的RBG三通道图像。将收集的电梯图像按照9：1的比例，分为训练集和测试集。
S450、利用训练样本集对初始二分类模型进行训练，得到目标二分类模型。
具体地，训练样本集包括若干帧第一状态图像样本或者第二状态图像样本。第一状态图像样本对应第一标签，第二状态图像样本对应第二标签。将第一状态图像样本作为初始二分类模型的输入，得到第一状态图像样本对应的处于电梯开状态的概率数值以及处于电梯关状态的概率数值。基于得到的第一状态图像样本对应的处于电梯开状态的概率数值以及处于电梯关状态的概率数值与第一标签确定模型损失值，基于模型损失值对初始二分类模型进行更新。将第二状态图像样本作为初始二分类模型的输入，得到第二状态图像样本对应的处于电梯开状态的概率数值以及处于电梯关状态的概率数值。基于得到的第二状态图像样本对应的处于电梯开状态的概率数值以及处于电梯关状态的概率数值与第二标签确定模型损失值，基于模型损失值对初始二分类模型进行更新。以此类推，继续对更新后的初始二分类模型进行训练，当达到模型训练停止条件时，可以得到目标二分类模型。其中，模型训练停止条件可以是模型损失值趋于收敛，也可以是训练轮次达到预设的轮次数量。
在一些实施方式中，标签可以是训练样本集对应的真实的概率数据序列。将训练样本集作为初始二分类模型的输入，得到概率数据序列。基于得到的概率数据序列与标签确定模型损失值，基于模型损失值对初始二分类模型进行更新，当达到模型训练停止条件时，可以得到目标二分类模型。示例性地，可以使用十折交叉验证评估目标二分类模型的性能。
上述电梯开关门状态检测方法中，通过得到目标二分类模型，可以得到电梯开关门状态对应的概率数据序列，以便后续对电梯开关门状态进行检测，得到开关门状态检测结果。
在一些实施方式中，目标二分类模型可以是基于轻量级的Lcnet(轻量级通信网络)生成的。轻量级的Lcnet占用存储小，精度高，推理速度快，便于量化以及部署到边端侧的硬件中。
请参阅图4b，目标二分类模型的结构由一层3×3卷积层，三层普通可分离卷积层(Separable Convolution)，四层Rep(Reparameter)重参数化技术的可分离卷积，两层有shotcut的可分离卷积层，一层GAP(Global-Average-Pooling)全局平均池化层，一层1x1的卷积层和一层FC(Fully Connect)全连接层组成。
将3×28×112的电梯门区域图像输入至目标二分类模型进行分类处理，该电梯门区域图像首先经过一层3×3卷积层，接着经过三层普通可分离卷积层，经过四层Rep重参数化技术的可分离卷积，然后经过两层有shotcut的可分离卷积层，最后，经过一层GAP全局平均池化层，经过一层1x1的卷积层，经过一层FC全连接层，得到2×1×1的概率数据。
请参阅图4c，普通的可分离卷积由一层Depthwise Convolution和一层PointwiseConvolution组成。可以看到在Depthwise Convolution中，卷积核大小都为n。n通常为3、5或7。
请参阅图4d，Depthwise Convlution(DW Conv)层在模型训练过程时，由原来的卷积核大小n转变成1、3、5多分支，使得网络能有不同的感受野，获取不同尺度的特片，从而提高模型的识别精度。重参数化技术在模型推理时，把三个尺度的分支融合成一个分支，即能保持多分支的精度，又能获得单分支的效率。
请参阅图4e，普通的结构只有一层，为了使深度可分离卷积具有更强的拟合能力，可以使用两层PW卷积。同时为了控制模型效率不受影响，第一层PW卷积在通道维度对特征图压缩，第二层PW卷积再通过放大还原特征图通道。上述方式可以提高模型性能。
在轻量级卷积神经网络中，由于残差结构所带来的元素级(element-wise)加法操作，会对模型的速度造成影响，所以仅在最后一个阶段中使用了残差结构，在Block中增加Shortcut。
GAP(Global-Average-Pooling)层后一般直接接分类层，但是在轻量级网络中，会导致GAP层后提取的特征没有得到进一步的融合和加工。如果在GAP层后使用一个1x1卷积层(等同于FC层)，GAP层后的特征便不会直接经过分类层，而是先进行融合，并将融合的特征进行分类。这样可以在不影响模型推理速度的同时提升准确率。
在一些实施方式中，请参阅图5，目标二分类模型用作指定电梯运行环境下的基础模型；可以包括以下步骤：
S510、确定指定电梯运行环境下的目标电梯。
S520、获取安装于目标电梯内的图像采集装置采集的视频文件。
S530、基于视频文件构建用于训练基础模型的补充样本集。
S540、利用补充样本集对基础模型继续进行训练，得到适用于指定电梯运行环境的目标模型。
其中，指定电梯运行环境可以是电梯运行环境变化后的新运行环境。比如新安装电梯的小区。比如在晚上，电梯内部灯光亮度过高或者电梯外部的环境光线较暗。
在一些情况下，在特定场景下，目标二分类模型的精度会下降。因此，需要针对特定场景，构建补充样本集。利用补充样本集对基础模型继续进行训练，得到适用于指定电梯运行环境的目标模型，提高对电梯开关门状态检测的准确度。比如新安装电梯的小区，该小区内的电梯很大概率都是相同的，因此同种类型的电梯采集一个完整的开关门视频文件即可。
具体地，可以通过人为的方式，确定处于指定电梯运行环境下的电梯为目标电梯。可以从安装于目标电梯内的图像采集装置的存储单元中获取目标电梯内的图像采集装置采集的视频文件。也可以从服务器中获取安装于目标电梯内的图像采集装置采集的视频文件。对视频文件进行抽帧，得到视频文件包括的若干帧电梯门图像。对若干电梯门图像进行截取，生成电梯门区域图像。视频文件对应的电梯门区域图像可以用于构建训练基础模型即目标二分类模型的补充样本集。利用补充样本集对基础模型继续进行训练，对基础模型的参数进行更新，得到适用于指定电梯运行环境的目标模型。
需要说明的是，补充样本集可以加入到原始样本集中，对基础模型进行调优。基础模型的调优都是无代码可视化的交互平台控制操作的。基础模型更新完成后，得到适用于指定电梯运行环境的目标模型。控制中心可以将用于指定电梯运行环境的目标模型发送到选定的目标电梯内部的图像采集装置中。
上述电梯开关门状态检测方法中，构建基础模型的补充样本集，利用补充样本集对基础模型继续进行训练，得到适用于指定电梯运行环境的目标模型。可以提高模型的泛化性、可解释性和准确度。补充样本集可以包含各种各样的在实际应用中可能会经常出现的应用场景，利用补充样本集对基础模型继续进行训练，可以提高模型的鲁棒性，使其在面对新的、未知的情况时仍能保持良好的性能。
在一些实施方式中，请参阅图6，基于视频文件构建用于训练基础模型的补充样本集，可以包括以下步骤：
S610、确定视频文件中电梯处于第一状态对应的第一起始时刻和电梯处于第二状态对应的第二起始时刻。
S620、基于第一起始时刻和第二起始时刻从视频文件截取第一状态视频段和第二状态视频段。
S630、基于第一状态视频段和第二状态视频段构建补充样本集。
在一些情况下，电梯处于第一状态(电梯开状态)和第二状态(电梯关状态)时间通常为几秒钟时间，如果有人挡电梯门，会使电梯处于第一状态(电梯开状态)的时间增加。因此，截取电梯处于第一状态(电梯开状态)或电梯处于第二状态(电梯关状态)时几种钟的开关门视频文件即可。
具体地，确定视频文件后，打开目标电梯对应的视频文件，通过视频回放和预览功能，可以看到电梯的开关状态。基于电梯的开关状态，可以确定视频文件中电梯处于第一状态对应的第一起始时刻和电梯处于第二状态对应的第二起始时刻。从第一起始时刻开始，通过鼠标对视频文件进行拖拉及点击，可以从视频文件截取电梯处于第一状态的第一状态视频段。从第二起始时刻开始，通过鼠标对视频文件进行拖拉及点击，可从视频文件截取电梯处于第二状态的第二状态视频段。对第一状态视频段和第二状态视频段进行抽帧、截取操作，生成电梯门区域图像。第一状态视频段和第二状态视频段对应的电梯门区域图像可以用于构建训练基础模型即目标二分类模型的补充样本集。
需要说明的是，第一状态视频段和第二状态视频段可以是最小的视频片段单元，因此，可以选取更多的视频片段单元或者视频片段单元中的图像帧作为补充样本，从而让基础模型能够对不常规的场景进行更好地学习。
需要说明的是，本实施方式需要人参与，所以目标模型为半自动自学习的模型。对于补充样本集必须要有人的参与，通过人对数据进行标定，可以实现对所有应用环境和场景的精确识别。
上述电梯开关门状态检测方法中，增加补充样本集可以增加数据的多样性，减少基础模型对特定样本的过度依赖，从而降低过拟合的风险。补充样本集可以包含各种各样的在实际应用中可能会经常出现的应用场景，利用补充样本集对基础模型继续进行训练，可以提高模型的鲁棒性，使其在面对新的、未知的情况时仍能保持良好的性能。
在一些实施方式中，指定电梯运行环境包括电梯运行环境变化后的新运行环境。电梯运行环境变化包括以下任一种情况：
电梯轿厢内部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个。
电梯轿厢外部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个。
将针对第一运行环境训练的目标二分类模型用在第二运行环境中，第二运行环境与第一运行环境不同；补充样本集为第二运行环境中采集的视频文件。
其中，第一运行环境可以是常规的环境，比如轿厢内部环境无装饰物品，电梯轿厢外部环境无装饰物品，不会对电梯门的状态识别造成干扰或者遮挡。第二运行环境可以是非常规环境。比如电梯轿厢内部环境增加贴画、挂灯、保护板、彩绸，电梯轿厢外部环境增加贴画、挂灯、保护板、彩绸，会对电梯门的状态识别造成干扰或者遮挡。
在一些情况下，由于贴画、挂灯、保护板、彩绸中任一个引起的电梯内部环境处于非常规环境时，或者由于贴画、挂灯、保护板、彩绸中任一个引起的电梯外部环境处于非常规环境时，基础模型的准确度会降低。又因为电梯内部场景和环境是相对固定，电梯开门后电梯外部环境会发生变化，但不同楼层之间的差异也很小，所以基于识别精度需要进一步提升的电梯，得到的目标模型可以回流数据。
具体地，将针对第一运行环境训练的目标二分类模型部署在处于第二运行环境中的电梯内部的图像采集装置中。由于，第二运行环境与第一运行环境不同，因此需要再采集第二运行环境下的视频文件，基于该视频文件可以构建补充样本集。
上述电梯开关门状态检测方法中，利用各种各样的在实际应用中可能会经常出现的应用场景，构建补充样本集。通过该补充样本集可以提高模型的鲁棒性，使其在面对新的、未知的情况时仍能保持良好的性能。
本说明书实施方式还提供一种异构芯片，包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在存储器中且被配置为由中央处理器CPU和嵌入式神经网络处理器NPU执行的计算机程序，中央处理器CPU和嵌入式神经网络处理器NPU执行计算机程序时实现如上述任一项实施方式方法。
其中，模型推理单元包括的二分类模型部署在NPU核(Neural-network ProcessUnits，嵌入式神经网络处理器)上，模型推理单元包括的后处理单元部署在CPU核(CentralProcessing Unit，中央处理器)上。
本说明书实施方式还提供一种基于深度学习的电梯开关门状态检测方法，示例性地，请参阅图7，该电梯开关门状态检测方法可以包括以下步骤：
S702、获取目标电梯图像序列。
其中，目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；电梯门指定区域为出入对象经过电梯门开合区域时出入对象与电梯门开合区域在电梯门开合方向上没有重叠的区域。
S704、对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列。
S706、对电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列。
S708、对滤波后概率序列进行二值化处理，得到初始状态序列信息。
S710、若初始状态序列信息中存在误检元素，利用预设数值更新误检元素的取值，得到开关门状态时序信息。
其中，在误检元素对应的时刻电梯开关门状态没有转换但误检元素的取值却发生突变；预设数值为误检元素的相邻元素的取值。开关门状态时序信息用于表示电梯门在目标电梯图像序列对应的时间段内的开关门状态；
S712、若电梯处于运动状态，且根据开关门状态时序信息判定电梯在预设时长内处于非闭合状态，得到电梯开关门状态异常的检测结果。
本说明书实施方式提供一种基于深度学习的电梯开关门状态检测装置800，请参阅图8，基于深度学习的电梯开关门状态检测装置800包括：图像序列获取模块810、区域图像分类模块820、状态时序生成模块830、门状态检测模块840。
图像序列获取模块810，用于获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；
区域图像分类模块820，用于对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；
状态时序生成模块830，用于基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；
门状态检测模块840，用于根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。
在其中一个实施方式，所述状态时序生成模块，还用于对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。
在一些实施方式中，所述状态时序生成模块，还用于对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值却发生突变；所述预设数值为所述误检元素的相邻元素的取值。
在一些实施方式中，所述门状态检测模块，还用于若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。
在一些实施方式中，所述概率数据序列中的概率数据是目标二分类模型输出的；所述装置还包括分类模型训练模块，用于获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。
在一些实施方式中，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述装置还包括分类模型训练模块，用于确定所述指定电梯运行环境下的目标电梯；获取安装于所述目标电梯内的图像采集装置采集的视频文件；基于所述视频文件构建用于训练所述基础模型的补充样本集；利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。
关于基于深度学习的电梯开关门状态检测装置的具体描述，可以参见上文中对基于深度学习的电梯开关门状态检测方法的描述，在此不再赘述。
本说明书实施方式提供一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。
本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。
在一些实施方式中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于深度学习的电梯开关门状态检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的计算机设备的限定，具体地，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (17)

1.一种基于深度学习的电梯开关门状态检测方法，其特征在于，所述方法包括：
获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；
对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；
基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；
根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息，包括：
对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；
对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息，包括：
对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；
若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值却发生突变；所述预设数值为所述误检元素的相邻元素的取值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果，包括：
若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。
5.根据权利要求1所述的方法，其特征在于，所述概率数据序列中的概率数据是目标二分类模型输出的；所述目标二分类模型的训练过程，包括：
获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；其中，所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；
对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；
对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；
基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；
利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。
6.根据权利要求5所述的方法，其特征在于，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述方法还包括：
确定所述指定电梯运行环境下的目标电梯；
获取安装于所述目标电梯内的图像采集装置采集的视频文件；
基于所述视频文件构建用于训练所述基础模型的补充样本集；
利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述视频文件构建用于训练所述基础模型的补充样本集，包括：
确定所述视频文件中电梯处于所述第一状态对应的第一起始时刻和电梯处于所述第二状态对应的第二起始时刻；
基于所述第一起始时刻和所述第二起始时刻从所述视频文件截取第一状态视频段和第二状态视频段；
基于所述第一状态视频段和所述第二状态视频段构建所述补充样本集。
8.根据权利要求6所述的方法，其特征在于，所述指定电梯运行环境包括电梯运行环境变化后的新运行环境，所述电梯运行环境变化包括以下任一种情况：
电梯轿厢内部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个；
电梯轿厢外部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个；
将针对第一运行环境训练的目标二分类模型用在第二运行环境中，所述第二运行环境与所述第一运行环境不同；所述补充样本集为所述第二运行环境中采集的视频文件。
9.一种基于深度学习的电梯开关门状态检测装置，其特征在于，所述装置包括：
图像序列获取模块，用于获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；
区域图像分类模块，用于对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；
状态时序生成模块，用于基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；
门状态检测模块，用于根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。
10.根据权利要求9所述的装置，其特征在于，所述状态时序生成模块，还用于对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。
11.根据权利要求10所述的装置，其特征在于，所述状态时序生成模块，还用于对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值却发生突变；所述预设数值为所述误检元素的相邻元素的取值。
12.根据权利要求9所述的装置，其特征在于，所述门状态检测模块，还用于若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。
13.根据权利要求9所述的装置，其特征在于，所述概率数据序列中的概率数据是目标二分类模型输出的；所述装置还包括分类模型训练模块，用于获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。
14.根据权利要求13所述的装置，其特征在于，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述装置还包括分类模型训练模块，用于确定所述指定电梯运行环境下的目标电梯；获取安装于所述目标电梯内的图像采集装置采集的视频文件；基于所述视频文件构建用于训练所述基础模型的补充样本集；利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
17.一种异构芯片，其特征在于，包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在所述存储器中且被配置为由所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行的计算机程序，所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行所述计算机程序时实现如权利要求1至8中任意一项所述的方法。
CN202311141087.XA 2023-09-05 2023-09-05 基于深度学习的电梯开关门状态检测方法、装置及设备 Pending CN117115740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311141087.XA CN117115740A (zh) 2023-09-05 2023-09-05 基于深度学习的电梯开关门状态检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311141087.XA CN117115740A (zh) 2023-09-05 2023-09-05 基于深度学习的电梯开关门状态检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117115740A true CN117115740A (zh) 2023-11-24

Family

ID=88812605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311141087.XA Pending CN117115740A (zh) 2023-09-05 2023-09-05 基于深度学习的电梯开关门状态检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117115740A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111807183A (zh) * 2020-07-20 2020-10-23 北京电通慧梯物联网科技有限公司 基于深度学习的电梯门状态智能检测方法
CN113642461A (zh) * 2021-08-13 2021-11-12 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯开关门状态识别方法及装置
WO2022116322A1 (zh) * 2020-12-02 2022-06-09 罗普特科技集团股份有限公司 异常检测模型生成方法和装置、异常事件检测方法和装置
CN116071682A (zh) * 2023-02-01 2023-05-05 成都睿瞳科技有限责任公司 一种基于神经网络的电梯开关门检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111807183A (zh) * 2020-07-20 2020-10-23 北京电通慧梯物联网科技有限公司 基于深度学习的电梯门状态智能检测方法
WO2022116322A1 (zh) * 2020-12-02 2022-06-09 罗普特科技集团股份有限公司 异常检测模型生成方法和装置、异常事件检测方法和装置
CN113642461A (zh) * 2021-08-13 2021-11-12 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯开关门状态识别方法及装置
CN116071682A (zh) * 2023-02-01 2023-05-05 成都睿瞳科技有限责任公司 一种基于神经网络的电梯开关门检测方法及系统

Similar Documents

Publication Publication Date Title
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
JP5121258B2 (ja) 不審行動検知システム及び方法
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN110759189A (zh) 电梯管理方法、装置及系统
CN109409315B (zh) 一种atm机面板区域遗留物检测方法及系统
US11935297B2 (en) Item monitoring for doorbell cameras
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
WO2013093771A1 (en) Monitoring a scene
AU2019231258B2 (en) System and method for preventing false alarms due to display images
US20220201374A1 (en) Data processing system, data processing method, program, sensor apparatus, and receiving apparatus
CN117115740A (zh) 基于深度学习的电梯开关门状态检测方法、装置及设备
CN114359839A (zh) 识别电动车进入电梯的方法及系统
WO2015136828A1 (ja) 人物検出装置および人物検出方法
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置
Leo et al. Real‐time smart surveillance using motion analysis
CN111225178A (zh) 基于对象检测的视频监控方法及其系统
US20230102619A1 (en) Processing an input media feed
CN114613191B (zh) 应用分布密度数据解析的状态判断平台
TWI809266B (zh) 電梯事件偵測模型之產生與更新方法
CN116823892B (zh) 基于楼宇管控的身份确定方法、装置、设备和介质
CN117228475A (zh) 电梯控制方法、装置、电子设备及存储介质
CN115984898A (zh) 对象检测方法、装置、存储介质以及电子装置
JP2000341677A (ja) 画像監視装置
Hunter et al. A neural system for automated CCTV surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination