CN114140746A - 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置 - Google Patents

一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置 Download PDF

Info

Publication number
CN114140746A
CN114140746A CN202111450216.4A CN202111450216A CN114140746A CN 114140746 A CN114140746 A CN 114140746A CN 202111450216 A CN202111450216 A CN 202111450216A CN 114140746 A CN114140746 A CN 114140746A
Authority
CN
China
Prior art keywords
camera
elevator
box
attention area
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111450216.4A
Other languages
English (en)
Inventor
薛耿剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xinchao Media Group Co Ltd
Original Assignee
Chengdu Baixin Zhilian Technology Co ltd
Chengdu Xinchao Media Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Baixin Zhilian Technology Co ltd, Chengdu Xinchao Media Group Co Ltd filed Critical Chengdu Baixin Zhilian Technology Co ltd
Priority to CN202111450216.4A priority Critical patent/CN114140746A/zh
Publication of CN114140746A publication Critical patent/CN114140746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/02—Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions
    • B66B5/021—Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions the abnormal operating conditions being independent of the system
    • B66B5/025—Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions the abnormal operating conditions being independent of the system where the abnormal operating condition is caused by human behaviour or misbehaviour, e.g. forcing the doors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置，其中，通过该电梯运行控制方法，可在电梯轿厢门打开后，先识别是否有目标违禁品进入电梯轿厢，若有则做出阻梯行为，并判断是否发生摄像头恶意遮挡事件，若确定发生则做出深度阻梯行为，并继续判断目标违禁品是否仍在电梯轿厢内和遮挡效果是否消失，仅当判定目标违禁品不在电梯轿厢内且遮挡效果消失时，才取消阻梯行为，使所述电梯轿厢恢复电梯正常运行机制，从而可以防止因行人恶意遮挡目标违禁品而误认为目标违禁品已出电梯轿厢，进而避免出现因逃脱检测而使诸如电瓶车等目标违禁品顺利乘梯进入室内的场景，有效阻断电瓶车违规入室的通道。

Description

一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置
技术领域
本发明属于图像处理技术领域，具体地涉及一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置。
背景技术
随着锂电池技术的发展，电瓶车因其便利性已成为人们日常使用的交通工具，但是近年来电瓶车安全事故频繁发生，特别是由于电瓶车电池问题引发的火灾导致人员伤亡和财产损失的事故屡见报道，政府相关部门已出台政策加强电瓶车违规进入室内的监管和治理，其中，在电瓶车进入电梯轿厢时实施检测并发出阻梯行为是一种比较可行的解决方案，可以从源头上阻断电瓶车违规入室的通道，具有重要的实用价值。
随着人工智能技术特别是深度学习技术的发展，通过对轿厢内后置监控摄像头获取到的图像进行电瓶车入梯检测并触发阻梯行为，是目前主流的一种解决方案，该方案在理想情况下可以取得比较满意的效果。但是随着人们实践的摸索，不少用户在推车进入电梯后，再用手或其他物品把摄像头恶意遮挡住，以此逃脱检测使电瓶车顺利乘梯进入室内，如图1所示。针对这个场景，相关的现有方法由于存在一定程度的不足并不能直接使用，使得鲜有有效的解决方案。因此如何识别行人恶意遮挡摄像头行为，以便及时发现有人在逃避对目标关注区域的检测，进而方便准确做出阻梯行为，有效阻断电瓶车违规入室的通道，是本领域技术人员亟需研究的新课题。
发明内容
为了解决现有电瓶车入梯检测方案所存在的无法识别行人恶意遮挡摄像头行为，导致不能及时发现有人在逃避对目标关注区域的检测和准确做出阻梯行为的问题，本发明目的在于提供一种箱内摄像头遮挡检测方法、电梯运行控制方法、装置、计算机设备及计算机可读存储介质，可及时发现有人在逃避对目标关注区域的检测，方便准确做出诸如阻梯行为等动作，利于有效阻断电瓶车违规入室的通道。
第一方面，本发明提供了一种箱内摄像头遮挡检测方法，包括：
在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
判断所述第一置信度预测值是否大于第一预设阈值；
若判定所述第一置信度预测值大于所述第一预设阈值，则将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
若判定所述目标关注区域被遮挡，则确定发生恶意遮挡摄像头事件。
基于上述发明内容，提供了一种结合场景检测摄像头恶意遮挡行为的实现方案，即先基于由箱内摄像头采集的连续多帧箱内监控图像，构建得到用于识别摄像头遮挡行为的骨架序列时空特征图，然后将该骨架序列时空特征图导入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的置信度预测值，再然后通过该置信度预测值与预设阈值的比较结果，在确定存在摄像头遮挡行为时，进一步判断是否产生了遮挡效果，若是则确定发生恶意遮挡摄像头事件，进而可及时发现有人在逃避对目标关注区域的检测，方便准确做出诸如阻梯行为等动作，利于有效阻断电瓶车违规入室的通道。同时由于是将摄像头被遮挡问题根据实际场景划分为恶意遮挡行为，使得该检测方法可以区别于普通摄像头被遮挡的情况，解决传统方法无法在语义层面判别摄像头是否被恶意遮挡的情况，更具有针对性。此外，该检测方法可适用于针对电瓶车入梯后所可能遇到的复杂场景，即可综合运用物体检测技术、行为识别技术、该箱内摄像头遮挡检测方法以及梯控状态逻辑，提供一套可行的阻梯方案，实现有效阻断电瓶车违规入室通道的目的。
在一个可能的设计中，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，包括：
针对所述连续多帧箱内监控图像中的各帧图像，运用人体姿态识别项目OpenPose软件从对应画面中识别出对应的且根据COCO18模式关节点标号标记的十八个人体关节点，其中，所述十八个人体关节点属于同一人体；
针对所述各帧图像，从对应的所述十八个人体关节点中筛选出预设的且能够表征人体作出摄像头遮挡行为的多个人体关节点；
针对所述各帧图像，将对应的所述多个人体关节点在所述箱内摄像头的相机坐标系下的所有空间坐标作为所述多个人体关节点在对应采集时的空间特征向量。
在一个可能的设计中，所述多个人体关节点包含有鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右目节点、右耳节点、左目节点和左耳节点。
在一个可能的设计中，所述骨架序列时空特征图用G＝(V，E)表示，其中，G表示所述骨架序列时空特征图，V表示空间特征向量集合且有V＝{vti|t＝0,1,2，…,T；i＝0,1,2,…,N}，t表示所述连续多帧箱内监控图像中的帧序号，T表示所述连续多帧箱内监控图像中的最大帧序号，i表示所述多个人体关节点中的关节点标号，N表示所述多个人体关节点中的最大关节点标号，vti表示与帧序号t及关节点标号i对应的空间特征向量，E表示图结构且包含有空间域的边结构ES＝{vtivtj|(i,j)∈H}和时间域的边结构EF＝{vtiv(t+1)i}，H表示人体关节点自然连接对的集合，vtivtj表示从空间特征向量vti至空间特征向量vtj的边向量，vtiv(t+1)i表示从空间特征向量vti至空间特征向量v(t+1)i的边向量。
在一个可能的设计中，根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，包括：
根据预先确定的目标关注区域，从所述当前监控图像中截取出对应的第一关注区域画面，以及从箱内背景图像中截取出对应的第二关注区域画面，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
将所述目标关注区域划分成尺寸大小相同的多个子区域；
针对所述多个子区域中的各个子区域，根据在所述第一关注区域画面中的对应画面信息，计算得到对应的第一方向梯度直方图特征值和第一平均灰度值，以及根据在所述第二关注区域画面中的对应画面信息，计算得到对应的第二方向梯度直方图特征值和第二平均灰度值；
针对所述各个子区域，若判定对应的第一方向梯度直方图特征值与对应的第二方向梯度直方图特征值的相似度小于第二预设阈值、判定对应的第一平均灰度值小于对应的第二平均灰度值且判定对应的第一平均灰度值小于第三预设阈值，则确定对应子区域当前处于被遮挡状态；
统计得到当前处于被遮挡状态的子区域的数目与所述多个子区域的子区域总数目的第一比值；
判断所述第一比值是否大于第四预设阈值；
若是，则确定所述目标关注区域被遮挡。
第二方面，本发明提供了一种箱内摄像头遮挡检测装置，包括有依次通信连接的特征向量提取单元、特征图构建单元、遮挡行为识别单元、第一判断单元、第二判断单元和事件发生确定单元；
所述特征向量提取单元，用于在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
所述特征图构建单元，用于根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
所述遮挡行为识别单元，用于将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
所述第一判断单元，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述第二判断单元，用于在判定所述第一置信度预测值大于所述第一预设阈值时，将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
所述事件发生确定单元，用于在判定所述目标关注区域被遮挡时，确定发生恶意遮挡摄像头事件。
第三方面，本发明提供了一种电梯运行控制方法，包括：
在电梯轿厢门打开后，获取由梯内摄像头实时采集的梯内监控图像，其中，所述梯内摄像头安装在电梯轿厢内的顶部且面向所述电梯轿厢门，并使镜头视野固定涵盖所述电梯轿厢内的地面区域；
将所述梯内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的目标违禁品识别模型，得到用于反映是否存在目标违禁品的第一识别结果；
若所述第一识别结果指示存在目标违禁品，则根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域，并控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态；
在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将所述梯内摄像头作为箱内摄像头，将所述违禁品关注区域作为目标关注区域，将在所述电梯轿厢为空时由所述梯内摄像头采集的梯内监控图像作为箱内背景图像，以及将由所述梯内摄像头最新采集的连续多帧梯内监控图像作为连续多帧箱内监控图像，启动执行如上第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法，得到用于反映是否发生恶意遮挡摄像头事件的确定结果；
若所述确定结果指示发生恶意遮挡摄像头事件，则控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态；
在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果，以及根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡；
若所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡，则控制所述电梯轿厢切换回所述第一状态。
基于上述发明内容，还提供了一种基于摄像头恶意遮挡行为检测结果的阻梯方案，即在电梯轿厢门打开后，先识别是否有目标违禁品进入电梯轿厢，若有则做出阻梯行为，并判断是否发生摄像头恶意遮挡事件，若确定发生则做出深度阻梯行为，并继续判断目标违禁品是否仍在电梯轿厢内和遮挡效果是否消失，仅当判定目标违禁品不在电梯轿厢内且遮挡效果消失时，才取消阻梯行为，使所述电梯轿厢恢复电梯正常运行机制，从而可以防止因行人恶意遮挡目标违禁品而误认为目标违禁品已出电梯轿厢，进而避免出现因逃脱检测而使诸如电瓶车等目标违禁品顺利乘梯进入室内的场景。
在一个可能的设计中，根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡，包括：
根据所述违禁品关注区域，从该新梯内监控图像中截取出对应的第三关注区域画面，以及从所述箱内背景图像中截取出对应的第四关注区域画面；
将所述违禁品关注区域划分成尺寸大小相同的多个子块；
针对所述多个子块中的各个子块，根据在所述第三关注区域画面中的对应画面信息，计算得到对应的第三方向梯度直方图特征值和第三平均灰度值，以及根据在所述第四关注区域画面中的对应画面信息，计算得到对应的第四方向梯度直方图特征值、第四平均灰度值和灰度标准差；
针对所述各个子块，若判定对应的第三方向梯度直方图特征值与对应的第四方向梯度直方图特征值的相似度大于第五预设阈值且判定对应的第一平均灰度值与对应的第二平均灰度值的绝对差值小于对应的灰度标准差，则确定对应子块当前处于未被遮挡状态；
统计得到当前处于未被遮挡状态的子块数目与所述多个子块的子块总数目的第二比值；
判断所述第二比值是否大于第六预设阈值；
若是，则确定所述违禁品关注区域未被遮挡。
第四方面，本发明提供了一种电梯运行控制装置，包括有监控图像获取模块、违禁品识别模块、关注区域确定模块、电梯轿厢控制模块、恶意遮挡检测模块和判断模块，其中，所述恶意遮挡检测模块包括有依次通信连接的特征向量提取单元、特征图构建单元、遮挡行为识别单元、第一判断单元、第二判断单元和事件发生确定单元；
所述监控图像获取模块，用于在电梯轿厢门打开后，获取由梯内摄像头实时采集的梯内监控图像，其中，所述梯内摄像头安装在电梯轿厢内的顶部且面向所述电梯轿厢门，并使镜头视野固定涵盖所述电梯轿厢内的地面区域；
所述违禁品识别模块，通信连接所述监控图像获取模块，用于将所述梯内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的目标违禁品识别模型，得到用于反映是否存在目标违禁品的第一识别结果；
所述关注区域确定模块，通信连接所述违禁品识别模块，用于当所述第一识别结果指示存在目标违禁品时，根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域；
所述电梯轿厢控制模块，通信连接所述违禁品识别模块，用于当所述第一识别结果指示存在目标违禁品时，控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态；
所述恶意遮挡检测模块，分别通信连接所述关注区域确定模块、所述电梯轿厢控制模块和所述监控图像获取模块，用于在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将所述梯内摄像头作为箱内摄像头，将所述违禁品关注区域作为目标关注区域，将在所述电梯轿厢为空时由所述梯内摄像头采集的梯内监控图像作为箱内背景图像，以及将由所述梯内摄像头最新采集的连续多帧梯内监控图像作为连续多帧箱内监控图像，启动所述特征向量提取单元、所述特征图构建单元、所述遮挡行为识别单元、所述第一判断单元、所述第二判断单元和所述事件发生确定单元，得到用于反映是否发生恶意遮挡摄像头事件的确定结果；
所述特征向量提取单元，用于在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
所述特征图构建单元，用于根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
所述遮挡行为识别单元，用于将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
所述第一判断单元，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述第二判断单元，用于在判定所述第一置信度预测值大于所述第一预设阈值时，将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
所述事件发生确定单元，用于在判定所述目标关注区域被遮挡时，确定发生恶意遮挡摄像头事件；
所述电梯轿厢控制模块，还用于当所述确定结果指示发生恶意遮挡摄像头事件时，控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态；
所述违禁品识别模块，还用于在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果；
所述判断模块，分别通信连接所述关注区域确定模块、所述电梯轿厢控制模块和所述监控图像获取模块，用于在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡；
所述电梯轿厢控制模块，还用于当所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡时，控制所述电梯轿厢切换回所述第一状态。
第五方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发信息，所述处理器用于读取所述计算机程序，执行如上第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/第三方面或第三方面中任一可能设计所述电梯运行控制方法。
第六方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如上第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/第三方面或第三方面中任一可能设计所述电梯运行控制方法。
第七方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如上第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/第三方面或第三方面中任一可能设计所述电梯运行控制方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是用户在推车进入电梯后恶意遮挡摄像头的场景示例图。
图2是本发明提供的箱内摄像头遮挡检测方法的流程示意图。
图3是本发明提供的COCO18模式关节点标号与关节点的对应关系示例图。
图4是本发明提供的箱内摄像头遮挡检测装置的结构示意图。
图5是本发明提供的电梯运行控制方法的流程示意图。
图6是本发明提供的电梯运行控制装置的结构示意图。
图7是本发明提供的计算机设备的结构示意图。
上述附图中：1-电梯轿厢；11-电梯轿厢门；2-梯内摄像头；3-人体；4-电瓶车；5-遮挡物。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
如图2～3所示，本实施例第一方面提供的所述箱内摄像头遮挡检测方法，可以但不限于由具有一定计算资源的计算机设备执行，例如由个人计算机(Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal digital assistant，PAD)、可穿戴设备、梯控设备或摄像设备(其能够获取实时监控视频图像且与梯控设备相连)等电子设备执行，以便及时发现有人在逃避对目标关注区域的检测，方便准确做出诸如阻梯行为等动作，利于有效阻断电瓶车违规入室的通道。如图2所示，所述箱内摄像头遮挡检测方法，可以但不限于包括有如下步骤S1～S6。
S1.在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为。
在所述步骤S1中，所述箱内摄像头用于采集箱体内部的实时监控图像，其中，所述箱体可以但不限于是电梯轿厢或车厢等明确禁止诸如电瓶车等违禁品入内的腔体。如图1所示，在电梯轿厢1内安装有一个作为所述箱内摄像头的梯内摄像头2，该梯内摄像头2位于所述电梯轿厢1的内顶后部且面向电梯轿厢门11，并使镜头视野固定涵盖所述电梯轿厢1的整个厢内地面区域以及电梯轿厢门区域，进而使得所述梯内摄像头2能够拍摄到人体3推动电瓶车4入梯的整个过程。所述计算机设备可以通过有线或无线通信连接摄像头的方式，来获取由所述箱内摄像头实时采集的箱内监控图像。所述连续多帧箱内监控图像即为一段箱内监控视频，例如连续30帧箱内监控图像可构成时长为1秒的箱内监控视频。此外，考虑在诸如电瓶车等违禁品入箱时箱门一般是打开的情况，所述箱内摄像头可能拍摄到箱门外的图像，因此在获取监控图像后，可以通过预设区域(即由于所述箱内摄像头的镜头是固定的)来划定该监控图像中的有效检测区域(例如电梯轿厢1的内部区域，不对电梯轿厢门11外的区域进行检测)，从而截取所述有效检测区域的图像作为所述箱内监控图像。
在所述步骤S1中，具体的，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，包括但不限于有如下步骤S11～S13。
S11.针对所述连续多帧箱内监控图像中的各帧图像，运用人体姿态识别项目OpenPose软件从对应画面中识别出对应的且根据COCO18模式关节点标号标记的十八个人体关节点，其中，所述十八个人体关节点属于同一人体。
在所述步骤S11中，所述人体姿态识别项目OpenPose软件是美国卡耐基梅隆大学(Carnegie Mellon University,缩写CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源软件，可以实现人体动作、面部表情和手指运动等姿态估计，以及获取到输入图像中人体骨骼各个关节点的空间位置信息等，其中，所述COCO18模式关节点标号为现有关节点标号模型，所标号的18个关节点的顺序以及对应的位置可如图3所示。由此基于现有的所述人体姿态识别项目OpenPose软件和所述COCO18模式关节点标号，可以从所述各帧图像中识别出对应的如下18个关节点：鼻子节点(对应标号为0)、首节点(对应标号为1)、右肩节点(对应标号为2)、右肘节点(对应标号为3)、右手首节点(对应标号为4)、左肩节点(对应标号为5)、左肘节点(对应标号为6)、左手首节点(对应标号为7)、右腰节点(对应标号为8)、右膝节点(对应标号为9)、右足首节点(对应标号为10)、左腰节点(对应标号为11)、左膝节点(对应标号为12)、左足首节点(对应标号为13)、右目节点(对应标号为14)、左目节点(对应标号为15)、右耳节点(对应标号为16)和左耳节点(对应标号为17)等。
S12.针对所述各帧图像，从对应的所述十八个人体关节点中筛选出预设的且能够表征人体作出摄像头遮挡行为的多个人体关节点。
在所述步骤S12中，所述多个人体关节点即为对人体作出摄像头遮挡行为进行识别起关键作用的关节点，根据实际情况考量和本发明人的多次测试，优选选择鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右目节点、右耳节点、左目节点和左耳节点等12个关节点构成所述多个人体关节点。
S13.针对所述各帧图像，将对应的所述多个人体关节点在所述箱内摄像头的相机坐标系下的所有空间坐标作为所述多个人体关节点在对应采集时的空间特征向量。
在所述步骤S13中，所述人体关节点在所述相机坐标系下的坐标可以是二维坐标，也可以三维坐标，因此所述箱内摄像头优选为具有双目镜头的相机，以便基于双目测距原理直接获取到所述箱内监控图像中各个像素点(包含有与所述人体关节点对应的像素点)的三维坐标，确保后续骨架序列时空特征图的构建准确性及最终箱内摄像头遮挡检测结果的准确性。此外，若通过所述人体姿态识别项目OpenPose软件还获取到各个人体关节点的估计置信度，则还可以将该估计置信度纳入对应人体关节点的空间特征向量中。
S2.根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图。
在所述步骤S2中，具体的，所述骨架序列时空特征图用G＝(V，E)表示，其中，G表示所述骨架序列时空特征图，V表示空间特征向量集合且有V＝{vti|t＝0,1,2，…,T；i＝0,1,2,…,N}，t表示所述连续多帧箱内监控图像中的帧序号，T表示所述连续多帧箱内监控图像中的最大帧序号，i表示所述多个人体关节点中的关节点标号，N表示所述多个人体关节点中的最大关节点标号，vti表示与帧序号t及关节点标号i对应的空间特征向量，E表示图结构且包含有空间域的边结构ES＝{vtivtj|(i,j)∈H}和时间域的边结构EF＝{vtiv(t+1)i}，H表示人体关节点自然连接对的集合，vtivtj表示从空间特征向量vti至空间特征向量vtj的边向量，vtiv(t+1)i表示从空间特征向量vti至空间特征向量v(t+1)i的边向量。基于前述具体描述，可以根据所述多个人体关节点在各帧图像采集时的空间特征向量，通过现有数学知识构建得到所述骨架序列时空特征图。详细的，当所述多个人体关节点包含有鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右目节点、右耳节点、左目节点和左耳节点时，N的取值为17(即左耳节点的关节点标号)，集合H＝{(4,3),(3,2),(2,1),(1,5),(5,6),(6,7),(0,1),(0,14),(0,15),(14,16),(15,17)}。
S3.将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值。
在所述步骤S3中，所述神经网络是一种由大量的和简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统，因此通过常规的样本训练方式，可以得到用于根据输入数据识别是否有摄像头遮挡行为的所述摄像头遮挡行为识别模型，以便在输入测试样本后，可以输出对应的识别结果以及置信度预测值等信息。具体的，所述神经网络可以但不限于采用反向传播BP(Back Propagation)网络、Hopfield网络、自适应谐振理论ART(AdaptiveResonance Theory)网络、Kohonen网络、时空图卷积网络SG-GCN(Spatial Temporal GraphConvolutional Networks，在现有论文《Spatial Temporal Graph ConvolutionalNetworks for Skeleton Based Action Recognition》中提出了基于该网络的模型，可以解决基于人体骨架关键点的人类动作识别问题)等。详细的，所述摄像头遮挡行为识别模型优选采用基于时空图卷积网络SG-GCN的模型进行训练：先获取到多段在人体作出摄像头遮挡行为时采集的箱内监控视频，然后针对每段箱内监控视频，将其解码为连续的多帧箱内监控图像，并通过前述步骤S1～S2的方式构建对应的骨架序列时空特征图，最后将这些特征图集及对应的标记信息作为多个正样本，送入基于SG-GCN的模型进行对摄像头遮挡行为的识别训练，得到能够在识别有摄像头遮挡行为时输出较高置信度的识别结果。
S4.判断所述第一置信度预测值是否大于第一预设阈值。
在所述步骤S4中，考虑有人体作出摄像头遮挡行为是判断发生恶意遮挡摄像头事件的前提条件，若合适地设置所述第一预设阈值，则可以作为判断是否发生恶意遮挡摄像头事件的关键依据。所述第一预设阈值的取值范围为(0,1)，举例的，所述第一预设阈值可以根据实验确定为0.6。
S5.若判定所述第一置信度预测值大于所述第一预设阈值，则将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到。
在所述步骤S5中，若判定所述第一置信度预测值大于所述第一预设阈值，则认为有人体作出摄像头遮挡行为，至于该行为是有意还是无意，则还需根据是否产生遮挡效果来确定，因此可基于所述连续多帧箱内监控图像中的最末帧图像来判断本次摄像头遮挡行为是否产生遮挡效果，若是，则表明发生了恶意遮挡摄像头事件，反正则可认为无意识地做出了摄像头遮挡行为。因此进一步的，根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，可以实现判断本次摄像头遮挡行为是否产生遮挡效果的目的，其中，所述目标关注区域为箱内的某个区域，可预先确定，例如诸如电瓶车等违禁品在箱内近期出现的区域；所述箱内背景图像也需提前获取，以及当预先由所述箱内摄像头在箱内为空时采集得到多张箱内图像时，可以在对所述多张箱内图像进行均值处理(例如计算各个像素点在所述多张箱内图像上的灰度均值)后,得到所述箱内背景图像。此外，若判定所述第一置信度预测值小于或等于所述第一预设阈值，则可以认为无摄像头遮挡行为，必然也就无恶意遮挡摄像头事件发生。
S6.若判定所述目标关注区域被遮挡，则确定发生恶意遮挡摄像头事件。
在所述步骤S6中，考虑产生遮挡效果是确定发生恶意遮挡摄像头事件的另一必要条件，因此若判定所述目标关注区域被遮挡，则可认为本次摄像头遮挡行为触发了恶意遮挡摄像头事件，进而可及时发现有人在逃避对目标关注区域的检测，方便准确做出诸如阻梯行为等动作，利于有效阻断电瓶车违规入室的通道。反之，若判定所述目标关注区域未被遮挡，则可以认为本次摄像头遮挡行为是无意的，没有人在逃避对目标关注区域的检测。
由此基于前述步骤S1～S6所描述的箱内摄像头遮挡检测方法，提供了一种结合场景检测摄像头恶意遮挡行为的实现方案，即先基于由箱内摄像头采集的连续多帧箱内监控图像，构建得到用于识别摄像头遮挡行为的骨架序列时空特征图，然后将该骨架序列时空特征图导入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的置信度预测值，再然后通过该置信度预测值与预设阈值的比较结果，在确定存在摄像头遮挡行为时，进一步判断是否产生了遮挡效果，若是则确定发生恶意遮挡摄像头事件，进而可及时发现有人在逃避对目标关注区域的检测，方便准确做出诸如阻梯行为等动作，利于有效阻断电瓶车违规入室的通道。同时由于是将摄像头被遮挡问题根据实际场景划分为恶意遮挡行为，使得该检测方法可以区别于普通摄像头被遮挡的情况，解决传统方法无法在语义层面判别摄像头是否被恶意遮挡的情况，更具有针对性。此外，该检测方法可适用于针对电瓶车入梯后所可能遇到的复杂场景，即可综合运用物体检测技术、行为识别技术、该箱内摄像头遮挡检测方法以及梯控状态逻辑，提供一套可行的阻梯方案，实现有效阻断电瓶车违规入室通道的目的。
本实施例在前述第一方面的技术方案基础上，还具体提供了一种判断是否产生遮挡效果的可能设计一，即根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，包括但不限于有如下步骤S51～S57。
S51.根据预先确定的目标关注区域，从所述当前监控图像中截取出对应的第一关注区域画面，以及从箱内背景图像中截取出对应的第二关注区域画面，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到。
在所述步骤S51中，所述目标关注区域可以但不限于为矩形区域、圆形区域或正六边形区域等形状，由于所述箱内摄像头的镜头视野是固定涵盖箱内地面区域，因此所述第一关注区域画面与所述第二关注区域画面为针对同一区域的且在不同时刻成像的画面，可以用于后续进行在纹理和亮度上的比较。
S52.将所述目标关注区域划分成尺寸大小相同的多个子区域。
在所述步骤S52中，举例的，所述目标关注区域为矩形区域时，所述子区域即为更小的矩形，得到包含有P*Q个小矩形的所述多个子区域，其中，P和Q分别为大于2的正整数。
S53.针对所述多个子区域中的各个子区域，根据在所述第一关注区域画面中的对应画面信息，计算得到对应的第一方向梯度直方图特征值和第一平均灰度值，以及根据在所述第二关注区域画面中的对应画面信息，计算得到对应的第二方向梯度直方图特征值和第二平均灰度值。
在所述步骤S53中，所述第一方向梯度直方图特征值和所述第二方向梯度直方图特征值分别为HOG(Histogram of Oriented Gradient)特征值，是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，代表了在纹理上的特征；所述第一平均灰度值和所述第二平均灰度值分别为对应画面上所有像素点的平均灰度，代表了在亮度上的特征，因此可基于常规计算方法，根据画面信息计算得到所述各个子区域的前述方向梯度直方图特征值和前述平均灰度值。
S54.针对所述各个子区域，若判定对应的第一方向梯度直方图特征值与对应的第二方向梯度直方图特征值的相似度小于第二预设阈值、判定对应的第一平均灰度值小于对应的第二平均灰度值且判定对应的第一平均灰度值小于第三预设阈值，则确定对应子区域当前处于被遮挡状态。
在所述步骤S54中，所述第二预设阈值和所述第三预设阈值可提前根据实验得到，当某个子区域的三个条件(即对应的第一方向梯度直方图特征值与对应的第二方向梯度直方图特征值的相似度小于第二预设阈值、对应的第一平均灰度值小于对应的第二平均灰度值且对应的第一平均灰度值小于第三预设阈值)同时满足时，可认为该子区域在纹理和亮度上产生了遮挡效果，反之则不能确定。
S55.统计得到当前处于被遮挡状态的子区域的数目与所述多个子区域的子区域总数目的第一比值。
在所述步骤S55中，举例的，若所述子区域总数目为100个，而通过前述步骤S54确定有67个子区域当前处于被遮挡状态，则所述第一比值为67％。
S56.判断所述第一比值是否大于第四预设阈值。
在所述步骤S56中，所述第四预设阈值同样可提前根据实验得到，例如为68％，表示若大多数子区域当前处于被遮挡状态，则认为所述目标关注区域在纹理和亮度上产生了遮挡效果，反之则不能确定。
S57.若是，则确定所述目标关注区域被遮挡。
由此基于前述步骤S51～S57所描述的可能设计一，可以根据在当前监控图像和箱内背景图像的且与目标关注区域对应的画面，通过在纹理和亮度上的比较结果，来有效判定所述目标关注区域被遮挡，实现判断是否产生遮挡效果的目的，确保后续确定发生恶意遮挡摄像头事件的准确性。
如图4所示，本实施例第二方面提供了一种实现第一方面或第一方面中任一可能设计所述的箱内摄像头遮挡检测方法的虚拟装置，包括有依次通信连接的特征向量提取单元、特征图构建单元、遮挡行为识别单元、第一判断单元、第二判断单元和事件发生确定单元；
所述特征向量提取单元，用于在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
所述特征图构建单元，用于根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
所述遮挡行为识别单元，用于将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
所述第一判断单元，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述第二判断单元，用于在判定所述第一置信度预测值大于所述第一预设阈值时，将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
所述事件发生确定单元，用于在判定所述目标关注区域被遮挡时，确定发生恶意遮挡摄像头事件。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任一可能设计所述的箱内摄像头遮挡检测方法，于此不再赘述。
如图5所示，本实施例第三方面提供了一种基于第一方面或第一方面中任一可能设计所述的箱内摄像头遮挡检测方法的电梯运行控制方法，同样可以但不限于由具有一定计算资源的计算机设备执行，例如由个人计算机(Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal digitalassistant，PAD)、可穿戴设备、梯控设备或摄像设备(其能够获取实时监控视频图像且与梯控设备相连)等电子设备执行，可以防止因行人恶意遮挡目标违禁品而误认为目标违禁品已出电梯轿厢，进而避免出现因逃脱检测而使诸如电瓶车等目标违禁品顺利乘梯进入室内的场景。如图5所示，所述电梯运行控制方法，可以但不限于包括有如下步骤S100～S700。
S100.在电梯轿厢门打开后，获取由梯内摄像头实时采集的梯内监控图像，其中，所述梯内摄像头安装在电梯轿厢内的顶部且面向所述电梯轿厢门，并使镜头视野固定涵盖所述电梯轿厢内的地面区域。
在所述步骤S100中，所述梯内摄像头即为步骤S1中的所述箱内摄像头，所述梯内监控图像即为步骤S1中的所述箱内监控图像，它们的具体细节描述可参见前述步骤S1，于此不再赘述。
S200.将所述梯内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的目标违禁品识别模型，得到用于反映是否存在目标违禁品的第一识别结果。
在所述步骤S200中，所述目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体可以但不限于采用Faster R-CNN(Faster Regions with Convolutional Neural Networks features，由何凯明等在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一)目标检测算法、SSD(Single Shot MultiBox Detector，单镜头多盒检测器，是Wei Liu在ECCV 2016上提出的一种目标检测算法，是目前流行的主要检测框架之一)目标检测算法或YOLO(Youonly look once，目前最新已经发展到V4版本，在业界的应用也很广泛，其基本原理是：首先对输入图像划分成7x7的网格，对每个网格预测2个边框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边框合并的方式去除冗余窗口，得出检测结果)目标检测算法等。因此通过常规的样本训练方式，可以得到用于根据输入图像识别是否有目标违禁品的所述目标违禁品识别模型，以便在输入测试图像后，可以输出对应的识别结果以及置信度预测值等信息。举例的，所述目标检测算法优选采用YOLO V4目标检测算法，所述目标违禁品可以但不限于为电瓶车。
在所述步骤S200之前，具体的，可以但不限于采用如下方式进行模型训练：首先，获取在目标违禁品(例如电瓶车等)入箱时采集的N张梯内样本图像，其中，N表示大于或等于五的自然数；然后，针对所述N张梯内样本图像中的各张梯内样本图像，在获取人工标注的目标违禁品所在矩形框后，将所述目标违禁品所在矩形框及框体位置加载到对应图像中，得到对应的图像特征正样本；再然后，根据与所述N张梯内样本图像一一对应的N个图像特征正样本，抽取出n个图像特征正样本组成图像特征正样本集，其中，n表示大于一且小于N的自然数，N的取值是越大越好，例如1000；最后，将所述图像特征正样本集输入YOLO目标检测模型进行训练，得到用于根据输入图像识别是否有目标违禁品的所述目标违禁品识别模型。具体的，可以从所述N个图像特征正样本中随机抽取80％的图像特征正样本组成所述图像特征正样本集；至于剩余的图像特征正样本，也可以组成测试集，以便输入经过训练后的目标违禁品识别模型，判断所述目标违禁品识别模型的识别准确性，进而决定是否可用。所述梯内样本图像的获取方式可以参照所述箱内监控图像，并以所述目标违禁品是电瓶车为例，可以但不限于在如下场景(A)、(B)、(C)和/或(D)等中进行采集：(A)摄像头和/或相机的成像角度不同；(B)多种电瓶车类型；(C)多种电瓶车颜色；(D)电瓶车被雨披或其他覆盖物少量遮挡；等等。
S300.若所述第一识别结果指示存在目标违禁品，则根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域，并控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态。
在所述步骤S300中，具体的，所述第一识别结果指示存在目标违禁品的具体方式可以但不限于包括：在得到由所述目标违禁品识别模型输出的且存在目标违禁品的第二置信度预测值后，若该第二置信度预测值大于第七预设阈值(其根据实验得到，例如为68％)，则确定存在目标违禁品。所述根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域的具体方式，可以但不限于包括：以该所在位置为中心，画出一个能够覆盖整个目标违禁品面积的图像区域；可直接为由所述目标违禁品识别模型输出的目标违禁品标记框。所述控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态，用于作为一种阻梯行为控制方式，通过维持所述电梯轿厢门打开，来使所述电梯轿厢禁止关门及进行升降，以便催促行人将目标违禁品带出轿厢。此外，所述第一状态可以用阻梯标志位0来标记，所述第二状态可以用阻梯标志位1来标记，以便实现控制程序的编写及控制指令传送；以及若所述第一识别结果指示不存在目标违禁品，则维持所述第一状态，返回执行所述步骤S100。
S400.在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将所述梯内摄像头作为箱内摄像头，将所述违禁品关注区域作为目标关注区域，将在所述电梯轿厢为空时由所述梯内摄像头采集的梯内监控图像作为箱内背景图像，以及将由所述梯内摄像头最新采集的连续多帧梯内监控图像作为连续多帧箱内监控图像，启动执行如第一方面或第一方面中任一可能设计所述的箱内摄像头遮挡检测方法，得到用于反映是否发生恶意遮挡摄像头事件的确定结果。
S500.若所述确定结果指示发生恶意遮挡摄像头事件，则控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态。
在所述步骤S500中，所述控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态，用于作为一种深度阻梯行为控制方式，来防止因行人恶意遮挡目标违禁品而误认为目标违禁品已出电梯轿厢，进而避免出现因逃脱检测而使诸如电瓶车等目标违禁品顺利乘梯进入室内的场景。同样为了便于实现控制程序的编写及控制指令传送，所述第三状态可以用阻梯标志位2来标记。此外，若所述确定结果指示未发生恶意遮挡摄像头事件，则继续维持所述第二状态以及在下次获取到一帧新梯内监控图像时，启动执行如第一方面或第一方面中任一可能设计所述的箱内摄像头遮挡检测方法，继续进行箱内摄像头遮挡检测。
S600.在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果，以及根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡。
在所述步骤S600中，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果的具体描述可参见前述步骤S200，于此不再赘述。所述根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡，可以实现在确定发生恶意遮挡摄像头事件后有效判断遮挡效果是否消失的目的，其中，所述箱内背景图像即梯内背景图像，同样需提前获取，以及当预先由所述梯内摄像头在电梯轿厢内为空时采集得到多张梯内图像时，可以在对所述多张梯内图像进行均值处理(例如计算各个像素点在所述多张梯内图像上的灰度均值)后,得到所述梯内背景图像。
S700.若所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡，则控制所述电梯轿厢切换回所述第一状态。
在所述步骤S700中，若所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡，则表明遮挡效果消失且梯内无目标违禁品，在先锁定的目标违禁品已出电梯轿厢，此时可以使所述电梯轿厢恢复电梯正常运行机制(例如正常关门并进行升降)，返回执行所述步骤S100。此外，若所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域仍被遮挡，则可能存在目标违禁品已逃避检测的情况，此时不做状态变更，返回执行所述步骤S600；以及若是其它情况(即所述第二识别结果指示存在目标违禁品)，则表明目标违禁品仍在电梯轿厢内，依然不做状态变更，以便返回执行所述步骤S600。
优选的，在所述步骤S300后，所述方法还包括但不限于有如下步骤S301～S302：S301.在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时,将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第三识别结果；S302.若所述第三识别结果指示不存在目标违禁品且所述确定结果指示未发生恶意遮挡摄像头事件，则控制所述电梯轿厢切换回所述第一状态。由于所述第三识别结果指示不存在目标违禁品且所述确定结果指示未发生恶意遮挡摄像头事件，可表明此时目标违禁品已出电梯轿厢，可以使所述电梯轿厢恢复电梯正常运行机制，返回执行所述步骤S100。此外，若所述第三识别结果指示不存在目标违禁品且所述确定结果指示未发生恶意遮挡摄像头事件，则表明目标违禁品仍在电梯轿厢内，依然不做状态变更，以便返回执行所述步骤S301和所述步骤S400；以及至于其它情况(即所述确定结果指示发生恶意遮挡摄像头事件)，则直接控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态。
由此基于前述步骤S100～S700所描述的电梯运行控制方法，提供了一种基于摄像头恶意遮挡行为检测结果的阻梯方案，即在电梯轿厢门打开后，先识别是否有目标违禁品进入电梯轿厢，若有则做出阻梯行为，并判断是否发生摄像头恶意遮挡事件，若确定发生则做出深度阻梯行为，并继续判断目标违禁品是否仍在电梯轿厢内和遮挡效果是否消失，仅当判定目标违禁品不在电梯轿厢内且遮挡效果消失时，才取消阻梯行为，使所述电梯轿厢恢复电梯正常运行机制，从而可以防止因行人恶意遮挡目标违禁品而误认为目标违禁品已出电梯轿厢，进而避免出现因逃脱检测而使诸如电瓶车等目标违禁品顺利乘梯进入室内的场景。
本实施例在前述第三方面的技术方案基础上，还具体提供了一种判断遮挡效果是否消失的可能设计二，即根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡，包括但不限于有如下步骤S601～S607。
S601.根据所述违禁品关注区域，从该新梯内监控图像中截取出对应的第三关注区域画面，以及从所述箱内背景图像中截取出对应的第四关注区域画面。
在所述步骤S601中，所述违禁品关注区域可以但不限于为矩形区域、圆形区域或正六边形区域等形状，由于所述梯内摄像头的镜头视野是固定涵盖所述电梯轿厢内的地面区域，因此所述第三关注区域画面与所述第四关注区域画面为针对同一区域的且在不同时刻成像的画面，可以用于后续进行在纹理和亮度上的比较。
S602.将所述违禁品关注区域划分成尺寸大小相同的多个子块。
在所述步骤S602中，举例的，所述违禁品关注区域为矩形区域时，所述子块即为更小的矩形，得到包含有S*T个小矩形的所述多个子块，其中，S和T分别为大于2的正整数。
S603.针对所述多个子块中的各个子块，根据在所述第三关注区域画面中的对应画面信息，计算得到对应的第三方向梯度直方图特征值和第三平均灰度值，以及根据在所述第四关注区域画面中的对应画面信息，计算得到对应的第四方向梯度直方图特征值、第四平均灰度值和灰度标准差。
在所述步骤S603中，所述第三方向梯度直方图特征值和所述第四方向梯度直方图特征值分别为HOG(Histogram of Oriented Gradient)特征值，也是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，代表了在纹理上的特征；所述第三平均灰度值和所述第四平均灰度值分别为对应画面上所有像素点的平均灰度，代表了在亮度上的特征，因此可基于常规计算方法，根据画面信息计算得到所述各个子块的前述方向梯度直方图特征值、前述平均灰度值和前述灰度标准差。
S604.针对所述各个子块，若判定对应的第三方向梯度直方图特征值与对应的第四方向梯度直方图特征值的相似度大于第五预设阈值且判定对应的第一平均灰度值与对应的第二平均灰度值的绝对差值小于对应的灰度标准差，则确定对应子块当前处于未被遮挡状态。
在所述步骤S604中，所述第五预设阈值可提前根据实验得到，当某个子块的两个条件(即对应的第三方向梯度直方图特征值与对应的第四方向梯度直方图特征值的相似度大于第五预设阈值和对应的第一平均灰度值与对应的第二平均灰度值的绝对差值小于对应的灰度标准差)同时满足时，可认为该子块在纹理和亮度上已消失遮挡效果，反之则不能确定。
S605.统计得到当前处于未被遮挡状态的子块数目与所述多个子块的子块总数目的第二比值。
在所述步骤S605中，举例的，若所述子块总数目为100个，而通过前述步骤S604确定有67个子块当前处于未被遮挡状态，则所述第二比值为67％。
S606.判断所述第二比值是否大于第六预设阈值。
在所述步骤S606中，所述第六预设阈值同样可提前根据实验得到，例如为68％，表示若大多数子块当前处于未被遮挡状态，则认为所述违禁品关注区域在纹理和亮度上已消失遮挡效果，反之则不能确定。
S607.若是，则确定所述违禁品关注区域未被遮挡。
由此基于前述步骤S601～S607所描述的可能设计二，可以根据在新梯内监控图像和梯内背景图像的且与违禁品关注区域对应的画面，通过在纹理和亮度上的比较结果，来有效判定所述违禁品关注区域未被遮挡，实现判断遮挡效果是否已消失的目的，确保后续控制电梯轿厢恢复正常状态的准确性。此外，由于是根据场景需求的不同，对摄像头关注区域是否被遮挡和被恶意遮挡后再次判断未被遮挡两种情况，设计了不同的检测策略，可更有针对性，保障做出/取消阻梯行为的准确性和及时性。
如图6所示，本实施例第四方面提供了一种实现第三方面或第三方面中任一可能设计所述的电梯运行控制方法的虚拟装置，包括有监控图像获取模块、违禁品识别模块、关注区域确定模块、电梯轿厢控制模块、恶意遮挡检测模块和判断模块，其中，所述恶意遮挡检测模块包括有依次通信连接的特征向量提取单元、特征图构建单元、遮挡行为识别单元、第一判断单元、第二判断单元和事件发生确定单元；
所述监控图像获取模块，用于在电梯轿厢门打开后，获取由梯内摄像头实时采集的梯内监控图像，其中，所述梯内摄像头安装在电梯轿厢内的顶部且面向所述电梯轿厢门，并使镜头视野固定涵盖所述电梯轿厢内的地面区域；
所述违禁品识别模块，通信连接所述监控图像获取模块，用于将所述梯内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的目标违禁品识别模型，得到用于反映是否存在目标违禁品的第一识别结果；
所述关注区域确定模块，通信连接所述违禁品识别模块，用于当所述第一识别结果指示存在目标违禁品时，根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域；
所述电梯轿厢控制模块，通信连接所述违禁品识别模块，用于当所述第一识别结果指示存在目标违禁品时，控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态；
所述恶意遮挡检测模块，分别通信连接所述关注区域确定模块、所述电梯轿厢控制模块和所述监控图像获取模块，用于在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将所述梯内摄像头作为箱内摄像头，将所述违禁品关注区域作为目标关注区域，将在所述电梯轿厢为空时由所述梯内摄像头采集的梯内监控图像作为箱内背景图像，以及将由所述梯内摄像头最新采集的连续多帧梯内监控图像作为连续多帧箱内监控图像，启动所述特征向量提取单元、所述特征图构建单元、所述遮挡行为识别单元、所述第一判断单元、所述第二判断单元和所述事件发生确定单元，得到用于反映是否发生恶意遮挡摄像头事件的确定结果；
所述特征向量提取单元，用于在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
所述特征图构建单元，用于根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
所述遮挡行为识别单元，用于将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
所述第一判断单元，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述第二判断单元，用于在判定所述第一置信度预测值大于所述第一预设阈值时，将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
所述事件发生确定单元，用于在判定所述目标关注区域被遮挡时，确定发生恶意遮挡摄像头事件；
所述电梯轿厢控制模块，还用于当所述确定结果指示发生恶意遮挡摄像头事件时，控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态；
所述违禁品识别模块，还用于在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果；
所述判断模块，分别通信连接所述关注区域确定模块、所述电梯轿厢控制模块和所述监控图像获取模块，用于在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡；
所述电梯轿厢控制模块，还用于当所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡时，控制所述电梯轿厢切换回所述第一状态。
本实施例第四方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第三方面或第三方面中任一可能设计所述的电梯运行控制方法，于此不再赘述。
如图7所示，本实施例第五方面提供了一种执行如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发信息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第五方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法，于此不再赘述。
本实施例第六方面提供了一种存储包含如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第六方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法，于此不再赘述。
本实施例第七方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任一可能设计所述箱内摄像头遮挡检测方法/如第三方面或第三方面中任一可能设计所述电梯运行控制方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种箱内摄像头遮挡检测方法，其特征在于，包括：
在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
判断所述第一置信度预测值是否大于第一预设阈值；
若判定所述第一置信度预测值大于所述第一预设阈值，则将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
若判定所述目标关注区域被遮挡，则确定发生恶意遮挡摄像头事件。
2.如权利要求1所述的箱内摄像头遮挡检测方法，其特征在于，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，包括：
针对所述连续多帧箱内监控图像中的各帧图像，运用人体姿态识别项目OpenPose软件从对应画面中识别出对应的且根据COCO18模式关节点标号标记的十八个人体关节点，其中，所述十八个人体关节点属于同一人体；
针对所述各帧图像，从对应的所述十八个人体关节点中筛选出预设的且能够表征人体作出摄像头遮挡行为的多个人体关节点；
针对所述各帧图像，将对应的所述多个人体关节点在所述箱内摄像头的相机坐标系下的所有空间坐标作为所述多个人体关节点在对应采集时的空间特征向量。
3.如权利要求1所述的箱内摄像头遮挡检测方法，其特征在于，所述多个人体关节点包含有鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右目节点、右耳节点、左目节点和左耳节点；
和/或，所述骨架序列时空特征图用G＝(V，E)表示，其中，G表示所述骨架序列时空特征图，V表示空间特征向量集合且有V＝{vti|t＝0,1,2，…,T；i＝0,1,2,…,N}，t表示所述连续多帧箱内监控图像中的帧序号，T表示所述连续多帧箱内监控图像中的最大帧序号，i表示所述多个人体关节点中的关节点标号，N表示所述多个人体关节点中的最大关节点标号，vti表示与帧序号t及关节点标号i对应的空间特征向量，E表示图结构且包含有空间域的边结构ES＝{vtivtj|(i,j)∈H}和时间域的边结构EF＝{vtiv(t+1)i}，H表示人体关节点自然连接对的集合，vtivtj表示从空间特征向量vti至空间特征向量vtj的边向量，vtiv(t+1)i表示从空间特征向量vti至空间特征向量v(t+1)i的边向量。
4.如权利要求1所述的箱内摄像头遮挡检测方法，其特征在于，根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，包括：
根据预先确定的目标关注区域，从所述当前监控图像中截取出对应的第一关注区域画面，以及从箱内背景图像中截取出对应的第二关注区域画面，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
将所述目标关注区域划分成尺寸大小相同的多个子区域；
针对所述多个子区域中的各个子区域，根据在所述第一关注区域画面中的对应画面信息，计算得到对应的第一方向梯度直方图特征值和第一平均灰度值，以及根据在所述第二关注区域画面中的对应画面信息，计算得到对应的第二方向梯度直方图特征值和第二平均灰度值；
针对所述各个子区域，若判定对应的第一方向梯度直方图特征值与对应的第二方向梯度直方图特征值的相似度小于第二预设阈值、判定对应的第一平均灰度值小于对应的第二平均灰度值且判定对应的第一平均灰度值小于第三预设阈值，则确定对应子区域当前处于被遮挡状态；
统计得到当前处于被遮挡状态的子区域的数目与所述多个子区域的子区域总数目的第一比值；
判断所述第一比值是否大于第四预设阈值；
若是，则确定所述目标关注区域被遮挡。
5.一种箱内摄像头遮挡检测装置，其特征在于，包括有依次通信连接的特征向量提取单元、特征图构建单元、遮挡行为识别单元、第一判断单元、第二判断单元和事件发生确定单元；
所述特征向量提取单元，用于在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
所述特征图构建单元，用于根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
所述遮挡行为识别单元，用于将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
所述第一判断单元，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述第二判断单元，用于在判定所述第一置信度预测值大于所述第一预设阈值时，将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
所述事件发生确定单元，用于在判定所述目标关注区域被遮挡时，确定发生恶意遮挡摄像头事件。
6.一种电梯运行控制方法，其特征在于，包括：
在电梯轿厢门打开后，获取由梯内摄像头实时采集的梯内监控图像，其中，所述梯内摄像头安装在电梯轿厢内的顶部且面向所述电梯轿厢门，并使镜头视野固定涵盖所述电梯轿厢内的地面区域；
将所述梯内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的目标违禁品识别模型，得到用于反映是否存在目标违禁品的第一识别结果；
若所述第一识别结果指示存在目标违禁品，则根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域，并控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态；
在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将所述梯内摄像头作为箱内摄像头，将所述违禁品关注区域作为目标关注区域，将在所述电梯轿厢为空时由所述梯内摄像头采集的梯内监控图像作为箱内背景图像，以及将由所述梯内摄像头最新采集的连续多帧梯内监控图像作为连续多帧箱内监控图像，启动执行如权利要求1～4中任意一项所述的箱内摄像头遮挡检测方法，得到用于反映是否发生恶意遮挡摄像头事件的确定结果；
若所述确定结果指示发生恶意遮挡摄像头事件，则控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态；
在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果，以及根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡；
若所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡，则控制所述电梯轿厢切换回所述第一状态。
7.如权利要求6所述的电梯运行控制方法，其特征在于，根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡，包括：
根据所述违禁品关注区域，从该新梯内监控图像中截取出对应的第三关注区域画面，以及从所述箱内背景图像中截取出对应的第四关注区域画面；
将所述违禁品关注区域划分成尺寸大小相同的多个子块；
针对所述多个子块中的各个子块，根据在所述第三关注区域画面中的对应画面信息，计算得到对应的第三方向梯度直方图特征值和第三平均灰度值，以及根据在所述第四关注区域画面中的对应画面信息，计算得到对应的第四方向梯度直方图特征值、第四平均灰度值和灰度标准差；
针对所述各个子块，若判定对应的第三方向梯度直方图特征值与对应的第四方向梯度直方图特征值的相似度大于第五预设阈值且判定对应的第一平均灰度值与对应的第二平均灰度值的绝对差值小于对应的灰度标准差，则确定对应子块当前处于未被遮挡状态；
统计得到当前处于未被遮挡状态的子块数目与所述多个子块的子块总数目的第二比值；
判断所述第二比值是否大于第六预设阈值；
若是，则确定所述违禁品关注区域未被遮挡。
8.一种电梯运行控制装置，其特征在于，包括有监控图像获取模块、违禁品识别模块、关注区域确定模块、电梯轿厢控制模块、恶意遮挡检测模块和判断模块，其中，所述恶意遮挡检测模块包括有依次通信连接的特征向量提取单元、特征图构建单元、遮挡行为识别单元、第一判断单元、第二判断单元和事件发生确定单元；
所述监控图像获取模块，用于在电梯轿厢门打开后，获取由梯内摄像头实时采集的梯内监控图像，其中，所述梯内摄像头安装在电梯轿厢内的顶部且面向所述电梯轿厢门，并使镜头视野固定涵盖所述电梯轿厢内的地面区域；
所述违禁品识别模块，通信连接所述监控图像获取模块，用于将所述梯内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的目标违禁品识别模型，得到用于反映是否存在目标违禁品的第一识别结果；
所述关注区域确定模块，通信连接所述违禁品识别模块，用于当所述第一识别结果指示存在目标违禁品时，根据该目标违禁品在所述梯内监控图像中的所在位置，确定违禁品关注区域；
所述电梯轿厢控制模块，通信连接所述违禁品识别模块，用于当所述第一识别结果指示存在目标违禁品时，控制电梯轿厢从用于允许电梯正常运行的第一状态切换至用于维持所述电梯轿厢门打开的第二状态；
所述恶意遮挡检测模块，分别通信连接所述关注区域确定模块、所述电梯轿厢控制模块和所述监控图像获取模块，用于在切换至所述第二状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将所述梯内摄像头作为箱内摄像头，将所述违禁品关注区域作为目标关注区域，将在所述电梯轿厢为空时由所述梯内摄像头采集的梯内监控图像作为箱内背景图像，以及将由所述梯内摄像头最新采集的连续多帧梯内监控图像作为连续多帧箱内监控图像，启动所述特征向量提取单元、所述特征图构建单元、所述遮挡行为识别单元、所述第一判断单元、所述第二判断单元和所述事件发生确定单元，得到用于反映是否发生恶意遮挡摄像头事件的确定结果；
所述特征向量提取单元，用于在获取由箱内摄像头采集的连续多帧箱内监控图像后，从所述连续多帧箱内监控图像中提取出多个人体关节点在各帧图像采集时的空间特征向量，其中，所述箱内摄像头安装在箱内顶部，并使镜头视野固定涵盖箱内地面区域，所述多个人体关节点属于同一人体且能够表征人体作出摄像头遮挡行为；
所述特征图构建单元，用于根据所述多个人体关节点在各帧图像采集时的空间特征向量，构建用于识别摄像头遮挡行为的骨架序列时空特征图；
所述遮挡行为识别单元，用于将所述骨架序列时空特征图作为一个待测的数据样本输入基于神经网络的且已完成训练的摄像头遮挡行为识别模型，输出得到对应的且识别有摄像头遮挡行为的第一置信度预测值；
所述第一判断单元，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述第二判断单元，用于在判定所述第一置信度预测值大于所述第一预设阈值时，将所述连续多帧箱内监控图像中的最末帧图像作为当前监控图像，并根据在所述当前监控图像中的且与目标关注区域对应的第一关注区域画面和在箱内背景图像中的且与所述目标关注区域对应的第二关注区域画面，通过在纹理和亮度上的比较结果，判断所述目标关注区域是否被遮挡，其中，所述箱内背景图像预先由所述箱内摄像头在箱内为空时采集得到；
所述事件发生确定单元，用于在判定所述目标关注区域被遮挡时，确定发生恶意遮挡摄像头事件；
所述电梯轿厢控制模块，还用于当所述确定结果指示发生恶意遮挡摄像头事件时，控制所述电梯轿厢从所述第二状态切换至用于继续维持所述电梯轿厢门打开的第三状态；
所述违禁品识别模块，还用于在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，将该新梯内监控图像作为另一个待测的图像样本输入所述目标违禁品识别模型，得到用于反映是否存在目标违禁品的第二识别结果；
所述判断模块，分别通信连接所述关注区域确定模块、所述电梯轿厢控制模块和所述监控图像获取模块，用于在切换至所述第三状态后，继续获取由所述梯内摄像头实时采集的梯内监控图像，并在每次获取到一帧新梯内监控图像时，根据在该新梯内监控图像中的且与所述违禁品关注区域对应的第三关注区域画面和在所述箱内背景图像中的且与所述违禁品关注区域对应的第四关注区域画面，通过在纹理和亮度上的比较结果，判断所述违禁品关注区域是否未被遮挡；
所述电梯轿厢控制模块，还用于当所述第二识别结果指示不存在目标违禁品且判定所述违禁品关注区域未被遮挡时，控制所述电梯轿厢切换回所述第一状态。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发信息，所述处理器用于读取所述计算机程序，执行如权利要求1～4中任意一项所述的箱内摄像头遮挡检测方法或如权利要求6～7中任意一项所述的电梯运行控制方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～4中任意一项所述的箱内摄像头遮挡检测方法或如权利要求6～7中任意一项所述的电梯运行控制方法。
CN202111450216.4A 2021-11-30 2021-11-30 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置 Pending CN114140746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111450216.4A CN114140746A (zh) 2021-11-30 2021-11-30 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111450216.4A CN114140746A (zh) 2021-11-30 2021-11-30 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置

Publications (1)

Publication Number Publication Date
CN114140746A true CN114140746A (zh) 2022-03-04

Family

ID=80386476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111450216.4A Pending CN114140746A (zh) 2021-11-30 2021-11-30 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置

Country Status (1)

Country Link
CN (1) CN114140746A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909321A (zh) * 2023-03-08 2023-04-04 成都睿瞳科技有限责任公司 一种用于电梯轿厢的识别方法、系统和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909321A (zh) * 2023-03-08 2023-04-04 成都睿瞳科技有限责任公司 一种用于电梯轿厢的识别方法、系统和存储介质

Similar Documents

Publication Publication Date Title
CN110796051B (zh) 基于货柜场景下的实时存取行为检测方法和系统
CN111178183B (zh) 人脸检测方法及相关装置
TWI754887B (zh) 活體檢測方法和裝置、電子設備及儲存介質
Gowsikhaa et al. Suspicious Human Activity Detection from Surveillance Videos.
Ko et al. Background subtraction on distributions
WO2019072243A1 (zh) 动作识别、姿势估计的方法及装置
GB2431718A (en) Estimation of the number of individuals in an image
CA2601832A1 (en) Human detection and tracking for security applications
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
KR20180028198A (ko) 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN112131951A (zh) 一种自动化识别施工中违规使用梯子行为的系统
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
CN112163470A (zh) 基于深度学习的疲劳状态识别方法、系统、存储介质
B Nair et al. Machine vision based flood monitoring system using deep learning techniques and fuzzy logic on crowdsourced image data
CN114140746A (zh) 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN113792700B (zh) 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
Ali et al. Real-time safety monitoring vision system for linemen in buckets using spatio-temporal inference
KR101985869B1 (ko) 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
JP6851246B2 (ja) 物体検出装置
CN115871679A (zh) 驾驶员疲劳检测方法、装置、电子设备及介质
CN111985331B (zh) 预防商业秘密被窃照的检测方法及装置
Sathiyavathi et al. Smart Surveillance System for Abnormal Activity Detection Using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230119

Address after: 610000 High-tech Zone, Chengdu City, Sichuan Province, No. 99, No. 1, No. 2, No. 15, No. 1, No. 1505, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No

Applicant after: CHENGDU XINCHAO MEDIA GROUP Co.,Ltd.

Address before: 610000 High-tech Zone, Chengdu City, Sichuan Province, No. 99, No. 1, No. 2, No. 15, No. 1, No. 1505, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No

Applicant before: CHENGDU XINCHAO MEDIA GROUP Co.,Ltd.

Applicant before: Chengdu Baixin Zhilian Technology Co.,Ltd.