CN112598746A - 电梯门开关检测方法、装置、可读介质及电子设备 - Google Patents

电梯门开关检测方法、装置、可读介质及电子设备 Download PDF

Info

Publication number
CN112598746A
CN112598746A CN202011506411.XA CN202011506411A CN112598746A CN 112598746 A CN112598746 A CN 112598746A CN 202011506411 A CN202011506411 A CN 202011506411A CN 112598746 A CN112598746 A CN 112598746A
Authority
CN
China
Prior art keywords
motion
frame image
straight line
target
family
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011506411.XA
Other languages
English (en)
Other versions
CN112598746B (zh
Inventor
陈孝良
李智勇
宁海洋
常乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN202011506411.XA priority Critical patent/CN112598746B/zh
Publication of CN112598746A publication Critical patent/CN112598746A/zh
Application granted granted Critical
Publication of CN112598746B publication Critical patent/CN112598746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电梯门开关检测方法、装置、计算机可读存储介质及电子设备，方法包括：获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹；根据目标帧图像之前的参考帧图像，确定目标帧图像中的至少两条运动直线；根据各条运动直线和各个历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同目标运动直线族的运动直线不同；根据各个目标运动直线族的运动方向，判断目标帧图像中的电梯门的开关状态。本发明的技术方案，无需预先标注电梯门的位置，降低了不同电梯的电梯门开关的检测难度。

Description

电梯门开关检测方法、装置、可读介质及电子设备
技术领域
本发明涉及智能监控技术领域，尤其涉及电梯门开关检测方法、装置、可读介质以及电子设备。
背景技术
电梯与人民生活密切相关，多存在于商场、写字楼、居民区等地方，而电梯门的开关状态对电梯有非常重要的作用，比如，若知道了电梯门的开关状态后，可只在电梯关门的时候，检测目标帧图像的结果，从而了解到乘梯人数，无需对各目标帧图像进行重复统计。
目前，在摄像头采集的图像中预先标注出电梯门位置，通过检测出的电梯门的边缘线的移动轨迹和预先标定的电梯门的位置作比较，从而输出电梯门的开关状态。
但是，预先标定电梯门的位置增加了在不同电梯中的电梯门开关检测的难度。
发明内容
本发明提供一种电梯门开关检测方法、装置、计算机可读存储介质及电子设备，无需预先标注电梯门的位置，降低了不同电梯中的电梯门开关的检测难度。
第一方面，本发明提供了一种电梯门开关检测方法，包括：
获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹；
根据所述目标帧图像之前的参考帧图像，确定所述目标帧图像中的至少两条运动直线；
根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同所述目标运动直线族的所述运动直线不同；
根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态。
第二方面，本发明提供了一种电梯门开关检测装置，包括：
获取装置，用于获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹；
直线确定装置，用于根据所述目标帧图像之前的参考帧图像，确定所述目标帧图像中的至少两条运动直线；
匹配装置，用于根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同所述目标运动直线族的所述运动直线不同；
状态判断装置，用于根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态。
本发明实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供了一种电梯门开关检测方法、装置、计算机可读存储介质及电子设备，获取电梯门的目标帧图像以及在目标帧图像的拍摄时刻之前的电梯门的最后运动过程对应的两个或多个历史运动直线族，历史运动直线族指示了电梯门的一条边缘线的运动轨迹，然后，根据目标帧之前的参考帧图像，确定目标帧图像中的两个或多个运动直线，然后，根据各个运动直线和各个历史运动直线族的匹配结果，确定两个或多个目标运动直线族，目标运动直线族指示了一条运动直线的运动轨迹，之后，根据各个目标运动直线族的运动方向，判断目标帧图像中的电梯门的开关门状态，无需预先标注电梯门的位置，降低了不同电梯的电梯门开关的检测难度。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种电梯门开关检测方法的流程示意图；
图2为本发明一实施例提供的另一种电梯门开关检测方法的流程示意图；
图3为本发明一实施例提供的一种电梯门开关检测装置的结构示意图；
图4为本发明一实施例提供的一种电子设备的结构示意图；
图5为本发明一实施例提供的电梯门的边缘线的示意图；
图6为本发明一实施例提供的电梯门开门时的两个目标运动直线族的示意图；
图7为本发明一实施例提供的区域判定的两个目标运动直线族的第一示意图；
图8为本发明一实施例提供的区域判定的两个目标运动直线族的第二示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应该理解的是，该电梯门开关检测方法可应用于电子设备上，电子设备可以是一般计算机、服务器等，本申请中不一一列举。
如图1所示，为本发明实施例提供的电梯门开关检测方法。本发明实施例中，所述方法具体包括以下步骤：
步骤101、获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹。
具体地，电子设备可通过电梯内或者电梯外固定安装的图像采集装置获取电梯门的目标帧图像以及目标帧图像之前的帧图像。其中，图像采集装置可以是摄像头，此处不做具体限定。需要说明的是，考虑到电梯门外环境的复杂性，优选地，图像采集装置固定安装在电梯内，能够不断的对电梯门进行拍照，从而不断的采集电梯门的多目标帧图像。同时，考虑到对彩色图像进行处理时的较大开销以及后续步骤中的直线检测，需要对采集的图像进行灰度化处理，从而便于图像处理，因此，目标帧图像为灰度图像。需要说明的是，目标帧图像为单帧图像，在需要对电梯门的开关状态进行实时检测时，目标帧图像为当前帧图像，在需要对电梯门的历史开关状态进行检测时，目标帧图像为历史帧图像。
具体地，历史运动直线族包括电梯门的一条边缘线在目标帧图像的拍摄时刻之前的最后运动过程，在若干张对应帧图像中的直线，这里，历史运动直线族包括至少一条直线。其中，拍摄时刻指的是图像采集装置对电梯门进行拍摄的时刻；电梯门的边缘线具体指的是电梯门中可产生运动轨迹的门边垂线，考虑到电梯门具有一定的厚度，每个电梯门的设计也存在差异，电梯门至少具有4条边缘线，但是图像采集装置不一定能够采集到电梯门所有的边缘线，因此，这里的电梯门的边缘线应当理解为图像采集装置所能采集到的电梯门的边缘线，请参考图5，E1表示左电梯门，E2表示右电梯门，L1为左电梯门E1的边缘线，L2为右电梯门E2的边缘线；在目标帧图像的拍摄时刻之前的最后运动过程指的是，电梯门在目标帧图像的拍摄时刻之前最后的一次电梯门开门过程或关门过程，比如，可以是一次开门过程或一次关门过程，也可以是正在开门过程或正在关门过程，需要说明的是，当电梯门在开关过程中，由于人员突然的闯入，导致电梯门没有关门成功，需要再次开门时，此时，电梯门的开门和关门分别作为一次运动过程，这里，最后运动过程为电梯门的连续运动过程，即开门过程或关门过程；对应帧图像指的是图像采集装置采集的电梯门的边缘线，在目标帧图像的拍摄时刻之前的最后运动过程中的多帧图像，这里，对应帧图像和目标帧图像由相同的图像采集装置采集。综上，历史运动直线族指示了电梯门的一条边缘线，在目标帧图像的拍摄时刻之前最后的一次开门或关门过程所产生的运动轨迹，换言之，历史运动直线族指示的是单方向的运动轨迹。举例来说，假设目标帧图像之前的n个运动过程各自对应的时段表达为t1a～t1b、t2a～t2b、…、tia～tib、…、tna～tnj，tia表征第i个运动过程的开始时刻，tib表征第i个运动过程的结束时刻，tnj表征目标帧图像的拍摄时刻，如果，tnj小于tna，则目标帧图像为电梯门开门或者关门过程中的图像，最后运动过程对应的时段为tna～t(n-)j，如果tnj等于tna，则目标帧图像为电梯门刚刚开门或者刚刚关门时的图像，最后运动过程对应的时段为t(n-1)a～t(n-)b。需要说明的是，历史运动直线族指示的运动轨迹，可能并不是最后运动过程的全过程轨迹，而是部分运动过程的轨迹，优选地，历史运动直线族对应的最晚时刻应当为最后运动过程的拍摄最晚时刻，拍摄最晚时刻指的是，在目标帧图像的拍摄时刻之前，图像采集装置对电梯门在最后运动过程进行拍摄的最后时刻。
应当理解的，历史运动直线族相当于对电梯门的边缘线进行目标跟踪所得到，因此，历史运动直线族可以基于现有技术中的目标跟踪技术对若干张对应帧图像中的电梯门的边缘线进行跟踪记录得到。其中，目标跟踪技术指的是在不同帧图像序列中检测出同一目标的不同位置。示例地，可以采用深度特征和深度学习的方法实现目标跟踪。作为一种可能的情况，历史运动直线族包括一条直线，则可对目标帧图像的前一帧图像进行电梯门的边缘线识别，确定前一帧图像中的电梯门的边缘线，将电梯门的所有边缘线分别确定为历史运动直线族，或者，确定前一帧图像中的运动直线，并将各个运动直线分别确定为历史运动直线族。作为另一种可能的情况，历史运动直线族包括至少两条直线，此时，历史运动直线族可以指示电梯门的一条边缘线的运动方向。
具体地，历史运动直线族的个数可以有2个或2个以上，不同历史运动直线族的电梯门的边缘线不同，图像采集装置的安装位置决定了其对电梯门的拍摄角度，拍摄角度不同则图像采集装置所能采集到的电梯门的边缘线的个数会不同，比如，如果是正面拍摄，则历史运动直线族可以有2个，也可以有4个，如果是侧面拍摄，历史运动直线族可以有3个。应当注意的是，由于电梯门具有一定的厚度，在电梯门开门或关门过程中，图像采集装置采集的图像中的电梯门的边缘线的个数会发生变化，比如，可以从2个变成3个，也可以从2个变成4个，在大部分的情况中，历史运动直线族的数量实际上不大于图像采集装置最多所采集的电梯门的边缘线个数。
具体地，针对历史运动直线族中的每条直线，需要记录该直线在对应的对应帧图像中的像素点的像素坐标、像素点的颜色信息、直线产生时间、顺序号等，其中，颜色信息可以是RGB颜色值，也可以是HSV颜色值，还可以是YUV颜色值，RGB颜色值用RGB(R、G、B)表示，其中，R表示红色、G表示绿色，B表示蓝色，HSV颜色值可以用HSV(H、S、V)表示，其中，H表示色相(Hue)、S表示饱和度(Saturation)以及V表示明度(Value)的值，YUV颜色值可以用YUV(Y、U、V)表示，其中，Y表示明亮度(Luminance或Luma)，也就是灰度值；U和V表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色，此处不做具体限定，具体需要结合实际场景确定需要记录的颜色信息；顺序号指示了直线在历史运动直线族中所有直线的编号，用于表现出直线产生的先后顺序，编号越大则说明直线产生的时间越晚。这里，当历史运动直线族包括两条直线时，通过历史运动直线族中的每条直线的直线产生时间或顺序号，即可确定电梯门的边缘线的运动方向。
该实施例中，只要确保图像采集装置能够拍摄到电梯门，无需使得图像采集装置采集的图像中心和电梯门中心线对齐，降低了图像采集装置在电梯中的部署难度。
步骤102、根据所述目标帧图像之前的参考帧图像，确定所述目标帧图像中的至少两条运动直线。
该实施例中，通过目标帧图像之前的参考帧图像，确定目标帧图像中的两个或多个运动直线，将目标帧图像中可能是电梯门的边缘线的直线全部识别出来，从而实现对目标帧图像中的电梯门的边缘线的预判。应当理解的，不是所有的运动直线均是电梯门的边缘线，但是电梯门的边缘线一定是运动直线。
具体地，考虑到静止的直线在各帧图像中的位置是不发现变化的，因此，通过对参考帧图像和目标帧图像的相同位置的像素值之间的比对，即可确定出目标帧图像中的运动直线。应当理解的，参考帧图像优选目标帧图像的前一帧图像，当然，也可以是其他帧图像，其他帧图像和目标帧图像的拍摄时刻之间的时长基于实际情况设置即可。
在一个实施例中，通过直线检测算法识别出目标帧图像中的所有候选直线，基于目标帧图像中候选直线上的每个像素点各自相对于前一帧图像的相同像素点的像素值差值，确定候选直线是否发生了运动，将发生运动的候选直线确定为运动直线。其中，直线检测算法可以是Sobel算子的边缘检测，也可以是Canny算法的优化边缘提取，也可以是霍夫变换的直线检测，也可以是LSD直线检测算法，此处不做具体限定，具体需要结合实际情况确定。
在一个实施例中，所述步骤102包括：
对所述目标帧图像的每行像素进行跳变点检测，以确定所述目标帧图像中的多个跳变点；
将所述目标帧图像中垂直方向上的多个跳变点连接成线，以确定所述目标帧图像中的至少两条候选直线；
当所述目标帧图像中的所述候选直线和其对应在所述目标帧图像之前的参考帧图像的相同位置的像素值差值满足第四预设条件时，将所述候选直线确定为运动直线。
该实施例中，通过对目标帧图像上的每行像素进行跳变点检测，从而得到目标帧图像中的多个跳变点，然后，考虑到电梯门的边缘线是垂直的，故将目标帧图像中在垂直方向上的多个跳变点连接成线，以确定目标帧图像中的两个或多条候选直线，之后，针对每条候选直线，当目标帧图像中的候选直线在和目标帧图像之前的参考帧图像的相同位置的像素值差值满足第四预设条件，则说明候选直线在目标帧图像和参考帧图像中的位置不同，换言之，候选直线处于运动状态，此时，即可将候选直线确定为运动直线，从而过滤静止的直线。综上，该实施例通过跳变点检测，无需考虑电梯门的边缘线的特征，降低了数据处理量以及直线检测难度，提高了处理效率，同时降低了电梯的光照等环境的影响，提高了对各种光照以及各种布局的电梯的兼容性。
具体地，针对目标帧图像中的每行像素，按照从左到右的顺序，依次确定每个像素点的像素值差值，每个像素点的像素值差值为该像素点和其右侧相邻的像素点之间的像素值的差值，当像素点的像素值差值的绝对值是否大于预设阈值时，将与该像素点右侧相邻的像素点确定为跳变点。举例来说，假设有n个像素点，n个像素点分别为P1、P2、……、Pn-1、Pn，P1、P2、……、Pn-1、Pn分别对应的像素值为G1、G2、……、Gn-1、Gn，则P1、P2、……、Pn-1、Pn分别对应的像素值差值为G1-G2、G2-G3、……、Pn-1-Pn、Pn，假设G2-G3的绝对值大于预设阈值，则将G3确定为跳变点。作为一种可能的情况，若目标帧图像中标定了电梯门区域，则只在电梯门区域内进行跳变点检测即可，否则，全局搜索跳变点。其中，像素值为对彩色图像进行灰度化后的灰度值。
具体地，按照从上到下的顺序，检索跳变点的下方是否与其相连接的跳变点，若存在，则连接跳变点，从而在垂直方向上连接成线，确定候选直线。应当理解的，考虑到图像采集装置的拍摄角度，拍摄过程中的图像畸变等各种因素，候选直线不一定和目标帧图像的垂直中心线平行，运动直线通常和目标帧图像的垂直中心线之间具有一定的夹角，当然，夹角通常较小，对于夹角较大的直线可以直接滤除。
具体地，确定目标帧图像中的候选直线上的像素点的像素坐标以及像素值，根据候选直线上的像素点的像素坐标，确定参考帧图像中的相同像素点的像素值，之后，计算候选直线上的像素点的像素值以及参考帧图像中的相同像素点的像素值的像素值差值，判断所有的像素值差值是否满足第四预设条件，若是，则说明候选直线在目标帧图像和参考帧图像中出现了移动，则将候选直线确定为运动直线。具体地，像素值差值满足第四预设条件可以是所有的像素值差值的绝对值大于差值阈值，也可以是90％的像素值差值的绝对值大于差值阈值，此处不做具体限定，具体需要结合实际情况确定。
需要说明的是，考虑到电梯内的光照以及电梯的布局，通过结合实际的场景确定出第四预设条件，从而满足各种光照以及布局的电梯，提高对不同电梯的兼容性。
作为一种可能的情况，运动直线的长度大于预设长度阈值。
当电梯中没有人时，电梯门的边缘线具有一定的长度，当电梯中有人时，电梯的最高处和人头之间也是有距离的，因此，电梯门的边缘线应该具有一定的长度，对于长度不满足预设长度阈值的候选直线有理由认为不是电梯门的边缘线，需要进行滤除。
具体地，可以先将长度不满足预设长度阈值的候选直线滤除后，判断候选直线是否是运动直线；也可以先判断候选直线是否是运动的，之后再将长度不满足预设长度阈值的运动的候选直线过滤，得到运动直线，此处不做限定。需要说明的是，考虑到电梯的光照、电梯的布局、人的身高以及图像采集装置的安装位置对电梯门的边缘线的长度均有一定的影响，通过结合实际的场景确定出长度阈值的大小，从而满足各种光照以及各种布局的电梯。
步骤103、根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同所述目标运动直线族的所述运动直线不同。
该实施例中，对运动直线和两个或多个历史运动直线族进行匹配，从而确定出至少两个目标运动直线族，目标运动直线族指示了一条运动直线的运动轨迹。应当理解的，目标运动直线族也可以认为是电梯门的边缘线的运动轨迹。这里，目标运动直线族至少包括两条直线。
在一个实施例中，所述历史运动直线族包括所述电梯门的一条边缘线在至少两张对应帧图像中的直线。
可选地，所述匹配结果包括：各个所述历史运动直线族中，存在与所述运动直线满足第一匹配条件的历史运动直线族；
所述根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，包括：
对所述运动直线和与所述运动直线满足第一匹配条件的历史运动直线族进行聚合，确定目标运动直线族。
具体地，针对每条运动直线，基于第一匹配条件，对运动直线和所有的历史运动直线族进行匹配，当匹配成功时，从所有的历史运动直线族中，确定与运动直线满足第一匹配条件的历史运动直线族，将运动直线加入与其满足第一匹配条件的历史运动直线族中，得到目标运动直线族。需要说明的是，若运动直线能够与历史运动直线族匹配，则说明运动直线是电梯门的边缘线。
作为一种可能的情况，第一匹配条件包括所述历史运动直线族中最晚产生的直线和所述运动直线之间的第一颜色差值满足第一预设条件，且所述历史运动直线族的运动方向与所述最晚产生的直线向所述运动直线运动的方向相同。其中，历史运动直线族中最晚产生的直线指的是图像采集装置所采集到的最靠近目标帧图像对应时间点的直线，可以是历史运动直线族中的顺序号最大的直线(历史运动直线族中的直线出现时间越早，排序越小)，也可以是直线产生时间最晚的直线。颜色差值可以基于RGB颜色值确定，也可以基于HSV颜色值确定，还可以基于YUV颜色值确定，此处不做具体限定，优选HSV颜色值。历史运动直线族的运动方向可以基于直线的顺序号确定，也可以基于直线产生时间确定，此处不做具体限定。
该情况中，考虑到电梯内的光照以及电梯的布局的情况是复杂的，电梯门的边缘线在运动过程中的颜色可能会发生变化，但是极短时间内的电梯门的边缘线的颜色变化不会过大，因此，选择历史运动直线中最晚产生的直线作为运动直线的参考，从而降低电梯内的光照以及电梯的布局的影响，确保匹配结果的准确性。这里，历史运动直线族中最晚产生的直线和运动直线之间的第一颜色差值满足第一预设条件，则说明运动直线有较大的概率是电梯门的边缘线，但是并不知道运动直线是哪个电梯门的边缘线，而电梯门的边缘线在开门过程或者关门过程中，电梯门的边缘线的运动方向只有一个，因此，需要判断运动直线的运动方向，这里，将历史运动直线族中最晚的直线向运动直线运动的方向确定为运动直线的方向，若运动直线的方向和历史运动直线族的运动方向相同时，则认为运动直线是历史运动直线族的电梯门的边缘线。
具体地，第一颜色差值，指的是运动直线与历史的电梯门边缘之间的色差。可以通过如下方式实现第一颜色误差的计算：计算运动直线对应在目标帧图像中上的像素点，与历史运动直线族中最晚产生的直线对应在对应帧图像中的像素点之间的颜色差值，其中，计算颜色差值的两个像素点的像素坐标的横坐标相同。这里，第一颜色差值满足第一预设条件可以是每个第一颜色差值的绝对值低于第一颜色阈值，也可以是90％的第一颜色差值的绝对值低于第一颜色阈值，还可以是所有的第一颜色差值的方差或均值小于阈值等，此处不做具体限定，具体需要结合实际情况确定。
需要说明的是，考虑到电梯内的光照以及电梯的布局，通过结合实际的场景确定出第一预设条件，从而满足各种光照以及各种布局的电梯。
可选地，步骤103包括：
所述匹配结果包括：各个所述历史运动直线族中，不存在与所述运动直线满足第一匹配条件的历史运动直线族；
所述确定至少两个目标运动直线族，包括：
获取所述目标帧图像的前一帧图像中的至少两条参考运动直线；
当各个所述参考运动直线中存在与所述运动直线满足第二匹配条件的参考运动直线时，对所述运动直线以及与所述运动直线满足第二匹配条件的参考运动直线进行聚合，确定目标运动直线族。
具体地，运动直线和所有的历史运动直线族族均不匹配时，获取目标帧图像的前一帧图像中的所有的参考运动直线，然后，根据第二匹配条件，对所有的参考运动直线和运动直线进行匹配，当匹配成功时，从所有的参考直线中确定出与运动直线满足第二匹配条件的参考运动直线，实现了对运动直线的跟踪，同时，由于运动直线在目标帧图像和前一帧图像中存在运动轨迹，因此，可认为运动直线是电梯门的边缘线，之后，对运动直线和与运动直线满足第二匹配条件的参考运动直线进行聚合，确定目标运动直线族。
应当理解的，若历史运动直线族中最晚产生的直线的位置是电梯中线位置或者电梯门开门之后的位置，那么，若电梯门的边缘线刚刚开始了新的运动时，比如，刚刚开门或刚刚关门时，换言之，运动直线的运动方向发生了改变，则运动直线是不会和历史运动直线族匹配成功的，因此，就需要重新确定目标运动直线族。即当电梯门的边缘线完成一次开门或关门后，再次开始运动时，则需要重新确定历史运动直线族。
作为一种可能的情况，所述第二匹配条件，包括：所述参考运动直线和所述运动直线之间的第二颜色差值满足第二预设条件，且所述参考运动直线和所述运动直线之间的距离值满足第三预设条件。其中，第二颜色差值可以基于RGB颜色值确定，也可以基于HSV颜色值确定，还可以基于YUV颜色值确定，此处不做具体限定，优选HSV颜色值。
该情况中，电梯门在开门和关门过程中，电梯门的边缘线以一定的速度向固定方向运动，因此，电梯门的边缘线在目标帧图像和前一帧图像之间存在位移，同时，考虑到电梯内的光照以及电梯的布局，电梯门的边缘线在目标帧图像和前一帧图像之间存在颜色差值，这里，当参考运动直线和运动直线之间的第二颜色差值满足第二预设条件，则说明参考运动直线和运动直线有很大概率是相同的直线，参考运动直线和运动直线之间的距离值满足第三预设条件，则说明参考运动直线移动到运动直线运动与电梯门的运动情况匹配，因此，综合考虑参考运动直线和运动直线之间的第二颜色差值以及距离值，实现对参考运动直线和运动直线的匹配。
具体地，参考运动直线和运动直线之间的距离值满足第三预设条件包括参考运动直线和运动直线之间的距离值不大于距离阈值，距离阈值具体需要结合实际情况确定。
具体地，可以通过如下方式实现第二颜色差值：计算运动直线对应在目标帧图像上的像素点，与参考运动直线对应在前一帧图像中的像素点之间的颜色差值，其中，两个像素点的像素坐标中的横坐标相同。具体地，第二颜色差值满足第二预设条件可以包括每个第二颜色差值的绝对值低于第二颜色阈值，也可以包括90％的第二颜色差值的绝对值低于第二颜色阈值，还可以是所有的第二颜色差值的方差或均值小于阈值等，此处不做具体限定，具体需要结合实际情况确定。
需要说明的是，考虑到电梯内的光照以及电梯的布局，通过结合实际的场景确定出第二预设条件和第三预设条件，从而满足各种光照以及各种布局的电梯。
应当理解的，第一匹配条件考虑到了运动方向，相对于第二匹配条件来说，准确性相对较高，因此，第一匹配条件优于第二匹配条件。
具体地，每帧图像中的运动直线均按照前述跳变点检测后连线的方法确定。对于目标帧图像之后的后一帧图像，对运动直线以及与运动直线匹配成功的历史运动直线族或参考运动直线进行聚合，即为一个历史运动直线族，换言之，历史运动直线族是实时更新的，从而实现对电梯门的开关状态的实时检测。如果历史运动直线族和运动直线匹配时，则可对历史运动直线族进行更新。如果历史运动直线族和运动直线不匹配时，则重新形成一个目标运动直线族。
应当理解的，第一匹配条件和第二匹配条件可以作为电梯门的边缘线跟踪的依据，得到历史运动直线族。举例来说，若历史运动直线族包括至少N条直线，N条直线按照出现时间早晚进行排序，表示电梯门的一次开门过程或一次关门过程所产生的运动轨迹，每条直线均为通过步骤2得到的运动直线，时间越早排序号越小，第1条直线和第2直线之间满足第二匹配条件，对于第2条直线之后的直线，第i条直线和第i条直线之前的直线所形成的直线族满足第一匹配条件，换言之，第i条直线和第i-1条直线之前的第一颜色差值满足第一预设条件，第i条直线之前的直线的运动方向和第i-1条直线向第i条直线运动的方向相同。因此，通过对图像中的运动直线进行检测跟踪从而实现电梯门开关检测，对设备计算性能要求较低，提高了处理速度。
在一个实施例中，所述历史运动直线族包括所述电梯门的边缘线在一张所述对应帧图像中的直线。
可选地，所述匹配结果包括：各个所述历史运动直线族中，存在与所述运动直线满足第二匹配条件的历史运动直线族；
所述根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，包括：
对所述运动直线以及与所述运动直线满足第二匹配条件的历史运动直线族进行聚合，确定目标运动直线族。
作为一种可能的情况，当无法确定目标帧图像的前一帧图像中的运动直线时，比如，前一帧图像为图像采集装置采集的第一帧图像，可通过深度特征和深度学习的方法检测出前一帧图像中的电梯门的边缘线，并将电梯门的每条边缘线分别确定为历史运动直线族。
作为另一种可能的情况，当可以确定目标帧图像的前一帧图像中的运动直线时，比如，前一帧图像之前仅有一帧图像，即可确定出目标帧图像的前一帧图像中的运动直线，并将每个运动直线分别确定为历史运动直线族。
应当理解的，该实施例中目标运动直线族包括了两条直线，对于目标帧图像的后一帧图像，该目标运动直线族为历史运动直线族，此时，历史运动直线族包括两条直线，后续，即可基于上述关于历史运动直线族和运动直线的匹配方法，确定目标运动直线族。后续，仅需要对图像中的运动直线进行检测跟踪，对设备计算性能要求较低，提高了处理速度。
该实施例中，根据电梯内的光照以及电梯的布局等对电梯门开关检测方法中的预设条件进行改动即可适用各种光照和各种布局的电梯的场景需求，电梯门开关检测方法的兼容性相对较高。
步骤104、根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态。
在一个实施例中，当任意两个所述目标运动直线族的运动方向相背时，判断所述目标帧图像中的电梯门开门；当任意两个所述目标运动直线族的运动方向相向时，判断所述目标帧图像中的电梯门关门。这里，考虑到目标运动直线族指示的都是运动直线朝向某一方向的运动过程，因此，根据任意两个目标运动直线族的运动方向，即可判断出目标帧图像中的电梯门的开关门状态。
举例来说，请参考图6，图6包括目标运动直线族A和目标运动直线族B，1、2、3、4、5表示直线的编号，编号越大则直线出现的时间越晚，MA箭头表示目标运动直线族A的运动方向，MB箭头表示目标运动直线族B的运动方向，MA和MB的运动方向相背，电梯门开门。
在一个实施例中，步骤104之后，还包括：
从各个所述目标运动直线族，确定出区域判定的两个目标运动直线族，所述区域判定的两个目标运动直线族的运动方向相反，所述区域判定的两个目标运动直线族的运动距离满足第五预设条件；
根据所述区域判定的两个目标运动直线族，确定所述目标帧图像中的电梯门区域。
该实施例中，在不预先设定电梯门位置的情况下，可自动检测电梯门所在区域，提高电梯门开关检测的智能化，后期即可根据电梯门所在区域进行电梯门的开关检测，提高检测效率。
当两个目标运动直线族的运动方向相反，则说明这两个目标运动直线族分别属于电梯门中的左电梯门以及右电梯门，同时这两个目标运动直线族的运动距离满足第五预设条件，则说明电梯门的边缘线的运动距离和左电梯门或右电梯门的宽度较为匹配，此时，即可将这两个目标运动直线族确定为区域判定的两个目标运动直线族，之后，根据区域判定的两个目标运动直线族确定电梯门区域，比如，可以将目标帧图像中的区域判定的两个目标运动直线族聚合后形成的闭合区域确定为电梯门区域，还可以基于两个目标运动直线族彼此靠近的边界线对电梯门区域进行划分，确定出左电梯区域和右电梯区域。其中，目标运动直线族的运动距离为目标运动直线族中最早产生的直线和最晚产生的直线之间的距离。目标运动直线族的边界线为最早产生的直线和最晚产生的直线。
具体地，运动距离满足第五预设条件可以是区域判定的两个目标运动直线族各自的运动距离不小于预设电梯门宽度，也可以是区域判定的两个目标运动直线族各自的运动距离不小于预设电梯门宽度，同时区域判定的两个目标运动直线族的运动距离差值小于预设阈值。
作为一种可能的情况，当图像采集装置从电梯门正面对其拍摄时，区域判定的两个目标运动直线族的运动方向相反、运动距离差值小于预设阈值、相距距离低于距离阈值。请参考图7，7条细线组成了目标运动直线族C，dC表示目标运动直线族C的运动距离，bC表示目标运动直线族C的边界线，7条粗线组成了目标运动直线族D，dD表示目标运动直线族D的运动距离，bD表示目标运动直线族D的边界线，d1表示目标运动直线族C和目标运动直线族D之间的相距距离，这里，运动距离差值指的是dC和dD的差值。
作为另一种可能的情况，图像采集装置从电梯门侧面对其拍摄时，区域判定的两个目标运动直线族的运动方向相反、运动距离差值小于预设阈值、相交距离低于距离阈值。请参考图8，8条细线组成了目标运动直线族E，dE表示目标运动直线族E的运动距离，bE表示目标运动直线族E的边界线，7条粗线组成了目标运动直线族F，dF表示目标运动直线族F的运动距离，bF表示目标运动直线族F的边界线，d2表示目标运动直线族E和目标运动直线族F之间的相交距离，这里，运动距离差值指的是dE和dF的差值。
若确定了电梯区域，之后，在进行电梯门的开关门检测时，可以仅对电梯门区域进行处理，提高电梯门开关检测的精度和效率。若确定了电梯区域中的左电梯区域和右电梯区域，之后，在进行电梯门的开关门检测时，可以仅对左电梯区域或右电梯区域进行处理，提高电梯门开关检测的精度和效率，比如，仅对左电梯区域进行检测，此时，可以仅仅确定左电梯区域的电梯门的边缘线的历史运动直线族，从而当目标运动直线族的运动方向为向右时，电梯门关门，当目标运动直线族的运动方向为向左时，电梯门开门。
更进一步的，步骤104之后，还包括：
当判断所述目标帧图像中的电梯门关门成功时，确定所述电梯门内的电梯空间内的乘梯人数。
具体地，当判断电梯门关门成功时，则说明不会再有人会上电梯了，此时即可开始统计电梯内的乘梯人数，提升检测效率。
具体地，如判断不可能再有人能够上电梯，此时，可判断电梯门关门成功。比如，当运动方向相向的任意两个目标运动直线族之间的相距距离较低时，则可认为电梯门关门成功。
具体地，若图像采集装置位于电梯内，可通过目标帧图像确定电梯门内的电梯空间内的乘梯人数。当图像采集装置位于电梯外，可通过控制电梯内的图像采集装置采集图像，从而确定电梯门内的电梯空间内的乘梯人数，此处不做限定，具体需要结合实际情况确定。
本发明实施例可以应用在实时的电梯门开关检测，此时，目标帧图像为当前帧图像，也可以用在历史视频中的电梯门开关检测，此时，目标帧图像应当为历史视频中的某一帧图像，此处不一一举例，任何需要进行电梯门的开关检测场景皆适用本发明实施例。
通过以上技术方案可知，本发明实施例存在的有益效果是：
第一方面，无需预先标定电梯门的位置即可实现电梯门的开关门检测，降低了本发明实施例提供的电梯门开关检测方法在不同电梯中的应用难度。
第二方面，只要确保图像采集装置能够拍摄到电梯门，无需使得图像采集装置采集的图像中心和电梯门中心线对齐，降低了图像采集装置在电梯中的部署难度。
第三方面，仅需要对图像中的运动直线进行检测跟踪，对设备计算性能要求较低，提高了处理速度。
第四方面，可根据电梯内的光照以及电梯的布局等对本发明实施例提供的电梯门开关检测方法中的预设条件进行改动，从而适应各种光照和各种布局的电梯的场景需求，使得本发明实施例提供的电梯门开关检测方法的兼容性相对较高。
第五方面，可自动检测电梯门所在区域，提高了电梯门开关检测方法的智能化。
第六方面，当判断电梯门关门成功时检测电梯空间的乘梯人数，无需重复统计，从而提升了检测效率。
图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。
为了更加清楚的说明本发明的技术方案，请参考图2，本发明实施例提供了另一种电梯门开关检测方法，本实施例在前述实施例的基础上，结合具体应用场景进行进一步的叙述。
本实施例所结合的具体场景为：实时检测电梯门的开关状态，电梯正在开门，图像采集装置安装在电梯内，从侧面对电梯门进行拍摄，最多可采集到电梯门的3条边缘线，目标帧图像为当前帧图像，目标帧图像中出现了电梯门的3条边缘线，其中一条边缘线是在本次开门过程中第二次采集到，剩下的两条边缘线是在本次开门过程的开始就采集到的。本实施例所述方法的目的在于，结合历史运动直线族，自动检测出目标运动直线族，确定当前电梯门的开关状态。
本实施例中，具体可以包括如下各个步骤：
步骤201、获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹。
历史运动直线族有2个，每个历史运动直线族的电梯门的边缘线不同。历史运动直线族基于电梯门的边缘线在本次电梯开门过程中形成，包括电梯门的一条边缘线在本次开门时刻和当前时刻之间的至少两张帧图像分别留下的直线。
步骤202、对所述目标帧图像的每行像素进行跳变点检测，以确定所述目标帧图像中的多个跳变点；将所述目标帧图像中垂直方向上的多个跳变点连接成线，以确定所述目标帧图像中的至少两条候选直线。
步骤203、当所述目标帧图像中候选直线上的像素点相对于所述目标帧图像的前一帧图像的相同像素点的像素值差值满足第四预设条件时，将所述候选直线确定为运动直线。
对于和目标帧图像的垂直中心线之间夹角较大的直线可以直接滤除。同时，对于长度较短的直线也可以直接滤除。
具体地，针对每个运动直线，记录运动直线在目标帧图像上的每个像素点各自的像素坐标、每个像素点各自的颜色信息以及直线产生时间等。
步骤204a、当各个所述历史运动直线族中，存在与所述运动直线满足第一匹配条件的历史运动直线族时，对所述运动直线和与所述运动直线满足第一匹配条件的历史运动直线族进行聚合，确定目标运动直线族。
针对每个运动直线，按照第一匹配条件，对运动直线和3个历史运动直线族进行匹配，若运动直线匹配成功，确定与其匹配成功的历史运动直线族，将运动直线加入到与其匹配成功的历史运动直线族中，形成目标运动直线族。
该场景中目标运动直线族有两个，每个目标运动直线族的匹配成功的运动直线不同。
步骤204b1、当各个所述历史运动直线族中，不存在与所述运动直线满足第一匹配条件的历史运动直线族时，获取所述目标帧图像的前一帧图像中的至少两条参考运动直线。
值得注意的是，如果运动直线和所有的历史运动直线族均不匹配，则说明运动直线的运动方向发生了改变。
步骤204b2、当各条所述参考运动直线中，存在与所述运动直线满足第二匹配条件的参考运动直线时，对所述运动直线以及与所述运动直线满足第二匹配条件的参考运动直线进行聚合，确定目标运动直线族。
针对每个运动直线，按照第一匹配条件，对运动直线和3个历史运动直线族进行匹配，若匹配失败，则按照第二匹配条件，对获取的目标帧图像的前一帧图像中的所有参考运动直线和运动直线进行匹配，若匹配成功，确定与其匹配成功的参考运动直线，对运动直线和与其匹配成功的参考运动直线进行聚合，形成目标运动直线族。
值得注意的是，如果电梯门在运动，目标帧图像中的所有运动直线和所有的历史运动直线族都不能匹配成功，则舍弃所有的历史运动直线族，基于前述第二匹配条件，对该目标帧图像的后一帧图像中的运动直线和该目标帧图像中的运动直线进行匹配，形成目标运动直线族即可。
该场景中第二次出现的电梯门的边缘线能够形成一个目标运动直线族。这里，该电梯门的边缘线第一次出现时，考虑之前不存在相对应的电梯门的边缘线，因此是无法匹配成功的。
步骤205、当任意两个所述目标运动直线族的运动方向相背时，判断所述目标帧图像中的电梯门开门；当任意两个所述目标运动直线族的运动方向相向时，判断所述目标帧图像中的电梯门关门。
3个目标运动直线族中的任意两个目标运动直线族的运动方向相背，目标帧图像中的电梯门开门。
3个目标运动直线族分别作为目标帧图像的后一帧图像的历史运动直线族。
通过以上技术方案可知，本实施例存在的有益效果是：通过前一帧图像过滤目标帧图像中的静止直线，同时过滤掉和图像的垂直中心线夹角较大的直线以及长度较小的直线，确保运动直线的参考价值，之后，对运动直线、历史运动直线族以及参考运动直线进行匹配，确定出指示运动直线的运动轨迹的目标运动直线族，通过目标运动直线族的运动方向实现电梯门开关的判断，无需预先标定电梯门的位置即可实现电梯门的开关门检测，仅需要对图像中的运动直线进行检测跟踪匹配，对设备计算性能要求较低，提高了处理速度。只要确保图像采集装置能够拍摄到电梯门即可实现电梯门开关检测，无需使得图像采集装置采集的图像中心和电梯门中心线对齐，降低了图像采集装置在电梯中的部署难度。
基于与本发明方法实施例相同的构思，请参考图3，本发明实施例还提供了一种电梯门开关检测装置，包括：
获取装置301，用于获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹；
直线确定装置302，用于根据所述目标帧图像的前一帧图像，确定所述目标帧图像中的至少两条运动直线；
匹配装置303，用于根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同所述目标运动直线族的所述运动直线不同；
状态判断装置304，用于根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态。
在一个实施例中，所述历史运动直线族包括所述电梯门的一条边缘线在至少两张对应帧图像中的直线；
所述匹配结果包括：各个所述历史运动直线族中，存在与所述运动直线满足第一匹配条件的历史运动直线族；
所述匹配装置303，包括：第一聚合单元；其中，
所述第一聚合单元，用于对所述运动直线和与所述运动直线满足第一匹配条件的历史运动直线族进行聚合，确定目标运动直线族。
在一个实施例中，所述第一匹配条件，包括：所述历史运动直线族中最晚产生的直线和所述运动直线之间的第一颜色差值满足第一预设条件，且所述历史运动直线族的运动方向与所述历史运动直线族中最晚产生的直线向所述运动直线运动的方向相同。
在一个实施例中，所述匹配结果包括：各个所述历史运动直线族中，不存在与所述运动直线满足第一匹配条件的历史运动直线族；
所述匹配装置303，包括：获取单元以及第二聚合单元；其中，
所述获取单元，用于获取所述目标帧图像的前一帧图像中的至少两条参考运动直线；
所述第二聚合单元，用于当各个所述参考运动直线中，存在与所述运动直线满足第二匹配条件的参考运动直线时，对所述运动直线以及与所述运动直线满足第二匹配条件的参考运动直线进行聚合，确定目标运动直线族。
在一个实施例中，所述第二匹配条件，包括：所述参考运动直线和所述运动直线之间的第二颜色差值满足第二预设条件，且所述参考运动直线和所述运动直线之间的距离值满足第三预设条件。
在一个实施例中，所述直线确定装置302，包括：跳变点检测单元、连线单元以及直线确定单元；其中，
所述跳变点检测单元，用于对所述目标帧图像的每行像素进行跳变点检测，以确定所述目标帧图像中的多个跳变点；
所述连线单元，用于将所述目标帧图像中垂直方向上的多个跳变点连接成线，以确定所述目标帧图像中的至少两条候选直线；
所述直线确定单元，用于当所述目标帧图像中的所述候选直线和其对应在所述目标帧图像之前的参考帧图像的相同位置的像素值差值满足第四预设条件时，将所述候选直线确定为运动直线。
在一个实施例中，所述状态判断装置304，包括：第一判断单元以及第二判断单元；其中，
所述第一判断单元，用于当任意两个所述目标运动直线族的运动方向相背时，判断所述目标帧图像中的电梯门开门；
所述第二判断单元，用于当任意两个所述目标运动直线族的运动方向相向时，判断所述目标帧图像中的电梯门关门。
在一个实施例中，还包括：选择模块以及区域确定模块；其中，
所述选择模块，用于从各个所述目标运动直线族，确定出区域判定的两个目标运动直线族，所述区域判定的两个目标运动直线族的运动方向相反，所述区域判定的两个目标运动直线族的运动距离满足第五预设条件；
所述区域确定模块，用于根据所述区域判定的两个目标运动直线族，确定所述目标帧图像中的电梯门区域。
在一个实施例中，还包括：统计模块；其中，
所述统计模块，用于当判断所述目标帧图像中的电梯门关门成功时，确定所述电梯门内的电梯空间内的乘梯人数。
图4是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器401以及存储有执行指令的存储器402，可选地还包括内部总线403及网络接口404。其中，存储器402可能包含内存4021，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器4022(non-volatile memory)，例如至少1个磁盘存储器等；处理器401、网络接口404和存储器402可以通过内部总线403相互连接，该内部总线403可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等；内部总线403可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。当然，该电子设备还可能包括其他业务所需要的硬件。当处理器401执行存储器402存储的执行指令时，处理器401执行本发明任意一个实施例中的方法，并至少用于执行如图1或图2所示的方法。
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成一种电梯门开关检测装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的一种电梯门开关检测方法。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例还提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行执行指令时，所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图4所示的电子设备；执行指令是一种电梯门开关检测装置所对应计算机程序。
本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (12)

1.一种电梯门开关检测方法，其特征在于，包括：
获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹；
根据所述目标帧图像之前的参考帧图像，确定所述目标帧图像中的至少两条运动直线；
根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同所述目标运动直线族的所述运动直线不同；
根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态。
2.根据权利要求1所述的方法，其特征在于，所述历史运动直线族包括所述电梯门的一条边缘线在至少两张对应帧图像中的直线；
所述匹配结果包括：各个所述历史运动直线族中，存在与所述运动直线满足第一匹配条件的历史运动直线族；
所述根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，包括：
对所述运动直线和与所述运动直线满足第一匹配条件的历史运动直线族进行聚合，确定目标运动直线族。
3.根据权利要求2所述的方法，其特征在于，所述第一匹配条件，包括：所述历史运动直线族中最晚产生的直线和所述运动直线之间的第一颜色差值满足第一预设条件，且所述历史运动直线族的运动方向与所述历史运动直线族中最晚产生的直线向所述运动直线运动的方向相同。
4.根据权利要求2所述的方法，其特征在于，所述匹配结果包括：各个所述历史运动直线族中，不存在与所述运动直线满足第一匹配条件的历史运动直线族；
所述根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，包括：
获取所述目标帧图像的前一帧图像中的至少两条参考运动直线；
当各个所述参考运动直线中，存在与所述运动直线满足第二匹配条件的参考运动直线时，对所述运动直线以及与所述运动直线满足第二匹配条件的参考运动直线进行聚合，确定目标运动直线族。
5.根据权利要求4所述的方法，其特征在于，所述第二匹配条件，包括：所述参考运动直线和所述运动直线之间的第二颜色差值满足第二预设条件，且所述参考运动直线和所述运动直线之间的距离值满足第三预设条件。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧图像之前的参考帧图像，确定所述目标帧图像中的至少两条运动直线，包括：
对所述目标帧图像的每行像素进行跳变点检测，以确定所述目标帧图像中的多个跳变点；
将所述目标帧图像中垂直方向上的多个跳变点连接成线，以确定所述目标帧图像中的至少两条候选直线；
当所述目标帧图像中的所述候选直线和其对应在所述目标帧图像之前的参考帧图像的相同位置的像素值差值满足第四预设条件时，将所述候选直线确定为运动直线。
7.根据权利要求1所述的方法，其特征在于，所述根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态，包括：
当任意两个所述目标运动直线族的运动方向相背时，判断所述目标帧图像中的电梯门开门；
当任意两个所述目标运动直线族的运动方向相向时，判断所述目标帧图像中的电梯门关门。
8.根据权利要求1所述的方法，其特征在于，还包括：
从各个所述目标运动直线族，确定出区域判定的两个目标运动直线族，所述区域判定的两个目标运动直线族的运动方向相反，所述区域判定的两个目标运动直线族的运动距离满足第五预设条件；
根据所述区域判定的两个目标运动直线族，确定所述目标帧图像中的电梯门区域。
9.根据权利要求1所述的方法，其特征在于，还包括：
当判断所述目标帧图像中的电梯门关门成功时，确定所述电梯门内的电梯空间内的乘梯人数。
10.一种电梯门开关检测装置，其特征在于，包括：
获取装置，用于获取电梯门的目标帧图像以及在所述目标帧图像的拍摄时刻之前的所述电梯门的最后运动过程对应的至少两个历史运动直线族，所述历史运动直线族指示了所述电梯门的一条边缘线的运动轨迹；
直线确定装置，用于根据所述目标帧图像之前的参考帧图像，确定所述目标帧图像中的至少两条运动直线；
匹配装置，用于根据各条所述运动直线和各个所述历史运动直线族的匹配结果，确定至少两个目标运动直线族，不同所述目标运动直线族的所述运动直线不同；
状态判断装置，用于根据各个所述目标运动直线族的运动方向，判断所述目标帧图像中的电梯门的开关状态。
11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述方法的步骤。
CN202011506411.XA 2020-12-18 2020-12-18 电梯门开关检测方法、装置、可读介质及电子设备 Active CN112598746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011506411.XA CN112598746B (zh) 2020-12-18 2020-12-18 电梯门开关检测方法、装置、可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011506411.XA CN112598746B (zh) 2020-12-18 2020-12-18 电梯门开关检测方法、装置、可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN112598746A true CN112598746A (zh) 2021-04-02
CN112598746B CN112598746B (zh) 2022-03-11

Family

ID=75199440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011506411.XA Active CN112598746B (zh) 2020-12-18 2020-12-18 电梯门开关检测方法、装置、可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN112598746B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112255536A (zh) * 2020-09-21 2021-01-22 山东产研鲲云人工智能研究院有限公司 开关故障的检测方法、装置、电子设备及存储介质
CN113327245A (zh) * 2021-06-28 2021-08-31 中铁第四勘察设计院集团有限公司 一种基于图像识别的隧道防护门状态检测方法
CN115063362A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 配电箱门检测方法、系统、电子设备、介质和程序产品
CN115258865A (zh) * 2022-08-08 2022-11-01 成都鹏业软件股份有限公司 电梯门的识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204659A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于光流的电梯开关门检测方法
CN106986248A (zh) * 2017-05-23 2017-07-28 四川长虹电器股份有限公司 基于摄像图像的电梯开关门检测方法
CN108584586A (zh) * 2017-11-21 2018-09-28 江苏鸿山鸿锦物联技术有限公司 一种基于视频图像的电梯门状态直线检测方法
CN110852253A (zh) * 2019-11-08 2020-02-28 杭州宇泛智能科技有限公司 梯控场景检测方法、装置及电子设备
US20200095090A1 (en) * 2018-09-26 2020-03-26 Otis Elevator Company System and method for detecting passengers movement, elevator-calling control method, readable storage medium and elevator system
CN111861979A (zh) * 2020-05-29 2020-10-30 合肥联宝信息技术有限公司 一种定位方法、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204659A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于光流的电梯开关门检测方法
CN106986248A (zh) * 2017-05-23 2017-07-28 四川长虹电器股份有限公司 基于摄像图像的电梯开关门检测方法
CN108584586A (zh) * 2017-11-21 2018-09-28 江苏鸿山鸿锦物联技术有限公司 一种基于视频图像的电梯门状态直线检测方法
US20200095090A1 (en) * 2018-09-26 2020-03-26 Otis Elevator Company System and method for detecting passengers movement, elevator-calling control method, readable storage medium and elevator system
CN110852253A (zh) * 2019-11-08 2020-02-28 杭州宇泛智能科技有限公司 梯控场景检测方法、装置及电子设备
CN111861979A (zh) * 2020-05-29 2020-10-30 合肥联宝信息技术有限公司 一种定位方法、设备及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112255536A (zh) * 2020-09-21 2021-01-22 山东产研鲲云人工智能研究院有限公司 开关故障的检测方法、装置、电子设备及存储介质
CN112255536B (zh) * 2020-09-21 2023-05-26 山东产研鲲云人工智能研究院有限公司 开关故障的检测方法、装置、电子设备及存储介质
CN113327245A (zh) * 2021-06-28 2021-08-31 中铁第四勘察设计院集团有限公司 一种基于图像识别的隧道防护门状态检测方法
CN113327245B (zh) * 2021-06-28 2022-04-29 中铁第四勘察设计院集团有限公司 一种基于图像识别的隧道防护门状态检测方法
CN115063362A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 配电箱门检测方法、系统、电子设备、介质和程序产品
CN115258865A (zh) * 2022-08-08 2022-11-01 成都鹏业软件股份有限公司 电梯门的识别方法及装置

Also Published As

Publication number Publication date
CN112598746B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN112598746B (zh) 电梯门开关检测方法、装置、可读介质及电子设备
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
JP6904346B2 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
WO2021017291A1 (zh) 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
US8134596B2 (en) Classifying an object in a video frame
KR100568237B1 (ko) 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법
US7224735B2 (en) Adaptive background image updating
TWI382762B (zh) 移動物體的追蹤方法
US8041075B2 (en) Identifying spurious regions in a video frame
US9202126B2 (en) Object detection apparatus and control method thereof, and storage medium
JP7014161B2 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US20080285859A1 (en) Method and System for Processing Video Data
WO2014136623A1 (en) Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera
US20040047494A1 (en) Method of detecting a specific object in an image signal
US9031280B2 (en) Temporal-correlations-based mode connection
CN105404884A (zh) 图像分析方法
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
US20120257053A1 (en) Immortal background modes
WO1997016921A1 (en) Method and apparatus for generating a reference image from an image sequence
CN112087593B (zh) 视频配置的更新装置、方法以及电子设备
WO2020103464A1 (zh) 一种机房设备异常灯的识别方法以及识别系统
Duque et al. Moving object detection unaffected by cast shadows, highlights and ghosts
CN110930436B (zh) 一种目标跟踪方法及设备
CN112052726A (zh) 图像处理方法及装置
Wang et al. Tracking objects through occlusions using improved Kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant