CN112560650A - 一种电梯门标签提取及监控画面异常检测方法 - Google Patents

一种电梯门标签提取及监控画面异常检测方法 Download PDF

Info

Publication number
CN112560650A
CN112560650A CN202011449051.4A CN202011449051A CN112560650A CN 112560650 A CN112560650 A CN 112560650A CN 202011449051 A CN202011449051 A CN 202011449051A CN 112560650 A CN112560650 A CN 112560650A
Authority
CN
China
Prior art keywords
elevator
picture
door
area
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011449051.4A
Other languages
English (en)
Inventor
周强
丁蕾
胡紫音
施行
王超
蔡巍伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinzailing Technology Co ltd
Original Assignee
Zhejiang Xinzailing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinzailing Technology Co ltd filed Critical Zhejiang Xinzailing Technology Co ltd
Priority to CN202011449051.4A priority Critical patent/CN112560650A/zh
Publication of CN112560650A publication Critical patent/CN112560650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种电梯门标签提取及监控画面异常检测方法,包括:采集门区域的视频图像,获取电梯的运行速度数据,门区域包含一个标签或具有明显特征的类似标签;分析电梯运行速度出现有速度‑无速度‑有速度变化过程时,电梯门状态是否实现门关‑门开‑门关状态变化,并且在电梯有速度时电梯门处于门关状态,将不满足以上两个条件的电梯和发生异常对应时段的视频存储到服务器数据库中;当电梯发生异常的次数达到设定阈值时,将对该电梯存储的视频进行分析:判断视频中画面是否发生变化,如视频画面一直没有变化,则表明监控画面异常;如视频画面发生变化,则进一步对门区域的标签进行提取判断监控画面是否异常。本发明的方法检测准确性高。

Description

一种电梯门标签提取及监控画面异常检测方法
技术领域
本发明涉及电梯安全技术领域,尤其涉及一种电梯门标签提取及监控画面异常检测方法。
背景技术
现如今,电梯是一种非常普及的公共设施,广泛应用在商场、办公区、居民区等场景,给人们的日常生活带来了非常大的便捷,然而由于使用不正确、维保不及时等因素的影响,电梯偶尔会出现故障。门故障是电梯诸多故障中发生频率最高的故障,基于视频信息对门标签的实时跟踪,可以判断电梯的开关门是否发生故障。因此,能够有效地提取门标签信息,对于判断开关门是否异常是至关重要的一环。此外,电梯内的视频监控有时候会被遮挡或者监控方向不正常,导致监控画面异常,万一电梯发生困人、不文明行为等事件,不能被及时营救或制止,因此能够检测电梯监控画面异常对于电梯安全也非常重要。
现有技术中,例如中国专利CN10589648A公开了一种基于深度学习的直梯们标签检测方法,该方法采集待检测电梯的实时图像,然后分析电梯是否处于门关状态,门关则截取门关时的电梯图像,再通过深度学习的方法进行门标签检测,检测出门标签。然而该方法存在以下缺陷:1、深度学习检测可能会检测到门框上的标签,但是方案中不能滤除此类误检,而门框上的标签无法用于开关门的判断。2、深度学习方法在遇到部分没有贴先验标签图像或没有标签时,无法有效检测到标签,进而无法判断开关门信息。
而对于监控画面的异常检测,中国专利CN111898486A公开一种监控画面异常的检测方法、装置及存储介质。检测方法包括获取监控设备拍摄的当前帧图像和用于对所属监控设备的监控图像进行异常检测的背景帧图像,根据所述背景帧图像之间的纹理差异和配对特征点的位置距离对所属监控设备的监控画面进行异常检测,得到画面异常检测结果。然而该方法存在以下缺陷:1、该方法仅通过背景帧和当前帧的差异进行异常检测,当真实的场景中背景发生变化时,此方法会误判为监控画面异常,而实际上只是图像内容发生变化,而不是真正的监控画面异常。2、该方法在监控相机发生方向变化时也很难给出监控是否发生异常,因为监控方向发生少许变化并不代表监控画面异常。
发明内容
本发明的目的在于解决上述问题,提供一种电梯门标签提取及监控画面异常检测方法。
为实现本发明的目的,本发明提供一种电梯门标签提取及监控画面异常检测方法,包括:
S1、通过电梯内的摄像机采集门区域的视频图像,并通过电梯车厢顶部的速度传感器获取电梯的运行速度数据,所述门区域包含一个标签或具有明显特征的类似标签;
S2、将采集的视频图像和电梯运行速度数据传输至后端服务器,在服务器端对采集的视频图像和电梯运行数据进行分析;
S3、分析电梯运行速度出现有速度-无速度-有速度变化过程时,电梯门状态是否实现门关-门开-门关状态变化,并且在电梯有速度时电梯门处于门关状态,将不满足以上两个条件的电梯和发生异常对应时段的视频存储到服务器数据库中;
S4、分析服务器数据库中的数据,当电梯发生异常的次数达到设定阈值时,将对该电梯存储的视频进行分析:
S41、判断视频中画面是否发生变化,如视频画面一直没有变化,则表明监控画面异常;
S42、如视频画面发生变化,则进一步对门区域的标签进行提取判断监控画面是否异常。
根据本发明的一个方面,所述步骤S42包括:
S421、视频画面发生变化,根据两帧图像提取出门区域的标签区域;
S422、对提取出的门区域的标签区域进行目标跟踪,判断跟踪轨迹是否为一条折返的直线轨迹。
根据本发明的一个方面,所述步骤S421包括:
根据画面变化率获取两帧图像,并在画面变化区域内提取特征点,再对特征点进行特征点匹配;
筛选匹配特征点对,筛选条件为:特征点坐标只有水平移动,并且移动距离相同;
对筛选之后的特征点对进行聚类操作,得到门区域上集中的特征点,对所述点对求最小外接矩形,即可作为电梯门区域标签。
根据本发明的一个方面,所述步骤S422包括:
若判断跟踪轨迹为一条折返的直线轨迹,表明提取的标签区域为有效标签区域,表示虽然画面发生变化,但不存在画面异常情况;
若判断跟踪轨迹不能形成一条折返的直线轨迹,重复多次步骤S421后跟踪轨迹仍不能形成一条折返直线轨迹,表明提取的标签区域无效,即监控画面发生异常。
根据本发明的一个方面,所述方法还包括:
若在步骤S422中,判断提取的标签区域为有效标签区域,则通过服务器将所述标签区域作为新标签区域下发前端设备。
根据本发明的一个方面,若在步骤S422中表明提取的标签区域无效,则发出告警信息,申请人工介入处理。
根据本发明的一个方面,所述步骤S4中判断视频中画面是否发生变化包括:获取图像数据,以第一帧图像作为背景图像,与对后续帧图像进行对比分析,统计两帧图像相同坐标处的灰度值差异超过阈值的像素数量,当差异像素总数占图像像素总数的比值超过阈值,判定图像画面发生变化。
本发明的电梯门标签提取及监控画面异常检测方法,通过连续的视频分析和电梯上下运行速度传感器数据,分析电梯门开关的信息,同时提取门标签和判断监控画面是否发生异常,本发明的方法通过门移动来提取标签区域,因此不会提取到处于门框上的标签;对于没有贴标签的电梯,本方案也可以提取到门上有纹理特征的区域作为标签;通过监控画面中是否发生开关门事件,可以有效判断监控画面是否异常,而不会受光照变化、部分遮挡和监控方向偏移影响画面异常的判断。
附图说明
图1示意性表示利用本发明的电梯门标签提取及画面异常检测方法的系统结构图;
图2示意性表示采集电梯视频图像示图;
图3示意性表示判断画面是否发生变化的流程示图;
图4示意性表示筛选特征点对的示图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述,实施方式不能在此一一赘述,但本发明的实施方式并不因此限定于以下实施方式。
本发明的提供一种电梯门标签提取及监控画面异常检测方法,包括:S1、通过电梯内的摄像机采集门区域的视频图像,并通过电梯车厢顶部的速度传感器获取电梯的运行速度数据,所述门区域包含一个标签或具有明显特征的类似标签;S2、将采集的视频图像和电梯运行速度数据传输至后端服务器,在服务器端对采集的视频图像和电梯运行数据进行分析;S3、分析电梯运行速度出现有速度-无速度-有速度变化过程时,电梯门状态是否实现门关-门开-门关状态变化,并且在电梯有速度时电梯门处于门关状态,将不满足以上两个条件的电梯和发生异常对应时段的视频存储到服务器数据库中;S4、分析服务器数据库中的数据,当电梯发生异常的次数达到设定阈值时,将对该电梯存储的视频进行分析:S41、判断视频中画面是否发生变化,如视频画面一直没有变化,则表明监控画面异常;S42、如视频画面发生变化,则进一步对门区域的标签进行提取判断监控画面是否异常。
具体来说,结合图1和图2所示,在步骤S1中,可以通过摄像机采集包含电梯门区域视频图像,并在电梯轿厢顶部安装速度传感器,获取电梯运行速度数据。然后将采集的视频图像和电梯运行速度数据传输至后端服务器,在服务器端对采集的视频图像和电梯运行数据进行分析,分析过程如下:分析电梯运行速度出现有速度-无速度-有速度变化过程时,电梯门状态是否实现门关-门开-门光状态变化,并且在电梯有速度时电梯门处于门关状态,将不满足以上两个条件的电梯和发生异常对应时段的视频存储到服务器数据库中。然后分析服务器数据库中的数据,当电梯发生异常的次数达到设定阈值时,例如再次发生异常时,将对该电梯存储的视频(对应有速度-无速度-有速度变化过程的视频)进行分析。
数据库中的存储视频分析包括:S41、判断视频中画面是否发生变化,如视频画面一直没有变化,则表明监控画面异常;S42、如视频画面发生变化,则进一步对门区域的标签进行提取判断监控画面是否异常。
具体来说,首先判断视频中画面是否发生变化,具体方法如图3所示,获取图像数据,以第一帧图像作为背景图像,与对后续帧图像进行对比分析,统计两帧图像相同坐标处的灰度值差异超过阈值的像素数量,当差异像素总数占图像像素总数的比值超过阈值,判定图像画面发生变化。
若在步骤S41中,判定视频画面一直没有变化,则表明监控画面异常。因为视频对应的时间内电梯有运行速度变化,正常情况应该有开、关门,视频画面会发生变化,因此可以得出监控画面已经异常的结论。
若判定视频中画面发生了变化,则步骤S42还包括:S421、视频画面发生变化,根据两帧图像提取出门区域的标签区域;S422、对提取出的门区域的标签区域进行目标跟踪,判断跟踪轨迹是否为一条折返的直线轨迹。
具体来说,步骤S421包括:在画面变化区域内提取特征点,根据画面变化率获取两帧图像进行特征匹配;筛选匹配特征点对,筛选条件为:特点坐标只有水平移动,并且移动距离相同;对筛选之后的特征点对进行聚类操作,得到门区域上集中的特征点,对所述点对求最小外接矩形,即可作为电梯门区域标签。
如图4所示,本步骤S421的原理为,处于门上的点由于开门,会发生水平方向的移动,并且每个点移动的距离相同。而不在门上的点则不会发生位置移动,通过筛选出水平移动距离相同的带你,再通过聚类的方法,提取比较密集的区域的外接矩形,即为门区域的标签区域。
本发明的方法,步骤S422包括:若判断跟踪轨迹为一条折返的直线轨迹(由于截取的视频存在开、关门事件,通过跟踪可以形成一条折返的直线轨迹),表明提取的标签区域为有效标签区域,表示虽然画面发生变化,但不存在画面异常情况;若判断跟踪轨迹不能形成一条折返的直线轨迹,重复多次步骤S421后跟踪轨迹仍不能形成一条折返直线轨迹,表明提取的标签区域无效,即监控画面发生异常。
本发明的方法还包括经过上述步骤的分析,还包括:若在步骤S422中,判断提取的标签区域为有效标签区域,则通过服务器将所述标签区域作为新标签区域下发前端设备。若在步骤S422中表明提取的标签区域无效,则发出告警信息,申请人工介入处理。
本发明的电梯门标签提取及监控画面异常检测方法,通过连续的视频分析和电梯上下运行速度传感器数据,分析电梯门开关的信息,同时提取门标签和判断监控画面是否发生异常,本发明的方法通过门移动来提取标签区域,因此不会提取到处于门框上的标签;对于没有贴标签的电梯,本方案也可以提取到门上有纹理特征的区域作为标签;通过监控画面中是否发生开关门事件,可以有效判断监控画面是否异常,而不会受光照变化、部分遮挡和监控方向偏移影响画面异常的判断。
以上所述仅为本发明的一个实施方式而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种电梯门标签提取及监控画面异常检测方法,包括:
S1、通过电梯内的摄像机采集门区域的视频图像,并通过电梯车厢顶部的速度传感器获取电梯的运行速度数据,所述门区域包含一个标签或具有明显特征的类似标签;
S2、将采集的视频图像和电梯运行速度数据传输至后端服务器,在服务器端对采集的视频图像和电梯运行数据进行分析;
S3、分析电梯运行速度出现有速度-无速度-有速度变化过程时,电梯门状态是否实现门关-门开-门关状态变化,并且在电梯有速度时电梯门处于门关状态,将不满足以上两个条件的电梯和发生异常对应时段的视频存储到服务器数据库中;
S4、分析服务器数据库中的数据,当电梯发生异常的次数达到设定阈值时,将对该电梯存储的视频进行分析:
S41、判断视频中画面是否发生变化,如视频画面一直没有变化,则表明监控画面异常;
S42、如视频画面发生变化,则进一步对门区域的标签进行提取判断监控画面是否异常。
2.根据权利要求1所述的电梯门标签提取及监控画面异常检测方法,其特征在于,所述步骤S42包括:
S421、视频画面发生变化,根据两帧图像提取出门区域的标签区域;
S422、对提取出的门区域的标签区域进行目标跟踪,判断跟踪轨迹是否为一条折返的直线轨迹。
3.根据权利要求2所述的电梯门标签提取及监控画面异常检测方法,其特征在于,所述步骤S421包括:
根据画面变化率获取两帧图像,并在画面变化区域内提取特征点,再对特征点进行特征点匹配;
筛选匹配特征点对,筛选条件为:特征点坐标只有水平移动,并且移动距离相同;
对筛选之后的特征点对进行聚类操作,得到门区域上集中的特征点,对所述点对求最小外接矩形,即可作为电梯门区域标签。
4.根据权利要求3所述的电梯门标签提取及监控画面异常检测方法,其特征在于,所述步骤S422包括:
若判断跟踪轨迹为一条折返的直线轨迹,表明提取的标签区域为有效标签区域,表示虽然画面发生变化,但不存在画面异常情况;
若判断跟踪轨迹不能形成一条折返的直线轨迹,重复多次步骤S421后跟踪轨迹仍不能形成一条折返直线轨迹,表明提取的标签区域无效,即监控画面发生异常。
5.根据权利要求4所述的电梯门标签提取及画面异常检测方法,其特征在于,所述方法还包括:
若在步骤S422中,判断提取的标签区域为有效标签区域,则通过服务器将所述标签区域作为新标签区域下发前端设备。
6.根据权利要求4所述的电梯门标签提取及画面异常检测方法,其特征在于,若在步骤S422中表明提取的标签区域无效,则发出告警信息,申请人工介入处理。
7.根据权利要求1所述电梯门标签提取及画面异常检测方法,其特征在于,所述步骤S4中判断视频中画面是否发生变化包括:
获取图像数据,以第一帧图像作为背景图像,与对后续帧图像进行对比分析,统计两帧图像相同坐标处的灰度值差异超过阈值的像素数量,当差异像素总数占图像像素总数的比值超过阈值,判定图像画面发生变化。
CN202011449051.4A 2020-12-09 2020-12-09 一种电梯门标签提取及监控画面异常检测方法 Pending CN112560650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011449051.4A CN112560650A (zh) 2020-12-09 2020-12-09 一种电梯门标签提取及监控画面异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011449051.4A CN112560650A (zh) 2020-12-09 2020-12-09 一种电梯门标签提取及监控画面异常检测方法

Publications (1)

Publication Number Publication Date
CN112560650A true CN112560650A (zh) 2021-03-26

Family

ID=75061588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011449051.4A Pending CN112560650A (zh) 2020-12-09 2020-12-09 一种电梯门标签提取及监控画面异常检测方法

Country Status (1)

Country Link
CN (1) CN112560650A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298937A (zh) * 2021-06-02 2021-08-24 广州广日电梯工业有限公司 电梯门系统的监控方法以及电梯门系统的监控装置
CN114157873A (zh) * 2021-11-25 2022-03-08 中国通信建设第四工程局有限公司 一种视频压缩方法及视频压缩系统
CN114229642A (zh) * 2021-12-20 2022-03-25 苏州汇川控制技术有限公司 电梯故障检测方法、设备、系统和介质
CN116071885A (zh) * 2023-04-04 2023-05-05 四川三思德科技有限公司 一种电梯用防干扰烟雾感应报警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044436A (zh) * 2016-07-31 2016-10-26 重庆峰创科技有限公司 一种基于物联网与云计算的电梯智能监控系统
CN110127479A (zh) * 2019-04-17 2019-08-16 浙江工业大学 一种基于视频分析的电梯门开关异常检测方法
CN110171755A (zh) * 2019-04-30 2019-08-27 广东寰宇电子科技股份有限公司 一种电梯轿厢状态检测的方法及系统
CN111680621A (zh) * 2020-06-05 2020-09-18 浙江新再灵科技股份有限公司 一种基于视频图像的电梯门状态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044436A (zh) * 2016-07-31 2016-10-26 重庆峰创科技有限公司 一种基于物联网与云计算的电梯智能监控系统
CN110127479A (zh) * 2019-04-17 2019-08-16 浙江工业大学 一种基于视频分析的电梯门开关异常检测方法
CN110171755A (zh) * 2019-04-30 2019-08-27 广东寰宇电子科技股份有限公司 一种电梯轿厢状态检测的方法及系统
CN111680621A (zh) * 2020-06-05 2020-09-18 浙江新再灵科技股份有限公司 一种基于视频图像的电梯门状态检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298937A (zh) * 2021-06-02 2021-08-24 广州广日电梯工业有限公司 电梯门系统的监控方法以及电梯门系统的监控装置
CN114157873A (zh) * 2021-11-25 2022-03-08 中国通信建设第四工程局有限公司 一种视频压缩方法及视频压缩系统
CN114229642A (zh) * 2021-12-20 2022-03-25 苏州汇川控制技术有限公司 电梯故障检测方法、设备、系统和介质
CN114229642B (zh) * 2021-12-20 2023-11-21 苏州汇川控制技术有限公司 电梯故障检测方法、设备、系统和介质
CN116071885A (zh) * 2023-04-04 2023-05-05 四川三思德科技有限公司 一种电梯用防干扰烟雾感应报警方法及系统

Similar Documents

Publication Publication Date Title
CN112560650A (zh) 一种电梯门标签提取及监控画面异常检测方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
US7646401B2 (en) Video-based passback event detection
CN110002302B (zh) 一种基于深度学习的电梯开关门检测系统与方法
EP1811457A1 (en) Video signal analysis
CN109867186B (zh) 一种基于智能视频分析技术的电梯困人检测方法及系统
Velastin et al. A motion-based image processing system for detecting potentially dangerous situations in underground railway stations
CN109409315B (zh) 一种atm机面板区域遗留物检测方法及系统
CN110589647A (zh) 一种通过监控对电梯门进行实时故障检测及预测的方法
CN116030420B (zh) 多源数据融合的电梯安全运行监测方法
CN115527158A (zh) 一种基于视频监控的人员异常行为检测方法及装置
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
CN112866654A (zh) 一种智能视频监控系统
CN117197713A (zh) 一种基于数字视频监控系统的提取方法
KR20180081645A (ko) 지하철 스크린도어에서 안전 이상을 실시간으로 검출하기 위한 임베디드 비전시스템 및 그 방법
CN110633681A (zh) 一种基于视频的离床检测方法
CN109583396A (zh) 一种基于cnn两阶段人体检测的区域防范方法、系统以及终端
CN113247720A (zh) 基于视频的智能梯控方法及系统
CN112528791A (zh) 一种铁路站场防入侵系统及方法
Sun et al. A real-time video surveillance and state detection approach for elevator cabs
Mantini et al. A signal detection theory approach for camera tamper detection
Hsieh et al. A simple and fast surveillance system for human tracking and behavior analysis
WO2012148258A1 (en) Abrupt object movement detection system and method thereof
CN112465860A (zh) 一种用于门的运行状态检查方法及检查设备
Desurmont et al. Performance evaluation of frequent events detection systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326