CN113602927B - 一种电梯开关门检测方法 - Google Patents
一种电梯开关门检测方法 Download PDFInfo
- Publication number
- CN113602927B CN113602927B CN202110874687.1A CN202110874687A CN113602927B CN 113602927 B CN113602927 B CN 113602927B CN 202110874687 A CN202110874687 A CN 202110874687A CN 113602927 B CN113602927 B CN 113602927B
- Authority
- CN
- China
- Prior art keywords
- door
- elevator door
- image
- elevator
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种电梯开关门检测方法,包括:S1.采集电梯门区域的图像数据;S2.在电梯门区域中确定门状态校验区域,并从所述电梯门区域的图像数据中提取所述门状态校验区域的图像特征;S3.基于所述图像特征判断电梯门是否为关闭状态,若否,则输出所述电梯门为门开状态,并执行步骤S4;S4.持续采集所述图像数据并判断所述电梯门的位置状态;其中,所述位置状态包括:开门中、开门到位和关门中。本发明的方法融合图像匹配和图像帧差方法进行电梯开关门检测,能够快速、稳定、准确的进行电梯门状态和门异常的检测,并且使用电梯中现有的监控相机,无新增硬件且安装实施成本低。
Description
技术领域
本发明涉及电梯领域,尤其涉及一种电梯开关门检测方法。
背景技术
电梯是一种非常普及的公共设施,广泛应用在商场、办公区、居民区等场景,给人们的日常生活带来了非常大的便捷,然而由于使用不正确、维保不及时等因素的影响,电梯偶尔会出现故障。其中,门故障是电梯诸多故障中发生频率最高的故障。门故障的种类也比较多,其在运行过程中突然开门可能导致乘客跌落事件发生,不能正常开门又可能导致困人事件发生,因此准确且实时的检测电梯门开关程度是进行电梯乘客乘梯安全检测的一个非常关键的环节。
针对经常出现的门故障问题,现有技术中一般采用下列方式进行检测以实现预警的效果:①基于霍尔传感器的电梯门状态检测,但这种方式中霍尔传感器安装实施成本高;②基于视频图像的深度学习门状态检测,但这种方式中对处理器计算能力要求高,很难达到实时检测的要求;③基于图像光流,但这种方式中光流计算非常耗时,也很难满足实时性要求;④基于图像边缘检测,但这种方式运行不稳定,尤其是电梯门颜色和梯外接近时无法确定门边缘。
例如,中国专利CN 106986248 A基于摄像图像的电梯开关门检测方法公开了一种电梯装置中电梯门开合的检测方法,该方法包括加速度传感器和图像分析处理系统,图像分析处理系统内部包括有图像滤波模块、边缘检测模块、二值化处理模块、直线检测模块、有效直线提取模块和逻辑分析处理模块。该发明通过检测电梯门边界信息进行电梯门开关检测。但其提取门直线边界方法易受外界干扰,从而影响门状态检测的准确性和稳定性,影响因素主要有环境光照影响、梯外背景信息和乘客对电梯门边缘遮挡导致无法检测到完整直线;
中国专利CN 106204659 B基于光流的电梯开关门检测方法公开了一种基于光流的电梯开关门检测方法。本发明在视频的感兴趣区域计算光流信息,并在感兴趣区域分别提取向左运动和向右运动的光流信息均值,考虑到光照的影响,同时也提取了有效像素个数;把提取出来的光流信息和像素信息进行保存,同时还要统计数帧的光流信息,为了能避免光照的干扰导致个别帧的数据错误,通过对光流方向运动信息的分析,分别输出是开始开门、完全开门、开始关门和完全关门的有用信息。本发明充分考虑了场景实施的方便性,直接用电梯已经安装的相机采集的数据进行分析;无需对场景进行任何改变,同时考虑到人员遮挡的问题,只对电梯门的上部分进行分析,因此可以得到鲁棒的电梯开关门信息。但该方案需要人为划定光流检测区域,区域选择对结果影响大,因此实施较为复杂;而且,计算光流运算量较大,在性能较差的前端监控设备中很难部署;同时光流受光照和图像纹理影响较大,因此稳定性也差。
发明内容
本发明的目的在于提供一种电梯开关门检测方法。
为实现上述发明目的,本发明提供一种电梯开关门检测方法,包括:
S1.采集电梯门区域的图像数据;
S2.在电梯门区域中确定门状态校验区域,并从所述电梯门区域的图像数据中提取所述门状态校验区域的图像特征;
S3.基于所述图像特征判断电梯门是否为关闭状态,若否,则输出所述电梯门为门开状态,并执行步骤S4;
S4.持续采集所述图像数据并判断所述电梯门的位置状态;其中,所述位置状态包括:开门中、开门到位和关门中。
根据本发明的一个方面,步骤S4中,持续采集所述图像数据并判断所述电梯门的位置状态的步骤中,包括:
S41.获取所述电梯门在开关过程中的有效像素mask模板,并确定所述有效像素mask模板与所述电梯门两个边缘相对应的两个感兴趣区域;
S42.基于获取的所述图像数据统计其有效像素数,并计算所述有效像素数与所述有效像素mask模板中有效像素数的比值获得所述电梯门的开门程度P,若P大于预设阈值则判断所述电梯门开门到位,若否,则所述电梯门为开门中;
S43.若所述电梯门开门到位则基于两个所述感兴趣区域提取所述图像数据中两个电梯门边缘的开门到位hash特征;
S44.对后续获取的所述图像数据中与所述感兴趣区域相对应的位置提取两个第一hash特征,并将两个第一hash特征与两个所述开门到位hash特征分别进行相似度比较,若获得的所述相似度均低于阈值,则判断所述电梯门为关门中,否则所述电梯门维持在开门到位。
根据本发明的一个方面,步骤S41中,获取所述电梯门在开关过程中的有效像素mask模板的步骤中,包括:
S411.获取所述电梯门一次开门过程的多张所述图像数据;
S412.按照时序计算相邻两张所述图像数据之间的帧差并进行二值化处理获得多张帧差二值化图,并将所述帧差二值化图融合形成一张融合图;
S413.按照预设值重复执行步骤S411至S412,获得多张所述融合图,并将所有所述融合图进行累加获得累积图;
S414.基于所述累积图获得所述有效像素mask模板。
根据本发明的一个方面,步骤S412中,按照时序计算相邻两张所述图像数据之间的帧差并进行二值化处理获得多张帧差二值化图的步骤中,将灰度变化大于阈值的像素点标注为有效像素点;
步骤S412中,将所述帧差二值化图融合形成一张融合图的步骤中,将各所述帧差二值化图中的所述有效像素点在所述融合图上进行标注,并计算所述有效像素点的变化率;其中,变化率为所有所述有效像素点与所述融合图中所有像素点的比值。
根据本发明的一个方面,步骤S412中,形成所述融合图的过程中,若连续融合多张所述帧差二值化图时的所述变化率的标准差小于预设值,则完成所述帧差二值化图的融合。
根据本发明的一个方面,步骤S413中,按照预设值重复执行步骤S411至S412,获得多张所述融合图,并将所有所述融合图进行累加获得累积图的步骤中,每累加一张所述融合图,则在所述累积图上与所述融合图中所述有效像素点相对应的位置的累积值加1。
根据本发明的一个方面,步骤S414中,基于所述累积图获得所述有效像素mask模板的步骤中,包括:
S4141.计算所述累积图上每个位置的所述累积值与累加的所述融合图的数量的比值;
S4142.将所述比值与阈值比较,若所述比值超过所述阈值,则获取相应的所述有效像素构建所述有效像素mask模板。
根据本发明的一个方面,步骤S42中,基于获取的所述图像数据统计其有效像素数,并计算所述有效像素数与所述有效像素mask模板中有效像素数的比值获得所述电梯门的开门程度P的步骤中,基于所述图像数据获取所述电梯门在当前位置的融合图,统计所述融合图中的有效像素数,并计算与所述有效像素mask模板中有效像素数的比值,获得所述开门程度P。
根据本发明的一个方面,步骤S3中,基于所述图像特征判断电梯门是否为关闭状态的步骤中,包括:
S31.将所述图像特征与预定的门关状态特征集合中的特征对比;其中,所述门关状态特征集合的生成步骤包括:
从固定时间间隔内采集的所述图像数据中分别提取所述图像特征,从提取的全部图像特征中选出关门状态的图像特征,再从选出的关门状态的图像特征中离散地选取图像特征构成所述门关状态特征集合;
选出关门状态的图像特征的步骤中,首先使提取的全部图像特征构成特征序列,对所述特征序列进行聚类分析并获得聚类;
选出包含图像特征的数量高于数量设定阈值的聚类作为有效聚类,其余为无效聚类,
所述有效聚类中的图像特征即为关门状态的图像特征;
S32.当所述图像特征与所述门关状态特征集合中的一个特征匹配时,判定电梯门为关闭状态,否则判定所述电梯门为门开状态;其中,将所述图像特征与所述门关状态特征集合中的特征进行相似度计算,若二者相似度高于相似度设定阈值则判断为匹配。
根据本发明的一个方面,所述步骤S2中的图像特征的提取步骤包括:
获取所述图像数据上位于所述门状态校验区域处的区域图像数据,将所述区域图像数据划分为数据块;
将每个所述数据块划分为子数据块,计算各个子数据块的亮度均值;
以一个所述数据块中的一个所述子数据块的亮度均值为该数据块的亮度阈值,对所述数据块中的其余子数据块的亮度均值进行阈值化处理,将其余所述子数据块的阈值化处理结果分别表示为对应的二进制数,将所得各个二进制数串联形成编码;
将所述区域图像数据中的各个所述数据块的编码串联,构成所述图像特征。
根据本发明的一个方面,所述阈值化处理的步骤中,若其余所述子数据块的亮度均值大于阈值时,则该其余子数据块的亮度均值表示为1,否则表示为0。
根据本发明的一种方案,本发明的方法融合图像匹配和图像帧差方法进行电梯开关门检测,能够快速、稳定、准确的进行电梯门状态和门异常的检测,并且使用电梯中现有的监控相机,无新增硬件且安装实施成本低。
根据本发明的一种方案,通过获取采用有效点构成的mask,可以通过与与融合图进行有效点的比对即可准确的获取电梯门的开关程度,极大的提高了本方案的检测精度。
根据本发明的一种方案,门关状态特征集合中的各个图像特征几乎涵盖了电梯轿厢内所有可能的亮度下的门关状态模式。因此在将当前帧的图像特征与该集合进行比对时,可以不受电梯亮度的影响,从而保证检测准确。
根据本发明的一个方案,在实时检测中,利用相似度计算的方法判断当前帧图像特征是否与集合中的特征匹配,相似度设定阈值在80-90%之间,这一区间能够保证较高的检测精度。
根据本发明的一个方案,将区域图像数据先后进行数据块和子数据块的划分,再分别求得每个子数据块的亮度均值。随后在同一数据块中,以其中一个子数据块的亮度均值为阈值,将其余子数据块进行阈值化处理,均形成二进制数。再将这些子数据块的二进制数串联形成二进制编码,最后将区域图像数据中的二进制编码串联形成图像特征。如此,图像特征为一串代码使得电梯门开关状态判断结果更加准确。
根据本发明的一个方案,利用视觉传感器采集图像数据,再由相应的检测单元提取其中的图像特征,再按照本发明的构思将该特征与集合进行对比,即可得出当前状态电梯门的开关状态。如此,所需设备结构较为简单,且可实时而稳定的进行检测。
附图说明
图1示意性表示根据本发明的一种实施方式的电梯开关门检测方法的步骤框图;
图2是用于实施根据本发明的一种实施方式的电梯门开关状态检测方法的系统结构图;
图3是根据本发明的一种实施方式的电梯门开关状态检测方法中采集的图像数据示意图;
图4是根据本发明的一种实施方式的电梯门开关状态检测方法中设置的门状态校验区域示意图;
图5是根据本发明的一种实施方式的电梯门开关状态检测方法中划分数据块的示意图;
图6是根据本发明的一种实施方式的电梯门开关状态检测方法中划分子数据块的示意图;
图7是根据本发明的一种实施方式的电梯门开关状态检测方法中阈值化处理及第一次编码的示意图;
图8是根据本发明的一种实施方式的电梯门开关状态检测方法中所提取的图像特征示意图;
图9是根据本发明的一种实施方式的电梯门开关状态检测方法中聚类分析后所获得的聚类示意图;
图10是根据本发明的一种实施方式的电梯门开关状态检测方法中有效聚类和无效聚类的区分示意图;
图11是根据本发明的一种实施方式的电梯门开关状态检测方法中选取有效聚类中的图像特征作为门关状态特征集合的示意图;
图12是根据本发明的一种实施方式的电梯门开关状态检测方法中有效区域和mask提取流程图;
图13是根据本发明的一种实施方式的电梯门开关状态检测方法中融合图生成过程;
图14是根据本发明的一种实施方式的电梯门开关状态检测方法中累积图的局部截图;
图15是根据本发明的一种实施方式的电梯门开关状态检测方法中生成的有效mask和ROI区域示意图;
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
如图1所示,根据本发明的一种实施方式,本发明的一种电梯开关门检测方法,包括:
S1.采集电梯门区域的图像数据;
S2.在电梯门区域中确定门状态校验区域,并从电梯门区域的图像数据中提取门状态校验区域的图像特征;
S3.基于图像特征判断电梯门是否为关闭状态,若否,则输出电梯门为门开状态,并执行步骤S4;
S4.持续采集图像数据并判断电梯门的位置状态;其中,位置状态包括:开门中、开门到位和关门中。
如图2所示,根据本发明的一种实施方式,本发明的电梯门开关状态检测方法中,整体包括采集图像数据和对图像数据进行检测分析的步骤。可参见图2,实现本发明的方法需要摄像机1和电梯门开关状态检测单元2。其中,普通监控相机、工业相机等拍摄装置均可作为摄像机1。如图2所示,摄像机1安装在电梯轿厢内,其拍摄区域应尽可能的覆盖电梯门区域,从而能够准确的采集到电梯门区域的图像数据。而电梯门开关状态检测单元2则用于对摄像机1采集的图像数据进行分析与处理,并及时输出电梯门的门状态。
根据本发明的一种实施方式,步骤S2中的图像特征的提取步骤包括:
获取图像数据上位于门状态校验区域处的区域图像数据,将区域图像数据划分为数据块;
将每个数据块划分为子数据块,计算各个子数据块的亮度均值;
以一个数据块中的一个子数据块的亮度均值为该数据块的亮度阈值,对数据块中的其余子数据块的亮度均值进行阈值化处理,将其余子数据块的阈值化处理结果分别表示为对应的二进制数,将所得各个二进制数串联形成编码;
将区域图像数据中的各个数据块的编码串联,构成图像特征。
在本实施方式中,阈值化处理的步骤中,若其余子数据块的亮度均值大于阈值时,则该其余子数据块的亮度均值表示为1,否则表示为0。
如图3所示,摄像机1采得的图像数据如图3所示,图中以A表示图像数据,随后则提取该图像数据中的图像特征。由于图像数据的区域覆盖了整个电梯门,而若对其整体进行分析所涉及的像素较多。因此参见图4,本发明中,通过用户界面的方式手动预先设置了一个门状态校验区域B,该步骤中提取的图像特征即为图像数据上位于门状态校验区域B位置的图像特征。在设置门状态校验区域时,可以优先选择电梯门上具有表示作用的标志作为选取基础,例如警示标识或广告标志等,参见上述标识在图4中六边形中的两个方块。若所应用的电梯门上无此类标识,则可选取电梯门的适当位置作为设置门状态校验区域的基础。选取时应保证此位置的高度不会被人体所遮挡,且最好能够覆盖门缝。
随后要根据所设定的门状态校验区域信息单独获取该区域位置的图像数据,为区别于电梯门区域图像数据,本发明将该步骤的图像数据称为区域图像数据。上述门状态校验区域的设置目的之一也是为了便于此步骤中抠图工具(或软件/代码段)自动识别并扣取区域图像数据。而由于本发明中的门状态校验区域为在设备调试阶段预先由人工设定,因此后续的在电梯门区域中确定门状态校验区域的过程也可以理解为抠图工具每次自动识别该区域的过程。如图5所示,本实施方式中,选择矩形对门状态校验区域进行的数据块划分。在本实施方式中,区域图像数据被划分为4行4列的矩形数据块。当然具体的数据块划分方式可根据实际需求确定,而数据块的形状也可根据区域图像数据的获取区域形状进行调整。如图6所示,本实施方式在划分数据块的基础上还将每个数据块划分为了3行3列的子数据块。同样,子数据块的形状依照数据块的形状而定,其数量可根据所需的检测精度要求设置。由此,整个区域图像数据被划分为了16个数据块,而每个数据块中包含9个子数据块。子数据块划分完成后,求取每个子数据块中的图像亮度均值,如图6中左上角的数据块所示。
随后按照图7所示,将这些亮度均值进行阈值化处理,本发明中,阈值化处理的结果以二进制数表示。具体的,以中心子数据块的亮度均值为亮度阈值,使同一数据块中的其余子数据块一一与其比对,若数值大于阈值,则该子数据块位置被标记为1,否则标记为0。如此,如图7中间流程块所示,除阈值以外的亮度均值均被表示为二进制数。这样便于后续的编码步骤。在编码过程中,本实施方式将同一数据块中的二进制数从左上角开始,按照顺时针依次串联形成一串8位的二进制编码,如图7第三流程块所示。此编码为一个数据块中的编码,随后将整个区域图像数据中的所有数据块均按此法表示为编码,并对这些编码进行再次编码,形成一个如图8所示的128(即8*16)位的二进制编码,该编码即为本发明中的图像特征f,由于该编码位数较多,因此图8中省略部分编码段。图像特征编码的串连次序与单独数据块相同,也从左上角的数据块开始,按照顺时针依次将各个数据块的编码串联。上述提取图像特征的方式为本发明的优选方式,其中,在选择亮度均值的阈值时,同一数据块中的任意一个子数据块均可作为阈值,而两次编码的次序也可更换为逆时针或其他特定的顺序。
根据本发明的一种实施方式,步骤S3中,基于图像特征判断电梯门是否为关闭状态的步骤中,包括:
S31.将图像特征与预定的门关状态特征集合中的特征对比;在本实施方式中,按照前述步骤提取图像特征以后,将图像特征与门关状态特征集合中的特征作对比。门关状态特征集合可以理解为关门状态下的特征构成的集合。因此门关状态特征集合也可称为门关状态模式集合,而其中的特征可称为门关模式。本发明中,门关状态特征集合的生成步骤为,首先,按照上述步骤采集固定时间间隔内的图像数据,再分别提取这些图像数据中的图像特征并记录。由于这些图像特征中包含关门和开门两种状态,而门关状态特征集合作为对比基础需只包含关门状态的图像特征。因此下一步为从所有图像特征中选出关门状态的图像特征。为了使这些关门状态的图像特征涵盖所有可能出现的亮度模式,本发明将上述固定时间间隔设为一天(即24小时)。由此可知,上述所选出的图像特征数量较多,且相近的图像特征并无逐一比较的必要。因此本发明中,在上述选出的图像特征中继续选取若干图像特征,作为最终的门关状态特征集合。由本发明的上述实施方式可知,提取得到的图像特征为二进制编码,因此本实施方式区分关门与开门状态图像特征的方法为,使全部提取的图像特征f形成特征序列(f1,f2,…,fN)。该特征序列的长度即为固定时间间隔为所采集的图像数据总数(或视频总帧数)。随后对特征序列进行聚类分析获得聚类(c lus ter1,cluster2,…,clus terM),其中每个聚类c lus terK=(fc1,fc2,…,fcq)。本实施方式中,进行聚类分析的算法为DBSCAN算法,其中相似性度量为汉明距离。经过聚类分析所获得的聚类如图9所示。可以看出,这些聚类中的图像特征的数量各不相同。由于一天中电梯关门时刻较多,因此含有数据量多的聚类中的图像特征为门关状态的图像特征,即出现频次高的模式为门关状态模式,这类聚类为有效聚类C,其余聚类为无效聚类D,具体如图10所示,各聚类中的空心小圆即为图像特征。本实施方式区分有效聚类和无效聚类的方式为利用设定阈值的方法,本发明中数量设定阈值为全部图像特征的数量的5%,如此可保证选出的图像特征不会掺杂开门状态下的图像特征,且可避免误将原本为关门状态的图像特征排除在外。随后可在这些有效聚类中离散地选取若干个图像特征构成门关状态特征集合,选取时应保证均匀,具体如图11所示,图中的实心小圆即为所选出的图像特征。而上述离散选取的方式目的是为了保证选出的图像特征囊括了各个亮度下的关门状态,从而提高检测的准确度。其中,从每个有效聚类中选取图像特征的数量不超过10个,这样即可保证集合中的样本量满足检测需求。
S32.当图像特征与门关状态特征集合中的一个特征匹配时,判定电梯门为关闭状态,否则判定电梯门为门开状态;在本实施方式中,在使用本实施方式的方法的实际检测过程中,将当前时刻(或当前帧)检测并提取的图像特征与门关状态特征集合中的特征做对比。具体为将当前时刻采集的图像特征与集合中的特征做相似度计算,相似度度量可继续使用汉明距离,汉明距离越低则代表相似度越高。若当前帧特征与集合中任意一个特征的相似度高于相似度设定阈值则判断为匹配。若匹配,则意味着当前时刻的电梯门为关闭状态,否则为打开状态。其中,相似度设定阈值的设置应根据实际需求设定,以满足各个场所中的电梯使用需求。本发明中,相似度阈值在80-90%之间,这一区间能够保证较高的检测精度。由此可见,本发明将固定时间间隔内的门关状态下的图像特征构成了一个特征集合。该集合中几乎包含了电梯中各个亮度下的门关状态图像特征(模式),而在实际检测时只要当前帧特征与集合中任意一个特征匹配即可判定为关门,否则判定电梯门为门开状态。因此,利用本发明的检测方法不会受到电梯轿厢内亮度变化的影响。
如图12所示,根据本发明的一种实施方式,步骤S4中,持续采集图像数据并判断电梯门的位置状态的步骤中,包括:
S41.获取电梯门在开关过程中的有效像素mask模板,并确定有效像素mask模板与电梯门两个边缘相对应的两个感兴趣区域;
参见图13所示,获取电梯门在开关过程中的有效像素mask模板的步骤中,包括:
S411.获取电梯门一次开门过程的多张图像数据;
S412.按照时序计算相邻两张图像数据之间的帧差并进行二值化处理获得多张帧差二值化图,并将帧差二值化图融合形成一张融合图;
按照时序计算相邻两张图像数据之间的帧差并进行二值化处理获得多张帧差二值化图的步骤中,将灰度变化大于阈值的像素点标注为有效像素点;
将帧差二值化图融合形成一张融合图的步骤中,将各帧差二值化图中的有效像素点在融合图上进行标注,并计算有效像素点的变化率;其中,变化率为所有有效像素点与融合图中所有像素点的比值;
形成融合图的过程中,若连续融合多张帧差二值化图时的变化率的标准差小于预设值(例如,预设值可设置为1),则完成帧差二值化图的融合。
S413.按照预设值重复执行步骤S411至S412,获得多张融合图,并将所有融合图进行累加获得累积图;
参见图14所示,按照预设值重复执行步骤S411至S412,获得多张融合图,并将所有融合图进行累加获得累积图的步骤中,累积过程是将融合图中有效点位置,在对应的累积图上加1,即每累加一张融合图,则在累积图上与融合图中有效像素点相对应的位置的累积值加1,最终生成累积图;
S414.基于累积图获得有效像素mask模板。基于累积图获得有效像素mask模板的步骤中,包括:
S4141.计算累积图上每个位置的累积值与累加的融合图的数量的比值;
S4142.将比值与阈值比较,若比值超过阈值,则获取相应的有效像素构建有效像素mask模板;
在本实施方式中,当开门次数达到设定条件(如每间隔500次开门),提取一次mask,累积图中有效点条件是累积值除累积的开门次数的比值超过0.8,累积图中所有的有效点的集合即为所需要的mask,同时获取mask的最小外接矩形,如图15右侧所示,黑色区域就是mask,蓝色的是外接矩形,在外接矩形两侧设置ROI区域(方框区域),实际上mask区域就是门区域,ROI区域是门边缘区域,如图15左侧所示。
S42.基于获取的图像数据统计其有效像素数,并计算有效像素数与有效像素mask模板中有效像素数的比值获得电梯门的开门程度P,若P大于预设阈值则判断电梯门开门到位,若否,则电梯门为开门中;
基于获取的图像数据统计其有效像素数,并计算有效像素数与有效像素mask模板中有效像素数的比值获得电梯门的开门程度P的步骤中,在前述步骤中给出开门状态后,基于图像数据获取电梯门在当前位置的融合图,统计融合图中的有效像素数,并计算与有效像素mask模板中有效像素数的比值,再乘100,获得开门程度P。在本实施方式中,当开门程度P大于90(根据实际情况可适当调整)时,即认为开门到位,否则就给开门中信号。
S43.若电梯门开门到位则基于两个感兴趣区域提取图像数据中两个电梯门边缘的开门到位hash特征;在本实施方式中,当前述步骤中给出了开门到位信号后,提取ROI(感兴趣)区域(图15中的方框区域)中的hash特征并存储为模板特征。
S44.对后续获取的图像数据中与感兴趣区域相对应的位置提取两个第一hash特征,并将两个第一hash特征与两个开门到位hash特征(即前述步骤中的模板特征)分别进行相似度比较,若获得的相似度均低于阈值,则判断电梯门为关门中,如果两个模板中至少有一个和当前图像中的hash特征相似度较高,则认为此时门依旧维持在开状态,继续给门开到位信号。
上述内容仅为本发明的具体方案的例子,对于其中未详尽描述的设备和结构,应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个方案而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种电梯开关门检测方法,包括:
S1.采集电梯门区域的图像数据;
S2.在电梯门区域中确定门状态校验区域,并从所述电梯门区域的图像数据中提取所述门状态校验区域的图像特征;
S3.基于所述图像特征判断电梯门是否为关闭状态,若否,则输出所述电梯门为门开状态,并执行步骤S4;
S4.持续采集所述图像数据并判断所述电梯门的位置状态;其中,所述位置状态包括:开门中、开门到位和关门中;
步骤S4中,持续采集所述图像数据并判断所述电梯门的位置状态的步骤中,包括:
S41.获取所述电梯门在开关过程中的有效像素mask模板,并确定所述有效像素mask模板与所述电梯门两个边缘相对应的两个感兴趣区域;
S42.基于获取的所述图像数据统计其有效像素数,并计算所述有效像素数与所述有效像素mask模板中有效像素数的比值获得所述电梯门的开门程度P,若P大于预设阈值则判断所述电梯门开门到位,若否,则所述电梯门为开门中;
S43.若所述电梯门开门到位则基于两个所述感兴趣区域提取所述图像数据中两个电梯门边缘的开门到位hash特征;
S44.对后续获取的所述图像数据中与所述感兴趣区域相对应的位置提取两个第一hash特征,并将两个第一hash特征与两个所述开门到位hash特征分别进行相似度比较,若获得的所述相似度均低于阈值,则判断所述电梯门为关门中,否则所述电梯门维持在开门到位;
步骤S41中,获取所述电梯门在开关过程中的有效像素mask模板的步骤中,包括:
S411.获取所述电梯门一次开门过程的多张所述图像数据;
S412.按照时序计算相邻两张所述图像数据之间的帧差并进行二值化处理获得多张帧差二值化图,并将所述帧差二值化图融合形成一张融合图;
S413.按照预设值重复执行步骤S411至S412,获得多张所述融合图,并将所有所述融合图进行累加获得累积图;
S414.基于所述累积图获得所述有效像素mask模板。
2.根据权利要求1所述的电梯开关门检测方法,其特征在于,步骤S412中,按照时序计算相邻两张所述图像数据之间的帧差并进行二值化处理获得多张帧差二值化图的步骤中,将灰度变化大于阈值的像素点标注为有效像素点;
步骤S412中,将所述帧差二值化图融合形成一张融合图的步骤中,将各所述帧差二值化图中的所述有效像素点在所述融合图上进行标注,并计算所述有效像素点的变化率;其中,变化率为所有所述有效像素点与所述融合图中所有像素点的比值。
3.根据权利要求2所述的电梯开关门检测方法,其特征在于,步骤S412中,形成所述融合图的过程中,若连续融合多张所述帧差二值化图时的所述变化率的标准差小于预设值,则完成所述帧差二值化图的融合。
4.根据权利要求3所述的电梯开关门检测方法,其特征在于,步骤S413中,按照预设值重复执行步骤S411至S412,获得多张所述融合图,并将所有所述融合图进行累加获得累积图的步骤中,每累加一张所述融合图,则在所述累积图上与所述融合图中所述有效像素点相对应的位置的累积值加1。
5.根据权利要求4所述的电梯开关门检测方法,其特征在于,步骤S414中,基于所述累积图获得所述有效像素mask模板的步骤中,包括:
S4141.计算所述累积图上每个位置的所述累积值与累加的所述融合图的数量的比值;
S4142.将所述比值与阈值比较,若所述比值超过所述阈值,则获取相应的所述有效像素构建所述有效像素mask模板。
6.根据权利要求5所述的电梯开关门检测方法,其特征在于,步骤S42中,基于获取的所述图像数据统计其有效像素数,并计算所述有效像素数与所述有效像素mask模板中有效像素数的比值获得所述电梯门的开门程度P的步骤中,基于所述图像数据获取所述电梯门在当前位置的融合图,统计所述融合图中的有效像素数,并计算与所述有效像素mask模板中有效像素数的比值,获得所述开门程度P。
7.根据权利要求6所述的电梯开关门检测方法,其特征在于,步骤S3中,基于所述图像特征判断电梯门是否为关闭状态的步骤中,包括:
S31.将所述图像特征与预定的门关状态特征集合中的特征对比;其中,所述门关状态特征集合的生成步骤包括:
从固定时间间隔内采集的所述图像数据中分别提取所述图像特征,从提取的全部图像特征中选出关门状态的图像特征,再从选出的关门状态的图像特征中离散地选取图像特征构成所述门关状态特征集合;
选出关门状态的图像特征的步骤中,首先使提取的全部图像特征构成特征序列,对所述特征序列进行聚类分析并获得聚类;
选出包含图像特征的数量高于数量设定阈值的聚类作为有效聚类,其余为无效聚类,
所述有效聚类中的图像特征即为关门状态的图像特征;
S32.当所述图像特征与所述门关状态特征集合中的一个特征匹配时,判定电梯门为关闭状态,否则判定所述电梯门为门开状态;其中,将所述图像特征与所述门关状态特征集合中的特征进行相似度计算,若二者相似度高于相似度设定阈值则判断为匹配。
8.根据权利要求7所述的电梯开关门检测方法,其特征在于,所述步骤S2中的图像特征的提取步骤包括:
获取所述图像数据上位于所述门状态校验区域处的区域图像数据,将所述区域图像数据划分为数据块;
将每个所述数据块划分为子数据块,计算各个子数据块的亮度均值;
以一个所述数据块中的一个所述子数据块的亮度均值为该数据块的亮度阈值,对所述数据块中的其余子数据块的亮度均值进行阈值化处理,将其余所述子数据块的阈值化处理结果分别表示为对应的二进制数,将所得各个二进制数串联形成编码;
将所述区域图像数据中的各个所述数据块的编码串联,构成所述图像特征。
9.根据权利要求8所述的电梯开关门检测方法,其特征在于,所述阈值化处理的步骤中,若其余所述子数据块的亮度均值大于阈值时,则该其余子数据块的亮度均值表示为1,否则表示为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110874687.1A CN113602927B (zh) | 2021-07-30 | 2021-07-30 | 一种电梯开关门检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110874687.1A CN113602927B (zh) | 2021-07-30 | 2021-07-30 | 一种电梯开关门检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113602927A CN113602927A (zh) | 2021-11-05 |
CN113602927B true CN113602927B (zh) | 2023-03-10 |
Family
ID=78338885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110874687.1A Active CN113602927B (zh) | 2021-07-30 | 2021-07-30 | 一种电梯开关门检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113602927B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074242A (ja) * | 2008-09-16 | 2010-04-02 | Ricoh Co Ltd | 画像生成装置、画像生成方法、コンピュータが実行可能なプログラム、およびコンピュータが読み取り可能な記録媒体 |
JP2017124936A (ja) * | 2016-07-07 | 2017-07-20 | 東芝エレベータ株式会社 | エレベータシステム |
CN108584586A (zh) * | 2017-11-21 | 2018-09-28 | 江苏鸿山鸿锦物联技术有限公司 | 一种基于视频图像的电梯门状态直线检测方法 |
CN109607347A (zh) * | 2019-01-08 | 2019-04-12 | 浙江新再灵科技股份有限公司 | 一种基于图像直方图的电梯门状态检测方法及系统 |
CN110526058A (zh) * | 2018-05-23 | 2019-12-03 | 奥的斯电梯公司 | 电梯门监控系统、电梯系统和电梯门监控方法 |
CN111731960A (zh) * | 2020-06-22 | 2020-10-02 | 浙江新再灵科技股份有限公司 | 电梯门开关状态检测方法 |
CN112288624A (zh) * | 2020-09-11 | 2021-01-29 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子系统 |
CN112723069A (zh) * | 2020-12-16 | 2021-04-30 | 长沙慧联智能科技有限公司 | 基于tof视觉检测的电梯门运行状态监测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20002390A0 (fi) * | 2000-10-30 | 2000-10-30 | Kone Corp | Menetelmä hissin automaatioven kunnon valvomiseksi |
-
2021
- 2021-07-30 CN CN202110874687.1A patent/CN113602927B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074242A (ja) * | 2008-09-16 | 2010-04-02 | Ricoh Co Ltd | 画像生成装置、画像生成方法、コンピュータが実行可能なプログラム、およびコンピュータが読み取り可能な記録媒体 |
JP2017124936A (ja) * | 2016-07-07 | 2017-07-20 | 東芝エレベータ株式会社 | エレベータシステム |
CN108584586A (zh) * | 2017-11-21 | 2018-09-28 | 江苏鸿山鸿锦物联技术有限公司 | 一种基于视频图像的电梯门状态直线检测方法 |
CN110526058A (zh) * | 2018-05-23 | 2019-12-03 | 奥的斯电梯公司 | 电梯门监控系统、电梯系统和电梯门监控方法 |
CN109607347A (zh) * | 2019-01-08 | 2019-04-12 | 浙江新再灵科技股份有限公司 | 一种基于图像直方图的电梯门状态检测方法及系统 |
CN111731960A (zh) * | 2020-06-22 | 2020-10-02 | 浙江新再灵科技股份有限公司 | 电梯门开关状态检测方法 |
CN112288624A (zh) * | 2020-09-11 | 2021-01-29 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子系统 |
CN112723069A (zh) * | 2020-12-16 | 2021-04-30 | 长沙慧联智能科技有限公司 | 基于tof视觉检测的电梯门运行状态监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113602927A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111731960B (zh) | 电梯门开关状态检测方法 | |
CN105744232B (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
CN107679471B (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
US8055018B2 (en) | Object image detection method | |
Shivakumara et al. | Efficient video text detection using edge features | |
CN105303191A (zh) | 一种前视监视场景下的行人计数方法和装置 | |
CN113139521A (zh) | 一种用于电力监控的行人越界标监测方法 | |
CN111507235B (zh) | 基于视频的铁路周界异物入侵检测方法 | |
CN109087363B (zh) | 一种基于hsv颜色空间的污水排放检测方法 | |
CN112347873A (zh) | 梯控方法 | |
CN110255318B (zh) | 基于图像语义分割的电梯轿厢闲置物品检测的方法 | |
CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
KR102500975B1 (ko) | 딥러닝 모델을 학습시키기 위한 장치 및 그 방법 | |
CN112560650A (zh) | 一种电梯门标签提取及监控画面异常检测方法 | |
CN105426894A (zh) | 铁道塞钉图像检测方法及装置 | |
CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
CN112001299A (zh) | 一种隧道车指器和照明灯故障识别方法 | |
CN114581843B (zh) | 一种基于深度学习的扶梯乘客危险行为识别方法 | |
CN112597928A (zh) | 一种事件检测方法及相关装置 | |
CN117272215B (zh) | 一种基于数据挖掘的智慧小区安全管理方法及系统 | |
CN113602927B (zh) | 一种电梯开关门检测方法 | |
CN113657305A (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
CN111402185B (zh) | 一种图像检测方法及装置 | |
CN116030420A (zh) | 多源数据融合的电梯安全运行监测方法 | |
CN112990350B (zh) | 目标检测网络训练方法及基于目标检测网络煤矸识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |