CN116030420B - 多源数据融合的电梯安全运行监测方法 - Google Patents

多源数据融合的电梯安全运行监测方法 Download PDF

Info

Publication number
CN116030420B
CN116030420B CN202310148558.3A CN202310148558A CN116030420B CN 116030420 B CN116030420 B CN 116030420B CN 202310148558 A CN202310148558 A CN 202310148558A CN 116030420 B CN116030420 B CN 116030420B
Authority
CN
China
Prior art keywords
elevator door
correlation coefficient
peak
elevator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310148558.3A
Other languages
English (en)
Other versions
CN116030420A (zh
Inventor
张福生
冯云
蒋安波
葛阳
窦岩
丁建新
顾月江
冯存涛
顾德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
China Special Equipment Inspection and Research Institute
Original Assignee
Changshu Institute of Technology
China Special Equipment Inspection and Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology, China Special Equipment Inspection and Research Institute filed Critical Changshu Institute of Technology
Priority to CN202310148558.3A priority Critical patent/CN116030420B/zh
Publication of CN116030420A publication Critical patent/CN116030420A/zh
Application granted granted Critical
Publication of CN116030420B publication Critical patent/CN116030420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Indicating And Signalling Devices For Elevators (AREA)
  • Maintenance And Inspection Apparatuses For Elevators (AREA)
  • Elevator Door Apparatuses (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及多源数据融合的电梯安全运行监测方法，包括：采集位移传感器数据，获取电梯门视频中每一时刻的电梯门边缘图像的峰值点，获取所有相邻两个时刻的电梯门边缘图像的所有峰值点对，计算峰值点对的匹配距离，根据匹配距离获取两个峰值点对的第一差异，进一步得到门缝点，根据门缝点获取门缝检测的可信度，根据可信度以及位移传感器数据获取第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列，进一步得到四个相关系数，根据相关系数进行位移传感器异常识别，根据不存在异常的位移传感器的数据进行电梯门开关状态运行检测。本发明可识别异常的位移传感器，对电梯门状态的检测更加准确。

Description

多源数据融合的电梯安全运行监测方法
技术领域
本发明涉及图像处理技术领域，具体涉及多源数据融合的电梯安全运行监测方法。
背景技术
电梯门是电梯事故常发位置，具有较高的安全隐患。因此需要对电梯门开关状态进行检测，现有的方法为在电梯门安装位移传感器，根据位移传感器数据得到电梯门的状态，以判断当前电梯是否运行正常。
现有方法通过分析多传感器数据融合信息的异常进行电梯安全运行监测，但可能存在传感器位置发生偏移或者故障的情况，或随着电梯时间使用过久多个传感器数据误差变大的情况，导致多传感器数据融合监测数据不准确。且多传感器数据融合信息并不能确定哪些传感器的存在故障，导致无法准确检测电梯门完全闭合、完全打开状态，进而使得电梯安全运行监测结果不准确，带来巨大的安全隐患。
发明内容
本发明提供多源数据融合的电梯安全运行监测方法，以解决现有的问题。
本发明的多源数据融合的电梯安全运行监测方法采用如下技术方案：
本发明一个实施例提供了多源数据融合的电梯安全运行监测方法，该方法包括以下步骤：
S1：采集位移传感器数据，获取电梯门视频中每一时刻的电梯门边缘图像；将电梯门边缘图像转换到霍夫空间中，利用峰值点检测算法获取电梯门边缘图像的霍夫空间中的所有峰值点作为电梯门边缘图像的峰值点；
S2：获取任意相邻两个时刻的电梯门边缘图像的门缝检测的可信度，包括：
根据相邻两个时刻的电梯门边缘图像获取所有的峰值点对，将每个峰值点对包含的两个峰值点在霍夫空间中的纵坐标差异作为每个峰值点对的第一距离；根据每个峰值点对包含的两个峰值点在霍夫空间中的投票值以及第一距离获取每个峰值点对的匹配距离；
根据每个峰值点对的匹配距离获取任意两个峰值点对之间的第一差异；将第一差异最小的两个峰值点对包含的峰值点作为门缝点；获取每个门缝点的第一占比，将所有门缝点的第一占比的均值作为相邻两个时刻的电梯门边缘图像的门缝检测的可信度；
S3：根据门缝检测的可信度大于或等于第一预设阈值的所有相邻两个时刻的电梯门边缘图像以及位移传感器数据获取第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列；根据第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列获取第一相关系数、第二相关系数、第三相关系数以及第四相关系数；
根据第一相关系数、第二相关系数、第三相关系数以及第四相关系数进行传感器异常识别；根据不存在异常的传感器的数据进行电梯门开关状态运行检测。
优选的，所述根据相邻两个时刻的电梯门边缘图像获取所有的峰值点对包括：
将相邻两个时刻的电梯门边缘图像分别记为第一时刻电梯门边缘图像与第二时刻电梯门边缘图像，将第一时刻电梯门边缘图像的任意一个峰值点作为第一峰值点，获取第二时刻电梯门边缘图像的所有峰值点中与所述第一峰值点在霍夫空间中横坐标相同的峰值点，作为所述第一峰值点的第二峰值点，将所述第一峰值点与每个所述第二峰值点分别构成一个峰值点对。
优选的，所述匹配距离的表达式为：
Figure SMS_1
其中
Figure SMS_13
为第
Figure SMS_5
个时刻和第
Figure SMS_9
个时刻的电梯门边缘图像的第
Figure SMS_4
个峰值点对的匹配距 离；
Figure SMS_7
为第
Figure SMS_11
个时刻和第
Figure SMS_15
个时刻的电梯门边缘图像的第
Figure SMS_12
个峰值点对中第
Figure SMS_16
个时刻的电梯 门边缘图像的峰值点在霍夫空间中的投票值；
Figure SMS_2
为第
Figure SMS_8
个时刻和第
Figure SMS_14
个时刻的电梯门 边缘图像的第
Figure SMS_18
个峰值点对中第
Figure SMS_17
个时刻的电梯门边缘图像的峰值点在霍夫空间中的投 票值；
Figure SMS_19
为第
Figure SMS_3
个时刻和第
Figure SMS_6
个时刻的电梯门边缘图像的第
Figure SMS_10
个峰值点对的第一距离。
优选的，所述第一差异的表达式为：
Figure SMS_20
其中
Figure SMS_29
为第
Figure SMS_23
个时刻和第
Figure SMS_25
个时刻的电梯门边缘图像的第
Figure SMS_24
个峰值点对与第
Figure SMS_28
个 峰值点对的第一差异；
Figure SMS_32
为第
Figure SMS_36
个时刻和第
Figure SMS_31
个时刻的电梯门边缘图像的第
Figure SMS_35
个峰值点对 的匹配距离；
Figure SMS_21
为第
Figure SMS_27
个时刻和第
Figure SMS_33
个时刻的电梯门边缘图像的第
Figure SMS_37
个峰值点对的匹配距 离；
Figure SMS_39
为第
Figure SMS_41
个时刻和第
Figure SMS_30
个时刻的电梯门边缘图像的第
Figure SMS_34
个峰值点对在霍夫空间中的横 坐标；
Figure SMS_38
为第
Figure SMS_40
个时刻和第
Figure SMS_22
个时刻的电梯门边缘图像的第
Figure SMS_26
个峰值点对在霍夫空间中的 横坐标。
优选的，所述获取每个门缝点的第一占比包括：
对每个门缝点进行霍夫逆变换得到每个门缝点在相邻两个时刻的电梯门边缘图像中的对应直线作为每个门缝点的直线，统计每个门缝点的直线上像素值不为0的像素点占所述直线上所有像素点的比例，作为每个门缝点的第一占比。
优选的，所述根据门缝检测的可信度大于或等于第一预设阈值的所有相邻两个时刻的电梯门边缘图像以及位移传感器数据获取第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列包括：
将门缝检测的可信度大于或等于第一预设阈值的所有相邻两个时刻的电梯门边缘图像作为可信时刻图像对；将每个可信时刻图像对的第一差异最小的两个峰值点对中每个峰值点对的第一距离分别记为第二距离与第三距离；将所有可信时刻图像对的第二距离与第三距离分别组成第二距离序列与第三距离序列；
获取每个可信时刻图像对在位移传感器数据中对应时刻的第一位移距离与第二位移距离，所有可信时刻图像对的第一位移距离与第二位移距离分别组成第一位移距离序列与第二位移距离序列。
优选的，所述根据第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列获取第一相关系数、第二相关系数、第三相关系数以及第四相关系数包括：
利用皮尔逊相关性计算方法分别计算第二距离序列与第一位移距离序列以及第二位移距离序列之间的相关系数值作为第一相关系数以及第二相关系数，利用皮尔逊相关性计算方法分别计算第三距离序列与第一位移距离序列以及第二位移距离序列之间的相关系数值作为第三相关系数以及第四相关系数。
优选的，所述根据第一相关系数、第二相关系数、第三相关系数以及第四相关系数进行传感器异常识别包括：
当第一相关系数、第三相关系数同时小于第二预设阈值时，左位移传感器存在异常，当第一相关系数、第三相关系数中存在一个大于或等于第二预设阈值时，左位移传感器不存在异常；
当第二相关系数、第四相关系数同时小于第二预设阈值时，右位移传感器存在异常，当第二相关系数、第四相关系数中存在一个大于或等于第二预设阈值时，右位移传感器不存在异常。
本发明的上述技术方案的有益效果是：通过对相邻两个时刻的电梯门边缘图像的所有峰值点对进行分析得到门缝检测的可信度，保证可以获取可信的电梯门检测结果，避免由于遮挡或者其他边缘直线的干扰导致电梯门缝识别错误的情况，同时基于可信的电梯门检测结果对位移传感器数据进行相关性分析，根据相关系数识别异常的位移传感器，相比于现有的分析多传感器数据融合信息的异常进行电梯安全运行监测的方法，排除了异常的位移传感器的不准确的数据的影响，对电梯门状态的检测更加准确，进而对电梯安全运行监测更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的多源数据融合的电梯安全运行监测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的多源数据融合的电梯安全运行监测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的多源数据融合的电梯安全运行监测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的多源数据融合的电梯安全运行监测方法的步骤流程图，该方法包括以下步骤：
101．采集电梯开视频以及位移传感器数据，获取电梯门视频中每一时刻的电梯门边缘图像。
在电梯内安装相机，通过所安装的相机，采集得到电梯门视频。由于相机位置固定，进而拍摄的电梯门视频中电梯门区域固定，由相关经验人员可以标出电梯门视频中电梯门ROI区域。进而得到仅含电梯门的视频。
获取仅含电梯门的视频中每一时刻的电梯门图像，对每一时刻的电梯门图像利用大津阈值法进行分割得到每一时刻的电梯门二值图像，利用canny边缘检测算法对每一时刻的电梯门二值图像进行边缘检测，得到每一时刻的电梯门边缘图像。
在两侧电梯门分别安装位移传感器，记为左边位移传感器、右边位移传感器。位移 传感器用于监测电梯门的状态。位移传感器数据为当前时刻到前一时刻的位移量，将左边 位移传感器的数据记为
Figure SMS_42
，将右边位移传感器的数据记为
Figure SMS_43
， 其中
Figure SMS_44
表示左边位移传感器
Figure SMS_45
时刻到前一时刻的位移量，本实施例中每
Figure SMS_46
秒为一个时刻。
102．获取任意相邻两个时刻的电梯门边缘图像的门缝检测的可信度。
需要说明的是，电梯门缝是直线，因此可用直线检测算法检测电梯门边缘图像中的直线以便识别电梯门缝。霍夫变换直线检测算法可以得到图像中的直线在霍夫空间中的投影，当霍夫空间中一个霍夫点的投票值越高，则说明该霍夫点在图像空间中对应的直线上的像素点越多，进一步说明该霍夫点在图像中对应的位置的边缘越可能为直线。因此，可获取电梯门边缘图像的霍夫空间中投票值较大的点，即峰值点，以便后续根据峰值点识别电梯门缝。
在本实施例中，将每一时刻的电梯门边缘图像转换到霍夫空间中，通过峰值点检测算法，获取每一时刻的电梯门边缘图像的霍夫空间中所有峰值点作为每一时刻的电梯门边缘图像的峰值点。
需要说明的是，在电梯门开门后，电梯外的图像可能包含直线线条，此时会对电梯门缝识别造成干扰，若无法从电梯门边缘图像中得到准确的电梯门缝，则无法进行有效的电梯运行安全异常判断，影响最终的电梯运行安全检测结果。因此需要对峰值点进行进一步识别。电梯门缝是为较长直线，常规方法可能通过选取霍夫空间中投票值最高的两个霍夫点在电梯门边缘图像中对应的直线边缘作为电梯的门缝。但若电梯桥箱内人员数量过多，则会导致电梯门缝部分被遮挡，只剩下一部分的门缝。并在开门时，如果电梯外有较长的直线纹理，此时，电梯门缝对应的霍夫点并非霍夫空间中投票值最高的两个霍夫点。若此时仍然采用霍夫空间中投票值最高的两个霍夫点在电梯门边缘图像中对应的直线边缘作为电梯的门缝，则会产生误判，从而无法进行有效的电梯运行安全异常判断，影响最终的电梯运行安全检测结果。在电梯门的开关过程中，电梯门是运动的，且电梯门的ROI区域是不变的，因此可分析不同时刻的电梯边缘图像在霍夫空间中，各高投票值霍夫点（即峰值点）的位置变化，来识别表示电梯门缝的峰值点。霍夫空间中横坐标表示角度，纵坐标表示位置，电梯门的开关过程中，电梯门为平移运动，电梯门缝的角度不变，位置发生变化，则霍夫空间中对应的霍夫点的横坐标不变，纵坐标发生变化。因此可根据以上特征获取相邻时刻的电梯边缘图像的可能表示电梯门缝的峰值点对，以便后续分析峰值点对的特征进一步识别电梯门缝。
在本实施例中，以第
Figure SMS_50
时刻的电梯门边缘图像以及第
Figure SMS_53
时刻的电梯门边缘图像为 例，说明峰值点对的获取方法：获取第
Figure SMS_57
时刻的电梯门边缘图像的第
Figure SMS_48
个峰值点
Figure SMS_51
，获取第
Figure SMS_54
时刻的电梯门边缘图像的霍夫空间中与
Figure SMS_58
的横坐标相同的所有峰值点，分别记为
Figure SMS_47
，
Figure SMS_55
，
Figure SMS_60
，…。其中
Figure SMS_64
表示第
Figure SMS_61
时刻的电梯门边缘图像的霍夫空间中与
Figure SMS_65
的横坐标相同的第一个峰值点。将
Figure SMS_67
分别与
Figure SMS_69
，
Figure SMS_63
，
Figure SMS_66
，…构成一个峰值点 对，得到
Figure SMS_68
，
Figure SMS_70
，
Figure SMS_49
，…。同理，将第
Figure SMS_52
时刻的电梯门边缘图像的 每个峰值点与第
Figure SMS_56
时刻的电梯门边缘图像中对应的峰值点组成多个峰值点对。如此获取 第
Figure SMS_59
时刻的电梯门边缘图像以及第
Figure SMS_62
时刻的电梯门边缘图像所有的峰值点对。
需要说明的是，电梯门在运动的过程中，如果桥箱内的人过多，此时电梯门缝所成像的效果此时变化不大，则在霍夫空间中电梯门缝对应的霍夫点的投票值变化不大，且图像采集速度较快，间隔时间较短，所以短时间内，电梯门缝位移距离不大，即电梯门缝对应的峰值点对的纵坐标差异不大。因此，根据每个峰值点对的投票值差异与纵坐标差异获取每个峰值点对的匹配距离，以便后续根据匹配距离进一步识别电梯门缝。
在本实施例中，以第
Figure SMS_71
时刻的电梯门边缘图像以及第
Figure SMS_72
时刻的电梯门边缘图像的 第
Figure SMS_73
个峰值点对为例，说明匹配距离的获取方法：
首先获取第
Figure SMS_75
个时刻和第
Figure SMS_79
个时刻的电梯门边缘图像的第
Figure SMS_82
个峰值点对包含的两 个峰值点之间的纵坐标的差异的绝对值，作为第
Figure SMS_76
个时刻和第
Figure SMS_78
个时刻的电梯门边缘图像 的第
Figure SMS_81
个峰值点对的第一距离，记作
Figure SMS_84
。则第
Figure SMS_74
个时刻和第
Figure SMS_77
个时刻的电梯门边缘图像的第
Figure SMS_80
个峰值点对的匹配距离
Figure SMS_83
为：
Figure SMS_85
其中
Figure SMS_102
为第
Figure SMS_106
个时刻和第
Figure SMS_110
个时刻的电梯门边缘图像的第
Figure SMS_87
个峰值点对的匹配距 离；
Figure SMS_90
为第
Figure SMS_94
个时刻和第
Figure SMS_98
个时刻的电梯门边缘图像的第
Figure SMS_113
个峰值点对中第
Figure SMS_117
个时刻的电梯 门边缘图像的峰值点在霍夫空间中的投票值，投票值越大，表示在第
Figure SMS_119
个时刻的电梯门边缘 图像中，第
Figure SMS_121
个峰值点对中第
Figure SMS_114
个时刻的电梯门边缘图像的峰值点所表示的直线对应的边缘 像素点越多；
Figure SMS_118
为第
Figure SMS_120
个时刻和第
Figure SMS_122
个时刻的电梯门边缘图像的第
Figure SMS_103
个峰值点对中第
Figure SMS_107
个时刻的电梯门边缘图像的峰值点在霍夫空间中的投票值；
Figure SMS_111
表示第
Figure SMS_115
个时 刻和第
Figure SMS_86
个时刻的电梯门边缘图像的第
Figure SMS_91
个峰值点对所表示的直线对应的边缘像素点个 数差异，该差异越小，则表示第
Figure SMS_95
个峰值点对越可能是电梯门缝；
Figure SMS_99
为第
Figure SMS_88
个时刻和第
Figure SMS_92
个 时刻的电梯门边缘图像的第
Figure SMS_96
个峰值点对的第一距离，第一距离越大，表示第
Figure SMS_100
个峰值点对对 应的直线之间的距离越远。由于相机采集视频帧率普遍偏高，因此在相邻两个时刻内电梯 门位移较小，那么电梯门缝对应的峰值点的位置变化并不会很大，所以
Figure SMS_104
越小，则表示越可 能是电梯门缝位移造成，第
Figure SMS_108
个峰值点对越可能是电梯门缝；当
Figure SMS_112
越小同时
Figure SMS_116
越小 时，第
Figure SMS_89
个峰值点对的匹配距离越小，第
Figure SMS_93
个峰值点对越可能是电梯门缝。当
Figure SMS_97
越大 或
Figure SMS_101
越大时，第
Figure SMS_105
个峰值点对的匹配距离越大，第
Figure SMS_109
个峰值点对越不可能是电梯门缝。
需要说明的是，一个峰值点对表示单边的电梯门缝，而电梯具有左右两侧的两个门缝。因此需要获取两个峰值点对来表示电梯左右两侧的门缝。由于电梯的两个门缝的边缘所对应直线的角度近似，则在霍夫空间中对应的两个峰值点对的角度（即横坐标）差异应当很小。且电梯门运动过程中，左右两侧的门缝的运动速度相同，因此表示两个门缝的两个峰值点对的匹配距离差异很小。因此，可根据任意两个峰值点对的横坐标差异以及匹配距离获取任意两个峰值点对的第一差异，用来衡量两个峰值点为电梯门缝的可能性。
在本实施例中，以第
Figure SMS_123
时刻的电梯门边缘图像以及第
Figure SMS_124
时刻的电梯门边缘图像的 第
Figure SMS_125
个峰值点对以及第
Figure SMS_126
个峰值点对为例，说明第一差异的获取方法：
第
Figure SMS_127
个时刻和第
Figure SMS_128
个时刻的电梯门边缘图像的第
Figure SMS_129
个峰值点对与第
Figure SMS_130
个峰值点对的 第一差异
Figure SMS_131
为：
Figure SMS_132
其中
Figure SMS_150
为第
Figure SMS_154
个时刻和第
Figure SMS_157
个时刻的电梯门边缘图像的第
Figure SMS_134
个峰值点对与第
Figure SMS_138
个 峰值点对的第一差异；
Figure SMS_142
为第
Figure SMS_146
个时刻和第
Figure SMS_136
个时刻的电梯门边缘图像的第
Figure SMS_139
个峰值点对 的匹配距离；
Figure SMS_143
为第
Figure SMS_147
个时刻和第
Figure SMS_141
个时刻的电梯门边缘图像的第
Figure SMS_145
个峰值点对的匹配距 离；
Figure SMS_149
为第
Figure SMS_153
个时刻和第
Figure SMS_152
个时刻的电梯门边缘图像的第
Figure SMS_155
个峰值点对在霍夫空间中的横 坐标；
Figure SMS_159
为第
Figure SMS_162
个时刻和第
Figure SMS_135
个时刻的电梯门边缘图像的第
Figure SMS_140
个峰值点对在霍夫空间中的 横坐标；当
Figure SMS_144
与
Figure SMS_148
都较小，且第
Figure SMS_151
个峰值点对与第
Figure SMS_158
个峰值点对的匹配距离差异
Figure SMS_161
较小，且第
Figure SMS_164
个峰值点对与第
Figure SMS_156
个峰值点对的横坐标差异
Figure SMS_160
也较小时，第
Figure SMS_163
个峰值点对 与第
Figure SMS_165
个峰值点对的第一差异较小，第
Figure SMS_133
个峰值点对与第
Figure SMS_137
个峰值点对越可能表示电梯的两个 门缝。
同理，计算第
Figure SMS_166
个时刻和第
Figure SMS_167
个时刻的电梯门边缘图像的任意两个峰值点对的第 一差异，获取其中第一差异最小的两个峰值点对，将此两个峰值点对包含的峰值点作为门 缝点，表示第
Figure SMS_168
个时刻和第
Figure SMS_169
个时刻的电梯门边缘图像的电梯门缝。
需要说明的是，若门缝点在电梯门边缘图像对应的直线上边缘像素点个数越多，获取的门缝点越可信。因此根据每个门缝点获取门缝检测的可信度。
在本实施例中，对每个门缝点进行霍夫逆变换得到每个门缝点在电梯门边缘图像 中的对应直线作为每个门缝点的直线，统计每个门缝点的直线上像素值不为0的像素点占 其直线上所有像素点的比例，作为每个门缝点的第一占比。将第
Figure SMS_170
个时刻和第
Figure SMS_171
个时刻的 电梯门边缘图像的所有门缝点的第一占比的均值作为第
Figure SMS_172
个时刻和第
Figure SMS_173
个时刻的电梯门 边缘图像电梯门边缘图像的门缝检测的可信度。门缝检测的可信度越高，则说明电梯门缝 越明显，检测效果越好，可用于电梯运行过程中位移传感器的异常判断。
同理获取任意相邻两个时刻的电梯门边缘图像的门缝检测的可信度。
103．根据门缝检测的可信度获取第一相关系数、第二相关系数、第三相关系数以及第四相关系数。
需要说明的是，相邻两个时刻的电梯门边缘图像的门缝检测的可信度越高，则说明此相邻两个时刻的电梯门缝越明显，检测效果越好，此相邻两个时刻的电梯门边缘图像的电梯门缝检测结果可用于电梯运行过程中位移传感器的异常判断。
在本实施例中，设置第一预设阈值
Figure SMS_174
，当相邻两个时刻的电梯门边缘图像的门缝检 测的可信度小于第一预设阈值
Figure SMS_175
时，则认为电梯门缝检测结果不可信，不能用于传感器的异 常诊断，当相邻两个时刻的电梯门边缘图像的门缝检测的可信度大于或等于第一预设阈值
Figure SMS_176
时，则认为电梯门缝检测结果可信，能用于传感器的异常诊断，此时将此相邻两个时刻的 电梯门边缘图像作为可信时刻图像对。本实施例中
Figure SMS_177
，在其他实施例中，实施者可根据 具体实施场景进行调整。
获取所有的可信时刻图像对，将每个可信时刻图像对的第一差异最小的两个峰值点对中，每个峰值点对的第一距离分别记为第二距离与第三距离。则所有可信时刻图像对的第二距离与第三距离分别组成第二距离序列与第三距离序列。
获取每个可信时刻图像对在左位移传感器数据，右位移传感器数据中对应时刻的数据，分别记为第一位移距离与第二位移距离，所有可信时刻图像对的第一位移距离与第二位移距离分别组成第一位移距离序列与第二位移距离序列。
利用皮尔逊相关性计算方法计算第二距离序列与第一位移距离序列的相关系数， 记为第一相关系数，用
Figure SMS_178
表示。同理，利用皮尔逊相关性计算方法计算第二距离序列与第二 位移距离序列的相关系数，记为第二相关系数，用
Figure SMS_179
表示。利用皮尔逊相关性计算方法计算 第三距离序列与第一位移距离序列的相关系数，记为第三相关系数，用
Figure SMS_180
表示。利用皮尔逊 相关性计算方法计算第三距离序列与第二位移距离序列的相关系数，记为第四相关系数， 用
Figure SMS_181
表示。
104．根据第一相关系数、第二相关系数、第三相关系数以及第四相关系数进行传感器异常识别以及电梯门开关状态运行检测。
需要说明的是，电梯门运动过程中，左右两侧门缝的位移速度近似，所以第一相关系数、第二相关系数、第三相关系数以及第四相关系数的值应当近似且都比较高。
在本实施例中，设置第二预设阈值
Figure SMS_182
，当第一相关系数、第三相关系数同时小于第二 预设阈值
Figure SMS_183
时，左位移传感器存在异常，当第一相关系数、第三相关系数中存在一个大于或 等于第二预设阈值
Figure SMS_184
时，左位移传感器不存在异常。当第二相关系数、第四相关系数同时小 于第二预设阈值
Figure SMS_185
时，右位移传感器存在异常，当第二相关系数、第四相关系数中存在一个 大于或等于第二预设阈值
Figure SMS_186
时，右位移传感器不存在异常。本实施例中
Figure SMS_187
，在其他实施例 中，实施者可根据具体实施场景进行调整。
当位移传感器异常时，需要进行位移传感器维修。
获取不存在异常的传感器的数据，在已知电梯门宽度的情况下，即可根据传感器的数据判断电梯门开关状态，进而完成电梯安全运行检测。
通过以上步骤，完成了电梯安全运行检测。
本发明实施例通过对相邻两个时刻的电梯门边缘图像的所有峰值点对进行分析得到门缝检测的可信度，保证可以获取可信的电梯门检测结果，避免由于遮挡或者其他边缘直线的干扰导致电梯门缝识别错误的情况，同时基于可信的电梯门检测结果对位移传感器数据进行相关性分析，根据相关系数识别异常的位移传感器，相比于现有的分析多传感器数据融合信息的异常进行电梯安全运行监测的方法，排除了异常的位移传感器的不准确的数据的影响，对电梯门状态的检测更加准确，进而对电梯安全运行监测更加准确。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.多源数据融合的电梯安全运行监测方法，其特征在于，该方法包括以下步骤：
S1：采集位移传感器数据，获取电梯门视频中每一时刻的电梯门边缘图像；将电梯门边缘图像转换到霍夫空间中，利用峰值点检测算法获取电梯门边缘图像的霍夫空间中的所有峰值点作为电梯门边缘图像的峰值点；
S2：获取任意相邻两个时刻的电梯门边缘图像的门缝检测的可信度，包括：
根据相邻两个时刻的电梯门边缘图像获取所有的峰值点对，将每个峰值点对包含的两个峰值点在霍夫空间中的纵坐标差异作为每个峰值点对的第一距离；根据每个峰值点对包含的两个峰值点在霍夫空间中的投票值以及第一距离获取每个峰值点对的匹配距离；
根据每个峰值点对的匹配距离获取任意两个峰值点对之间的第一差异；将第一差异最小的两个峰值点对包含的峰值点作为门缝点；获取每个门缝点的第一占比，将所有门缝点的第一占比的均值作为相邻两个时刻的电梯门边缘图像的门缝检测的可信度；
S3：根据门缝检测的可信度大于或等于第一预设阈值的所有相邻两个时刻的电梯门边缘图像以及位移传感器数据获取第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列；根据第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列获取第一相关系数、第二相关系数、第三相关系数以及第四相关系数；
根据第一相关系数、第二相关系数、第三相关系数以及第四相关系数进行传感器异常识别；根据不存在异常的传感器的数据进行电梯门开关状态运行检测。
2.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述根据相邻两个时刻的电梯门边缘图像获取所有的峰值点对包括：
将相邻两个时刻的电梯门边缘图像分别记为第一时刻电梯门边缘图像与第二时刻电梯门边缘图像，将第一时刻电梯门边缘图像的任意一个峰值点作为第一峰值点，获取第二时刻电梯门边缘图像的所有峰值点中与所述第一峰值点在霍夫空间中横坐标相同的峰值点，作为所述第一峰值点的第二峰值点，将所述第一峰值点与每个所述第二峰值点分别构成一个峰值点对。
3.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述匹配距离的表达式为：
Figure QLYQS_1
其中
Figure QLYQS_10
为第
Figure QLYQS_3
个时刻和第
Figure QLYQS_6
个时刻的电梯门边缘图像的第
Figure QLYQS_4
个峰值点对的匹配距离；
Figure QLYQS_8
为第
Figure QLYQS_12
个时刻和第
Figure QLYQS_16
个时刻的电梯门边缘图像的第
Figure QLYQS_13
个峰值点对中第
Figure QLYQS_17
个时刻的电梯门 边缘图像的峰值点在霍夫空间中的投票值；
Figure QLYQS_5
为第
Figure QLYQS_9
个时刻和第
Figure QLYQS_14
个时刻的电梯门边 缘图像的第
Figure QLYQS_18
个峰值点对中第
Figure QLYQS_15
个时刻的电梯门边缘图像的峰值点在霍夫空间中的投票 值；
Figure QLYQS_19
为第
Figure QLYQS_2
个时刻和第
Figure QLYQS_7
个时刻的电梯门边缘图像的第
Figure QLYQS_11
个峰值点对的第一距离。
4.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述第一差异的表达式为：
Figure QLYQS_20
其中
Figure QLYQS_30
为第
Figure QLYQS_23
个时刻和第
Figure QLYQS_26
个时刻的电梯门边缘图像的第
Figure QLYQS_34
个峰值点对与第
Figure QLYQS_38
个峰值 点对的第一差异；
Figure QLYQS_39
为第
Figure QLYQS_41
个时刻和第
Figure QLYQS_29
个时刻的电梯门边缘图像的第
Figure QLYQS_33
个峰值点对的匹 配距离；
Figure QLYQS_21
为第
Figure QLYQS_25
个时刻和第
Figure QLYQS_31
个时刻的电梯门边缘图像的第
Figure QLYQS_35
个峰值点对的匹配距离；
Figure QLYQS_37
为第
Figure QLYQS_40
个时刻和第
Figure QLYQS_24
个时刻的电梯门边缘图像的第
Figure QLYQS_28
个峰值点对在霍夫空间中的横坐 标；
Figure QLYQS_32
为第
Figure QLYQS_36
个时刻和第
Figure QLYQS_22
个时刻的电梯门边缘图像的第
Figure QLYQS_27
个峰值点对在霍夫空间中的横 坐标。
5.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述获取每个门缝点的第一占比包括：
对每个门缝点进行霍夫逆变换得到每个门缝点在相邻两个时刻的电梯门边缘图像中的对应直线作为每个门缝点的直线，统计每个门缝点的直线上像素值不为0的像素点占所述直线上所有像素点的比例，作为每个门缝点的第一占比。
6.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述根据门缝检测的可信度大于或等于第一预设阈值的所有相邻两个时刻的电梯门边缘图像以及位移传感器数据获取第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列包括：
将门缝检测的可信度大于或等于第一预设阈值的所有相邻两个时刻的电梯门边缘图像作为可信时刻图像对；将每个可信时刻图像对的第一差异最小的两个峰值点对中每个峰值点对的第一距离分别记为第二距离与第三距离；将所有可信时刻图像对的第二距离与第三距离分别组成第二距离序列与第三距离序列；
获取每个可信时刻图像对在位移传感器数据中对应时刻的第一位移距离与第二位移距离，所有可信时刻图像对的第一位移距离与第二位移距离分别组成第一位移距离序列与第二位移距离序列。
7.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述根据第一位移距离序列、第二位移距离序列、第二距离序列以及第三距离序列获取第一相关系数、第二相关系数、第三相关系数以及第四相关系数包括：
利用皮尔逊相关性计算方法分别计算第二距离序列与第一位移距离序列以及第二位移距离序列之间的相关系数值作为第一相关系数以及第二相关系数，利用皮尔逊相关性计算方法分别计算第三距离序列与第一位移距离序列以及第二位移距离序列之间的相关系数值作为第三相关系数以及第四相关系数。
8.根据权利要求1所述的多源数据融合的电梯安全运行监测方法，其特征在于，所述根据第一相关系数、第二相关系数、第三相关系数以及第四相关系数进行传感器异常识别包括：
当第一相关系数、第三相关系数同时小于第二预设阈值时，左位移传感器存在异常，当第一相关系数、第三相关系数中存在一个大于或等于第二预设阈值时，左位移传感器不存在异常；
当第二相关系数、第四相关系数同时小于第二预设阈值时，右位移传感器存在异常，当第二相关系数、第四相关系数中存在一个大于或等于第二预设阈值时，右位移传感器不存在异常。
CN202310148558.3A 2023-02-22 2023-02-22 多源数据融合的电梯安全运行监测方法 Active CN116030420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310148558.3A CN116030420B (zh) 2023-02-22 2023-02-22 多源数据融合的电梯安全运行监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310148558.3A CN116030420B (zh) 2023-02-22 2023-02-22 多源数据融合的电梯安全运行监测方法

Publications (2)

Publication Number Publication Date
CN116030420A CN116030420A (zh) 2023-04-28
CN116030420B true CN116030420B (zh) 2023-05-30

Family

ID=86077668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310148558.3A Active CN116030420B (zh) 2023-02-22 2023-02-22 多源数据融合的电梯安全运行监测方法

Country Status (1)

Country Link
CN (1) CN116030420B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576491B (zh) * 2024-01-17 2024-04-26 浙江新再灵科技股份有限公司 电梯门故障检测方法、电梯门故障发生率预测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113264430A (zh) * 2021-06-22 2021-08-17 浙江新再灵科技股份有限公司 融合多传感器数据的开门走梯实时检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113264430A (zh) * 2021-06-22 2021-08-17 浙江新再灵科技股份有限公司 融合多传感器数据的开门走梯实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于密度的空间聚类与霍夫变换相结合的欠定盲源分离混合矩阵估计;孙洁娣;李玉霞;温江涛;闫盛楠;;高技术通讯(第12期);全文 *
基于改进概率霍夫直线检测的电梯门状态检测方法;张国福;王呈;;南京理工大学学报(第02期);全文 *

Also Published As

Publication number Publication date
CN116030420A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109684996B (zh) 基于视频的实时车辆进出识别方法
US5757287A (en) Object recognition system and abnormality detection system using image processing
US10853664B2 (en) Device and method for detecting abnormal situation
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
Fradi et al. Low level crowd analysis using frame-wise normalized feature for people counting
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
CN116030420B (zh) 多源数据融合的电梯安全运行监测方法
CN102582664A (zh) 拥塞推定装置
CN109896386B (zh) 一种基于计算机视觉技术的电梯门反复开关的检测方法及系统
CN109850711B (zh) 一种基于3d测量技术的电梯门状态检测方法及系统
CN109409315B (zh) 一种atm机面板区域遗留物检测方法及系统
CN104680145B (zh) 一种门的开关状态变化检测方法及装置
CN106156695B (zh) 出口和/或入口区域识别方法和装置
CN112560650A (zh) 一种电梯门标签提取及监控画面异常检测方法
Zheng et al. Rail detection based on LSD and the least square curve fitting
CN116823673B (zh) 基于图像处理的高速电梯轿厢乘客状态视觉感知方法
CN113114938A (zh) 一种基于电子信息的目标精确监控系统
CN111402185B (zh) 一种图像检测方法及装置
CN111325073B (zh) 基于运动信息聚类的监控视频异常行为检测方法
Ilao et al. Crowd estimation using region-specific HOG With SVM
CN112329671B (zh) 一种基于深度学习的行人奔跑行为检测方法及相关组件
CN110852203B (zh) 一种基于视频特征学习的多要素可疑人员识别方法
JP2004287806A (ja) 移動目標検出装置、追尾システム及び移動目標識別方法
CN112465860B (zh) 一种用于门的运行状态检查方法及检查设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant