CN109592528B - 基于视觉词带的电梯安全标志物定位方法与系统 - Google Patents

基于视觉词带的电梯安全标志物定位方法与系统 Download PDF

Info

Publication number
CN109592528B
CN109592528B CN201910030098.8A CN201910030098A CN109592528B CN 109592528 B CN109592528 B CN 109592528B CN 201910030098 A CN201910030098 A CN 201910030098A CN 109592528 B CN109592528 B CN 109592528B
Authority
CN
China
Prior art keywords
feature
elevator
safety marker
safety
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910030098.8A
Other languages
English (en)
Other versions
CN109592528A (zh
Inventor
程潇
施行
王超
蔡巍伟
靳旭哲
胡灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinzailing Technology Co ltd
Original Assignee
Zhejiang Xinzailing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinzailing Technology Co ltd filed Critical Zhejiang Xinzailing Technology Co ltd
Priority to CN201910030098.8A priority Critical patent/CN109592528B/zh
Publication of CN109592528A publication Critical patent/CN109592528A/zh
Application granted granted Critical
Publication of CN109592528B publication Critical patent/CN109592528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0018—Devices monitoring the operating condition of the elevator system
    • B66B5/0025—Devices monitoring the operating condition of the elevator system for maintenance or repair

Landscapes

  • Image Analysis (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

本发明公开了一种基于视觉词带的电梯安全标志物定位方法，包括以下步骤：S1，在电梯门上设置标志物；S2，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；S3，采集传感器送入的数据计算得到速度值；S4，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动（电梯门关闭）的情况下，定位当前安全标志物具体位置；S5，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。

Description

基于视觉词带的电梯安全标志物定位方法与系统
技术领域
本发明属于电梯安全技术领域，具体涉及一种基于视觉词带的电梯安全标志物定位方法与系统。
背景技术
电梯作为当前社会重要的交通工具，由于其使用的频繁性以及本身环境的密闭性，具备很强的图像监控需求，同时也是监控设备安装的热点场景。过去的电梯监控只是一个录像和显示功能，随着人工智能技术的发展，越来越多的技术人员开始基于监控图像来分析电梯门开关状态，分析电梯运行状态是否正常。这种基于图像处理技术的分析方式，一般需要标注出电梯门上特异性最强的区域，即电梯门上的安全标志物，作为判定开关门的主要目标。
但是，当需要监控分析的电梯数量过多时，安全标志物位置的标定工作量会伴随着线性增长；并且，当电梯中的相机受到震动发生位置偏移，标志物位置又需要重新标定，耗费许多人力资源。
发明内容
本发明要解决的技术问题是提供一种基于视觉词带的电梯安全标志物定位方法与系统。
为解决上述技术问题，本发明采用如下的技术方案：
本发明的一个方面提供了一种基于视觉词带的电梯安全标志物定位方法，其特征在于，包括以下步骤：
S1，在电梯门上设置标志物；
S2，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；
S3，采集传感器送入的数据计算得到速度值；
S4，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动(电梯门关闭)的情况下，定位当前安全标志物具体位置；
S5，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。
优选地，所述传感器为加速度传感器，通过加速度积分的方法获取速度值。
优选地，所述传感器为气压传感器，将气压通转换为海拔高度，再通过高度差分获取速度值。
优选地，S4中定位当前安全标志物具体位置具体包括训练词带和识别样本，具体包括：
S401，从上万台电梯场景中，标定出电梯门上的安全标志物的矩形位置，作为训练视觉词带的样本数据；
S402，将上万张从电梯中采样得到的安全标志物图，均分为5*5的若干矩形网格；
S403，对于单张安全标志图，针对其分割的网格依次使用Harris角点计算网格中角点响应最大的三个特征点；针对找到的特征点，使用特征描述子进行采样描述，此处使用的特征描述子包括且不限于SURF,SIFT,ORB这些经典特征算子。假设一个特征点的特征描述向量为r,单个网格包含3个特征描述，其对应的特征向量为P＝r1r2r3，表示三组特征向量的串联，组成单个网格特征向量，则一万张安全标志图提取的特征向量集为l＝{P1......P10000}，至此，训练图的特征数据提取完成；
S404，通过特征聚类得到安全标志物的视觉词带；
S405，在识别样本的过程中，首先重复S403的过程，对于当前检测帧图像进行5*5的网格均分，提取特征；
S406，对于当前帧计算得到的网格特征，依次和S404中存储的视觉词带信息进行词典查询，如果任一网格和词带中存储的特征向量相似度高于一定阈值，认为该网格出包含安全标志物的某块区域，以图像左上角为坐标原点，X方向水平向右，Y方向水平向下，记录该网格中心位置坐标；
S407，对D6中所有获得的位置坐标进行排序，分别选出X方向和Y方向最大最小的四个点：Xmin Xmax Ymin Ymax，根据这四个点可以获得目标矩形左上角顶点(Xmin，Ymin)和右下角顶点(Xmax，Ymax)，由此可以从当前电梯轿厢图像中，定位出安全标志物位置。
优选地，S404，通过特征聚类得到安全标志物的视觉词带进一步包括如下步骤：
S4041，对于S403中提取到的特征向量集1通过Kmeans的方法进行聚类，目标生成5个最能反映安全标志物的视觉描述词；
S4042，从特征向量集1中随机提取5个特征向量，作为初始的聚类中心样本；
S4043，针对5个中心样本，使用特征向量集1中剩余的特征向量进行相似度计算，对于任意向量相对于5个中心样本任意一种的相似度值最大，即将其进行分为该类别，两个特征向量Px和Pj的相似度计算公式如下：
Figure BDA0001943884650000041
上式中，N表示单个特征向量的长度，S表示两个特征向量的相似度；
S4044，在完成第一遍聚类后，在五种类别中分别选取和本类中其他成员相似度均值最大的对象，作为本类新的聚类中心样本，继续迭代重复S4043过程；
迭代若干次后，发现每类的中心样本不再改变，聚类结束，获得五种最能概括表示安全标志物信息的特征词带，存储它们的特征向量信息。
本发明实施例的另一个方面提供了一种基于视觉词带的电梯安全标志物定位系统，包括：
视频采集单元，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；
电梯速度采集单元，采集传感器送入的数据计算得到速度值；
安全标志物检测单元，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动的情况下，定位在电梯门上设置标志物当前具体位置；
智能分析单元，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。
优选地，所述传感器为加速度传感器，通过加速度积分的方法获取速度值。
优选地，所述传感器为气压传感器，将气压通转换为海拔高度，再通过高度差分获取速度值。
优选地，定位当前安全标志物具体位置具体包括训练词带和识别样本，具体包括：
S401，从上万台电梯场景中，标定出电梯门上的安全标志物的矩形位置，作为训练视觉词带的样本数据；
S402，将上万张从电梯中采样得到的安全标志物图，均分为5*5的若干矩形网格；
S403，对于单张安全标志图，针对其分割的网格依次使用Harris角点计算网格中角点响应最大的三个特征点；针对找到的特征点，使用特征描述子进行采样描述，此处使用的特征描述子包括且不限于SURF，SIFT，ORB这些经典特征算子，假设一个特征点的特征描述向量为r,单个网格包含3个特征描述，其对应的特征向量为P＝r1r2r3，表示三组特征向量的串联，组成单个网格特征向量，则一万张安全标志图提取的特征向量集为l＝{P1......P10000}，至此，训练图的特征数据提取完成；
S404，通过特征聚类得到安全标志物的视觉词带；
S405，在识别样本的过程中，首先重复S403的过程，对于当前检测帧图像进行5*5的网格均分，提取特征；
S406，对于当前帧计算得到的网格特征，依次和S404中存储的视觉词带信息进行词典查询，如果任一网格和词带中存储的特征向量相似度高于一定阈值，认为该网格出包含安全标志物的某块区域，以图像左上角为坐标原点，X方向水平向右，Y方向水平向下，记录该网格中心位置坐标；
S407，对D6中所有获得的位置坐标进行排序，分别选出X方向和Y方向最大最小的四个点：Xmin Xmax Ymin Ymax，根据这四个点可以获得目标矩形左上角顶点(Xmin，Ymin)和右下角顶点(Xmax，Ymax)，由此可以从当前电梯轿厢图像中，定位出安全标志物位置。
优选地，S404，通过特征聚类得到安全标志物的视觉词带进一步包括如下步骤：
S4041，对于S403中提取到的特征向量集1通过Kmeans的方法进行聚类，目标生成5个最能反映安全标志物的视觉描述词；
S4042，从特征向量集1中随机提取5个特征向量，作为初始的聚类中心样本；
S4043，针对5个中心样本，使用特征向量集1中剩余的特征向量进行相似度计算，对于任意向量相对于5个中心样本任意一种的相似度值最大，即将其进行分为该类别，两个特征向量Px和Pj的相似度计算公式如下：
Figure BDA0001943884650000071
上式中，N表示单个特征向量的长度，S表示两个特征向量的相似度；
S4044，在完成第一遍聚类后，在五种类别中分别选取和本类中其他成员相似度均值最大的对象，作为本类新的聚类中心样本，继续迭代重复S4043过程；
迭代若干次后，发现每类的中心样本不再改变，聚类结束，获得五种最能概括表示安全标志物信息的特征词带，存储它们的特征向量信息。
采用本发明具有如下的有益效果：本发明针对电梯智能监控中，电梯门上的安全标志物人工标定维护工作繁杂冗余的问题，基于图像处理中的视觉词带技术提出一种自动定位安全标志的技术方案，可以准确检测出电梯轿厢中安全标志物的具体位置，传送给智能算法分析组件用于后续的电梯门状态检测，并且能在相机位置偏移时，重新定位安全标志位置，保证智能算法分析电梯门状态的持续有效性。
附图说明
图1为本发明实施例的基于视觉词带的电梯安全标志物定位系统的原理框图；
图2为本发明实施例的安全标志物粘贴示意图；
图3为本发明实施例的安全标志物定位流程图；
图4为本发明实施例的电梯安全标志物采样示意图；
图5为本发明实施例的视觉词带获取示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，所示为本发明实施例的基于视觉词带的电梯安全标志物定位系统的原理框图，包括：
视频采集单元，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；
视频采集单元包括但不限于监控摄相机，深度相机等获取图像数据的设备，其安装在电梯轿厢内顶部。
电梯速度采集单元，采集传感器送入的数据计算得到速度值；
如果是加速度传感器，可通过加速度积分的方法，获取速度值；如果是气压传感器，可以将气压通过下列公式转换为海拔高度，再通过高度差分，获取速度值。
海拔与气压负相关,大致每提高12m，大气压下降1mmHg(1毫升水银柱)或者每上升9m，大气压降低100Pa。
推导公式：海拔高度(h)＝(1013.25-气压/100)*9。
根据安装传感器的不同，根据其传感器的随机误差，设定具体的速度阈值thre,当前速度为s,最后传出电梯运动信号m，和当前速度的关系表达如下式：
Figure BDA0001943884650000091
电梯运动信号m为1时，表示电梯正在运动，电梯门关闭；m为0时，表示电梯静止，不能判断当前电梯门的开关状态。
通过上述设置可知，电梯速度采集单元的传感器部分包括但不限于加速度传感器，陀螺仪，气压计等获取速度，加速度，海拔高度的传感设备；电梯速度采集单元的计算部分包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备，根据传感器获得的信息，利用滤波，积分，差分等数学方法将加速度值，海拔高度值等转换为速度值，根据计算得到的速度值判定当前电梯是否处于运动状态，接着将判定结果传给安全标志物检测单元。
安全标志物检测单元，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动的情况下，定位在电梯门上设置的标志物当前具体位置；
安全标志物检测单元包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备。
为了实现电梯门状态的智能检测，需要在门上粘贴醒目的标志物，包括但不限于安全提示标志，图像广告等，同时为了避免人为干扰，遮挡，标志物贴于电梯门较高处，如图2所示。
智能分析单元，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。基于相关的图像处理技术，通过检测安全标志物区域的图像变化，可以实现以下两点功能：
F1、当前电梯门具体的开关状态判断。
F2、电梯门在运动过程中，对应运动速度的计算。
智能分析单元单元包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备。
具体应用实例中，参见图3所示，定位当前安全标志物具体位置具体包括训练词带和识别样本，具体包括：
S401，从上万台电梯场景中，标定出电梯门上的安全标志物的矩形位置，作为训练视觉词带的样本数据；采样过程如图4所示，图中的矩形框表示选取的安全标志物位置，要求为覆盖原始安全标志物的最大外接矩形。
S402，将上万张从电梯中采样得到的安全标志物图，均分为5*5的若干矩形网格；
S403，对于单张安全标志图，针对其分割的网格依次使用Harris角点计算网格中角点响应最大的三个特征点；针对找到的特征点，使用特征描述子进行采样描述，此处使用的特征描述子包括且不限于SURF，SIFT，ORB这些经典特征算子，假设一个特征点的特征描述向量为r,单个网格包含3个特征描述，其对应的特征向量为P＝r1r2r3，表示三组特征向量的串联，组成单个网格特征向量，则一万张安全标志图提取的特征向量集为1＝{P1......P10000}，至此，训练图的特征数据提取完成；
S404，通过特征聚类得到安全标志物的视觉词带；
S405，在识别样本的过程中，首先重复S403的过程，对于当前检测帧图像进行5*5的网格均分，提取特征；
S406，对于当前帧计算得到的网格特征，依次和S404中存储的视觉词带信息进行词典查询，如果任一网格和词带中存储的特征向量相似度高于一定阈值，认为该网格出包含安全标志物的某块区域，以图像左上角为坐标原点，X方向水平向右，Y方向水平向下，记录该网格中心位置坐标；
S407，对D6中所有获得的位置坐标进行排序，分别选出X方向和Y方向最大最小的四个点：Xmin Xmax YminYmax，根据这四个点可以获得目标矩形左上角顶点(Xmin，Ymin)和右下角顶点(Xmax，Ymax)，由此可以从当前电梯轿厢图像中，定位出安全标志物位置。
进一步的，参见图5，S404，通过特征聚类得到安全标志物的视觉词带包括如下步骤：
S4041，对于S403中提取到的特征向量集1通过Kmeans的方法进行聚类，目标生成5个最能反映安全标志物的视觉描述词；
S4042，从特征向量集1中随机提取5个特征向量，作为初始的聚类中心样本；
S4043，针对5个中心样本，使用特征向量集1中剩余的特征向量进行相似度计算，对于任意向量相对于5个中心样本任意一种的相似度值最大，即将其进行分为该类别，两个特征向量Px和Pj的相似度计算公式如下：
Figure BDA0001943884650000121
上式中，N表示单个特征向量的长度，S表示两个特征向量的相似度；
S4044，在完成第一遍聚类后，在五种类别中分别选取和本类中其他成员相似度均值最大的对象，作为本类新的聚类中心样本，继续迭代重复S4043过程；
迭代若干次后，发现每类的中心样本不再改变，聚类结束，获得五种最能概括表示安全标志物信息的特征词带，存储它们的特征向量信息。
与本发明系统实施例对应的，本发明还提供了一种基于视觉词带的电梯安全标志物定位方法，包括以下步骤：
S1，在电梯门上设置标志物；
为了实现电梯门状态的智能检测，需要在门上粘贴醒目的标志物，包括但不限于安全提示标志，图像广告等，同时为了避免人为干扰，遮挡，标志物贴于电梯门较高处，如图2所示。
S2，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；
以上步骤通过视频采集单元实现，视频采集单元包括但不限于监控摄相机，深度相机等获取图像数据的设备，其安装在电梯轿厢内顶部。
S3，采集传感器送入的数据计算得到速度值；
传感器包括但不限于加速度传感器，陀螺仪，气压计等获取速度，加速度，海拔高度的传感设备；电梯速度采集单元的计算部分包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备，根据传感器获得的信息，利用滤波，积分，差分等数学方法将加速度值，海拔高度值等转换为速度值，根据计算得到的速度值判定当前电梯是否处于运动状态，接着将判定结果传给安全标志物检测单元。
如果是加速度传感器，可通过加速度积分的方法，获取速度值；如果是气压传感器，可以将气压通过下列公式转换为海拔高度，再通过高度差分，获取速度值。
海拔与气压负相关,大致每提高12m，大气压下降1mmHg(1毫升水银柱)或者每上升9m，大气压降低100Pa。
推导公式：海拔高度(h)＝(1013.25-气压/100)*9。
根据安装传感器的不同，根据其传感器的随机误差，设定具体的速度阈值thre,当前速度为s,最后传出电梯运动信号m，和当前速度的关系表达如下式：
Figure BDA0001943884650000131
电梯运动信号m为1时，表示电梯正在运动，电梯门关闭；m为0时，表示电梯静止，不能判断当前电梯门的开关状态。
S4，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动(电梯门关闭)的情况下，定位当前安全标志物具体位置；
以上步骤处理设备包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备。
S5，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。基于相关的图像处理技术，通过检测安全标志物区域的图像变化，可以实现以下两点功能：
F1、当前电梯门具体的开关状态判断。
F2、电梯门在运动过程中，对应运动速度的计算。
以上步骤处理设备包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备。
具体应用实例中，参见图3所示，定位当前安全标志物具体位置具体包括训练词带和识别样本，具体包括：
S401，从上万台电梯场景中，标定出电梯门上的安全标志物的矩形位置，作为训练视觉词带的样本数据；采样过程如图4所示，图中的矩形框表示选取的安全标志物位置，要求为覆盖原始安全标志物的最大外接矩形。
S402，将上万张从电梯中采样得到的安全标志物图，均分为5*5的若干矩形网格；
S403，对于单张安全标志图，针对其分割的网格依次使用Harris角点计算网格中角点响应最大的三个特征点；针对找到的特征点，使用特征描述子进行采样描述，此处使用的特征描述子包括且不限于SURF，SIFT，ORB这些经典特征算子，假设一个特征点的特征描述向量为r,单个网格包含3个特征描述，其对应的特征向量为P＝r1r2r3，表示三组特征向量的串联，组成单个网格特征向量，则一万张安全标志图提取的特征向量集为l＝{P1......P10000}，至此，训练图的特征数据提取完成；
S404，通过特征聚类得到安全标志物的视觉词带；
S405，在识别样本的过程中，首先重复S403的过程，对于当前检测帧图像进行5*5的网格均分，提取特征；
S406，对于当前帧计算得到的网格特征，依次和S404中存储的视觉词带信息进行词典查询，如果任一网格和词带中存储的特征向量相似度高于一定阈值，认为该网格出包含安全标志物的某块区域，以图像左上角为坐标原点，X方向水平向右，Y方向水平向下，记录该网格中心位置坐标；
S407，对D6中所有获得的位置坐标进行排序，分别选出X方向和Y方向最大最小的四个点：Xmin Xmax Ymin Ymax，根据这四个点可以获得目标矩形左上角顶点(Xmin，Ymin)和右下角顶点(Xmax，Ymax)，由此可以从当前电梯轿厢图像中，定位出安全标志物位置。
进一步的，参见图5，S404，通过特征聚类得到安全标志物的视觉词带包括如下步骤：
S4041，对于S403中提取到的特征向量集1通过Kmeans的方法进行聚类，目标生成5个最能反映安全标志物的视觉描述词；
S4042，从特征向量集1中随机提取5个特征向量，作为初始的聚类中心样本；
S4043，针对5个中心样本，使用特征向量集1中剩余的特征向量进行相似度计算，对于任意向量相对于5个中心样本任意一种的相似度值最大，即将其进行分为该类别，两个特征向量Px和Pj的相似度计算公式如下：
Figure BDA0001943884650000161
上式中，N表示单个特征向量的长度，S表示两个特征向量的相似度；
S4044，在完成第一遍聚类后，在五种类别中分别选取和本类中其他成员相似度均值最大的对象，作为本类新的聚类中心样本，继续迭代重复S4043过程；
迭代若干次后，发现每类的中心样本不再改变，聚类结束，获得五种最能概括表示安全标志物信息的特征词带，存储它们的特征向量信息。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (6)

1.一种基于视觉词带的电梯安全标志物定位方法，其特征在于，包括以下步骤：
S1，在电梯门上设置安全标志物；
S2，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；
S3，采集传感器送入的数据计算得到速度值；
S4，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动即电梯门关闭的情况下，定位当前安全标志物具体位置；
S4中定位当前安全标志物具体位置具体包括训练词带和识别样本，具体包括：
S401，从上万台电梯场景中，标定出电梯门上的安全标志物的矩形位置，作为训练视觉词带的样本数据；
S402，将上万张从电梯中采样得到的安全标志物图，均分为5*5的若干矩形网格；
S403，对于单张安全标志图，针对其分割的网格依次使用Harris角点计算网格中角点响应最大的三个特征点；针对找到的特征点，使用特征描述子进行采样描述，此处使用的特征描述子包括SURF，SIFT，ORB这些经典特征算子，假设一个特征点的特征描述向量为r，单个网格包含3个特征描述，其对应的特征向量为P＝r1r2r3，表示三组特征向量的串联，组成单个网格特征向量，则一万张安全标志图提取的特征向量集为l＝{P1......P10000}，至此，训练图的特征数据提取完成；
S404，通过特征聚类得到安全标志物的视觉词带；
S405，在识别样本的过程中，首先重复S403的过程，对于当前检测帧图像进行5*5的网格均分，提取特征；
S406，对于当前帧计算得到的网格特征，依次和S404中存储的视觉词带信息进行词典查询，如果任一网格和词带中存储的特征向量相似度高于一定阈值，认为该网格出包含安全标志物的某块区域，以图像左上角为坐标原点，X方向水平向右，Y方向水平向下，记录该网格中心位置坐标；
S407，对S406中所有获得的位置坐标进行排序，分别选出X方向和Y方向最大最小的四个点：Xmin Xmax Ymin Ymax，根据这四个点可以获得目标矩形左上角顶点(Xmin，Ymin)和右下角顶点(Xmax，Ymax)，由此可以从当前电梯轿厢图像中，定位出安全标志物位置；
S404，通过特征聚类得到安全标志物的视觉词带进一步包括如下步骤：
S4041，对于S403中提取到的特征向量集l通过Kmeans的方法进行聚类，目标生成5个最能反映安全标志物的视觉描述词；
S4042，从特征向量集1中随机提取5个特征向量，作为初始的聚类中心样本；
S4043，针对5个中心样本，使用特征向量集l中剩余的特征向量进行相似度计算，对于任意向量相对于5个中心样本任意一种的相似度值最大，即将其分为该聚类中心样本，两个特征向量Px和Pj的相似度计算公式如下：
Figure FDA0002537453740000021
上式中，N表示单个特征向量的长度，S表示两个特征向量的相似度；
S4044，在完成第一遍聚类后，在五种类别中分别选取和本类中其他成员相似度均值最大的对象，作为本类新的聚类中心样本，继续迭代重复S4043过程；
迭代若干次后，发现每类的中心样本不再改变，聚类结束，获得五种最能概括表示安全标志物信息的特征词带，存储它们的特征向量信息；
S5，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。
2.如权利要求1所述的基于视觉词带的电梯安全标志物定位方法，其特征在于，所述传感器为加速度传感器，通过加速度积分的方法获取速度值。
3.如权利要求1所述的基于视觉词带的电梯安全标志物定位方法，其特征在于，所述传感器为气压传感器，将气压转换海拔高度，再通过高度差分获取速度值。
4.一种基于视觉词带的电梯安全标志物定位系统，其特征在于，包括：
视频采集单元，采集电梯轿厢里的实时图像数据，且保证图像采集视角能够完整覆盖电梯门区域；
电梯速度采集单元，采集传感器送入的数据计算得到速度值；
安全标志物检测单元，根据视频采集传输过来的图像数据，以及电梯速度采集单元传入的电梯是否运动的信号，选择在电梯运动的情况下，定位在电梯门上设置的安全标志物当前具体位置，
定位当前安全标志物具体位置具体包括训练词带和识别样本，具体包括：
S401，从上万台电梯场景中，标定出电梯门上的安全标志物的矩形位置，作为训练视觉词带的样本数据；
S402，将上万张从电梯中采样得到的安全标志物图，均分为5*5的若干矩形网格；
S403，对于单张安全标志图，针对其分割的网格依次使用Harris角点计算网格中角点响应最大的三个特征点；针对找到的特征点，使用特征描述子进行采样描述，此处使用的特征描述子包括SURF，SIFT，ORB这些经典特征算子，假设一个特征点的特征描述向量为r，单个网格包含3个特征描述，其对应的特征向量为P＝r1r2r3，表示三组特征向量的串联，组成单个网格特征向量，则一万张安全标志图提取的特征向量集为l＝{P1......P10000}，至此，训练图的特征数据提取完成；
S404，通过特征聚类得到安全标志物的视觉词带；
S405，在识别样本的过程中，首先重复S403的过程，对于当前检测帧图像进行5*5的网格均分，提取特征；
S406，对于当前帧计算得到的网格特征，依次和S404中存储的视觉词带信息进行词典查询，如果任一网格和词带中存储的特征向量相似度高于一定阈值，认为该网格出包含安全标志物的某块区域，以图像左上角为坐标原点，X方向水平向右，Y方向水平向下，记录该网格中心位置坐标；
S407，对S406中所有获得的位置坐标进行排序，分别选出X方向和Y方向最大最小的四个点：Xmin Xmax Ymin Ymax，根据这四个点可以获得目标矩形左上角顶点(Xmin，Ymin)和右下角顶点(Xmax，Ymax)，由此可以从当前电梯轿厢图像中，定位出安全标志物位置；
S404，通过特征聚类得到安全标志物的视觉词带进一步包括如下步骤：
S4041，对于S403中提取到的特征向量集l通过Kmeans的方法进行聚类，目标生成5个最能反映安全标志物的视觉描述词；
S4042，从特征向量集l中随机提取5个特征向量，作为初始的聚类中心样本；
S4043，针对5个中心样本，使用特征向量集l中剩余的特征向量进行相似度计算，对于任意向量相对于5个中心样本任意一种的相似度值最大，即将其分为该聚类中心样本，两个特征向量Px和Pj的相似度计算公式如下：
Figure FDA0002537453740000041
上式中，N表示单个特征向量的长度，S表示两个特征向量的相似度；
S4044，在完成第一遍聚类后，在五种类别中分别选取和本类中其他成员相似度均值最大的对象，作为本类新的聚类中心样本，继续迭代重复S4043过程；
迭代若干次后，发现每类的中心样本不再改变，聚类结束，获得五种最能概括表示安全标志物信息的特征词带，存储它们的特征向量信息；
智能分析单元，通过安全标志物检测单元传递过来的具体坐标信息，提取出安全标志物在监控图像中的对应位置，作为之后门运动状态分析的输入信息。
5.如权利要求4所述的基于视觉词带的电梯安全标志物定位系统，其特征在于，所述传感器为加速度传感器，通过加速度积分的方法获取速度值。
6.如权利要求4所述的基于视觉词带的电梯安全标志物定位系统，其特征在于，所述传感器为气压传感器，将气压转换为海拔高度，再通过高度差分获取速度值。
CN201910030098.8A 2019-01-14 2019-01-14 基于视觉词带的电梯安全标志物定位方法与系统 Active CN109592528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910030098.8A CN109592528B (zh) 2019-01-14 2019-01-14 基于视觉词带的电梯安全标志物定位方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910030098.8A CN109592528B (zh) 2019-01-14 2019-01-14 基于视觉词带的电梯安全标志物定位方法与系统

Publications (2)

Publication Number Publication Date
CN109592528A CN109592528A (zh) 2019-04-09
CN109592528B true CN109592528B (zh) 2020-09-08

Family

ID=65966124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910030098.8A Active CN109592528B (zh) 2019-01-14 2019-01-14 基于视觉词带的电梯安全标志物定位方法与系统

Country Status (1)

Country Link
CN (1) CN109592528B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110127479B (zh) * 2019-04-17 2020-08-21 浙江工业大学 一种基于视频分析的电梯门开关异常检测方法
CN110589648B (zh) * 2019-09-03 2021-04-16 浙江新再灵科技股份有限公司 一种基于深度学习的直梯门标签检测方法
CN115352977A (zh) * 2022-09-30 2022-11-18 希格迈电梯科技(南通)有限公司 一种高层电梯运行异常报警方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE89362T1 (de) * 1988-06-03 1993-05-15 Inventio Ag Verfahren und vorrichtung zur steuerung der tuerstellung einer automatischen tuer.
JPH0986841A (ja) * 1995-09-28 1997-03-31 Otis Elevator Co エレベータのドア閉装置
WO2009140793A1 (en) * 2008-05-22 2009-11-26 Otis Elevator Company Video-based system and method of elevator door detection
KR20130067180A (ko) * 2011-12-13 2013-06-21 장재영 현관 입구에 승강기 1층 버튼의 기능을 대신하는 적외선 센서 시스템
CN206395638U (zh) * 2016-12-06 2017-08-11 宁波永良电梯技术发展有限公司 电梯轿厢停靠检测系统
CN106586752B (zh) * 2017-01-23 2019-01-22 大连奥远电子股份有限公司 一种采集电梯轿门开关信息的系统
CN107915102B (zh) * 2017-11-02 2020-04-24 浙江新再灵科技股份有限公司 一种基于视频分析的电梯遮挡门行为的检测系统及检测方法

Also Published As

Publication number Publication date
CN109592528A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN106384079B (zh) 一种基于rgb-d信息的实时行人跟踪方法
CN109592528B (zh) 基于视觉词带的电梯安全标志物定位方法与系统
WO2020093630A1 (zh) 一种基于多尺度深度语义分割网络的天线下倾角测量方法
CN115691026B (zh) 一种森林防火的智能预警监控管理方法
KR101157073B1 (ko) 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치
Wang et al. Object detection in terrestrial laser scanning point clouds based on Hough forest
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN110110650A (zh) 行人中的人脸识别方法
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN110443830B (zh) 一种基于混合高斯背景模型的降水云团检测方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN110674674A (zh) 一种基于yolo v3的旋转目标检测方法
CN104732248B (zh) 基于Omega形状特征的人体目标检测方法
CN107463873B (zh) 一种基于rgbd深度传感器的实时手势分析与评价方法与系统
CN107358248B (zh) 一种提高跌倒检测系统精度的方法
CN104966305A (zh) 基于运动矢量划分的前景检测方法
CN111724566A (zh) 基于智慧灯杆视频监控系统的行人跌倒检测方法和装置
CN109579774B (zh) 一种基于深度实例分割网络的天线下倾角测量方法
CN107610224B (zh) 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法
CN111367901B (zh) 一种船舶数据去噪方法
CN110516524A (zh) 一种交通场景中基于Mask R-CNN的车辆轴数识别方法
CN113820682A (zh) 一种基于毫米波雷达的目标检测方法及装置
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法
CN116400830A (zh) 基于触摸屏不同触控动作的检测控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant