CN108275530A - 一种基于机器学习的电梯安全预警方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的电梯安全预警方法，采用自动运动匹配、噪声干扰处理及超分辨率等方法，融合处理有效信息并提取相关特征进行动态捕捉及预警。本发明通过动态捕捉视频信息与自动预警机制建立关联，提示目标物的出现以便安检人员及时采取措施，同时自动提取有关联信息的视频，便于维修人员进行串并案分析及视频比对分析处理，找到有价值的线索等。

Description

一种基于机器学习的电梯安全预警方法

技术领域

本发明属于图像数据处理技术领域，尤其涉及一种基于机器学习的电梯安全预警方法。

背景技术

近期，电梯事故频发，短短两天之内，就发生了多起电梯安全事故。宜昌、深圳、西安，不同的地点上演着同样的惨剧，血的教训使得电梯安全隐患再一次引起广泛关注。每天乘坐多次的电梯已经融入了我们的日常生活，可谁又能料到，搭乘电梯这样一件普通的事情也会存在诸多危险。而众多电梯安全事故中，由于电梯轿厢还没到，电梯厅门打开，乘坐电梯的人踩空坠亡的事故最多。电梯门分轿门和厅门两种，安装在楼道里的电梯门叫厅门，安装在轿厢上的门叫轿门。电梯轿厢停稳后，安装在轿厢上的开门机开始工作，开启轿门，轿门同时带动厅门，两层门一起打开。正常情况下，轿厢未停稳时，厅门是锁住的，厅门本身也没有动力，不可能自动打开，就算有人用力拽门，也不会打开。但是，厅门松动后，或是电梯故障后，就会出现电梯轿厢还没到，电梯厅门打开的现象，现有技术中，还没有能够检测这一现，并对乘坐电梯的人进行提醒的装置。

神经网络在工程中的应用是从20世纪90年代才开始的，一般为多层前馈的BP神经网络，但BP神经网络存在局部最优问题，并且训练速度慢、效率低，而模糊神经网络在一定程度上克服了这些问题，它在逼近能力、分类能力和学习速度等方面均优于BP神经网络。而Rough Sets理论(简称RS理论)在操作时无须提供除问题所需处理的数据集合之外的任何先验信息，可以直接对多维数据实施基于属性和元组两个方向上的一致数据浓缩或不一致数据浓缩，从中发现隐含的知识，揭示潜在的规律。

图像特征匹配越发成为影像测量、计算机视觉和模式识别等领域研究的基本问题以及物体识别、跟踪等应用的重要基础。对于同一场景的多幅遥感影像而言，它们之间可能存在多种差异：不同的分辨率、灰度属性、位置(平移和旋转)、比例尺、非线性变形等等。传统的特征点检测算法，如基于模板匹配的特征点检测算法不易设计出大量模板来匹配纹理细腻的特征点；基于边缘检测的特征点检测算法精度不高；基于亮度变化的特征点检测算法受噪声，光照的影响很大。

目前已有的基于特征的图像匹配方法还存在一个共同的问题：它们所采用特征点的不变性一般较差，特别是通常并不具备对仿射或透射投影变换的不变性。因此，具有较大差异和特征变形的影像的匹配仍然是一个难点问题。

尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法是一种基于尺度空间理论提取图像局部特征的有效算法。通过在高斯差分尺度空间(Difference OfGaussian,DOG)寻找极值点作为关键点，SIFT特征对尺度缩放、旋转、光照变化均保持不变，对仿射变换、视点变换、噪声干扰均有一定程度的稳定性，但是SIFT特征匹配处理面临数据量大、计算复杂度高和运算量大的问题，在实时性要求较高的电梯安全运行应用场合中，应用受到了限制。

综上所述，现有技术存在的问题是：

现有电梯安全监控可靠性低，对潜在隐患不能提前揭示。

发明内容

本发明的目的在于提供一种基于机器学习的电梯安全预警方法，旨在解决目前散焦模糊、噪声及分辨率低等问题。

本发明是这样实现的，

一种基于机器学习的电梯安全预警方法：采用自动运动匹配、噪声干扰处理及超分辨率等方法，融合处理有效信息并提取相关特征进行电梯动态捕捉及电梯安全预警。

进一步，自动运动匹配的方法包括：

读取电梯安全运行输入影像到主存，将不同尺度的高斯核数据由主存传入到GPU的常数存储器中；

利用在GPU中计算的关键点集合信息，启动kernel计算在关键点附近像素的梯度大小和方向；

计算128维的SIFT描述符；

进行SIFT特征匹配，确定匹配点位；

在GPU中进行分步连续滤波加速高斯尺度空间金字塔的构建，并将高斯金字塔存储在全局存储器内；然后高斯金字塔影像被回读到CPU，相邻尺度的两个高斯影像相减得到DOG金字塔多尺度空间表示；当把候选特征点集合信息上传至GPU中后，便可在GPU内对高斯差分金字塔所有候选特征点进行精确定位。计算关键点周围影像强度的主曲率，通过一个2×2的Hessian矩阵计算特征值比率，检测关键点主曲率是否超过设定的阈值，通过去掉多余的点后，确定关键点集合并精确标记关键点的位置，尺度。关键点位置、尺度将在GPU中恢复；

利用已经存储在全局存储器中的高斯权重函数，对关键点邻域窗口内的各像素的梯度大小进行高斯加权并累加建立方向直方图，检测直方图的峰值，确定关键点主方向；

以关键点为中心的16×16影像数据块根据关键点的尺度、位置和方向构造SIFT描述符的过程在CPU上实现；

确定匹配点位按照原始点的自然顺序将维度数据读入共享存储器，优化的重点是距离计算，保证每个维度差值的平方在同一时刻被计算和维度数目的中间结果的累加方式高效。

本发明提供一种自动运动匹配系统包括：

CPU单元、北桥芯片单元、系统存储器单元、图形适配器单元：

CPU单元作为主处理器的子系统，用于解释计算机指令以及处理计算机软件中的数据，进行计算；

北桥芯片单元通过前端总线和CPU单元相连，用于提供对CPU的类型和主频、内存的类型和最大容量、ISA/PCI/AGP插槽、ECC纠错支持；

系统存储器单元通过存储器总线和北桥芯片单元相连，用于存储数据的信息；

图形适配器单元通过PCI-Express总线和北桥芯片单元相连，用于控制计算机图形的输出；

GPU模块安装在图形适配器单元上，是图形适配器的核心，用于进行大量的简单并行计算并将数据画成图形；

GPU存储器模块通过DMA操作和GPU模块相连，用于储存收集到的数据；

图形适配器单元包含两个图形适配器。

进一步，对噪声干扰处理方法为：

采用稀疏冗余模型算法进行图像增强:

对自然图像中在小波基下呈现近零元素系数很多，而非零元素系数很少的变换系数向量的“稀疏性”，进行建立系数冗余模型；

首先，假定原图像收到了加性高斯噪声的污染，则污染后的图像称之为退化图像，而图像恢复的过程是退化图像的逆过程，假定图像的退化模型即加性高斯噪声为：

g＝Hu+v

则图像的恢复模型表示为：

由于噪声的干扰，并不能得到合适且唯一的解，对恢复模型施加一个正则性约束。则恢复模型即变为变分模型：

R(u)即为正则项，该项是与图像的本身性质有关，利用稀疏冗余字典模型来描述R(u)。

进一步，融合处理有效信息并提取相关特征进行动态捕捉及预警方法结合改进的LRR模型和形态学操作获得电梯运行状况。并进行多个特征相结合，能有效提高电梯安全运行状况检测的鲁棒性和准确性，减少误检。具体为：

将输入的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：

利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：

利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：

拟合计算自适应阈值的方法：

进一步，验证图像特征点的提取及匹配方法为：通过图像在不同尺度空间中的特性和图像关键点的确立进行验证；

图像在不同尺度空间中的特性：

利用靠高斯模糊建立尺度空间，通过尺度参数不同的变化，观察图像在不同尺度空间中的特性，确立高斯卷积核为尺度空间内核唯一合理的线性核，

在一个图像的尺度空间为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中，G(x，y，σ)表示一个变化尺度的高斯函数，I(x，y)表示原图像，σ为尺度参数，m，n表示高斯模板的维度，(x，y)b表示图像的像素位置,通过对尺度参数的改变，观察图像特性；

图像关键点的确立方法为：

利用高斯差分函数：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

通过对两个相邻高斯函数进行相减，得到高斯差分函数，并取得该函数的极值点，从而初步测得关键点。

本发明中，通过图像处理技术，在监控系统中增加智能分析功能模块，借助计算机的数据处理能力进而过滤掉图像中无用的信息或干扰信息、自动识别不同物体，分析抽取视频中关键有用信息，快速、准确得定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警、事中处理以及事后取证的全自动实时监控的智能系统；

对监控模糊图像，采用模糊神经网络和RS理论等，对目标物进行检测识别，改进并提出新的算法，提高模糊图像辨识率；融合处理有效信息并动态提取目标物特征进行动态捕捉及预警，达到国家先进水平；

支持与前端视频监控的对接，自动将有价值的视频联网采集到搜索视频中，减少视频采集的工作量；

快速定位目标物出现区域，以便安检人员有针对性的加强警力部署或就近增加监控摄像头等；

通过动态捕捉视频信息与自动预警机制建立关联，提示目标物的出现以便安检人员及时采取措施，同时自动提取有关联信息的视频，便于维修人员进行串并案分析及视频比对分析处理，找到有价值的线索等；

对不同的监控视频格式自动识别其格式封装和码流，并以在线流媒体方式供维修人员调阅，支持主流DVR，NVR厂家的视频格式直接播放，也支持主流D V、手机所拍摄的视频格式，实现多种视频格式的在线播放、视频快速查阅等。

本发明解决了目前散焦模糊、噪声及分辨率低等问题。

本发明提供的SIFT特征匹配软件系统基于GPU的SIFT特征匹配算法通过并行性分析，将许多计算分割在CPU和GPU之间分别计算，发挥了各自的计算优势，充分体现了CPU+GPU异构计算的强大能力。使SIFT特征匹配GPU并行算法较CPU串行算法速度提高了近40倍，大幅缩短数据处理的时间，实时性有了很大的提高，实现电梯安全运行特征点提取和匹配。

附图说明

图1是本发明实施例提供的自动运动匹配的方法的流程图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作进一步描述。

本发明实施例提供的基于机器学习的电梯安全预警方法，为：

采用自动运动匹配、噪声干扰处理及超分辨率等方法，融合处理有效信息并提取相关特征进行动态捕捉及预警。

如图1所示，本发明实施例提供的自动运动匹配的方法包括：

S101：读取电梯安全运行输入影像到主存，将不同尺度的高斯核数据由主存传入到GPU的常数存储器中；

S102：利用在GPU中计算的关键点集合信息，启动kernel计算在关键点附近像素的梯度大小和方向；

S103：计算128维的SIFT描述符；

S104：进行SIFT特征匹配，确定匹配点位；

在GPU中进行分步连续滤波加速高斯尺度空间金字塔的构建，并将高斯金字塔存储在全局存储器内；然后高斯金字塔影像被回读到CPU，相邻尺度的两个高斯影像相减得到DOG金字塔多尺度空间表示；当把候选特征点集合信息上传至GPU中后，便可在GPU内对高斯差分金字塔所有候选特征点进行精确定位。计算关键点周围影像强度的主曲率，通过一个2×2的Hessian矩阵计算特征值比率，检测关键点主曲率是否超过设定的阈值，通过去掉多余的点后，确定关键点集合并精确标记关键点的位置，尺度。关键点位置、尺度将在GPU中恢复；

利用已经存储在全局存储器中的高斯权重函数，对关键点邻域窗口内的各像素的梯度大小进行高斯加权并累加建立方向直方图，检测直方图的峰值，确定关键点主方向；

以关键点为中心的16×16影像数据块根据关键点的尺度、位置和方向构造SIFT描述符的过程在CPU上实现；

确定匹配点位按照原始点的自然顺序将维度数据读入共享存储器，优化的重点是距离计算，保证每个维度差值的平方在同一时刻被计算和维度数目的中间结果的累加方式高效。

本发明提供一种自动运动匹配系统包括：

CPU单元、北桥芯片单元、系统存储器单元、图形适配器单元：

CPU单元作为主处理器的子系统，用于解释计算机指令以及处理计算机软件中的数据，进行计算；

北桥芯片单元通过前端总线和CPU单元相连，用于提供对CPU的类型和主频、内存的类型和最大容量、ISA/PCI/AGP插槽、ECC纠错支持；

系统存储器单元通过存储器总线和北桥芯片单元相连，用于存储数据的信息；

图形适配器单元通过PCI-Express总线和北桥芯片单元相连，用于控制计算机图形的输出；

GPU模块安装在图形适配器单元上，是图形适配器的核心，用于进行大量的简单并行计算并将数据画成图形；

GPU存储器模块通过DMA操作和GPU模块相连，用于储存收集到的数据；

图形适配器单元包含两个图形适配器。

对噪声干扰处理方法为：

采用稀疏冗余模型算法进行图像增强:

对自然图像中在小波基下呈现近零元素系数很多，而非零元素系数很少的变换系数向量的“稀疏性”，进行建立系数冗余模型；

首先，假定原图像收到了加性高斯噪声的污染，则污染后的图像称之为退化图像，而图像恢复的过程是退化图像的逆过程，假定图像的退化模型即加性高斯噪声为：

g＝Hu+v

则图像的恢复模型表示为：

由于噪声的干扰，并不能得到合适且唯一的解，对恢复模型施加一个正则性约束。则恢复模型即变为变分模型：

R(u)即为正则项，该项是与图像的本身性质有关，利用稀疏冗余字典模型来描述R(u)。

融合处理有效信息并提取相关特征进行动态捕捉及预警方法为：

具体为：

将输入的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：

利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：

利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：

拟合计算自适应阈值的方法：

验证图像特征点的提取及匹配方法为：通过图像在不同尺度空间中的特性和图像关键点的确立进行验证；

图像在不同尺度空间中的特性：

利用靠高斯模糊建立尺度空间，通过尺度参数不同的变化，观察图像在不同尺度空间中的特性，确立高斯卷积核为尺度空间内核唯一合理的线性核，

在一个图像的尺度空间为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中，G(x，y，σ)表示一个变化尺度的高斯函数，I(x，y)表示原图像，σ为尺度参数，m，n表示高斯模板的维度，(x，y)b表示图像的像素位置,通过对尺度参数的改变，观察图像特性；

图像关键点的确立方法为：

利用高斯差分函数：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

通过对两个相邻高斯函数进行相减，得到高斯差分函数，并取得该函数的极值点，从而初步测得关键点。

下面结合实施例对本发明的应用原理作进一步描述。

多目标跟踪技术:

多目标跟踪技术是智能视频监控系统的核心技术，涉及到计算机图像处理、模式识别、人工智能及自动控制等诸多相关领域的知识，而智能视频监控能够现实复杂场景中对运动目标的识别和跟踪，检测场景事件和判断危险事件的发生，因此，应加大对多目标跟踪技术的工作，提高视频监控系统的智能化水平，改善监控系统的精准度。

在现实复杂场景中，针对视频监控图像中的运动目标，本发明应用光流法和帧差法这两种运动目标检测技术对运动目标进行识别和跟踪。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于机器学习的电梯安全预警方法，其特征在于，所述基于机器学习的电梯安全预警方法为：采用自动运动匹配、噪声干扰处理及超分辨率方法，融合处理有效信息并提取相关特征进行电梯动态捕捉及电梯安全预警。

2.如权利要求1所述的基于机器学习的电梯安全预警方法，其特征在于，自动运动匹配的方法包括：

读取电梯安全运行输入影像到主存，将不同尺度的高斯核数据由主存传入到GPU的常数存储器中；

利用在GPU中计算的关键点集合信息，启动kernel计算在关键点附近像素的梯度大小和方向；

计算128维的SIFT描述符；

进行SIFT特征匹配，确定匹配点位；

在GPU中进行分步连续滤波加速高斯尺度空间金字塔的构建，并将高斯金字塔存储在全局存储器内；然后高斯金字塔影像被回读到CPU，相邻尺度的两个高斯影像相减得到DOG金字塔多尺度空间表示；当把候选特征点集合信息上传至GPU中后，便可在GPU内对高斯差分金字塔所有候选特征点进行精确定位。计算关键点周围影像强度的主曲率，通过一个2×2的Hessian矩阵计算特征值比率，检测关键点主曲率是否超过设定的阈值，通过去掉多余的点后，确定关键点集合并精确标记关键点的位置，尺度。关键点位置、尺度将在GPU中恢复；

利用已经存储在全局存储器中的高斯权重函数，对关键点邻域窗口内的各像素的梯度大小进行高斯加权并累加建立方向直方图，检测直方图的峰值，确定关键点主方向；

以关键点为中心的16×16影像数据块根据关键点的尺度、位置和方向构造SIFT描述符的过程在CPU上实现；

确定匹配点位按照原始点的自然顺序将维度数据读入共享存储器，优化的重点是距离计算，保证每个维度差值的平方在同一时刻被计算和维度数目的中间结果的累加方式高效。

3.一种如权利要求2所述的基于机器学习的电梯安全预警方法的自动运动匹配系统，其特征在于，所述自动运动匹配系统包括：

CPU单元、北桥芯片单元、系统存储器单元、图形适配器单元：

CPU单元作为主处理器的子系统，用于解释计算机指令以及处理计算机软件中的数据，进行计算；

北桥芯片单元通过前端总线和CPU单元相连，用于提供对CPU的类型和主频、内存的类型和最大容量、ISA/PCI/AGP插槽、ECC纠错支持；

系统存储器单元通过存储器总线和北桥芯片单元相连，用于存储数据的信息；

图形适配器单元通过PCI-Express总线和北桥芯片单元相连，用于控制计算机图形的输出；

GPU模块安装在图形适配器单元上，是图形适配器的核心，用于进行大量的简单并行计算并将数据画成图形；

GPU存储器模块通过DMA操作和GPU模块相连，用于储存收集到的数据；

图形适配器单元包含两个图形适配器。

4.如权利要求1所述的基于机器学习的电梯安全预警方法，其特征在于，对噪声干扰处理方法为：

采用稀疏冗余模型算法进行图像增强:

对自然图像中在小波基下呈现近零元素系数很多，而非零元素系数很少的变换系数向量的稀疏性，进行建立系数冗余模型；

首先，假定原图像收到了加性高斯噪声的污染，则污染后的图像称之为退化图像，而图像恢复的过程是退化图像的逆过程，假定图像的退化模型即加性高斯噪声为：

g＝Hu+v

则图像的恢复模型表示为：

由于噪声的干扰，并不能得到合适且唯一的解，对恢复模型施加一个正则性约束。则恢复模型即变为变分模型：

R(u)即为正则项，该项是与图像的本身性质有关，利用稀疏冗余字典模型来描述R(u)。

5.如权利要求1所述的基于机器学习的电梯安全预警方法，其特征在于，融合处理有效信息并提取相关特征进行动态捕捉及预警的方法为：

将输入的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：

利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：

利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：

拟合计算自适应阈值的方法：

6.如权利要求5所述的基于机器学习的电梯安全预警方法，其特征在于，验证图像特征点的提取及匹配方法为：通过图像在不同尺度空间中的特性和图像关键点的确立进行验证；

图像在不同尺度空间中的特性：

利用靠高斯模糊建立尺度空间，通过尺度参数不同的变化，观察图像在不同尺度空间中的特性，确立高斯卷积核为尺度空间内核唯一合理的线性核，

在一个图像的尺度空间为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中，G(x，y，σ)表示一个变化尺度的高斯函数，I(x，y)表示原图像，σ为尺度参数，m，n表示高斯模板的维度，(x，y)b表示图像的像素位置，通过对尺度参数的改变，观察图像特性；

图像关键点的确立方法为：

利用高斯差分函数：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

通过对两个相邻高斯函数进行相减，得到高斯差分函数，并取得该函数的极值点，从而初步测得关键点。