CN109761118A - 基于机器视觉的智慧梯联网控制方法及系统 - Google Patents

Abstract

本发明提供一种基于机器视觉的智慧梯联网控制系统，包括摄像头音视频模块，用于采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；多轴加速度传感器模块，用于采集电梯运行过程中的各项加速度值，并进行预处理后生成电梯运行数据结果；主处理模块，用于对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器。本发明还提供一种系统所对应的方法。本发明优点在于：通过结合机器视觉分析、音视频数据采样和多轴加速度采样来综合分析判断电梯的运行逻辑、运行健康状态、运行故障并上传云端，可为电梯维护方或者使用方及时排查故障隐患带来极大的方便。

Description

基于机器视觉的智慧梯联网控制方法及系统

技术领域

本发明涉及物联网领域，特别涉及基于机器视觉的智慧梯联网控制方法及系统。

背景技术

电梯是一种以电动机为动力的垂直升降机，装有箱状吊舱，用于多层建筑乘人或载运货物。目前，电梯已在多层建筑中得到了广泛的应用，且有很大一部分电梯都是用于乘人使用，因此，电梯的安全一直以来都是备受关注的。

电梯的控制系统是整个电梯的核心组成部分，一个完善的控制系统可以为电梯的安全性和稳定性提供保障。但是，现有的电梯控制系统存在有以下不足之处：在传统的电梯控制系统中，都是采用一些传感器来采集信号，比如使用光电传感器或者机械挡板来判断电梯门开关，使用重量传感器来判断重量等，并将传感器传输的信号通过梯联网控制系统再联网；但是，通过传感器仅能实现对一些简单的电梯开关门、重量等进行判断，而针对电梯是否存在异响、摩擦、顿挫等安全隐患，乘客是否存在拍打梯门、强开梯门、斗殴、跳跃等行为都无法进行判断，也无法对电梯运行健康状态进行综合分析，因此，不利于电梯维护方或者使用方及时排查电梯故障隐患。

发明内容

本发明要解决的技术问题之一，在于提供一种基于机器视觉的智慧梯联网控制系统，该系统通过结合机器视觉分析、音视频数据采样和多轴加速度采样来综合分析判断电梯的运行逻辑、运行健康状态、运行故障，并生成梯联网数据上报给云端，可为电梯维护方或者使用方及时排查故障隐患带来极大的方便。

本发明是这样实现技术问题之一的：基于机器视觉的智慧梯联网控制系统，所述系统包括摄像头音视频模块、多轴加速度传感器模块以及主处理模块：

所述摄像头音视频模块，用于采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；

所述多轴加速度传感器模块，用于采集电梯运行过程中的各项加速度值，并进行预处理后生成电梯运行数据结果；

所述主处理模块，用于对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器。

进一步地，所述系统还包括音视频播放模块；

所述音视频播放模块，用于对相关的音视频内容进行合成和播放。

进一步地，在所述摄像头音视频模块中，所述采用训练后的深度学习神经网络模型来识别音视频数据中的目标具体为：

预先拍摄用于训练的各种图片以及录制用于训练的各种语音片段，并将拍摄的图片以及录制的语音片段存储于训练数据库中；

标注训练数据库中各图片的信息得到标注图像，标注训练数据库中各语音片段的信息得到标注语音片段；

采用神经网络识别标注图像和标注语音片段，进行深度学习训练神经网络，得到训练后的深度学习神经网络模型；

采用深度学习神经网络模型来识别音视频数据中的视频数据的各帧图像中的目标，得到图像预判信息；同时采用深度学习神经网络模型来识别视频数据中的音频数据的各语音片段的目标，得到语音片段预判信息。

进一步地，在所述多轴加速度传感器模块中，所述进行预处理后生成电梯运行数据结果具体为：利用采集的各项加速度值来计算电梯的运行速度和运行高度。

进一步地，所述主处理模块具体为：

对目标识别结果和电梯运行数据结果进行综合分析，包括：判断电梯开关门、乘客数量、乘客总重量、按键动作、目的楼层或者乘客异常动作，分析电梯上下行的运行健康状态，判断电梯是否存在安全隐患；

在分析完后自动生成梯联网数据，并将梯联网数据上报给远程服务器。

本发明要解决的技术问题之二，在于提供一种基于机器视觉的智慧梯联网控制方法，该方法通过结合机器视觉分析、音视频数据采样和多轴加速度采样来综合分析判断电梯的运行逻辑、运行健康状态、运行故障，并生成梯联网数据上报给云端，可为电梯维护方或者使用方及时排查故障隐患带来极大的方便。

本发明是这样实现技术问题之二的：基于机器视觉的智慧梯联网控制方法，所述方法包括：

采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；

采集电梯运行过程中的各项加速度值，并进行预处理后生成电梯运行数据结果；

对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器。

进一步地，所述方法还包括：对相关的音视频内容进行合成和播放。

进一步地，所述采用训练后的深度学习神经网络模型来识别音视频数据中的目标具体为：

预先拍摄用于训练的各种图片以及录制用于训练的各种语音片段，并将拍摄的图片以及录制的语音片段存储于训练数据库中；

标注训练数据库中各图片的信息得到标注图像，标注训练数据库中各语音片段的信息得到标注语音片段；

采用神经网络识别标注图像和标注语音片段，进行深度学习训练神经网络，得到训练后的深度学习神经网络模型；

采用深度学习神经网络模型来识别音视频数据中的视频数据的各帧图像中的目标，得到图像预判信息；同时采用深度学习神经网络模型来识别视频数据中的音频数据的各语音片段的目标，得到语音片段预判信息。

进一步地，所述进行预处理后生成电梯运行数据结果具体为：利用采集的各项加速度值来计算电梯的运行速度和运行高度。

进一步地，对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器具体为：

对目标识别结果和电梯运行数据结果进行综合分析，包括：判断电梯开关门、乘客数量、乘客总重量、按键动作、目的楼层或者乘客异常动作，分析电梯上下行的运行健康状态，判断电梯是否存在安全隐患；

在分析完后自动生成梯联网数据，并将梯联网数据上报给远程服务器。

本发明具有如下优点：本发明通过结合机器视觉分析、音视频数据采样和多轴加速度采样来综合分析判断电梯的运行逻辑、运行健康状态、运行故障，并生成梯联网数据上报给云端，可为电梯维护方或者使用方及时排查故障隐患带来极大的方便。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明基于机器视觉的智慧梯联网控制系统的原理框图。

图2为本发明基于机器视觉的智慧梯联网控制方法的流程框图。

具体实施方式

请参阅图1至图2所示，本发明基于机器视觉的智慧梯联网控制系统的较佳实施例，所述系统包括摄像头音视频模块、多轴加速度传感器模块以及主处理模块：

所述摄像头音视频模块，用于采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；

所述多轴加速度传感器模块，用于采集电梯运行过程中的各项加速度值，例如电梯振动、上下行等加速度值，并进行预处理后生成电梯运行数据结果；在具体实施时，所述多轴加速度传感器模块可以采用例如LIS3DH三轴加速度计等来实现各项加速度值的采集；

所述主处理模块，用于对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器，远程服务器会记录和存储梯联网数据(包括音视频数据、电梯运行记录、故障记录等等)，并可供相关人员随时查询。

由上述可知，本发明通过结合机器视觉分析、音视频数据采样和多轴加速度采样来综合分析判断电梯的运行逻辑、运行健康状态、运行故障，并生成梯联网数据上报给云端，可为电梯维护方或者使用方及时排查故障隐患带来极大的方便。

所述系统还包括音视频播放模块；

所述音视频播放模块，用于对相关的音视频内容进行合成和播放。在具体实施时，可在电梯中选配液晶或投影功能，可动态显示当前电梯的运行状态数据、维保信息等；同时还可根据乘客数量、年龄类别等，来播放相应的提示视频内容。

在所述摄像头音视频模块中，所述采用训练后的深度学习神经网络模型来识别音视频数据中的目标具体为：

预先拍摄用于训练的各种图片以及录制用于训练的各种语音片段，并将拍摄的图片以及录制的语音片段存储于训练数据库中；在具体实施时，可以预先拍摄电梯开门图片、电梯关门图片、按键动作图片、乘客识别图片、电梯相应动作图片、乘客拍打电梯门图片、乘客抽烟图片、乘客斗殴图片、乘客跳跃图片等等，录制电梯报警语音片段、电梯异响语音片段、乘客吵闹语音片段等等，并将拍摄的图片和录制的语音片段存储到训练数据库中，以用于对神经网络进行训练；

标注训练数据库中各图片的信息得到标注图像，标注训练数据库中各语音片段的信息得到标注语音片段；例如，针对电梯开门的图片，就对该图片标注“电梯开门”；又如，针对电梯报警语音片段，就对该语音片段标注“电梯报警”等等；

采用神经网络识别标注图像和标注语音片段，进行深度学习训练神经网络，得到训练后的深度学习神经网络模型；在具体进行训练操作时，可以学习包括：电梯逻辑动作的识别(如电梯门开关)、乘客数量识别、乘客体重识别、乘客异常动作识别(如抽烟、斗殴、强开梯门等)、异常声音识别(如拍打电梯声、电梯异响声音、乘客吵闹声等)等等；

采用深度学习神经网络模型来识别音视频数据中的视频数据的各帧图像中的目标，得到图像预判信息；同时采用深度学习神经网络模型来识别视频数据中的音频数据的各语音片段的目标，得到语音片段预判信息。例如，当深度学习神经网络模型识别到视频数据的某一帧图像与预先训练的电梯开门图片相似度很高(比如相似度达到90％)，那么，就将该帧图像识别为电梯开门；又如，当深度学习神经网络模型识别到音频数据的某一语音片段与预先训练的电梯报警语音片段相似度很高(比如相似度达到85％)，那么，就将该语音片段识别为电梯报警；再如，当深度学习神经网络模型根据之前的学习分析识别出某一帧图像中共搭乘有10个乘客，那么，就将电梯中的乘客数量识别为10个。

在所述多轴加速度传感器模块中，所述进行预处理后生成电梯运行数据结果具体为：利用采集的各项加速度值来计算电梯的运行速度和运行高度。在具体实施时，通过采集到的加速度值，再结合电梯运行的时间就可以计算出电梯的运行速度和运行高度，通过运行高度还可以实现对电梯所处楼层的判断等。

所述主处理模块具体为：

对目标识别结果和电梯运行数据结果进行综合分析，包括：判断电梯开关门、乘客数量、乘客总重量、按键动作、目的楼层或者乘客异常动作(如拍打梯门、强开梯门、抽烟、斗殴、跳跃等行为)，分析电梯上下行的运行健康状态，判断电梯是否存在安全隐患(如存在异响、摩擦、顿挫、振动等安全隐患)；

在分析完后自动生成梯联网数据，并将梯联网数据上报给远程服务器，以方便电梯维护方或者使用方可以及时查看梯联网数据，并及时进行故故障隐患排查。

请参阅图1至图2所示，本发明基于机器视觉的智慧梯联网控制方法的较佳实施例，所述方法包括：

采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；

采集电梯运行过程中的各项加速度值，例如电梯振动、上下行等加速度值，并进行预处理后生成电梯运行数据结果；在具体实施时，所述多轴加速度传感器模块可以采用例如LIS3DH三轴加速度计等来实现各项加速度值的采集；

对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器，远程服务器会记录和存储梯联网数据(包括音视频数据、电梯运行记录、故障记录等等)，并可供相关人员随时查询。

由上述可知，本发明通过结合机器视觉分析、音视频数据采样和多轴加速度采样来综合分析判断电梯的运行逻辑、运行健康状态、运行故障，并生成梯联网数据上报给云端，可为电梯维护方或者使用方及时排查故障隐患带来极大的方便。

本发明方法还包括：对相关的音视频内容进行合成和播放。在具体实施时，可在电梯中选配液晶或投影功能，可动态显示当前电梯的运行状态数据、维保信息等；同时还可根据乘客数量、年龄类别等，来播放相应的提示视频内容。

所述采用训练后的深度学习神经网络模型来识别音视频数据中的目标具体为：

预先拍摄用于训练的各种图片以及录制用于训练的各种语音片段，并将拍摄的图片以及录制的语音片段存储于训练数据库中；在具体实施时，可以预先拍摄电梯开门图片、电梯关门图片、按键动作图片、乘客识别图片、电梯相应动作图片、乘客拍打电梯门图片、乘客抽烟图片、乘客斗殴图片、乘客跳跃图片等等，录制电梯报警语音片段、电梯异响语音片段、乘客吵闹语音片段等等，并将拍摄的图片和录制的语音片段存储到训练数据库中，以用于对神经网络进行训练；

标注训练数据库中各图片的信息得到标注图像，标注训练数据库中各语音片段的信息得到标注语音片段；例如，针对电梯开门的图片，就对该图片标注“电梯开门”；又如，针对电梯报警语音片段，就对该语音片段标注“电梯报警”等等；

采用神经网络识别标注图像和标注语音片段，进行深度学习训练神经网络，得到训练后的深度学习神经网络模型；在具体进行训练操作时，可以学习包括：电梯逻辑动作的识别(如电梯门开关)、乘客数量识别、乘客体重识别、乘客异常动作识别(如抽烟、斗殴、强开梯门等)、异常声音识别(如拍打电梯声、电梯异响声音、乘客吵闹声等)等等；

采用深度学习神经网络模型来识别音视频数据中的视频数据的各帧图像中的目标，得到图像预判信息；同时采用深度学习神经网络模型来识别视频数据中的音频数据的各语音片段的目标，得到语音片段预判信息。例如，当深度学习神经网络模型识别到视频数据的某一帧图像与预先训练的电梯开门图片相似度很高(比如相似度达到90％)，那么，就将该帧图像识别为电梯开门；又如，当深度学习神经网络模型识别到音频数据的某一语音片段与预先训练的电梯报警语音片段相似度很高(比如相似度达到85％)，那么，就将该语音片段识别为电梯报警；再如，当深度学习神经网络模型根据之前的学习分析识别出某一帧图像中共搭乘有10个乘客，那么，就将电梯中的乘客数量识别为10个。

所述进行预处理后生成电梯运行数据结果具体为：利用采集的各项加速度值来计算电梯的运行速度和运行高度。在具体实施时，通过采集到的加速度值，再结合电梯运行的时间就可以计算出电梯的运行速度和运行高度，通过运行高度还可以实现对电梯所处楼层的判断等。

所述对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器具体为：

对目标识别结果和电梯运行数据结果进行综合分析，包括：判断电梯开关门、乘客数量、乘客总重量、按键动作、目的楼层或者乘客异常动作(如拍打梯门、强开梯门、抽烟、斗殴、跳跃等行为)，分析电梯上下行的运行健康状态，判断电梯是否存在安全隐患(如存在异响、摩擦、顿挫、振动等安全隐患)；

在分析完后自动生成梯联网数据，并将梯联网数据上报给远程服务器，以方便电梯维护方或者使用方可以及时查看梯联网数据，并及时进行故故障隐患排查。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于机器视觉的智慧梯联网控制系统，其特征在于：所述系统包括摄像头音视频模块、多轴加速度传感器模块以及主处理模块：

所述摄像头音视频模块，用于采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；

所述多轴加速度传感器模块，用于采集电梯运行过程中的各项加速度值，并进行预处理后生成电梯运行数据结果；

所述主处理模块，用于对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器。

2.根据权利要求1所述的基于机器视觉的智慧梯联网控制系统，其特征在于：所述系统还包括音视频播放模块；

所述音视频播放模块，用于对相关的音视频内容进行合成和播放。

3.根据权利要求1所述的基于机器视觉的智慧梯联网控制系统，其特征在于：在所述摄像头音视频模块中，所述采用训练后的深度学习神经网络模型来识别音视频数据中的目标具体为：

预先拍摄用于训练的各种图片以及录制用于训练的各种语音片段，并将拍摄的图片以及录制的语音片段存储于训练数据库中；

标注训练数据库中各图片的信息得到标注图像，标注训练数据库中各语音片段的信息得到标注语音片段；

采用神经网络识别标注图像和标注语音片段，进行深度学习训练神经网络，得到训练后的深度学习神经网络模型；

采用深度学习神经网络模型来识别音视频数据中的视频数据的各帧图像中的目标，得到图像预判信息；同时采用深度学习神经网络模型来识别视频数据中的音频数据的各语音片段的目标，得到语音片段预判信息。

4.根据权利要求1所述的基于机器视觉的智慧梯联网控制系统，其特征在于：在所述多轴加速度传感器模块中，所述进行预处理后生成电梯运行数据结果具体为：利用采集的各项加速度值来计算电梯的运行速度和运行高度。

5.根据权利要求1所述的基于机器视觉的智慧梯联网控制系统，其特征在于：所述主处理模块具体为：

对目标识别结果和电梯运行数据结果进行综合分析，包括：判断电梯开关门、乘客数量、乘客总重量、按键动作、目的楼层或者乘客异常动作，分析电梯上下行的运行健康状态，判断电梯是否存在安全隐患；

在分析完后自动生成梯联网数据，并将梯联网数据上报给远程服务器。

6.一种基于机器视觉的智慧梯联网控制方法，其特征在于：所述方法包括：

采集音视频数据，并采用训练后的深度学习神经网络模型来识别音视频数据中的目标，生成目标识别结果；

采集电梯运行过程中的各项加速度值，并进行预处理后生成电梯运行数据结果；

对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器。

7.根据权利要求6所述的基于机器视觉的智慧梯联网控制方法，其特征在于：所述方法还包括：对相关的音视频内容进行合成和播放。

8.根据权利要求6所述的基于机器视觉的智慧梯联网控制方法，其特征在于：所述采用训练后的深度学习神经网络模型来识别音视频数据中的目标具体为：

预先拍摄用于训练的各种图片以及录制用于训练的各种语音片段，并将拍摄的图片以及录制的语音片段存储于训练数据库中；

标注训练数据库中各图片的信息得到标注图像，标注训练数据库中各语音片段的信息得到标注语音片段；

采用神经网络识别标注图像和标注语音片段，进行深度学习训练神经网络，得到训练后的深度学习神经网络模型；

采用深度学习神经网络模型来识别音视频数据中的视频数据的各帧图像中的目标，得到图像预判信息；同时采用深度学习神经网络模型来识别视频数据中的音频数据的各语音片段的目标，得到语音片段预判信息。

9.根据权利要求6所述的基于机器视觉的智慧梯联网控制方法，其特征在于：所述进行预处理后生成电梯运行数据结果具体为：利用采集的各项加速度值来计算电梯的运行速度和运行高度。

10.根据权利要求6所述的基于机器视觉的智慧梯联网控制方法，其特征在于：对目标识别结果和电梯运行数据结果进行综合分析，生成梯联网数据，并将梯联网数据上报给远程服务器具体为：

对目标识别结果和电梯运行数据结果进行综合分析，包括：判断电梯开关门、乘客数量、乘客总重量、按键动作、目的楼层或者乘客异常动作，分析电梯上下行的运行健康状态，判断电梯是否存在安全隐患；

在分析完后自动生成梯联网数据，并将梯联网数据上报给远程服务器。