CN110065867A - 基于音视频的电梯舒适度评价的方法和系统 - Google Patents

Abstract

本发明公开了一种基于音视频的电梯舒适度评价的方法和系统，其中方法包括：电梯轿厢图像舒适度评价，当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；电梯轿厢声音舒适度评价，当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高。

Description

基于音视频的电梯舒适度评价的方法和系统

技术领域

本发明属于数据分析领域，具体涉及一种基于音视频的电梯舒适度评价的方法和系统。

背景技术

现有方案中有对电梯打分的情况，主要为了电梯运行安全，通过记录电梯的运行规律，为电梯提供安全打分，如果通过传感器检测到电梯故障或者接到故障投诉再或者没有及时维保时，电梯的打分就会降低。

而针对没有进行电梯乘梯舒适度打分评价，不符合用户使用要求越来越高的现实需求。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种基于音视频的电梯舒适度评价的方法和系统。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例的一个方面，提供了一种基于音视频的电梯舒适度评价的方法，应用于电梯轿厢安装有厢顶摄像头、麦克风与传感器采集板的场景中，包括以下步骤：

电梯轿厢图像舒适度评价，当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；

电梯轿厢声音舒适度评价，当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高，如果电梯运行或开关门中存在噪声，则电梯舒适度低，电梯每小时进行一次打分，进而获得每天的平均评价。

优选地，进一步包括：

分别对电梯轿厢图像舒适度评价打分和电梯轿厢声音舒适度评价打分进行加权平均，得到针对电梯的总体评价打分。

优选地，所述电梯轿厢图像舒适度评价进一步包括：

第一门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，模块每200ms输出一次状态，只对关门状态进行输出；

有无人判断，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

进行抓图，通过门状态检测和有无人判断，在电梯关门并且无人时，利用电梯轿厢顶部摄像头抓取一张图片，间隔一定时间抓取一次；

进行图像舒适度分类，利用训练好的舒适度分类模型对抓图进行分类，得出舒适度等级，舒适度定义为五个等级，分别为好，中上，中，中下，差。

优选地，所述舒适度分类模型利用卷积神经网络进行分类，通过事先采集关门无人时的抓图数据，根据舒适度等级进行标注，然后将标注好的数据集送入网络进行多类别分类，最终得到可以部署的推断模型，其中多类别分类以softmax交叉熵为损失函数指导模型训练。

优选地，所述电梯轿厢声音舒适度评价进一步包括：

第二门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，每200ms输出一次状态，对关门状态、开关门中状态进行输出；

第二有无人判断，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

电梯运动检测，利用电梯中安装的加速度传感器，判断当前电梯是否运动，只输出电梯运动时候的触发信号；

录音，利用电梯安装的麦克风传感器采集声音数据；

运行声音舒适度分类，利用麦克风采集关门无人时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出运行声音舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM(Long Short-Term Memory，长短期记忆网络)单元组成的网络，使用many-to-one的输入格式；

开关门声音舒适度分类，利用麦克风采集开关门时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出开关门舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式。

本发明实施例的又一方面，提供了一种基于音视频的电梯舒适度评价的系统，应用于电梯轿厢安装有轿厢顶有摄像头、麦克风与传感器采集板的场景中，包括：

电梯轿厢图像舒适度评价模块，用于当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；

电梯轿厢声音舒适度评价模块，用于当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高，如果电梯运行或开关门中存在噪声，则电梯舒适度低，电梯每小时进行一次打分，进而获得每天的平均评价。

优选地，进一步包括：

加权平均打分模块，用于分别对电梯轿厢图像舒适度评价打分和电梯轿厢声音舒适度评价打分进行加权平均，得到针对电梯的总体评价打分。

优选地，所述电梯轿厢图像舒适度评价模块进一步包括：

第一门状态检测单元，用于轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，模块每200ms输出一次状态，只对关门状态进行输出；

第一有无人判断单元，用于利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

抓图单元，通过门状态检测和有无人判断，在电梯关门并且无人时，利用电梯轿厢顶部摄像头抓取一张图片，间隔一定时间抓取一次；

图像舒适度分类单元，利用训练好的舒适度分类模型对抓图进行分类，得出舒适度等级，图像舒适度定义为五个等级，分别为好，中上，中，中下，差。

优选地，所述舒适度分类模型利用卷积神经网络进行分类，通过事先采集关门无人时的抓图数据，根据舒适度等级进行标注，然后将标注好的数据集送入网络进行多类别分类，最终得到可以部署的推断模型，其中多类别分类以softmax交叉熵为损失函数指导模型训练。

优选地，所述电梯轿厢声音舒适度评价模块进一步包括：

第二门状态检测单元，用于轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，每200ms输出一次状态，对关门状态、开关门中状态进行输出；

第二有无人判断单元，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

电梯运动检测单元，用于利用电梯中安装的加速度传感器，判断当前电梯是否运动，只输出电梯运动时候的触发信号；

录音单元，用于利用电梯安装的麦克风传感器采集声音数据；

运行声音舒适度分类单元，用于利用麦克风采集关门无人时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出运行声音舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式；

开关门声音舒适度分类单元，用于利用麦克风采集开关门时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出开关门舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式。

采用本发明具有如下的有益效果：能够为电梯提供舒适度评价，具有图像和声音作为数据依据，同时将舒适度评价量化为分数，为提高乘梯舒适度做出贡献。

附图说明

图1为本发明实施例的基于音视频的电梯舒适度评价的方法的步骤流程图；

图2为本发明实施例的基于音视频的电梯舒适度评价的方法的应用场景示意图；

图3为本发明实施例的基于音视频的电梯舒适度评价的方法中电梯轿厢图像舒适度评价的步骤流程图；

图4为本发明实施例的基于音视频的电梯舒适度评价的方法中电梯轿厢声音舒适度评价的步骤流程图；

图5为本发明实施例的基于音视频的电梯舒适度评价的系统的结构示意图；

图6为本发明实施例的基于音视频的电梯舒适度评价的系统中电梯轿厢图像舒适度评价的结构示意图；

图7为本发明实施例的基于音视频的电梯舒适度评价的系统中电梯轿厢声音舒适度评价模块的结构示意图；

图8为本发明实施例中many-to-one方式中LSTM网络的算法结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，所示为本发明实施例提供的一种基于音视频的电梯舒适度评价的方法步骤流程图，其应用于如图2所示的电梯轿厢安装有轿厢顶有摄像头、麦克风与传感器采集板的场景中，包括以下步骤：

S10，电梯轿厢图像舒适度评价，当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；

S20，电梯轿厢声音舒适度评价，当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高，如果电梯运行或开关门中存在噪声，则电梯舒适度低，电梯每小时进行一次打分，进而获得每天的平均评价。

进一步的，参见图3，S10中，为了实现电梯轿厢图像舒适度评价，进一步包括以下步骤：

第一门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，模块每200ms输出一次状态，只对关门状态进行输出；

此处门状态识别也是利用目标检测的方式，电梯门较高位置会贴有相应告警提示标签，通过检测告警提示标签之间的位置来实现门状态检测。门状态分析需要通过视频实时分析门状态，为了减少计算量，首先，通过全局视野获取告警提示标签位置，然后以告警提示标签位置设置局部检测区域，以后只对该局部检测区域进行检测，最后，局部检测区域会根据标签的中心位置自动调整，防止某些原因导致摄像头发生偏移。

有无人判断，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人，只输出无人的信号；

本发明应用实例中，本领域技术人员可以理解的是，人体目标检测也可以用于检测是否有人，但是人头检测对于统计人数相对准确，故本发明实施例中优选人头检测。

进行抓图，通过门状态检测和有无人判断，在电梯关门并且无人时，利用电梯轿厢顶部摄像头抓取一张图片；

进行图像舒适度分类，利用训练好的舒适度分类模型对抓图进行分类，得出舒适度等级，舒适度定义为五个等级，分别为好，中上，中，中下，差。舒适度分类模型利用卷积神经网络进行分类，通过事先采集关门无人时的抓图数据，根据舒适度等级进行标注，然后将标注好的数据集送入网络进行多类别分类，最终得到可以部署的推断模型，其中多类别分类以softmax交叉熵为损失函数指导模型训练。

本领域技术人员可以理解的是，对于图像检测技术主要有two-stage的fast-rcnn和one-stage的yolo\ssd等的深度神经网络，可以获得图片中特定物体的外接矩形框。对于图像分类技术主要有vgg，googlenet，resnet等深度神经网络。本发明实施例中优选resnet18网络的图像分类算法。对于音频分类技术主要有循环神经网络rnn，门控循环单元gru，长短期记忆单元1stm，因果卷积网络TCN，Transformers等序列分类网络，本发明实施例中优选3层双向bi-LSTM网络的音频分类算法。

进一步的，参见图4，S20中，电梯轿厢声音舒适度评价进一步包括：

第二门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，每200ms输出一次状态，对关门状态、开关门中状态进行输出；

第二有无人判断，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

电梯运动检测，利用电梯中安装的加速度传感器，判断当前电梯是否运动，只输出电梯运动时候的触发信号；

录音，利用电梯安装的麦克风传感器采集声音数据；

运行声音舒适度分类，利用麦克风采集关门无人时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出运行声音舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式；

开关门声音舒适度分类，利用麦克风采集开关门时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出开关门舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式。

进一步的，其他应用实例中，可进一步包括如下步骤，通过分别对基于图像的电梯舒适度打分和基于声音的电梯舒适度打分(即运行声音舒适度分类和开关门声音舒适度分类)的三个打分进行加权平均，得到针对电梯的总体评价打分，具体的权重可以根据实际情况进行调整，为电梯轿厢的舒适乘梯提供依据，也为电梯的检修提供依据。

与本发明方法实施例对应的，参见图5，本发明实施例提供了一种基于音视频的电梯舒适度评价的系统，应用于如图2所示的电梯轿厢安装有轿厢顶有摄像头、麦克风与传感器采集板的场景中，包括：

电梯轿厢图像舒适度评价模块10，用于当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；

电梯轿厢声音舒适度评价模块20，用于当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高，如果电梯运行或开关门中存在噪声，则电梯舒适度低，电梯每小时进行一次打分，进而获得每天的平均评价。

进一步的，参见图6，电梯轿厢图像舒适度评价模块10进一步包括：

第一门状态检测单元，用于轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，模块每200ms输出一次状态，只对关门状态进行输出；

第一有无人判断单元，用于利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

抓图单元，通过门状态检测和有无人判断，在电梯关门并且无人时，利用电梯轿厢顶部摄像头抓取一张图片，间隔一定时间抓取一次；

图像舒适度分类单元，利用训练好的舒适度分类模型对抓图进行分类，得出舒适度等级，图像舒适度定义为五个等级，分别为好，中上，中，中下，差。舒适度分类模型利用卷积神经网络进行分类，通过事先采集关门无人时的抓图数据，根据舒适度等级进行标注，然后将标注好的数据集送入网络进行多类别分类，最终得到可以部署的推断模型，其中多类别分类以softmax交叉熵为损失函数指导模型训练。

进一步的，参见图7，电梯轿厢声音舒适度评价模块进一步包括：

第二门状态检测单元，用于轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，每200ms输出一次状态，对关门状态、开关门中状态进行输出；

第二有无人判断单元，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

电梯运动检测单元，用于利用电梯中安装的加速度传感器，判断当前电梯是否运动，只输出电梯运动时候的触发信号；

录音单元，用于利用电梯安装的麦克风传感器采集声音数据；

运行声音舒适度分类单元，用于利用麦克风采集关门无人时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出运行声音舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式；

开关门声音舒适度分类单元，用于利用麦克风采集开关门时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出开关门舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式。使用many-to-one的输入结构，即多次输入输出一次分类，如图所示，这里需要对一段音频进行预处理，将音频的梅尔频谱分多次送入网络，如图8中显示了一层LSTM网络，并且使用了单向连接，为了提供声音分类能力，这里采用3层的Bi-LSTM双向连接的循环神经网络，其中LSTM单元使用1024个隐藏单元。

本领域技术人员可以理解的是，在系统实施例中没有进一步赘述的，其具体实施方式参见方法实施例。

进一步的，其他应用实例中，本发明实施例提供的基于音视频的电梯舒适度评价的系统可进一步包括：加权平均打分模块，用于分别对电梯轿厢图像舒适度评价打分和电梯轿厢声音舒适度评价打分进行加权平均，得到针对电梯的总体评价打分。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (10)

1.一种基于音视频的电梯舒适度评价的方法，应用于电梯轿厢安装有厢顶摄像头、麦克风与传感器采集板的场景中，其特征在于，包括以下步骤：

电梯轿厢图像舒适度评价，当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；

电梯轿厢声音舒适度评价，当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高，如果电梯运行或开关门中存在噪声，则电梯舒适度低，电梯每小时进行一次打分，进而获得每天的平均评价。

2.如权利要求1所述的基于音视频的电梯舒适度评价的方法，其特征在于，进一步包括：

分别对电梯轿厢图像舒适度评价打分和电梯轿厢声音舒适度评价打分进行加权平均，得到针对电梯的总体评价打分。

3.如权利要求1所述的基于音视频的电梯舒适度评价的方法，其特征在于，所述电梯轿厢图像舒适度评价进一步包括：

第一门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，模块每200ms输出一次状态，只对关门状态进行输出；

有无人判断，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

进行抓图，通过门状态检测和有无人判断，在电梯关门并且无人时，利用电梯轿厢顶部摄像头抓取一张图片，间隔一定时间抓取一次；

进行图像舒适度分类，利用训练好的舒适度分类模型对抓图进行分类，得出舒适度等级，舒适度定义为五个等级，分别为好，中上，中，中下，差。

4.如权利要求3所述的基于音视频的电梯舒适度评价的方法，其特征在于，所述舒适度分类模型利用卷积神经网络进行分类，通过事先采集关门无人时的抓图数据，根据舒适度等级进行标注，然后将标注好的数据集送入网络进行多类别分类，最终得到可以部署的推断模型，其中多类别分类以softmax交叉熵为损失函数指导模型训练。

5.如权利要求1至4任一所述的基于音视频的电梯舒适度评价的方法，其特征在于，所述电梯轿厢声音舒适度评价进一步包括：

第二门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，每200ms输出一次状态，对关门状态、开关门中状态进行输出；

第二有无人判断，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

电梯运动检测，利用电梯中安装的加速度传感器，判断当前电梯是否运动，只输出电梯运动时候的触发信号；

录音，利用电梯安装的麦克风传感器采集声音数据；

运行声音舒适度分类，利用麦克风采集关门无人时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出运行声音舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式；

开关门声音舒适度分类，利用麦克风采集开关门时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出开关门舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式。

6.一种基于音视频的电梯舒适度评价的系统，应用于电梯轿厢安装有厢顶摄像头、麦克风与传感器采集板的场景中，其特征在于，包括：

电梯轿厢图像舒适度评价模块，用于当轿厢关门时，利用轿厢顶部摄像头抓取图片，去除有人的图片，对无人的图片进行舒适度打分，如果轿厢崭新整洁，则打分高，如果轿厢破旧并有杂物，则打分低，电梯每小时进行一次打分，每次打分取数张图片评分的平均结果，得出每天电梯评分的变化情况，同时保留判断的图片作为数据依据；

电梯轿厢声音舒适度评价模块，用于当轿厢关门并运动时，利用轿厢顶部的麦克风采集一段音频，通过音频分析获得电梯运行的噪声情况，当电梯开关门时，通过音频分析获得电梯开关门的噪声情况，如果电梯无异常噪声，则电梯舒适度高，如果电梯运行或开关门中存在噪声，则电梯舒适度低，电梯每小时进行一次打分，进而获得每天的平均评价。

7.如权利要求6所述的基于音视频的电梯舒适度评价的系统，其特征在于，进一步包括：

加权平均打分模块，用于分别对电梯轿厢图像舒适度评价打分和电梯轿厢声音舒适度评价打分进行加权平均，得到针对电梯的总体评价打分。

8.如权利要求6所述的基于音视频的电梯舒适度评价的方法，其特征在于，所述电梯轿厢图像舒适度评价模块进一步包括：

第一门状态检测单元，用于轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，模块每200ms输出一次状态，只对关门状态进行输出；

第一有无人判断单元，用于利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人；

抓图单元，通过门状态检测和有无人判断，在电梯关门并且无人时，利用电梯轿厢顶部摄像头抓取一张图片，间隔一定时间抓取一次；

图像舒适度分类单元，利用训练好的舒适度分类模型对抓图进行分类，得出舒适度等级，图像舒适度定义为五个等级，分别为好，中上，中，中下，差。

9.如权利要求8所述的基于音视频的电梯舒适度评价的系统，其特征在于，所述舒适度分类模型利用卷积神经网络进行分类，通过事先采集关门无人时的抓图数据，根据舒适度等级进行标注，然后将标注好的数据集送入网络进行多类别分类，最终得到可以部署的推断模型，其中多类别分类以softmax交叉熵为损失函数指导模型训练。

10.如权利要求6至9任一所述的基于音视频的电梯舒适度评价的方法，其特征在于，所述电梯轿厢声音舒适度评价模块进一步包括：

第二门状态检测单元，用于轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态，每200ms输出一次状态，对关门状态、开关门中状态进行输出；

第二有无人判断单元，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人，；

电梯运动检测单元，用于利用电梯中安装的加速度传感器，判断当前电梯是否运动，只输出电梯运动时候的触发信号；

录音单元，用于利用电梯安装的麦克风传感器采集声音数据；

运行声音舒适度分类单元，用于利用麦克风采集关门无人时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出运行声音舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式；

开关门声音舒适度分类单元，用于利用麦克风采集开关门时的声音数据，通过提取其音频频谱，送入循环神经网络进行分类，得出开关门舒适度等级，将舒适度定义为五个等级，分别是好，中上，中，中下，差，其中循环神经网络采用3层LSTM单元组成的网络，使用many-to-one的输入格式。