CN110127475B - 一种电梯乘梯人员分类与其乘梯规律分析的方法及系统 - Google Patents

Abstract

本发明公开了一种电梯乘梯人员分类与其乘梯规律分析的方法及系统，其中方法实施例包括以下步骤：在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片；对图片进行检测，识别出人员目标及其类别；通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块；人员匹配模块对人员匹配关联；统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

Description

一种电梯乘梯人员分类与其乘梯规律分析的方法及系统

技术领域

本发明属于数据分析技术领域，具体涉及一种电梯乘梯人员分类与其乘梯规律分析的方法及系统。

背景技术

随着我国经济持续平稳的发展，尤其是住宅产业作为国民经济新增长点的提出，为电梯业的发展提供了良好的机遇；今后几年，我国将年建住宅3.5亿平方米，公建项目1.2亿平方米；随着城市向大型化、高层化的发展，我国每年对电梯的市场需求越来越大，对于电梯的管理也越来越趋于智能化、信息化。但是当前电梯不能对其乘坐的人员类别区分。人员类别比如可以分为快递人员、外卖人员、保洁人员、物业人员以及业主等，通过区分以上人员类别，可对分类人员进行乘梯规律分析，进而有针对性的进行广告投放等，实现乘梯人员数据更有效的商用化。

发明内容

本发明要解决的技术问题是提供一种电梯乘梯人员分类与其乘梯规律分析方法及系统，通过对乘梯人员进行图样采集以及图样检测和人员分类，实现电梯乘梯人员分类与其乘梯规律分析。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例的一方面用于提供一种电梯乘梯人员分类与其乘梯规律的方法，包括以下步骤：

在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片；

对图片进行检测，识别出人员目标及其类别；

通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块；

人员匹配模块对人员匹配关联；

统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

优选地，所述对图片进行检测，识别出人员类别及其属性具体为：利用检测模型对所抓取图片进行检测与识别，获得人体检测框及其类别。

优选地，所述对图片进行检测，识别出人员类别及其属性具体为：

利用检测模型对所抓取图片进行检测，获得人体检测框；

利用人体检测框获得人体截图，送入深度神经网络进行多类别分类，最终得到人体相关属性，其中选用残差网络作为骨干网络，使用softmax loss作为多分类loss的目标函数，通过训练网络来获得分类模型。

优选地，所述电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致。

优选地，所述通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用数据采集模块采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

本发明实施例的又一方面用于提供一种电梯乘梯人员分类与其乘梯规律的系统，包括抓图模块、人体检测和属性识别模块、电梯行程生成模块、判断模块和人员匹配模块：

所述抓图模块用于在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片；

所述人体检测和属性识别模块用于对图片进行检测，识别出人员类别及其属性；

所述电梯行程生成模块用于通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

判断模块用于判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块；

所述人员匹配模块用于负责对人员匹配关联；

统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

优选地，所述人体检测和属性识别模块用于对图片进行检测，识别出人员类别及其属性具体为：利用检测模型对所抓取图片进行检测与识别，获得人体检测框及其类别属性。

优选地，所述人体检测和属性识别模块用于对图片进行检测，识别出人员类别及其属性具体为：

利用检测模型对所抓取图片进行检测，获得人体检测框；

利用人体检测框获得人体截图，送入深度神经网络进行多类别分类，最终得到人体相关属性，其中选用残差网络作为骨干网络，使用softmax loss作为多分类loss的目标函数，通过训练网络来获得分类模型。

优选地，所述电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致。

优选地，所述通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用数据采集模块采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

采用本发明具有如下的有益效果：为了实现对电梯人头和人体检测，收集真实场景和图片和运动状态数据，并清晰整理与标定数据，将标注好的数据对检测模型和分类模型进行训练，取得了较好的效果；本发明实施例方案的分析结果真实可靠，有图片数据存档，可以提供给广告业主作为证据，同时能够提供随时间变化的各点位情况，有助于依赖此结果进行深入决策，提高乘梯人员数据使用效率。

附图说明

图1为本发明实施例的电梯乘梯人员分类与其乘梯规律分析方法的步骤流程图；

图2为本发明实施例的电梯乘梯人员分类与其乘梯规律分析系统的原理框图；

图3为本发明实施例的电梯乘梯人员分类与其乘梯规律分析系统中电梯行程生成模块的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例的电梯乘梯人员分类与其乘梯规律分析方法的步骤流程图，其包括以下步骤：

在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片。

对图片进行检测，识别出人员类别及其属性。具体应用实例中，对于对图片进行检测，识别出人员类别及其属性可采取两种方式：利用检测模型对所抓取图片进行检测与识别，获得人体检测框及其类别属性；或者利用检测模型对所抓取图片进行检测，获得人体检测框；

利用人体检测框获得人体截图，送入深度神经网络进行多类别分类，最终得到人体相关属性，其中可以选用残差网络作为骨干网络，也可以使用其他分类神经网络来作为骨干网络，使用softmax loss作为多分类loss的目标函数，通过训练网络来获得分类模型。

人员类别比如可以分为快递人员、外卖人员、保洁人员、物业人员以及业主等(不局限于此)，对于不同专业服务类别的人员往往穿有不同外观的衣服。

通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程。具体应用实例中，电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反。例如，例如电梯从1楼空闲，然后运动到10楼，又空闲，或是电梯上次运动由5楼到1楼，没有空闲又从1楼到10楼，然后空闲的过程，这时把1楼到10楼的运动过程定义成为独立行程。因此，独立行程是站在乘梯人的角度，描述具有相同行程的乘梯人的乘梯过程。电梯的复合行程定义为具有不同行程的乘梯人员，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致。由以上定义可知，电梯的复合行程区别于独立行程，例如有人员从1到9楼，有人员从1到12楼，这两批人员同时从1楼出发，那么出现到9楼有人出梯，然后又到12楼出梯，即1->9->12的行程。

具体应用实例中，通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；使用数据采集模块采集的图像数据，利用图像分析得到电梯的实时门状态；门状态一共有四种状态包括：门开、开门中、门关、关门中。将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；其中光电管安装在一楼基准层，用来校准电梯到达基准层，卡尔曼滤波是对陀螺仪和加速度计的观测数据建立运动模型来估计运行路程，传感器的采样频率往往不一致，互补滤波用来对估算出的路程和气压计估算的高度数据进行整合，最终获得电梯运动到哪一层。通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态。其中LSTM模型通过采用many-to-one的预测方式，即多个时间片段输入，预测一个状态，提升对长时间跨度的建模能力。LSTM模型在其中加入了一个判断信息有用与否的结构，这个结构被称为cell。cell中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM模型当中，可以根据三扇门来判断是否有用。通过训练LSTM会生成对应模型参数，三扇门根据模型参数与输入信息的计算并控制门开关程度，信息就在三扇门的作用下，通过输出门加工过信息，或者通过遗忘门将信息丢弃。楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块。如果是复合行程，进行人员匹配后将匹配结果发送至云端分析模块。具体应用实施例中，对于复合行程，会存在对同一个人员的多次抓图，人员匹配模块来对同一个人员的多次抓图进行匹配关联，利用事先训练好的reID模型提取人员截图的图像特征，接着利用二分图最优匹配的方法，以人员作为节点，以人员特征的cos距离作为图的边，对相邻两次抓图的人员进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。针对电梯行程中存在的复合行程，会影响到图像分析结果的准确性，所以对同一人员的多张抓图进行匹配关联，消除冗余性，得到相对精确的人员出行轨迹。这里的人员检测主要采用人的身体检测，但不限于人的身体检测，也可以是人头、头肩以及其他人体部位的人员检测。选择人体检测主要是考虑到人体的特征相对丰富，同时人作为电梯的主要使用者，分析人员具有重要意义，但对于拥挤的场景会存在无法检测到人的身体的情况，这时可以考虑利用人头或头肩作为替代措施。这里的人员检测模型与reID特征提取模型是强关联的，如果检测为人的身体，reID的特征提取为人的身体，如果检测为头肩，reID的特征提取为头肩。

人员匹配模块对人员匹配关联。具体应用实施例中，对于复合行程，会存在对同一个人员的多次抓图，人员匹配模块来对同一个人员的多次抓图进行匹配关联，利用事先训练好的reID模型提取人员截图的图像特征，接着利用二分图最优匹配的方法，以人员作为节点，以人员特征的cos距离作为图的边，对相邻两次抓图的人员进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。针对电梯行程中存在的复合行程，会影响到图像分析结果的准确性，所以对同一人员的抓图进行匹配关联，消除冗余性，得到相对精确的人员出行轨迹。

结合得到的人员出行轨迹数据，统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

通过本发明以上技术方案，明能够通过电梯轿厢安装的设备以及利用智能算法对乘体人员进行区分，同时利用当前分析结果能为其他智能决策提供依据，例如对识别到的外卖人员通过乘体规律分析，可以得出每个电梯的每个楼层点外卖的数量，那么该信息就有助于外卖广告推荐的决策；例如通过快递人员的分析统计，可以获得每个小区的快递数量，进而指导物业提供快递存放地的选取；例如通过对保洁人员的分类以及其乘体规律可以直到保洁人员对电梯轿厢与各楼层的打扫情况；再比如通过对人员的分析，有助于物业掌握外来人员到访小区的监控，也有助于其他商业智能对人员的划分。

与本发明方法实施例对应的，本发明实施例同时提供了一种电梯乘梯人员分类与其乘梯规律的系统，包括抓图模块、人体检测和属性识别模块、电梯行程生成模块、判断模块、人员匹配模块和统计分析模块，其中抓图模块用于在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片；人体检测和属性识别模块用于对图片进行检测，识别出人员类别及其属性；电梯行程生成模块用于通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；判断模块用于判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块；人员匹配模块用于负责对人员匹配关联；统计分析模块用于统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

具体应用实例中，对于人体检测和属性识别模块的对图片进行检测，识别出人员类别及其属性可采取两种方式：利用检测模型对所抓取图片进行检测与识别，获得人体检测框及其类别属性；或者利用检测模型对所抓取图片进行检测，获得人体检测框；

利用人体检测框获得人体截图，送入深度神经网络进行多类别分类，最终得到人体相关属性，其中可以选用残差网络作为骨干网络，也可以使用其他分类神经网络来作为骨干网络，使用softmax loss作为多分类loss的目标函数，通过训练网络来获得分类模型。

人员类别比如可以分为快递人员、外卖人员、保洁人员、物业人员以及业主等(不局限于此)，对于不同专业服务类别的人员往往穿有不同外观的衣服。

具体应用实例中，电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反。例如，例如电梯从1楼空闲，然后运动到10楼，又空闲，或是电梯上次运动由5楼到1楼，没有空闲又从1楼到10楼，然后空闲的过程，这时把1楼到10楼的运动过程定义成为独立行程。因此，独立行程是站在乘梯人的角度，描述具有相同行程的乘梯人的乘梯过程。电梯的复合行程定义为具有不同行程的乘梯人员，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致。由以上定义可知，电梯的复合行程区别于独立行程，例如有人员从1到9楼，有人员从1到12楼，这两批人员同时从1楼出发，那么出现到9楼有人出梯，然后又到12楼出梯，即1->9->12的行程。

电梯行程生成模块进一步包括数据采集单元、门状态分析单元、楼层分析单元、LSTM行程状态分析单元和行程分析模块单元，通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；使用数据采集模块采集的图像数据，利用图像分析得到电梯的实时门状态；门状态一共有四种状态包括：门开、开门中、门关、关门中。

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；其中光电管安装在一楼基准层，用来校准电梯到达基准层，卡尔曼滤波是对陀螺仪和加速度计的观测数据建立运动模型来估计运行路程，传感器的采样频率往往不一致，互补滤波用来对估算出的路程和气压计估算的高度数据进行整合，最终获得电梯运动到哪一层。

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态。其中LSTM模型通过采用many-to-one的预测方式，即多个时间片段输入，预测一个状态，提升对长时间跨度的建模能力。LSTM模型在其中加入了一个判断信息有用与否的结构，这个结构被称为cell。cell中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM模型当中，可以根据三扇门来判断是否有用。通过训练LSTM会生成对应模型参数，三扇门根据模型参数与输入信息的计算并控制门开关程度，信息就在三扇门的作用下，通过输出门加工过信息，或者通过遗忘门将信息丢弃。

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

对于判断模块用于判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块的具体应用实例中，如果是复合行程，进行人员匹配后将匹配结果发送至云端分析模块。具体应用实施例中，对于复合行程，会存在对同一个人员的多次抓图，人员匹配模块来对同一个人员的多次抓图进行匹配关联，利用事先训练好的reID模型提取人员截图的图像特征，接着利用二分图最优匹配的方法，以人员作为节点，以人员特征的cos距离作为图的边，对相邻两次抓图的人员进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。针对电梯行程中存在的复合行程，会影响到图像分析结果的准确性，所以对同一人员的多张抓图进行匹配关联，消除冗余性，得到相对精确的人员出行轨迹。这里的人员检测主要采用人的身体检测，但不限于人的身体检测，也可以是人头、头肩以及其他人体部位的人员检测。选择人体检测主要是考虑到人体的特征相对丰富，同时人作为电梯的主要使用者，分析人员具有重要意义，但对于拥挤的场景会存在无法检测到人全部身体的情况，这时可以考虑利用人头或头肩作为替代措施。这里的人员检测模型与reID特征提取模型是强关联的，如果检测为人的身体，reID的特征提取为人的身体，如果检测为头肩，reID的特征提取为头肩。

对于人员匹配模块用于负责对人员匹配关联的具体应用实例中，对于复合行程，会存在对同一个人员的多次抓图，人员匹配模块来对同一个人员的多次抓图进行匹配关联，利用事先训练好的reID模型提取人员截图的图像特征，接着利用二分图最优匹配的方法，以人员作为节点，以人员特征的cos距离作为图的边，对相邻两次抓图的人员进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。针对电梯行程中存在的复合行程，会影响到图像分析结果的准确性，所以对同一人员的抓图进行匹配关联，消除冗余性，得到相对精确的人员出行轨迹。

结合得到的人员出行轨迹数据，统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

通过本发明以上技术方案，明能够通过电梯轿厢安装的设备以及利用智能算法对乘体人员进行区分，同时利用当前分析结果能为其他智能决策提供依据，例如对识别到的外卖人员通过乘体规律分析，可以得出每个电梯的每个楼层点外卖的数量，那么该信息就有助于外卖广告推荐的决策；例如通过快递人员的分析统计，可以获得每个小区的快递数量，进而指导物业提供快递存放地的选取；例如通过对保洁人员的分类以及其乘体规律可以直到保洁人员对电梯轿厢与各楼层的打扫情况；再比如通过对人员的分析，有助于物业掌握外来人员到访小区的监控，也有助于其他商业智能对人员的划分。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (6)

1.一种电梯乘梯人员分类与其乘梯规律分析的方法，其特征在于，包括以下步骤：

在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片；

对图片进行检测，识别出人员目标及其类别；

通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程，其中电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致；进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用数据采集模块采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程；

判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将结果直接汇总到云端分析模块；如果是复合行程，进行人员匹配后将匹配结果发送至云端分析模块；

人员匹配模块对人员目标匹配关联；

统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

2.如权利要求1所述的电梯乘梯人员分类与其乘梯规律分析的方法，其特征在于，所述对图片进行检测，检测算法为基于卷积神经网络的目标检测算法，识别出人员目标及其类别具体为：利用检测模型对所抓取图片进行检测与识别，获得人体检测框及其类别。

3.如权利要求1所述的电梯乘梯人员分类与其乘梯规律分析的方法，其特征在于，所述对图片进行检测，识别出人员目标及其类别具体为：

利用检测模型对所抓取图片进行检测，获得人体检测框；

利用人体检测框获得人体截图，送入深度神经网络进行多类别分类，最终得到人体相关属性，其中选用残差网络作为骨干网络，使用softmax loss作为多分类loss的目标函数，通过训练网络来获得分类模型。

4.一种电梯乘梯人员分类与其乘梯规律分析的系统，其特征在于，包括抓图模块、人体检测和属性识别模块、电梯行程生成模块、判断模块、人员匹配模块和统计分析模块：

所述抓图模块用于在电梯关门并有运行速度时，利用电梯轿厢顶部摄像头抓取一张图片；

所述人体检测和属性识别模块用于对图片进行检测，识别出人员目标及其类别；

所述电梯行程生成模块用于通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程，其中电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致；进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用数据采集模块采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程；

判断模块用于判断是否是复合行程，如果不是复合行程，就不需要人员匹配，将上述结果直接汇总到云端分析模块；如果是复合行程，进行人员匹配后将匹配结果发送至云端分析模块；

所述人员匹配模块用于负责对人员匹配关联；

所述统计分析模块用于统计各个电梯各个时段的人员类别乘梯规律，得到每类人员在每个电梯中的各个楼层到达数量统计与时间分布。

5.如权利要求4所述的电梯乘梯人员分类与其乘梯规律分析的系统，其特征在于，所述人体检测和属性识别模块用于对图片进行检测，识别出人员目标及其类别具体为：利用检测模型对所抓取图片进行检测与识别，获得人体检测框及其类别。

6.如权利要求4所述的电梯乘梯人员分类与其乘梯规律分析的系统，其特征在于，所述人体检测和属性识别模块用于对图片进行检测，识别出人员目标及其类别具体为：

利用检测模型对所抓取图片进行检测，获得人体检测框；

利用人体检测框获得人体截图，送入深度神经网络进行多类别分类，最终得到人体相关属性，其中选用残差网络作为骨干网络，使用softmax loss作为多分类loss的目标函数，通过训练网络来获得分类模型。

Images