CN110143498B - 一种电梯乘梯行程的目标匹配方法及系统 - Google Patents

Abstract

本发明公开了一种电梯乘梯行程的目标匹配方法及系统，其中方法实施例中包括以下步骤：在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块；云端分析模块对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹。

Description

一种电梯乘梯行程的目标匹配方法及系统

技术领域

本发明属于数据分析领域，具体涉及一种电梯乘梯行程的目标匹配方法及系统。

背景技术

随着我国经济平稳持续的发展，尤其是住宅产业作为国民经济新增长点的提出，为电梯业的发展提供了良好的机遇；今后几年，我国将年建住宅3.5亿平方米，公建项目1.2亿平方米；随着城市向大型化、高层化的发展，我国每年对电梯的市场需求越来越大大，对于电梯的管理也越来越趋于智能化、信息化。

随着电梯的大面积应用和大数据分析和应用技术领域的发展，对电梯的乘梯人数据进行提取和应用，具有广阔的市场前景。

发明内容

本发明要解决的技术问题是提供一种电梯乘梯行程的目标匹配方法及系统，用于精确提取并分析出电梯行程中存在的复合行程，得到相对精确的目标出行轨迹。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例的一方面公开了一种电梯乘梯行程的目标匹配方法，包括以下步骤：

在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，

通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，

如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块；

云端分析模块对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹。

优选地，所述检测算法为基于卷积神经网络的目标检测算法。

优选地，所述电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个独立行程组合，同时要求独立行程运动方向一致。

优选地，所述通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用图像采集单元采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

优选地，所述如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块具体为：对于复合行程，会存在对同一个目标的多次抓图，目标匹配模块来对同一个目标的多次抓图进行匹配关联，利用事先训练好的reID模型提取目标截图的图像特征，接着利用二分图最优匹配的方法，以目标作为节点，以目标特征的cos距离作为图的边，对相邻两次抓图的目标进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。

本发明实施例的又一方面公开了一种电梯乘梯行程的目标匹配系统，包括抓图和目标检测模块、电梯行程生成模块、判断模块、目标匹配模块和云端分析模块，

所述抓图和目标检测模块用于在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，

所述电梯行程生成模块用于通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

所述判断模块用于判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，

所述目标匹配模块用于如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块；

所述云端分析模块用于对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹。

优选地，所述检测算法为基于卷积神经网络的目标检测算法。

优选地，所述电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯目标，存在独立行程重合的乘梯过程，其往往由几个独立行程组合，同时要求独立行程运动方向一致。

优选地，所述电梯行程生成模块进一步包括数据采集单元、门状态分析单元、楼层分析单元、LSTM行程状态分析单元和行程分析模块单元，

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用图像采集单元采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

优选地，所述如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块具体为：对于复合行程，会存在对同一个目标的多次抓图，人员匹配模块来对同一个目标的多次抓图进行匹配关联，利用事先训练好的reID模型提取目标截图的图像特征，接着利用二分图最优匹配的方法，以目标作为节点，以目标特征的cos距离作为图的边，对相邻两次抓图的目标进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。

采用本发明具有如下的有益效果：通过对电梯行程分析和图像分析进行了深入探讨，针对电梯行程中存在的复合行程，会影响到图像分析结果的准确性，所以对同一目标的多张抓图进行匹配关联，消除冗余性，得到相对精确的目标出行轨迹。

附图说明

图1为本发明实施例的电梯乘梯行程的目标匹配方法的步骤流程图；

图2为本发明实施例的电梯乘梯行程的目标匹配系统的结构原理图；

图3为本发明实施例的电梯乘梯行程的目标匹配系统中电梯行程生成模块的结构原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明的电梯乘梯行程的目标匹配方法的步骤流程图，其包括以下步骤：

在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，

通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，

如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块。具体应用实施例中，对于复合行程，会存在对同一个目标的多次抓图，目标匹配模块来对同一个目标的多次抓图进行匹配关联，利用事先训练好的reID模型提取目标截图的图像特征，接着利用二分图最优匹配的方法，以目标作为节点，以目标特征的cos距离作为图的边，对相邻两次抓图的目标进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。针对电梯行程中存在的复合行程，会影响到图像分析结果的准确性，所以对同一目标的多张抓图进行匹配关联，消除冗余性，得到相对精确的目标出行轨迹。这里的目标检测主要采用人体检测，但不限于人体检测，也可以是人头、头肩以及其他目标等目标检测。选择人体检测主要是考虑到人体的特征相对丰富，同时人作为电梯的主要使用者，分析人体目标具有重要意义，但对于拥挤的场景会存在无法检测到人体的情况，这时可以考虑利用人头或头肩作为替代措施。这里的目标检测模型与reID特征提取模型是强关联的，如果检测为人体，reID的特征提取为人体，如果检测为头肩，reID的特征提取为头肩。

具体地，对于图像行人重识别reID技术，利用人体图像特征判断目标是否为同一个ID的人，其训练目标函数可以采用传统的softmax loss，也可以采用欧式距离类的loss，例如contrastive loss\triple loss等，还可以利用极坐标的角度loss。针对reID网络训练，收集复合行程的目标图集，通过清洗然后进行训练。这样训练出的网络能够有效提取人体的细节特征差异，进而作为强特征结合图匹配的方法或其他方法实现目标匹配，同时reID技术也适用于其他非人体目标提取具有判别能力的特征。具体应用过程中，主要利用卷积神经网络来对图像提取特征并分类，卷积神经网络是强大的特征提取工具，其主要依赖目标函数为导向来提取特征，例如检测与reID的网络是以不同的loss作为目标函数。Yolov3的骨干网络和resnet18网络的基本构成基本一样，都是有卷积层、池化层、relu激活层、正则化层、残差模块与全连接FC层组成。Yolov3的输入为一张图片，输出为不同目标的矩形框，矩形框以左上点(x，y)与宽高(w，h)表示。reID以残差网络为骨干网络，其网络输入为一张图片，输出为256维特征向量。

云端分析模块对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹。

以上各步骤中，可以通过电梯轿厢顶的摄像头采集图像数据。将采集到的图像数据进行图像检测，检测算法为基于卷积神经网络的目标检测算法。对于图像检测技术主要采用two-stage的fast-rcnn和one-stage的yolo、ssd等的检测算法，可以获得图片中特定物体的外接矩形框。本发明应用实例中，电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反。例如，例如电梯从1楼空闲，然后运动到10楼，又空闲，或是电梯上次运动由5楼到1楼，没有空闲又从1楼到10楼，然后空闲的过程，这时把1楼到10楼的运动过程定义成为独立行程。因此，独立行程是站在乘梯人的角度，描述具有相同行程的乘梯人的乘梯过程。电梯的复合行程定义为具有不同行程的乘梯目标，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致。由以上定义可知，电梯的复合行程区别于独立行程，例如有人员从1到9楼，有人员从1到12楼，这两批人员同时从1楼出发，那么出现到9楼有人出梯，然后又到12楼出梯，即1-＞9-＞12的行程。

以上实施过程中，本发明基于独立行程的抓图方式的目标检测，在电梯复合行程中，检测到的目标无法匹配关联。独立行程期间，电梯轿厢顶的摄像头抓取一张图片，表示此时乘梯目标的乘梯轨迹，因此复合行程有多张抓图，会出现部分目标重复，如果能够对这些目标进行关联匹配，就可以精确知道目标的乘梯轨迹，有助于基于电梯监控场景的各种数据统计分析，例如分析每层的到达人次和出发人次，统计基于电梯行程的人流量，以及统计各楼层的人群属性画像。具体应用实例中，通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程进一步包括以下步骤：

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用图像采集单元采集的图像数据，利用图像分析得到电梯的实时门状态；门状态一共有四种状态包括：门开、开门中、门关、关门中。

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；其中光电管安装在一楼基准层，用来校准电梯到达基准层，卡尔曼滤波是对陀螺仪和加速度计的观测数据建立运动模型来估计运行路程，传感器的采样频率往往不一致，互补滤波用来对估算出的路程和气压计估算的高度数据进行整合，最终获得电梯运动到哪一层。

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态。其中LSTM模型通过采用many-to-one的预测方式，即多个时间片段输入，预测一个状态，提升对长时间跨度的建模能力。LSTM模型在其中加入了一个判断信息有用与否的结构，这个结构被称为cell。cell中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM模型当中，可以根据三扇门来判断是否有用。通过训练LSTM会生成对应模型参数，三扇门根据模型参数与输入信息的计算并控制门开关程度，信息就在三扇门的作用下，通过输出门加工过信息，或者通过遗忘门将信息丢弃。

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

与本发明方法实施例对应的，参见图2，本发明实施例还公开了一种电梯乘梯行程的目标匹配系统，包括抓图和目标检测模块、电梯行程生成模块、判断模块、目标匹配模块和云端分析模块，其中抓图和目标检测模块用于在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，电梯行程生成模块用于通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；判断模块用于判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，目标匹配模块用于如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块；云端分析模块用于对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹。

以上系统各模块中，可以通过电梯轿厢顶的摄像头采集图像数据。将采集到的图像数据进行图像检测，检测算法为基于卷积神经网络的目标检测算法。对于图像检测技术主要采用two-stage的fast-rcnn和one-stage的yolo、ssd等的检测算法，可以获得图片中特定物体的外接矩形框。本发明应用实例中，电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反。例如，例如电梯从1楼空闲，然后运动到10楼，又空闲，或是电梯上次运动由5楼到1楼，没有空闲又从1楼到10楼，然后空闲的过程，这时把1楼到10楼的运动过程定义成为独立行程。因此，独立行程是站在乘梯人的角度，描述具有相同行程的乘梯人的乘梯过程。电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个单独行程组合，同时要求子行程运动方向一致。由以上定义可知，电梯的复合行程区别于独立行程，例如有人员从1到9楼，有人员从1到12楼，这两批人员同时从1楼出发，那么出现到9楼有人出梯，然后又到12楼出梯，即1-＞9-＞12的行程。

以上实施过程中，本发明基于独立行程的抓图方式的目标检测，在电梯复合行程中，检测到的目标无法匹配关联。独立行程期间，电梯轿厢顶的摄像头抓取一张图片，表示此时乘梯目标的乘梯轨迹，因此复合行程有多张抓图，会出现部分目标重复，如果能够对这些目标进行关联匹配，就可以精确知道目标的乘梯轨迹，有助于基于电梯监控场景的各种数据统计分析，例如分析每层的到达人次和出发人次，统计基于电梯行程的人流量，以及统计各楼层的人群属性画像。具体应用实例中，参见图3，电梯行程生成模块进一步包括数据采集单元、门状态分析单元、楼层分析单元、LSTM行程状态分析单元和行程分析模块单元，通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；使用图像采集单元采集的图像数据，利用图像分析得到电梯的实时门状态；门状态一共有四种状态包括：门开、开门中、门关、关门中。

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；其中光电管安装在一楼基准层，用来校准电梯到达基准层，卡尔曼滤波是对陀螺仪和加速度计的观测数据建立运动模型来估计运行路程，传感器的采样频率往往不一致，互补滤波用来对估算出的路程和气压计估算的高度数据进行整合，最终获得电梯运动到哪一层。

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态。其中LSTM模型通过采用many-to-one的预测方式，即多个时间片段输入，预测一个状态，提升对长时间跨度的建模能力。LSTM模型在其中加入了一个判断信息有用与否的结构，这个结构被称为cell。cell中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM模型当中，可以根据三扇门来判断是否有用。通过训练LSTM会生成对应模型参数，三扇门根据模型参数与输入信息的计算并控制门开关程度，信息就在三扇门的作用下，通过输出门加工过信息，或者通过遗忘门将信息丢弃。

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (8)

1.一种电梯乘梯行程的目标匹配方法，其特征在于，包括以下步骤：

在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，

通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，

如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块；

云端分析模块对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹，

所述电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个独立行程组合，同时要求独立行程运动方向一致。

2.如权利要求1所述的电梯乘梯行程的目标匹配方法，其特征在于，所述检测算法为基于卷积神经网络的目标检测算法。

3.如权利要求1所述的电梯乘梯行程的目标匹配方法，其特征在于，所述通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程进一步包括以下步骤：

通过电梯轿厢顶的图像采集单元采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用图像采集单元采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

4.如权利要求3所述的电梯乘梯行程的目标匹配方法，其特征在于，所述如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块具体为：对于复合行程，存在对同一个目标的多次抓图，目标匹配模块来对同一个目标的多次抓图进行匹配关联，利用事先训练好的reID模型提取目标截图的图像特征，接着利用二分图最优匹配的方法，以目标作为节点，以目标特征的cos距离作为图的边，对相邻两次抓图的目标进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。

5.一种电梯乘梯行程的目标匹配系统，其特征在于，包括抓图和目标检测模块、电梯行程生成模块、判断模块、目标匹配模块和云端分析模块，

所述抓图和目标检测模块用于在电梯关门并有运行速度时，利用图像采集单元抓取一张图片，利用检测算法对所抓取图片进行检测，获得目标检测框；同时，

所述电梯行程生成模块用于通过电梯的门状态与传感器数据，利用LSTM模型分析输出得到电梯行程状态，结合楼层数据，得到电梯的独立行程和复合行程；

所述判断模块用于判断是否是复合行程，如果不是复合行程，无需进行目标匹配，将上述结果直接汇总到云端分析模块，

所述目标匹配模块用于如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块；

所述云端分析模块用于对数据进行分析，对于独立行程用于统计其乘梯目标的出行轨迹；对于复合行程，利用目标匹配，获得乘梯目标不同的出行轨迹，所述电梯行程是指电梯向上或向下连续运行的一个过程，包括独立行程和复合行程，其中电梯的独立行程定义为从电梯由开门到关门的状态触发，然后运动，再到由关门到开门的状态触发的过程，同时电梯在这个过程之前和之后处于空闲状态或电梯之前运动方向与将要运行的方向相反；电梯的复合行程定义为具有不同行程的乘梯人，存在独立行程重合的乘梯过程，其往往由几个独立行程组合，同时要求独立行程运动方向一致。

6.如权利要求5所述的电梯乘梯行程的目标匹配系统，其特征在于，所述检测算法为基于卷积神经网络的目标检测算法。

7.如权利要求5所述的电梯乘梯行程的目标匹配系统，其特征在于，所述电梯行程生成模块进一步包括数据采集单元、门状态分析单元、楼层分析单元、LSTM行程状态分析单元和行程分析模块单元，

通过电梯轿厢顶的摄像头采集图像数据，通过传感器采集陀螺仪、加速度计、气压计与光电管的数据；

使用图像采集单元采集的图像数据，利用图像分析得到电梯的实时门状态；

将数据采集模块采集的陀螺仪、加速度计、气压计与光电管的数据，利用卡尔曼滤波与互补滤波分析得到电梯实时楼层数；

通过对门状态数据与数据采集模块采集的陀螺仪、加速度计、气压计的数据进行预处理，去除噪声数据，采样到25HZ的数据频率，整理成模型输入向量送入LSTM模型，每一定时间LSTM模型输出一次行程状态；

楼层变化数据采样的频率与LSTM行程状态分析模块输出同步的频率，行程状态中的开始代表行程开始，暂停代表行程有换乘，结束代表行程结束；通过确定开始和结束两个状态，就能分析得到电梯行程，即楼层变化，对开始和结束的期间没有暂停状态的认为是独立行程，有至少一次暂停状态的认为是复合行程。

8.如权利要求7所述的电梯乘梯行程的目标匹配系统，其特征在于，所述如果是复合行程，进行目标匹配后将匹配结果发送至云端分析模块具体为：对于复合行程，存在对同一个目标的多次抓图，目标匹配模块来对同一个目标的多次抓图进行匹配关联，利用事先训练好的reID模型提取目标截图的图像特征，接着利用二分图最优匹配的方法，以目标作为节点，以目标特征的cos距离作为图的边，对相邻两次抓图的目标进行图匹配，设置匹配最低阈值，低于该阈值认为无法匹配。

Images