CN109969891A - 一种基于深度学习的电梯乘客重识别分析系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的电梯乘客重识别分析系统，包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块；本发明提供实时对电梯监控中采集到的一定时间内的所有乘客进行去重，可以在总人数统计的基础上，完善电梯所属范围内所有居民人数信息的一种基于深度学习的电梯乘客重识别分析系统。

Description

一种基于深度学习的电梯乘客重识别分析系统

技术领域

本发明涉及电梯领域，更具体的说，它涉及一种基于深度学习的电梯乘客重识别分析系统。

背景技术

目前市场上极度缺乏电梯信息资源的利用，最接近的现有技术是CN201811105728.5一种电梯自动识别住户楼层装置，公开了一种电梯自动识别住户楼层装置，所述灯光设备包括常亮灯和工作灯，所述电梯轿厢箱体顶部的四角分别设置有常亮灯，所述工作灯设置在箱体顶部的中央；所述监控设备包括监控摄像头和人像采集摄像头，所述监控摄像头和人像采集摄像头对正电梯轿厢的开门侧，且人像采集摄像头处于监控摄像头的左右两侧；所述称重设备为设置在电梯轿厢底部的称重板，所述称重板铺设在电梯轿厢的底板上；所述楼层的进出楼层设置有向上按钮和向下按钮，楼宇的地下层只设置有向上按钮，且进出楼层以上的楼层只设置有向下按钮。该方案通过自动识别住户，并将住户送至其居住的楼层，加强了电梯的智能化，减少住户的其他操作，提高住户的居住舒适度。

该方案主要目的在于通过安装在电梯内监控设备与其他安全设备，自动识别出住户所住楼层并自动将住户送至其居住的楼层，但无法通过安装在电梯内的监控设备实现对住户的人数统计，从而无法获得住户的整体画像，也无法在电梯内快速准确的投放广告从而最大化电梯的经济效益，因此在电梯应用领域具有诸多局限性。

发明内容

本发明克服了现有技术的不足，提供了一种基于深度学习的电梯乘客重识别分析系统。

为了解决上述技术问题，本发明的技术方案如下：

一种基于深度学习的电梯乘客重识别分析系统，包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块；

监控设备安装在电梯厢内顶部或电梯内显示屏上，保证摄像头以最大的视野角对电梯轿厢实时进行拍摄，采集电梯内的监控视频；

图像采集单元将监控设备抓到的图片数据进行预处理后用于后续目标检测分析分类单元分析，对图片数据的预处理方式包括图像裁剪、补边、翻转操作；

目标检测分析单元包括深度学习目标检测方法，通过对经过预处理后的电梯监控视频图片数据进行分析，获取图片数据中人物在原图中的具体位置，再通过相应调用方法获取具有人物的图像，并保存至图像数据库；

重识别分析模块包括深度学习行人重识别方法，基于目标检测分析单元提取到的具有人物的图像，提取256维或128维特征，再通过聚类方法，有效获取人物的编号信息；

去重后信息分析模块根据图像数据库中的人物位置和重识别分析模块获取的人物编号信息，通过对一个完整乘梯过程中所有人物的去重，获得每个乘梯过程的人物信息库，其中每个乘梯过程指一个完整的电梯上行过程或下降过程；

画像模块根据去重后信息分析模块获取的人物信息库，进而获取固定地点在一段时间内的人物画像；

信息播放模块包括电梯内的显示屏或小区物业的相关通讯与显示设备，根据画像模块配合广告投放系统，获取更精准的广告投放信息与安防信息。

本发明相比现有技术优点在于：

本发明通过基于深度学习的电梯乘客重识别网络，实时对电梯监控中采集到的一定时间内的所有乘客进行去重，可以在总人数统计的基础上，完善电梯所属范围内所有居民人数信息，再配合电梯内广告推荐系统，从而有效实现电梯内广告的精准投放。

附图说明

图1为本发明的系统框图；

图2为本发明的基于深度学习目标检测方法模块图；

图3为本发明的重识别分析模块图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1至图3所示，一种基于深度学习的电梯乘客重识别分析系统，包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块。

监控设备安装在电梯厢内顶部或电梯内显示屏上，保证摄像头以最大的视野角对电梯轿厢实时进行拍摄，采集电梯内的监控视频。

图像采集单元将监控设备抓到的图片数据进行预处理后用于后续目标检测分析分类单元分析，对图片数据的预处理方式包括图像裁剪、补边、翻转操作。

目标检测分析单元包括深度学习目标检测方法，通过对经过预处理后的电梯监控视频图片数据进行分析，获取图片数据中人物在原图中的具体位置，再通过相应调用方法获取具有人物的图像，并保存至图像数据库。

重识别分析模块包括深度学习行人重识别方法，基于目标检测分析单元提取到的具有人物的图像，提取256维或128维特征，再通过聚类方法，有效获取人物的编号信息。

去重后信息分析模块根据图像数据库中的人物位置和重识别分析模块获取的人物编号信息，通过对一个完整乘梯过程中所有人物的去重，获得每个乘梯过程的人物信息库，其中每个乘梯过程指一个完整的电梯上行过程或下降过程。例如：电梯从-1楼上升至3楼停一次，再到10楼停一次(则该过程即为一次完整乘梯过程)，电梯再从10楼直接到1楼也为一个完整的乘梯过程。

画像模块根据去重后信息分析模块获取的人物信息库，进而获取固定地点在一段时间内的人物画像。例如可以得到某小区24小时内所有出现的总人数，以及各个具体时间点的峰值人数，可以为小区物业提供更为丰富的安防信息，同时配合电梯显示屏内的广告推荐系统，可以做到更精准的广告投放。

信息播放模块包括电梯内的显示屏或小区物业的相关通讯与显示设备，根据画像模块配合广告投放系统，获取更精准的广告投放信息与安防信息。

具体的电梯运作处理如下：

101)预处理步骤：根据监控设备获得各台电梯内人物的各自视频的图片数据，并通过图像采集单元进行预处理；预处理包括图像裁剪、补边、翻转等操作。

102)人物信息处理步骤：将预处理的图像数据送至目标检测分析单元进行人物目标检测。利用深度学习目标检测方法，如yolov3、SSD等方法对人物进行目标进行检测。各人物的位置坐标信息(x1,y1,x2,y2…)，再基于opencv等方法获取各乘梯人的图像数据送至重识别分析模块。

103)信息分析步骤：在获得电梯乘梯人具体位置信息与含有人物的图像数据后，通过重识别分析模块中的基于深度学习行人重识别方法，提取电梯中人物的256维或128维特征，再利用聚类算法，例如kmeans等，可以较为准确的获取每个乘梯过程中的人物编号信息，其中基于深度学习与聚类算法的乘梯人重识别分析模块，具体流程如下：

301)特征提取步骤：利用基于常见的例如Resnet34或Resnet50等深度学习网络实现特征提取，先将输入图片(即截取到的所有符合条件的乘梯人的图像数据)图像大小resize调节到为256*128或384*128，输入到Resnet34或Resnet50等深度学习网络后得到每张图片的最后256维或128维特征，保存到指定的数据库中，通过数据库保存好的所有图片的有效特征数据(256维或128维)。

302)通过对每个完整的乘梯过程进行数据预处理，获取每个乘梯过程中监控设备摄像头截到的原图，根据基于深度学习目标检测方法返回的具体位置信息获得每个乘梯过程的全部乘梯人数与最多原图人数，其中最多原图人数作为聚类方法(例如kmeans)的聚类核心数。

303)聚类步骤：使用kmeans等聚类方法对每个乘梯过程的全部乘梯人特征图进行聚类，计算所有乘梯人特征图中的多维特征的欧式距离进行计算，其可以分别计算出每对多维特征图之间的距离，其中A、B分别代表数据库中任意一对乘客图片特征数据，a_i、b_i为A、B特征数据中的每一维特征，n为有效特征数据量，采用欧式距离作为kmeans等聚类方法变量之间的聚类函数，从而实现对所有特征图的聚类，聚类完成后，每个聚类堆中的所有乘梯人即认为是同一个人，不同聚类堆中的即为不同乘梯人。

从而获得每个乘梯过程的乘梯人信息库，包含乘梯人数量、出现频率、重复比例等信息。

304)终端应用步骤：根据聚类方法求得的乘梯人编号信息，配合小区的安防系统可以提供更好的小区安防，或者配合电梯内的广告推送系统，可以进行更准确有效的广告推送。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (1)

1.一种基于深度学习的电梯乘客重识别分析系统，其特征在于，包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块；

监控设备安装在电梯厢内顶部或电梯内显示屏上，保证摄像头以最大的视野角对电梯轿厢实时进行拍摄，采集电梯内的监控视频；

图像采集单元将监控设备抓到的图片数据进行预处理后用于后续目标检测分析分类单元分析，对图片数据的预处理方式包括图像裁剪、补边、翻转操作；

目标检测分析单元包括深度学习目标检测方法，通过对经过预处理后的电梯监控视频图片数据进行分析，获取图片数据中人物在原图中的具体位置，再通过相应调用方法获取具有人物的图像，并保存至图像数据库；

重识别分析模块包括深度学习行人重识别方法，基于目标检测分析单元提取到的具有人物的图像，提取256维或128维特征，再通过聚类方法，有效获取人物的编号信息；

去重后信息分析模块根据图像数据库中的人物位置和重识别分析模块获取的人物编号信息，通过对一个完整乘梯过程中所有人物的去重，获得每个乘梯过程的人物信息库，其中每个乘梯过程指一个完整的电梯上行过程或下降过程；

画像模块根据去重后信息分析模块获取的人物信息库，进而获取固定地点在一段时间内的人物画像；

信息播放模块包括电梯内的显示屏或小区物业的相关通讯与显示设备，根据画像模块配合广告投放系统，获取更精准的广告投放信息与安防信息。