CN115072510A - 基于门开关的电梯轿厢乘客智能识别与分析方法及系统 - Google Patents

Abstract

本发明提供一种基于门开关的电梯轿厢乘客智能识别与分析方法及系统，包括：电梯门开关状态检测模块：标定关门状态下电梯门角点，获取标志区域及其像素均值，判断电梯门颜色范围，计算实时标志区域像素值，根据阈值判断门开关状态；电梯乘客目标识别模块：利用深度学习算法识别乘客并获取总客流量，截取目标乘客回归框并保存；电梯乘客属性特征识别模块：利用深度卷积网络提取乘客特征，获取乘客多标签外观属性；电梯乘客重识别模块：提取乘客图像特征向量并对比乘客之间特征相似度，根据阈值判断是否重复进出；电梯乘客净流量统计模块：在判断门状态并进行目标识别的条件下，计算梯内乘客净流量。本发明对构建智能监控系统具有重要意义。

Description

基于门开关的电梯轿厢乘客智能识别与分析方法及系统

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种基于门开关的电梯轿厢乘客智能识别与分析方法及系统，尤其涉及一种基于电梯门开关检测的电梯乘客智能识别方法和基于重识别即特征相似度度量的乘梯净流量统计方法。

背景技术

电梯公共安全是高层建筑设计考虑的重要因素之一。随着经济飞速发展，社会对于智能家居和智慧生活的需求不断增加，公共场所服务设施智能化的需求也逐渐扩大。作为城市化高层建筑的重要搬运载体，电梯智能监控成为亟待解决的研究问题。

电梯视频在进行乘客统计、人物跟踪、属性识别等任务之前首先需要检测乘客、电梯异物等目标。考虑到电梯中其他运动物体，如广告、电梯门开关、宠物等对乘客统计的干扰，传统的移动目标检测算法，如背景减法、帧差异法、光流法、混合高斯模型法、基于矩阵低秩性的方法等不能满足智能化要求。为了快速识别感兴趣区域并提高检测效果，较多使用回归框预测以及特征算子描述的方法，主要分为底层特征加分类器的检测方法和基于深度学习的方法。属性识别的目标是识别人物的外观属性特征，包含底低层属性：如衣着、附属品等；高层属性：如年龄、性别等。属性识别的解决思路一般包含多任务学习、细粒度分类和多标签分类。

专利文献CN109896386A(申请号202110739237.1)公开了一种基于计算机视觉技术的电梯门反复开关的检测方法及系统，通过当前帧和注册背景帧直方图的差距判定门的开关状态，但是需要在电梯门上较高处粘贴标志物，适应性较差。

专利文献CN109896386A(申请号201910178350.X)公开了一种基于神经网络模型精细分类的服饰属性标签识别方法，将收集的服饰图片运用目标检测算法Faster RCNN进行背景分割；将NasNet和incepti onresnetv2训练的网络模型进行融合，采用加权平均的融合方法,输出服饰的属性标签。

专利文献CN 211147834 U(申请号201921924432.6)公开了一种用于电梯物联网的人流量检测装置，但需要在电梯上下端水平、内侧表面等处安装固定、激光发射板、激光接收板等，硬件设备复杂。

专利文献CN102902971A(申请号201210316862.6)公开了一种基于智能视觉感知的电梯人流量统计方法及系统，建立头肩模型样本库，进行PCA特征提取，并利用SVM训练器训练，当跟踪目标发生越过穿越线事件时，根据目标的进出情况，对相应计数器进行操作，存在难以提取高层属性特征的缺点，且目标跟踪阶段行人ID跳变会导致计数不精确。

公开号为CN204917493U的实用新型专利，公开了一种电梯出入智能识别管理系统，包括采集模块、数据分析模块、主控模块、楼层控制模块及报警处置模块，所述采集模块用于采集电梯内的人体图像数据，所述数据分析模块用于对人体图像数据进行分析识别，其输入端连接所述采集模块的输出端，其输出端连接所述主控模块的输入端，所述主控模块的输出端连接所述楼层控制模块和报警处置模块。

公开号为CN107911663A的发明专利，公开了一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统，包括电梯门开关检测模块、图像采集模块、人体危险行为检测模块、控制模块。通过检测电梯桥厢固定区域中乘坐人员有无危险行为，然后通过互联网把危险情况发送给控制模块对电梯桥厢内的人员发出语音提醒，使电梯以更高的安全系数服务于用户。

发明内容

针对现有技术中的缺陷，本发明提供一种基于门开关的电梯轿厢乘客智能识别与分析方法及系统。

根据本发明提供的一种基于门开关的电梯轿厢乘客智能识别与分析方法及系统，所述方案如下：

第一方面，提供了一种基于门开关的电梯轿厢乘客智能识别与分析方法，所述方法包括：

电梯门开关状态检测步骤：标定关门状态下电梯门角点，获取标志区域及其像素均值，判断电梯门颜色范围，计算实时标志区域像素值，根据阈值判断门开关状态；

电梯乘客目标识别步骤：在开-关门状态开关条件下利用深度学习算法识别乘客，获取目标乘客预测概率、位置及类别，截取目标乘客回归框并保存，每隔固定帧将当前目标乘客个数累加得到总客流量；

电梯乘客属性特征识别步骤：利用深度学习模型提取当前帧所识别的目标乘客的外观特征，获取乘客多标签属性；

电梯乘客重识别步骤：利用深度卷积网络提取目标库和查询库乘客图像的特征向量，对于当前帧识别的每个目标乘客，通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的相似度距离得分并排序，根据阈值判断是否重复进出；

电梯乘客净流量统计步骤：在判断电梯门状态并进行目标识别的条件下，利用电梯乘客重识别获取重复进出乘客的个数，根据总客流量计算得到初始到当前时刻梯内乘客净流量。

优选地，所述电梯门开关状态检测步骤包括：

门角点标定步骤：通过鼠标控件顺时针获取电梯门边缘角点，并根据几何位置关系确定检测标志区域；

门颜色判断步骤：根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范围，将电梯门分为白种电梯和灰种电梯；

门状态检测步骤：根据检测标志区域的实时灰度值，对不同颜色种类的电梯通过不同的检测条件判断当前门状态。

优选地，所述电梯乘客目标识别步骤包括：

乘客识别步骤：调用深度学习算法，检测当前帧画面的梯内乘客，获取目标检测乘客预测概率、类别及位置；

预测框截取步骤：获取乘客识别单元的回归框，对于每个识别结果即单个乘客，截取其预测框并保存至电梯数据库。

优选地，所述电梯乘客重识别步骤包括：

特征提取步骤：调用深度卷积网络获取电梯图像数据库特征；

距离度量步骤：通过矩阵乘法计算电梯当前帧中目标乘客图像与查询库中乘客图像的相似度，得到距离得分并由大到小排序；

重复判断步骤：根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前时刻重复进入电梯的乘客。

优选地，所述电梯乘客净流量统计步骤包括：

客流计数步骤：在门开关状态判断的基础上调用目标识别方法，识别当前帧画面的乘客并获取乘客数量，累加到计数器中；

乘客去重步骤：利用重识别方法判断重复进入电梯的乘客个数，获取初始至当前时刻的乘梯净流量。

第二方面，提供了一种基于门开关的电梯轿厢乘客智能识别与分析系统，所述系统包括：

电梯门开关状态检测模块：标定关门状态下电梯门角点，获取标志区域及其像素均值，判断电梯门颜色范围，计算实时标志区域像素值，根据阈值判断门开关状态；

电梯乘客目标识别模块：在开-关门状态开关条件下利用深度学习算法识别乘客，获取目标乘客预测概率、位置及类别，截取目标乘客回归框并保存，每隔固定帧将当前目标乘客个数累加得到总客流量；

电梯乘客属性特征识别模块：利用深度学习模型提取当前帧所识别的目标乘客的外观特征，获取乘客多标签属性；

电梯乘客重识别模块：利用深度卷积网络提取目标库和查询库乘客图像的特征向量，对于当前帧识别的每个目标乘客，通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的相似度距离得分并排序，根据阈值判断是否重复进出；

电梯乘客净流量统计模块：在判断电梯门状态并进行目标识别的条件下，利用电梯乘客重识别获取重复进出乘客的个数，根据总客流量计算得到初始到当前时刻梯内乘客净流量。

优选地，所述电梯门开关状态检测模块包括：

门角点标定单元：通过鼠标控件顺时针获取电梯门边缘角点，并根据几何位置关系确定检测标志区域；

门颜色判断单元：根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范围，将电梯门分为白种电梯和灰种电梯；

门状态检测单元：根据检测标志区域的实时灰度值，对不同颜色种类的电梯通过不同的检测条件判断当前门状态。

优选地，所述电梯乘客目标识别模块包括：

乘客识别单元：调用深度学习算法，检测当前帧画面的梯内乘客，获取目标检测乘客预测概率、类别及位置；

预测框截取单元：获取乘客识别单元的回归框，对于每个识别结果即单个乘客，截取其预测框并保存至电梯数据库。

优选地，所述电梯乘客重识别模块包括：

特征提取单元：调用深度卷积网络获取电梯图像数据库特征；

距离度量单元：通过矩阵乘法计算电梯当前帧中目标乘客图像与查询库中乘客图像的相似度，得到距离得分并由大到小排序；

重复判断单元：根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前时刻重复进入电梯的乘客。

优选地，所述电梯乘客净流量统计模块包括：

客流计数单元：在门开关状态判断的基础上调用目标识别方法，识别当前帧画面的乘客并获取乘客数量，累加到计数器中；

乘客去重单元：利用重识别方法判断重复进入电梯的乘客个数，获取初始至当前时刻的乘梯净流量。

与现有技术相比，本发明具有如下的有益效果：

1、本发明可实现基于机器视觉的电梯门开关检测，可实现对于不同电梯的标定识别和自适应参数获取，无需安装辅助硬件或其它设备，适应性强，灵活性强；

2、本发明可实现乘客属性多标签智能识别，获取重点乘客的衣着外观等低层属性和年龄性别的高层属性，为电梯智能安防、广告精准投放等工作提供支持；

3、本发明可实现电梯轿厢乘客重识别，检测并判断当前时刻重复进出电梯的乘客，为流量统计，电梯大数据等提供支持；

4、本发明可实现电梯实时乘客净流量统计，无需进行多目标跟踪和轨迹提取，模型轻巧，实时性强，可为电梯调度等工作提供支持。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的基于门开关的电梯轿厢乘客智能识别与分析方法流程示意图；

图2为本发明提供的电梯门状态检测方法流程示意图；

图3为本发明提供的电梯乘客目标识别方法流程示意图；

图4为本发明提供的电梯乘客重识别方法流程示意图；

图5为本发明提供的电梯乘客净流量统计方法流程示意图；

图6为本发明提供的基于门开关的电梯轿厢乘客智能识别系统人机交互界面示例图；

图7为本发明提供的基于门开关的电梯轿厢乘客智能识别方法功能流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种基于门开关的电梯轿厢乘客智能识别与分析方法及系统，具体内容如下：

实施例1：

电梯门开关状态检测模块：标定关门状态下电梯门角点，获取标志区域及其像素均值，判断电梯门颜色范围，计算实时标志区域像素值，根据阈值判断门开关状态。

电梯乘客目标识别模块：在“开-关”门状态开关条件下利用深度学习算法识别乘客，获取目标乘客预测概率、位置及类别，截取目标乘客回归框并保存，每隔固定帧将当前目标乘客个数累加得到总客流量。

电梯乘客属性特征识别模块：利用深度学习模型提取当前帧所识别的目标乘客的外观特征，获取乘客多标签属性，包括年龄、性别、职业、携带品等。

电梯乘客重识别模块：利用深度卷积网络提取目标库和查询库乘客图像的特征向量，对于当前帧识别的每个目标乘客，通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的相似度距离得分并排序，根据阈值判断是否重复进出。

电梯乘客净流量统计模块：在判断电梯门状态并进行目标识别的条件下，利用电梯乘客重识别获取重复进出乘客的个数，根据总客流量计算得到初始到当前时刻梯内乘客净流量。

(一)电梯门开关状态检测模块包括：门角点标定单元、门颜色判断单元和门状态检测单元。

门角点标定单元：用于获取电梯门边缘角点，并确定检测标志区域。包含以下步骤：

步骤1：选择待检测电梯，读取电梯监控视频并实时播放；获取视频帧大小(h,w,c)。

步骤2：调用鼠标控件，顺时针获取门边框的左上、右上、右下、左下角点坐标。

步骤3：确定检测标志区域的位置坐标，包括左上顶点up和右下顶点down，用于判断电梯门颜色以及检测门开关。

步骤4：利用门角点坐标和检测标志区域坐标，分别为门边框和标志区域绘制四边形和矩形，以观察标定区域范围。

其中，步骤1中，视频帧大小参数h,w,c分别为帧图像的宽度、高度和通道数。

步骤2中，记门边框的左上、右上、右下、左下角点坐标分别为topleft、topright、bottomright、bottomleft。

步骤3中，检测标志区域是在电梯门范围内截取的固定区域，检测标志区域的门角点和标志区域的代数关系由以下公式得到，其中x,y分别代表由步骤1得到的各点宽度和高度方向的坐标：

门颜色判断单元，用于根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范围，将电梯门分为白种电梯和灰种电梯；以在门状态检测单元通过不同的判断条件检测门开关。包含以下步骤：

步骤1：截取并保存门角点标定单元所述步骤4获取的检测标志区域，绘制标志区域灰度直方图。

步骤2：获取检测标志区域的像素均值，并与阈值对比判断电梯颜色类别。

具体地，步骤1中，直方图横坐标为图像灰度值，范围为[0,255]，其中黑色取值趋近于0，白色取值趋近于255。纵坐标为像素个数。直方图反映的信息为该图像中各个像素值数目的直观统计。

步骤2中，阈值为白种电梯和灰种电梯之间的明显像素均值差异界限，选取150作为阈值，将检测标志区域像素均值小于阈值的标记为灰种电梯，将检测标志区域像素均值大于阈值的标记为白种电梯。

门状态检测单元，用于根据检测标志区域的实时灰度值，对不同颜色种类的电梯通过不同的检测条件判断当前门状态。其中门状态status包含“开”(open)和“关”(close)两种。包含以下步骤：

步骤1：选择已标定的待检测电梯，读取电梯监控视频并实时播放；

步骤2：对于每个当前帧，获取检测标志区域的实时像素均值；

步骤3：根据门颜色判断单元得到的结果，利用门状态判断条件对白种电梯和灰种电梯进行开关状态检测。

其中，步骤1中，目标电梯为经过上述门角点标定单元确定检测标志区域、经过门颜色判断单元标记颜色种类的待检测电梯。

步骤2中，检测标准区域的范围由所述门角点标定单元获取，步骤2中，获取电梯实时监控视频，判断当前帧标志区域的像素均值。

步骤3中，门状态判断条件为：对于步骤2标记的白种电梯，开门之后检测区域灰度值减小，故标记当前检测区域像素均值小于阈值为状态“开”；对于步骤2标记的灰种电梯，开门之后检测区域灰度值增大，故标记当前检测区域像素均值大于阈值为状态“开”其中阈值设置为150。

(二)电梯乘客目标识别模块包括：乘客识别单元和预测框截取单元。

乘客识别单元，用于调用深度学习算法，检测当前帧画面的梯内乘客，获取目标检测乘客预测概率、类别及位置。

目标检测深度学习算法可选的有：单阶段检测器YOLO、SSD等，以及两阶段检测器Fast R-CNN等。其中单阶段检测器同时进行特征提取和分类回归，通过对图像划分栅格、计算预测得分、非极大值抑制等步骤实现，两阶段检测器需要获取候选区窗口。目标检测的返回结果包含：乘客的预测概率、预测类别、预测位置。

预测框截取单元，用于获取乘客识别单元的回归框，对于每个识别结果即单个乘客，截取其预测框并保存至电梯数据库。

电梯数据库分为目标库和查询库。由乘客识别单元获取的当前帧画面的单独乘客，根据识别回归框裁剪并保存至目标库；待检测监控视频从初始播放至当前时刻的所有目标库的累加作为查询库。

(三)电梯乘客重识别模块包括：特征提取单元，距离度量单元、重复判断单元。能够根据特征提取即相似度距离度量，识别一定时间跨度内重复进出该电梯的乘客。

特征提取单元，用于调用深度卷积网络获取电梯图像数据库特征，包含以下步骤：

步骤1：将目标库图像送入深度卷积网络提取目标库特征向量query_feature。

步骤2：将目标库特征向量query_feature拼接得到查询库特征gallery_feature。

其中，步骤1中，深度卷积网络可以选择Resnet50，Densenet121等，网络结构包含卷积层、池化层、全连接层等组合。其中卷积层通过卷积核以滤波器的方式作用于图像来提取特征，池化层用于压缩数据和参数量以减小过拟合。网络模型的输出为512维特征向量。

步骤2中，查询库包含初始时刻到当前时刻的所有目标图像，因此查询库特征由目标库图像特征拼接得到。对于包含m张乘客图像的查询库gallery，得到m×512大小的特征向量，对于目标库query中当前帧的每一个单独乘客，得到1×512大小的特征向量。分别将目标库和查询库的特征保存在mat文件中。

距离度量单元，用于通过矩阵乘法计算电梯当前帧中目标乘客图像与查询库中乘客图像的相似度，得到距离得分并由大到小排序，包含以下步骤：

步骤1：利用矩阵乘法计算当前帧每张目标图像与所有查询图像的相似度距离。

步骤2：将相似度距离得分由大到小排序并记录在查询库中对应的索引值。

其中，步骤1中，对于包含m张乘客图像的查询库gallery和包含n张当前帧乘客图像的目标库query，根据特征矩阵乘法得到相似度得分score为m×n的矩阵，其中m行代表m张由初始时刻到当前帧识别到的所有乘客图像，n列代表n张当前帧识别到的目标图像，矩阵score中每个元素的大小为[0,1]。矩阵中第i行第j列元素代表目标库query中第j张乘客图像q_j,(j∈[1,n])与查询库第i张乘客图像g_i,(i∈[1,m])之间的相似度距离得分。

步骤2中，将矩阵score按列进行由大到小重新排序得到score_sort，并记录重排后每个数值在原矩阵score中的索引值idx_i,(i∈[1,m])，该索引值用于查找目标图像在查询库中对应的图像,即第j列得分的第i个索引值对应该列目标图像q_j在查询库gallery中的第i个乘客图像g_i。

score_ij＝g_i*q_j ^T

重复判断单元，用于根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前时刻重复进入电梯的乘客。包含以下步骤：

步骤1：将排序后的相似度距离得分与阈值进行对比，判断目标乘客重复进出。

步骤2：获取当前帧重复进出的目标乘客数量Recount。

其中，步骤1中，获取所述(三)电梯乘客重识别模块距离度量单元所得的排序之后的相似度得分，得分越大表示目标乘客图像与查询库乘客图像越接近，目标乘客图像与自身的距离得分趋近于1，阈值根据实验经验选择0.7。

步骤1中，重复进出的判断条件为：目标乘客图像与查询库图像的距离得分大于相似度阈值则认为属于同一名乘客，即该目标乘客在一定时间间隔下重复进入了该电梯，距离得分小于相似度阈值则认为属于不同乘客。

步骤2中，对于由距离度量单元获取的排序后的相似度得分矩阵的每一个元素

对于每个目标乘客q_j，其距离得分所在行

代表q_j与m个查询库图像g_i的由大到小排列的相似度得分，该列表的第一个元素即最大值为q_j与自身的距离得分，因此去掉该最大值对索引i∈[2,m]进行统计，当

时，标记目标乘客q_j重复进入了电梯。当前时刻梯内重复进入总人数Recount为：

(四)电梯乘客净流量统计模块包括：客流计数单元、乘客去重单元。

客流计数单元，用于在门开关状态判断的基础上调用目标识别方法，识别当前帧画面的乘客并获取乘客数量，累加到计数器中得到总客流量。包含以下步骤：

步骤1：获取标定后的电梯视频，判断当前门状态并调用目标识别算法。

步骤2：识别当前帧目标乘客，统计乘梯数量并累加至总客流量。

其中，步骤1中，待检测电梯由(一)电梯门开关状态检测模块角点标定单元和颜色判断单元获取。当前门状态判断由(一)电梯门开关状态检测模块门状态检测单元完成。

步骤2中，当前帧目标乘客识别由(二)电梯乘客目标识别模块乘客识别单元完成。总客流量Count由当前帧乘客个数n_bbox在一定条件下累加得到。计数器累加条件为：当前帧f_i与连续相邻的上一帧f_i-1的门状态依次为“开”到“关”。

{Count＝sum(n_bbox)|status_i-1,i＝["open","close"]}

乘客去重单元，用于利用重识别方法判断重复进入电梯的乘客个数，获取初始至当前时刻的乘梯净流量。包含以下步骤：

步骤1：利用深度卷积网络提取目标库和查询库乘客特征，并计算相似度距离得分。

步骤2：判断当前帧重复进出乘客人数Recount，计算当前时刻乘梯净流量flow。

其中，步骤1中，目标库和查询库图像由(二)电梯乘客目标识别模块预测框截取单元获取，相似度距离得分由(三)电梯乘客重识别模块特征提取单元和距离度量单元获取。

步骤2中，重复进出乘客的判断由(三)电梯乘客重识别模块重复判断单元获取。净流量为门开关条件下目标识别获取的总客流量与重复进入该梯人数之差，其中总客流量由所述客流计数单元步骤2得到。

flow＝Count-Recount

实施例2：

实施例2为实施例1的优选例。

本发明实施例提供的基于门开关的电梯轿厢乘客智能识别与分析方法，如图1所示，内容如下：

S1.获取电梯轿厢监控视频并得到帧大小。

电梯监控视频为针对目标电梯轿厢而采集获取的监控视频，可以通过接收来自监控摄像头的实时监控视频得到，或者通过视频服务器或所述本地存储器加载读取得到。帧大小包括电梯监控视频的长度、宽度和通道数。

S2.关门状态下标定门角点并确定检测标志区域。

如图2所示，在关门状态下，调用鼠标控件，顺时针获取门边框的左上、右上、右下、左下角点坐标。并通过几何关系确定检测标志区域的位置坐标，包括左上顶点和右下顶点，用于判断电梯门颜色以及检测门开关。

S3.判断门颜色种类并确定开关检测阈值条件。

如图2所示，截取并保存步骤S2获得的检测标志区域，绘制标志区域灰度直方图并获取其像素均值，与阈值对比判断电梯颜色类别并标记。对于白种/灰种电梯，门状态判断为“开”的条件分别为检测区域实时像素均值小于/大于阈值。

S4.“开-关”门状态下识别乘客并截取保存至目标库。

如图3所示，对于经过步骤S2标定检测区域并经过所述步骤S3标记颜色种类的待检测电梯，每隔固定时间间隔，检测实时门状态并判断当前时刻相邻的前后两个状态依次为“开”到“关”时，利用目标识别单元输出回归框，获取当前帧的乘客预测位置、预测概率和预测类别，截取检测到的单个乘客图像并保存至目标库。

S5.累加当前乘客识别回归框个数得到总客流量。

如图5所示，根据步骤S4获取的识别回归框信息，统计当前帧乘客数量，即目标识别网络的输出回归框bbox的个数。将每隔固定帧门状态检测后目标识别的结果累加，得到初始时刻至当前时刻该电梯的乘梯人数总客流量。

S6.识别目标库图像多标签外观属性特征。

将步骤S4所获得的目标库图像输入深度卷积网络，主干模型可选Vgg，Resnet，Inception等，模型的末端为全连接层，模型输出节点的个数等于属性类别。模型末端的激活函数选择sigmoid，其作用为将网络的每一个输出值进行非线性化，将一个标量数字转换到[0，1]之间，便于二分类以判断属性是否存在。

可识别的标签属性包含以下类别：性别(男，女)；年龄(小孩，青少年，成年人，老人)；头装(不带帽子，带帽子，带头盔)；头发长短(无法识别，光头秃顶，短发，长发)；是否白发(非白发，白发)；是否眼镜(不带眼镜，带眼镜)；职业(快递，保洁，居民)；是否抱小孩(不抱小孩，抱小孩)；是否玩手机(不玩手机，玩手机)；是否背包(不背包，背包)；是否拿手包(拿手包，拿手包)，共计11种类型27个属性。

S7.拼接目标库得到查询库并提取数据库图像特征。

如图4所示，将步骤S4所获得的当前电梯乘客图像即目标库累加至查询库，存放由初始到当前时刻该电梯下识别的所有目标乘客，目标库与查询库共同构成电梯图像数据库。利用深度卷积网络，分别提取数据库图像512维特征向量，深度卷积网络可选Resnet、Densenet等，模型的末端为全连接层，模型输出节点的个数等于特征向量维度。

S8.计算目标乘客与数据库图像相似度距离并排序。

如图4所示，利用所属步骤S7所获得的目标库特征向量与查询库特征向量计算乘客之间相似度距离。对当前帧识别到的每个目标乘客，计算其特征向量与查询库图像特征矩阵的乘积，得到列表形式的相似度距离得分，长度为查询库图像数量，将距离得分由大到小排序得到该目标乘客与数据库乘客图像之间的相似度。

S9.判断当前重复进入电梯的乘客并得到乘梯净流量。

如图5所示，利用步骤S8得到的排序后的相似度距离得分与相似度阈值对比，判断相似度得分大于阈值为重复进入电梯的乘客，统计重复进入乘客的个数，与步骤S5所得到的总客流量做差得到该电梯轿厢从初始到当前时刻的乘梯净流量。参照图6和图7，分别展示了基于门开关的电梯轿厢乘客智能识别系统人机交互界面示例图和识别方法功能流程图

本发明实施例提供了一种基于门开关的电梯轿厢乘客智能识别与分析方法，能够以流水线的方式实时实现门状态开关检测条件下的乘客属性识别以及基于重识别的乘梯净流量统计，为电梯大数据、智能安防、广告投放等工作提供技术支持，提高电梯乘坐的安全性和商业性，对构建智能监控系统具有重要意义。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于门开关的电梯轿厢乘客智能识别与分析方法，其特征在于，包括：

电梯门开关状态检测步骤：标定关门状态下电梯门角点，获取标志区域及其像素均值，判断电梯门颜色范围，计算实时标志区域像素值，根据阈值判断门开关状态；

电梯乘客目标识别步骤：在开-关门状态开关条件下利用深度学习算法识别乘客，获取目标乘客预测概率、位置及类别，截取目标乘客回归框并保存，每隔固定帧将当前目标乘客个数累加得到总客流量；

电梯乘客属性特征识别步骤：利用深度学习模型提取当前帧所识别的目标乘客的外观特征，获取乘客多标签属性；

电梯乘客重识别步骤：利用深度卷积网络提取目标库和查询库乘客图像的特征向量，对于当前帧识别的每个目标乘客，通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的相似度距离得分并排序，根据阈值判断是否重复进出；

电梯乘客净流量统计步骤：在判断电梯门状态并进行目标识别的条件下，利用电梯乘客重识别获取重复进出乘客的个数，根据总客流量计算得到初始到当前时刻梯内乘客净流量。

2.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法，其特征在于，所述电梯门开关状态检测步骤包括：

门角点标定步骤：通过鼠标控件顺时针获取电梯门边缘角点，并根据几何位置关系确定检测标志区域；

门颜色判断步骤：根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范围，将电梯门分为白种电梯和灰种电梯；

门状态检测步骤：根据检测标志区域的实时灰度值，对不同颜色种类的电梯通过不同的检测条件判断当前门状态。

3.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法，其特征在于，所述电梯乘客目标识别步骤包括：

乘客识别步骤：调用深度学习算法，检测当前帧画面的梯内乘客，获取目标检测乘客预测概率、类别及位置；

预测框截取步骤：获取乘客识别单元的回归框，对于每个识别结果即单个乘客，截取其预测框并保存至电梯数据库。

4.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法，其特征在于，所述电梯乘客重识别步骤包括：

特征提取步骤：调用深度卷积网络获取电梯图像数据库特征；

距离度量步骤：通过矩阵乘法计算电梯当前帧中目标乘客图像与查询库中乘客图像的相似度，得到距离得分并由大到小排序；

重复判断步骤：根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前时刻重复进入电梯的乘客。

5.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法，其特征在于，所述电梯乘客净流量统计步骤包括：

客流计数步骤：在门开关状态判断的基础上调用目标识别方法，识别当前帧画面的乘客并获取乘客数量，累加到计数器中；

乘客去重步骤：利用重识别方法判断重复进入电梯的乘客个数，获取初始至当前时刻的乘梯净流量。

6.一种基于门开关的电梯轿厢乘客智能识别与分析系统，其特征在于，包括：

电梯门开关状态检测模块：标定关门状态下电梯门角点，获取标志区域及其像素均值，判断电梯门颜色范围，计算实时标志区域像素值，根据阈值判断门开关状态；

电梯乘客目标识别模块：在开-关门状态开关条件下利用深度学习算法识别乘客，获取目标乘客预测概率、位置及类别，截取目标乘客回归框并保存，每隔固定帧将当前目标乘客个数累加得到总客流量；

电梯乘客属性特征识别模块：利用深度学习模型提取当前帧所识别的目标乘客的外观特征，获取乘客多标签属性；

电梯乘客重识别模块：利用深度卷积网络提取目标库和查询库乘客图像的特征向量，对于当前帧识别的每个目标乘客，通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的相似度距离得分并排序，根据阈值判断是否重复进出；

电梯乘客净流量统计模块：在判断电梯门状态并进行目标识别的条件下，利用电梯乘客重识别获取重复进出乘客的个数，根据总客流量计算得到初始到当前时刻梯内乘客净流量。

7.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统，其特征在于，所述电梯门开关状态检测模块包括：

门角点标定单元：通过鼠标控件顺时针获取电梯门边缘角点，并根据几何位置关系确定检测标志区域；

门颜色判断单元：根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范围，将电梯门分为白种电梯和灰种电梯；

门状态检测单元：根据检测标志区域的实时灰度值，对不同颜色种类的电梯通过不同的检测条件判断当前门状态。

8.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统，其特征在于，所述电梯乘客目标识别模块包括：

乘客识别单元：调用深度学习算法，检测当前帧画面的梯内乘客，获取目标检测乘客预测概率、类别及位置；

预测框截取单元：获取乘客识别单元的回归框，对于每个识别结果即单个乘客，截取其预测框并保存至电梯数据库。

9.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统，其特征在于，所述电梯乘客重识别模块包括：

特征提取单元：调用深度卷积网络获取电梯图像数据库特征；

距离度量单元：通过矩阵乘法计算电梯当前帧中目标乘客图像与查询库中乘客图像的相似度，得到距离得分并由大到小排序；

重复判断单元：根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前时刻重复进入电梯的乘客。

10.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统，其特征在于，所述电梯乘客净流量统计模块包括：

客流计数单元：在门开关状态判断的基础上调用目标识别方法，识别当前帧画面的乘客并获取乘客数量，累加到计数器中；

乘客去重单元：利用重识别方法判断重复进入电梯的乘客个数，获取初始至当前时刻的乘梯净流量。

Images