CN107609597B - 一种电梯轿厢人数检测系统及其检测方法 - Google Patents
一种电梯轿厢人数检测系统及其检测方法 Download PDFInfo
- Publication number
- CN107609597B CN107609597B CN201710879895.4A CN201710879895A CN107609597B CN 107609597 B CN107609597 B CN 107609597B CN 201710879895 A CN201710879895 A CN 201710879895A CN 107609597 B CN107609597 B CN 107609597B
- Authority
- CN
- China
- Prior art keywords
- people
- layer
- video frame
- region
- elevator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005381 potential energy Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种电梯轿厢人数检测系统及其检测方法，检测系统包括库文件创建单元用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；特征提取单元用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头拍摄的视频帧，并提取所述视频帧的特征以及人数判断单元；用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。检测方法包括(a)创建标准库文件；(b)在接收到电梯门关闭信号后截取摄像头拍摄的视频帧，输入截取的视频帧；并提取所述视频帧的卷积特征向量；(c)输出结果。
Description
技术领域
本发明涉及电梯技术领域，尤其涉及一种电梯轿厢人数检测系统及其检测方法。
背景技术
现有的电梯轿厢内行人检测方法，大多采用灰度直方图模板匹配的方法来检测人头部，由于在电梯轿厢内人头部尺度不一，容易受到阻塞、背景环境等因素影响。目前使用较多的基于方向梯度直方图HOG特征和支持向量机SVM分类器的识别方法，大部分是确定行人头部位置后，提取头部的方向梯度直方图HOG特征，利用支持向量机SVM训练成分类器进行人头检测。在人头检测中，方向梯度直方图HOG特征加支持向量机SVM算法由于采用了方向梯度直方图HOG特征，方向梯度直方图HOG描述子生成过程冗长，导致速度慢，实时性查，由于梯度的性质，该描述子对噪点相对敏感。现有的大部分人头检测算法，过程复杂，计算复杂度高，识别率不高，容易受到环境条件影响，所以需要新的研究方法提出。近年来，随着深度学习研究的发展，卷积神经网络CNN成为计算机视觉领域的研究热点，其权值共享方式降低了网络模型的复杂度，减少权值的数量。该优点在目标检测领域表现更明显，网络输入为图像，避免了传统检测算法中复杂的特征提取和数据重建。
例如中国专利申请号：CN201410351236.X，(公开号：CN105321187A，申请人：江苏慧眼数据科技股份有限公司)公开的专利“基于人头检测的行人计数方法”中提出的一种基于人头检测的行人计数方法。该方法首先利用若干训练样本集使用SVM分类器进行训练以得到若干人头分类器，其次通过帧间差分法对输入图像进行帧间差分运算，以得到运动行人区域，再利用人头分类器对运动行人区域进行检测，得到人头区域，最后通过Kalman最近邻匹配跟踪法对人头区域的中心点进行跟踪与计数。该方法存在的不足之处是若干SVM分类器，大大增加了计算复杂度；
再例如日本专利申请号：201410003180.9公开了一种电梯系统，其特征在于，包括：拍摄装置，其拍摄从乘梯处进入轿厢的使用者以及从上述轿厢中下梯的使用者；检测部，其根据由上述拍摄装置拍摄的图像，检测进入上述轿厢的使用者的人数以及从上述轿厢下梯的使用者的人数；以及控制部，其根据上述检测部的检测结果，控制上述轿厢的门开放时间。该技术方案通过三维图像解析步取得从构成立体照相机2的两个照相机2R、2L得到的2张图像。图像处理部132对由图像捕获部131取得的2张图像进行处理并向外部装置输出。主要利用检测图像判别使用者的特征的功能。而该方案通过三维检测的准确度不高，误差较大。
发明内容
为克服现有技术中存在的使用SVM分类器进行检测计算复杂度高或者采用额外增加红外线检测设备从而增加成本、准确率不高的问题，本发明提供了一种电梯轿厢人数检测系统及其检测方法。
本发明采用的技术方案为：一种电梯轿厢人数检测系统，其创新点在于：包括库文件创建单元、特征提取单元以及人数判断单元；
所述库文件创建单元，用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；
所述特征提取单元，用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头拍摄的视频帧，并提取所述视频帧的特征；
所述人数判断单元，用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。
在一些实施方式中：所述库文件创建单元包括位于服务器的人数输入子单元、以及网络末端的Softmax分类学习子单元；所述特征提取单元连接到位于电梯控制系统里的服务器，所述分类学习子单元用于将多个不同人数、不同灯光下的视频帧的卷积特征作为参考卷积特征，并将所述参考卷积特征与通过人数输入子单元输入的对应视频帧的人数进行分类学习生成标准库文件。
在一些实施方式中：所述服务器包括信号接收单元，用于通过互联网接收来自电梯控制系统的摄像头(15)拍摄的视频以及电梯门关闭信号。
本发明的另一个目的是提供一种利用电梯轿厢人数检测系统的电梯人数检测方法，其创新点在于：包括以下步骤：
(a)创建标准库文件，所述标准库文件包括通过已标注人头样本训练的混合卷积神经网络的网络参数、参考卷积特征向量和对应的人数；
(b)在接收到电梯门关闭信号后截取摄像头拍摄的视频帧，输入截取的视频帧；并提取所述视频帧的卷积特征向量；
(c)输出结果：从所述标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
在一些实施方式中：所述步骤(a)包括以下步骤：(a1)采集摄像头在不同人数、不同灯光下的若干视频帧，并输入混合卷积神经网络进行提取卷积特征；(a2)接收每一视频帧的人数输入；(a3)将每一视频帧的卷积特征向量作为参考卷积特征向量与输入的该视频帧的人数传输到softmax层进行分类学习，并生成标准库文件。
在一些实施方式中：所述步骤(b)包括以下步骤(b1)电梯控制系统将摄像头拍摄的视频以及电梯门关闭信号通过互联网传送到远端的服务器；(b2)所述服务器在接收到电梯门关闭信号后从视频截取该时刻的视频帧，并提取所述视频帧的卷积特征。
在一些实施方式中：所述步骤(b)中提取步骤具体包括如下步骤：
Step1：输入电梯轿厢内高清监控设备下的视频帧；视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224；
Step2：使用选择性搜索获取待检测视频帧中人头的候选区域；
Step3：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
Step4：构建并训练混合卷积神经网络，将人头候选区域输入到构建的混合卷积神经网络；所述卷积神经网络由局部、全局和成对模型构成；所述局部模型构建引入快速区域卷积神经网络结构，更好的获取图像的上下文信息，对行人进行更好的检测；所述全局模型预测头部的位置，明确目标间的成对关系，以结构化输出外部损失进行成对模型的训练。
在一些实施方式中：Step2步骤具体包括如下步骤：
(S2a)根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
(S2b)计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
(S2c)找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
(S2d)合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
(S2e)计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
(S2f)将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
(S2g)重复(2c)到(2f)操作，直到相似性集合为空，获得最终候选区域。
在一些实施方式中：Step4步骤具体包括如下步骤：
S4a：混合卷积神经网络的局部模型构建；所述局部模型由7层构成，前两层有卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是conv、prelu；第五层是conv、prelu和RoI(Region of Interest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；
S4b：混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；
S4c：构建成对模型用于重组特征，提高检测准确度。
在一些实施方式中：所述步骤(c)具体包括以下步骤：(c1)所述服务器将提取的视频帧的卷积特征向量传输至softmax分类器；(c2)所述SOFTMAX分类器从标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数；(c3)所述SOFTMAX分类器将步骤(c2)中获得人数发送到服务器，所述服务器将该人数作为当前电梯轿厢内的人数。
与现有技术相比，本发明的有益效果是：
(1)本发明使用改进后的混合卷积神经网络学习的特征(例如激活函数、局部模型的构建、全局模型的构建等方面进行改进优化)对阻塞、环境变化等影响因素有更高的鲁棒性，提高人数检测的准确度。
(2)本发明首次在电梯系统中采用基于混合卷积神经网络与上下文信息的人数检测方法，通过卷积神经网络的多层网络自学习特征，避免传统检测算法中需人工设计特征工程，而此网络学习的特征对背景变化有较高的鲁棒性，使发明具有较高的检测准确度和鲁棒性。
(3)本发明能有效减少统计计算的时间成本，并且能够有效减少训练、测试的存储文件量，系统运行更加顺畅，使用寿命长。
附图说明
图1是本发明电梯轿厢人数检测系统实施例的示意图；
图2是本发明电梯轿厢人数检测方法实施例的流程示意图；
图3是本发明电梯轿厢特征提取与人数检测的流程示意图；
图4是本发明中的混合卷积神经网络的局部模型网络结构图；
图5是本发明中的混合卷积神经网络的全局模型网络结构图。
具体实施方式
以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明披露了一种电梯轿厢人数检测系统，上述电梯轿厢内具有摄像头15(例如安装于电梯轿厢的顶部，可拍摄轿厢内的全景视频)如图1所示：包括库文件创建单元11、特征提取单元12以及人数判断单元13；其中，库文件创建单元11，用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；特征提取单元12，用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头拍摄的视频帧，并提取所述视频帧的特征；人数判断单元13，用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。上述库文件创建单元11、特征提取单元12以及人数判断单元13可由运行于一台或多台特定计算机系统的软件实现。
库文件创建单元11用于创建标准库文件，该标准库文件是判断电梯轿厢人数的依据且该库文件包括多个参卷积特征向量(通过混合卷积神经网络训练后得到的特征)和对应的人数。库文件创建单元11依据在电梯门关闭后不同人数、不同灯光条件的多个视频帧(由摄像头15所拍摄，例如不小于50个视频帧)及每一视频帧对应的人数创建。进一步优选的，库文件创建单元11包括位于服务器的人数输入子单元、以及网络末端的Softmax分类学习子单元类；必不可少的，上述所述服务器包括信号接收单元，用于通过互联网接收来自电梯控制系统的摄像头拍摄的视频以及电梯门关闭信号。
特征提取单元12用于在接收到电梯门关闭信号后截取摄像头15拍摄的视频帧，并提取视频帧的卷积特征向量。上述电梯门关闭信号可从电梯控制系统14获取，而摄像头15拍摄的视频帧则可经由电梯控制系统14获得。进一步优选的，所述特征提取单元12连接到位于电梯控制系统里的服务器，所述分类学习子单元用于将多个不同人数、不同灯光下的视频帧的卷积特征作为参考卷积特征，并将所述参考卷积特征与通过人数输入子单元输入的对应视频帧的人数进行分类学习生成标准库文件。
具体地，特征提取单元12可通过以下方式提取视频帧的卷积特征向量并进行人头检测：如图3所示：
121：输入电梯轿厢内高清监控设备下的视频帧。
122：视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224。
123：使用选择性搜索根据视频帧生成若干候选区域：
123A：根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
123B:计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
123C:找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
123D:合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
123E:计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
123F:将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
123G:重复(3c)到(3f)操作，直到相似性集合为空，获得最终候选区域；
124：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
125：将224*224像素视频帧图片输入到构建的混合卷积神经网络：
125A:混合卷积神经网络的局部模型构建，如图4所示：局部模型由7层构成，前两层有256个卷积核的卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是3*3块大小的384个卷积核conv、prelu；第五层是256conv、prelu和RoI(Region ofInterest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；训练过程使用动量为0.9、学习率为0.01、权重衰减为0.0005的带动量的随机梯度下降(StochasticGradient Descent,SGD)来最小化独立对数损失的和值，以优化网络参数；
其中网络构建的具体步骤详细阐述：
参数化修正线性单元(Parametric Rectified Linear Units，PReLU)作为激活函数；
其中，i代表不同的通道，PReLU相对ReLU在负数区域不是连续的，且是可学习的；
按照下式计算PReLU：
yi＝max(0,xi)+ai*min(0,xi)
目标函数对ai求偏导，得到
在网络中ai的更新方式采用公式(4)，
式中，μ为动量，∈为学习率，ai初始化为0.2
上述局部模型构建是在初始化Oquab预训练模型后，进行微调。其中用RoI(Regionof Interest)Pooling替代原先的第五层的Pooling，加上2048个节点的全连接层，最后利用Softmax损失层对头部和背景进行分类，随机初始化后加上边界框回归(Bounding BoxRegression)层进行候选区域位置调整。
池化层使用的为最大值池化max pooling；
分类层使用Softmax，以区分头部和背景，该层会计算出每种分类的概率，并将最大概率的标签输出，其中Softmax分类的期望函数表示如下：
其中，α(i)表示卷积神经网络中第7层输出的特征向量，β(i)表示与卷积神经网络中第7层输出的特征向量α(i)相对应的标签，k表示类别数，i表示样本，i∈[1,m]，m表示头部区域样本的数量，θ表示模型参数，softmax分类损失函数如下：
125B:如图5所示：混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；训练过程使用冲量0.9，权重0.000005，学习率0.00001的SGD优化网络参数
125C:成对模型用于重组特征，提高检测准确度:
成对模型的训练。结构化代理损失就是将参数的当前值、图像数据x＝(xi)i∈V和真实值标签
映射为实数。本发明采用一种新的代理损失，直接对从联合得分S提取的单次分数，即公式所示的错误值进行惩罚。这个损失函数可以表示为:
其中，
评价两个标签之间的一致性。h的选择包括汉明损失、按类频率惩罚归一化的Hamming损失以及使用每个真实目标来准确分配一个目标候选的高阶损失。v是有上边界的任意非递增函数，使用v(t)＝log(1+exp(-t))使其更接近于传统检测器训练的Softmax函数。
使用随机梯度下降算法最小化结构化代理损失来训练成对模型的参数，模型中参数更新的步骤包括：
1、使用非极大值抑制(Non-maximum Suppression，NMS)方法，用局部模型生成的分数来选择一组候选；
2、计算联合评分函数的势能，对模型中的参数进行正向传递；
3、计算结构化损失，进而计算出梯度；
4、在模型中对梯度进行逆向传递。
126：输出检测结果。
人数判断单13用于从标准库文件中获得与视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
具体地，上述电梯轿厢人数检测系统可基于电梯物联网系统实现，其中特征提取单元12位于连接到电梯控制系14的服务器，库文件创建单元11利用特征提取单12提取多个不同人数、不同灯光下的视频帧的卷积特征向量；库文件创建单元11包括位于上述服务器的人数输入子单元以及位于SOFTMAX分类器的分类学习子单元，上述SOFTMAX分类器连接到服务器。上述服务器还包括信号接收单元，用于通过互联网接收来自电梯控制系统14的由摄像15拍摄的视频以及电梯门关闭信号。
所述人数输入子单元则用于接收上述多个视频帧的人数输入(人工输入)；
所述分类学习子单元将多个不同人数、不同灯光下的视频帧的卷积特征并将该多个参考卷积特征向量与通过人数输入子单元输入的向量作为参考卷积特征向量，该视频帧的人数进行分类学习生成标准库文件(例如XML文件)。在本发明中，由于该系统基于电梯物联网，因此电梯物联网中所有连接到服务器的电梯控制系统都可共用上述检测系统，实现物联网系统中所有电梯轿厢的人数检测，提高了系统的使用率，降低单位使用成本。
作为本发明的另一重要发明点，本发明披露了一种利用电梯轿厢人数检测系统的电梯人数检测方法，如图2所示：包括以下步骤：
S21：创建标准库文件，该标准库文件包括多个参考卷积特征向量和对应的人数。该标准库文件是判断电梯轿厢人数的依据，其根据在电梯门关闭后不同人数、不同灯光条件的多个视频帧(由摄像15所拍摄，例如不小于50个视频帧)及每一视频帧对应的人数创建。
上述标准库文件具体可通过以下步骤创建：首先采集摄像头在不同人数、不同灯光下的多个视频帧，并分别提取每一视频帧的卷积特征向量；同时接收每一视频帧的人数输入；然后将每一视频帧的卷积特征向量作为参考卷积特征向量与输入的该视频帧的人数传送到SOFTMAX分类器进行分类学习，并生成标准库文件；
S22：在接收到电梯门关闭信号后(电梯正常运行过程中)截取摄像头拍摄的视频帧，并提取视频帧的卷积特征向量；
当上述方法基于电梯物联网时，该步骤可包括：电梯控制系统将摄像头拍摄的视频以及电梯门关闭信号通过互联网传送到远端的服务器；然后由服务器在接收到电梯门关闭信号后从视频截取该时刻的视频帧，并提取视频帧的卷积特征向量。
S23：从S21步骤的标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
在上述方法应用于电梯物联网时，该步骤包括：服务器将提取的视频帧的卷积特征向量传送到SOFTMAX层；SOFTMAX分类器从标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数；SOFTMAX分类器将获得的人数发送到服务器，服务器将该人数作为当前电梯轿厢内的人数。上述服务器获得的人数可通过互联网发送到对应的电梯控制系统，由电梯控制系统作为相应召唤、楼层停靠、超载判断等的依据。
上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种电梯轿厢人数检测系统，其特征在于：包括库文件创建单元(11)、特征提取单元(12)以及人数判断单元(13)；
所述库文件创建单元(11)，用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；
所述特征提取单元(12)，用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头(15)拍摄的视频帧，并提取所述视频帧的特征；
所述人数判断单元(13)，用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数；
所述特征提取单元(12)可通过以下方式提取视频帧的卷积特征向量并进行人头检测：121：输入电梯轿厢内高清监控设备下的视频帧；
122：视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224；
123：使用选择性搜索根据视频帧生成若干候选区域：
123A：根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
123B:计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
123C:找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
123D:合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
123E:计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
123F:将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
123G:重复(123E)到(123F)操作，直到相似性集合为空，获得最终候选区域；
124：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
125：将224*224像素视频帧图片输入到构建的混合卷积神经网络：
125A:混合卷积神经网络的局部模型构建，局部模型由7层构成，前两层有256个卷积核的卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是3*3块大小的384个卷积核conv、prelu；第五层是256conv、prelu和RoI(Region of Interest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；训练过程使用动量为0.9、学习率为0.01、权重衰减为0.0005的带动量的随机梯度下降(Stochastic Gradient Descent,SGD)来最小化独立对数损失的和值，以优化网络参数；
所述局部模型构建是在初始化Oquab预训练模型后，进行微调；其中用RoI(Region ofInterest)Pooling替代原先的第五层的Pooling，加上2048个节点的全连接层，最后利用Softmax损失层对头部和背景进行分类，随机初始化后加上边界框回归(Bounding BoxRegression)层进行候选区域位置调整；
池化层使用的为最大值池化max pooling；
分类层使用Softmax，以区分头部和背景，该层会计算出每种分类的概率，并将最大概率的标签输出，其中Softmax分类的期望函数表示如下：
其中，α(i)表示卷积神经网络中第7层输出的特征向量，β(i)表示与卷积神经网络中第7层输出的特征向量α(i)相对应的标签，k表示类别数，i表示样本，i∈[1,m]，m表示头部区域样本的数量，θ表示模型参数，softmax分类损失函数如下：
125B:混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；训练过程使用冲量0.9，权重0.000005，学习率0.00001的SGD优化网络参数
125C:成对模型用于重组特征，提高检测准确度:
成对模型的训练,结构化代理损失就是将参数的当前值、图像数据x＝(xi)i∈V和真实值标签
映射为实数，使用随机梯度下降算法最小化结构化代理损失来训练成对模型的参数，模型中参数更新的步骤包括：
1、使用非极大值抑制(Non-maximum Suppression，NMS)方法，用局部模型生成的分数来选择一组候选；
2、计算联合评分函数的势能，对模型中的参数进行正向传递；
3、计算结构化损失，进而计算出梯度；
4、在模型中对梯度进行逆向传递；
126：输出检测结果。
2.根据权利要求1所述的电梯轿厢人数检测系统，其特征在于：所述库文件创建单元(11)包括位于服务器的人数输入子单元、以及网络末端的Softmax分类学习子单元；所述特征提取单元连接到位于电梯控制系统(14)里的服务器，所述分类学习子单元用于将多个不同人数、不同灯光下的视频帧的卷积特征作为参考卷积特征，并将所述参考卷积特征与通过人数输入子单元输入的对应视频帧的人数进行分类学习生成标准库文件。
3.根据权利要求2所述的电梯轿厢人数检测系统，其特征在于：所述服务器包括信号接收单元，用于通过互联网接收来自电梯控制系统的摄像头(15)拍摄的视频以及电梯门关闭信号。
4.一种利用权利要求1所述的电梯轿厢人数检测系统的电梯人数检测方法，其特征在于：包括以下步骤：
(a)创建标准库文件，所述标准库文件包括通过已标注人头样本训练的混合卷积神经网络的网络参数、参考卷积特征向量和对应的人数；
(b)在接收到电梯门关闭信号后截取摄像头拍摄的视频帧，输入截取的视频帧；并提取所述视频帧的卷积特征向量；
(c)输出结果：从所述标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
5.根据权利要求4所述的电梯人数检测方法，其特征在于：所述步骤(a)包括以下步骤：(a1)采集摄像头在不同人数、不同灯光下的若干视频帧，并输入混合卷积神经网络进行提取卷积特征；(a2)接收每一视频帧的人数输入；(a3)将每一视频帧的卷积特征向量作为参考卷积特征向量与输入的该视频帧的人数传输到softmax层进行分类学习，并生成标准库文件。
6.根据权利要求4所述的电梯人数检测方法，其特征在于：所述步骤(b)包括以下步骤(b1)电梯控制系统将摄像头拍摄的视频以及电梯门关闭信号通过互联网传送到远端的服务器；(b2)所述服务器在接收到电梯门关闭信号后从视频截取该时刻的视频帧，并提取所述视频帧的卷积特征。
7.根据权利要求6所述的电梯人数检测方法，其特征在于：所述步骤(b)中提取步骤具体包括如下步骤：
Step1：输入电梯轿厢内高清监控设备下的视频帧；视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224；
Step2：使用选择性搜索获取待检测视频帧中人头的候选区域；
Step3：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
Step4：构建并训练混合卷积神经网络，将人头候选区域输入到构建的混合卷积神经网络；所述卷积神经网络由局部、全局和成对模型构成；所述局部模型构建引入快速区域卷积神经网络结构，更好的获取图像的上下文信息，对行人进行更好的检测；所述全局模型预测头部的位置，明确目标间的成对关系，以结构化输出外部损失进行成对模型的训练。
8.根据权利要求7所述的电梯人数检测方法，其特征在于：Step2步骤具体包括如下步骤：
(S2a)根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
(S2b)计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
(S2c)找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
(S2d)合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
(S2e)计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
(S2f)将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
(S2g)重复(S2c)到(S2f)操作，直到相似性集合为空，获得最终候选区域。
9.根据权利要求7所述的电梯人数检测方法，其特征在于：Step4步骤具体包括如下步骤：
S4a：混合卷积神经网络的局部模型构建；所述局部模型由7层构成，前两层有卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是conv、prelu；第五层是conv、prelu和RoI(Region ofInterest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；
S4b：混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；
S4c：构建成对模型用于重组特征，提高检测准确度。
10.根据权利要求4所述的电梯人数检测方法，其特征在于：所述步骤(c)具体包括以下步骤：(c1)所述服务器将提取的视频帧的卷积特征向量传输至softmax分类器；(c2)所述SOFTMAX分类器从标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数；(c3)所述SOFTMAX分类器将步骤(c2)中获得人数发送到服务器，所述服务器将该人数作为当前电梯轿厢内的人数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710879895.4A CN107609597B (zh) | 2017-09-26 | 2017-09-26 | 一种电梯轿厢人数检测系统及其检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710879895.4A CN107609597B (zh) | 2017-09-26 | 2017-09-26 | 一种电梯轿厢人数检测系统及其检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107609597A CN107609597A (zh) | 2018-01-19 |
| CN107609597B true CN107609597B (zh) | 2020-10-13 |
Family
ID=61058417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710879895.4A Active CN107609597B (zh) | 2017-09-26 | 2017-09-26 | 一种电梯轿厢人数检测系统及其检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107609597B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738079A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视数字技术股份有限公司 | 机动车前排人员数量异常的检测方法、装置和计算机设备 |
| CN109733978A (zh) * | 2018-12-19 | 2019-05-10 | 北京旷视科技有限公司 | 自动门控制方法、装置、系统和存储介质 |
| CN109829454A (zh) * | 2019-01-17 | 2019-05-31 | 柳州康云互联科技有限公司 | 一种基于预训练标识的图像特征采集方法 |
| CN109858472B (zh) * | 2019-04-09 | 2023-08-04 | 武汉领普科技有限公司 | 一种嵌入式实时人形检测方法和装置 |
| CN110040592B (zh) * | 2019-04-15 | 2020-11-20 | 福建省星云大数据应用服务有限公司 | 基于双路监控视频分析的电梯轿厢载客数检测方法及系统 |
| CN110163369B (zh) * | 2019-05-21 | 2021-05-11 | 北京迈格威科技有限公司 | 图像识别与神经网络模型的训练方法、装置和系统 |
| CN110436294A (zh) * | 2019-08-08 | 2019-11-12 | 杭州吉时语科技有限公司 | 一种电瓶车入电梯检测方法 |
| CN110884971A (zh) * | 2019-11-21 | 2020-03-17 | 浙江省二建建设集团安装有限公司 | 一种群控电梯节能方法、系统以及计算机存储介质 |
| CN111483912A (zh) * | 2020-01-07 | 2020-08-04 | 郝红娟 | 扶梯乘坐人数动态更新系统及方法 |
| CN111476600B (zh) * | 2020-03-23 | 2023-09-19 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
| CN112036367A (zh) * | 2020-09-16 | 2020-12-04 | 南通天成现代农业科技有限公司 | 一种yolo卷积神经网络的人数检测方法 |
| JP7437279B2 (ja) * | 2020-09-28 | 2024-02-22 | 株式会社日立製作所 | エレベーター及びエレベーター制御方法 |
| CN112573316B (zh) * | 2020-12-08 | 2022-08-02 | 成都睿瞳科技有限责任公司 | 一种基于计算机视觉的电梯困人检测方法 |
| CN112990068A (zh) * | 2021-03-31 | 2021-06-18 | 辽宁华盾安全技术有限责任公司 | 一种基于深度学习的电梯乘员计数方法及系统 |
| CN114366025B (zh) * | 2021-12-28 | 2023-12-26 | 河北体育学院 | 一种运动员生理指标检测系统及方法 |
| CN115303901B (zh) * | 2022-08-05 | 2024-03-08 | 北京航空航天大学 | 一种基于计算机视觉的电梯交通流量识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102050366A (zh) * | 2009-11-05 | 2011-05-11 | 上海三菱电梯有限公司 | 人数检测装置及方法 |
| CN103552890A (zh) * | 2013-11-07 | 2014-02-05 | 深圳市汇川技术股份有限公司 | 电梯轿厢人数检测系统及方法 |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN105868269A (zh) * | 2016-03-08 | 2016-08-17 | 中国石油大学(华东) | 基于区域卷积神经网络的精确图像检索方法 |
| CN105868774A (zh) * | 2016-03-24 | 2016-08-17 | 西安电子科技大学 | 基于选择性搜索和卷积神经网络的车标识别方法 |
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259980A1 (en) * | 2015-03-03 | 2016-09-08 | Umm Al-Qura University | Systems and methodologies for performing intelligent perception based real-time counting |
| CN105035887B (zh) * | 2015-07-03 | 2017-06-20 | 穆国栋 | 一种基于计算机视觉检测的智能电梯主控系统 |
-
2017
- 2017-09-26 CN CN201710879895.4A patent/CN107609597B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102050366A (zh) * | 2009-11-05 | 2011-05-11 | 上海三菱电梯有限公司 | 人数检测装置及方法 |
| CN103552890A (zh) * | 2013-11-07 | 2014-02-05 | 深圳市汇川技术股份有限公司 | 电梯轿厢人数检测系统及方法 |
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN105868269A (zh) * | 2016-03-08 | 2016-08-17 | 中国石油大学(华东) | 基于区域卷积神经网络的精确图像检索方法 |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN105868774A (zh) * | 2016-03-24 | 2016-08-17 | 西安电子科技大学 | 基于选择性搜索和卷积神经网络的车标识别方法 |
| CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| Single-image crowd counting via multi-column convolutional neural network;Yingying Zhang;《Computer Vision & Pattern Recognition》;20161231;全文 * |
| 基于卷积神经网络的人流量统计;张雅俊;《重庆邮电大学学报（自然科学版）》;20170602;第29卷(第2期);全文 * |
| 基于卷积神经网络的人群密度估计;付敏;《中国优秀学术论文全文数据库 信息科技辑》;20160315(第03期);全文 * |
| 监控场景中人数统计算法的研究与应用;马海军;《万方数据库》;20160923;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107609597A (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609597B (zh) | 一种电梯轿厢人数检测系统及其检测方法 | |
| Souly et al. | Semi and weakly supervised semantic segmentation using generative adversarial network | |
| US10140508B2 (en) | Method and apparatus for annotating a video stream comprising a sequence of frames | |
| US9965719B2 (en) | Subcategory-aware convolutional neural networks for object detection | |
| Wang et al. | Hierarchical attention network for action recognition in videos | |
| Chen et al. | Survey of pedestrian action recognition techniques for autonomous driving | |
| CN110135249B (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
| Shu et al. | Part-based multiple-person tracking with partial occlusion handling | |
| Sun et al. | Discriminative exemplar coding for sign language recognition with kinect | |
| Niu et al. | View-invariant human activity recognition based on shape and motion features | |
| Natarajan et al. | Hand gesture controlled drones: An open source library | |
| Manglik et al. | Forecasting time-to-collision from monocular video: Feasibility, dataset, and challenges | |
| CN105447459A (zh) | 一种无人机自动检测目标和跟踪方法 | |
| Kaâniche et al. | Recognizing gestures by learning local motion signatures of HOG descriptors | |
| Elmezain et al. | Hand trajectory-based gesture spotting and recognition using HMM | |
| Yang et al. | Single shot multibox detector with kalman filter for online pedestrian detection in video | |
| Kouris et al. | Informed region selection for efficient uav-based object detectors: Altitude-aware vehicle detection with cycar dataset | |
| CN114639117B (zh) | 一种跨境特定行人追踪的方法和装置 | |
| CN110414340A (zh) | 一种船闸监控系统中的船舶识别方法 | |
| Zhu et al. | A comprehensive solution for detecting events in complex surveillance videos | |
| CN107154051A (zh) | 背景剪除方法及装置 | |
| CN116469164A (zh) | 基于深度学习的人体手势识别人机交互方法及系统 | |
| Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) | |
| Valle et al. | Recognition of human walking/running actions based on neural network | |
| CN108810455A (zh) | 一种可人脸识别的智能视频监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |