CN105718873B - 基于双目视觉的人流分析方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的人流分析方法，包括立体图像对获取；图像预处理；人脸检测；人体定位；参观人数统计、参观时间统计以及性别识别、年龄估计；从而完成展台处设定的参观区域内的人流分析。本发明可应用于诸如博物馆的各类公共展览场所，采集与分析出公共展览场所内各展品前参观者的相关信息，实现人流统计与分析目的，具有实时性高、准确性高、实施效率高等特点，有助于真实了解参观者的行为特征，为各项分析提供可靠的数据依据，以利于公共展览场所提升自身服务质量与水平。

Description

基于双目视觉的人流分析方法

技术领域

本发明涉及一种基于双目视觉传感器实现的人流分析方法，适用于诸如博物馆的各类公共展览场所。

背景技术

博物馆是在社会文化活动中承担展览、教育、研究、娱乐功能的公益机构，其可丰富展品蕴含的信息量，承载着人类文明的发展历程。参观博物馆既能丰富知识、增广见识，又能放松心情、愉悦身心，因此已成为人们如今学习、休闲的场所。

随着科学技术水平的飞速发展和现代人对精神文化生活的不断追求，博物馆的服务质量和服务水平已不能满足时代的要求，因此通过以参观者为主体，了解参观者的行为特征，认识到参观者对哪些类型的展品感兴趣，各年龄段的参观者分别对哪些类型的展品感兴趣等，来提高博物馆的服务质量与水平，已成为如今博物馆规划和调整服务的依据。

目前博物馆对参观者大都是采用问卷调查方法，这种方法只能通过书面问卷或者在线问卷的形式来获取信息，而这样获取信息的方式不仅耗时耗力，且得到的信息因被调查者的从众心理、被调查者对问题的曲解或者被调查者的不配合等因素而易造成不准确，从而对参观者的各项分析造成干扰，更重要的是不能够实时地了解被调查者的真实情况。

发明内容

本发明的目的在于提供一种基于双目视觉的人流分析方法，其可应用于诸如博物馆的各类公共展览场所，采集与分析参观者的相关信息，实现人流分析目的，以利于公共展览场所提升自身服务质量与水平。

为了实现上述目的，本发明采用了以下技术方案：

一种基于双目视觉的人流分析方法，其特征在于，它包括步骤：

1)立体图像对获取：安装在位于设定的参观区域内展台处的双目视觉传感器拍摄获得立体图像对，立体图像对由左、右立体图像构成；

2)图像预处理：预处理立体图像对的左、右立体图像；

3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；

4)人体定位：基于设定的人脸感兴趣区域，判断立体图像对中通过3)检测出的人脸是否处于设定的参观区域内：若是，保留人脸，认定人脸对应的人体为处于设定的参观区域内的参观者；反之，去除人脸，认定人脸对应的人体为未处于设定的参观区域内的非参观者；

5)参观人数统计、参观时间统计以及性别识别、年龄估计：

5-1)对各参观者进行性别识别及年龄估计；

5-2)按设定拍摄间隔，重复执行1)至4)，累计参观者人数和各参观者的参观时间，并对新参观者进行性别识别及年龄估计，直至到达设定拍摄时间；

6)展台处设定的参观区域内的人流分析完成。

所述步骤3)执行的人脸检测包括步骤：

3-1)基于Adaboost算法，构建并训练好用于人脸检测的多级人脸分类器；

3-2)所述立体图像对的左、右立体图像二值化处理为灰度图像并计算出积分图像，对积分图像在不同尺度下基于多级人脸分类器检测出人脸；

3-3)判断左立体图像中同一位置的人脸在设定个数的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；

3-4)判断右立体图像中同一位置的人脸在设定个数的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；

3-5)左、右立体图像进行交叉验证，检测出在左、右立体图像中都出现过的人脸作为最终确定出的人脸。

所述步骤4)执行的人体定位包括步骤：

4-1)在所述左、右立体图像中提取所述人脸感兴趣区域的SIFT特征，针对所述左、右立体图像匹配SIFT特征，并且消除误匹配；

4-2)依据匹配的SIFT特征和双目立体视觉人体定位原理，计算人脸与所述双目视觉传感器相距的距离，从而判断人脸是否处于所述设定的参观区域内。

所述步骤5)执行的参观人数统计、参观时间统计包括步骤：

a)提取人脸的LBP特征，判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则累计人脸对应的参观者的参观时间，参观人数不递增；若否，进入b)；

b)提取人脸上下文区域的LBP特征，判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则根据当前拍摄时间和前一拍摄时间，累计人脸对应的参观者的参观时间，参观人数不递增；若否，则记录当前拍摄时间，参观人数递增。

所述性别识别和年龄估计包括步骤：A)构建CNN模型；B)构建并训练好性别识别和年龄估计分类器；C)基于CNN模型提取人脸的判断特征；D)将提取的判断特征输入性别识别和年龄估计分类器，进行人脸的性别识别与年龄估计。

本发明的优点是：

本发明可应用于诸如博物馆的各类公共展览场所，采集与分析出公共展览场所内各展品前参观者的相关信息(参观人数、参观时间、年龄、性别)，实现人流统计与分析目的，具有实时性高、准确性高、实施效率高等特点，有助于真实了解参观者的行为特征，为参观者对哪些类型的展品感兴趣、各年龄段的参观者分别对哪些类型的展品感兴趣等分析提供可靠的数据依据，以利于公共展览场所提升自身服务质量与水平。本发明仅需普通的双目视觉传感器即可实施，推广性强，可克服传统问卷调查方法的耗时耗力、不准确等缺点。

附图说明

图1是本发明的实施流程说明图。

图2是本发明实施的说明图。

具体实施方式

如图2，实施本发明基于双目视觉的人流分析方法的硬件环境为：摆放着展品40的展台20处安装有双目视觉传感器10，双目视觉传感器10一般安装在展台20的上方，展台20处于设定的参观区域50内，双目视觉传感器10用于在设定拍摄时间内按设定拍摄间隔对其视角范围内的场景进行拍摄，来获取立体图像对，在实际实施时，立体图像的分辨率优选大于640×480像素，双目视觉传感器10的视角范围与设定的参观区域50不同但视角范围宜覆盖设定的参观区域50。

如图1和图2所示，本发明基于双目视觉的人流分析方法包括如下步骤：

1)立体图像对获取：安装在位于设定的参观区域50内展台20处的双目视觉传感器10拍摄获得立体图像对，立体图像对由左、右立体图像构成；

2)图像预处理：预处理立体图像对的左、右立体图像，在实际实施中，预处理操作可包括图像二值化处理、图像对比度增强、图像校正等；

3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；

4)人体定位：基于设定的人脸感兴趣区域(需事先设定，例如人脸感兴趣区域可设定为整个人脸或者人脸+人脸周围区域)，判断立体图像对中通过步骤3)检测出的人脸是否处于设定的参观区域50内：若是，保留人脸，认定人脸对应的人体为处于设定的参观区域50内的参观者(如图2所示参观者30)；反之，去除人脸，认定人脸对应的人体为未处于设定的参观区域50内的非参观者；

5)参观人数统计、参观时间统计以及性别识别、年龄估计：

5-1)对各参观者进行性别识别及年龄估计；

5-2)按设定拍摄间隔，重复执行步骤1)至4)，累计参观者人数和各参观者的参观时间，并对新参观者进行性别识别及年龄估计，直至到达设定拍摄时间；

6)展台处设定的参观区域50内的人流分析完成，即获得了此展品前参观者的相关信息，如参观人数、各参观者的参观时间、各参观者的年龄与性别。

在实际实施中，步骤3)执行的人脸检测可包括步骤：

3-1)基于Adaboost算法，构建并训练好用于人脸检测的多级人脸分类器；

3-2)立体图像对的左、右立体图像二值化处理为灰度图像并计算出积分图像，对积分图像在不同尺度下基于多级人脸分类器检测出人脸；

3-3)判断左立体图像中同一位置的人脸在设定个数(可设定个数大于等于4)的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；

3-4)判断右立体图像中同一位置的人脸在设定个数(可设定个数大于等于4)的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；

3-5)左、右立体图像进行交叉验证，检测出在左、右立体图像中都出现过的人脸作为最终确定出的人脸，以确保左、右立体图像中人脸检测结果的一致性。

在本发明中，人脸检测技术属于本领域的熟知技术，其具体实施过程可包括：

首先，从网站和自己采集的图像中裁剪具有一定代表性的人脸图像，并将其归一化为20×20像素，提取其Haar特征(这里的Haar特征指两种边缘特征、两种线性特征和一种特定方向特征)，将提取的各Haar特征分别构造出一个弱分类器，通过Adaboost算法，选择一些弱分类器进行线性加权组合，构造出一个强分类器，然后将得到的多个强分类器进行级联，构成一个多级人脸分类器，来进行人脸检测。

然后，将左、右立体图像分别进行二值化处理，得到灰度图像，再对灰度图像计算出积分图像，从而对积分图像在不同尺度下基于上述构造出的多级人脸分类器进行人脸检测。

然后，对左立体图像在若干尺度下检测出的人脸进行合并处理(即当同一位置的人脸在大于等于4个的尺度下都被检测为人脸时，则认为其是人脸区域)，同理，对右立体图像在若干尺度下检测出的人脸进行合并处理(即当同一位置的人脸在大于等于4个的尺度下都被检测为人脸时，则认为其是人脸区域)。

最后，为了确保左、右立体图像中人脸检测结果的一致性，对左立体图像中检测出的人脸与右立体图像中检测出的人脸基于颜色直方图进行匹配，如果匹配成功，则保留此人脸，否则：

在右立体图像中构造一个与左立体图像中的人脸处于相对应位置、同等大小的区域，并用Adaboost算法检测，如果检测结果为人脸，则保留此人脸，否则不保留；

同理，在左立体图像中构造一个与右立体图像中的人脸处于相对应位置、同等大小的区域，并用Adaboost算法检测，如果检测结果为人脸，则保留此人脸，否则不保留。

在实际实施中，步骤4)执行的人体定位可包括步骤：

4-1)在左、右立体图像中提取人脸感兴趣区域的SIFT特征，针对左、右立体图像匹配SIFT特征，并且消除误匹配；

4-2)依据匹配的SIFT特征和双目立体视觉人体定位原理，计算人脸与双目视觉传感器10相距的距离，从而判断人脸是否处于设定的参观区域50内。

在本发明中，人体定位技术属于本领域的熟知技术，其具体实施过程可包括：

首先，提取左、右立体图像中每个人脸感兴趣区域的SIFT特征，并针对左、右立体图像中同一人脸感兴趣区域的SIFT特征通过欧式距离进行立体匹配，并且消除误匹配(利用随机抽样一致(RANSAC，RANdom Sample Consensus)方法)。

然后，依据上述匹配的SIFT特征的匹配特征点，以及依据双目立体视觉人体定位原理，计算出人脸距双目视觉传感器10的距离Z，由此判断距离Z与设定的参观区域50半径R之间的关系：如果Z＞R，则人脸不在设定的参观区域50内，否则人脸在设定的参观区域50内，保留人脸。

在实际实施中，步骤5)执行的参观人数统计、参观时间统计可包括步骤：

a)提取人脸的LBP特征，基于此LBP特征判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则累计人脸对应的参观者的参观时间，参观人数不递增；若否，进入b)；

b)将人脸区域进行扩展，提取人脸上下文区域的LBP特征，基于此LBP特征判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则根据当前拍摄时间和前一拍摄时间，累计人脸对应的参观者的参观时间，参观人数不递增；若否，则记录当前拍摄时间，参观人数递增。

在上述步骤b)中，人脸上下文区域可设为人脸与肩膀部分相结合的区域，或者人脸与人脸周围的区域，按人体学知识提取，肩膀部分可设定为：宽度与人脸宽度相同，高度为人脸宽度的2.5倍减去人脸高度。

在本发明中，参观人数统计、参观时间统计技术属于本领域的熟知技术，其具体实施过程可包括：

首先，将保留下来的人脸图像归一化为64×64像素，并分成4×4的子图像块。对每个子图像块中的各像素点，提取人脸等价模式LBP特征，即在半径R(如R＝1)的圆形区域内提取P(如P＝8)个采样点，将P个采样点的灰度值与中心像素点的灰度值进行比较，得到P位二进制数，然后计算每个子图像块的直方图(如维数为59维)，最后将各子图像块的直方图连接构成一个特征向量(如维数为59×4×4)。

然后，将提取的LBP特征与数据库中储存的LBP特征进行匹配：当相似性度量阈值小于设定阈值时，则认为是同一人脸，参观人数不变，同时累计参观时间，否则，提取人脸上下文区域的LBP特征，将此时提取的LBP特征与数据库中储存的LBP特征进行匹配(使用相似性度量准则为欧式距离)：如果匹配成功，则认为是同一人脸，参观人数不变，同时累计参观时间，否则，认为不是同一人脸，保存到数据库中，参观人数累加，并记录当前时刻。

在实际实施中，性别识别和年龄估计可包括步骤：

A)构建CNN(卷积神经网络，Convolutional Neural Networks)模型；

B)构建并训练好性别识别和年龄估计分类器(使用支持向量机(Support VectorMachine，SVM)构建)；

C)基于CNN模型提取人脸的判断特征；

D)将提取的判断特征输入性别识别和年龄估计分类器，进行人脸的性别识别与年龄估计。

在本发明中，性别识别、年龄估计技术属于本领域的熟知技术，其具体实施过程可包括：

首先，构建CNN模型：

CNN模型包括输入层、三个卷积层、两个全连接层和输出层，其中：每个卷积层后均有线性校正操作和子采样层。

输入层需输入227×227像素的图像；

第一层卷积层使用7×7像素的卷积核96个；第二层卷积层使用5×5像素的卷积核256个；第三层卷积层使用3×3像素的卷积核384个；

第一层全连接层是将第三层卷积层的子采样层的输出连接成为一个一维向量作为自身输入，是一个512维的特征向量；第二层全连接层接收第一层全连接层的输入，同样也包含512维的特征向量；

输出层为512维的特征向量。

然后，从网站和自己采集的图像裁剪具有一定代表性的人脸图像，并归一化为227×227像素大小，且根据年龄分为8类：0-2岁、4-6岁、8-13岁、15-20岁、25-32岁、38-43岁、48-53岁、60岁以上，每一个年龄段的图像数量为300幅，同时将其根据性别分为男、女两类。将上述每一幅图像输入CNN模型进行判断特征提取，并用构建出的性别识别和年龄估计分类器进行训练。

然后，预处理待检测的人脸，即将人脸以自身为中心，扩大到227×227像素大小。然后，将放大的人脸图像输入CNN模型，提取出判断特征。

最后，将提取的判断特征输入训练好的性别识别和年龄估计分类器，识别出人脸所代表的性别以及估计出人脸所代表的年龄。

本发明的优点是：

本发明可应用于诸如博物馆的各类公共展览场所，采集与分析出公共展览场所内各展品前参观者的相关信息(参观人数、参观时间、年龄、性别)，实现人流统计与分析目的，具有实时性高、准确性高、实施效率高等特点，有助于真实了解参观者的行为特征，为参观者对哪些类型的展品感兴趣、各年龄段的参观者分别对哪些类型的展品感兴趣等分析提供可靠的数据依据，以利于公共展览场所提升自身服务质量与水平。本发明仅需普通的双目视觉传感器即可实施，推广性强，可克服传统问卷调查方法的耗时耗力、不准确等缺点。

以上所述是本发明较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (2)

1.一种基于双目视觉的人流分析方法，其特征在于，它包括步骤：

1)立体图像对获取：安装在位于设定的参观区域内展台处的双目视觉传感器拍摄获得立体图像对，立体图像对由左、右立体图像构成；

2)图像预处理：预处理立体图像对的左、右立体图像；

3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；

4)人体定位：基于设定的人脸感兴趣区域，判断立体图像对中通过3)检测出的人脸是否处于设定的参观区域内：若是，保留人脸，认定人脸对应的人体为处于设定的参观区域内的参观者；反之，去除人脸，认定人脸对应的人体为未处于设定的参观区域内的非参观者；

5)参观人数统计、参观时间统计以及性别识别、年龄估计：

5-1)对各参观者进行性别识别及年龄估计；

5-2)按设定拍摄间隔，重复执行1)至4)，累计参观者人数和各参观者的参观时间，并对新参观者进行性别识别及年龄估计，直至到达设定拍摄时间；

6)展台处设定的参观区域内的人流分析完成；

其中：

所述步骤3)执行的人脸检测包括步骤：

3-1)基于Adaboost算法，构建并训练好用于人脸检测的多级人脸分类器；

3-2)所述立体图像对的左、右立体图像二值化处理为灰度图像并计算出积分图像，对积分图像在不同尺度下基于多级人脸分类器检测出人脸；

3-3)判断左立体图像中同一位置的人脸在设定个数的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；

3-4)判断右立体图像中同一位置的人脸在设定个数的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；

3-5)左、右立体图像进行交叉验证，检测出在左、右立体图像中都出现过的人脸作为最终确定出的人脸；

所述步骤4)执行的人体定位包括步骤：

4-1)在所述左、右立体图像中提取所述人脸感兴趣区域的SIFT特征，针对所述左、右立体图像匹配SIFT特征，并且消除误匹配；

4-2)依据匹配的SIFT特征和双目立体视觉人体定位原理，计算人脸与所述双目视觉传感器相距的距离，从而判断人脸是否处于所述设定的参观区域内；

所述步骤5)执行的参观人数统计、参观时间统计包括步骤：

a)提取人脸的LBP特征，判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则累计人脸对应的参观者的参观时间，参观人数不递增；若否，进入b)；

b)提取人脸上下文区域的LBP特征，判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则根据当前拍摄时间和前一拍摄时间，累计人脸对应的参观者的参观时间，参观人数不递增；若否，则记录当前拍摄时间，参观人数递增。

2.如权利要求1所述的基于双目视觉的人流分析方法，其特征在于：

所述性别识别和年龄估计包括步骤：

A)构建CNN模型；

B)构建并训练好性别识别和年龄估计分类器；

C)基于CNN模型提取人脸的判断特征；

D)将提取的判断特征输入性别识别和年龄估计分类器，进行人脸的性别识别与年龄估计。