CN104112209A - 显示终端的受众统计方法和系统 - Google Patents

Abstract

本发明提供一种显示终端的受众统计方法和系统，所述方法包括如下步骤：对所述显示终端的广告展示方向的场景进行视频捕捉；通过人脸识别获取所述视频中的观众数据；根据所述观众数据统计所述显示终端的广告投放效果。上述显示终端的受众统计方法和系统，通过对显示终端的广告展示方向的场景进行视频捕捉，通过人脸识别获取视频中的观众数据，根据观众数据统计显示终端的广告投放效果，提高了对显示终端的受众统计的准确性和及时性，为显示终端的广告投放提供了准去及时的参考，节约了成本，提高了显示终端的智能化。

Description

显示终端的受众统计方法和系统

技术领域

本发明涉及人脸识别技术，特别是涉及一种显示终端的受众统计方法和系统。

背景技术

显示终端是一种用于发布信息的显示设备，如广告墙、电视墙、电子屏或者显示终端等，可以在特定的物理场所、特定的时间段对特定的人群进行广告信息播放，以获得广告效应。

然而现有显示终端在播放广告信息时，无法获取观众信息，从而无法及时获取显示终端的广告投放效果。

发明内容

基于此，有必要针对显示终端无法及时获取显示终端的广告投放效果的问题，提供一种显示终端的受众统计方法。

此外，还有必要针对显示终端无法及时获取显示终端的广告投放效果的问题，提供一种显示终端的受众统计系统。

一种显示终端的受众统计方法，包括如下步骤：

对所述显示终端的广告展示方向的场景进行视频捕捉；

通过人脸识别获取所述视频中的观众数据；

根据所述观众数据统计所述显示终端的广告投放效果。

在一个实施例中，所述通过人脸识别获取所述视频中的观众数据的步骤包括：

检测所述视频中的人脸，得到人脸图像集合；

识别所述人脸图像集合中观众的人脸并建立观众的人脸的面像档案；

根据所述面像档案动态跟踪所述观众的人脸并记录观众数据。

在一个实施例中，所述检测所述视频中的人脸，得到人脸图像集合的步骤为：

按预设频率提取所述视频中的图像；

通过参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法或者综合检测法检测所述图像中的人脸；

对所述人脸进行去重得到人脸图像集合。

在一个实施例中，所述识别所述人脸图像集合中观众的人脸并建立观众的人脸的面像档案的步骤为：

定位并分割所述人脸中的人眼部位；

根据模版匹配法判断所述人眼是否正对着显示终端；

若是，则将所述人眼所对应的人脸作为观众的人脸；

建立所述观众的人脸的特征向量或者面纹编码；

根据所述特征向量或者面纹编码识别观众的性别和年龄层次。

在一个实施例中，所述根据所述面像档案动态跟踪所述观众的人脸并记录观众数据的步骤为：

根据所述面像档案对后续视频帧进行检测，判断后续视频帧中的是否存在对应的观众的人脸；

若否，则对应所述面像档案记录所述人脸不存在的起始时间。

一种显示终端的受众统计系统，包括：

视频获取模块，用于对所述显示终端的广告展示方向的场景进行视频捕捉；

人脸识别模块，用于通过人脸识别获取所述视频中的观众数据；

广告统计模块，用于根据所述观众数据统计所述显示终端的广告投放效果。

在一个实施例中，所述人脸识别模块包括：

人脸检测单元，用于检测所述视频中的人脸，得到人脸图像集合；

人脸识别单元，用于识别所述人脸图像集合中观众的人脸并建立观众的人脸的面像档案；

人脸跟踪单元，用于根据所述面像档案动态跟踪所述观众的人脸并记录观众数据。

在一个实施例中，所述人脸检测单元用于按预设频率提取所述视频中的图像，通过参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法或者综合检测法检测所述图像中的人脸，对所述人脸进行去重得到人脸图像集合。

在一个实施例中，所述人脸识别单元用于定位并分割所述人脸中的人眼部位，根据模版匹配法判断所述人眼是否正对着显示终端，若是，则将所述人眼所对应的人脸作为观众的人脸，建立所述观众的人脸的特征向量或者面纹编码，根据所述特征向量或者面纹编码识别观众的性别和年龄层次。

在一个实施例中，所述人脸跟踪单元用于根据所述面像档案对后续视频帧进行检测，判断后续视频帧中的是否存在对应的观众的人脸，若否，则对应所述面像档案记录所述人脸不存在的起始时间。

上述显示终端的受众统计方法和系统，通过对显示终端的广告展示方向的场景进行视频捕捉，通过人脸识别获取视频中的观众数据，根据观众数据统计显示终端的广告投放效果，提高了对显示终端的受众统计的准确性和及时性，为显示终端的广告投放提供了准去及时的参考，节约了成本，提高了显示终端的智能化。

附图说明

图1为一个实施例中一种显示终端的受众统计方法流程示意图；

图2为另一个实施例中一种显示终端的受众统计方法流程示意图；

图3为一个实施例中一种显示终端的受众统计系统结构示意图；

图4为另一个实施例中一种显示终端的受众统计系统结构示意图。

具体实施方式

下面结合具体的实施例及附图对显示终端的受众统计方法和系统的技术方案进行详细的描述，以使其更加清楚。

如图1所示，在一个实施例中，一种显示终端的受众统计方法，包括如下步骤：

步骤S110，对显示终端的广告展示方向的场景进行视频捕捉。

本实施例中，通过摄像头拍摄显示终端展示方向的场景视频，以获取显示终端前的观众画面，并及时捕捉观众画面的变化。该摄像头可以是广角摄像头，不仅可以拍摄显示终端正对面的观众画面，还可以拍摄显示终端斜对面的观众画面，以获取斜对着显示终端的观众。该摄像头可以是集成在显示终端中，一体成型，使显示终端简洁美观，而且更具私密性，使观众自然观看显示终端的展示画面，不被摄像头所干扰。该摄像头还可以是多个，以获得三维的场景视频，得到观众脸部的三维数据，提高人脸识别的准确性。该摄像头可以通过安卓（android）平台驱动，摄像头将捕捉的视频发送到安卓平台。

步骤S130，通过人脸识别获取视频中的观众数据。

本实施例中，通过对视频中的画面进行人脸检测和观众识别，获取关注显示终端所播放广告的观众的性别、年龄、数量、关注时间长度以及关注时间段等数据，便于全面的受众统计分析。

具体的，如图2所示，步骤S130可以是包括如下步骤：

步骤S131，检测视频中的人脸，得到人脸图像集合。

本实施例中，检测每帧视频图像中的人脸图像，收集新出现的人脸图像并形成人脸图像集合。

具体的，按预设的频率，如1秒每张，从视频中提取图像，用于人脸检测，有间隔地提取图像以减轻处理器负担，提高人脸检测效率。

将提取的图像通过参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法或者综合检测法进行人脸检测。具体的，参考模板法为根据预设一个或数个标准人脸模板，计算目标图像与标准人脸模板之间的匹配程度，并通过阈值来判断是否存在人脸；人脸规则法为提取人脸具有的结构分布特征生成相应的规则以判断目标图像中是否包含人脸；样品学习法为通过对面像样品集和非面像样品集的学习产生分类器，然后根据分类器检测目标图像中的人脸；肤色模型法为依据面貌肤色在色彩空间中分布规律来进行人脸检测；特征子脸法为将所有面像集合视为一个面像子空间，并基于采集图像与其在子空间的投影之间的距离判断是否存在面像。

通过对检测到的人脸图像进行面纹编码或者计算特征向量进行缓存，以减少存储空间，通过连续收集图像中的人脸并删除重复的人脸得到人脸图像集合。计算特征向量为先确定人脸的眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出相应的几何特征量，而该特征量形成描述该面像的特征向量。计算面纹编码为采用归一化相关量度量将目标图像中的象素与预设的标准面像模板以及面像器官模板进行匹配，根据匹配结果得出面纹编码。通过建立每帧视频图像中的人脸图像集合并去除重复人脸图像，以及时获取人脸数据的变化，节约存储空间。

步骤S133，识别人脸图像集合中观众的人脸并建立观众的人脸的面像档案。

本实施例中，分析人脸图像，分辨出观众的人脸和非观众的人脸，并建立观众的人脸的面像档案，该面像档案包括面纹数据、编号存储位置等

具体的，先定位并分割人脸图像中的人眼部位，通过对人脸图像进行灰度和锐化处理确定人眼的位置，然后根据人眼部位的颜色特点或者纹理特征从人脸图像中分割人眼图像。

获取人眼图像后，根据模版匹配法判断人眼是否正对着显示终端。根据人脸上眼睛、和鼻子等器官的位置及形状即可判断人脸是否朝向显示终端，将朝向显示终端的人脸中的人脸默认判定为正对着显示终端的人眼，对于未朝向显示终端的人脸，则根据人眼的瞳孔和眼白分布比例及分布位置判断注视方向是否朝向显示终端，进而判断人脸是否朝向显示终端。具体的，通过与朝向显示终端的预设人脸模版图像和人眼模版图像进行匹配，即可快速判断人眼是否正读者显示终端，通过调整匹配阈值，可以灵活控制匹配精度。

将判断结果为人眼正对着显示终端的人脸作为观众的人脸，即从人脸图像集合中识别观众的人脸。

获取观众的人脸图像后，建立观众的人脸的特征向量或者面纹编码，即从缓存中复制已经计算好的观众的整体的人脸特征向量或者面纹编码进行存档，以及建立人脸的局部特征向量或者局部面纹编码进行存档。

根据所述特征向量或者面纹编码识别观众的性别和年龄层次，通过对眉毛粗细、肤色、头发、口红或者首饰等人脸特征综合分析得出观众的性别，通过皱纹分布、头发颜色、眼袋大小、胡子颜色或者人脸胖瘦等人脸特征综合分析观众的年龄层次。通过上述对人脸中局部的特征向量或者面纹编码进行对比和分析即可得出观众的性别和年龄层次。

步骤S135，根据面像档案动态跟踪观众的人脸并记录观众数据。

本实施例中，根据已经存储的人脸的面像档案，对用于建立面像档案的图像帧之后的图像进行人脸监视，判断是否存在与面像档案对应的人脸，若否，则认为对应的观众已经离开，并记录观众离开的起始时间，对于一个观众的面像档案可以对应记录多个离开的起始时间，将面像档案的存档时间作为观众的观看显示终端的起始时间；若是，则继续监视观众的人脸。

根据观众的面像档案的编号对应记录观众的存在时间段、性别、所属年龄层次以及该时间段内显示终端的广告切换情况等观众数据，并将观众数据进行上传和保存。

步骤S150，根据观众数据统计显示终端的广告投放效果。

本实施例中，获取观众数据，根据显示终端所播放广告的播放时间和地理在观众数据中进行查找和统计，即可得出显示终端的广告投放效果。

具体的，获取广告的起止播放时间和日期，根据该起止播放时间和日期在观众数据中查找对应的观众人数、男女观众比例以及观众的年龄层次。将每个播放时间段的观众人数相加即可得出该广告的观众总人数。通过对比不同时间段的总观众人数或者观众关注时间长度即可得出该广告的最佳播放时间段，即黄金播放时间段。通过对比不同地理位置的显示终端所对应的观众人数或者观众关注时间长度即可得出该广告的最佳播放地理位置。

上述显示终端的受众统计方法，通过对显示终端的广告展示方向的场景进行视频捕捉，通过人脸识别获取视频中的观众数据，根据观众数据统计显示终端的广告投放效果，提高了对显示终端的受众统计的准确性和及时性，为显示终端的广告投放提供了准去及时的参考，节约了成本，提高了显示终端的智能化。

如图3所示，在一个实施例中，一种显示终端的受众统计系统，包括视频获取模块110、人脸识别模块130和广告统计模块150。

视频获取模块110，用于对显示终端的广告展示方向的场景进行视频捕捉。

本实施例中，视频获取模块110通过摄像头拍摄显示终端展示方向的场景视频，以获取显示终端前的观众画面，并及时捕捉观众画面的变化。该摄像头可以是广角摄像头，不仅可以拍摄显示终端正对面的观众画面，还可以拍摄显示终端斜对面的观众画面，以获取斜对着显示终端的观众。该摄像头可以是集成在显示终端中，一体成型，使显示终端简洁美观，而且更具私密性，使观众自然观看显示终端的展示画面，不被摄像头所干扰。该摄像头还可以是多个，以获得三维的场景视频，得到观众脸部的三维数据，提高人脸识别的准确性。该摄像头可以通过安卓（android）平台驱动，摄像头将捕捉的视频发送到安卓平台。

人脸识别模块130，用于通过人脸识别获取视频中的观众数据。

本实施例中，通过对视频中的画面进行人脸检测和观众识别，获取关注显示终端所播放广告的观众的性别、年龄、数量、关注时间长度以及关注时间段等数据，便于全面的受众统计分析。

具体的，如图4所示，人脸识别模块130可以是包括人脸检测单元131、人脸识别单元133和人脸跟踪单元135。

人脸检测单元131，用于检测视频中的人脸，得到人脸图像集合。

本实施例中，人脸检测单元131检测每帧视频图像中的人脸图像，收集新出现的人脸图像并形成人脸图像集合。

具体的，人脸检测单元131按预设的频率，如1秒每张，从视频中提取图像，用于人脸检测，有间隔地提取图像以减轻处理器负担，提高人脸检测效率。

人脸检测单元131将提取的图像通过参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法或者综合检测法进行人脸检测。具体的，参考模板法为根据预设一个或数个标准人脸模板，计算目标图像与标准人脸模板之间的匹配程度，并通过阈值来判断是否存在人脸；人脸规则法为提取人脸具有的结构分布特征生成相应的规则以判断目标图像中是否包含人脸；样品学习法为通过对面像样品集和非面像样品集的学习产生分类器，然后根据分类器检测目标图像中的人脸；肤色模型法为依据面貌肤色在色彩空间中分布规律来进行人脸检测；特征子脸法为将所有面像集合视为一个面像子空间，并基于采集图像与其在子空间的投影之间的距离判断是否存在面像。

人脸检测单元131通过对检测到的人脸图像进行面纹编码或者计算特征向量进行缓存，以减少存储空间，通过连续收集图像中的人脸并删除重复的人脸得到人脸图像集合。计算特征向量为先确定人脸的眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出相应的几何特征量，而该特征量形成描述该面像的特征向量。计算面纹编码为采用归一化相关量度量将目标图像中的象素与预设的标准面像模板以及面像器官模板进行匹配，根据匹配结果得出面纹编码。通过建立每帧视频图像中的人脸图像集合并去除重复人脸图像，以及时获取人脸数据的变化，节约存储空间。

人脸识别单元133，用于识别人脸图像集合中观众的人脸并建立观众的人脸的面像档案。

本实施例中，人脸识别单元133分析人脸图像，分辨出观众的人脸和非观众的人脸，并建立观众的人脸的面像档案，该面像档案包括面纹数据、编号存储位置等

具体的，人脸识别单元133先定位并分割人脸图像中的人眼部位，通过对人脸图像进行灰度和锐化处理确定人眼的位置，然后根据人眼部位的颜色特点或者纹理特征从人脸图像中分割人眼图像。

获取人眼图像后，人脸识别单元133根据模版匹配法判断人眼是否正对着显示终端。根据人脸上眼睛、和鼻子等器官的位置及形状即可判断人脸是否朝向显示终端，将朝向显示终端的人脸中的人脸默认判定为正对着显示终端的人眼，对于未朝向显示终端的人脸，则根据人眼的瞳孔和眼白分布比例及分布位置判断注视方向是否朝向显示终端，进而判断人脸是否朝向显示终端。具体的，通过与朝向显示终端的预设人脸模版图像和人眼模版图像进行匹配，即可快速判断人眼是否正读者显示终端，通过调整匹配阈值，可以灵活控制匹配精度。

人脸识别单元133将判断结果为人眼正对着显示终端的人脸作为观众的人脸，即从人脸图像集合中识别观众的人脸。

获取观众的人脸图像后，人脸识别单元133建立观众的人脸的特征向量或者面纹编码，即从缓存中复制已经计算好的观众的整体的人脸特征向量或者面纹编码进行存档，以及建立人脸的局部特征向量或者局部面纹编码进行存档。

人脸识别单元133根据所述特征向量或者面纹编码识别观众的性别和年龄层次，通过对眉毛粗细、肤色、头发、口红或者首饰等人脸特征综合分析得出观众的性别，通过皱纹分布、头发颜色、眼袋大小、胡子颜色或者人脸胖瘦等人脸特征综合分析观众的年龄层次。通过上述对人脸中局部的特征向量或者面纹编码进行对比和分析即可得出观众的性别和年龄层次。

人脸跟踪单元135，用于根据面像档案动态跟踪观众的人脸并记录观众数据。

本实施例中，人脸跟踪单元135根据已经存储的人脸的面像档案，对用于建立面像档案的图像帧之后的图像进行人脸监视，判断是否存在与面像档案对应的人脸，若否，则认为对应的观众已经离开，并记录观众离开的起始时间，对于一个观众的面像档案可以对应记录多个离开的起始时间，将面像档案的存档时间作为观众的观看显示终端的起始时间；若是，则继续监视观众的人脸。

人脸跟踪单元135根据观众的面像档案的编号对应记录观众的存在时间段、性别、所属年龄层次以及该时间段内显示终端的广告切换情况等观众数据，并将观众数据进行上传和保存。

广告统计模块150，用于根据观众数据统计显示终端的广告投放效果。

本实施例中，广告统计模块150获取观众数据，根据显示终端所播放广告的播放时间和地理在观众数据中进行查找和统计，即可得出显示终端的广告投放效果。

具体的，广告统计模块150获取广告的起止播放时间和日期，根据该起止播放时间和日期在观众数据中查找对应的观众人数、男女观众比例以及观众的年龄层次。将每个播放时间段的观众人数相加即可得出该广告的观众总人数。通过对比不同时间段的总观众人数或者观众关注时间长度即可得出该广告的最佳播放时间段，即黄金播放时间段。通过对比不同地理位置的显示终端所对应的观众人数或者观众关注时间长度即可得出该广告的最佳播放地理位置。

上述显示终端的受众统计系统，通过对显示终端的广告展示方向的场景进行视频捕捉，通过人脸识别获取视频中的观众数据，根据观众数据统计显示终端的广告投放效果，提高了对显示终端的受众统计的准确性和及时性，为显示终端的广告投放提供了准去及时的参考，节约了成本，提高了显示终端的智能化。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种显示终端的受众统计方法，包括如下步骤：

对所述显示终端的广告展示方向的场景进行视频捕捉；

通过人脸识别获取所述视频中的观众数据；

根据所述观众数据统计所述显示终端的广告投放效果。

2.根据权利要求1所述的显示终端的受众统计方法，其特征在于，所述通过人脸识别获取所述视频中的观众数据的步骤包括：

检测所述视频中的人脸，得到人脸图像集合；

识别所述人脸图像集合中观众的人脸并建立观众的人脸的面像档案；

根据所述面像档案动态跟踪所述观众的人脸并记录观众数据。

3.根据权利要求2所述的显示终端的受众统计方法，其特征在于，所述检测所述视频中的人脸，得到人脸图像集合的步骤为：

按预设频率提取所述视频中的图像；

通过参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法或者综合检测法检测所述图像中的人脸；

对所述人脸进行去重得到人脸图像集合。

4.根据权利要求2所述的显示终端的受众统计方法，其特征在于，所述识别所述人脸图像集合中观众的人脸并建立观众的人脸的面像档案的步骤为：

定位并分割所述人脸中的人眼部位；

根据模版匹配法判断所述人眼是否正对着显示终端；

若是，则将所述人眼所对应的人脸作为观众的人脸；

建立所述观众的人脸的特征向量或者面纹编码；

根据所述特征向量或者面纹编码识别观众的性别和年龄层次。

5.根据权利要求2所述的显示终端的受众统计方法，其特征在于，所述根据所述面像档案动态跟踪所述观众的人脸并记录观众数据的步骤为：

根据所述面像档案对后续视频帧进行检测，判断后续视频帧中的是否存在对应的观众的人脸；

若否，则对应所述面像档案记录所述人脸不存在的起始时间。

6.一种显示终端的受众统计系统，其特征在于，包括：

视频获取模块，用于对所述显示终端的广告展示方向的场景进行视频捕捉；

人脸识别模块，用于通过人脸识别获取所述视频中的观众数据；

广告统计模块，用于根据所述观众数据统计所述显示终端的广告投放效果。

7.根据权利要求6所述的显示终端的受众统计系统，其特征在于，所述人脸识别模块包括：

人脸检测单元，用于检测所述视频中的人脸，得到人脸图像集合；

人脸识别单元，用于识别所述人脸图像集合中观众的人脸并建立观众的人脸的面像档案；

人脸跟踪单元，用于根据所述面像档案动态跟踪所述观众的人脸并记录观众数据。

8.根据权利要求7所述的显示终端的受众统计系统，其特征在于，所述人脸检测单元用于按预设频率提取所述视频中的图像，通过参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法或者综合检测法检测所述图像中的人脸，对所述人脸进行去重得到人脸图像集合。

9.根据权利要求7所述的显示终端的受众统计系统，其特征在于，所述人脸识别单元用于定位并分割所述人脸中的人眼部位，根据模版匹配法判断所述人眼是否正对着显示终端，若是，则将所述人眼所对应的人脸作为观众的人脸，建立所述观众的人脸的特征向量或者面纹编码，根据所述特征向量或者面纹编码识别观众的性别和年龄层次。

10.根据权利要求7所述的显示终端的受众统计系统，其特征在于，所述人脸跟踪单元用于根据所述面像档案对后续视频帧进行检测，判断后续视频帧中的是否存在对应的观众的人脸，若否，则对应所述面像档案记录所述人脸不存在的起始时间。