CN109767262A - 一种用于广告屏的三维人脸表情识别打分评估方法 - Google Patents
一种用于广告屏的三维人脸表情识别打分评估方法 Download PDFInfo
- Publication number
- CN109767262A CN109767262A CN201811550605.2A CN201811550605A CN109767262A CN 109767262 A CN109767262 A CN 109767262A CN 201811550605 A CN201811550605 A CN 201811550605A CN 109767262 A CN109767262 A CN 109767262A
- Authority
- CN
- China
- Prior art keywords
- advertisement
- dimensional face
- processing unit
- central processing
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供了一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:(1)、所述控制器根据显示屏的高度调节相机的角度；(2)、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；(3)、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；(4)、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；(5)、所述无线通信模块将评分结果发送到移动终端。本发明能够准确的判断用于对广告的喜欢程度。
Description
技术领域
本发明所属人脸识别技术领域，涉及一种用于广告屏的三维人脸表情识别打分评估方法。
背景技术
在公共场所，游客观看显示屏上的广告，通过摄像头采集到的人脸情图像，再通过上述提出的识别方法，对游客表情进行分析，判断游客对广告的感兴趣程度。当游客出现厌恶、愤怒、中性时，表示游客对广告不感兴趣，否则为感兴趣，通过人脸表情识别对游客(顾客) 观看广告时的满意度分析。系统会实时采集数据并收集，事后对收集到的信息按月进行统计分析，对投放的广告按满意度排序，可以参考该排序，合理的安排下个阶段的广告投放。这样可以有效提高广告投放的针对性和宣传效果，降低成本，提高效益。
现有技术的不足：
CN201210006449视觉广告效果评估系统及方法：通过行人流量、行人观看比例以及行人观看时间数据来判断广告效果，而人流量主要受地段的影响，行人观看比例主要受广告的摆放位置和方向，行人观看时间主要受行人本身时间等其它因素的影响，虽然也可以大致的判断此广告的大致效果，但不能准确的判断此广告是否受客户喜爱程度。
CN201611027268广告质量评估方法及装置：用户的表情与预设定的表情匹配时，判断用户喜爱该广告，但人脸表情变化比较丰富，稍微变化可能就无法与预设定的表情匹配，影响广告质量评估的准确性。
发明内容
针对上述问题，本发明提供了一种用于广告屏的三维人脸表情识别打分评估方法，采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。
为实现以上目的，本发明采用下述技术方案：
一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，
所述方法包括如下步骤:
S1、所述控制器根据显示屏的高度调节相机的角度；
S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；
S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；
S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；
S5、所述无线通信模块将评分结果发送到移动终端。
进一步地，所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。
进一步地，所述控制器控制显示屏上广告显示。
进一步地，所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。
进一步地，所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。
进一步地，所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。
进一步地，所述步骤S4中是通过支持向量机实现表情分类。
进一步地，所述用户根据移动终端的提示进行广告的设计。
进一步地，所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。
本发明采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。对收集到的人脸表情信息按月进行统计分析，并进行打分，通过分数判断，可以准确判断用户对广告的喜欢程度。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:
S1、所述控制器根据显示屏的高度调节相机的角度；
S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；
S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；
S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；
S5、所述无线通信模块将评分结果发送到移动终端。
所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。
所述控制器控制显示屏上广告显示。所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。所述步骤S4中是通过支持向量机实现表情分类。所述用户根据移动终端的提示进行广告的设计。所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。
本发明采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。对收集到的人脸表情信息按月进行统计分析，并进行打分，通过分数判断，可以准确判断用户对广告的喜欢程度。
本发明的识别方式工作如下：当用户观看广告时，两个摄像头对人脸进行采集(在采集模块进行)，两个摄像头分别采集到的两张人脸表情图像通过中央处理器中的控制系统进行三维人脸重建和预处理工作，再进行三维人脸表情识别，识别后对表情进行分类，分类后再对应进行打分，分数越高说明用户对广告越喜欢。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，其特征在于：
所述方法包括如下步骤:
S1、所述控制器根据显示屏的高度调节摄像机的角度；
S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；
S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；
S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；
S5、所述无线通信模块将评分结果发送到移动终端。
2.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述广告屏具有高度传感器，
在所述步骤S1包括步骤：
S11、高度传感器获取显示屏的中心距地面的高度；
S12、所述控制器根据高度数值对应的调节所述摄像机的角度；
所述步骤S3包括步骤：
S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；
S32、将提取出的人脸区域拼接成一个完整的人脸图像；
S33、根据人脸图像进行三维人脸重建；
所述步骤S4包括步骤：
S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；
S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。
3.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述控制器控制显示屏上广告显示，所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。
4.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。
5.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。
6.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述步骤S4中是通过支持向量机实现表情分类。
7.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述用户根据移动终端的提示进行广告的设计。
8.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550605.2A CN109767262B (zh) | 2018-12-18 | 2018-12-18 | 一种用于广告屏的三维人脸表情识别打分评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550605.2A CN109767262B (zh) | 2018-12-18 | 2018-12-18 | 一种用于广告屏的三维人脸表情识别打分评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109767262A true CN109767262A (zh) | 2019-05-17 |
| CN109767262B CN109767262B (zh) | 2021-12-31 |
Family
ID=66450264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811550605.2A Active CN109767262B (zh) | 2018-12-18 | 2018-12-18 | 一种用于广告屏的三维人脸表情识别打分评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109767262B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378736A (zh) * | 2019-07-23 | 2019-10-25 | 中国科学院东北地理与农业生态研究所 | 通过人脸表情识别评价游客对自然资源体验满意度的方法 |
| CN110490656A (zh) * | 2019-08-21 | 2019-11-22 | 深圳市易云数字科技有限责任公司 | 一种线下广告的效果量化方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881239A (zh) * | 2011-07-15 | 2013-01-16 | 鼎亿数码科技(上海)有限公司 | 基于图像识别的广告投播系统及方法 |
| CN102890777A (zh) * | 2011-07-21 | 2013-01-23 | 爱国者电子科技(天津)有限公司 | 可识别面部表情的电脑系统 |
| CN104598869A (zh) * | 2014-07-25 | 2015-05-06 | 北京智膜科技有限公司 | 基于人脸识别装置的智能广告推送方法 |
| CN105243374A (zh) * | 2015-11-02 | 2016-01-13 | 湖南拓视觉信息技术有限公司 | 三维人脸识别方法、系统及应用其的数据处理装置 |
| CN107977439A (zh) * | 2017-12-07 | 2018-05-01 | 宁波亿拍客网络科技有限公司 | 一种人脸图像库构建方法 |
| CN108009531A (zh) * | 2017-12-28 | 2018-05-08 | 北京工业大学 | 一种多策略防欺诈的人脸识别方法 |
| CN108734518A (zh) * | 2018-05-22 | 2018-11-02 | 缪涵澄 | 一种使用图像识别技术统计广告效果的方法 |
-
2018
- 2018-12-18 CN CN201811550605.2A patent/CN109767262B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881239A (zh) * | 2011-07-15 | 2013-01-16 | 鼎亿数码科技(上海)有限公司 | 基于图像识别的广告投播系统及方法 |
| CN102890777A (zh) * | 2011-07-21 | 2013-01-23 | 爱国者电子科技(天津)有限公司 | 可识别面部表情的电脑系统 |
| CN104598869A (zh) * | 2014-07-25 | 2015-05-06 | 北京智膜科技有限公司 | 基于人脸识别装置的智能广告推送方法 |
| CN105243374A (zh) * | 2015-11-02 | 2016-01-13 | 湖南拓视觉信息技术有限公司 | 三维人脸识别方法、系统及应用其的数据处理装置 |
| CN107977439A (zh) * | 2017-12-07 | 2018-05-01 | 宁波亿拍客网络科技有限公司 | 一种人脸图像库构建方法 |
| CN108009531A (zh) * | 2017-12-28 | 2018-05-08 | 北京工业大学 | 一种多策略防欺诈的人脸识别方法 |
| CN108734518A (zh) * | 2018-05-22 | 2018-11-02 | 缪涵澄 | 一种使用图像识别技术统计广告效果的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378736A (zh) * | 2019-07-23 | 2019-10-25 | 中国科学院东北地理与农业生态研究所 | 通过人脸表情识别评价游客对自然资源体验满意度的方法 |
| CN110490656A (zh) * | 2019-08-21 | 2019-11-22 | 深圳市易云数字科技有限责任公司 | 一种线下广告的效果量化方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109767262B (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160086023A1 (en) | Apparatus and method for controlling presentation of information toward human object | |
| CN103716594B (zh) | 基于运动目标检测的全景拼接联动方法及装置 | |
| CN105224921B (zh) | 一种人脸图像择优系统和处理方法 | |
| CN109284737A (zh) | 一种用于智慧教室的学生行为分析和识别系统 | |
| CN106843460A (zh) | 基于多摄像头的多目标位置捕获定位系统及方法 | |
| CN112184705A (zh) | 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 | |
| CN101588443A (zh) | 基于人脸检测的电视收视率统计装置及检测方法 | |
| CN107615298A (zh) | 人脸识别方法及系统 | |
| CN105741375A (zh) | 一种大视场双目视觉的红外图像考勤方法 | |
| CN110414381A (zh) | 追踪式人脸识别系统 | |
| EP3726424A1 (en) | Determination of audience attention | |
| CN109767262A (zh) | 一种用于广告屏的三维人脸表情识别打分评估方法 | |
| CN110458158A (zh) | 一种针对盲人辅助阅读的文本检测与识别方法 | |
| JP2000209578A (ja) | 広告メディア評価装置および広告メディア評価方法 | |
| CN105938603A (zh) | 一种基于机器视觉的人员感兴趣程度检测系统及方法 | |
| JP2020140630A (ja) | 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体 | |
| KR101817773B1 (ko) | 깊이 영상 센싱 기반의 맞춤형 광고 제공 시스템 | |
| CN109194952B (zh) | 头戴式眼动追踪设备及其眼动追踪方法 | |
| CN107704851A (zh) | 人物识别方法、公共传媒展示装置、服务器和系统 | |
| CN113435336A (zh) | 一种基于人工智能的跑步智能计时系统及方法 | |
| CN111476600B (zh) | 直梯广告受众人数统计分析方法 | |
| CN201467351U (zh) | 基于人脸检测的电视收视率统计装置 | |
| JP2004064368A (ja) | 電子機器 | |
| CN110751062B (zh) | 一种基于姿态投票的考生姿态序列生成方法 | |
| CN113221815A (zh) | 一种基于骨骼关键点自动检测技术的步态鉴定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |