CN104777910A - 一种表情识别应用于显示器的方法及系统 - Google Patents

一种表情识别应用于显示器的方法及系统 Download PDF

Info

Publication number
CN104777910A
CN104777910A CN201510193899.8A CN201510193899A CN104777910A CN 104777910 A CN104777910 A CN 104777910A CN 201510193899 A CN201510193899 A CN 201510193899A CN 104777910 A CN104777910 A CN 104777910A
Authority
CN
China
Prior art keywords
expression
display
face
detect
expression recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510193899.8A
Other languages
English (en)
Inventor
姚剑敏
郭太良
林志贤
林金堂
郭明勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201510193899.8A priority Critical patent/CN104777910A/zh
Publication of CN104777910A publication Critical patent/CN104777910A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种表情识别应用于显示器的方法及系统，该系统包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，做出关机、静音、调节音量的判断。该系统及方法有利于提高人机交互体验，使显示器更加智能化。

Description

一种表情识别应用于显示器的方法及系统
技术领域
本发明属于生物识别技术领域，特别设计一种表情识别在显示器的应用。
背景技术
       随着人工智能技术、生物识别技术和计算机技术及其相关领域的迅速发展，自动化技术在社会发展中担负着越来越重要的角色，人们对于拟人化交流的人机交互的需求日益增长。机器如果能够像人类一样，具有像人类一样的理解情感的能力，将从根本上改变人与机器之间的关系，让机器更好的为人类服务。表情识别是情感理解的基础，是机器理解人类情感的前提，也是人类探索机器智能化的有效途径。如果实现机器理解人类情感，这将对未来人机交互领域产生重大的意义。
       现在的智能电视/显示器，大多是增加联网功能、手势控制等，这些都需要人类去操作，只有人类发出了指令，机器才会做出相应，并不是真正的智能化。
发明内容
 有鉴于此，本发明提出一种表情识别应用于显示器的系统和方法，显示器能根据观众的表情变化做出关机、静音、调节音量判断。
本发明采用以下技术方案实现：一种表情识别应用于显示器的方法，其特征在于：包括以下步骤：步骤S01：通过一图像采集装置采集观众的人脸图像；步骤S02：对采集的人脸图像的人脸数进行分析并编号定位；步骤S03：通过选取每个人脸的表情特征点计算每个人脸的特征，所述人脸表情特征点包括人脸图像中左侧眼眶上下左右四个顶点，右眼眼眶上下左右四个顶点，以及嘴唇轮廓上下左右四个顶点，左右耳耳垂两个点；步骤S04：分析每个人脸表情的可能类型；步骤S05：记录每个人脸表情的可能类型并保存一段时间，通过记录的人脸表情的可能类型分析出人脸表情类型；步骤S06：根据这段时间每个人脸的表情类型的动态情况，显示器做出响应。
在本发明一实施例中，步骤S04包括以下具体步骤：若人脸图像上双眼眼眶的上下特征点重合判断为似睡眠状态；若表情特征点正对显示器则判断为似观看状态；若表情特征点不正对显示器则判断似交谈状态；若左耳或右耳耳垂点被覆盖则判断为似通话状态。
在本发明一实施例中，步骤S05包括以下具体步骤：检测到似睡眠状态持续5秒以上，则判断为睡眠状态；检测到在似观看状态期间没有进入睡眠状态则判断为观看状态；检测到似交谈状态持续10秒以上，则判断为交谈状态；检测到有人脸从左右耳耳垂点均未被覆盖变为似通话状态并持续5秒以上，则判断为通话状态。
在本发明一实施例中，步骤S06包括以下具体步骤：在300秒内检测不到人脸或检测到每张人脸都处于睡眠状态60秒以上，显示器关机；在30秒内检测到有一张人脸处于睡眠状态，显示器静音；在20秒内检测到一半及一半以上的人脸处于交谈状态或有一张人脸处于通话状态，显示器将音量调小为原来音量的百分30；检测到由交谈状态或通话状态更改为观看状态，显示器调大音量至观众设定值。
本发明还提供一种表情识别应用于显示器的系统，其特征在于：包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，显示器根据分析结果做出关机、静音、调节音量的判断。
在本发明一实施例中，所述图像采集装置为显示器前置或外置摄像头。
与现有技术相比，本发明提供的技术方案将表情识别应用于显示器中，显示器根据观众的表情变化来做出反应，真正实现显示器的智能化。本发明选取14个表情特征点能够高度还原观众表情变化。
附图说明
图1是本发明的原理框图。
图2是本发明的特征点选取图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
本发明一种表情识别应用于显示器的方法，其特征在于：包括以下步骤：步骤S01：通过一图像采集装置采集观众的人脸图像；步骤S02：对采集的人脸图像的人脸数进行分析并编号定位；步骤S03：通过选取每个人脸的表情特征点计算每个人脸的特征，所述人脸表情特征点包括人脸图像中左侧眼眶上下左右四个顶点，右眼眼眶上下左右四个顶点，以及嘴唇轮廓上下左右四个顶点，左右耳耳垂两个点；步骤S04：分析每个人脸表情的可能类型；步骤S05：记录每个人脸表情的可能类型并保存一段时间，通过记录的人脸表情的可能类型分析出人脸表情类型；步骤S06：根据这段时间每个人脸的表情类型的动态情况，显示器做出响应。其原理框图参见图1。本发明的表情特征点的选取点参见图2。本发明一共选取了14个表情特征点，能够根据这14个表情特征点的分析即可准确地得到观众的表情变化。
在本发明一实施例中，步骤S04包括以下具体步骤：若人脸图像上双眼眼眶的上下特征点重合判断为似睡眠状态；若表情特征点正对显示器则判断为似观看状态；若表情特征点不正对显示器则判断似交谈状态；若左耳或右耳耳垂点被覆盖则判断为似通话状态。
其中，不正对显示器的判断标准为图像采集装置采集到的h点的位置偏离头部右侧边缘达50%头部宽度以上或a点的位置偏离头部左边边缘达50%头部宽度以上；正对显示器的判断标准为非不正对即判断为正对。
在本发明一实施例中，步骤S05包括以下具体步骤：检测到似睡眠状态持续5秒以上，则判断为睡眠状态；检测到在似观看状态期间没有进入睡眠状态则判断为观看状态；检测到似交谈状态持续10秒以上，则判断为交谈状态；检测到有人脸从左右耳耳垂点均未被覆盖变为似通话状态并持续5秒以上，则判断为通话状态。
在本发明一实施例中，步骤S06包括以下具体步骤：在300秒内检测不到人脸或检测到每张人脸都处于睡眠状态60秒以上，显示器关机；在30秒内检测到有一张人脸处于睡眠状态，显示器静音；在20秒内检测到一半及一半以上的人脸处于交谈状态或有一张人脸处于通话状态，显示器将音量调小为原来音量的百分30；检测到由交谈状态或通话状态更改为观看状态，显示器调大音量至观众设定值。
本发明还提供一种表情识别应用于显示器的系统，其特征在于：包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，显示器根据分析结果做出关机、静音、调节音量的判断。
较佳的，所述图像采集装置为显示器前置或外置摄像头。
本领域技术人员可以在不违背本发明的原理和实质的前提下对本具体实施例做出各种修改或补充或者采用类似的方式替代，但是这些改动均落入本发明的保护范围。因此本发明技术范围不局限于上述实施例。

Claims (6)

1. 一种表情识别应用于显示器的方法，其特征在于：包括以下步骤：
步骤S01：通过一图像采集装置采集观众的人脸图像；
步骤S02：对采集的人脸图像的人脸数进行分析并编号定位；
步骤S03：通过选取每个人脸的表情特征点计算每个人脸的特征，所述人脸表情特征点包括人脸图像中左侧眼眶上下左右四个顶点，右眼眼眶上下左右四个顶点，以及嘴唇轮廓上下左右四个顶点，左右耳耳垂两个点；
步骤S04：分析每个人脸表情的可能类型；
步骤S05：记录每个人脸表情的可能类型并保存一段时间，通过记录的人脸表情的可能类型分析出人脸表情类型；
步骤S06：根据这段时间每个人脸的表情类型的动态情况，显示器做出响应。
2.根据权利要求1所述的表情识别应用于显示器的方法，其特征在于：步骤S04包括以下具体步骤：若人脸图像上双眼眼眶的上下特征点重合判断为似睡眠状态；若表情特征点正对显示器则判断为似观看状态；若表情特征点不正对显示器则判断似交谈状态；若左耳或右耳耳垂点被覆盖则判断为似通话状态。
3.根据权利要求1所述的表情识别应用于显示器的方法，其特征在于：步骤S05包括以下具体步骤：检测到似睡眠状态持续5秒以上，则判断为睡眠状态；检测到在似观看状态期间没有进入睡眠状态则判断为观看状态；检测到似交谈状态持续10秒以上，则判断为交谈状态；检测到有人脸从左右耳耳垂点均未被覆盖变为似通话状态并持续5秒以上，则判断为通话状态。
4.根据权利要求1所述的表情识别应用于显示器的方法，其特征在于：步骤S06包括以下具体步骤：在300秒内检测不到人脸或检测到每张人脸都处于睡眠状态60秒以上，显示器关机；在30秒内检测到有一张人脸处于睡眠状态，显示器静音；在20秒内检测到一半及一半以上的人脸处于交谈状态或有一张人脸处于通话状态，显示器将音量调小为原来音量的百分30；检测到由交谈状态或通话状态更改为观看状态，显示器调大音量至观众设定值。
5.一种表情识别应用于显示器的系统，其特征在于：包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，显示器根据分析结果做出关机、静音、调节音量的判断。
6.根据权利要求5所述的表情识别应用于显示器的系统，其特征在于：所述图像采集装置为显示器前置或外置摄像头。
CN201510193899.8A 2015-04-23 2015-04-23 一种表情识别应用于显示器的方法及系统 Pending CN104777910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510193899.8A CN104777910A (zh) 2015-04-23 2015-04-23 一种表情识别应用于显示器的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510193899.8A CN104777910A (zh) 2015-04-23 2015-04-23 一种表情识别应用于显示器的方法及系统

Publications (1)

Publication Number Publication Date
CN104777910A true CN104777910A (zh) 2015-07-15

Family

ID=53619425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510193899.8A Pending CN104777910A (zh) 2015-04-23 2015-04-23 一种表情识别应用于显示器的方法及系统

Country Status (1)

Country Link
CN (1) CN104777910A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159111A (zh) * 2015-08-24 2015-12-16 百度在线网络技术（北京）有限公司 基于人工智能的智能交互设备控制方法及系统
CN106412458A (zh) * 2015-07-31 2017-02-15 中兴通讯股份有限公司 一种图像处理方法和装置
CN106998499A (zh) * 2017-04-28 2017-08-01 张青 能够智能待机的智能电视机及其控制系统和控制方法
WO2018121542A1 (zh) * 2016-12-27 2018-07-05 北京市商汤科技开发有限公司 业务对象的操作方法、装置和电子设备
CN108564007A (zh) * 2018-03-27 2018-09-21 深圳市智能机器人研究院 一种基于表情识别的情绪识别方法和装置
CN108648314A (zh) * 2018-05-11 2018-10-12 广东汇泰龙科技有限公司 一种基于智能云锁的用户表情互动方法及系统
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
CN113179439A (zh) * 2021-04-19 2021-07-27 广州欢网科技有限责任公司 智能电视音量控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825947A (zh) * 2010-05-04 2010-09-08 中兴通讯股份有限公司 智能控制移动终端的方法、装置及移动终端
CN102098567A (zh) * 2010-11-30 2011-06-15 深圳创维－Rgb电子有限公司 一种互动电视系统及其控制方法
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子（中国）研发中心 基于视觉的交互式电子设备控制系统及其控制方法
CN102201148A (zh) * 2011-05-25 2011-09-28 北京航空航天大学 一种基于视觉的驾驶员疲劳检测方法及系统
CN202025333U (zh) * 2010-12-16 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载终端
CN102629999A (zh) * 2012-04-05 2012-08-08 邓中良 一种基于眼部状态识别技术的睡前电视机自动关机服务
CN103257877A (zh) * 2013-05-06 2013-08-21 苏州三星电子电脑有限公司 显示设备自动休眠控制系统及其控制方法
CN103281064A (zh) * 2013-04-19 2013-09-04 四川长虹电器股份有限公司 一种实现家电节能的方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子（中国）研发中心 基于视觉的交互式电子设备控制系统及其控制方法
CN101825947A (zh) * 2010-05-04 2010-09-08 中兴通讯股份有限公司 智能控制移动终端的方法、装置及移动终端
CN102098567A (zh) * 2010-11-30 2011-06-15 深圳创维－Rgb电子有限公司 一种互动电视系统及其控制方法
CN202025333U (zh) * 2010-12-16 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载终端
CN102201148A (zh) * 2011-05-25 2011-09-28 北京航空航天大学 一种基于视觉的驾驶员疲劳检测方法及系统
CN102629999A (zh) * 2012-04-05 2012-08-08 邓中良 一种基于眼部状态识别技术的睡前电视机自动关机服务
CN103281064A (zh) * 2013-04-19 2013-09-04 四川长虹电器股份有限公司 一种实现家电节能的方法及装置
CN103257877A (zh) * 2013-05-06 2013-08-21 苏州三星电子电脑有限公司 显示设备自动休眠控制系统及其控制方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412458A (zh) * 2015-07-31 2017-02-15 中兴通讯股份有限公司 一种图像处理方法和装置
CN105159111A (zh) * 2015-08-24 2015-12-16 百度在线网络技术（北京）有限公司 基于人工智能的智能交互设备控制方法及系统
CN105159111B (zh) * 2015-08-24 2019-01-25 百度在线网络技术（北京）有限公司 基于人工智能的智能交互设备控制方法及系统
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
US11475646B1 (en) 2016-10-14 2022-10-18 Purity LLC Computer implemented display system responsive to a detected mood of a person
WO2018121542A1 (zh) * 2016-12-27 2018-07-05 北京市商汤科技开发有限公司 业务对象的操作方法、装置和电子设备
CN106998499A (zh) * 2017-04-28 2017-08-01 张青 能够智能待机的智能电视机及其控制系统和控制方法
CN108564007A (zh) * 2018-03-27 2018-09-21 深圳市智能机器人研究院 一种基于表情识别的情绪识别方法和装置
CN108564007B (zh) * 2018-03-27 2021-10-22 深圳市智能机器人研究院 一种基于表情识别的情绪识别方法和装置
CN108648314A (zh) * 2018-05-11 2018-10-12 广东汇泰龙科技有限公司 一种基于智能云锁的用户表情互动方法及系统
CN113179439A (zh) * 2021-04-19 2021-07-27 广州欢网科技有限责任公司 智能电视音量控制方法及系统
CN113179439B (zh) * 2021-04-19 2022-07-08 广州欢网科技有限责任公司 智能电视音量控制方法及系统

Similar Documents

Publication Publication Date Title
CN104777910A (zh) 一种表情识别应用于显示器的方法及系统
WO2019128507A1 (zh) 图像处理方法、装置、存储介质及电子设备
US20190294909A1 (en) Apparatus and method for using background change to determine context
US20180348885A1 (en) Multi Media Computing Or Entertainment System For Responding To User Presence And Activity
CN104582187A (zh) 基于人脸识别和表情识别的记录与灯光控制系统及方法
KR102441171B1 (ko) 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
WO2015172514A1 (zh) 图像采集装置和方法
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
CN104820495B (zh) 一种异常微表情识别与提醒方法及装置
CN104375650A (zh) 基于智能穿戴设备的社交识别方法及系统
TWI729983B (zh) 電子裝置、螢幕調節系統及方法
CN105072327A (zh) 一种防闭眼的人像拍摄处理的方法和装置
CN106156740A (zh) 民航机场候机楼人脸快速识别系统
CN106372575B (zh) 一种远程监控智能人像识别管理系统
CN105335691A (zh) 笑脸识别鼓励系统
US11302156B1 (en) User interfaces associated with device applications
CN101950358A (zh) 智能电视自动年龄估计与性别判别的方法
CN104239857A (zh) 一种身份识别信息采集方法、装置及系统
US20190061164A1 (en) Interactive robot
US11423762B1 (en) Providing device power-level notifications
CN110309693A (zh) 多层次状态侦测系统与方法
CN103019381A (zh) 控制显示屏自动背光的方法
CN106815264B (zh) 一种信息处理方法及系统
US11032762B1 (en) Saving power by spoofing a device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150715