CN109522059B - 一种程序唤醒方法及系统 - Google Patents
一种程序唤醒方法及系统 Download PDFInfo
- Publication number
- CN109522059B CN109522059B CN201811430277.2A CN201811430277A CN109522059B CN 109522059 B CN109522059 B CN 109522059B CN 201811430277 A CN201811430277 A CN 201811430277A CN 109522059 B CN109522059 B CN 109522059B
- Authority
- CN
- China
- Prior art keywords
- expression
- user
- facial
- emotion
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4418—Suspend and resume; Hibernate and awake
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种程序唤醒方法及系统,其方法包括:获取用户的面部表情以及所述面部表情对应的表情情绪;根据所述面部表情和所述表情情绪建立面部表情库;获取用户面部表情;将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;当所述用户情绪为预设目标情绪时,唤醒程序。本发明通过检测用户面部表情,根据面部表情变化自动唤醒程序为用户提供帮助,更加贴心以及人性化。
Description
技术领域
本发明涉及智能识别技术领域,尤指一种程序唤醒方法及系统。
背景技术
目前智能终端的普遍唤醒方式为语音唤醒,但是语音唤醒需要用户主动说出唤醒词,但是用户有的时候非常投入地做某件事情,当遇到棘手的无法顺利解决的问题时,可能一时之间想不起来可以通过询问的方式唤醒智能设备寻求帮助。在上述情形中,如果用户不发出语音指令,就无法唤醒智能终端提供帮助,不够人性化、智能化,不能及时地为用户解决问题。
例如,家教机唤醒小布问作业的方式为语音唤醒,但是语音唤醒需要用户主动去说,用户有的时候想不起来可以通过询问的方式寻求帮助,如果用户不发出语音指令,就无法唤醒小布问作业app,不够人性化、智能化。
因此,目前市场上急需一种程序唤醒方法及系统,及时主动地为用户提供帮助。
发明内容
本发明的目的是提供一种程序唤醒方法及系统,实现通过检测用户面部表情,根据面部表情变化自动唤醒程序为用户提供帮助,更加贴心以及人性化。
本发明提供的技术方案如下:
本发明提供一种程序唤醒方法,包括:
获取面部表情以及所述面部表情对应的表情情绪;
根据所述面部表情和所述表情情绪建立面部表情库;
获取用户面部表情;
将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;
当所述用户情绪为预设目标情绪时,唤醒程序。
进一步的,所述的根据所述面部表情和所述表情情绪建立面部表情库具体包括:
分析所述面部表情得到对应的面部表情特征;
统计属于同一表情情绪的面部表情的每一种面部表情特征的个数;
根据所述个数选取一个或多个所述面部表情特征作为情绪表情特征;
根据所述情绪表情特征和对应的表情情绪建立所述面部表情库。
进一步的,所述的将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪具体包括:
分析所述用户面部表情对应的用户表情特征;
将所述用户表情特征和所述面部表情库进行匹配;
若所述用户表情特征和一个表情情绪的情绪表情特征匹配相符,则匹配相符的所述表情情绪为对应的用户情绪;
若所述用户表情特征和多个表情情绪的情绪表情特征匹配相符,则根据情绪表情特征匹配度选取表情情绪为对应的用户情绪,所述情绪表情特征匹配度为所述用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数。
进一步的,所述的将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪还包括:
间隔预设时长将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;和/或,
当所述用户面部表情变化时,将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
进一步的,所述的根据所述面部表情和所述表情情绪建立面部表情库之后,所述的获取用户面部表情之前包括:
在所述面部表情库中对所述预设目标情绪进行标记。
本发明还提供一种程序唤醒系统,包括:
获取模块,获取面部表情以及所述面部表情对应的表情情绪;
表情库建立模块,根据所述获取模块获取的所述面部表情和所述表情情绪建立面部表情库;
表情获取模块,获取用户面部表情;
匹配模块,将所述表情获取模块获取的所述用户面部表情和所述表情库建立模块建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;
处理模块,当所述匹配模块得到的所述用户情绪为预设目标情绪时,唤醒程序。
进一步的,所述表情库建立模块具体包括:
分析单元,分析所述获取模块获取的所述面部表情得到对应的面部表情特征;
统计单元,统计所述分析单元得到的属于同一表情情绪的面部表情的每一种面部表情特征的个数;
特征选取单元,根据所述统计单元统计的所述个数选取一个或多个所述面部表情特征作为情绪表情特征;
表情库建立单元,根据所述特征选取单元选取的所述情绪表情特征和所述获取模块获取的对应的表情情绪建立所述面部表情库。
进一步的,所述匹配模块具体包括:
用户表情分析单元,分析所述用户面部表情对应的用户表情特征;
匹配单元,将所述用户表情分析单元得到的所述用户表情特征和所述表情库建立模块建立的所述面部表情库进行匹配;
情绪选取单元,若所述匹配单元得出所述用户表情特征和一个表情情绪的情绪表情特征匹配相符,则选取匹配相符的所述表情情绪为对应的用户情绪;
所述情绪选取单元,若所述匹配单元得出所述用户表情特征和多个表情情绪的情绪表情特征匹配相符,则根据情绪表情特征匹配度选取匹配相符的其中一个表情情绪为对应的用户情绪,所述情绪表情特征匹配度为所述用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数。
进一步的,所述匹配模块还包括:
处理单元,间隔预设时长将所述表情获取模块获取的所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;和/或,
所述处理单元,当所述表情获取模块获取的所述用户面部表情变化时,将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
进一步的,还包括:
标记模块,在所述表情库建立模块建立的所述面部表情库中对所述预设目标情绪进行标记。
通过本发明提供的一种程序唤醒方法及系统,能够带来以下至少一种有益效果:
1、本发明中,实时监测用户的表情,发现用户表现出负向情绪如疑惑、困扰、不开心、难受时,主动唤醒,询问用户需要哪种帮助,就可以十分人性化,在用户需要帮助的时候,立即唤醒启动。
2、本发明中,通过面部表情得到对应的面部表情特征,选取属于同一表情情绪的面部表情的中的个数较多的面部表情特征作为情绪表情特征,更加准确表现该表情情绪的特点。
3、本发明中,通过将用户表情特征和面部表情库中的情绪表情特征进行匹配,从而准确判断用户当前的情绪。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种程序唤醒方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种程序唤醒方法的一个实施例的流程图;
图2是本发明一种程序唤醒方法的另一个实施例的流程图;
图3是本发明一种程序唤醒方法的另一个实施例的流程图;
图4是本发明一种程序唤醒方法的另一个实施例的流程图;
图5是本发明一种程序唤醒方法的另一个实施例的流程图;
图6是本发明一种程序唤醒系统的一个实施例的结构示意图;
图7是本发明一种程序唤醒系统的一个实施例的结构示意图;
图8是本发明一种程序唤醒系统的一个实施例的结构示意图;
图9是本发明一种程序唤醒系统的一个实施例的结构示意图;
图10是本发明一种程序唤醒系统的一个实施例的结构示意图。
附图标号说明:
1000程序唤醒系统
1100获取模块
1200表情库建立模块 1210分析单元 1220统计单元 1230特征
选取单元 1240表情库建立单元
1300标记模块
1400表情获取模块
1500匹配模块 1510用户表情分析单元 1520匹配单元 1530情
绪选取单元 1580处理单元
1600处理模块
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为了使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
本发明的一个实施例,如图1所示,一种程序唤醒方法,包括:
S100获取面部表情以及所述面部表情对应的表情情绪。
具体的,获取大量的不同的用户的面部表情以及面部表情对应的表情情绪,其中,由于每一个人的表现方式不同,同一种情绪可能包含多种面部表情,而且收集不同用户的面部表情才具有普遍性。
S200根据所述面部表情和所述表情情绪建立面部表情库。
具体的,根据获取到的面部表情和对应的表情情绪建立面部表情库,在面部表情库中建立面部表情和对应的表情情绪之间的映射关系,便于后续识别用户的情绪。
S400获取用户面部表情。
具体的,获取用户面部表情,通过摄像头或传感器实时监测获取用户面部表情,以保证及时发现用户需要帮助,从而主动唤醒程序为用户解决问题提供帮助。
S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
具体的,将用户面部表情和面部表情库中的面部表情逐一进行匹配,得到匹配相符的面部表情,根据面部表情库中面部表情和对应的表情情绪之间的映射关系,确定匹配相符的面部表情对应的表情情绪,从而确定用户面部表情对应的用户情绪。
S600当所述用户情绪为预设目标情绪时,唤醒程序。
具体的,分析识别上述确定的用户情绪,如果识别出确定的用户情绪为预设目标情绪,说明用户当前需要帮助,因此立即唤醒程序为用户解决问题提供帮助。
本实施例中,通过实时监测用户面部表情,根据用户面部表情变化判断用户是否需要帮助,从而在用户需要帮助的时候自动唤醒程序为用户提供帮助,更加贴心以及人性化。
本发明的另一个实施例,是上述的实施例的优化实施例,如图2所示,包括:
S100获取用户的面部表情以及所述面部表情对应的表情情绪。
S200根据所述面部表情和所述表情情绪建立面部表情库。
S300在所述面部表情库中对所述预设目标情绪进行标记。
具体的,在面部表情库中对预设目标情绪进行标记,预设目标情绪是当用户表现出该情绪时说明用户需要帮助,例如疑惑、困扰、不开心、难受等,标记预设目标情绪便于后续对用户情绪进行识别判定,从而决定是否主动唤醒程序。
S400获取用户面部表情。
S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
S600当所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,在面部表情库中对预设目标情绪进行标记,实时监测用户的表情,发现用户表现出负向情绪如疑惑、困扰、不开心、难受时,主动唤醒,询问用户需要哪种帮助,就可以十分人性化,在用户需要帮助的时候,立即唤醒启动。
本发明的另一个实施例,是上述的实施例的优化实施例,如图3所示,包括:
S100获取面部表情以及所述面部表情对应的表情情绪。
S200根据所述面部表情和所述表情情绪建立面部表情库。
所述的S200根据所述面部表情和所述表情情绪建立面部表情库具体包括:
S210分析所述面部表情得到对应的面部表情特征。
具体的,分析面部表情得到对应的面部表情特征,该面部表情特征包括眼睛、瞳孔、嘴角、额头等部位的表现,例如难过时嘴角下垂,疑惑时眉头皱起等特征。上述的说明举例仅仅只是为了帮助理解,实际情况并不仅限于上述举例。
S220统计属于同一表情情绪的面部表情的每一种面部表情特征的个数。
具体的,每一种表情情绪包含多个面部表情,每一个面部表情又能够接续出多个面部表情特征,统计属于同一表情情绪的面部表情的每一种面部表情特征的个数,根据数量的多少将属于同一表情情绪的面部表情特征按照个数由多到少进行排列。
S230根据所述个数选取一个或多个所述面部表情特征作为情绪表情特征。
具体的,根据属于同一表情情绪的每一种面部表情特征的个数选取一个或多个面部表情特征作为情绪表情特征,例如选择上述排列靠前的多个面部表情特征作为情绪表情特征。
其中,由于每个人对于情绪的表现方式不同,导致不同的表情情绪可能具有相同的面部表情特征,从而导致不同的表情情绪选取的情绪表情特征相同。特别是类别比较相近表情情绪,例如开心和兴奋两类情绪所表现出来的就比较相近。
S240根据所述情绪表情特征和对应的表情情绪建立所述面部表情库。
具体的,根据分析得到的情绪表情特征和对应的表情情绪建立面部表情库,在面部表情库中建立情绪表情特征和对应的表情情绪之间的映射关系,便于后续识别用户的情绪。
S300在所述面部表情库中对所述预设目标情绪进行标记。
S400获取用户面部表情。
S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
S600当所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,通过面部表情得到对应的面部表情特征,选取属于同一表情情绪的面部表情的中的个数较多的面部表情特征作为情绪表情特征,更加准确表现该表情情绪的特点。
本发明的另一个实施例,是上述的实施例的优化实施例,如图4所示,包括:
S100获取面部表情以及所述面部表情对应的表情情绪。
S200根据所述面部表情和所述表情情绪建立面部表情库。
S300在所述面部表情库中对所述预设目标情绪进行标记。
S400获取用户面部表情。
S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
所述的S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪具体包括:
S510分析所述用户面部表情对应的用户表情特征。
具体的,分析用户面部表情对应的用户表情特征,该用户表情特征包括眼睛、瞳孔、嘴角、额头等部位的表现,例如难过时嘴角下垂,疑惑时眉头皱起等特征。上述的说明举例仅仅只是为了帮助理解,实际情况并不仅限于上述举例。
S520将所述用户表情特征和所述面部表情库进行匹配。
具体的,将分析得到的用户表情特征和面部表情库中的情绪表情特征逐一地进行匹配,得到匹配相符的情绪表情特征,根据面部表情库中情绪表情特征和对应的表情情绪之间的映射关系,确定匹配相符的情绪表情特征对应的表情情绪。
S530若所述用户表情特征和一个表情情绪的情绪表情特征匹配相符,则匹配相符的所述表情情绪为对应的用户情绪。
具体的,如果和用户表情特征匹配相符情绪表情特征仅仅属于同一个表情情绪,也就是说匹配相符的情绪表情特征为某一个表情情绪所特有的,那么将该表情情绪作为对应的用户情绪。
S540若所述用户表情特征和多个表情情绪的情绪表情特征匹配相符,则根据情绪表情特征匹配度选取表情情绪为对应的用户情绪,所述情绪表情特征匹配度为所述用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数。
具体的,如果和用户表情特征匹配相符情绪表情特征不仅仅属于同一个表情情绪,也就是说匹配相符的情绪表情特征属于多个表情情绪,例如眉头皱起既属于疑惑,又属于厌恶。那么根据情绪表情特征匹配度选取表情情绪为对应的用户情绪。
情绪表情特征匹配度为用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数,例如,分析获取到的用户面部表情得到的用户表情特征有5个,其中4个与“疑惑”情绪的情绪表情特征匹配相符,3个与“难过”情绪的情绪表情特征匹配相符,那么疑惑”情绪的情绪表情特征匹配度为4,“难过”情绪的情绪表情特征匹配度为3,选择匹配度较高的“难过”情绪为对应的用户情绪。
S600当所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,分析用户面部表情得到用户表情特征,然后通过将用户表情特征和面部表情库中的情绪表情特征进行匹配,不同情形分类处理,选择对应的用户情绪,从而提高判断用户当前的情绪的准确度。
本发明的另一个实施例,是上述的实施例的优化实施例,如图5所示,包括:
S100获取面部表情以及所述面部表情对应的表情情绪。
S200根据所述面部表情和所述表情情绪建立面部表情库。
S300在所述面部表情库中对所述预设目标情绪进行标记。
S400获取用户面部表情。
S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
所述的S500将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪还包括:
S580间隔预设时长将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;和/或,
具体的,实时监测获取用户面部表情,但是考虑到处理速度以及成本,系统不可能实时对获取的用户面部表情进行匹配识别,因此,用户设定预设时长,每间隔预设时长将用户面部表情和面部表情库进行匹配,得到对应的用户情绪。
S590当所述用户面部表情变化时,将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
具体的,实时监测获取用户面部表情,但是考虑到处理速度以及成本,系统不可能实时对获取的用户面部表情进行匹配识别,因此,可以选择当用户面部表情变化时,将用户面部表情和面部表情库进行匹配,得到对应的用户情绪。当用户保持某种面部表情一段时间不改变时,则没有必要在这一段时间内对同一种用户面部表情重复分析识别。
S600当所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,间隔预设时长或者当用户面部表情变化时,才将用户面部表情和面部表情库进行匹配,从而得到用户面部表情对应的用户情绪。一方面及时检测用户面部表情,另一方面避免进行重复的面部表情识别工作,减少系统不必要的工作量。
本发明的一个实施例,如图6所示,一种程序唤醒系统1000,包括:
获取模块1100,获取面部表情以及所述面部表情对应的表情情绪。
具体的,获取模块1100获取大量的不同的用户的面部表情以及面部表情对应的表情情绪,其中,由于每一个人的表现方式不同,同一种情绪可能包含多种面部表情,而且收集不同用户的面部表情才具有普遍性。
表情库建立模块1200,根据所述获取模块1100获取的所述面部表情和所述表情情绪建立面部表情库。
具体的,表情库建立模块1200根据获取到的面部表情和对应的表情情绪建立面部表情库,在面部表情库中建立面部表情和对应的表情情绪之间的映射关系,便于后续识别用户的情绪。
表情获取模块1400,获取用户面部表情。
具体的,表情获取模块1400获取用户面部表情,通过摄像头或传感器实时监测获取用户面部表情,以保证及时发现用户需要帮助,从而主动唤醒程序为用户解决问题提供帮助。
匹配模块1500,将所述表情获取模块1400获取的所述用户面部表情和所述表情库建立模块1200建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
具体的,匹配模块1500将用户面部表情和面部表情库中的面部表情逐一进行匹配,得到匹配相符的面部表情,根据面部表情库中面部表情和对应的表情情绪之间的映射关系,确定匹配相符的面部表情对应的表情情绪,从而确定用户面部表情对应的用户情绪。
处理模块1600,当所述匹配模块1500得到的所述用户情绪为预设目标情绪时,唤醒程序。
具体的,处理模块1600分析识别上述确定的用户情绪,如果处理模块1600识别出确定的用户情绪为预设目标情绪,说明用户当前需要帮助,因此立即唤醒程序为用户解决问题提供帮助。
本实施例中,通过实时监测用户面部表情,根据用户面部表情变化判断用户是否需要帮助,从而在用户需要帮助的时候自动唤醒程序为用户提供帮助,更加贴心以及人性化。
本发明的另一个实施例,是上述的实施例的优化实施例,如图7所示,包括:
获取模块1100,获取面部表情以及所述面部表情对应的表情情绪。
表情库建立模块1200,根据所述获取模块1100获取的所述面部表情和所述表情情绪建立面部表情库。
标记模块1300,在所述表情库建立模块1200建立的所述面部表情库中对所述预设目标情绪进行标记。
具体的,标记模块1300在面部表情库中对预设目标情绪进行标记,预设目标情绪是当用户表现出该情绪时说明用户需要帮助,例如疑惑、困扰、不开心、难受等,标记预设目标情绪便于后续对用户情绪进行识别判定,从而决定是否主动唤醒程序。
表情获取模块1400,获取用户面部表情。
匹配模块1500,将所述表情获取模块1400获取的所述用户面部表情和所述表情库建立模块1200建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
处理模块1600,当所述匹配模块1500得到的所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,在面部表情库中对预设目标情绪进行标记,实时监测用户的表情,发现用户表现出负向情绪如疑惑、困扰、不开心、难受时,主动唤醒,询问用户需要哪种帮助,就可以十分人性化,在用户需要帮助的时候,立即唤醒启动。
本发明的另一个实施例,是上述的实施例的优化实施例,如图8所示,包括:
获取模块1100,获取面部表情以及所述面部表情对应的表情情绪。
表情库建立模块1200,根据所述获取模块1100获取的所述面部表情和所述表情情绪建立面部表情库。
所述表情库建立模块1200具体包括:
分析单元1210,分析所述获取模块1100获取的所述面部表情得到对应的面部表情特征。
具体的,分析单元1210分析面部表情得到对应的面部表情特征,该面部表情特征包括眼睛、瞳孔、嘴角、额头等部位的表现,例如难过时嘴角下垂,疑惑时眉头皱起等特征。上述的说明举例仅仅只是为了帮助理解,实际情况并不仅限于上述举例。
统计单元1220,统计所述分析单元1210得到的属于同一表情情绪的面部表情的每一种面部表情特征的个数。
具体的,每一种表情情绪包含多个面部表情,每一个面部表情又能够接续出多个面部表情特征,统计单元1220统计属于同一表情情绪的面部表情的每一种面部表情特征的个数,根据数量的多少将属于同一表情情绪的面部表情特征按照个数由多到少进行排列。
特征选取单元1230,根据所述统计单元1220统计的所述个数选取一个或多个所述面部表情特征作为情绪表情特征。
具体的,特征选取单元1230根据属于同一表情情绪的每一种面部表情特征的个数选取一个或多个面部表情特征作为情绪表情特征,例如选择上述排列靠前的多个面部表情特征作为情绪表情特征。
其中,由于每个人对于情绪的表现方式不同,导致不同的表情情绪可能具有相同的面部表情特征,从而导致不同的表情情绪选取的情绪表情特征相同。特别是类别比较相近表情情绪,例如开心和兴奋两类情绪所表现出来的就比较相近。
表情库建立单元1240,根据所述特征选取单元1230选取的所述情绪表情特征和所述获取模块1100获取的对应的表情情绪建立所述面部表情库。
具体的,表情库建立单元1240根据分析得到的情绪表情特征和对应的表情情绪建立面部表情库,在面部表情库中建立情绪表情特征和对应的表情情绪之间的映射关系,便于后续识别用户的情绪。
表情获取模块1400,获取用户面部表情。
匹配模块1500,将所述表情获取模块1400获取的所述用户面部表情和所述表情库建立模块1200建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
处理模块1600,当所述匹配模块1500得到的所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,通过面部表情得到对应的面部表情特征,选取属于同一表情情绪的面部表情的中的个数较多的面部表情特征作为情绪表情特征,更加准确表现该表情情绪的特点。
本发明的另一个实施例,是上述的实施例的优化实施例,如图9所示,包括:
获取模块1100,获取面部表情以及所述面部表情对应的表情情绪。
表情库建立模块1200,根据所述获取模块1100获取的所述面部表情和所述表情情绪建立面部表情库。
表情获取模块1400,获取用户面部表情。
匹配模块1500,将所述表情获取模块1400获取的所述用户面部表情和所述表情库建立模块1200建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
所述匹配模块1500具体包括:
用户表情分析单元1510,分析所述用户面部表情对应的用户表情特征。
具体的,用户表情分析单元1510分析用户面部表情对应的用户表情特征,该用户表情特征包括眼睛、瞳孔、嘴角、额头等部位的表现,例如难过时嘴角下垂,疑惑时眉头皱起等特征。上述的说明举例仅仅只是为了帮助理解,实际情况并不仅限于上述举例。
匹配单元1520,将所述用户表情分析单元1510得到的所述用户表情特征和所述表情库建立模块1200建立的所述面部表情库进行匹配。
具体的,匹配单元1520将分析得到的用户表情特征和面部表情库中的情绪表情特征逐一地进行匹配,得到匹配相符的情绪表情特征,根据面部表情库中情绪表情特征和对应的表情情绪之间的映射关系,确定匹配相符的情绪表情特征对应的表情情绪。
情绪选取单元1530,若所述匹配单元1520得出所述用户表情特征和一个表情情绪的情绪表情特征匹配相符,则选取匹配相符的所述表情情绪为对应的用户情绪。
具体的,如果和用户表情特征匹配相符情绪表情特征仅仅属于同一个表情情绪,也就是说匹配相符的情绪表情特征为某一个表情情绪所特有的,那么情绪选取单元1530将该表情情绪作为对应的用户情绪。
所述情绪选取单元1530,若所述匹配单元1520得出所述用户表情特征和多个表情情绪的情绪表情特征匹配相符,则根据情绪表情特征匹配度选取匹配相符的其中一个表情情绪为对应的用户情绪,所述情绪表情特征匹配度为所述用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数。
具体的,如果和用户表情特征匹配相符情绪表情特征不仅仅属于同一个表情情绪,也就是说匹配相符的情绪表情特征属于多个表情情绪,例如眉头皱起既属于疑惑,又属于厌恶。那么情绪选取单元1530根据情绪表情特征匹配度选取表情情绪为对应的用户情绪。
情绪表情特征匹配度为用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数,例如,分析获取到的用户面部表情得到的用户表情特征有5个,其中4个与“疑惑”情绪的情绪表情特征匹配相符,3个与“难过”情绪的情绪表情特征匹配相符,那么疑惑”情绪的情绪表情特征匹配度为4,“难过”情绪的情绪表情特征匹配度为3,选择匹配度较高的“难过”情绪为对应的用户情绪。
处理模块1600,当所述匹配模块1500得到的所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,分析用户面部表情得到用户表情特征,然后通过将用户表情特征和面部表情库中的情绪表情特征进行匹配,不同情形分类处理,选择对应的用户情绪,从而提高判断用户当前的情绪的准确度。
本发明的另一个实施例,是上述的实施例的优化实施例,如图10所示,包括:
获取模块1100,获取面部表情以及所述面部表情对应的表情情绪。
表情库建立模块1200,根据所述获取模块1100获取的所述面部表情和所述表情情绪建立面部表情库。
表情获取模块1400,获取用户面部表情。
匹配模块1500,将所述表情获取模块1400获取的所述用户面部表情和所述表情库建立模块1200建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
所述匹配模块1500还包括:
处理单元1580,间隔预设时长将所述表情获取模块1400获取的所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;和/或,
具体的,实时监测获取用户面部表情,但是考虑到处理速度以及成本,系统不可能实时对获取的用户面部表情进行匹配识别,因此,用户设定预设时长,处理单元1580每间隔预设时长将用户面部表情和面部表情库进行匹配,得到对应的用户情绪。
所述处理单元1580,当所述表情获取模块1400获取的所述用户面部表情变化时,将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
具体的,实时监测获取用户面部表情,但是考虑到处理速度以及成本,系统不可能实时对获取的用户面部表情进行匹配识别,因此,可以选择当用户面部表情变化时,处理单元1580将用户面部表情和面部表情库进行匹配,得到对应的用户情绪。当用户保持某种面部表情一段时间不改变时,则没有必要在这一段时间内对同一种用户面部表情重复分析识别。
处理模块1600,当所述匹配模块1500得到的所述用户情绪为预设目标情绪时,唤醒程序。
本实施例中,间隔预设时长或者当用户面部表情变化时,才将用户面部表情和面部表情库进行匹配,从而得到用户面部表情对应的用户情绪。一方面及时检测用户面部表情,另一方面避免进行重复的面部表情识别工作,减少系统不必要的工作量。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种程序唤醒方法,其特征在于,包括:
获取面部表情以及所述面部表情对应的表情情绪;
根据所述面部表情和所述表情情绪建立面部表情库;
获取用户面部表情;
将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;
当所述用户情绪为预设目标情绪时,唤醒程序;
所述的根据所述面部表情和所述表情情绪建立面部表情库具体包括:
分析所述面部表情得到对应的面部表情特征;
统计属于同一表情情绪的面部表情的每一种面部表情特征的个数;
根据所述个数选取一个或多个所述面部表情特征作为情绪表情特征;
根据所述情绪表情特征和对应的表情情绪建立所述面部表情库,在所述面部表情库中建立情绪表情特征和对应的表情情绪之间的映射关系;
所述的将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪包括:
分析所述用户面部表情对应的用户表情特征;
将分析得到的用户表情特征和所述面部表情库中的情绪表情特征逐一地进行匹配,得到匹配相符的情绪表情特征,根据所述面部表情库中情绪表情特征和对应的表情情绪之间的映射关系,确定匹配相符的情绪表情特征对应的表情情绪。
2.根据权利要求1所述的程序唤醒方法,其特征在于,所述的确定匹配相符的情绪表情特征对应的表情情绪包括:
若所述用户表情特征和一个表情情绪的情绪表情特征匹配相符,则匹配相符的所述表情情绪为对应的用户情绪;
若所述用户表情特征和多个表情情绪的情绪表情特征匹配相符,则根据情绪表情特征匹配度选取表情情绪为对应的用户情绪,所述情绪表情特征匹配度为所述用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数。
3.根据权利要求1所述的程序唤醒方法,其特征在于,所述的将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪还包括:
间隔预设时长将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;和/或,
当所述用户面部表情变化时,将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
4.根据权利要求1-3任一项所述的程序唤醒方法,其特征在于,所述的根据所述面部表情和所述表情情绪建立面部表情库之后,所述的获取用户面部表情之前包括:
在所述面部表情库中对所述预设目标情绪进行标记。
5.一种程序唤醒系统,其特征在于,包括:
获取模块,获取面部表情以及所述面部表情对应的表情情绪;
表情库建立模块,根据所述获取模块获取的所述面部表情和所述表情情绪建立面部表情库;
表情获取模块,获取用户面部表情;
匹配模块,将所述表情获取模块获取的所述用户面部表情和所述表情库建立模块建立的所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;
处理模块,当所述匹配模块得到的所述用户情绪为预设目标情绪时,唤醒程序;
所述表情库建立模块具体包括:
分析单元,分析所述获取模块获取的所述面部表情得到对应的面部表情特征;
统计单元,统计所述分析单元得到的属于同一表情情绪的面部表情的每一种面部表情特征的个数;
特征选取单元,根据所述统计单元统计的所述个数选取一个或多个所述面部表情特征作为情绪表情特征;
表情库建立单元,根据所述特征选取单元选取的所述情绪表情特征和所述获取模块获取的对应的表情情绪建立所述面部表情库,在所述面部表情库中建立情绪表情特征和对应的表情情绪之间的映射关系;
所述匹配模块包括:
用户表情分析单元,分析所述用户面部表情对应的用户表情特征;
匹配单元,将分析得到的用户表情特征和所述面部表情库中的情绪表情特征逐一地进行匹配,得到匹配相符的情绪表情特征;
情绪选取单元,根据所述面部表情库中情绪表情特征和对应的表情情绪之间的映射关系,确定匹配相符的情绪表情特征对应的表情情绪。
6.根据权利要求5所述的程序唤醒系统,其特征在于,
所述情绪选取单元,若所述匹配单元得出所述用户表情特征和一个表情情绪的情绪表情特征匹配相符,则选取匹配相符的所述表情情绪为对应的用户情绪;
所述情绪选取单元,若所述匹配单元得出所述用户表情特征和多个表情情绪的情绪表情特征匹配相符,则根据情绪表情特征匹配度选取匹配相符的其中一个表情情绪为对应的用户情绪,所述情绪表情特征匹配度为所述用户表情特征和同一个表情情绪的情绪表情特征匹配相符的个数。
7.根据权利要求5所述的程序唤醒系统,其特征在于,所述匹配模块还包括:
处理单元,间隔预设时长将所述表情获取模块获取的所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪;和/或,
所述处理单元,当所述表情获取模块获取的所述用户面部表情变化时,将所述用户面部表情和所述面部表情库进行匹配,得到所述用户面部表情对应的用户情绪。
8.根据权利要求5-7任一项所述的程序唤醒系统,其特征在于,还包括:
标记模块,在所述表情库建立模块建立的所述面部表情库中对所述预设目标情绪进行标记。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811430277.2A CN109522059B (zh) | 2018-11-28 | 2018-11-28 | 一种程序唤醒方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811430277.2A CN109522059B (zh) | 2018-11-28 | 2018-11-28 | 一种程序唤醒方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109522059A CN109522059A (zh) | 2019-03-26 |
CN109522059B true CN109522059B (zh) | 2023-01-06 |
Family
ID=65794636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811430277.2A Active CN109522059B (zh) | 2018-11-28 | 2018-11-28 | 一种程序唤醒方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109522059B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110379234A (zh) * | 2019-07-23 | 2019-10-25 | 广东小天才科技有限公司 | 一种学习辅导方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103617A (zh) * | 2009-12-22 | 2011-06-22 | 华为终端有限公司 | 获取表情含义的方法和装置 |
CN105574478A (zh) * | 2015-05-28 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种信息处理的方法和装置 |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
CN106648386A (zh) * | 2016-10-09 | 2017-05-10 | 广东小天才科技有限公司 | 一种智能终端的操作方法和装置 |
CN106775360A (zh) * | 2017-01-20 | 2017-05-31 | 珠海格力电器股份有限公司 | 一种电子设备的控制方法、系统及电子设备 |
CN107219917A (zh) * | 2017-04-28 | 2017-09-29 | 北京百度网讯科技有限公司 | 表情符号生成方法及装置、计算机设备与可读介质 |
CN108200282A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 应用启动方法、装置、存储介质及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102645968B (zh) * | 2011-02-17 | 2016-01-13 | 中兴通讯股份有限公司 | 一种通讯终端及人机交互的方法 |
CN103425239B (zh) * | 2012-05-21 | 2016-08-17 | 昆山超绿光电有限公司 | 以脸部表情为输入的控制系统 |
US9111215B2 (en) * | 2012-07-03 | 2015-08-18 | Brain Corporation | Conditional plasticity spiking neuron network apparatus and methods |
US10042548B2 (en) * | 2015-06-02 | 2018-08-07 | Facebook, Inc. | Methods and systems for providing user feedback using an emotion scale |
CN106357927A (zh) * | 2016-10-31 | 2017-01-25 | 维沃移动通信有限公司 | 一种播放控制方法及移动终端 |
CN107179831B (zh) * | 2017-06-30 | 2019-05-03 | Oppo广东移动通信有限公司 | 启动应用的方法、装置、存储介质及终端 |
CN107784114A (zh) * | 2017-11-09 | 2018-03-09 | 广东欧珀移动通信有限公司 | 表情图像的推荐方法、装置、终端及存储介质 |
CN108416256A (zh) * | 2018-01-17 | 2018-08-17 | 南京邮电大学 | 基于特征识别的家庭云智能监控系统和监控方法 |
-
2018
- 2018-11-28 CN CN201811430277.2A patent/CN109522059B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103617A (zh) * | 2009-12-22 | 2011-06-22 | 华为终端有限公司 | 获取表情含义的方法和装置 |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
CN105574478A (zh) * | 2015-05-28 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种信息处理的方法和装置 |
CN106648386A (zh) * | 2016-10-09 | 2017-05-10 | 广东小天才科技有限公司 | 一种智能终端的操作方法和装置 |
CN106775360A (zh) * | 2017-01-20 | 2017-05-31 | 珠海格力电器股份有限公司 | 一种电子设备的控制方法、系统及电子设备 |
CN107219917A (zh) * | 2017-04-28 | 2017-09-29 | 北京百度网讯科技有限公司 | 表情符号生成方法及装置、计算机设备与可读介质 |
CN108200282A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 应用启动方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
中国面部表情视频系统的初步建立;杜经纶等;《中国心理卫生杂志》;20070510;第21卷(第5期);第49-53页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109522059A (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
EP3618063B1 (en) | Voice interaction system, voice interaction method and corresponding program | |
CN106782615B (zh) | 语音数据情感检测方法和装置及系统 | |
TWI621999B (zh) | 一種人臉檢測方法 | |
JP2005531080A5 (zh) | ||
WO2016173132A1 (zh) | 语音识别方法、装置及用户设备 | |
CN109373518B (zh) | 空调器及其语音控制装置和语音控制方法 | |
CN106775665B (zh) | 基于情绪指标的情绪状态变化信息的获取方法及装置 | |
CN111901627B (zh) | 视频处理方法、装置、存储介质及电子设备 | |
CN109522059B (zh) | 一种程序唤醒方法及系统 | |
CN110992989A (zh) | 语音采集方法、装置及计算机可读存储介质 | |
CN112185385A (zh) | 一种用于供电领域的智能客户处理方法及系统 | |
CN108875617A (zh) | 辅助驾驶方法和装置、车辆 | |
WO2019072917A1 (en) | METHODS AND SYSTEMS FOR CHARACTERIZING THE USER OF A PERSONAL CARE DEVICE | |
US10983808B2 (en) | Method and apparatus for providing emotion-adaptive user interface | |
CN111161745A (zh) | 一种智能设备的唤醒方法、装置、设备及介质 | |
CN108877773B (zh) | 一种语音识别方法及电子设备 | |
CN108088032B (zh) | 空调的控制方法和装置 | |
CN113566395B (zh) | 空调器及其控制方法及装置、计算机可读存储介质 | |
CN110853642B (zh) | 语音控制方法、装置、家电设备以及存储介质 | |
CN112515675B (zh) | 一种基于智能可穿戴设备的情绪分析方法 | |
CN113129902A (zh) | 一种语音处理方法、装置、电子设备及存储介质 | |
CN110797050B (zh) | 评估试驾体验的数据处理方法、装置、设备与存储介质 | |
US20240194200A1 (en) | System and method for change point detection in multi-media multi-person interactions | |
US20200406467A1 (en) | Method for adaptively adjusting a user experience interacting with an electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |