CN103186326A - 一种应用对象操作方法及电子设备 - Google Patents

一种应用对象操作方法及电子设备 Download PDF

Info

Publication number
CN103186326A
CN103186326A CN2011104450988A CN201110445098A CN103186326A CN 103186326 A CN103186326 A CN 103186326A CN 2011104450988 A CN2011104450988 A CN 2011104450988A CN 201110445098 A CN201110445098 A CN 201110445098A CN 103186326 A CN103186326 A CN 103186326A
Authority
CN
China
Prior art keywords
user
smile
gathering
angle
facial information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104450988A
Other languages
English (en)
Other versions
CN103186326B (zh
Inventor
李琦
阳光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201110445098.8A priority Critical patent/CN103186326B/zh
Publication of CN103186326A publication Critical patent/CN103186326A/zh
Application granted granted Critical
Publication of CN103186326B publication Critical patent/CN103186326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种应用对象操作方法及电子设备。所述方法包括:在用户操作一电子设备的过程中,采集所述用户的面部信息和/或语音信息;确定所采集的面部信息和/或语音信息对应的参数值;判断预定时间段内所述参数值是否满足预设条件,当满足所述预设条件时,在所述用户操作当前应用对象的过程中,开启所述预设条件对应的第一模式。本发明所提供的方案,可以根据用户的面部信息和/或语音信息触发相应模式,进而指示用户进行相应动作的目的。

Description

一种应用对象操作方法及电子设备
技术领域
本发明涉及应用对象处理技术领域,特别是涉及一种应用对象操作方法及电子设备。
背景技术
近年来,心理问题越来越成为社会关注的热点,尤其是现在生活的节奏快,人们面临的各种压力越来越多,着实给人们的心理增加了一层层的负担。如何缓解压力,成为心里健康的人群一个需要解决的问题。而心理学家认为,微笑是缓解压力的一种非常有效的办法。微笑不仅是脸部肌肉动作,更是内在情绪的表露和两个心灵亲密融合的最直观表现。研究证明,当人们微笑时,内脑接收的讯息通常是积极的,并且能使身体处于放松和满足状态。
在每天忙碌的生活中,如果不刻意的心理暗示要微笑,可能一整天的工作下来,好多人都是眉头紧锁,神情紧张。
而面部信息和/或语音信息可以表征人们的情绪,因此,如何利用人们的面部信息和/或语音信息触发特定的模式,以提示用户进行相应的动作,例如:触发用于提示用户进行微笑动作的微笑触发模式,是一个值得关注的问题。
发明内容
为解决上述技术问题,本发明实施例提供了一种应用对象操作方法及电子设备,以根据用户的面部信息和/或语音信息触发相应模式,进而提示用户进行相应动作,技术方案如下:
一种应用对象操作方法,包括:
在用户操作一电子设备的过程中,采集所述用户的面部信息和/或语音信息;
确定所采集的面部信息和/或语音信息对应的参数值;
判断预定时间段内所述参数值是否满足预设条件,当满足所述预设条件时,在所述用户操作当前应用对象的过程中,开启所述预设条件对应的第一模式。
其中,所述第一模式为:
用于提示用户进行微笑动作的微笑触发模式。
其中,所述方法还包括:在开启所述微笑触发模式后,限定所述用户操作所述当前应用对象并提示所述用户进行符合所示微笑要求的微笑动作;
当所述用户的微笑动作满足所述微笑要求时,允许所述用户继续操作所述当前应用对象。
其中,所述用户的微笑动作满足所述微笑要求,具体为:
所述用户的面部信息中嘴角上扬角度达到所示微笑要求中嘴角上扬角度。
其中,当采集用户的面部信息时,确定所采集的面部信息对应的参数值,具体为:
根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
相应的,所述预设条件为:
预定时间段内用户面部信息对应的嘴角上扬角度均小于预设的角度阈值。
其中,当采集用户的语音信息时,确定所采集的语音信息对应的参数值,具体为:
根据语音识别算法,获取所采集的用户语音信息对应的频率;
相应的,所述预设条件为:
预定时间段内用户语音信息对应频率均小于预设的频率阈值。
其中,当采集用户的面部信息和语音信息时,确定所采集的面部信息和语音信息对应的参数值,具体为:
根据人员脸部分析算法,获取所采集的面部信息对应的嘴角上扬角度;
根据语音识别算法,获取所采集的用户语音信息对应的频率;
分别为所获取的嘴角上扬角度和频率设置相应的权值;
利用嘴角上扬角度权值和频率权值,确定用户的微笑权值;
相应的,所述预设条件为:
预定时间段内用户的微笑权值均小于预设的微笑阈值。
相应的,本发明实施例还提供一种电子设备,包括:
信息获取模块,用于在用户操作一电子设备的过程中,采集所述用户的面部信息和/或语音信息;
参数值确定模块,用于确定所采集的面部信息和/或语音信息对应的参数值;
判断模块,用于判断预定时间段内所述参数值是否满足预设条件,并当满足所述预设条件时,触发模式开启模块;
模式开启模块,用于在用户操作当前应用对象的过程中,开启所述预设条件对应的第一模式。
其中,所述模式开启模块,具体用于:
开启用于提示用户进行微笑动作的微笑触发模式。
其中,所述电子设备还包括:
微笑处理模块,用于在开启所述微笑触发模式后,限定所述用户操作所述当前应用对象并提示所述用户进行符合所示微笑要求的微笑动作;
当所述用户的微笑动作满足所述微笑要求时,允许所述用户继续操作所述当前应用对象。
其中,所述微笑处理模块中微笑动作满足所述微笑要求的标准为:
所述用户的面部信息中嘴角上扬角度达到所示微笑要求中嘴角上扬角度。
其中,所述信息获取模块,包括:
面部信息采集单元,用于采集所述用户的面部信息;
所述参数值确定模块,包括:
上扬角度确定单元,用于根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
所述判断模块,包括:
角度判断单元,用于判断预定时间段内用户面部信息对应的嘴角上扬角度是否均小于预设的角度阈值,并在是的情况下,触发模式开启模块。
其中,所述信息获取模块,包括:
语音采集单元,用于采集所述用户的语音信息;
所述参数值确定模块,包括:
频率信息确定单元,用于根据语音识别算法,获取所采集的用户语音信息对应的频率;
所述判断模块,包括:
频率判断单元,用于判断预定时间段内用户语音信息对应频率是否均小于预设的频率阈值,并在是的情况下,触发模式开启模块。
其中,信息获取模块,包括:
面部和语音信息采集单元,用于采集所述用户的面部信息和语音信息;
参数值确定模块,包括:
微笑权值确定单元,用于根据人员脸部分析算法,获取所采集的面部信息对应的嘴角上扬角度;
根据语音识别算法,获取所采集的用户语音信息对应的频率;
分别为所获取的嘴角上扬角度和频率设置相应的权值;
利用嘴角上扬角度权值和频率权值,确定用户的微笑权值;
判断模块,包括:
微笑权值判断单元,用于判断预定时间段内用户的微笑权值是否均小于预设的微笑阈值,并在是的情况下,触发模式开启模块。
本发明实施例所提供的技术方案,在用户操作电子设备过程中,采集用户的面部信息和/或语音信息,并根据所采集的信息确定相应的参数值,并在预定时间段内所采集的参数值满足预设条件时,开启该预设条件对应的第一模式,以此实现了根据用户的面部信息和/或语音信息触发相应模式,进而指示用户进行相应动作的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种应用对象操作方法的第一种流程图;
图2为本发明实施例所提供的一种应用对象操作方法的第二种流程图;
图3为本发明实施例所提供的一种应用对象操作方法的第三种流程图;
图4为本发明实施例所提供的一种应用对象操作方法的第四种流程图;
图5为本发明实施例所提供的一种应用对象操作方法的第五种流程图;
图6为本发明实施例所提供的一种电子设备的第一种结构图;
图7为本发明实施例所提供的一种电子设备的第二种结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了根据用户的面部信息和/或语音信息触发相应的模式,进而提示用户进行相应动作,本发明实施例提供一种应用对象操作方法及电子设备。
下面首先对本发明实施例所提供的一种应用对象操作方法进行介绍。
需要说明的是,本发明方案所适用的电子设备为具有面部信息和/或语音信息采集功能的设备,例如:该电子设备可以为具有面部信息和/或语音信息采集功能的笔记本、手机、IPAD等。可以理解的是,面部信息采集可以通过位于电子设备内部或与电子设备相连的摄像装置实现,而语音信息的采集可以通过位于电子设备内部或与电子设备相连的录音装置实现,当然并不局限于此。
一种应用对象操作方法,如图1所示,可以包括:
S101,在用户操作一电子设备的过程中,采集该用户的面部信息和/或语音信息;
当需要根据用户的面部信息和/或语音信息触发相应的模式,进而提示用户进行相应动作时,则需要在用户操作一电子设备时,采集该用户的面部信息和/或语音信息,以根据所采集的用户信息进行后续的处理步骤。当然,可以通过实时或定时采集的方式进行用户信息的采集。可以理解的是,在实际应用中,可以根据实际应用场景,仅仅采集该用户的面部信息,或者,仅仅采集该用户的语音信息,或者,同时采集该用户的面部信息和语音信息,这些都是合理的。
S102,确定所采集的面部信息和/或语音信息对应的参数值;
其中,当采集到该用户的面部信息和/或语音信息后,则对所采集的该用户信息进行特定的处理,以获得可以进行比较分析的参数值,以进行后续的处理。例如:对面部信息的特定处理可以为:根据人员脸部分析算法,确定出面部信息对应的嘴角上扬角度;而对语音信息的特定处理可以为:根据语音识别算法,确定出所采集的语音信息对应的声音频率等,这都是合理的。
可以理解的是,确定所采集的面部信息和/或语音信息对应的参数值,可以通过实时分析的方式,也可以对一段时间内所采集的用户信息进行统一分析,以获得用户信息对应的参数值。
S103,判断预定时间段内的参数值是否满足预设条件,如果是,则执行步骤S104,否则,不作处理;
当确定出所采集的面部信息和/或语音信息对应的参数值后,则可以判断预定时间段内的参数值是否满足预设的条件,并在满足预设条件的情况下,执行步骤S104,进行后续的相应预设条件的第一模式的开启。
可以理解的是,该预定时间可以根据实际应用场景进行设定,例如:其可以为60min或90min。同时,预设条件为根据所采集的用户信息进行设定的,也就是,当采集面部信息时,该条件与面部信息对应的参数相关;当采集语音信息时,该条件与语音信息对应的参数相关;而当同时采集面部信息和语音信息时,则该条件与面部信息和语音信息都相关。
S104,在该用户操作当前应用对象的过程中,开启该预设条件对应的第一模式。
当预定时间段内的参数值满足预设的条件时,则需要在用户操作当前应用对象的过程中,开启与该预设条件对应的第一模式,以指示用户进行相应的动作处理。当然,该第一模式可以根据实际应用需求进行设定,例如:当需要提示用户进行微笑动作时,该第一模式则为微笑触发模式,通过开启该微笑触发模式,可以提示用户进行相应的微笑动作,达到有益身心的目的;或者,当需要提示用户进行休息时,该第一模式则为休息提示模式,通过开启该模式,可以提示用户进行休息。
本实施例中,在用户操作一电子设备的过程中,采集用户的面部信息和/或语音信息,并根据所采集的信息确定相应的参数值,并在预定时间段内所采集的参数值满足预设条件时,开启该预设条件对应的第一模式,以此实现了根据用户的面部信息和/或语音信息触发相应模式,进而指示用户进行相应动作的目的。
下面以通过采集用户的面部信息实现对用户的微笑提示为例对本发明所提供的应用对象操作方法进行说明。
需要说明的是,本发明方案所适用的电子设备为具有面部信息采集功能的设备,例如:该电子设备可以为具有面部信息采集功能的笔记本、手机、IPAD等。可以理解的是,面部信息的采集可以通过位于电子设备内部的或与电子设备相连的摄像装置实现,当然并不局限于此。
一种应用对象操作方法,如图2所示,可以包括:
S201,在用户操作一电子设备的过程中,采集该用户的面部信息;
由于用户嘴角上扬角度通常作为是否微笑动作的判断标准,也就是,当用户的嘴角上扬角度达到一定角度值时,则可以认为该用户正在进行微笑动作;而当该用户嘴角上扬角度小于一定角度值时,则可以认为用户未进行微笑动作,此时,需要进行微笑提示。
因此,可以采集该用户的面部信息,以根据所采集的面部信息进行是否进行微笑提示的判断,并根据判断结果进行相应的处理。
S202,根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
当采集到该用户的面部信息后,则利用人员脸部分析算法,确定出所采集的面部信息对应的嘴角上扬角度,以进行后续的微笑判断。
可以理解的是,确定所采集用户面部信息对应嘴角上扬角度,可以通过实时分析方式,也可以对一段时间内采集的面部信息进行统一分析,以确定出面部信息对应的嘴角上扬角度。
S203,判断预定时间段内用户面部信息对应的嘴角上扬角度是否均小于预设的角度阈值,如果是,则执行步骤S204;否则,不作处理;
其中,预先根据当前用户的面部微笑特征确定出一角度阈值。当用户的嘴角上扬角度不小于该角度阈值时,表明该用户正在进行微笑;相反的,当用户的嘴角上扬角度小于该角度阈值时,表明用户并未微笑。
因此,当预定时间段内用户面部信息对应的嘴角上扬角度都小于该角度阈值时,此时,表明用户在该时间段内未进行过微笑动作,此时,需要进行后续的微笑提示。
可以理解的是,预定时间段可以根据实际应用情况进行设定,同样的,角度阈值可以根据用户的面部微笑特征进行设定,这些都是合理的。
S204,在该用户操作当前应用对象的过程中,开启用于提示该用户进行微笑动作的微笑触发模式。
当判断出用户在预定时间段内嘴角上扬角度都小于预设的角度阈值时,则需要在用户操作当前应用对象的过程中,开启一用于提示用户进行微笑动作的微笑触发模式,以提示用户已经长时间未进行微笑动作。
本实施例中,采集该用户的面部信息,并根据面部信息中嘴角上扬角度确定是否需要开启微笑触发模式,当在特定时间段用户的嘴角上扬角度都小于角度阈值时,则开启微笑触发模式,以提示用户进行微笑动作,以此实现了根据用户的面部信息开启微笑触发模式,进而提示用户进行微笑动作的目的。
更进一步的,为了保证用户根据微笑触发模式的指示进行相应的微笑,本发明实施例还提供一种应用对象操作方法。
需要说明的是,本发明方案所适用的电子设备为具有面部信息采集功能的设备,例如:该电子设备可以为具有面部信息采集功能的笔记本、手机、IPAD等。可以理解的是,面部信息的采集可以通过位于电子设备内部或与电子设备相连的摄像装置实现,当然并不局限于此。
一种应用对象操作方法,如图3所示,可以包括:
S301,在用户操作一电子设备的过程中,采集该用户的面部信息;
S302,根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
S303,判断预定时间段内用户面部信息对应的嘴角上扬角度是否均小于预设的角度阈值,如果是,则执行步骤S304;否则,不作处理;
S304,在该用户操作当前应用对象的过程中,开启用于提示该用户进行微笑动作的微笑触发模式;
本实施例中,步骤S301~步骤S304与上述实施例步骤S201~步骤S204相似,在此不再赘述。
S305,在开启该微笑触发模式后,限定该用户操作当前应用对象并提示该用户进行符合所示微笑要求的微笑动作;
本实施例中,在开启该微笑触发模式后,为了保证用户按照微笑触发模式提示进行微笑动作,则可以限定该用户操作当前的应用对象,并向该用户发出特定微笑要求,以指示用户进行相应的微笑动作。
S306,判断该用户的微笑动作是否满足该微笑要求,如果是,执行步骤S307;否则,不作处理;
其中,用户的微笑动作满足该微笑要求,具体可以为:
该用户的面部信息中嘴角上扬角度达到所示微笑要求中嘴角上扬角度。
S307,允许该用户继续操作当前应用对象。
当向该用户进行微笑要求时,可以通过采集用户的面部信息,利用人员脸部分析算法,确定出该用户的嘴角上扬角度,并在所采集的面部信息中嘴角上扬角度达到所示微笑要求中的嘴角上扬角度时,允许该用户继续操作当前应用对象。
本实施例中,采集该用户的面部信息,并根据面部信息中嘴角上扬角度确定是否需要开启微笑触发模式,当在特定时间段用户的嘴角上扬角度都小于角度阈值时,则开启微笑触发模式,并限定用户操作当前应用对象,同时向用户发出特定的微笑要求,并在用户进行相应微笑要求的微笑动作后,允许该用户继续操作当前应用对象,以此实现了根据用户的面部信息开启微笑触发模式,进而提示用户进行微笑动作,并保证了用户进行相应的微笑动作的目的。
下面以通过采集用户的语音信息实现对用户的微笑提示为例对本发明所提供的应用对象操作方法进行说明。
需要说明的是,本发明方案所适用的电子设备为具有语音信息采集功能的设备,例如:该电子设备可以为具有语音信息采集功能的笔记本、手机、IPAD等。可以理解的是,语音信息的采集可以通过位于电子设备内部或与电子设备相连的录音装置实现,当然并不局限于此。
一种应用对象操作方法,如图4所示,可以包括:
S401,在用户操作一电子设备的过程中,采集该用户的语音信息;
由于在用户心情较好时,其说话的语调较为欢快,也就是,其语音频率较高,因此,可以通过用户的语音信息表征用户的心情。而当用户心情较好时,其微笑的频率将会大大提高,此时,则无需进行微笑提示;当用户心情较差时,其微笑频率将会大大降低,此时,则有必要进行微笑提示,以提示用户进行微笑动作。
因此,当需要为用户提供微笑提示的功能时,可以采集该用户的语音信息,以根据用户的语音信息进行是否需要微笑提示的判断,并根据判断结果进行相应的处理。
S402,根据语音识别算法,获取所采集的用户语音信息对应的频率;
当采集到该用户的语音信息后,则利用语音识别算法,确定出所采集的语音信息对应的频率,以进行后续的微笑判断。
可以理解的是,确定所采集用户语音信息对应频率,可以通过实时分析方式,也可以对一段时间内采集的语音信息进行统一分析,以确定出语音信息对应的频率值。
S403,判断预定时间段内该用户语音信息对应频率是否均小于预设的频率阈值,如果是,则执行步骤S404;否则,不作处理;
其中,预先根据当前用户的语音特征确定出一频率阈值。当该用户语音信息对应的频率值不小于该频率阈值时,表明用户语调较为欢快,进一步表示用户心情较好,此时,微笑频率将会较高;相反的,当该用户语音信息对应的频率值小于该频率阈值时,微笑频率将会较低。
因此,当预定时间段内该用户语音信息对应的频率都小于该频率阈值时,此时,表明用户在该时间段内的微笑频率较低,此时,需要进行后续的微笑提示。
可以理解的是,预定时间段可以根据实际应用情况进行设定,同样的,频率阈值可以根据用户的语音特征进行设定,这些都是合理的。
S404,在该用户操作当前应用对象的过程中,开启用于提示该用户进行微笑动作的微笑触发模式。
当判断出该用户在预定时间段内语音频率都小于预设的频率阈值时,则需要在用户操作当前应用对象的过程中,开启一用于提示用户进行微笑动作的微笑触发模式,以提示用户已经长时间未进行微笑动作。
本实施例中,采集用户的语音信息,并根据语音信息中频率信息确定是否需要开启微笑触发模式,当在特定时间段语音信息频率值都小于频率阈值时,则开启微笑触发模式,以提示用户进行微笑动作,以此实现了根据用户的语音信息开启微笑触发模式,进而提示用户进行微笑动作的目的。
更进一步的,在根据用户的语音信息开启微笑触发模式后,为了保证用户根据微笑触发模式的指示进行相应的微笑,则可以限定该用户操作当前应用对象,并向该用户发出特定微笑要求,以指示用户进行相应的微笑动作。当向该用户进行微笑要求时,可以通过采集用户的面部信息,利用人员脸部分析算法,确定出该用户的嘴角上扬角度,并在所采集的面部信息中嘴角上扬角度达到所示微笑要求中的嘴角上扬角度时,允许该用户继续操作当前应用对象,以此实现了根据用户的语音信息开启微笑触发模式,并保证了用户进行相应微笑动作的目的。
下面以通过采集用户的面部信息和语音信息实现对用户的微笑提示为例对本发明所提供的应用对象操作方法进行说明。
需要说明的是,本发明方案所适用的电子设备为具有面部信息和语音信息采集功能的设备,例如:该电子设备可以为具有面部信息和语音信息采集功能的笔记本、手机、IPAD等。可以理解的是,面部信息采集可以通过位于电子设备内部或与电子设备相连的摄像头实现,而语音信息的采集可以通过位于电子设备内部或与电子设备相连的录音装置实现,当然并不局限于此。
一种应用对象操作方法,如图5所示,可以包括:
S501,在用户操作一电子设备的过程中,采集用户的面部信息和语音信息;
由于通过用户的面部信息和语音信息均可以判断出用户是否进行微笑动作,所以,为了提高微笑动作判断的准确性,可以同时采集该用户的面部信息和语音信息,以进行后续的微笑判断。
S502,根据人员脸部分析算法,获取所采集的面部信息对应的嘴角上扬角度;
S503,根据语音识别算法,获取所采集的用户语音信息对应的频率;
可以理解的是,步骤S502和步骤S503并不局限于本实施例所述的顺序,在实际应用中,也可以先执行步骤S503后执行步骤S502,或者同时执行步骤S502和步骤S503,这都是合理的。
S504,分别为所获取的嘴角上扬角度和频率设置相应的权值;
S505,利用嘴角上扬角度权值和频率权值,确定用户的微笑权值;
为了对面部信息对应的嘴角上扬角度和语音信息对应的频率进行运算操作,因此需要为该频率和嘴角上扬角度设置相应的权值,并对频率权值和嘴角上扬角度权值进行特定运算,以确定该用户的微笑权值。
在实际应用中,对于不同的应用场景,可以为频率和嘴角上扬角度设置不同的权值;同样,可以通过不同的运算方式,确定出用户的微笑权值。
S506,判断预定时间段内用户的微笑权值是否均小于预设的微笑阈值,如果是,则执行步骤S507;否则,不作处理;
其中,预先设置了一微笑阈值。当用户的微笑权值不小于该微笑阈值时,则表明该用户正在微笑;相反的,当用户的微笑权值小于该微笑阈值时,表明用户并未微笑。
因此,当预定时间段内用户对应的微笑权值都小于该微笑阈值时,此时,表明用户在该时间段内未进行过微笑动作,此时,需要进行后续的微笑提示。
可以理解的是,预定时间段可以根据实际应用情况进行设定,同样的,微笑阈值可以根据用户的面部和语音特征进行设定,这些都是合理的。
S507,在该用户操作当前应用对象的过程中,开启用于提示用户进行微笑动作的微笑触发模式。
当判断出用户在预定时间段内微笑权值都小于该微笑阈值时,则需要在用户操作当前应用对象的过程中,开启一用于提示用户进行微笑动作的微笑触发模式,以提示用户已经长时间未进行微笑动作。
本实施例中,采集该用户的面部信息和语音信息,并根据面部信息和语音信息对应的微笑权值确定是否需要开启微笑触发模式,当在特定时间段用户的微笑权值都小于微笑阈值时,则开启微笑触发模式,以提示用户进行微笑动作,以此实现了根据用户的面部信息和语音信息开启微笑触发模式,进而提示用户进行微笑动作的目的。
同样的,更进一步的,在根据用户的面部信息和语音信息开启微笑触发模式后,为了保证用户根据微笑触发模式的指示进行相应的微笑,则可以限定该用户操作当前应用对象,并向该用户发出特定微笑要求,以指示该用户进行相应的微笑动作。当向该用户提出微笑要求时,可以通过采集用户的面部信息,利用人员脸部分析算法,确定出该用户的嘴角上扬角度,并在所采集的面部信息中嘴角上扬角度达到所示微笑要求中的嘴角上扬角度时,允许该用户继续操作当前应用对象,以此实现了根据用户的面部信息和语音信息开启微笑触发模式,并保证了用户进行相应的微笑动作的目的。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
相应于上面的方法实施例,本发明实施例还提供一种电子设备,如图6所示,可以包括:
信息获取模块110,用于在用户操作一电子设备的过程中,采集所述用户的面部信息和/或语音信息;
参数值确定模块120,用于确定所采集的面部信息和/或语音信息对应的参数值;
判断模块130,用于判断预定时间段内所述参数值是否满足预设条件,并当满足所述预设条件时,触发模式开启模块;
模式开启模块140,用于在所述用户操作当前应用对象的过程中,开启所述预设条件对应的第一模式。
本发明实施例所提供的电子设备,采集用户的面部信息和/或语音信息,并根据所采集的信息确定相应的参数值,并在预定时间段内所采集的参数值满足预设条件时,开启该预设条件对应的第一模式,以此实现了根据用户的面部信息和/或语音信息触发相应模式,进而指示用户进行相应动作的目的。
其中,模式开启模块140,具体用于:
开启用于提示用户进行微笑动作的微笑触发模式。
更进一步的,如图7所示,所述电子设备还可以包括:
微笑处理模块150,用于在开启所述微笑触发模式后,限定所述用户操作所述当前应用对象并提示所述用户进行符合所示微笑要求的微笑动作;
当所述用户的微笑动作满足所述微笑要求时,允许所述用户继续操作所述当前应用对象。
其中,所述微笑处理模块中微笑动作满足所述微笑要求的标准为:
所述用户的面部信息中嘴角上扬角度达到所示微笑要求中嘴角上扬角度。
其中,信息获取模块110,可以包括:
面部信息采集单元,用于采集所述用户的面部信息;
参数值确定模块120,可以包括:
上扬角度确定单元,用于根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
判断模块130,可以包括:
角度判断单元,用于判断预定时间段内用户面部信息对应的嘴角上扬角度是否均小于预设的角度阈值,并在是的情况下,触发模式开启模块。
其中,信息获取模块110,可以包括:
语音采集单元,用于采集所述用户的语音信息;
参数值确定模块120,可以包括:
频率信息确定单元,用于根据语音识别算法,获取所采集的用户语音信息对应的频率;
判断模块130,可以包括:
频率判断单元,用于判断预定时间段内用户语音信息对应频率是否均小于预设的频率阈值,并在是的情况下,触发模式开启模块。
其中,信息获取模块110,可以包括:
面部和语音信息采集单元,用于采集所述用户的面部信息和语音信息;
参数值确定模块120,可以包括:
微笑权值确定单元,用于根据人员脸部分析算法,获取所采集的面部信息对应的嘴角上扬角度;
根据语音识别算法,获取所采集的用户语音信息对应的频率;
分别为所获取的嘴角上扬角度和频率设置相应的权值;
利用嘴角上扬角度权值和频率权值,确定用户的微笑权值;
判断模块130,可以包括:
微笑权值判断单元,用于判断预定时间段内用户的微笑权值是否均小于预设的微笑阈值,并在是的情况下,触发模式开启模块。
对于装置或系统实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置或系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,在没有超过本申请的精神和范围内,可以通过其他的方式实现。当前的实施例只是一种示范性的例子,不应该作为限制,所给出的具体内容不应该限制本申请的目的。例如,所述单元或子单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或多个子单元结合一起。另外,多个单元可以或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
另外,所描述系统,装置和方法以及不同实施例的示意图,在不超出本申请的范围内,可以与其它系统,模块,技术或方法结合或集成。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种应用对象操作方法,其特征在于,所述方法包括:
在用户操作一电子设备的过程中,采集所述用户的面部信息和/或语音信息;
确定所采集的面部信息和/或语音信息对应的参数值;
判断预定时间段内所述参数值是否满足预设条件,当满足所述预设条件时,在所述用户操作当前应用对象的过程中,开启所述预设条件对应的第一模式。
2.根据权利要求1所述的方法,其特征在于,所述第一模式为:
用于提示用户进行微笑动作的微笑触发模式。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:在开启所述微笑触发模式后,限定所述用户操作所述当前应用对象并提示所述用户进行符合所示微笑要求的微笑动作;
当所述用户的微笑动作满足所述微笑要求时,允许所述用户继续操作所述当前应用对象。
4.根据权利要求3所述的方法,其特征在于,所述用户的微笑动作满足所述微笑要求,具体为:
所述用户的面部信息中嘴角上扬角度达到所示微笑要求中嘴角上扬角度。
5.根据权利要求2或3所述的方法,其特征在于,当采集用户的面部信息时,确定所采集的面部信息对应的参数值,具体为:
根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
相应的,所述预设条件为:
预定时间段内用户面部信息对应的嘴角上扬角度均小于预设的角度阈值。
6.根据权利要求2或3所述的方法,其特征在于,当采集用户的语音信息时,确定所采集的语音信息对应的参数值,具体为:
根据语音识别算法,获取所采集的用户语音信息对应的频率;
相应的,所述预设条件为:
预定时间段内用户语音信息对应频率均小于预设的频率阈值。
7.根据权利要求2或3所述的方法,其特征在于,当采集用户的面部信息和语音信息时,确定所采集的面部信息和语音信息对应的参数值,具体为:
根据人员脸部分析算法,获取所采集的面部信息对应的嘴角上扬角度;
根据语音识别算法,获取所采集的用户语音信息对应的频率;
分别为所获取的嘴角上扬角度和频率设置相应的权值;
利用嘴角上扬角度权值和频率权值,确定用户的微笑权值;
相应的,所述预设条件为:
预定时间段内用户的微笑权值均小于预设的微笑阈值。
8.一种电子设备,其特征在于,包括:
信息获取模块,用于在用户操作一电子设备的过程中,采集所述用户的面部信息和/或语音信息;
参数值确定模块,用于确定所采集的面部信息和/或语音信息对应的参数值;
判断模块,用于判断预定时间段内所述参数值是否满足预设条件,并当满足所述预设条件时,触发模式开启模块;
模式开启模块,用于在所述用户操作当前应用对象的过程中,开启所述预设条件对应的第一模式。
9.根据权利要求8所述的电子设备,其特征在于,所述模式开启模块,具体用于:
开启用于提示用户进行微笑动作的微笑触发模式。
10.根据权利要求9所述的电子设备,其特征在于,还包括:
微笑处理模块,用于在开启所述微笑触发模式后,限定所述用户操作所述当前应用对象并提示所述用户进行符合所示微笑要求的微笑动作;
当所述用户的微笑动作满足所述微笑要求时,允许所述用户继续操作所述当前应用对象。
11.根据权利要求10所述电子设备,其特征在于,所述微笑处理模块中微笑动作满足所述微笑要求的标准为:
所述用户的面部信息中嘴角上扬角度达到所示微笑要求中嘴角上扬角度。
12.根据权利要求9或10所述的电子设备,其特征在于,
所述信息获取模块,包括:
面部信息采集单元,用于采集所述用户的面部信息;
所述参数值确定模块,包括:
上扬角度确定单元,用于根据人员脸部分析算法,获取所采集的用户面部信息对应的嘴角上扬角度;
所述判断模块,包括:
角度判断单元,用于判断预定时间段内用户面部信息对应的嘴角上扬角度是否均小于预设的角度阈值,并在是的情况下,触发模式开启模块。
13.根据权利要求9或10所述的电子设备,其特征在于,
所述信息获取模块,包括:
语音采集单元,用于采集所述用户的语音信息;
所述参数值确定模块,包括:
频率信息确定单元,用于根据语音识别算法,获取所采集的用户语音信息对应的频率;
所述判断模块,包括:
频率判断单元,用于判断预定时间段内用户语音信息对应频率是否均小于预设的频率阈值,并在是的情况下,触发模式开启模块。
14.根据权利要求9或10所述的电子设备,其特征在于,
信息获取模块,包括:
面部和语音信息采集单元,用于采集所述用户的面部信息和语音信息;
参数值确定模块,包括:
微笑权值确定单元,用于根据人员脸部分析算法,获取所采集的面部信息对应的嘴角上扬角度;
根据语音识别算法,获取所采集的用户语音信息对应的频率;
分别为所获取的嘴角上扬角度和频率设置相应的权值;
利用嘴角上扬角度权值和频率权值,确定用户的微笑权值;
判断模块,包括:
微笑权值判断单元,用于判断预定时间段内用户的微笑权值是否均小于预设的微笑阈值,并在是的情况下,触发模式开启模块。
CN201110445098.8A 2011-12-27 2011-12-27 一种应用对象操作方法及电子设备 Active CN103186326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110445098.8A CN103186326B (zh) 2011-12-27 2011-12-27 一种应用对象操作方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110445098.8A CN103186326B (zh) 2011-12-27 2011-12-27 一种应用对象操作方法及电子设备

Publications (2)

Publication Number Publication Date
CN103186326A true CN103186326A (zh) 2013-07-03
CN103186326B CN103186326B (zh) 2017-11-03

Family

ID=48677510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110445098.8A Active CN103186326B (zh) 2011-12-27 2011-12-27 一种应用对象操作方法及电子设备

Country Status (1)

Country Link
CN (1) CN103186326B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615252A (zh) * 2015-02-16 2015-05-13 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
CN104754112A (zh) * 2013-12-31 2015-07-01 中兴通讯股份有限公司 用户信息获取方法及移动终端
CN104777989A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN104795067A (zh) * 2014-01-20 2015-07-22 华为技术有限公司 语音交互方法及装置
CN105205756A (zh) * 2015-09-15 2015-12-30 广东小天才科技有限公司 一种行为监控的方法和系统
CN109522109A (zh) * 2018-11-01 2019-03-26 Oppo广东移动通信有限公司 应用运行的管控方法、装置、存储介质及电子设备
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
US10613687B2 (en) 2014-01-13 2020-04-07 Beijing Lenovo Software Ltd. Information processing method and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1896918A (zh) * 2005-07-15 2007-01-17 英华达(上海)电子有限公司 手持设备上使用面部表情控制输入的方法
EP1791053A1 (en) * 2005-11-28 2007-05-30 Sap Ag Systems and methods of processing annotations and multimodal user inputs
CN101370195A (zh) * 2007-08-16 2009-02-18 英华达(上海)电子有限公司 移动终端中实现情绪调节的方法及装置
CN102103617A (zh) * 2009-12-22 2011-06-22 华为终端有限公司 获取表情含义的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1896918A (zh) * 2005-07-15 2007-01-17 英华达(上海)电子有限公司 手持设备上使用面部表情控制输入的方法
EP1791053A1 (en) * 2005-11-28 2007-05-30 Sap Ag Systems and methods of processing annotations and multimodal user inputs
CN101370195A (zh) * 2007-08-16 2009-02-18 英华达(上海)电子有限公司 移动终端中实现情绪调节的方法及装置
CN102103617A (zh) * 2009-12-22 2011-06-22 华为终端有限公司 获取表情含义的方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100923A1 (zh) * 2013-12-31 2015-07-09 中兴通讯股份有限公司 用户信息获取方法及移动终端
CN104754112A (zh) * 2013-12-31 2015-07-01 中兴通讯股份有限公司 用户信息获取方法及移动终端
CN104777989B (zh) * 2014-01-13 2019-03-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104777989A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及电子设备
US10613687B2 (en) 2014-01-13 2020-04-07 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN104795067A (zh) * 2014-01-20 2015-07-22 华为技术有限公司 语音交互方法及装置
US9990924B2 (en) 2014-01-20 2018-06-05 Huawei Technologies Co., Ltd. Speech interaction method and apparatus
CN104795067B (zh) * 2014-01-20 2019-08-06 华为技术有限公司 语音交互方法及装置
US10468025B2 (en) 2014-01-20 2019-11-05 Huawei Technologies Co., Ltd. Speech interaction method and apparatus
US11380316B2 (en) 2014-01-20 2022-07-05 Huawei Technologies Co., Ltd. Speech interaction method and apparatus
CN104615252B (zh) * 2015-02-16 2019-02-05 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
CN104615252A (zh) * 2015-02-16 2015-05-13 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
CN105205756A (zh) * 2015-09-15 2015-12-30 广东小天才科技有限公司 一种行为监控的方法和系统
CN109522109A (zh) * 2018-11-01 2019-03-26 Oppo广东移动通信有限公司 应用运行的管控方法、装置、存储介质及电子设备
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置

Also Published As

Publication number Publication date
CN103186326B (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN103186326A (zh) 一种应用对象操作方法及电子设备
CN103699547B (zh) 一种应用程序推荐方法及终端
CN107784357B (zh) 基于多模态深度神经网络的个性化智能唤醒系统及方法
EP3550450A1 (en) Method and device for adjusting user mood
CN107773214A (zh) 一种最佳唤醒策略的方法、计算机可读介质和系统
US20150313529A1 (en) Method and system for behavioral monitoring
CN105681546A (zh) 一种语音处理的方法、装置以及终端
CN104720783A (zh) 一种运动心率监控方法及设备
EP2713881A1 (en) Method and system for assisting patients
CN103077721A (zh) 移动终端的语音备忘方法及移动终端
KR102276415B1 (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
CN103218034A (zh) 一种应用对象调整方法及电子设备
CN108509225A (zh) 一种信息处理方法及电子设备
CN106200359A (zh) 闹钟提醒方法、装置和终端
CN107767965A (zh) 多因素关联比对的健康监测系统及方法
CN104464191A (zh) 一种跌倒识别方法、装置及系统
CN105827869A (zh) 一种移动终端的防沉迷方法、装置及移动终端
Valbonesi et al. Multimodal signal analysis of prosody and hand motion: Temporal correlation of speech and gestures
Dávila-Montero et al. Review and challenges of technologies for real-time human behavior monitoring
CN114707562A (zh) 一种肌电信号采样频率控制方法、装置及存储介质
CN110755091A (zh) 一种个人心理健康监测系统及方法
CN104933517A (zh) 一种基于智能可穿戴设备的心理压力评估方法及系统
CN108304074A (zh) 显示控制方法及相关产品
CN110200615A (zh) 一种基于心率数据的健康监测方法及电子设备
McDuff et al. AffectAura: Emotional wellbeing reflection system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant