CN107317927A - 与用户互动的方法及智能终端 - Google Patents
与用户互动的方法及智能终端 Download PDFInfo
- Publication number
- CN107317927A CN107317927A CN201710481798.XA CN201710481798A CN107317927A CN 107317927 A CN107317927 A CN 107317927A CN 201710481798 A CN201710481798 A CN 201710481798A CN 107317927 A CN107317927 A CN 107317927A
- Authority
- CN
- China
- Prior art keywords
- mood
- user
- information
- module
- intelligent terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明揭示了一种与用户互动的方法及智能终端,其中,与用户互动的方法,应用于智能终端,包括:获取用户的第一面部表情;根据第一面部表情识别第一心情状态;在预设表情数据库中查寻与所述第一心情状态对应的第一心情调节信息;向用户展示所述第一心情调节信息。本发明通过智能终端的摄像头所拍摄的用户面部表情图,分析并提取面部表情图中所包含的面部表情特征,并在表情数据库中查找与面部表情特征所对应的心情以及相应的心情调节信息,并通过显示屏向用户展示心情调节信息,以便智能终端与用户进行心情互动,提升用户体验。
Description
技术领域
本发明涉及到智能终端设备领域,特别是涉及到一种与用户互动的方法及智能终端。
背景技术
随着通信技术的不断发展和成熟,智能终端日益普及,智能终端功能强大,除了提供最基本的通信、数据传输及游戏娱乐等功能外,还可以实现购物支付等,智能终端越来越成为用户随身携带的必备品,当代人甚至将智能终端比喻人类的另一种“身体器官”,随身携带智能终端已经成为一种司空见惯的习惯。但现有技术中,智能终端还无法识别用户的心情,不能进一步地与用户进行互动。
因此,现有技术还有待改进。
发明内容
本发明的主要目的为提供一种与用户互动的方法,旨在解决现有智能终端无法识别用户的心情,不能进一步地与用户进行互动的技术问题。
本发明提出一种与用户互动的方法,应用于智能终端,包括:
获取用户的第一面部表情;
根据所述第一面部表情识别第一心情状态;
在预设表情数据库中查寻与上述第一心情状态对应的第一心情调节信息;
向用户展示上述第一心情调节信息。
优选地,上述智能终端包括显示屏,上述获取用户第一面部表情的步骤之前,包括:
判断上述显示屏是否朝下;
若不朝下,则启动上述显示屏亮起。
优选地,上述获取用户的第一面部表情的步骤,包括:
接收拍摄指令;
根据上述拍摄指令启动拍摄部件;
对用户进行拍摄以得到第一照片;
提取上述第一照片中上述第一面部表情。
优选地,上述向用户展示上述第一心情调节信息的步骤之后,包括:
对上述第一心情调节信息的展示时长进行计时;
判断上述展示时长是否超过预设置时长;
若是,控制停止展示上述第一心情调节信息。
优选地,上述向用户展示上述第一心情调节信息的步骤之后,包括:
获取用户第二面部表情;
分析上述第二面部表情与上述第一面部表情是否相同;
若相同,在预设表情数据库中查寻与上述第一心情状态对应的第二心情调节信息;
向用户展示上述第二心情调节信息或循环展示上述第一心情调节信息和第二心情调节信息。
优选地,上述分析上述第二面部表情与上述第一面部表情是否相同的步骤之后,还包括:
若不同,根据所述第二面部表情识别第二心情状态;
在表情数据库中查寻与上述第二心情状态对应的第三心情调节信息;
向用户展示上述第三心情调节信息。
优选地,上述向用户展示上述第一心情调节信息的步骤之前,还包括:
弹出心情信息显屏模式的选择对话框,上述选择对话框包括开启按键、关闭按键;
接收用户点击的上述开启按键。
优选地,上述向用户展示上述第一心情调节信息的步骤之后,还包括:
接收用户关闭展示的指令以结束与用户互动。
本发明还提供了一种与用户互动的智能终端,上述智能终端包括:
第一获取模块,用于获取用户第一面部表情;
第一识别模块,用于根据所述第一面部表情识别第一心情状态;
第一查寻模块:用于在预设表情数据库中查寻与上述第一心情状态对应的第一心情调节信息;
第一展示模块:用于向用户展示上述第一心情调节信息。
优选地,上述智能终端包括还包括:
显示屏;
朝向判断模块,用于判断上述显示屏是否朝下;
显示屏启动模块,用于在上述朝向判断模块判定上述显示屏不朝下时,启动上述显示屏亮起。
优选地,上述第一获取模块包括:
接收单元,用于接收拍摄指令;
拍摄启动单元,用于根据上述拍摄指令启动拍摄部件;
拍摄单元,用于对用户进行拍摄以得到第一照片;
提取单元,用于提取上述第一照片中上述第一心情。
优选地,上述智能终端还包括:
计时模块,用于对上述第一心情调节信息的展示时长进行计时;
展示判断模块,用于判断上述第一心情调节信息的展示时长是否超过预设置时长;
展示控制模块,用于在上述展示判断模块判定上述展示时长超过预设置时长时,控制停止展示上述第一心情调节信息。
优选地,上述智能终端还包括:
第二获取模块,用于获取用户第二面部表情;
分析模块,用于分析上述第二面部表情与上述第一面部表情是否相同;
第二查寻模块,用于在上述分析模块判定上述第二面部表情与上述第一面部表情相同时,在预设表情数据库中查寻与上述第一心情对应的第二心情调节信息;
第二展示模块,用于向用户展示上述第二心情调节信息或循环展示上述第一心情调节信息和第二心情调节信息。
优选地,上述智能终端还包括:
第二识别模块,用于在上述分析模块判定上述第二面部表情与上述第一面部表情不相同时,根据所述第二面部表情识别第二心情状态;
第三查寻模块,用于在表情数据库中查寻与上述第二心情状态对应的第三心情调节信息;
第三展示模块,用于向用户展示上述第三心情调节信息。
优选地,上述智能终端还包括:
弹出模块,用于弹出心情信息显屏模式的选择对话框,上述选择对话框包括开启按键、关闭按键;
接收模块,用于接收用户点击的上述开启按键。
优选地,上述智能终端还包括:
关闭模块,用于接收用户关闭展示的指令以结束与用户互动。
本发明有益技术效果:本发明通过智能终端的摄像头所拍摄的用户面部表情图,分析并提取面部表情图中所包含的面部表情特征,并在表情数据库中查找与面部表情特征所对应的心情以及相应的心情调节信息,并通过显示屏向用户展示心情调节信息,以便智能终端与用户进行心情互动,提升用户体验。同时,本发明通过用户拿起或放下智能终端时显示屏的朝向状态进行亮屏或灭屏,无需要按下物理按键来进行亮屏或灭屏,提高用户亮屏或灭屏的使用效率。
附图说明
图1本发明中与用户互动的方法的第一实施例流程示意图;
图2本发明中与用户互动的方法的第二实施例流程示意图;
图3本发明中与用户互动的智能终端的第一实施例模块结构示意图;
图4本发明中与用户互动的智能终端的第二实施例模块结构示意图;
图5本发明中与用户互动的方法的第一实施例中获取用户的第一面部表情的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,提出本发明与用户互动的方法的第一实施例,本发明实施例与用户互动的方法,可以应用于智能手机、平板等带有摄像功能的智能终端。本发明实施例以应用于智能手机为例进行详细说明,上述智能手机优选附带摄像头。上述与用户互动的方法,包括以下步骤:
S1:获取用户的第一面部表情。
启动摄像头对用户面部表情进行拍摄,并对拍摄图片进行提取分析,以得到用户第一面部表情,作为判断用户当前心情的判断依据。
进一步地,上述智能终端获取用户的第一心情的步骤,如图5所示包括如下步骤:
S100、接收拍摄指令;
其中,智能手机接收用户按压摄像头的启动按钮形成的拍摄指令。
S101、根据上述拍摄指令启动拍摄部件;
其中,拍摄部件为摄像头,优选前置摄像头。
S102、对用户进行拍摄以得到第一照片;
S103、提取上述第一照片中上述第一面部表情。
其中,第一面部表情为用户的面部表情,由于拍摄的照片一般有环境与人物,本发明实施例的智能手机在第一照片中提取用户的面部表情。
S2:根据上述第一面部表情识别第一心情状态;
本步骤中,智能手机从用户的第一面部表情中的特征识别出用户的心情状态,比如:当识别到第一面部表情特征有:嘴唇朝外且朝上扩展、眼睛边环形皱纹,那么第一心情状态则为愉快;当识别到第一面部表情特征有:脸部有泪水,那么第一心情状态则为伤心;当识别到第一面部表情特征有:皱眉,那么第一心情状态则为发愁;当识别到第一面部表情特征为:嘴平直,眼下垂,那么第一心情状态则为无聊或低沉。
S3:在预设表情数据库中查寻与上述第一心情状态对应的第一心情调节信息。
本步骤中,心情调节信息可以是动态表情、静态表情、语音、短视频等。表情数据库中预存有每一种心情状态对应的心情调节信息,例如下表1,智能手机根据第一心情状态在表情数据库中查寻对应的第一心情调节信息。
心情状态 | 心情调节信息 |
愉快 | 赞美表情 |
发愁 | 奋斗表情 |
伤心 | 微笑表情 |
无聊 | 逗乐表情 |
表1
S4:向用户展示上述第一心情调节信息。
本发明实施例的表情数据库可以是离线数据包,也可以是放置于服务器的数据包,如果放置于服务器,那么面部表情的提取与心情状态的识别功能也可以放置服务器。也就是说,智能手机每次拍照用户的照片之后,发送到服务器,服务器提取面部表情并识别心情状态后,从表情数据库搜索与心情状态对应的心情调节信息并发送到智能手机。
参照图2,图2为本发明与用户互动的方法的第二实施例流程示意图,本实施例的智能手机包括显示屏,进一步地,上述步骤S1之前,还包括:
S10:判断上述显示屏是否朝下。
本发明实施例的智能手机通过传感陀螺仪,检测智能手机显示屏的朝向。
S11:若不朝下,启动上述显示屏亮起。
传感陀螺仪实时追踪显示屏的翻转角度,判断显示屏若不朝下,进入步骤S11,启动上述显示屏亮起;即在显示屏全部朝上或部分朝上时,启动亮屏;在显示屏全部朝下时关闭亮屏。通过用户拿起或放下智能手机的状态进行亮屏或灭屏,无需要按下物理按键来进行亮屏或灭屏,提高用户亮屏或灭屏的效率。
进一步地,上述步骤S4之后,包括:
S40:对上述第一心情调节信息的展示时长进行计时。
S41:判断上述展示时长是否超过预设置时长。
本步骤中的预设置时长可以是系统时长,也可以是用户设置的时长,该时长可以是3秒、5秒。
S42:若是,控制停止展示上述第一心情调节信息。
如果计时达到预设时长,为避免用户对第一心情调节信息产生厌倦心理,则控制停止展示上述第一心情调节信息。当然,用户可根据自己实际的对第一心情调节信息的喜爱度,选择重新播放或提前关闭。
在其它实施例中,步骤S4之后,还包括:S43、获取用户第二面部表情。
再次启动智能手机的前摄像头,以获取用户第二面部表情,其过程与方法与获取第一面部表情一致,此处不再赘述。
S44、分析上述第二面部表情与上述第一面部表情是否相同。
具体地,分析第一面部表情与第二面部表情中的眼睛状态、眉毛状态、嘴巴状态等的是否发生相应的变化。
S45、若相同,在预设表情数据库中查寻与上述第一心情状态对应的第二心情调节信息。若不同则进入步骤S47。
具体地,本实施例中表情数据库中预存有每一种心情状态对应的两个以上的心情调节信息,例如下表2。当第一面部表情与第二面部表情中的眼睛状态、眉毛状态、嘴巴状态等未发生相应的变化,则用户依旧处于第一心情状态,智能手机则在两个以上的心情调节信息中提取第二个愉快动态表情,以进一步满足用户需求。举例地,第一实施例中第一心情状态为愉快,并查寻至第一心情调节信息为赞美表情时,本实施例中的智能手机根据第一心情状态在预设表情数据库中查寻到第二心情调节信息为赞美动态表情。
心情状态 | 心情调节信息 |
愉快 | 1、赞美表情,2、赞美动态表情,3、赞美动视频 |
发愁 | 1、奋斗表情,2、奋斗动态表情,3、奋斗动视频、 |
伤心 | 1、微笑表情,2、微笑动态表情,3、微笑动视频 |
无聊 | 1、逗乐表情,2、逗乐动态表情,3、逗乐动视频 |
表2
S46、向用户展示上述第二心情调节信息或循环展示上述第一心情调节信息和第二心情调节信息。
本步骤中,智能手机包括屏显信息设置模式,以方便用户对心情调节信息以及心情状态的展示方式进行设置,该屏显信息设置模式包括从上往下分布模式、从左往右分布模式、按时逐个展示模式。从上从下分布模式即为将多个心情调节信息由上到下布满显示屏。从左往右分布模式即为将多个心情调节信息从左往右布满显示屏。按时逐个展示模式即为将多个心情调节信息按预设时间逐个循环展示至显示屏。
在其它实施例中,智能手机还包括心情调节信息个数设置,具体地,当智能手机接收到用户设置的个数为2个时,那么在步骤S45中,智能手机则在预设表情数据库中查寻到的第二心情调节信息为2个与第一心情调节信息不同的心情调节信息,举例地,第一心情调节信息如果为赞美表情,那么第二心情调节信息则为赞美动态表情与赞美动态视频,而显示屏则展示2个第二心情调节信息,即赞美动态表情或赞美动视频。
S47、若不同,根据第二面部表情识别第二心情状态;
本步骤中,智能手机分析第一面部表情与第二面部表情中的眼睛状态、眉毛状态、嘴巴状态等发生相应的变化时,根据第二面部表情识别第二心情状态,此处的识别与步骤S2的识别方法相同,此处不作赘述。
S48、在表情数据库中查寻与第二心情状态对应的第三心情调节信息。
此处根据第二心情状态查寻对应的第三心情调节信息的方式与步骤S3相同,此处不作赘述。
S49、向用户展示上述第三心情调节信息。
本步骤向用户展示上述第三心情调节信息,进行心情互动,以进一步接近互动有效的目的。
进一步地,本发明实施例中上述步骤S1之前,还包括:
S50、弹出心情信息显屏模式的选择对话框,上述选择对话框包括开启按键、关闭按键。
通过选择对话框中的开启按键和关闭按键以控制心情以及心情调节信息的展示状态,用户可以根据自己需要选择是否启动展示心情调节信息。
S51、接收用户点击的上述开启按键。
进一步地,本发明实施例中上述步骤S4之后,还包括:
S52、接收用户关闭展示的指令以结束与用户互动。
本步骤中,心情调节信息具有关闭标识,关闭展示的指令可以由用户点击关闭标识而产生,从而结束与用户互动。当然关闭展示的指令也可以由用户对显示屏上的心情调节信息的点击(单击或双击)而产生。
参照图3,本发明还提供了与用户互动的智能终端的第一实施例,上述智能终端包括智能手机、平板等带有摄像功能的智能终端。本发明实施例以应用于智能手机为例进行详细说明,上述智能手机优选附带摄像头。上述与用户互动的智能终端包括第一获取模块1、第一识别模块18、第一查寻模块2以及第一展示模块3。
第一获取模块1用于获取用户第一面部表情。
启动摄像头对用户面部表情进行拍摄,并通过第一获取模块1对拍摄图片进行提取分析,以得到用户第一面部表情,作为判断用户第一心情状态的判断依据。
进一步,上述第一获取模块1包括如下单元:
接收单元100:用于接收拍摄指令;其中,第一获取模块1接收用户按压摄像头的启动按钮形成的拍摄指令。拍摄启动单元110用于根据上述拍摄指令启动拍摄部件;其中,拍摄部件为摄像头,优选前置摄像头。拍摄单元120用于对用户进行拍摄以得到第一照片;提取单元130用于提取上述第一照片中上述第一面部表情。其中,第一面部表情为用户的面部表情,由于拍摄的照片一般有环境与人物,本发明实施例的智能手机在第一照片中提取用户的面部表情。
第一识别模块18用于根据所述第一面部表情识别第一心情状态。
第一识别模块18从第一面部表情中的特征而得知用户的第一心情状态,比如:当识别到第一面部表情特征有:嘴唇朝外且朝上扩展、眼睛边环形皱纹,那么第一心情状态则为愉快;当识别到第一面部表情特征有:脸部有泪水,那么第一心情状态则为伤心;当识别到第一面部表情特征有:皱眉,那么第一心情状态则为发愁;当识别到第一面部表情特征为:嘴平直,眼下垂,那么第一心情状态则为无聊或低沉。
第一查寻模块2:用于在预设表情数据库中查寻与上述第一心情状态对应的第一心情调节信息。
第一心情调节信息可以是动态表情、静态表情、语音、短视频等。表情数据库中预存有每一心情状态对应一个心情调节信息,例如表1,智能手机根据第一心情状态在表情数据库中查寻对应的第一心情调节信息。
第一展示模块3:向用户展示第一心情调节信息。
本发明实施例的表情数据库可以是离线数据包,也可以是放置于服务器的数据包,如果放置于服务器,那么面部表情的提取与心情状态的识别功能也可以放置服务器。也就是说,智能手机每次拍照用户的照片之后,发送到服务器,服务器提取面部表情并识别心情状态后,从表情数据库搜索与心情状态对应的心情调节信息并发送到智能手机。
参照图4,图4为与用户互动的智能终端的第二实施例的模块结构示意图,本实施例的智能手机包括显示屏,进一步地,本实施例的智能手机还包括:
朝向判断模块4:用于判断上述显示屏是否朝下。
本发明实施例的智能手机通过朝向判断模块4中的传感陀螺仪,检测智能手机显示屏的朝向。
显示屏启动模块5:用于在上述朝向判断模块判定上述显示屏不朝下时,启动上述显示屏亮起。
传感陀螺仪实时追踪显示屏的翻转角度,并通过朝向判断模块4判断显示屏若不朝下,则通过显示屏启动模块5启动上述显示屏亮起;即在显示屏全部朝上或部分朝上时,启动亮屏;在显示屏全部朝下时关闭亮屏。通过用户拿起或放下智能手机的状态进行亮屏或灭屏,无需要按下物理按键来进行亮屏或灭屏,提高用户亮屏或灭屏的效率。
进一步地,上述智能终端还包括:
计时模块6:用于对上述第一心情调节信息的展示时长进行计时。
展示判断模块7:用于判断上述第一心情调节信息的展示时长是否超过预设置时长。预设置时长可以是系统时长,也可以是用户设置的时长,该时长可以是3秒、5秒。
展示控制模块8,用于在上述展示判断模块7判定上述展示时长超过预设置时长时,控制停止展示上述第一心情调节信息。如果计时达到预设时长,为避免用户对第一心情调节信息产生厌倦心理,则通过展示控制模块8控制停止展示上述第一心情调节信息。当然,用户可根据自己实际的对第一心情调节信息的喜爱度,通过展示控制模块8选择重新播放或提前关闭。
在其它实施例中,上述智能终端还包括:第二获取模块9:用于获取用户第二面部表情。
再次启动智能手机的前摄像头,通过第二获取模块9获取用户第二面部表情,其过程与方法与第一获取模块1获取第一面部表情一致,此处不再赘述。
分析模块10:用于分析上述第二面部表情与上述第一面部表情是否相同。具体地,分析第一面部表情与第二面部表情中的眼睛状态、眉毛状态、嘴巴状态等的是否发生相应的变化。
第二查寻模块11:用于在上述分析模块10判定上述第二面部表情与上述第一面部表情相同时,在预设表情数据库中查寻与上述第一心情状态对应的第二心情调节信息。若不同则进入第三查寻模块13。具体地,本实施例中表情数据库中预存有每一种心情状态对应的两个以上的心情调节信息,例如表2。当分析模块10分析出第一面部表情与第二面部表情中的眼睛状态、眉毛状态、嘴巴状态等未发生相应的变化,则判定用户依旧处于第一心情状态,第二查寻模块11在多个心情调节信息中提取第二个愉快动态表情,以进一步满足用户需求。举例地,第一实施例中第一识别模块18识别出第一心情状态为愉快,且第一查寻模块2查寻至第一心情调节信息为赞美表情时,本实施例中的第二查寻模块11根据第一心情状态在预设表情数据库中查寻到第二心情调节信息为赞美动态表情。
第二展示模块12:用于向用户展示上述第二心情调节信息或循环展示上述第一心情调节信息和第二心情调节信息。还包括设置单元,设置单元用于对屏显信息设置模式进行设置,以方便用户对心情调节信息以及心情状态的展示方式进行设置,第二展示模块12根据屏显信息设置模式进行展示心情调节信息,该屏显信息设置模式包括从上往下分布模式、从左往右分布模式、按时逐个展示模式。从上从下分布模式即为将多个心情调节信息由上到下布满显示屏。从左往右分布模式即为将多个心情调节信息从左往右布满显示屏。按时逐个展示模式即为将多个心情调节信息按预设时间逐个循环展示至显示屏。
在其它实施例中,设置单元还可用于对心情调节信息个数进行设置,具体地,设置单元接收到用户设置的个数为2个时,第二查寻模块11在预设表情数据库中查寻到的第二心情调节信息为2个与第一心情调节信息不同的心情调节信息,举例地,第一心情调节信息如果为赞美表情,那么第二心情调节信息则为赞美动态表情和赞美动视频,而第二展示模块12展示2个第二心情调节信息,即赞美动态表情和赞美动态视频。
进一步地,上述智能终端还包括:第二识别模块19;用于上述第二面部表情与上述第一面部表情不相同时,根据第二面部表情识别第二心情状态。
分析模块10分析第一面部表情与第二面部表情中的眼睛状态、眉毛状态、嘴巴状态等发生相应的变化时,通过第二识别模块19根据第二面部表情识别第二心情状态,此处的识别与第一识别模块18的识别方法相同,此处不作赘述。
第三查寻模块13:用于在表情数据库中查寻与上述第二心情状态对应的第三心情调节信息。
此处根据第二心情状态查录对应的第三心情调节信息的方式与第一查寻模块3的工作原理相同,此处不赘述。
第三展示模块14:用于向用户展示上述第三心情调节信息。通过第三展示模块14向用户展示上述第三心情调节信息,进行心情互动,以进一步接近互动有效的目的。
进一步地,上述智能终端还包括:
弹出模块15:用于弹出心情信息显屏模式的选择对话框,上述选择对话框包括开启按键、关闭按键。通过选择对话框中的开启按键和关闭按键控制心情以及心情调节信息的展示状态,用户可以根据自己需要选择是否启动展示心情调节信息。
接收模块16:用于接收用户点击的上述开启按键。
进一步地,上述智能终端还包括:
关闭模块17:用于接收用户关闭展示的指令以结束与用户互动。心情调节信息具有关闭标识,关闭展示的指令可以由用户点击关闭标识而产生,从而结束与用户互动。当然关闭展示的指令也可以由用户对显示屏上的心情调节信息的点击(单击或双击)而产生。
本发明实施例通过智能终端的摄像头所拍摄的用户面部表情图,分析并提取面部表情图中所包含的面部表情特征,并在表情数据库中查找与面部表情特征所对应的心情以及相应的心情调节信息,并通过显示屏向用户展示心情调节信息,以便智能终端与用户进行心情互动,提升用户体验。同时,本发明实施例通过用户拿起或放下智能终端时显示屏的朝向状态进行亮屏或灭屏,无需要按下物理按键来进行亮屏或灭屏,提高用户亮屏或灭屏的使用效率。
以上上述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种与用户互动的方法,应用于智能终端,其特征在于,包括:
获取用户的第一面部表情;
根据所述第一面部表情识别第一心情状态;
在预设表情数据库中查寻与所述第一心情状态对应的第一心情调节信息;
向用户展示所述第一心情调节信息。
2.根据权利要求1所述的与用户互动的方法,其特征在于,所述智能终端包括显示屏,所述获取用户第一面部表情的步骤之前,包括:
判断所述显示屏是否朝下;
若不朝下,则启动所述显示屏亮起。
3.根据权利要求1所述的与用户互动的方法,其特征在于,所述获取用户的第一面部表情的步骤,包括:
接收拍摄指令;
根据所述拍摄指令启动拍摄部件;
对用户进行拍摄以得到第一照片;
提取所述第一照片中所述第一面部表情。
4.根据权利要求1所述的与用户互动的方法,其特征在于,所述向用户展示所述第一心情调节信息的步骤之后,包括:
对所述第一心情调节信息的展示时长进行计时;
判断所述展示时长是否超过预设置时长;
若是,控制停止展示所述第一心情调节信息。
5.根据权利要求1所述的与用户互动的方法,其特征在于,所述向用户展示所述第一心情调节信息的步骤之后,包括:
获取用户第二面部表情;
分析所述第二面部表情与所述第一面部表情是否相同;
若相同,在预设表情数据库中查寻与所述第一心情状态对应的第二心情调节信息;
向用户展示所述第二心情调节信息或循环展示所述第一心情调节信息和第二心情调节信息。
6.一种与用户互动的智能终端,其特征在于,所述智能终端包括:
第一获取模块,用于获取用户第一面部表情;
第一识别模块,用于根据所述第一面部表情识别第一心情状态;
第一查寻模块:用于在预设表情数据库中查寻与所述第一心情状态对应的第一心情调节信息;
第一展示模块:用于向用户展示所述第一心情调节信息。
7.根据权利要求6所述的与用户互动的智能终端,其特征在于,所述智能终端包括还包括:
显示屏;
朝向判断模块,用于判断所述显示屏是否朝下;
显示屏启动模块,用于在所述朝向判断模块判定所述显示屏不朝下时,启动所述显示屏亮起。
8.根据权利要求6所述的与用户互动的智能终端,其特征在于,所述第一获取模块包括:
接收单元,用于接收拍摄指令;
拍摄启动单元,用于根据所述拍摄指令启动拍摄部件;
拍摄单元,用于对用户进行拍摄以得到第一照片;
提取单元,用于提取所述第一照片中所述第一面部表情。
9.根据权利要求6所述的与用户互动的智能终端,其特征在于,所述智能终端还包括:
计时模块,用于对所述第一心情调节信息的展示时长进行计时;
展示判断模块,用于判断所述第一心情调节信息的展示时长是否超过预设置时长;
展示控制模块,用于在所述展示判断模块判定所述展示时长超过预设置时长时,控制停止展示所述第一心情调节信息。
10.根据权利要求6所述的与用户互动的智能终端,其特征在于,所述智能终端还包括:
第二获取模块,用于获取用户第二面部表情;
分析模块,用于分析所述第二面部表情与所述第一面部表情是否相同;
第二查寻模块,用于在所述分析模块判定所述第二面部表情与所述第一面部表情相同时,在预设表情数据库中查寻与所述第一心情状态对应的第二心情调节信息;
第二展示模块,用于向用户展示所述第二心情调节信息或循环展示所述第一心情调节信息和第二心情调节信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710481798.XA CN107317927A (zh) | 2017-06-22 | 2017-06-22 | 与用户互动的方法及智能终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710481798.XA CN107317927A (zh) | 2017-06-22 | 2017-06-22 | 与用户互动的方法及智能终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107317927A true CN107317927A (zh) | 2017-11-03 |
Family
ID=60183869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710481798.XA Pending CN107317927A (zh) | 2017-06-22 | 2017-06-22 | 与用户互动的方法及智能终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107317927A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648314A (zh) * | 2018-05-11 | 2018-10-12 | 广东汇泰龙科技有限公司 | 一种基于智能云锁的用户表情互动方法及系统 |
CN111418198A (zh) * | 2018-01-22 | 2020-07-14 | 三星电子株式会社 | 提供文本相关图像的电子装置及其操作方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102355527A (zh) * | 2011-07-22 | 2012-02-15 | 深圳市无线开锋科技有限公司 | 一种手机感应心情装置及方法 |
CN103019369A (zh) * | 2011-09-23 | 2013-04-03 | 富泰华工业(深圳)有限公司 | 基于脸部表情播放文档的电子装置及方法 |
CN103281419A (zh) * | 2013-06-20 | 2013-09-04 | 上海华勤通讯技术有限公司 | 移动终端及亮屏方法 |
CN105183156A (zh) * | 2015-08-31 | 2015-12-23 | 小米科技有限责任公司 | 屏幕控制方法及装置 |
CN105574478A (zh) * | 2015-05-28 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种信息处理的方法和装置 |
CN105653033A (zh) * | 2015-12-29 | 2016-06-08 | 广东欧珀移动通信有限公司 | 一种终端亮屏和灭屏的控制方法及装置 |
WO2016159443A1 (ko) * | 2015-04-02 | 2016-10-06 | 한국과학기술원 | 얼굴 인식 기반 어플리케이션의 피드백 ui 제공 서비스 방법 및 시스템 |
CN106874265A (zh) * | 2015-12-10 | 2017-06-20 | 深圳新创客电子科技有限公司 | 一种与用户情绪匹配的内容输出方法、电子设备及服务器 |
-
2017
- 2017-06-22 CN CN201710481798.XA patent/CN107317927A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102355527A (zh) * | 2011-07-22 | 2012-02-15 | 深圳市无线开锋科技有限公司 | 一种手机感应心情装置及方法 |
CN103019369A (zh) * | 2011-09-23 | 2013-04-03 | 富泰华工业(深圳)有限公司 | 基于脸部表情播放文档的电子装置及方法 |
CN103281419A (zh) * | 2013-06-20 | 2013-09-04 | 上海华勤通讯技术有限公司 | 移动终端及亮屏方法 |
WO2016159443A1 (ko) * | 2015-04-02 | 2016-10-06 | 한국과학기술원 | 얼굴 인식 기반 어플리케이션의 피드백 ui 제공 서비스 방법 및 시스템 |
CN105574478A (zh) * | 2015-05-28 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种信息处理的方法和装置 |
CN105183156A (zh) * | 2015-08-31 | 2015-12-23 | 小米科技有限责任公司 | 屏幕控制方法及装置 |
CN106874265A (zh) * | 2015-12-10 | 2017-06-20 | 深圳新创客电子科技有限公司 | 一种与用户情绪匹配的内容输出方法、电子设备及服务器 |
CN105653033A (zh) * | 2015-12-29 | 2016-06-08 | 广东欧珀移动通信有限公司 | 一种终端亮屏和灭屏的控制方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111418198A (zh) * | 2018-01-22 | 2020-07-14 | 三星电子株式会社 | 提供文本相关图像的电子装置及其操作方法 |
US11210827B2 (en) | 2018-01-22 | 2021-12-28 | Samsung Electronics Co., Ltd. | Electronic device providing text-related image and method for operating the same |
CN108648314A (zh) * | 2018-05-11 | 2018-10-12 | 广东汇泰龙科技有限公司 | 一种基于智能云锁的用户表情互动方法及系统 |
CN108648314B (zh) * | 2018-05-11 | 2020-11-06 | 广东汇泰龙科技股份有限公司 | 一种基于智能云锁的用户表情互动方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104795067B (zh) | 语音交互方法及装置 | |
CN108525305B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109637518A (zh) | 虚拟主播实现方法及装置 | |
CN106775360B (zh) | 一种电子设备的控制方法、系统及电子设备 | |
CN106528859A (zh) | 一种数据推送系统及方法 | |
CN105204351B (zh) | 空调机组的控制方法及装置 | |
CN202150884U (zh) | 一种手机感应心情装置 | |
CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN102355527A (zh) | 一种手机感应心情装置及方法 | |
KR20100062207A (ko) | 화상통화 중 애니메이션 효과 제공 방법 및 장치 | |
CN101789990A (zh) | 一种在通话过程中判断对方情绪的方法及移动终端 | |
CN110517685A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
KR20080050994A (ko) | 제스처/음성 융합 인식 시스템 및 방법 | |
CN110309254A (zh) | 智能机器人与人机交互方法 | |
CN107330450A (zh) | 一种终端设备控制方法和装置 | |
CN106713811A (zh) | 视频通话方法和装置 | |
CN105528080A (zh) | 一种对移动终端进行控制的方法及装置 | |
CN110534109A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN109147825A (zh) | 基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备 | |
CN102033727A (zh) | 电子设备界面控制系统及方法 | |
CN107317927A (zh) | 与用户互动的方法及智能终端 | |
CN111915744B (zh) | 增强现实图像的交互方法、终端和存储介质 | |
CN108595012A (zh) | 基于虚拟人的视觉交互方法及系统 | |
CN110148393B (zh) | 音乐生成方法、装置和系统以及数据处理方法 | |
US11819996B2 (en) | Expression feedback method and smart robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171103 |
|
RJ01 | Rejection of invention patent application after publication |