CN102541259A - 电子设备及其根据脸部表情提供心情服务的方法 - Google Patents

电子设备及其根据脸部表情提供心情服务的方法 Download PDF

Info

Publication number
CN102541259A
CN102541259A CN2011104403597A CN201110440359A CN102541259A CN 102541259 A CN102541259 A CN 102541259A CN 2011104403597 A CN2011104403597 A CN 2011104403597A CN 201110440359 A CN201110440359 A CN 201110440359A CN 102541259 A CN102541259 A CN 102541259A
Authority
CN
China
Prior art keywords
mood
user
service
countenance
feature value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104403597A
Other languages
English (en)
Inventor
李海生
茹慧灵
成荣峰
姜至善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN2011104403597A priority Critical patent/CN102541259A/zh
Priority to TW100149061A priority patent/TWI475410B/zh
Publication of CN102541259A publication Critical patent/CN102541259A/zh
Priority to US13/663,380 priority patent/US8847884B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Abstract

一种根据脸部表情提供心情服务的方法，用于一存储有心情服务数据库的电子设备。心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系。所述方法包括：启动心情服务功能；实时采集用户脸部的图像；提取脸部表情图像特征值；在心情服务数据库中找到对应的脸部表情图像特征值，并确定对应的心情服务；及控制电子设备启动并提供所述心情服务。本发明还提供了应用上述方法的电子设备。本发明通过实时拍摄用户脸部图像以确定用户的心情，可控制电子设备启动并提供与用户心情相对应的心情服务。

Description

电子设备及其根据脸部表情提供心情服务的方法
技术领域
本发明涉及一种电子设备及其根据脸部表情提供心情服务的方法，尤其涉及一种具有摄像单元的电子设备及其根据脸部表情提供心情服务的方法。
背景技术
电脑、电子书阅读器、手机等电子设备已成为人们工作和生活中不可或缺的伙伴，用户很多时间都在使用电子设备。由于工作、生活以及感情等方面的压力，用户往往都带着不同的心情（如高兴、悲伤、惊讶、生气等）在使用电子设备。目前有可以通过用户的脸部表情来识别判断用户的心情的方法，例如，通过在电子设备上装设的摄像头来拍摄用户的脸部表情图像，再将拍摄到的脸部表情图像与预存的心情特征数据库中的数据进行比对及分析，得到用户的心情类型。然而，用户一般是带着不同的心情自己选择并控制操作电子设备的各种功能，例如，播放不同类型的音乐、玩不同类型的游戏等，现有的电子设备并未根据用户的心情自动及时的提供相应的调节用户心情的服务。
发明内容
有鉴于此，有必要提供一种用于电子设备的根据脸部表情提供心情服务的方法，可根据用户的脸部表情实时的提供心情服务，以解决上述问题。
有鉴于此，还有必要提供一种应用上述方法的电子设备，以解决上述问题。
一种根据脸部表情提供心情服务的方法，用于一存储有心情服务数据库的电子设备。所述心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系。所述方法包括：启动心情服务功能；实时采集用户脸部的图像；提取所述用户脸部图像的脸部表情图像特征值；将所述脸部表情图像特征值与所述心情服务数据库中存储的所述用户的脸部表情图像特征值进行比对，在所述心情服务数据库中找到对应的脸部表情图像特征值，并确定与所述脸部表情图像特征值对应的心情服务；及控制电子设备启动并提供所述心情服务。
一种电子设备，包括：
一存储单元，存储有心情服务数据库，所述心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系；
一输入单元，用于启动心情服务功能；
一摄像单元，用于用于实时采集用户脸部的图像；
一图像处理模块，用于提取所述用户脸部图像的脸部表情图像特征值；
一识别判断模块，用于将所述脸部表情图像特征值与所述心情服务数据库中存储的所述用户的脸部表情图像特征值进行比对，在所述心情服务数据库中找到对应的脸部表情图像特征值，并确定与所述脸部表情图像特征值对应的心情服务；及
一服务控制模块，用于控制电子设备启动并提供所述心情服务。
相对于现有技术，上述电子设备及其根据脸部表情提供心情服务的方法，根据拍摄的用户脸部图像提取用户脸部图像的脸部表情图像特征值，并在心情服务数据库中找到所述用户对应的脸部表情图像特征值及其对应的心情服务类型后，控制电子设备启动并提供所述心情服务，从而及时的提供了调节用户心情的服务。
附图说明
图1为本发明一实施方式的电子设备的功能模块图。
图2为本发明一实施方式中一用户的多个脸部表情图像（特征值）与用户多种表情以及多种心情服务之间的一一对应关系表。
图3为本发明中电子设备一实施方式中根据脸部表情提供心情服务的方法的步骤流程图。
图4为本发明中电子设备的另一实施方式中根据脸部表情提供心情服务的方法的步骤流程图。
主要元件符号说明
电子设备 100
存储单元 10
电子文档 11
心情服务数据库 12
输入单元 20
摄像单元 30
处理单元 40
图像处理模块 41
识别判断模块 42
服务控制模块 43
显示控制模块 44
显示单元 50
缓存器 60
多媒体单元 70
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1，其为本发明的一实施方式的电子设备100的功能模组图。电子设备100可根据用户的脸部表情实时提供相应的心情服务。在本实施方式中，电子设备100为一具有摄像单元30的笔记本电脑，在其它实施方式中，电子设备100还可以是电子书阅读器、手机等具有摄像单元的电子设备。
电子设备100包括一存储单元10、一输入单元20、一摄像单元30、一处理单元40和一显示单元50。
存储单元10存储有电子文档11、一包括至少一个用户信息的心情服务数据库12。电子文档11包括音频、视频等文件。每一用户的用户信息均包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系。所述多个脸部表情图像特征值为所述用户在面对电子设备100的摄像单元30时的脸部表情图像的反映了用户心情的特征值，显然，用户在不同的心情下，其脸部表情图像特征会不同。所述心情服务数据库12中的信息是用户开启电子设备100或其心情服务功能时，通过一导航界面对用户进行脸部表情图像特征值提取测试后存储的，每一用户均可以通过所述导航界面进行脸部表情图像特征值提取测试并将其测试得到的用户信息存储于心情服务数据库12中。所述多种心情服务可以是电子设备100供用户预先选定的。在其他实施方式中，所述多种心情服务可以是电子设备100也可以是系统根据不同表情预先配置好的。
如图2所示，其示出了一实施方式中一用户的多个脸部表情图像（特征值）与用户多种表情以及多种心情服务之间的一一对应关系。其中，列出了所述用户的七种脸部表情图像、七个脸部表情图像特征值、七中表情类型以及七种心情服务类型的一一对应关系。
请再次参阅图1，输入单元20用于接收用户的操作如启动、进行及结束心情服务、心情服务以及对心情服务功能的设置等操作，而产生相应的操作信号。
摄像单元30用于实时采集用户的脸部表情图像并传输至处理单元40。本实施方式中，摄像单元30为一设置于显示单元50上端的中间位置的摄像头，用于采集用户脸部的图像，且当用户通过输入单元20启动心情服务功能时，所述摄像头将被触发同步开启。在其它实施方式中，摄像头的位置可设置于显示单元50左端的中间位置或其它位置，只要能实时采集用户脸部的图像即可。
处理单元40包括一图像处理模块41、一识别判断模块42和一服务控制模块43。
图像处理模块41用于运行各种图像处理算法对采集的用户脸部表情图像进行分析处理，提取用户脸部表情图像的图像特征值。
识别判断模块42用于将图像处理模块41提取的用户脸部表情图像的图像特征值与心情服务数据库12中存储的所述用户的脸部表情图像特征值进行比对，在心情服务数据库12中找到对应，例如相同的脸部表情图像特征值，确定存储在心情服务数据库12中与所述脸部表情图像特征值对应的用户心情及心情服务类型，并将确定的心情服务类型传输至服务控制模块43。
服务控制模块43用于根据识别判断模块42传输的心情服务类型，确定提供所述心情服务所需的硬件及其对应的控制软件，并控制电子设备100启动并提供所述心情服务。本实施方式中，服务控制模块43根据心情服务类型启动提供所述心情服务所需的硬件和调用对应的控制软件，并控制被启动的硬件根据所述心情服务提供相应的服务功能。请一并参考图2，在一实施方式中，对应中性、厌恶、生气、恐惧、高兴、悲伤以及惊讶这七种心情的心情服务分别为：语音提醒服务、情绪发泄服务、幽默服务、柔和音乐服务、欢快音乐服务、安慰天使服务和互动服务。其中所述语音提醒服务包括用语音与用户进行交流，如向用户打招呼说“主人好”、“亲爱的”或“宝贝”等；所述情绪发泄服务包括开启发泄游戏供用户玩、响应用户的挨骂播放较悲惨的语音等；所述幽默服务包括用语音播放笑话、链接笑话网站和链接搞笑视频网站等；所述柔和音乐服务包括调用并播放较柔和的音乐；所述欢快音乐服务包括调用并播放较欢快的音乐；所述安慰天使服务包括陪用户聊天、陪用户一起哭等；所述互动服务包括通过播放变魔术、跳舞等视频画面、陪用户玩耍、做互动游戏等。应当理解的是，以上所列为举例说明本发明，其具体的服务方式及种类可以根据需要由用户或系统预先做不同的设置。
本实施方式中，电子设备100还包括一缓存器60和一多媒体单元70，缓存器60用于暂存摄像单元30拍摄的用户脸部表情图像以及图像处理模块41提取的用户脸部表情图像的图像特征值。多媒体单元70用于播放音乐、语音等音频信息。处理单元还包括一显示控制模块44，用于控制显示单元50显示不同的内容。
其中，在用户使用电子设备100时，当用户通过输入单元20启动心情服务功能时，所述显示控制模块44控制所述显示单元50显示一信息输入框，供用户输入用户名，所述识别判断模块42对用户心情服务数据库12进行搜索，当识别判断模块42搜索到包括所述用户名的用户信息时，则图像处理模块41、识别判断模块42、服务控制模块43和显示控制模块44执行前述的功能。
当识别判断模块42未搜索到包括所述用户名的用户信息时，则默认为所述用户信息为首次使用，显示控制模块44控制在显示单元50上弹出一对话框，提示用户是否进行脸部表情图像特征值提取测试，当用户选择进行脸部表情图像特征值提取测试时，显示控制模块44还控制弹出对话框提示用户根据显示单元50上的提示依次做不同的脸部表情。在本实施方式中，摄像单元30在用户进行测试时，依次采集用户的脸部表情图像并暂存于缓存器60中，显示控制模块44控制还控制将拍摄的脸部表情图像实时显示于显示单元50上以供用户确认，当用户确认后（如选择对话框中的“OK”），摄像单元30则将采集的脸部表情图像传输至图像处理模块41。图像处理模块41则提取用户脸部表情图像的图像特征值。识别判断模块42则根据用户脸部表情图像的图像特征值判断用户的表情类型，并将图像特征值与表情类型一一对应后存储于心情服务数据库12中。在导航结束后，用户即可启动心情服务功能。
在一实施方式中，存储单元10中的心情服务数据库12中还记录了多种用户的表情与多种音频心情服务以及多种视频心情服务的一一对应关系。所述音频心情服务包括在当前播放的音频文件中（如音乐中）加入与用户的表情相应的音效，所述视频心情服务包括在当前播放的视频文件中加入与用户的表情相应的音效，和/或将视频文件的画面颜色和/或明亮度调整为与用户的表情相应的颜色和/或亮暗程度。例如，用户心情为高兴时，对应的音频心情服务为在当前播放的音频文件中加入欢快的背景音，和/或将当前播放的音频文件的播放速度加快等等；对应的视频心情服务为在当前播放的视频文件中加入欢快的背景音，和/或将当前播放的视频文件的播放速度加快，同时将画面颜色调整为较鲜艳的颜色和/或将画面的明亮度调整为较亮等。
例如，当用户启动心情服务功能并使用电子设备100播放音频或视频时，识别判断模块42根据图像处理模块41提取的用户脸部表情图像的图像特征值以及心情服务数据库12确定用户的心情及其音频心情服务或视频心情服务，服务控制模块43则根据所述音频心情服务或视频心情服务对当前播放的音频或视频文件做相应的调整。多媒体单元70则播放调整过的音频或视频文件。需要说明的是，以上只是举例说明电子设备100根据用户的脸部表情对正在播放的音频或视频文件实时进行与用户心情相应的调整并播放，其具体的调整方式还可以根据需要做不同的设置。而且，显示控制模块44还可以在用户开启音频或视频文件时，控制所述显示单元50显示一信息输入框，供用户设置不同心情下的调整方式。
请参阅图3，其为本发明的电子设备100一实施方式中根据脸部表情提供心情服务的方法的流程图。所述方法用于一存储有心情服务数据库的电子设备。所述心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系。所述方法包括：
步骤S30，用户启动心情服务功能，识别判断模块42判断用户是否首次启动心情服务功能，若不是，则进入步骤S31，否则，进入步骤S35。
步骤S31，摄像单元30实时采集用户脸部的图像。
步骤S32，图像处理模块41运行各种图像处理算法对采集的用户脸部图像进行分析处理，提取所述用户脸部图像的脸部表情图像特征值。
步骤S33，识别判断模块42将所述脸部表情图像特征值与心情服务数据库12中存储的所述用户的脸部表情图像特征值进行比对，在心情服务数据库12中找到对应的脸部表情图像特征值，并确定与所述脸部表情图像特征值对应的表情及其心情服务。
步骤S34，服务控制模块43确定提供所述心情服务所需的硬件及其对应的控制软件，并控制电子设备100启动并提供所述心情服务。本实施方式中，服务控制模块43根据心情服务类型启动执行所述心情服务所需的硬件和调用对应的控制软件，并控制被启动的硬件根据所述心情服务执行相应的功能。
步骤S35，若用户是首次启动进入心情服务，识别判断模块42则确定用户是否选择进行脸部表情图像特征值提取测试，如果是，则进入步骤S36，否则，流程结束。
步骤S36，显示控制模块44控制弹出对话框提示用户根据显示单元50上的提示依次做不同的脸部表情。
步骤S37，摄像单元30依次采集用户的脸部表情图像，并将采集的脸部表情图像传输至图像处理模块41。在本实施方式中，摄像单元30在用户进行测试时，依次采集用户的脸部表情图像并暂存于缓存器60中，显示控制模块44控制还控制将拍摄的脸部表情图像实时显示于显示单元50上以供用户确认，当用户确认后（如选择对话框中的“OK”），摄像单元30则将采集的脸部表情图像传输至图像处理模块41。
步骤S38，图像处理模块41提取用户脸部表情图像的图像特征值。
步骤S39，识别判断模块42根据用户脸部表情图像的图像特征值判断用户的表情类型，并将图像特征值与表情类型一一对应后存储于心情服务数据库12中，测试完毕后执行步骤S31。
请参阅图4，其为本发明的电子设备100另一实施方式中根据脸部表情提供心情服务的方法的流程图。所述方法用于一存储有心情服务数据库的电子设备。所述心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种音频心情服务以及多种视频心情服务的一一对应关系。所述方法包括：
步骤S40，用户启动心情服务功能。
步骤S41，摄像单元30实时采集用户脸部的图像。
步骤S42，图像处理模块41运行各种图像处理算法对采集的用户脸部图像进行分析处理，提取所述用户脸部图像的脸部表情图像特征值。
步骤S43，识别判断模块42将所述脸部表情图像特征值与心情服务数据库12中存储的所述用户的脸部表情图像特征值进行比对，在心情服务数据库12中找到对应的脸部表情图像特征值。
步骤S44，识别判断模块42判断是否有音频文件或视频文件正在播放。如果是，则进入步骤S45，否则流程结束。
步骤S45，当正在播放的为音频文件时，识别判断模块42根据用户的脸部表情图像特征值与心情服务数据库12确定一对应的表情及其音频心情服务；当正在播放的为视频文件时，识别判断模块42根据用户的脸部表情图像特征值与心情服务数据库12确定一对应的表情及其视频心情服务。所述音频心情服务包括在当前播放的音频文件中（如音乐中）加入与用户的表情相应的音效，所述视频心情服务包括在当前播放的视频文件中加入与用户的表情相应的音效，和/或将视频文件的画面颜色和/或明亮度调整为与用户的表情相应的颜色和/或亮暗程度。
步骤S46，服务控制模块43确定提供所述音频心情服务或视频心情服务所需的硬件及其对应的控制软件，并控制电子设备100启动并提供所述音频或视频心情服务。本实施方式中，服务控制模块43根据心情服务类型启动执行所述心情服务所需的硬件和调用对应的控制软件，并控制被启动的硬件根据所述心情服务执行相应的功能。
使用上述电子设备100，当用户进入心情服务界面时，图像处理模块41提取所述用户脸部图像的脸部表情图像特征值，识别判断模块42在心情服务数据库12中找到所述用户对应的脸部表情图像特征值及其对应的心情服务类型后，服务控制模块43控制电子设备100启动并提供所述心情服务，从而及时的提供了调节用户心情的服务。
本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围之内，对以上实施方式所作的适当改变和变化都落在本发明要求保护的范围之内。

Claims (10)

1.一种根据脸部表情提供心情服务的方法，用于一存储有心情服务数据库的电子设备，所述心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系，其特征在于，所述方法包括：
启动心情服务功能；
实时采集用户脸部的图像；
提取所述用户脸部图像的脸部表情图像特征值；
将所述脸部表情图像特征值与所述心情服务数据库中存储的所述用户的脸部表情图像特征值进行比对，在所述心情服务数据库中找到对应的脸部表情图像特征值，并确定与所述脸部表情图像特征值对应的心情服务；及
控制电子设备启动并提供所述心情服务。
2.如权利要求1所述的方法，其特征在于，还包括如下步骤：
将采集的用户的脸部表情图像暂存于一缓存器中；及
确定提供所述心情服务所需的硬件及其对应的控制软件。
3.如权利要求1所述的方法，其特征在于，还包括如下步骤：
判断是否有音频文件或视频文件正在播放；
当正在播放的为音频文件时，根据用户的脸部表情图像特征值与心情服务数据库确定一对应的表情及其音频心情服务；及
当正在播放的为视频文件时，根据用户的脸部表情图像特征值与心情服务数据库确定一对应的表情及其视频心情服务。
4.如权利要求3所述的方法，其特征在于：所述音频心情服务包括在当前播放的音频文件中加入与用户的表情相应的音效；所述视频心情服务包括在当前播放的视频文件中加入与用户的表情相应的音效，和/或将视频文件的画面颜色和/或明亮度调整为与用户的表情相应的颜色和/或亮暗程度。
5.如权利要求1所述的方法，其特征在于，还包括如下步骤：
判断用户是否首次启动心情服务功能；
当判断用户为首次启动心情服务功能时，确定用户是否选择进行脸部表情图像特征值提取测试；及
当用户选择进行脸部表情图像特征值提取测试时，依次采集用户的脸部表情图像；
提取用户脸部表情图像的图像特征值；及
根据用户脸部表情图像的图像特征值判断用户的表情类型，并将图像特征值与表情类型一一对应后存储于心情服务数据库中。
6.一种电子设备，其特征在于，包括：
一存储单元，存储有心情服务数据库，所述心情服务数据库包括至少一个用户信息，每一用户信息包括用户的多个脸部表情图像特征值、多种用户的表情和多种心情服务之间的一一对应关系；
一输入单元，用于启动心情服务功能；
一摄像单元，用于用于实时采集用户脸部的图像；
一图像处理模块，用于提取所述用户脸部图像的脸部表情图像特征值；
一识别判断模块，用于将所述脸部表情图像特征值与所述心情服务数据库中存储的所述用户的脸部表情图像特征值进行比对，在所述心情服务数据库中找到对应的脸部表情图像特征值，并确定与所述脸部表情图像特征值对应的心情服务；及
一服务控制模块，用于控制电子设备启动并提供所述心情服务。
7.如权利要求6所述的电子设备，其特征在于：所述摄像单元还用于将采集的用户的脸部表情图像暂存于一缓存器中；所述服务控制模块还用于确定提供所述心情服务所需的硬件及其对应的控制软件。
8.如权利要求6所述的电子设备，其特征在于：
所述多种心情服务包括以下中的至少一种：语音提醒服务、情绪发泄服务、幽默服务、柔和音乐服务、欢快音乐服务、安慰天使服务、互动服务、音频心情服务和视频心情服务，其中，所述音频心情服务包括在当前播放的音频文件中加入与用户的表情相应的音效；所述视频心情服务包括在当前播放的视频文件中加入与用户的表情相应的音效，和/或将视频文件的画面颜色和/或明亮度调整为与用户的表情相应的颜色和/或亮暗程度。
9.如权利要求6所述的电子设备，其特征在于：所述识别判断模块还用于：
判断是否有音频文件或视频文件正在播放；
当正在播放的为音频文件时，根据用户的脸部表情图像特征值与心情服务数据库确定一对应的表情及其音频心情服务；及
当正在播放的为视频文件时，根据用户的脸部表情图像特征值与心情服务数据库确定一对应的表情及其视频心情服务。
10.如权利要求6所述的电子设备，其特征在于，所述识别判断模块还用于：
判断用户是否首次启动心情服务功能；
当用户为首次启动心情服务功能时，确定用户是否选择进行脸部表情图像特征值提取测试；及
当用户选择进行脸部表情图像特征值提取测试时，根据用户脸部表情图像的图像特征值判断用户的表情类型，并将图像特征值与表情类型一一对应后存储于心情服务数据库中。
CN2011104403597A 2011-12-26 2011-12-26 电子设备及其根据脸部表情提供心情服务的方法 Pending CN102541259A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2011104403597A CN102541259A (zh) 2011-12-26 2011-12-26 电子设备及其根据脸部表情提供心情服务的方法
TW100149061A TWI475410B (zh) 2011-12-26 2011-12-28 電子設備及其根據臉部表情提供心情服務的方法
US13/663,380 US8847884B2 (en) 2011-12-26 2012-10-29 Electronic device and method for offering services according to user facial expressions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011104403597A CN102541259A (zh) 2011-12-26 2011-12-26 电子设备及其根据脸部表情提供心情服务的方法

Publications (1)

Publication Number Publication Date
CN102541259A true CN102541259A (zh) 2012-07-04

Family

ID=46348298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104403597A Pending CN102541259A (zh) 2011-12-26 2011-12-26 电子设备及其根据脸部表情提供心情服务的方法

Country Status (3)

Country Link
US (1) US8847884B2 (zh)
CN (1) CN102541259A (zh)
TW (1) TWI475410B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868815A (zh) * 2012-09-06 2013-01-09 北京天宇朗通通信设备股份有限公司 移动终端的信息分类方法及装置
CN102880388A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 音乐处理方法和装置及移动终端
CN102880387A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 电子书信息处理方法和装置及移动终端
CN102902726A (zh) * 2012-09-06 2013-01-30 北京天宇朗通通信设备股份有限公司 电子邮件的分类方法和装置
CN102929476A (zh) * 2012-09-06 2013-02-13 北京天宇朗通通信设备股份有限公司 终端主菜单的控制方法和装置
CN102946491A (zh) * 2012-11-23 2013-02-27 广东欧珀移动通信有限公司 一种根据用户心情自动调整壁纸的方法及系统
CN102957743A (zh) * 2012-10-18 2013-03-06 北京天宇朗通通信设备股份有限公司 数据推送方法及装置
CN103139348A (zh) * 2012-09-06 2013-06-05 北京天宇朗通通信设备股份有限公司 联系人信息处理方法和装置及移动终端
CN103136321A (zh) * 2012-09-06 2013-06-05 北京天宇朗通通信设备股份有限公司 多媒体信息处理方法和装置及移动终端
CN103164691A (zh) * 2012-09-20 2013-06-19 深圳市金立通信设备有限公司 基于手机用户的情绪识别系统及方法
CN103309449A (zh) * 2012-12-17 2013-09-18 广东欧珀移动通信有限公司 基于面部表情识别自动切换壁纸的移动终端及其方法
CN103399630A (zh) * 2013-07-05 2013-11-20 北京百纳威尔科技有限公司 表情录音方法和装置
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN103565445A (zh) * 2012-08-09 2014-02-12 英华达（上海）科技有限公司 情绪评估服务系统及其方法
CN103593049A (zh) * 2013-11-01 2014-02-19 小米科技有限责任公司 一种处理提醒消息的方法、装置及终端设备
US20140049563A1 (en) * 2012-08-15 2014-02-20 Ebay Inc. Display orientation adjustment using facial landmark information
CN103793848A (zh) * 2012-10-30 2014-05-14 三竹资讯股份有限公司 金融商品报价视图k线分析的装置与方法
CN103873512A (zh) * 2012-12-13 2014-06-18 深圳市赛格导航科技股份有限公司 基于脸部识别技术的车载无线传输音乐的方法
CN103869962A (zh) * 2012-12-18 2014-06-18 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN103984408A (zh) * 2013-02-07 2014-08-13 三星电子株式会社 支持语音对话功能的移动终端和语音对话方法
CN104202718A (zh) * 2014-08-05 2014-12-10 百度在线网络技术（北京）有限公司 一种向用户提供信息的方法与装置
CN104219444A (zh) * 2013-12-31 2014-12-17 华为技术有限公司 视频拍摄的处理方法及装置
CN104754110A (zh) * 2013-12-31 2015-07-01 广州华久信息科技有限公司 一种基于机器语音对话的情感发泄方法及手机
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居系统、智能家居控制的装置和方法
CN105797376A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种根据用户表情控制角色模型行为的方法和终端
CN105797374A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种配合脸部表情跟随发出相应语音的方法和终端
CN105868686A (zh) * 2015-12-31 2016-08-17 乐视网信息技术（北京）股份有限公司 视频分类方法及装置
CN106126992A (zh) * 2016-06-27 2016-11-16 惠州Tcl移动通信有限公司 一种基于人脸识别的智能服务提供方法、系统及智能终端
CN103488293B (zh) * 2013-09-12 2016-11-30 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN106362260A (zh) * 2016-11-09 2017-02-01 武汉智普天创科技有限公司 Vr情绪调节装置
CN106464939A (zh) * 2016-07-28 2017-02-22 北京小米移动软件有限公司 播放音效的方法及装置
CN103793844B (zh) * 2012-10-30 2017-07-07 三竹资讯股份有限公司 股市自动化技术分析的装置与方法
CN107092664A (zh) * 2017-03-30 2017-08-25 华为技术有限公司 一种内容解释方法及装置
CN107145326A (zh) * 2017-03-28 2017-09-08 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107491380A (zh) * 2017-07-27 2017-12-19 珠海市魅族科技有限公司 信息输出方法及装置、计算机装置及可读存储介质
CN108040284A (zh) * 2017-12-21 2018-05-15 广东欧珀移动通信有限公司 电台播放控制方法、装置、终端设备及存储介质
CN109260710A (zh) * 2018-09-14 2019-01-25 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
CN109670442A (zh) * 2018-12-17 2019-04-23 奥克斯空调股份有限公司 一种基于空气净化器的人体跟踪方法与装置
WO2020155981A1 (zh) * 2019-01-31 2020-08-06 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
CN111717219A (zh) * 2020-06-03 2020-09-29 智车优行科技（上海）有限公司 变换天窗图案的方法、系统及汽车
CN111831250A (zh) * 2020-07-10 2020-10-27 Oppo广东移动通信有限公司 音频处理方法、装置、存储介质及电子设备
WO2021115351A1 (zh) * 2019-12-10 2021-06-17 华为技术有限公司 一种表情制作方法和装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI603213B (zh) 2014-01-23 2017-10-21 國立交通大學 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
US20170177927A1 (en) * 2014-02-17 2017-06-22 Nec Solution Innovators, Ltd. Impression analysis device, game device, health management device, advertising support device, impression analysis system, impression analysis method, and program recording medium
US10445481B1 (en) * 2016-03-10 2019-10-15 Symantec Corporation Systems and methods for performing human-verification procedures
CN105956059A (zh) * 2016-04-27 2016-09-21 乐视控股（北京）有限公司 基于情绪识别的信息推荐方法和装置
US10657718B1 (en) * 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions
US10431107B2 (en) * 2017-03-07 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace for social awareness
US11106274B2 (en) * 2017-04-10 2021-08-31 Intel Corporation Adjusting graphics rendering based on facial expression
CN107341006B (zh) * 2017-06-21 2020-04-21 Oppo广东移动通信有限公司 锁屏壁纸推荐方法及相关产品
CN110263599A (zh) * 2018-03-12 2019-09-20 鸿富锦精密工业(武汉)有限公司 信息传送系统及信息传送方法
TWI680408B (zh) * 2018-05-26 2019-12-21 南開科技大學 可偵測銀髮族情緒之遊戲機結構
US11707694B2 (en) * 2019-12-06 2023-07-25 Virginie Mascia Message delivery apparatus and methods

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917585A (zh) * 2010-08-13 2010-12-15 宇龙计算机通信科技(深圳)有限公司 调节视频电话向对端发送的视频信息的方法、装置及终端
CN202025333U (zh) * 2010-12-16 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
TWI411935B (zh) * 2009-12-25 2013-10-11 Primax Electronics Ltd 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
KR101640767B1 (ko) * 2010-02-09 2016-07-29 삼성전자주식회사 이종 수행 환경을 위한 네트워크 기반의 실시간 가상 현실 입출력 시스템 및 가상 현실 입출력 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917585A (zh) * 2010-08-13 2010-12-15 宇龙计算机通信科技(深圳)有限公司 调节视频电话向对端发送的视频信息的方法、装置及终端
CN202025333U (zh) * 2010-12-16 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载终端

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103565445A (zh) * 2012-08-09 2014-02-12 英华达（上海）科技有限公司 情绪评估服务系统及其方法
US11687153B2 (en) 2012-08-15 2023-06-27 Ebay Inc. Display orientation adjustment using facial landmark information
US20140049563A1 (en) * 2012-08-15 2014-02-20 Ebay Inc. Display orientation adjustment using facial landmark information
US10890965B2 (en) * 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
CN103136321A (zh) * 2012-09-06 2013-06-05 北京天宇朗通通信设备股份有限公司 多媒体信息处理方法和装置及移动终端
CN102929476A (zh) * 2012-09-06 2013-02-13 北京天宇朗通通信设备股份有限公司 终端主菜单的控制方法和装置
CN103139348A (zh) * 2012-09-06 2013-06-05 北京天宇朗通通信设备股份有限公司 联系人信息处理方法和装置及移动终端
CN102880388A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 音乐处理方法和装置及移动终端
CN102880387A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 电子书信息处理方法和装置及移动终端
CN102902726A (zh) * 2012-09-06 2013-01-30 北京天宇朗通通信设备股份有限公司 电子邮件的分类方法和装置
CN102868815A (zh) * 2012-09-06 2013-01-09 北京天宇朗通通信设备股份有限公司 移动终端的信息分类方法及装置
CN103164691A (zh) * 2012-09-20 2013-06-19 深圳市金立通信设备有限公司 基于手机用户的情绪识别系统及方法
CN102957743A (zh) * 2012-10-18 2013-03-06 北京天宇朗通通信设备股份有限公司 数据推送方法及装置
CN103793844B (zh) * 2012-10-30 2017-07-07 三竹资讯股份有限公司 股市自动化技术分析的装置与方法
CN103793848A (zh) * 2012-10-30 2014-05-14 三竹资讯股份有限公司 金融商品报价视图k线分析的装置与方法
CN102946491A (zh) * 2012-11-23 2013-02-27 广东欧珀移动通信有限公司 一种根据用户心情自动调整壁纸的方法及系统
CN102946491B (zh) * 2012-11-23 2014-11-05 广东欧珀移动通信有限公司 一种根据用户心情自动调整壁纸的方法及系统
CN103873512A (zh) * 2012-12-13 2014-06-18 深圳市赛格导航科技股份有限公司 基于脸部识别技术的车载无线传输音乐的方法
CN103309449A (zh) * 2012-12-17 2013-09-18 广东欧珀移动通信有限公司 基于面部表情识别自动切换壁纸的移动终端及其方法
CN103869962A (zh) * 2012-12-18 2014-06-18 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN103984408A (zh) * 2013-02-07 2014-08-13 三星电子株式会社 支持语音对话功能的移动终端和语音对话方法
CN103399630A (zh) * 2013-07-05 2013-11-20 北京百纳威尔科技有限公司 表情录音方法和装置
CN103488293B (zh) * 2013-09-12 2016-11-30 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN103593049A (zh) * 2013-11-01 2014-02-19 小米科技有限责任公司 一种处理提醒消息的方法、装置及终端设备
US10129467B2 (en) 2013-12-31 2018-11-13 Huawei Technologies Co., Ltd. Video photographing processing method and apparatus
CN104219444A (zh) * 2013-12-31 2014-12-17 华为技术有限公司 视频拍摄的处理方法及装置
CN104754110A (zh) * 2013-12-31 2015-07-01 广州华久信息科技有限公司 一种基于机器语音对话的情感发泄方法及手机
CN104219444B (zh) * 2013-12-31 2018-09-21 华为技术有限公司 视频拍摄的处理方法及装置
CN104202718A (zh) * 2014-08-05 2014-12-10 百度在线网络技术（北京）有限公司 一种向用户提供信息的方法与装置
CN105797376A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种根据用户表情控制角色模型行为的方法和终端
CN105797374A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种配合脸部表情跟随发出相应语音的方法和终端
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105868686A (zh) * 2015-12-31 2016-08-17 乐视网信息技术（北京）股份有限公司 视频分类方法及装置
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居系统、智能家居控制的装置和方法
CN106126992A (zh) * 2016-06-27 2016-11-16 惠州Tcl移动通信有限公司 一种基于人脸识别的智能服务提供方法、系统及智能终端
CN106126992B (zh) * 2016-06-27 2020-03-06 惠州Tcl移动通信有限公司 一种基于人脸识别的智能服务提供方法、系统及智能终端
WO2018018482A1 (zh) * 2016-07-28 2018-02-01 北京小米移动软件有限公司 播放音效的方法及装置
CN106464939A (zh) * 2016-07-28 2017-02-22 北京小米移动软件有限公司 播放音效的方法及装置
CN106362260A (zh) * 2016-11-09 2017-02-01 武汉智普天创科技有限公司 Vr情绪调节装置
CN107145326A (zh) * 2017-03-28 2017-09-08 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107145326B (zh) * 2017-03-28 2020-07-28 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107092664A (zh) * 2017-03-30 2017-08-25 华为技术有限公司 一种内容解释方法及装置
US11574203B2 (en) 2017-03-30 2023-02-07 Huawei Technologies Co., Ltd. Content explanation method and apparatus
CN107491380A (zh) * 2017-07-27 2017-12-19 珠海市魅族科技有限公司 信息输出方法及装置、计算机装置及可读存储介质
CN108040284A (zh) * 2017-12-21 2018-05-15 广东欧珀移动通信有限公司 电台播放控制方法、装置、终端设备及存储介质
CN109260710B (zh) * 2018-09-14 2021-10-01 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
CN109260710A (zh) * 2018-09-14 2019-01-25 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
CN109670442A (zh) * 2018-12-17 2019-04-23 奥克斯空调股份有限公司 一种基于空气净化器的人体跟踪方法与装置
WO2020155981A1 (zh) * 2019-01-31 2020-08-06 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
WO2021115351A1 (zh) * 2019-12-10 2021-06-17 华为技术有限公司 一种表情制作方法和装置
US11941323B2 (en) 2019-12-10 2024-03-26 Huawei Technologies Co., Ltd. Meme creation method and apparatus
CN111717219A (zh) * 2020-06-03 2020-09-29 智车优行科技（上海）有限公司 变换天窗图案的方法、系统及汽车
CN111831250A (zh) * 2020-07-10 2020-10-27 Oppo广东移动通信有限公司 音频处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US8847884B2 (en) 2014-09-30
TW201327226A (zh) 2013-07-01
TWI475410B (zh) 2015-03-01
US20130162524A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN102541259A (zh) 电子设备及其根据脸部表情提供心情服务的方法
CN108156522A (zh) 主页内容推送方法、装置及计算机可读存储介质
CN107569848A (zh) 一种游戏分类方法、装置及电子设备
CN103024521A (zh) 节目筛选方法、系统及具有该系统的电视
CN108196751A (zh) 群聊头像的更新方法、终端和计算机可读存储介质
CN105354018A (zh) 用于更换显示背景的方法、装置及设备
CN106162357B (zh) 获取视频内容的方法及装置
CN106569691A (zh) 移动终端应用图标排列方法和系统
CN105376515A (zh) 用于视频通讯的通讯信息的呈现方法、装置及系统
CN108475260A (zh) 基于评论的媒体内容项的语言识别的方法、系统和介质
CN109891405A (zh) 基于用户装置的消费模式来修改视频内容在用户装置上的呈现的方法、系统和介质
WO2022078167A1 (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN106791981A (zh) 直播视频流传输控制方法、装置和终端设备
CN109151565A (zh) 播放语音的方法、装置、电子设备及存储介质
CN108198162A (zh) 照片处理方法、移动终端、服务器、系统、存储介质
CN106128440A (zh) 一种歌词显示处理方法、装置、终端设备及系统
CN108763452A (zh) 基于大数据的游戏应用推送方法、系统及计算机存储介质
CN103702222A (zh) 移动终端的互动信息生成方法及其视频文件播放方法
CN107391608B (zh) 图片显示方法、装置、存储介质及电子设备
CN112839195A (zh) 一种会议记录的查阅方法、装置、计算机设备及存储介质
CN109976758A (zh) 基于安卓系统的ui控件轮播方法、电视终端及存储介质
CN107609065B (zh) 一种游戏分类方法、装置及电子设备
CN104049833A (zh) 基于个人生物特征的终端屏幕图像显示方法及装置
CN106162254A (zh) 一种用户语音分析方法及系统
CN111031183A (zh) 彩铃播放方法、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704