CN107807947A - 基于情绪状态检测在电子设备上提供推荐的系统和方法 - Google Patents

基于情绪状态检测在电子设备上提供推荐的系统和方法 Download PDF

Info

Publication number
CN107807947A
CN107807947A CN201710788154.5A CN201710788154A CN107807947A CN 107807947 A CN107807947 A CN 107807947A CN 201710788154 A CN201710788154 A CN 201710788154A CN 107807947 A CN107807947 A CN 107807947A
Authority
CN
China
Prior art keywords
emotional state
electronic equipment
user
content item
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710788154.5A
Other languages
English (en)
Other versions
CN107807947B (zh
Inventor
P·钦塔拉普蒂
H·萨达瓦尼
M·苏利巴哈维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107807947A publication Critical patent/CN107807947A/zh
Application granted granted Critical
Publication of CN107807947B publication Critical patent/CN107807947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本文公开一种基于情绪状态检测在电子设备上提供推荐的系统和方法的各个方面。根据实施例，所述系统包括电子设备，该电子设备被配置成检测与所述电子设备关联的用户的从第一情绪状态到第二情绪状态的情绪状态转变。基于所述用户的身份信息和所述检测到的转变，从网络设备取回与所述用户的第二情绪状态关联的标记内容项目。在所述电子设备上启动应用，以推荐与取回的标记内容项目有关的产品或服务。可以响应于检测到的所述用户的情绪状态的转变和所述电子设备的当前位置，启动所述应用。

Description

基于情绪状态检测在电子设备上提供推荐的系统和方法
相关申请的引用
无。
技术领域
本公开的各种实施例涉及用户的情绪状态的检测。更具体地，本公开的各种实施例涉及基于用户的情绪状态检测在电子设备上提供推荐的系统和方法。
背景技术
已经知道情绪在人类生活中起着重要作用，并且可能导致某些生理和行为表现(诸如心跳或面部表情的变化)。虽然已经进行了识别用户的情绪的尝试，但是现有系统仍然缺乏在情绪上或者同感地与用户相联系的能力。专注于向用户推荐相关内容的现有系统很难考虑到适于终端消费者的实际使用的人类情绪状态的变化。因此，可需要一种能够以智能的方式采用人类情绪状态的这样的变化来提供具有增强的实际可用性的基于情绪的推荐的先进系统。
通过说明的系统与在本申请的剩余部分中记载的并参考附图的本公开的一些方面的比较，对本领域的技术人员而言，常规和传统方法的另外的限制和缺陷将变得明显。
发明内容
提供一种基于用户的情绪状态检测在电子设备上提供推荐的系统和方法，如权利要求书中所记载的该系统和方法实质上如附图至少之一中所示和/或是结合附图至少之一的。
在查阅了本公开的以下详细说明以及附图，可以理解本公开的这些及其他特征和优点，其中在附图中，相似的附图标记指示相似的部分。
附图说明
图1是示出根据本公开的实施例的基于用户的情绪状态检测在电子设备上提供推荐的网络环境的框图。
图2示出了根据本公开的实施例的基于用户的情绪状态检测提供推荐的示例性电子设备的框图。
图3示出了根据本公开的实施例的基于用户的情绪状态检测提供推荐的另一示例性电子设备的框图。
图4A和图4B共同示出了根据本公开的实施例的、用于基于情绪状态检测在电子设备上提供推荐的所公开的系统和方法的实现的第一示例性情形。
图5A和图5B共同示出了根据本公开的实施例的、用于基于情绪状态检测在电子设备上提供推荐的所公开的系统和方法的实现的第二示例性情形。
图6示出了根据本公开的实施例的描述了基于用户的情绪状态检测在电子设备上提供推荐的示例性方法的第一流程图。
图7A和图7B共同示出了根据本公开的实施例的描述了基于用户的情绪状态检测在电子设备上提供推荐的另一示例性方法的第二流程图。
具体实施方式
在公开的基于用户的情绪状态检测在电子设备上提供推荐的系统和方法中可以发现下述的实现。本公开的示例性方面可以包括一种电子设备，所述电子设备可以检测与所述电子设备关联的用户的从第一情绪状态到第二情绪状态的情绪状态转变。基于用户的身份信息和检测到的转变，可以从网络设备取回与用户的第二情绪状态关联的标记内容项目。可以在所述电子设备上启动应用，以推荐与取回的标记内容项目有关的产品或服务。可以响应于检测到的用户的情绪状态的转变和所述电子设备的当前位置，启动所述应用。
根据实施例，第一情绪状态和第二情绪状态可以对应于中性、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和温柔。网络设备可以对应于无线家庭网络中的连接到所述电子设备的另一个电子设备、服务器和/或基于云的服务。
根据实施例，传感器数据可以从与用户关联的可穿戴设备和/或电子设备的内置相机接收。传感器数据还可以对应于电子设备上的基于文本的输入和/或电子设备上的基于语音的输入，以用于检测用户的情绪状态的转变。
根据实施例，可以在电子设备上，基于取回的标记内容项目，搜索所述产品或服务。可以基于检测到的用户的情绪状态的转变，动态地定制电子设备的主屏幕界面。此外，可以基于网络设备中的与第二情绪状态关联的最后标记内容项目，动态地定制电子设备的主屏幕界面。
根据本公开的示例性方面，对于在电子设备上观看内容项目的用户，可以检测从第一情绪状态到第二情绪状态的情绪状态转变。可以将在检测到的转变期间观看的内容项目的一部分与用户的第二情绪状态关联。可以在与第二情绪状态关联的内容项目的所述部分中，标识检测到的到第二情绪状态的转变的原因。基于标识的原因，可以生成对于产品或服务的推荐。可以响应于检测到的用户的情绪状态转变和电子设备的当前位置，生成所述推荐。
根据实施例，内容项目的所述部分中的标识原因可以对应于内容项目的所述部分的图像、该图像帧中的对象、上下文。在电子设备上的观看内容项目的期间，可以确定用户的第二情绪状态的级别。当确定的级别大于阈值时，可以将内容项目的所述部分与第二情绪状态关联。
根据实施例，内容项目的所述部分中的标识原因可用第二情绪状态、用户的身份信息、检测到的转变的时间戳、和/或确定的第二情绪状态的级别标记。可以利用预先指定的搜索引擎，为所述推荐实时或近实时地搜索与和第二情绪状态关联的标记原因有关的产品或服务。
根据实施例，内容项目的所述部分中的标记原因可被传送给通信地耦接到所述电子设备的服务器或网络设备。在所述电子设备或者通信地耦接到所述电子设备的另一个电子设备上，可以控制生成的对于产品或服务的推荐的显示。
根据实施例，可以向另一个电子设备传送通知来解锁所述另一个电子设备的主屏幕界面，以显示生成的推荐。根据实施例，可以基于与生成的推荐的使用模式关联的机器学习，更新生成的推荐。
图1是示出根据本公开的实施例的基于用户的情绪状态检测在电子设备上提供推荐的网络环境的框图。参考图1，示出了示例性的网络环境100。示例性的网络环境100可以包括一个或多个电子设备(诸如第一电子设备102和第二电子设备104)、服务器106、一个或多个可穿戴设备108、通信网络110以及一个或多个用户(诸如用户112)。图中还示出了与用户112关联的多种情绪状态114。
第一电子设备102可以包括图像捕捉单元102a、显示屏幕102b和呈现在显示屏幕102b上的应用界面102c。类似地，第二电子设备104可以包括图像捕捉单元104a、显示屏幕104b和应用界面104c。第一电子设备102、第二电子设备104和服务器106可以是能够经由通信网络110相互通信地耦接的网络设备。一个或多个可穿戴设备108可以经由单独的短程通信信道，或者经由通信网络110，通信地耦接到一个或多个电子设备之一(诸如第一电子设备102或第二电子设备104)。用户112可以与一个或多个可穿戴设备108、第一电子设备102和/或第二电子设备104关联。
一个或多个电子设备(诸如第一电子设备102和第二电子设备104)可以包括可被配置成检测用户112的从第一情绪状态到第二情绪状态的情绪状态转变的适当逻辑、电路、接口和/或代码。第一电子设备102和第二电子设备104的示例可以包括(但不限于)智能电视机(TV)、智能电话、显示设备、膝上型计算机、平板计算机、相机、运动摄像机、摄录机、数字标牌、投影仪和/或视频处理设备。
图像捕捉单元102a和104a可以包括可被配置成捕捉用户112的一个或多个图像或视频的适当逻辑、电路、接口和/或代码。根据实施例，图像捕捉单元102a和104a可以指的是相应的电子设备的内置相机或图像传感器。
显示屏幕102b和104b可以包括可被配置成呈现如示出的相应的应用界面102c和104c的适当逻辑、电路、接口和/或代码。可以通过几种已知技术(诸如液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示器技术、视网膜显示器技术和/或类似的技术)，实现显示屏幕102b和104b。
应用界面102c和104c可以对应于预先存储在相应电子设备(诸如第一电子设备102和第二电子设备104)处的应用。应用界面102c可被配置成在第一电子设备102的显示屏幕102b上呈现一个或多个内容项目(诸如视频或TV节目)。可以在第二电子设备104的显示屏幕104b上呈现应用界面104c。应用界面104c可以有利于用户112与第二电子设备104(诸如智能电话)的互动。根据实施例，应用界面104c可以对应于显示在第二电子设备104的显示屏幕104b上的主屏幕。
服务器106可以包括可被配置成从第一电子设备102接收和存储利用用户(诸如用户112)的特定情绪状态标记的标记内容项目或者内容项目的一部分(诸如一系列图像帧)的适当逻辑、电路、接口和/或代码。通过使用各种电子设备(诸如第一电子设备102、第二电子设备104和一个或多个可穿戴设备108)，可以监视并持续跟踪用户112的情绪状态的转变。服务器106还可被配置成从各种电子设备(诸如第一电子设备102、第二电子设备104和一个或多个可穿戴设备108)接收与检测到的带有时间戳的情绪状态的转变有关的信息。服务器106可以是基于云的服务器、网络(web)服务器、数据库服务器、文件服务器、应用服务器、或者它们的组合。可以使用本领域的技术人员公知的几种技术来实现服务器106。
一个或多个可穿戴设备108可以指的是可穿戴电子产品和/或电子植入物。一个或多个可穿戴设备108可以包括可被配置为将传感器数据传送给连接的设备(诸如第一电子设备102或第二电子设备104)的适当逻辑、电路、接口和/或代码。该一个或多个可穿戴设备108可由用户112穿戴。例如，用户112穿戴的智能眼镜、智能手环或智能手表可以被用于测量用户112的卡路里摄入量、消耗的卡路里、睡眠模式和/或生理参数(诸如排汗或心率)或者体育活动。一个或多个可穿戴设备108的示例可以包括(但不限于)可穿戴心脏事件记录仪、生物相容传感器(可以附着、穿戴或植入人体中，以预测排卵周期、监视生理参数(诸如心率、脉搏血氧饱和度、呼吸速率和/或血压))、可植入射频设备(诸如“Obamacare微芯片RDID植入物”)和/或可提供与用户112的生理参数的监视有关的传感器数据，以追踪用户112的情绪状态的其他这样的可穿戴或可植入设备。
通信网络110可以包括第一电子设备102、第二电子设备104、一个或多个可穿戴设备108和服务器106可以通过其相互通信的介质。通信网络110可以是无线通信网络。通信网络110的示例可以包括(但不限于)无线局域网(WLAN)(诸如无线家庭网)、云网络、“All-joyn”或物联网(IoT)通信框架、长期演进(LTE)网络、简易老式电话服务(POTS)、城域网(MAN)和/或因特网。在示例性网络环境100中的各种设备可被配置成根据各种无线通信协议连接到通信网络110。这样的无线通信协议的示例可以包括(但不限于)传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、802.16、长期演进(LTE)、光保真(Li-Fi)、和/或其他蜂窝通信协议或蓝牙(BT)通信协议。
多种情绪状态114指的是由第一电子设备102和/或第二电子设备104检测到的一个或多个用户(诸如用户112)的情绪状态。多种情绪状态114(诸如“EM1、EM2、EM3…、EMn”)可以包括中性、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和/或温柔情绪。基于由图像捕捉单元102a或104a捕捉的用户112的一个或多个图像或视频，可以检测多种情绪状态114。根据实施例，一个或多个用户中的每一个(诸如用户112)均可与一个或多个可穿戴设备108关联，该一个或多个可穿戴设备108可以与第一电子设备102和/或第二电子设备104通信地耦接。从一个或多个可穿戴设备108接收的传感器数据还可以被进一步用于监视或跟踪用户112的情绪状态的转变。
操作中，第一电子设备102可被配置成接收一个或多个内容项目。一个或多个内容项目可以经由通信网络110从服务器106、网络服务提供商的其他服务器(未示出)、或者网络设备处接收。一个或多个内容项目可以是从订阅的网络服务提供商处接收的视频(诸如TV频道的TV节目、电影、TV广告)。一个或多个内容项目也可以是预先存储在第一电子设备102处或者连接在无线网络(诸如通信网络110)中的网络设备处的视频、图像或其他文件。一个或多个内容项目还可以对应于可以由第一电子设备102从因特网访问的网页(web)内容。第一电子设备102可被配置成经由应用界面102c呈现接收的内容项目中的至少一个内容项目(诸如视频)。
根据实施例，一个或多个用户(诸如用户112)可能正在显示屏幕102b上观看呈现的内容项目(诸如视频)。第一电子设备102可以通过使用图像捕捉单元102a来捕捉可以正在观看第一电子设备102上的内容项目的用户112的一个或多个图像或视频。此外，从一个或多个可穿戴设备108接收的传感器数据还可被用于监视或跟踪用户112的生理和/或行为特性，以检测用户112的情绪状态的转变。
根据实施例，第一电子设备102可被配置成检测在第一电子设备102上观看第一内容项目的用户112的从第一情绪状态到第二情绪状态的情绪状态转变。例如，用户112的从中性情绪状态到兴奋情绪状态的转变。第一情绪状态和第二情绪状态可以对应于多种情绪状态114。
根据实施例，当在第一电子设备102上观看第一内容项目的同时，可以在另一个电子设备(诸如第二电子设备104)上提供基于语音的输入或基于文本的输入。第二电子设备104还可以基于接收的基于语音的输入和/或基于文本的输入，监视用户112的情绪状态。当在第二电子设备104处检测到用户112的情绪状态的转变时，这样的信息可以被传送给连接的网络设备(诸如第一电子设备102或服务器106)。可以不断或定期地进行这种通信，并且可以相应报告和更新最后检测到的用户112的情绪状态的转变。因此，通过使用各种电子设备(诸如第一电子设备102、第二电子设备104和一个或多个可穿戴设备108)可以监视并持续跟踪用户112的情绪状态的转变。当主设备(诸如第一电子设备102)处于关闭状态时，次要设备(诸如一个或多个可穿戴设备108、第二电子设备104或其他设备)可以基于以前的使用模式数据来控制情绪跟踪并且相应地动作。服务器106可被进一步配置成从各种电子设备(诸如第一电子设备102、第二电子设备104和一个或多个可穿戴设备108)接收与检测到的带有时间戳的情绪状态的转变有关的信息。
根据实施例，第一电子设备102可被配置成在第一电子设备102上的第一内容项目的观看期间，确定用户112的第二情绪状态的级别。在用户112在观看第一内容项目的同时所确定的级别可以对应于特定情绪状态的等级(诸如从快乐(等级5.1)到非常快乐(等级5.5)再到兴奋或欢呼状态(等级5.9))。类似地，针对其他检测的情绪状态，可以检测情绪状态的级别。
根据实施例，第一电子设备102可被配置成使在检测到转变的期间观看的第一内容项目的一部分与用户112的第二情绪状态关联。当确定的级别大于阈值时，可以将第一内容项目的部分与第二情绪状态关联。
根据实施例，第一电子设备102可被配置成在与第二情绪状态关联的第一内容项目的部分中标识检测到的到第二情绪状态的转变的原因。第一内容项目的部分中的经标识的原因可以对应于第一内容项目的部分的图像帧、图像帧中的对象、上下文或主题。
根据实施例，第一电子设备102可被配置成利用一个或多个参数来标记第一内容项目的部分中的标识原因。一个或多个参数可以是第二情绪状态、用户112的身份信息、检测到的转变的时间戳和/或确定的第二情绪状态的级别。第一电子设备102可被配置成把第一内容项目的部分中的经标记的原因传送给服务器106或通信地耦接到第一电子设备102的网络设备。图4A中示出并描述了示例性情形，以进一步详细解释这些特征。
根据实施例，第一电子设备102可被配置成实时或近实时地搜索与和第二情绪状态关联的标记原因有关的产品或服务。可以基于标记原因通过使用预先指定的搜索引擎来进行搜索。与标记原因有关的搜索可以是经由因特网搜索引擎的全局搜索或者根据预定设置的局部搜索。第一电子设备102可被配置成响应于检测到的用户112的情绪状态的转变以及第一电子设备的当前位置，基于标识原因来生成产品或服务的推荐。
根据实施例，第一电子设备102可被配置成向第二电子设备104(诸如智能电话)传送通知来解锁第二电子设备104的主屏幕界面，以显示生成的推荐。当用户112可能远离第一电子设备102时，或者当用户112可能不在第一电子设备102的直接视线之内时，可以传送这样的通知。
根据实施例，在第一电子设备102处检测到的到第二情绪状态的转变可以被携带到第二电子设备104(诸如智能电话)。即使在第二电子设备104的主屏幕界面被解锁之前，第二电子设备104也可以决定在第二电子设备104处从预先安装的应用取回的什么内容、应用、墙纸、衍生数据可能适合于用户112维持先前在第一电子设备102处检测的第二情绪状态。当最后检测到的情绪状态(诸如第二情绪状态)是积极的情绪(诸如快乐)而不是消极的情绪(诸如忧愁)时，可以在多个电子设备之间进行情绪状态的这种无缝维持或携带。
例如，用户112正在第一电子设备102上观看板球比赛。在某些情形下，用户112可需要移动到远离第一电子设备102的另一个位置(诸如可以驾驶车辆)。在这样的情形下，第二电子设备104可被配置成在用户112驾驶车辆的时候，在第二电子设备104上提供推荐或者进行某些动作(诸如“进行板球解说”)，经由应用界面104c提供“板球得分提示”。因此，在第一电子设备102检测到的到第二情绪状态的转变可被携带到第二电子设备104(诸如智能电话)。
根据实施例，在某些情形下，消极情绪(诸如无聊、愤怒、忧愁、困惑或恼怒)可以是在第一电子设备102处最后检测到的情绪状态。在这样的情形下，第二电子设备104可决定从预先安装的应用取回的什么推荐、内容、应用、墙纸、衍生数据可能适合于用户112改变或影响先前在第一电子设备102检测到的用户112的消极情绪状态。从预先安装的应用取回的这样的推荐、内容、应用、墙纸、衍生数据可能对于在第二电子设备104处把用户112的消极情绪状态改变成积极情绪状态(诸如快乐情绪状态)是有用的。
根据实施例，第二电子设备104(诸如智能电话)可被配置成进一步检测与第二电子设备104关联的用户112的从第一情绪状态到第二情绪状态的情绪状态转变。为了用户112的情绪状态转变的检测，第二电子设备104可以利用从与用户112关联的一个或多个可穿戴设备108接收的数据(诸如，传感器数据)和/或从第二电子设备104的内置相机(诸如图像捕捉单元104a)接收的数据。根据实施例，为了检测用户112的情绪状态的转变，第二电子设备104还可以利用在第二电子设备104上的基于文本的输入和/或基于语音的输入。
根据实施例，第二电子设备104可被配置成基于从一个或多个可穿戴设备108接收的传感器数据、通过使用内置相机(诸如图像捕捉单元104a)和/或接收的基于文本的输入和/或基于语音的输入，来标识用户112。根据实施例，第二电子设备104(诸如智能电话)可被配置成基于用户112的身份信息和检测到的转变，从网络设备取回与检测到的用户112的第二情绪状态关联的标记内容项目。网络设备可以对应于服务器106、在无线家庭网络(诸如通信网络110)中连接到第二电子设备104的另一个电子设备(诸如第一电子设备102)和/或其他订阅的基于云的服务。
根据实施例，第二电子设备104可被配置成基于在第二电子设备104中取回的标记内容项目，搜索一个或多个产品或服务。根据实施例，第二电子设备104可被配置成在第二电子设备104上启动应用来推荐至少与取回的标记内容项目有关的产品或服务。可以响应于检测到的用户112的情绪状态的转变和第二电子设备104的当前位置而启动应用。图4B中示出并描述了示例性情形，以进一步详细解释该特征。
图2示出根据本公开的实施例的基于用户的情绪状态检测来提供推荐的示例性电子设备的框图。结合来自图1的要素对图2进行说明。参考图2，示出了第一电子设备102。第一电子设备102可包含一个或多个处理器(诸如处理器202)、存储器204、一个或多个输入/输出(I/O)设备(诸如I/O设备206)、情绪处理电路208和网络接口210。存储器可以包括情绪学习引擎212和推荐学习引擎214。还示出了I/O设备206中的图像捕捉单元102a、显示屏幕102b和应用界面102c。
处理器202可通信地耦接到存储器204、I/O设备206、情绪处理电路208和网络接口210。网络接口210可以在处理器202的控制下，经由通信网络110与服务器106通信。
处理器202可以包括可被配置成执行存储在存储器204中的一组指令的适当逻辑、电路、接口和/或代码。可以基于本领域中已知的许多处理器技术来实现处理器202。处理器202的示例可以是基于X86的处理器、基于X86-64的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、中央处理单元(CPU)、显式并行指令计算(Explicitly Parallel Instruction Computing,EPIC)处理器、超长指令字(VLIW)处理器和/或其他处理器或控制电路。
存储器204可以包括可被配置成存储可由处理器202执行的机器代码和/或一组指令的适当逻辑、电路和/或接口。存储器204还可被配置成存储捕捉的用户112的图像或视频以及从一个或多个可穿戴设备108接收的传感器数据。存储器204还可被配置成存储应用界面102c以及与情绪学习引擎212和推荐学习引擎214关联的各种数据、函数和训练数据集。存储器204还可被配置成存储操作系统和关联的应用。存储器204的实现示例可以包括(但不限于)随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。
I/O设备206可以包括可被配置成接收来自一个或多个用户(诸如用户112)的输入的适当逻辑、电路、接口和/或代码。I/O设备206还可被配置成向一个或多个用户提供输出。I/O设备206可包含可以被操作为与处理器202通信的各种输入设备和输出设备。输入设备的示例可以包括(但不限于)图像捕捉单元102a、触摸屏、键盘、红外传感器、鼠标、控制手柄、麦克风、运动传感器、光传感器、一个或多个传感器(诸如地理空间位置检测传感器)和/或对接站。输出设备的示例可以包括(但不限于)显示屏幕102b、投影仪屏幕和/或扬声器。
情绪处理电路208可以包括可被配置成处理利用图像捕捉单元102a捕捉的一个或多个图像或视频的适当逻辑、电路和/或接口。情绪处理电路208还可被配置成处理从与用户112关联的一个或多个可穿戴设备108接收的传感器数据，以检测用户112的情绪状态的转变。情绪处理电路208可被配置成基于捕捉的一个或多个图像、视频和/或传感器数据的处理，连续地检测用户112的情绪状态的转变。情绪处理电路208还可被配置成在与第二情绪状态关联的内容项目的某个部分(诸如某些图像帧)中，识别检测到的到第二情绪状态的转变的原因。
根据实施例，情绪处理电路208可以是处理器202的一部分。替代地，情绪处理电路208可被实现成在第一电子设备102中的独立处理器或电路。根据实施例，情绪处理电路208和处理器202可被实现成执行情绪处理电路208和处理器202的功能的集成处理器或者处理器集群。根据实施例，情绪处理电路208可被实现成存储在存储器204中的一组指令，当由处理器202执行时，一组指令可执行第一电子设备102的功能。
网络接口210可以包括可被配置成经由通信网络110(如图1中所示)，与第二电子设备104、一个或多个可穿戴设备108和服务器106通信的适当逻辑、电路、接口和/或代码。网络接口210可实现支持第一电子设备102与通信网络110的有线或无线通信的已知技术。网络接口210可以包括(但不限于)天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片集、订户身份模块(SIM)卡和/或本地缓冲器。网络接口210可以经由有线或无线通信，与通信网络110通信。无线通信可以使用一种或多种通信标准、协议和技术(诸如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址接入(W-CDMA)、码分多址接入(CDMA)、时分多址接入(TDMA)、蓝牙、长期演进(LTE)、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、光保真(Li-Fi)、因特网协议话音(VoIP)、Wi-MAX、电子邮件用协议、即时消息接发和/或短消息服务(SMS)。
情绪学习引擎212可以是可被配置成把人类对象(诸如用户112)的不同情绪分类到多种情绪状态114之一的机器学习模型。根据实施例，情绪学习引擎212可以是基于历史数据训练的分类器。可以被利用于训练分类器或情绪学习引擎212的一种或多种技术的示例包括(但不限于)支持向量机(SVM)、逻辑回归、贝叶斯分类器、决策树分类器、基于Copula的分类器、K最近邻(KNN)分类器或者随机森林(RF)分类器。
根据实施例，在训练阶段中，通过使用情绪学习引擎212，多种情绪状态114可被指定数值。例如，情绪可被分类到多种情绪状态114之一中(诸如“0＝中性、1＝愤怒、2＝蔑视、3＝厌恶、4＝害怕、5＝快乐、6＝忧愁、7＝惊讶”)。多种情绪状态114中的每一种可以进一步被细分成不同级别，诸如5.1、5.2、5.3…、5.9可表示快乐的级别(或等级)，其中根据该顺序，5.1可表示快乐，5.9可表示快乐的最高级别(诸如兴奋)。类似地，1.9可表示非常愤怒。为了检测不同的情绪(诸如快乐情绪、忧愁情绪或愤怒情绪)，可以预先训练情绪学习引擎212。
推荐学习引擎214可以是可被配置成在第一电子设备102中的基于与用户112对生成的推荐的使用模式相关联的机器学习，以更新生成的推荐的另一个机器学习模型。可被利用于训练推荐学习引擎214的一种或多种技术的示例可以包括(但不限于)基于线性回归的方法、神经网络、贝叶斯网络、支持向量机(SVM)、基于决策树的方法和/或基于最近邻的方法。
操作中，处理器202可被配置成通过使用图像捕捉单元102a来捕捉在第一电子设备102上观看内容项目的用户112的一个或多个图像或视频。情绪处理电路208可被配置成在用户112观看视频内容的同时，连续地监视用户112的生理和/或行为特性。根据实施例，用户112的生理和/或行为特性可以对应于面部表情、手或脸的移动、用户坐姿、身体姿势和/或声音模式。单独或者组合地采用的用户112的这种生理和/或行为特性可提高用户112的当前情绪状态的检测的精确性。可以基于捕捉的用户112的一个或多个图像或视频的分析来监视用户112的生理和/或行为特性。
根据实施例，处理器202可被配置成从一个或多个可穿戴设备108接收传感器数据，以监视或跟踪用户112的生理和/或行为特性。传感器数据可以对应于各种人类生理参数(诸如血压、排汗、心率、体温等)的测量值。例如，与高排汗速度相联系的、通过使用图像处理技术基于一个或多个因素的分析而检测到的忧愁或焦虑情绪状态可确认较高的焦虑级别。
根据实施例，情绪处理电路208可被配置成检测用户112的从第一情绪状态(诸如中性)到第二情绪状态(诸如快乐、愤怒或兴奋)的情绪状态转变。第一情绪状态和第二情绪状态可以对应于多种情绪状态114。
根据实施例，情绪处理电路208可被配置成在第一电子设备102上的观看内容项目的期间，检测用户112的从中性到其他高峰情绪(诸如忧愁、愤怒、蔑视、害怕、惊讶、困惑、温柔的不同情绪状态转变。例如，在第一时刻，可以检测到从中性情绪状态到快乐情绪状态的用户112的第一情绪状态转变。类似地，在观看内容项目的期间，在第二时刻，可以检测到从中性情绪状态到愤怒情绪状态的用户112的第二情绪状态转变。根据实施例，多个用户可能同时在第一电子设备102上观看内容项目。在这样的实施例中，情绪处理电路208可被配置成同时监视在第一电子设备102上观看内容项目的多个用户的情绪并检测其情绪状态的转变。例如，多个用户可能进行小组讨论。情绪处理电路208可被配置成基于小组讨论的录音和/或基于从与小组中的每个用户关联的一个或多个可穿戴设备108捕捉的生理参数，同时监视情绪并检测情绪状态的转变。随后，可以根据检测到的转变生成推荐，并且可以将推荐显示在诸如TV或显示设备之类的公共媒体屏幕中，或者可以将推荐传送给个人的设备(诸如与小组中的各个用户关联的智能手表或智能电话)。
根据实施例，情绪处理电路208可被配置成确定在第一电子设备102上的观看内容项目的期间的用户112的第二情绪状态的级别。确定的级别可以对应于在用户112在观看内容项目的时候的特定情绪状态的等级(诸如从快乐到非常快乐，再到兴奋或欢呼状态)。确定的级别可以对应于特定情绪状态的等级(诸如“n.1至n.9”，其中n＝检测的特定情绪状态的数字标识符)(诸如在用户112观看第一内容项目的同时，从快乐(等级5.1)到非常快乐(等级5.5)再到兴奋或欢呼状态(等级5.9))。类似地，针对其他检测的情绪状态，可以检测情绪状态的级别。例如，忧愁情绪的不同级别可被定标为6.1(表示无聊状态)、6.2至6.3(忧愁状态)、6.4至6.6(非常忧愁状态)和6.7至6.9(极度悲痛和忧伤)。
根据实施例，情绪处理电路208可被配置成将在检测到的转变期间观看的内容项目的一部分与用户112的第二情绪状态关联。当确定的级别大于阈值时，可以将内容项目的部分与第二情绪状态关联。
根据实施例，情绪处理电路208可被配置成在与第二情绪状态关联的内容项目的部分中，标识检测到的第二情绪状态的转变的原因。第一内容项目的部分中的标识原因可以对应于内容项目的部分的图像帧、图像帧中的对象、上下文或者主题。换句话说，可以在观看的内容中标识什么是检测到的第二情绪状态(诸如兴奋情绪状态)的转变的真实或确切原因。可以基于图像处理来分析观看的内容，以标识触发该情绪状态转变的部分的图像帧中的一个或多个对象。例如，观看“詹姆斯·邦德”电影的某人可能在看到物体(诸如“智能电话或欧米茄手表”)而兴奋，而观看相同的“詹姆斯·邦德”电影的另一人则可能因看到某个制造商品牌的产品(诸如“漫游家(globe-trotter)”箱包或照相机)而变得兴奋。
根据实施例，处理器202可被配置成利用一个或多个参数来标记内容项目的部分中的标识原因。一个或多个参数可以是第二情绪状态、用户112的身份信息(诸如用户ID)、检测到的转变的时间戳和/或确定的第二情绪状态的级别。处理器202可被配置成把来自内容项目的部分中的标记原因(或者与第二情绪状态有关的标记内容)经由网络接口210，传送给通信地耦接到第一电子设备102的服务器106或网络设备。
根据实施例，处理器202可被配置成实时或近实时地搜索与和第二情绪状态关联的标记原因有关的产品或服务。可以基于标记原因，通过使用预先指定的搜索引擎执行该搜索。与标记原因有关的搜索可以是经由因特网搜索引擎的全局搜索，或者根据预定设置的局部搜索。
根据实施例，处理器202可被配置成基于响应与检测到的用户112的情绪状态的转变和第一电子设备102的当前位置的标识原因，生成产品或服务的推荐。处理器202可被配置成控制生成的产品或服务的推荐在第一电子设备102或者通信地耦接到第一电子设备102的另一个电子设备(诸如第二电子设备104)上的显示。根据实施例，处理器202可被配置成基于与生成的推荐的使用模式关联的机器学习，通过使用推荐学习引擎214更新生成的推荐。
根据实施例，在第一电子设备102的检测到的到第二情绪状态的转变可被携带到第二电子设备104(诸如智能电话)。即使在第二电子设备104的主屏幕界面被解锁之前，第二电子设备104仍可决定在第二电子设备104处从预先安装的应用取回的什么内容、应用、墙纸、衍生数据可能适合于用户112维持先前在第一电子设备102检测的第二情绪状态。当最后检测到的情绪状态(诸如第二情绪状态)是积极的情绪(诸如快乐)而不是消极的情绪(诸如忧愁)时，在多个电子设备之间的情绪状态的这样的无缝维持或转移可以发生。
根据实施例，处理器202可被配置成基于用户112的情绪状态的转变的检测，动态地改变当前显示在第一电子设备102上的内容项目的显示。例如，用户112可能正在第一电子设备102(诸如TV)上观看电影。第一电子设备102检测到用户112从中性情绪状态转变到忧愁情绪状态(诸如用户112可能在观看该电影时变得无聊)。在这样的情形下，第一电子设备102可自动播放适合于克服忧愁情绪状态的另一个电影。类似地，当用户112被识别成感到困倦时，第一电子设备102可以将自己自动关闭。替代地，当检测到用户112处于兴奋情绪状态时，可以在用户112的社交网络简档上分享兴奋瞬间。这可被称为“Kando”体验，“Kando”体验是由第一电子设备102提供的与用户112的情绪联系。
在另一个示例中，用户112可能正在第一电子设备102(诸如TV)上观看电影。第一电子设备102检测到用户112从中性或忧愁情绪状态转变到积极情绪状态(诸如快乐情绪状态)。在这样的情形下，第一电子设备102可自动改变与用户112关联的多个其他设备(诸如第二电子设备104)的主屏幕。例如，主屏幕改变动作可同时应用于与用户112关联的目前操作的设备或活动的设备(诸如智能手表、智能电话或者任何其他活动的和使用中的设备)。
根据实施例，可以基于选择的模式，控制基于响应于检测到的用户112的情绪状态的转变的标识原因的产品或服务的推荐的生成和显示。用户(诸如用户112)可以通过使用呈现在显示屏幕102b上的应用界面102c，在电子设备(诸如第一电子设备102)上从多种模式中选择特定模式。多种模式可以包括趣味模式、健康模式、平和模式或正常模式。趣味模式可以指与用户112期望的趣味相关推荐的生成有关的配置设定。例如，可以在显示屏幕102b上呈现链接到可能适合于忧愁情绪状态的笑话应用的笑话应用图标。健康模式可以指有助于良好健康的维持或者促进良好健康的推荐的生成。例如，处理器202可被配置成生成解开某些益智游戏来促进用户112的头脑的活跃状态的推荐。这可以在检测到无聊状态的情况下发生。在另一个示例中，可以在第一电子设备102的主屏幕上显示不同的励志格言。根据实施例，显示的格言的类别也可以基于确定的特定情绪状态(诸如忧愁情绪状态)的级别动态地改变。对于不同的级别(诸如6.1等级(无聊状态)至6.9(极端悲痛状态))可以显示不同类别的格言。平和模式可以指试图使愤怒者平静和提供放松体验的推荐的生成。例如，处理器202可被配置成生成播放轻柔的音乐(诸如旋律歌曲)并显示将在第一电子设备102上播放的轻柔音乐的某些选项的推荐。这可以在检测到愤怒情绪状态的情况下发生，以便于使用户112平静下来以进入平和状态。正常模式是独立于用户指定的控制模式(诸如鼓乐模式、平和模式和正常模式)生成所有种类的推荐的默认模式。在图5A和5B中，更详细地进一步说明了不同情绪状态下的推荐的生成的各种其他示例。
根据实施例，如图1中的第一电子设备102执行的功能或操作可由处理器202和/或情绪处理电路208进行。从图4A、图7A和图7B中的说明可以理解处理器202和/或情绪处理电路208执行的其他操作。
图3示出根据本公开的实施例的基于用户的情绪状态检测提供推荐的另一示例性电子设备的框图。结合图1和2的要素对图3进行说明。参考图3，示出了第二电子设备104。第二电子设备104的元件与第一电子设备102的元件类似。第二电子设备104可包含一个或多个处理器(诸如处理器302)、存储器304、一个或多个输入/输出(I/O)设备(诸如I/O)设备306)、情绪处理电路308、感测设备310和网络接口312。存储器304可以包括情绪学习引擎314和推荐学习引擎316。还示出了I/O设备206中的图像捕捉单元104a、显示屏幕104b和应用界面104c。
处理器302可以通信地耦接到存储器304、I/O设备306、情绪处理电路308、感测设备310和网络接口312。网络接口312可以在处理器202的控制下，经通信网络110与网络设备(诸如第一电子设备102)通信。
处理器302可以包括可被配置成执行存储在存储器304中的一组指令的适当逻辑、电路、接口和/或代码。处理器302的实现示例与处理器202的实现示例类似。存储器304可以包括可被配置成存储能够由处理器302执行的机器代码和/或一组指令的适当逻辑、电路和/或接口。存储器304还可被配置成存储与预先安装的应用关联的应用界面104c和情绪学习引擎314。存储器304还可被配置成存储操作系统和关联应用。存储器304的实现示例与存储器204的实现示例类似。
I/O设备306可以包括可被配置成接收来自一个或多个用户(诸如用户112)的输入的适当逻辑、电路、接口和/或代码。I/O设备306还可被配置成向一个或多个用户提供输出。输入设备的示例可以包括(但不限于)图像捕捉单元104a、触摸屏、键盘、红外传感器、鼠标、麦克风、运动传感器、光传感器和/或对接站。输出设备的示例可以包括(但不限于)显示屏幕104b、投影仪屏幕和/或扬声器。
情绪处理电路308可以包括可被配置成处理利用图像捕捉单元104a捕捉的一个或多个图像或视频的适当逻辑、电路和/或接口。可以与情绪处理电路208类似地实现情绪处理电路308。
感测设备310可包含一个或多个传感器，一个或多个传感器包含检测物理或定量属性并提供对相应的输出来作为传感器数据的适当逻辑、电路、接口和/或代码。物理或定量属性可以包括(但不限于)朝向、运动、接触、接近度、地磁场、室内定位和/或环境照明。感测设备310中的一个或多个传感器可被配置成检测第二电子设备104的地理位置。一个或多个传感器的示例可以包括(但不限于)加速计、全球定位系统(GPS)传感器、室内定位系统、指南针或磁力计、环境光传感器、三录仪、陀螺仪、接近传感器、图像传感器、照度计、触摸传感器和/或红外传感器。
网络接口312可以包括可被配置成经由通信网络110(如图1中所示)，与第一电子设备102、一个或多个可穿戴设备108和服务器106通信的适当逻辑、电路、接口和/或代码。网络接口312可实现与网络接口210类似的已知的无线通信技术。
情绪学习引擎314可以是可被配置成把人类对象(诸如用户112)的不同情绪分类到多种情绪状态114之一的机器学习模型。情绪学习引擎314可以类似于第一电子设备102的情绪学习引擎212(图2)。
推荐学习引擎316可以是可被配置成基于与用户112对生成的推荐的使用模式关联的机器学习，在第二电子设备104中生成或更新生成的推荐的另一个机器学习模型。情绪处理电路308可被配置成持续地机器学习操作中的用户112的情绪状态的转变或变化，以为未来提供与第二电子设备104的主屏幕界面的定制有关的推荐的生成和用户体验。推荐学习引擎316类似于第一电子设备102的推荐学习引擎214(图2)
操作中，处理器302可被配置成通过使用第二电子设备104的内置相机(诸如图像捕捉单元104a)来接收用户112的一个或多个图像或视频。情绪处理电路308可被配置成基于接收的用户112的一个或多个图像或视频中的用户112的生理和/或行为特性的分析，监视用户112的情绪。根据实施例，为了提高准确性，情绪处理电路308可以被配置成利用情绪学习引擎314来监视用户112的情绪。
根据实施例，处理器302可被配置成经由网络接口312从一个或多个可穿戴设备108接收传感器数据。一个或多个可穿戴设备108可以通信地耦接到第二电子设备104。接收的用户112的传感器数据(诸如心率或排汗值)可以被利用来检测用户112的情绪状态的转变。此外，根据实施例，处理器302还可以利用第二电子设备104上的基于文本的输入和/或基于语音的输入来用于用户112的情绪状态的转变的检测。
根据实施例，情绪处理电路308可被配置成检测与第二电子设备104关联的用户112的从第一情绪状态到第二情绪状态的情绪状态转变。处理器302可被配置成基于从一个或多个可穿戴设备108接收的传感器数据、接收的用户112的一个或多个图像或视频和/或接收的基于文本的输入和/或基于语音的输入，标识用户112。
根据实施例，处理器302可被配置成经由网络接口312，从网络设备取回与检测到的用户112的第二情绪状态相关联的标记的内容项目。可以基于用户112的身份信息和检测到的转变，取回与检测到第二情绪状态关联的标记内容项目。网络设备可以对应于在无线家庭网络(诸如通信网络110)中连接到第二电子设备104的服务器106、另一个电子设备(诸如第一电子设备102)和/或其他订阅的基于云的服务。
根据实施例，处理器302可被配置成在第二电子设备104中，基于取回的标记的内容项目搜索一个或多个产品或服务。根据实施例，处理器302可被配置成在第二电子设备104上启动应用，以推荐至少与取回的标记内容项目有关的产品或服务。可以响应于检测到的用户112的情绪状态的转变和第二电子设备104的当前位置，启动应用。
根据实施例，基于检测到的用户112的情绪状态的转变，不仅可以对于与取回的标记内容项目有关的产品生成推荐，而且可以对于各种服务生成推荐，或者可以提供有关信息，以便实时或近实时地帮助用户112。例如，用户112可能正在从第一城市去往第二城市。用户112可能找到了为了维护作业而关闭的公路。用户112可以解锁第二电子设备104(诸如智能电话)。当解锁时，用户112的情绪状态会被识别成“困惑”。在这样的情形下，第二电子设备104的主屏幕或应用界面104c可以生成并提供可增加价值和增强用户体验的某些推荐。通过使用推荐学习引擎316生成的推荐的示例可以是“点击呼叫“Mr.X”，因为他最近刚穿过该区域”。“Mr.X”是从社交网络应用中的用户112的社交网络简档中检测到的用户112的朋友，并且可以从联系人应用中取回移动电话号码。另一个推荐可以是““Mr.A”和“Mr.B”(朋友)的居住地在附近，请咨询他们给你引导”。另一个推荐或动作可以是具有预先加载的备选路线的地图应用的显示。对于相同的情绪状态，推荐可以基于以前的用户体验、使用模式和以从网络设备或基于云的服务(诸如服务器106)接收的输入为基础的新的学习而变化。
根据实施例，第二电子设备104的处理器302可被配置成动态地定制第二电子设备104的主屏幕界面。可以基于检测到的用户112的情绪状态的转变和网络设备(诸如第一电子设备102)中的与第二情绪状态关联的最后标记内容项目，定制主屏幕界面。例如，第二电子设备104可被配置成基于检测到的用户112的情绪状态的转变和网络设备(诸如第一电子设备102)上的最后动作，自动地改变主屏幕界面上的墙纸。最新动作例如可以是网页浏览、TV观看等。
根据实施例，基于检测到的用户112的当前情绪状态(诸如愤怒或快乐)和以前机器学习的用户体验，通过使用推荐学习引擎316，可以使电话联系人应用、地图、社交网络应用预先加载有相关数据。因此，不仅可以对于各个应用来定制用户界面，而且可以根据检测到的用户112的当前情绪状态来分析、排列和/或定制与各个应用关联的数据。图5A和图5B中示出并描述了示例性情形，以进一步详细解释这些特征。
根据实施例，如图1中的第二电子设备104执行的功能或操作可以由处理器302和/或情绪处理电路308执行。从图4B、图5A、图5B和图6中的说明中可以理解处理器302和/或情绪处理电路308执行的其他操作。
图4A和图4B共同示出了根据本公开的实施例的基于情绪状态检测，在电子设备上提供推荐的系统和方法的实现的第一示例性情形。结合图1、图2和图3的要素对图4A和图4B进行了说明。参考图4A，示出了具有图像捕捉单元102a、显示屏幕102b和应用界面102c的第一电子设备102(诸如TV)。图中还示出了经由应用界面102c呈现在显示屏幕102b上的内容项目(诸如视频402)。图中还示出了视频402的第一部分402a。图中还示出了作为用户112的兴奋的情绪状态的可能标识原因的第一对象404a、第二对象404b和事件406。图中还示出了与用户112关联的智能手环408、级别410和用户标识符(ID)412。
根据第一示例性情形，第一电子设备102可以是智能TV或平板设备。智能手环408可以对应于一个或多个可穿戴设备108。用户112可能正在第一电子设备102上观看视频402。可以经由第一电子设备102的应用界面102c(诸如浏览器)来播放视频402。
根据实施例，可以利用图像捕捉单元102a，捕捉用户112的视频。根据实施例，第一电子设备102的情绪处理电路208可被配置成从智能手环408接收传感器数据。情绪处理电路208可被配置成检测用户112的从第一情绪状态(诸如中性情绪状态“0”)到第二情绪状态(诸如快乐情绪状态“5”)的情绪状态转变。可能在视频402的12分钟零2秒“00:12:02”的重放时间到12分钟零4秒“00:12:04”的重放时间之间，检测到在第一电子设备102上观看视频402的用户112的到第二情绪状态的转变。在检测到用户112的情绪状态的转变之时，在第一电子设备102上播放的内容可能对于某个部分(诸如在视频402)的第一部分402a中)标识检测到的转变的原因是有用的。
为了进一步分析以标识检测到的转变的原因，可以考虑在到第二情绪状态的转变的检测之前和之后的预定时间段(诸如2秒)。因此，可能从时间戳“00:12:00”开始到时间戳“00:12:06”(如图所示)，并且包含一系列的“180”个图像帧的视频402的第一部分402a可以被用于分析目的。可以使“180”个图像帧的第一部分402a与表示检测到的快乐情绪状态的数值“5”关联。此外，情绪处理电路208可被配置成确定用户112的第二情绪状态(诸如快乐情绪状态)的级别410(诸如数值“5.9”)。等级为“5.9”的级别410可能指示在观看视频402的第一部分402a的同时用户112的兴奋或欢呼状态。当确定的级别410大于阈值时，可以将视频402的第一部分402a与兴奋情绪状态关联。
根据实施例，第一电子设备102的情绪处理电路208可被配置为在第一部分402a中将第一对象404a、第二对象404b和事件406(诸如上下文)标识为可能的原因。第一对象404a可以是视频402中的人类角色(诸如著名的人物“詹姆斯·邦德”)。第二对象404b可以是由人类角色持有的某个制造商品牌的照相机。事件406可以指的是使用第二物体404b(诸如照相机)的某个动作场景(诸如搏斗场景)。
根据实施例，第一电子设备102的处理器202可被配置成利用一个或多个参数来标记标识的原因(诸如第一对象404a、第二对象404b和事件406和/或视频402的第一部分402a的一个或多个图像帧)。一个或多个参数可以是兴奋情绪状态、确定的级别410(诸如“5.9”)、用户112的身份信息(诸如用户ID 412)和/或检测到的转变的时间戳。
根据实施例，第一电子设备102的处理器202可被配置成把标记的内容(诸如第一对象404a、第二对象404b和事件406(可以是元数据)，和/或第一部分402a的一个或多个图像帧)传送给网络设备。网络设备可以是云服务器(诸如服务器106)或通信地耦接到第一电子设备102的网络设备。
根据实施例，第一电子设备102可被配置成基于响应于检测到的用户112的情绪状态转变的标识的原因，生成产品或服务的推荐。例如，显示在第一电子设备102(诸如TV或平板设备)上的后续广告可以与第二对象404b(诸如制造商品牌的照相机)有关，看到第二对象404b会导致或触发用户112兴奋。
根据实施例，代替生成推荐，第一电子设备102可被配置成自动地显示与事件406或第一对象404a有关的另一个视频。此外，根据实施例，第一电子设备102可被配置成在与用户112关联的社交简档上分享兴奋时刻2(诸如“观看该视频时感到兴奋”)与第一部分402a。可以基于以在类似情形下(诸如近期当在第一电子设备102上观看某个视频的时候，用户变得兴奋时)的用户的先前动作为基础的推荐学习引擎316的结果，执行该分享。根据实施例，生成的推荐的终端消费者可以是第二电子设备104。在这样的实施例中，可以不在第一电子设备102上生成推荐。
参考图4B，示出了具有图像捕捉单元104a、显示屏幕104b和应用界面104c的第二电子设备104。图中还示出了在应用界面104c上的与第一对象404a和第二对象404b有关的第一推荐414和第二推荐416。
根据第一示例性情形，第二电子设备104可以是智能电话。用户112可能远离位于第一地点的第一电子设备102。例如，在观看视频402(图4A)的某一时间段(诸如几天或一个月之后)，用户112需要拜访第二地点(诸如朋友的家或者新的城市)。
根据实施例，第二电子设备104(诸如智能电话)的情绪处理电路308可被配置成检测与第二电子设备104关联的用户的从第一情绪状态(诸如中性)到第二情绪状态(诸如兴奋)的情绪状态转变。第二电子设备104可以利用从与用户112关联的智能手环408和/或第二电子设备104的内置相机(诸如图像捕捉单元104a)接收的数据，以用于用户112的情绪状态的转变的检测。
根据实施例，第二电子设备104可被配置成基于从智能手环408、图像捕捉单元104a接收的数据，和/或接收的基于文本的输入和/或基于语音的输入，标识用户112(诸如用户ID 412“U001”)。根据实施例，第二电子设备104(诸如智能电话)的处理器302可被配置成从网络设备(诸如服务器106)，取回与检测到的用户112的第二情绪状态关联的一个或多个标记内容项目。基于用户112的身份信息(诸如用户ID 412“U001”)和检测到的到第二情绪状态(诸如兴奋情绪状态)的转变，可以取回一个或多个标记内容项目(诸如第一对象404a和/或第二对象404b)。
根据实施例，第二电子设备104的处理器302可被配置成在第二电子设备104中，基于取回的一个或多个标记内容项目(诸如第一对象404a和/或第二对象404b)，搜索一个或多个产品或服务。第二电子设备104的处理器302可被配置成在第二电子设备104上启动应用(诸如应用界面104c)，以推荐至少与取回的标记内容项目有关的产品或服务。例如，可以经由启动的应用的应用界面104c呈现第一推荐414。如图所示，第一推荐可以是在第二电子设备104的当前位置(诸如第二位置)附近的公司或商店“B”的广告(诸如与取回的第二对象404b(诸如制造商品牌“X”的照相机)有关的折扣报价)。可以响应于检测到的用户112的到兴奋情绪状态的情绪状态转变而启动应用。
在另一个示例中，可以经由启动的应用的应用界面104c呈现第二推荐416。第二推荐可以是在第二电子设备104的当前位置，与取回的标记内容项目(诸如第一对象404a)有关的广告或者基于情绪的推荐或有关信息。可以生成并经由应用界面104c呈现基于情绪的推荐(诸如“你想购买与<第一对象404a>(诸如人类角色“詹姆斯·邦德”)有关的新电影？”)。如图所示，还可以呈现在第二电子设备104的当前位置可用的去往在线网络门户的链接，或者到在第二电子设备104的当前位置(诸如第二位置)附近的实体店“C”的地图。
图5A和图5B共同示出了根据本公开的实施例的基于情绪状态检测，在电子设备上提供推荐的系统和方法的实现的第二示例性情形。结合图1、图2、图3、图4A和图4B对图5A和图5B进行了说明。参考图5A，示出了第二电子设备104上的第一主屏幕502。图中还示出了具有用户112的亲近家庭成员(诸如母亲)和用户112一起的第一头像506，基于情绪的推荐508和多个应用图标510(诸如音乐应用图标510a)、视频流应用图标510b、瑜伽应用图标510c和地图应用图标510d的第二主屏幕504。
根据第二示例性情形，第二电子设备104可以是智能电话或平板设备。操作中，第二电子设备104(诸如智能电话)的情绪处理电路308可被配置成检测与第二电子设备104关联的用户的从第一情绪状态(诸如中性)到第二情绪状态(诸如愤怒情绪状态)的情绪状态转变。第二电子设备104的处理器302随后可以基于检测到的用户112的情绪状态转变和网络设备(诸如第一电子设备102)中的与第二情绪状态关联的最后标记内容项目，动态地定制第二电子设备104的第一主屏幕502。
响应于检测到的用户112到愤怒情绪状态的转变，第二电子设备104的处理器302可把第一主屏幕502动态地改变成第二主屏幕504。例如，在第二电子设备104的第二主屏幕504上，可以自动地设定令人愉快的家庭照片(诸如第一头像506)。在第二主屏幕504上可以呈现基于情绪的推荐508(诸如“保持冷静，安全驾驶”)。
此外，链接到音乐应用的音乐应用图标510a可被预先加载适合于愤怒情绪状态的静心(meditation)歌曲。链接到视频流应用(诸如“YouTube应用”)的视频流应用图标510b可根据检测到的愤怒情绪状态，被预先加载用于放松体验的视觉上使人被抚慰的视频的推荐。定制的其他示例可以是链接到瑜伽应用的瑜伽应用图标510c，该瑜伽应用具有可以在瑜伽应用图标510c的选择中呈现与可放松肌肉的锻炼有关的实时定制推荐。链接到地图应用的地图应用图标510d可被预先加载拜访适合于放松的附近地点(诸如花园、湖泊或者游戏厅的推荐)。
应当理解，基于检测到的情绪状态转变的第二电子设备104的主屏幕界面上的上述实时或近实时定制是示例性的，并且是为了指示公开的系统和方法的实际效用而说明的。但是，本公开的范围可以不限于上述示例，基于记载在本申请中的本公开的各个方面并且参考附图，其他类似的定制对本领域的技术人员而言可能变得明显。
参考图5B，图中进一步示出了第二电子设备104上的第三主屏幕512。图中还示出了按某种布置呈现在第三主屏幕512上的墙纸514、笑话应用图标510e、游戏应用图标510f、音乐应用图标510a和地图应用图标510d。图中还示出了电话应用516以及电话应用516上的第一呼叫推荐518a和第二呼叫推荐518b。
操作中，第二电子设备104(诸如智能电话)的情绪处理电路308可被配置成检测与第二电子设备104关联的用户的从中性情绪状态到忧愁情绪状态的情绪状态转变。第二电子设备104的处理器302随后可以动态地定制第二电子设备104的第一主屏幕502(图5A中所示)。可以基于检测到的用户112的情绪状态的转变和网络设备(诸如第一电子设备102)中的与忧愁情绪状态关联的最后标记内容项目，动态地定制第一主屏幕502。
响应于检测到的用户112的到忧愁情绪状态的转变，第二电子设备104的处理器302可以动态地将第一主屏幕502改变为第三主屏幕512。例如，可以在第三主屏幕512上自动地设定令人愉悦的风景照片或鲜花照片(诸如墙纸514)。在忧愁情绪状态的情况下，链接到音乐应用的音乐应用图标510a可被预先加载适合于忧愁情绪状态的旋律歌曲。链接到地图应用的地图应用图标510d可被预先加载拜访适合于克服忧愁情绪状态的附近地点(诸如朋友的家)的推荐。定制的其他示例可以是链接到当处于忧愁情绪状态时用户通常玩的游戏应用的游戏应用图标510f。可以呈现链接到适合于忧愁情绪状态的笑话应用的笑话应用图标510e。
根据实施例，第二电子设备104的情绪处理电路308可被配置成确定用户112的忧愁情绪状态的级别。确定的级别(诸如“6.9”)，其中数值“6”指示忧愁情绪状态，而小数值“.9”按“0至9”的等级，指示高级别的忧愁(诸如极度忧愁)。在这种情形下，当确定的级别在于阈值时，可以启动电话应用516，以推荐呼叫密友、亲属或者家庭成员，如在第一呼叫推荐518a和第二呼叫推荐518b中所示。因此，人类情绪状态的转变以智能的方式被用于提供具有实际可用性增强的基于情绪的推荐。
图6示出根据本公开的实施例的描述基于用户的情绪状态检测在电子设备上提供推荐的示例性方法的第一流程图。参考图6，示出了流程图600。结合图1、图2、图3、图4B、图5A和图5B的要素对流程图600进行了说明。根据流程图600，可以在电子设备(诸如第二电子设备104)中实现方法。方法在步骤602开始，随后进行到步骤604。
在步骤604处，可以从一个或多个可穿戴设备108接收与用户112关联的传感器数据。根据实施例，可以在电子设备(诸如第二电子设备104)上接收基于文本的输入和/或基于语音的输入，该基于文本的输入和/或基于语音的输入可被利用于检测用户112的情绪状态的转变。在步骤606处，电子设备(诸如第二电子设备104)可从内置相机(诸如图像捕捉单元104a)接收用户112的一个或多个图像或视频。
在步骤608处，可以检测与电子设备(诸如第二电子设备104)关联的用户112的从第一情绪状态到第二情绪状态的情绪状态转变。第一情绪状态和第二情绪状态可以对应于多种情绪状态114中的中性、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和/或温柔。在步骤610处，可以基于用户112的身份信息和检测到的转变，从网络设备取回与用户112的第二情绪状态关联的标记内容项目。网络设备可以对应于无线家庭网络(诸如通信网络110)中的连接到电子设备(诸如第二电子设备104)的服务器106、另一个电子设备(诸如第一电子设备102)和/或其他基于云的服务。
在步骤612处，可以在电子设备(诸如第二电子设备104)上，基于取回的标记内容项目，搜索产品或服务。产品或服务的搜索还可以基于电子设备(诸如第二电子设备104)的当前位置。在步骤614处，可以在电子设备(诸如第二电子设备104)启动应用，以推荐与取回的标记内容项目关联的产品或服务。可以响应于检测到的用户112的情绪状态的转变和电子设备(诸如第二电子设备104)的当前位置，启动应用。
在步骤616处,可以基于检测到的用户112的情绪状态的转变，动态地定制电子设备的主屏幕界面(诸如第一主屏幕502)。还可以基于网络设备(诸如第一电子设备102或服务器106)中的与第二情绪状态关联的最后标记内容项目，动态地定制电子设备(诸如第二电子设备104)的主屏幕界面。定制的主屏幕界面(诸如第二主屏幕界面504和第三主屏幕512)的示例已在图5A和5B中示出并说明。控制随后可以转到结束步骤618。
图7A和图7B共同示出了根据本公开的实施例的基于用户的情绪状态检测，在电子设备上提供推荐的另一示例性方法的第二流程图。参考图7A和图7B，示出了流程图700。结合图1、图2和图4A的要素对流程图700进行说明。根据流程图700，可以在电子设备(诸如第一电子设备102中实现方法。方法在步骤702处开始，随后进行到步骤704。
在步骤704处，电子设备(诸如第一电子设备102)可接收一个或多个内容项目。在步骤706处，可以在电子设备(诸如第一电子设备102)上呈现来自接收的一个或多个内容项目中的内容项目。
在步骤708处，可以接收可能正在电子设备(诸如第一电子设备102)上观看呈现的内容项目的用户112的一个或多个图像或视频。可以通过使用图像捕捉单元102a来接收一个或多个图像或视频。在步骤710处，可以从与用户112关联的一个或多个可穿戴设备108(诸如智能手环408)接收传感器数据。根据实施例，可以不接收传感器数据。
在步骤712处,可以检测在电子设备上观看呈现的内容项目的用户112的从第一情绪状态到第二情绪状态的情绪状态转变。在步骤714处，在电子设备(诸如第一电子设备102)上的呈现观看内容项目的期间，可以确定用户112的第二情绪状态的级别。
在步骤716处，可以将在检测到的转变期间观看的内容项目(诸如视频402)的一部分(诸如第一部分402a)与用户112的第二情绪状态关联。当确定的级别大于阈值时，可使内容项目的部分与第二情绪状态关联。在步骤718处，可以在与第二情绪状态关联的内容项目的部分中，标识检测到的到第二情绪状态的转变的原因。内容项目的部分中的标识原因可以对应于内容项目的部分的图像帧、在该图像帧中检测到的对象和/或上下文。
在步骤720处，可以利用第二情绪状态、用户112的身份信息、检测到的转变的时间戳、和/或确定的第二情绪状态的级别，标记内容项目的部分中的标识原因。在步骤722处，内容项目的部分中的标记原因可被传送给通信地耦接到电子设备(诸如第一电子设备102)的服务器106或者网络设备(诸如第二电子设备104)。
在步骤724处，可以通过使用预先指定的搜索引擎，实时或近实时地搜索与和第二情绪状态关联的标记原因有关的产品或服务。除了与第二情绪状态关联的标记原因之外，产品或服务的搜索还可以基于电子设备(诸如第一电子设备102)的当前位置。在步骤726处，基于标识的原因，可以生成对于产品或服务的一个或多个推荐。可以响应于检测到的用户112的情绪状态转变和电子设备(诸如第一电子设备102)的当前位置来生成推荐。
在步骤728处，可以基于与生成的推荐的使用模式关联的机器学习，更新生成的一个或多个推荐。处理器202可被配置成将推荐学习引擎214用于这样的更新。在步骤730处，可以向另一个电子设备(诸如第二电子设备104)传送通知来解锁另一个电子设备的主屏幕界面，以显示生成的一个或多个推荐。
在步骤732处，可以在电子设备(诸如第一电子设备102)或者通信地耦接到电子设备的另一个电子设备(诸如第二电子设备104)上，控制生成的对于产品或服务的推荐的显示。控制可以转到结束步骤734。
根据本公开的实施例，公开一种基于用户的情绪状态检测，在电子设备上提供推荐的系统。系统(诸如第二电子设备104(图1))可包括一个或多个电路(下面称为处理器302和/或情绪处理电路308(图3))。情绪处理电路308可被配置成检测与电子设备关联的用户(诸如用户112)的从第一情绪状态到第二情绪状态的情绪状态转变。处理器302可被配置成基于用户的身份信息和检测到的转变，从网络设备取回与用户的第二情绪状态关联的标记内容项目。处理器302还可被配置成响应于检测到的用户的情绪状态的转变和电子设备的当前位置，在电子设备上启动应用来推荐与取回的标记内容项目有关的产品或服务。
根据本公开的实施例，公开另一种基于用户的情绪状态检测在电子设备上提供推荐的系统。系统(诸如第一电子设备102(图1))可以包括一个或多个电路(下面称为处理器202和/或情绪处理电路208(图2))。情绪处理电路208可被配置成检测在电子设备(诸如第一电子设备102)上观看内容项目的用户(诸如用户112)的从第一情绪状态到第二情绪状态的情绪状态转变。情绪处理电路208还可被配置成将在检测到的转变期间观看的内容项目的一部分与用户的第二情绪状态关联。情绪处理电路208还可被配置成在与第二情绪状态关联的内容项目的部分中标识检测到的到第二情绪状态的转变的原因。处理器202可被配置成基于响应于检测到的用户的情绪状态转变和电子设备(诸如第一电子设备102)的当前位置的标识的原因，生成产品或服务的推荐
本公开的各种实施例可提供具有一组指令的非暂态计算机可读介质和/或存储介质，和/或其上存储有机器代码的非暂态机器可读介质和/或存储介质，和/或可由机器和/或计算机执行一组指令，以基于用户的情绪状态检测提供推荐。一组指令可使机器和/或计算机执行包括以下步骤的多个步骤：检测与电子设备(诸如第二电子设备104)关联的用户(诸如用户112)的从第一情绪状态到第二情绪状态的情绪状态转变。基于用户的身份信息和检测到的转变，可以从网络设备取回与用户的第二情绪状态关联的标记内容项目。可以在电子设备上启动应用，以推荐与取回的标记内容项目有关的产品或服务。可以响应于检测到的用户的情绪状态转变和电子设备(诸如第二电子设备104)的当前位置，启动应用。
本公开的各种实施例可提供具有一组指令的非暂态计算机可读介质和/或存储介质，和/或其上存储有机器代码的非暂态机器可读介质和/或存储介质，和/或可由机器和/或计算机执行一组指令，以基于用户的情绪状态检测提供推荐。一组指令可使机器和/或计算机执行包括以下步骤的多个步骤：检测在电子设备(诸如第一电子设备102)上观看内容项目的用户(诸如用户112)的从第一情绪状态到第二情绪状态的情绪状态转变。可以使在检测到的转变期间观看的内容项目的一部分与用户的第二情绪状态关联。可以在与第二情绪状态关联的内容项目的部分中，标识检测到的到第二情绪状态的转变的原因。基于标识的原因，可生成对于产品或服务的推荐。可以响应于检测到的用户的情绪状态的转变和电子设备的当前位置，生成推荐。
本公开可以用硬件，或者硬件和软件的组合实现。本公开可以以集中的方式在至少一个计算机系统中实现，或者以分布的方式实现，其中不同的元件散布在几个互连的计算机系统中。适于执行本文中记载的方法的计算机系统或其他设备可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当计算机程序被加载和执行时，计算机程序可以控制计算机系统，使得计算机系统执行本文中记载的方法。本公开可以用包括还执行其他功能的集成电路的一部分的硬件实现。
本公开也可被嵌入计算机程序产品中，该计算机程序产品包括使得能够实现本文中记载的方法的所有特征，并且当被载入计算机系统中时能够执行这些方法。在本上下文中，计算机程序意味着一组指令的采用任何语言、代码或符号的任意表达，该一组指令旨在被用来直接地或者在下述：a)变换成另一种语言、代码或符号；和/或b)以不同的材料形式再现之后，使得具有信息处理能力的系统执行特定功能。
虽然参考一些实施例说明了本公开，但本领域的技术人员应理解，在不背离本公开的范围的情况下，可以作出各种改变并且可以替换各种等同物。另外，在不背离本公开的范围的情况下，可以作出许多修改以使得特定状况或材料适应于本公开的教导。所以，意图在于：本公开不限于公开的特定实施例，相反，本公开将包括落在附加权利要求书的范围内的所有实施例。

Claims (20)

1.一种用于提供推荐的系统，所述系统包含：
电子设备中的一个或多个电路，所述一个或多个电路被配置成：
检测与所述电子设备关联的用户的从第一情绪状态到第二情绪状态的情绪状态转变；
基于所述用户的身份信息和所检测到的转变，从网络设备取回与所述用户的所述第二情绪状态关联的标记内容项目；和
响应于所检测到的所述用户的所述情绪状态的转变和所述电子设备的当前位置，在所述电子设备上启动应用，以推荐与所述取回的标记内容项目有关的产品或服务。
2.根据权利要求1所述的系统，其中所述第一情绪状态和所述第二情绪状态对应于以下状态之一：中性、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和/或温柔情绪状态。
3.根据权利要求1所述的系统，其中所述网络设备对应于以下之一：无线网络中的连接到所述电子设备的另一个电子设备、服务器、和/或基于云的服务。
4.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成从以下一个或多个接收传感器数据，以用于所述用户的所述情绪状态的所述转变的所述检测：与所述用户关联的可穿戴设备、所述电子设备的内置相机、所述电子设备上的基于文本的输入和/或所述电子设备上的基于语音的输入。
5.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成在所述电子设备上，基于所取回的标记内容项目，搜索所述产品或所述服务。
6.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成基于所检测到的所述用户的所述情绪状态的转变和所述网络设备中的与所述第二情绪状态关联的最后标记内容项目，动态地定制所述电子设备的主屏幕界面。
7.一种用于提供推荐的系统，所述系统包含：
电子设备中的一个或多个电路，所述一个或多个电路被配置成：
检测在所述电子设备上观看内容项目的用户的从第一情绪状态到第二情绪状态的情绪状态转变；
将在所检测到的转变期间观看的所述内容项目的一部分与所述用户的所述第二情绪状态关联；
在与所述第二情绪状态关联的所述内容项目的所述部分中，标识所检测到的到所述第二情绪状态的转变的原因；和
基于响应于所检测到的所述用户的所述情绪状态的转变的标识的原因和所述电子设备的当前位置，生成对于产品或服务的推荐。
8.根据权利要求7所述的系统，其中所述内容项目的所述部分中的所标识的原因对应于以下一个或多个：所述内容项目的所述部分的图像帧、所述图像帧中的对象、上下文。
9.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成确定在所述电子设备上的所述内容项目的观看期间的所述用户的所述第二情绪状态的级别，其中当所确定的级别大于阈值时，将所述内容项目的所述部分与所述第二情绪状态关联。
10.根据权利要求9所述的系统，其中所述一个或多个电路还被配置成使用以下一个或多个标记所述内容项目的所述部分中的所标识的原因：所述第二情绪状态、所述用户的身份信息、所检测到的转变的时间戳和/或所确定的所述第二情绪状态的级别。
11.根据权利要求10所述的系统，其中所述一个或多个电路还被配置成使用预先指定的搜索引擎，为所述推荐实时或近实时地搜索与和所述第二情绪状态关联的所述标记原因有关的产品或服务。
12.根据权利要求10所述的系统，其中所述一个或多个电路还被配置成将所述内容项目的所述部分中的所标记的原因传送给通信地耦接到所述电子设备的服务器或者网络设备。
13.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成控制在所述电子设备或者通信地耦接到所述电子设备的另一个电子设备上的所生成的对于所述产品或所述服务的推荐的显示。
14.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成向另一个电子设备传送通知来解锁所述另一个电子设备的主屏幕界面，以显示所生成的推荐。
15.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成基于与所生成的推荐的使用模式关联的机器学习，更新所生成的推荐。
16.一种用于提供推荐的方法，所述方法包括：
通过电子设备的一个或多个电路检测与所述电子设备关联的用户的从第一情绪状态到第二情绪状态的情绪状态转变；
通过所述一个或多个电路，基于所述用户的身份信息和所检测到的转变，从网络设备取回与所述用户的所述第二情绪状态关联的标记内容项目；和
通过所述一个或多个电路，响应于所检测到的所述用户的所述情绪状态的转变和所述电子设备的当前位置，在所述电子设备上启动应用，以推荐与所取回的标记内容项目有关的产品或服务。
17.根据权利要求16所述的方法，还包括通过所述一个或多个电路，在所述电子设备上，基于所取回的标记内容项目搜索所述产品或所述服务。
18.根据权利要求16所述的方法，还包括利用所述一个或多个电路，基于所检测到的所述用户的所述情绪状态的转变和所述网络设备中的与所述第二情绪状态关联的最后标记内容项目，动态地定制所述电子设备的主屏幕界面。
19.一种用于提供推荐的方法，所述方法包括：
通过电子设备的一个或多个电路，检测在所述电子设备上观看内容项目的用户的从第一情绪状态到第二情绪状态的情绪状态转变；
通过所述一个或多个电路，将在所检测到的转变期间观看的所述内容项目的一部分与所述用户的所述第二情绪状态关联；
通过所述一个或多个电路，在与所述第二情绪状态关联的所述内容项目的所述部分中，标识所检测到的到所述第二情绪状态的转变的原因；和
通过所述一个或多个电路，基于响应于所检测到的所述用户的所述情绪状态的转变的所标识的原因和所述电子设备的当前位置，生成对于产品或服务的推荐。
20.根据权利要求19所述的方法，其中所述内容项目的所述部分中的所标识原因对应于下述一个或多个：所述内容项目的所述部分的图像帧、所述图像帧中的对象、上下文。
CN201710788154.5A 2016-09-09 2017-09-05 基于情绪状态检测在电子设备上提供推荐的系统和方法 Active CN107807947B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/260,502 2016-09-09
US15/260,502 US11049147B2 (en) 2016-09-09 2016-09-09 System and method for providing recommendation on an electronic device based on emotional state detection

Publications (2)

Publication Number Publication Date
CN107807947A true CN107807947A (zh) 2018-03-16
CN107807947B CN107807947B (zh) 2022-06-10

Family

ID=59846373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710788154.5A Active CN107807947B (zh) 2016-09-09 2017-09-05 基于情绪状态检测在电子设备上提供推荐的系统和方法

Country Status (5)

Country Link
US (1) US11049147B2 (zh)
EP (1) EP3293691A1 (zh)
JP (1) JP6547977B2 (zh)
KR (1) KR102013493B1 (zh)
CN (1) CN107807947B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN108694619A (zh) * 2018-06-20 2018-10-23 新华网股份有限公司 电影票房预测方法和系统
CN108733429A (zh) * 2018-05-16 2018-11-02 Oppo广东移动通信有限公司 系统资源配置的调整方法、装置、存储介质及移动终端
CN108989887A (zh) * 2018-07-17 2018-12-11 奇酷互联网络科技（深圳）有限公司 移动终端和推送视频的方法、装置
CN109549624A (zh) * 2018-11-04 2019-04-02 南京云思创智信息科技有限公司 一种基于深度学习的实时视频情感分析方法及系统
CN110069991A (zh) * 2019-03-18 2019-07-30 深圳壹账通智能科技有限公司 反馈信息确定方法、装置、电子设备及存储介质
CN110826436A (zh) * 2019-10-23 2020-02-21 上海能塔智能科技有限公司 情绪数据传输及处理方法、装置、终端设备、云平台
CN110970113A (zh) * 2018-09-30 2020-04-07 宁波方太厨具有限公司 基于用户情绪的智能菜谱推荐方法
CN111145912A (zh) * 2019-12-23 2020-05-12 浙江大学 一种基于机器学习的个性化超促排卵方案的预测装置
CN111222044A (zh) * 2019-12-31 2020-06-02 深圳Tcl数字技术有限公司 基于情绪感知的信息推荐方法、设备及存储介质
US10960173B2 (en) 2018-11-02 2021-03-30 Sony Corporation Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis
CN115375001A (zh) * 2022-07-11 2022-11-22 重庆旅游云信息科技有限公司 一种用于景区的游客情绪评估方法及装置
US11755905B2 (en) 2018-06-22 2023-09-12 Semiconductor Energy Laboratory Co., Ltd. Data processing method, image display method, data processing device, and image display device
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統
CN117593058A (zh) * 2023-12-05 2024-02-23 北京鸿途信达科技股份有限公司 基于情绪识别的广告匹配系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3300655A1 (en) * 2016-09-28 2018-04-04 Stichting IMEC Nederland A method and system for emotion-triggered capturing of audio and/or image data
WO2018123057A1 (ja) * 2016-12-28 2018-07-05 本田技研工業株式会社 情報提供システム
DE102017203570A1 (de) * 2017-03-06 2018-09-06 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur darstellung von empfohlenen bedienhandlungen eines vorschlagssystems und interaktion mit dem vorschlagssystem
US10790053B2 (en) * 2017-04-18 2020-09-29 International Business Machines Corporation Appetite improvement system through memory association
KR102132407B1 (ko) * 2017-11-22 2020-07-10 인하대학교 산학협력단 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치
US11259729B2 (en) * 2018-03-15 2022-03-01 Arm Ltd. Systems, devices, and/or processes for behavioral and/or biological state processing
CN112055865A (zh) * 2018-03-15 2020-12-08 Arm有限公司 用于行为和/或生物状态处理的系统、装置和/或过程
CN108647052B (zh) * 2018-04-28 2020-12-01 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及终端
CN108616772B (zh) * 2018-05-04 2020-10-30 维沃移动通信有限公司 一种弹幕显示方法、终端和服务器
US20210182542A1 (en) * 2018-09-07 2021-06-17 Hewlett-Packard Development Company, L.P. Determining sentiments of customers and employees
US11553063B2 (en) 2018-12-07 2023-01-10 Google Llc System and method for selecting and providing available actions from one or more computer applications to a user
KR20200089957A (ko) * 2019-01-18 2020-07-28 삼성전자주식회사 전자 장치 및 이의 제어 방법
WO2020170083A1 (en) 2019-02-22 2020-08-27 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device
JP6611972B1 (ja) * 2019-03-05 2019-11-27 正通 亀井 アドバイス提示システム
JP7090573B2 (ja) * 2019-03-15 2022-06-24 ヤフー株式会社 提供装置、提供方法及び提供プログラム
JP7139270B2 (ja) * 2019-03-18 2022-09-20 ヤフー株式会社 推定装置、推定方法及び推定プログラム
WO2020222539A1 (en) 2019-05-02 2020-11-05 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
KR102354964B1 (ko) * 2019-10-11 2022-01-24 주식회사 케이티앤지 교체 가능한 카트리지를 추천하는 에어로졸 생성 장치 및 에어로졸 생성 시스템
US11272314B2 (en) 2020-01-07 2022-03-08 Kyndryl, Inc. Geofence selection and modification
KR20220006926A (ko) * 2020-07-09 2022-01-18 삼성전자주식회사 요약 비디오를 생성하는 디바이스 및 방법
RU2768551C1 (ru) * 2020-10-07 2022-03-24 Самсунг Электроникс Ко., Лтд. Способ локального генерирования и представления потока обоев и вычислительное устройство, реализующее его
KR20220054067A (ko) * 2020-10-23 2022-05-02 삼성전자주식회사 전자 장치 및 서버를 포함하는 시스템, 및 그 시스템을 이용한 컨텐츠 추천 방법
CN112667762B (zh) * 2020-12-25 2023-04-25 贵州北斗空间信息技术有限公司 一种零编程快速构建gis系统的方法
WO2023073956A1 (ja) * 2021-10-29 2023-05-04 Ｖｉｅ Ｓｔｙｌｅ株式会社 プログラム、情報処理方法、及び情報処理装置
US12020560B2 (en) 2021-11-30 2024-06-25 Samsung Electronics Co., Ltd. Device and method of providing audiovisual content for the disabled
KR20230081026A (ko) * 2021-11-30 2023-06-07 삼성전자주식회사 장애인을 위한 시청각 콘텐츠 제공 장치 및 방법
US11895368B2 (en) * 2022-03-04 2024-02-06 Humane, Inc. Generating, storing, and presenting content based on a memory metric
GB2617385A (en) * 2022-04-07 2023-10-11 Sony Interactive Entertainment Inc Game launching system and method

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
US20080320037A1 (en) * 2007-05-04 2008-12-25 Macguire Sean Michael System, method and apparatus for tagging and processing multimedia content with the physical/emotional states of authors and users
CN102404680A (zh) * 2010-09-09 2012-04-04 三星电子（中国）研发中心 基于位置识别的启动应用的方法以及使用该方法的手持设备
CN102737331A (zh) * 2010-12-02 2012-10-17 微软公司 根据情绪为广告确定受体
CN103697900A (zh) * 2013-12-10 2014-04-02 郭海锋 一种情感车载机器人通过增强现实进行危险预警的方法
US20140143064A1 (en) * 2006-05-16 2014-05-22 Bao Tran Personal monitoring system
CN104063427A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
US20140324749A1 (en) * 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20150067708A1 (en) * 2013-08-30 2015-03-05 United Video Properties, Inc. Systems and methods for generating media asset representations based on user emotional responses
CN104409085A (zh) * 2014-11-24 2015-03-11 惠州Tcl移动通信有限公司 一种车载智能音乐播放器及其音乐播放方法
CN104597825A (zh) * 2014-12-11 2015-05-06 小米科技有限责任公司 信息推送方法和装置
US20150127628A1 (en) * 2012-04-16 2015-05-07 Onepatont Software Limited Method and System for Display Dynamic & Accessible Actions with Unique Identifiers and Activities
CN104699972A (zh) * 2015-03-18 2015-06-10 小米科技有限责任公司 情绪识别提醒方法及装置
CN104809221A (zh) * 2015-04-30 2015-07-29 努比亚技术有限公司 音乐信息的推荐方法及装置
CN104822312A (zh) * 2012-12-03 2015-08-05 高通股份有限公司 对用户情绪与电子媒体进行关联
JP2015184763A (ja) * 2014-03-20 2015-10-22 ヤフー株式会社 感情推定装置、感情推定方法、及び感情推定プログラム
CN105339926A (zh) * 2013-08-06 2016-02-17 英特尔公司 情绪相关的查询处理
US20160085802A1 (en) * 2014-09-22 2016-03-24 At&T Intellectual Property I, L.P. Contextual Inference of Non-Verbal Expressions
JP2016085526A (ja) * 2014-10-23 2016-05-19 株式会社デンソー 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム
US20160180379A1 (en) * 2014-12-18 2016-06-23 Nbcuniversal Media, Llc System and method for multimedia content composition
CN105791692A (zh) * 2016-03-14 2016-07-20 腾讯科技（深圳）有限公司 一种信息处理方法及终端
JP2016136294A (ja) * 2015-01-23 2016-07-28 セイコーエプソン株式会社 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法
CN105830066A (zh) * 2013-12-19 2016-08-03 微软技术许可有限责任公司 用情绪状态信息来标记图像

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794846B2 (ja) 2004-10-27 2011-10-19 キヤノン株式会社 推定装置、及び推定方法
JP5083033B2 (ja) 2008-05-23 2012-11-28 株式会社豊田中央研究所 感情推定装置及びプログラム
US10482333B1 (en) * 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US20130159228A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Dynamic user experience adaptation and services provisioning
JP5752070B2 (ja) 2012-02-17 2015-07-22 エヌ・ティ・ティ・コミュニケーションズ株式会社 関連情報表示システム、関連情報表示制御装置、端末装置、プログラム、及び関連情報表示方法
CN102929660A (zh) 2012-10-09 2013-02-13 广东欧珀移动通信有限公司 一种终端设备心情主题的控制方法及其终端设备
CN103093752A (zh) 2013-01-16 2013-05-08 华南理工大学 一种基于手机语音的情感分析方法及其系统
KR20140094336A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
US9015737B2 (en) 2013-04-18 2015-04-21 Microsoft Technology Licensing, Llc Linked advertisements
US20150257706A1 (en) 2014-03-17 2015-09-17 Htc Corporation Portable electronic device and method for physiological measurement
KR101598601B1 (ko) 2014-05-14 2016-03-02 전자부품연구원 상황 기반 서비스 지원 기술
US9805381B2 (en) * 2014-08-21 2017-10-31 Affectomatics Ltd. Crowd-based scores for food from measurements of affective response
US10223459B2 (en) * 2015-02-11 2019-03-05 Google Llc Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
CN105045916A (zh) 2015-08-20 2015-11-11 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种手机游戏推荐系统及其推荐方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
US20140143064A1 (en) * 2006-05-16 2014-05-22 Bao Tran Personal monitoring system
US20080320037A1 (en) * 2007-05-04 2008-12-25 Macguire Sean Michael System, method and apparatus for tagging and processing multimedia content with the physical/emotional states of authors and users
CN102404680A (zh) * 2010-09-09 2012-04-04 三星电子（中国）研发中心 基于位置识别的启动应用的方法以及使用该方法的手持设备
CN102737331A (zh) * 2010-12-02 2012-10-17 微软公司 根据情绪为广告确定受体
US20140324749A1 (en) * 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20150127628A1 (en) * 2012-04-16 2015-05-07 Onepatont Software Limited Method and System for Display Dynamic & Accessible Actions with Unique Identifiers and Activities
CN104822312A (zh) * 2012-12-03 2015-08-05 高通股份有限公司 对用户情绪与电子媒体进行关联
CN105339926A (zh) * 2013-08-06 2016-02-17 英特尔公司 情绪相关的查询处理
US20150067708A1 (en) * 2013-08-30 2015-03-05 United Video Properties, Inc. Systems and methods for generating media asset representations based on user emotional responses
CN103697900A (zh) * 2013-12-10 2014-04-02 郭海锋 一种情感车载机器人通过增强现实进行危险预警的方法
CN105830066A (zh) * 2013-12-19 2016-08-03 微软技术许可有限责任公司 用情绪状态信息来标记图像
JP2015184763A (ja) * 2014-03-20 2015-10-22 ヤフー株式会社 感情推定装置、感情推定方法、及び感情推定プログラム
CN104063427A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
US20160085802A1 (en) * 2014-09-22 2016-03-24 At&T Intellectual Property I, L.P. Contextual Inference of Non-Verbal Expressions
JP2016085526A (ja) * 2014-10-23 2016-05-19 株式会社デンソー 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム
CN104409085A (zh) * 2014-11-24 2015-03-11 惠州Tcl移动通信有限公司 一种车载智能音乐播放器及其音乐播放方法
CN104597825A (zh) * 2014-12-11 2015-05-06 小米科技有限责任公司 信息推送方法和装置
US20160180379A1 (en) * 2014-12-18 2016-06-23 Nbcuniversal Media, Llc System and method for multimedia content composition
JP2016136294A (ja) * 2015-01-23 2016-07-28 セイコーエプソン株式会社 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法
CN104699972A (zh) * 2015-03-18 2015-06-10 小米科技有限责任公司 情绪识别提醒方法及装置
CN104809221A (zh) * 2015-04-30 2015-07-29 努比亚技术有限公司 音乐信息的推荐方法及装置
CN105791692A (zh) * 2016-03-14 2016-07-20 腾讯科技（深圳）有限公司 一种信息处理方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王征 等: "基于在线客户情绪能量感知的商品推荐算法", 《吉林大学学报(信息科学版)》, vol. 27, no. 03, 15 May 2009 (2009-05-15), pages 262 - 267 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN108733429A (zh) * 2018-05-16 2018-11-02 Oppo广东移动通信有限公司 系统资源配置的调整方法、装置、存储介质及移动终端
CN108733429B (zh) * 2018-05-16 2020-01-21 Oppo广东移动通信有限公司 系统资源配置的调整方法、装置、存储介质及移动终端
CN108694619A (zh) * 2018-06-20 2018-10-23 新华网股份有限公司 电影票房预测方法和系统
US11755905B2 (en) 2018-06-22 2023-09-12 Semiconductor Energy Laboratory Co., Ltd. Data processing method, image display method, data processing device, and image display device
CN108989887A (zh) * 2018-07-17 2018-12-11 奇酷互联网络科技（深圳）有限公司 移动终端和推送视频的方法、装置
CN110970113B (zh) * 2018-09-30 2023-04-14 宁波方太厨具有限公司 基于用户情绪的智能菜谱推荐方法
CN110970113A (zh) * 2018-09-30 2020-04-07 宁波方太厨具有限公司 基于用户情绪的智能菜谱推荐方法
US10960173B2 (en) 2018-11-02 2021-03-30 Sony Corporation Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis
CN109549624A (zh) * 2018-11-04 2019-04-02 南京云思创智信息科技有限公司 一种基于深度学习的实时视频情感分析方法及系统
CN110069991A (zh) * 2019-03-18 2019-07-30 深圳壹账通智能科技有限公司 反馈信息确定方法、装置、电子设备及存储介质
CN110826436A (zh) * 2019-10-23 2020-02-21 上海能塔智能科技有限公司 情绪数据传输及处理方法、装置、终端设备、云平台
CN111145912A (zh) * 2019-12-23 2020-05-12 浙江大学 一种基于机器学习的个性化超促排卵方案的预测装置
CN111145912B (zh) * 2019-12-23 2023-04-18 浙江大学 一种基于机器学习的个性化超促排卵方案的预测装置
CN111222044A (zh) * 2019-12-31 2020-06-02 深圳Tcl数字技术有限公司 基于情绪感知的信息推荐方法、设备及存储介质
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統
CN115375001A (zh) * 2022-07-11 2022-11-22 重庆旅游云信息科技有限公司 一种用于景区的游客情绪评估方法及装置
CN117593058A (zh) * 2023-12-05 2024-02-23 北京鸿途信达科技股份有限公司 基于情绪识别的广告匹配系统

Also Published As

Publication number Publication date
US20180075490A1 (en) 2018-03-15
US11049147B2 (en) 2021-06-29
JP6547977B2 (ja) 2019-07-24
KR20180028939A (ko) 2018-03-19
EP3293691A1 (en) 2018-03-14
CN107807947B (zh) 2022-06-10
KR102013493B1 (ko) 2019-08-22
JP2018041460A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107807947A (zh) 基于情绪状态检测在电子设备上提供推荐的系统和方法
US10960173B2 (en) Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis
US11924576B2 (en) Dynamic activity-based image generation
US11024070B2 (en) Device and method of managing user information based on image
KR101944630B1 (ko) 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법
KR102327203B1 (ko) 전자 장치 및 그 동작 방법
JP6452443B2 (ja) データ・ネットワーク・サービスを介した感情共有のためのバイオセンサーの使用
US20230140011A1 (en) Learning mode for context identification
US20180285463A1 (en) Electronic device and method for generating user profile
US20150177939A1 (en) User interface based on wearable device interaction
CN109314659A (zh) 消息传递成就象形图显示系统
US20180241864A1 (en) Wearable Devices
CN108574701A (zh) 用于确定用户状态的系统和方法
KR102384311B1 (ko) 이미지 기반으로 사용자 정보를 관리하는 디바이스 및 그 방법
US9907469B2 (en) Combining information from multiple formats
CN108024763A (zh) 活动信息提供方法及支持其的电子设备
CN114339375B (zh) 视频播放方法、生成视频目录的方法及相关产品
US11507855B2 (en) Generating action suggestions based on a change in user mood
CN104137101B (zh) 用于管理媒体文件的方法、装置和计算机程序产品
CN108632450A (zh) 用于捕获内容的电子设备和方法
KR102087290B1 (ko) 감성 컨텐츠 서비스 운용 방법, 이를 지원하는 서비스 제공 장치 및 단말기
US20210124980A1 (en) Augmented group experience event correlation
CN108140223A (zh) 内容提供方法和用于执行该方法的电子设备
SEN Fusing mobile, wearable and infrastructure sensing for immersive daily lifestyle analytics
CN108933821A (zh) 基于真实人物的照片推送方法、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant