CN110447232A - 用于确定用户情绪的电子设备及其控制方法 - Google Patents

用于确定用户情绪的电子设备及其控制方法 Download PDF

Info

Publication number
CN110447232A
CN110447232A CN201880020292.1A CN201880020292A CN110447232A CN 110447232 A CN110447232 A CN 110447232A CN 201880020292 A CN201880020292 A CN 201880020292A CN 110447232 A CN110447232 A CN 110447232A
Authority
CN
China
Prior art keywords
user
mood
data
characteristic
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880020292.1A
Other languages
English (en)
Other versions
CN110447232B (zh
Inventor
尹昭正
金叡薰
张峻翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/003735 external-priority patent/WO2018182337A1/ko
Publication of CN110447232A publication Critical patent/CN110447232A/zh
Application granted granted Critical
Publication of CN110447232B publication Critical patent/CN110447232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及利用诸如深度学习的机器学习算法的人工智能(AI)系统及其应用。具体地，用于控制本公开的电子设备的方法包括以下步骤：从连接到电子设备的外部终端获得包括关于用户的数据的图像数据和补充数据；通过使用图像数据和补充数据生成用于确定用户的实际情绪的特征数据；并且通过将特征数据输入到情绪识别模型中来确定用户的实际情绪。

Description

用于确定用户情绪的电子设备及其控制方法
技术领域
本公开涉及电子设备及其控制方法。更具体地，本公开涉及一种能够分析数据以确定用户的情绪并且推断出情绪发生的原因的电子设备及其控制方法。
此外，本公开涉及使用诸如深度学习等的机器学习算法来模拟人脑的诸如认知、确定等功能的人工智能(AI)系统及其应用。
背景技术
人工智能(AI)系统是实现人类智能的计算机系统，与现有的基于规则的智能系统不同，该系统是机器自身学习、确定和变得智能的系统。随着人工智能(AI)系统的使用越来越多，可以提高人工智能(AI)系统的识别率，并且可以更准确地理解用户偏好。因此，现有的基于规则的智能系统已逐渐被基于深度学习的人工智能系统所取代。
人工智能技术包括机器学习(例如，深度学习)和利用机器学习的元素技术。机器学习是一种算法技术，用于自行分类和学习输入数据的特征。元素技术是利用诸如深度学习等机器学习算法的技术，其可以包括包括语言理解、视觉理解、推理/预测、知识表达、运动控制等技术领域。
应用人工智能(AI)技术的各个领域如下所示。语言理解是一种识别人类语言和性格的技术，应用和处理所识别的人类语言和性格，包括自然语言处理、机器翻译、对话系统、问答、语音识别和合成等。视觉理解是一种识别物体的技术，好像物体是从人类视线中观察的，其包括物体识别、物体跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等。推断和预测是识别信息以执行逻辑推理和预测的技术，其包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表达是一种针对用知识数据来体验人的信息来执行自动化处理的技术，包括知识构建(数据生成/分类)、知识管理(数据使用)等。运动控制是控制车辆的自动驾驶、机器人运动等的技术，其包括运动控制(导航、碰撞和驾驶)、操纵控制(行为控制)等。
同时，在相关技术中，通过分析要确定其情绪的用户的面部表情来确定用户的情绪状态。然而，存在来自分析用户面部的情绪和用户的实际情绪彼此不同的情况。也就是说，用户的面部表情是被激怒的，但是实际用户的感觉可能是愉快的，以及用户的面部表情是微笑的，但是实际用户的感觉可能是悲伤的。如上所述，当通过仅分析用户的面部表情来确定情绪时，可能存在不能准确地识别用户的实际情绪的情况。
发明内容
技术问题
本公开是上述问题的解决方案，即，提供一种电子设备以及其控制方法，其能够分析要确定其情绪的用户的面部表情并同时分析用户的周围环境信息以确定用户的实际情绪。
解决方案
根据本公开的实施例的用于控制电子设备以实现上述目的的方法包括：从连接到电子设备的外部终端获得包括用户的图像数据和补充数据，通过使用图像数据和补充数据生成用于确定用户的实际情绪的特征数据，并通过将特征数据输入到情绪识别模型中来确定用户的实际情绪。
补充数据可以包括包括GPS信息、图像的方向信息和散列标签信息、关于用户的预输入信息、用户的过去情绪以及图像上的爬行信息的至少一个。
特征数据可包括第一特征数据和第二特征数据。第一特征数据可以是与除了外围信息之外的用户的情绪相关的特征数据。第二特征数据可以是关于用户的外围信息的特征数据。
确定可以包括通过将第一特征数据输入到情绪识别模型中来确定用户的情绪，以及通过将第二特征数据输入到情绪识别模型中来确定外围信息，并且通过分析所确定的用户对第一特征数据的情绪和关于第二特征数据的外围信息来确定用户的实际情绪。
确定情绪可以包括计算用户的过去情绪的权重，以及通过使用特征数据和权重来确定用户的当前情绪。
该方法可以包括按时间或位置对特征数据进行分类，并将它们存储在存储器中。
该方法可以包括：响应于从外部终端接收的用户请求，通过将特征数据输入到情绪推断模型中来确定用户情绪发生的原因，并且将确定的情绪发生原因提供给外部终端。
该确定可以包括通过时间、位置、人物或事件确定用户的情绪发生的原因。
实现上述目的的根据本公开实施例的电子设备包括：通信单元，用于从连接到电子设备的外部终端接收包括用户的图像数据和补充数据；处理器，用于通过使用图像数据和补充数据来确定用户的实际情绪，通过将特征数据输入到情绪识别模型中来确定用户的实际情绪；以及存储器，用于存储特征数据。
补充数据可以包括GPS信息、图像的方向信息和散列标签信息、关于用户的预输入信息、用户的过去情绪以及图像上的爬行信息的至少一个。
特征数据可包括第一特征数据和第二特征数据。第一特征数据可以是与除了外围信息之外的用户的情绪相关的特征数据。第二特征数据可以是关于用户的外围信息的特征数据。
处理器可以通过将第一特征数据输入到情绪识别模型中来确定用户的情绪，通过将第二特征数据输入到情绪识别模型中来确定外围信息，并且通过分析所确定的用户对第一特征的情绪和关于第二特征数据的外围信息来确定用户的实际情绪。
处理器可以计算用户的过去情绪的权重，并通过使用特征数据和权重来确定用户的当前情绪。
处理器可以按时间、位置、人物或事件对特征数据进行分类，并将它们发送到存储器。
响应于从外部终端接收的用户请求，处理器可以通过将特征数据输入到情绪推断模型中来确定用户的情绪发生的原因，并且将确定的情绪发生原因提供给外部终端。
处理器可以通过时间或位置确定用户的情绪发生的原因。
同时，在存储程序以执行根据本公开实施例的用于控制电子设备的方法的非暂时性计算机可读介质中，用于控制电子设备的方法包括从连接到电子设备的外部终端获得包括用户的图像数据和补充数据，通过使用图像数据和补充数据生成用于确定用户的实际情绪的特征数据，并通过将特征数据输入到情绪识别模型中来确定用户的实际情绪。
发明效果
如上所述，根据本公开的实施例，可以使用外围信息更精确地确定用户的情绪，并且可以通过特征数据来推断情绪的原因。
附图说明
图1A和1B是解释根据本公开的实施例的电子设备100的配置的图。
图2是根据本公开的实施例的用于解释用户的实际情绪的确定和情绪原因的推断的框图。
图3是解释根据本公开的实施例的用于确定情绪的方法的图。
图4A和4B是解释使用外围信息分析用户情绪的方法的图。
图5A和5B是解释根据本公开的实施例的情绪原因分析的图。
图6是根据本公开另一实施例的用于解释确定用户的实际情绪和情绪原因的过程的图。
图7是解释根据本公开的实施例的用于控制电子设备100的方法的流程图。
图8是解释根据本公开的实施例的用于控制用于推断用户情绪的确定和情绪原因的分析的的系统的方法的序列图。
图9是解释根据本公开另一实施例的用于执行情绪确定和情绪原因分析的用户终端的图。
图10是根据本公开的一些实施例的处理器的框图。
图11A和11B是根据本公开的一些实施例的数据学习单元和情绪确定单元的框图。
具体实施方式
将简要描述说明书中使用的术语，并且将更详细地描述本发明。
在本公开的示例实施例中使用的术语是现在广泛使用并且考虑到本公开的功能而选择的一般术语。然而，这些术语可以根据本领域技术人员的意图、先例或新技术的出现而变化。另外，在特殊情况下，可以使用申请人选择的术语。在这种情况下，将在相应的详细描述中详细解释术语的含义。因此，应当基于这里的术语和描述的含义而不是术语的名称来定义本公开中使用的术语。
实施例可以变化，并且可以在不同的示例性实施例中提供。将参考附图和详细说明来描述具体实施例。然而，这并非旨在将范围限制于示例性实施例，因此，应当理解，包含在本发明的精神和技术范围内的所有修改、等同物或替代物。在描述实施例时，如果确定关于已知技术的具体描述模糊了本公开的主旨，则省略具体描述。
诸如“第一”，“第二”等术语可用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。
除非上下文另有明确说明，否则单数形式旨在包括复数形式。在本申请中，术语“包括”和“包含”表示在说明书中写入的特征、数字、步骤、操作、组件、元素或其组合的存在，但不排除添加一个或多个其他特征、数字、步骤、操作、组件、元素或其组合的存在或可能性。
在示例性实施例中，“模块”或“单元”执行至少一个功能或操作，并且可以实现为硬件、软件或其组合。此外，除了需要由特定硬件实现的“模块”或“单元”之外，多个“模块”或多个“单元”被集成到至少一个模块中，因此可以由至少一个处理器实现。
在本发明的一个实施例中，应当理解，当元件与另一元件“连接”时，该元件可以与另一元件“直接连接”，并且该元件可以与另一元件“电连接”。元件之间具有插入元件。此外，它不仅包括物理连接，还包括无线连接。另外，应当理解，当某个部分“包括”某个元素时，该特定部分可以不排除另一个元素，并且可以进一步包括另一个元素，除非该术语另有定义。
在下文中，现在将参考附图更详细地描述某些实施例，以使本领域技术人员能够容易地进行相同的操作。然而，实施例可以以各种不同的配置来实现，并且不限于这里提供的描述。此外，省略与描述无关的那些以便更清楚地描述实施例，并且在整个说明书中类似的附图标号用于类似的元件。
在本公开中，术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
图1A和1B是解释根据本公开的实施例的电子设备100的配置的图。
电子设备100可以实现为服务器并且与外部终端200-1至200-3互锁，并且提供用户情绪分析服务，如图1所示。
如图1B所示，电子设备100包括通信单元110、存储器120和处理器130。
通信单元110从各种外部终端接收用于分析用户情绪的数据。具体地，通信单元100可以从诸如外部用户终端200-1、外部服务器200-2、外部拍摄设备200-3等的各种外部终端接收用于分析用户的情绪的数据。
在这种情况下，从外部接收的数据可以包括图像数据和补充数据。具体地，图像数据可以是从外部拍摄设备200-3接收的照片和视频数据。在这种情况下，如果图像数据是视频数据，则图像数据可以包括视频数据中包括的音频数据。
补充数据是指与图像数据有关的数据。例如，补充数据可以以各种形式配置，诸如关于包括在图像数据中的人的会话的信息，包括在图像数据中的GPS信息，方向信息，散列标签信息，关于用户的预输入信息，从电子设备100确定的用户的过去情绪信息，通过爬行图像获取的信息等。然而，补充数据不限于上述示例，并且可以包括被确定为确定用户情绪所必需的各种数据。
存储器120可以存储用于驱动电子设备100的各种操作系统(O/S)，并且可以存储用于操作电子设备100的各种软件程序或应用程序。
存储器120可以存储特征数据。在这种情况下，特征数据是指使用图像数据和补充数据生成的数据。下面将提供其详细描述。或者，存储器120可根据需要存储图像数据和补充数据。
同时，存储器120可以包括多个软件模块，用于执行用户情绪的确定和情绪原因的分析。具体地，如图2所示，存储器120可以包括数据输入模块210、特征数据确定模块230、情绪确定模块240、特征数据存储模块260和情绪原因推断模块270。
数据输入模块210可以从外部终端获得各种形式的图像数据。
特征数据确定模块230可以通过分析输入数据来确定特征数据。具体地，特征数据确定模块230可以通过使用情绪识别模型220来确定特征数据。
情绪确定模块230可以根据特征数据来实际确定用户的实际情绪。尽管未在图2中示出，仍可以通过将特征数据应用到情绪识别模型220中来获得用户的实际情绪。
特征数据存储模块240可以存储所生成的特征数据。
情绪推断模块270可以确定用户情绪发生的原因。例如，情绪推断模块270可以通过将特征数据应用到情绪推断模型250中来识别情绪发生的原因。
处理器130可以控制电子设备100的上述部件。例如，处理器130可以通过使用存储在存储器120中的多个软件模块来确定用户的实际情绪，或者可以确定用户情绪的原因。
具体地，处理器130可以通过使用图像数据和补充数据来生成用于确定用户的情绪的特征数据。另外，处理器130可以通过将生成的特征数据输入到情绪识别模型来控制情绪确定模块240以确定用户的实际情绪。
处理器130可以控制特征数据确定模块230通过使用图像数据和补充数据来生成包括第一特征数据和第二特征数据的特征数据。在这种情况下，第一特征数据可以是与要确定其情绪的用户相关的数据。例如，处理器130可以控制特征数据确定模块230从图像数据中检测用户的面部表情，并将与检测到的用户的面部表情相对应的情绪确定为第一特征数据。在这种情况下，检测到的用户的情绪(第一特征数据)可以与用户感觉到的实际情绪不同。例如，实际用户的感觉是“快乐”，但是与第一特征数据相对应的情绪可能是“生气”。
同时，第二特征数据可以是不包括第一特征数据的特征数据。例如，第二特征数据可以是从包括在图像中的用户周围的人物的面部表情确定的情绪信息。或者，它可以与根据图像中包括的对话内容确定的说话者和对话伙伴的情绪有关。或者，它可以是拍摄图像的地方和人们在相应位置统计感受到的情绪。
如上所述，特征数据可以是与输入的图像数据和补充数据中的用户的情绪或用户周围的人物有关的数据。然而，特征数据不限于此，并且可以包括除情绪之外的各种信息。例如，特征数据可以包括各种信息，诸如围绕用户的各种对象、上下文、天气、时间信息等。
在这种情况下，与图像数据和补充数据相比，特征数据可以具有较小的容量。也就是说，仅生成从各种输入数据中确定用户情绪所需的数据作为特征数据，从而处理器130可以使用分配给存储器的存储空间。
同时，处理器130可以通过将第一特征数据和第二特征数据输入到情绪识别模型中来确定用户的实际情绪。例如，处理器130可以通过将第一特征数据输入到情绪识别模型中来确定关于第一特征数据的用户情绪。这里，所确定的情绪可以与用户的实际情绪不同。另外，处理器130可以通过将第二特征数据输入到情绪识别模型中来确定关于周围人物和其他周边信息的情绪。处理器130可以基于关于第一特征数据的确定的用户的情绪和关于第二特征数据的外围信息的信息来确定用户的实际情绪。
然而，示例不限于此，并且可以通过同时将第一特征数据和第二特征数据应用于情绪识别模型来确定用户的实际情绪。
在这种情况下，当确定用户的实际情绪时，处理器130可以计算关于用户的过去情绪的权重，并且通过使用计算出的权重来确定用户的当前情绪。这将在下面解释。
另外，处理器130可以根据特定类别对特征数据进行分类，并将分类的特征数据存储在存储器120中。例如，处理器130可以根据时间的推移对特征数据进行分类并将分类的特征数据存储在存储器120中。另外，处理器130可以按位置对特征数据进行分类，并将分类的特征数据存储在存储器120中。在上述示例中，按时间和位置对特征数据进行分类。然而，可以根据各种类别对特征数据进行分类。
同时，当从外部设备接收到用户请求时，处理器130可以通过将特征数据输入到情绪推断模型中来确定用户情绪的发生原因，并将确定的原因提供给外部终端。例如，如果用户的实际情绪是“生气”，则处理器130可以从特征数据分析用户生气的原因并将分析的原因提供给用户。
另外，处理器130可以通过时间、位置、人物或事件来确定用户的实际情绪和情绪发生的原因。如果存在用户请求，则处理器130可以向用户提供情绪和原因信息。例如，当用户请求由时间决定的(organized)情绪和情绪的原因时，处理器130可以向用户提供情绪和情绪随时间发生的原因。因此，用户可以按时间识别用户的情绪状态和情绪发生的原因。
或者，当用户请求由位置决定的情绪和情绪的原因时，处理器130可以通过位置向用户提供情绪和情绪发生的原因。
或者，当用户请求由人物决定的情绪和情绪的原因时，处理器130可以向用户提供针对特定人的情绪和情绪发生的原因。具体地，当用户由特定的人陪同时，处理器130可以向用户提供关于用户的情绪和情绪发生的原因的信息。
或者，当用户请求由事件决定的情绪和情绪的原因时，处理器130可以向用户提供关于特定事件的情绪和情绪发生的原因。具体地，处理器130可以在发生特定事件时向用户提供关于用户的情绪和情绪发生原因的信息。
另外，根据本公开的各种实施例，电子设备100可以从输入的图像数据和补充数据获得特征数据，并且通过分析获得的特征数据来确定情绪数据。在本公开中，可以考虑识别模型的应用领域、设备的计算机性能等来构建学习识别模型。学习对象识别模型可以是例如基于神经网络的模型。学习对象识别模型可以被设计为在计算机上模拟人类大脑结构，并且可以包括具有用于模拟人类神经网络的神经元的权重的多个网络节点。多个网络节点可以分别形成连接关系，以便模拟神经元的突触活动，其中神经元通过突触交换信号。另外，对象识别模型可以包括例如神经网络模型或从神经网络模型推进的深度学习模型。在深度学习模型中，多个网络节点可以位于不同的深度(或层)，并根据卷积连接关系交换数据。例如，诸如深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BRDNN)等的模型可以用作对象识别模型，但不限于此。下面将描述上述对象识别模型的应用的具体示例。
另外，电子设备100可以使用人工智能代理来执行如上所述的任务。在这种情况下，人工智能代理是专门用于提供基于人工智能(AI)的服务(例如，语音识别服务、秘书服务、翻译服务、搜索服务等)的程序，其可以由通用处理器(例如，CPU)或专用于AI的附加处理器(例如，GPU等)来执行。
图4A至图6是用于解释本公开的各种实施例的图。
图4A和4B是解释使用外围信息分析用户情绪的方法的图。具体而言，图4A和4B是用于解释使用拍摄了足球比赛冠军的足球运动员的照片数据来确定用户411的情绪的过程的图。
处理器130可以通过控制特征数据确定模块230从照片数据生成特征数据。例如，处理器130可以控制特征数据确定模块230，并通过图像分析确定用户的情绪。在这种情况下，处理器130可以通过控制特征数据确定模块230并分析用户411的面部表情以及要确定其情绪的周围人物421和431来确定情绪。
具体而言，如图4A所示，处理器130可以通过控制特征数据确定模块230并分析用户411的面部表情来生成情绪表412。在这种情况下，用户411的情绪是“生气”。另外，参考周围人物421和431以及周围人物的情绪表422和432，周围人物的情绪状态是“幸福”。在这种情况下，用户和周围的人物411,421和431的情绪状态是特征数据，并且特征数据可以存储在特征数据存储模块260中。具体地，用户411的“生气”的数据可以作为第一特征数据，周围人物421和431的“幸福”数据可以是第二特征数据。
处理器130可以控制情绪确定模块240并分析所获取的特征数据，并确定用户411的实际情绪。具体地，处理器130可以控制情绪确定模块240，并通过将特征数据输入到情绪识别模型220中来确定用户411的情绪。在这种情况下，处理器130可以控制情绪确定模块240，并通过使用与周围人物421和422相关的特征数据来确定用户411处于幸福状态。具体地，处理器130可以控制情绪确定模块240并且确定用户411的情绪是包括如图4B所示的外围信息的“幸福”。
在上述实施例中，仅使用用户的面部表情和周围的人物411,421和431来分析用户411的情绪，但是不限于此。例如，第一特征数据和第二特征数据不仅可以从面部表情确定，还可以从诸如注视方向、动作、周围环境、周围噪声、地点、会话内容等的各种数据确定。
图5A和5B是解释根据本公开的实施例的情绪原因分析的图。
具体而言，图5A是示出由电子设备100确定的用户的情绪的图。具体地，参考用户511的情绪表512，可以理解用户511处于“悲伤”状态。具体地，参考用户521的情绪表522，可以理解用户521处于“幸福”状态。
在这种情况下，当存在用户的请求时，电子设备100可以分析用户511和521的情绪原因。具体地，处理器130可以控制情绪推断模块270以确定情绪原因。具体地，可以通过将存储在特征数据存储模块260中的特征数据输入到情绪原因推断模型250中来推断用户的情绪原因。例如，处理器130可以分析与特定情绪相关的特征数据以确定情绪原因。也就是说，处理器130可以通过仅使用存储在特征数据存储模块260中的小尺寸的数据来确定情绪原因。
具体而言，如图5B所示，处理器130可以对应于用户511的悲伤原因，提供用户511的朋友正在恶心用户511的图像530，并且对应于用户521满意的原因，提供用户521接收礼物的图像540。
同时，如上所述，当存在用户请求时，处理器130可以按特定类别对用户的情绪和情绪发生原因进行分类，并将其提供给用户。在这种情况下，特定类别可以与时间、地点、人物或事件相关，并且可以是各种其他类别。例如，类别可以是各种情况，诸如当用户伴随特定人物时，当用户正在观看特定广播时，当用户正在访问特定网站时等。然而，该示例不限于上述实施例，并且可以通过各种类别类型对用户的情绪和情绪发生原因进行分类。
同时，当用户随时间请求关于情绪和情绪原因的信息时，处理器130可以随时间提供用户的情绪和情绪发生原因。
在这种情况下，处理器130可以总结大多数不同的情绪，并向用户提供概括的情绪。例如，处理器130可以在白天向用户提供最生气、最兴奋、最幸福、最悲伤等。然而，该示例不限于上述实施例，并且可以通过各种方法提供用户的情绪和情绪发生原因。
在这种情况下，提供给用户的信息可以是图像数据的形式。然而，信息不限于图像数据，并且可以作为语音数据或文本数据提供，并且可以一起提供上述各种数据。
例如，当用户请求情绪和情绪原因信息时，处理器130可以提供如图5B中所示的图像数据。或者，处理器130可以向用户提供文本或语音，例如“珍妮今天在幼儿园度过了整个有趣的一天，但是她在搭积木时间与她的朋友一起打架了，哭了一段时间。然而，最终，她获得了搭积木的一等奖，并被老师授予奖项，当时她最为兴奋。”
同时，在上述实施例中，用户的情绪被分类为一个类别，但不限于此。也就是说，电子设备100可以通过一起考虑多个类别来对用户的情绪进行分类。例如，当所选类别是时间和地点时，电子设备100可以随时间在特定地点对用户的情绪进行分类。
图6是解释根据本公开另一实施例的确定用户的实际情绪和情绪原因的过程的图。具体而言，图6是解释用于随时间确定同一地点的用户情绪的方法的图。
处理器130可以控制特征数据确定模块230和情绪确定模块240以确定用户的情绪。例如，处理器130可以控制特征数据确定模块130以生成特征数据。在这种情况下，特征数据可以是与用户611的面部表情，用户611所在的位置以及拍摄图像的时间有关的数据。处理器130可以控制情绪确定模块240以生成情绪表612，并且确定用户611在14:15的情绪是“中性的”。
另外，处理器130可以确定用户621在15:15的情绪。例如，处理器130可以控制特征数据确定模块130以生成特征数据。在这种情况下，特征数据可以是与用户611的面部表情，用户611所在的位置以及拍摄图像的时间相关的数据，并且还可以包括在相应的地方中确定的用户的过去情绪。
处理器130可以控制情绪确定模块240以生成情绪表622，并且确定用户621在15:15的情绪是“幸福”。
同时，如图5A和5B所示，当存在用户请求时，处理器130可以通过特定类别对用户的情绪和情绪发生原因进行分类，并将其提供给用户。
如上所述，处理器130可以提供与用户请求相对应的图像数据，并提供文本或语音消息。
例如，当用户请求情绪和情绪原因信息时，处理器130可以提供如图6中所示的图像数据。或者，处理器160可以提供文本或语音，例如“约翰在今天下午14:15坐在公园长椅上，等了他的女朋友。那时，约翰的情绪是“中性的”，但他在15:15遇见她时感到高兴。”
图7是解释根据本公开的实施例的用于控制电子设备100的方法的流程图。
首先，在操作S710，电子设备100可以从外部终端200-1至200-3接收并获得图像数据和补充数据。
电子设备100可以通过使用获得的数据生成特征数据。具体地，处理器130可以控制特征数据确定模块130以生成特征数据。
电子设备100可以通过将生成的特征数据输入到情绪识别模型中来确定用户的实际情绪。
图8是解释根据本公开的实施例的用于控制用于推断用户情绪的确定和情绪原因的分析的系统的方法的序列图。如上所述，图1至7中描述的电子设备100可以被实现为服务器100。
在这种情况下，用户终端800可以包括通用处理器，并且服务器100可以包括专门用于人工智能的处理器。或者，用户终端800可以包括至少一个应用程序，并且服务器100可以包括操作系统。服务器100是比用户终端800更集成、专用、具有更少延迟、具有更好性能或具有更多资源的部件，与用户终端800相比，服务器100可以是能够迅速有效地处理生成更新或应用识别模型所需的大量计算的部件。
在这种情况下，可以定义用于在用户终端800和服务器100之间发送/接收数据的接口。
例如，可以定义具有要应用于识别模型的学习数据作为因子值(或中介值或转移值)的应用程序接口(API)。API可以被定义为能够被从任何一个协议(例如，在用户终端800中定义的协议中)中调用用于另一协议(例如，在服务器100中定义的协议)的特定处理的子例程或一组功能。也就是说，可以通过API提供可以在任何一个协议中执行另一协议的任务的环境。
在操作S810，用户终端800获得数据。在这种情况下，数据可以包括图像数据和补充数据。
在操作S820，用户终端800可以将获得的数据发送到服务器100以进行情绪分析。
在这种情况下，在操作S830，服务器100可以通过使用从用户终端800接收的数据来获得特征数据。生成的特征数据可以存储在服务器100中，并且可以存储在用户终端800的存储器中。
在操作S840，服务器100可以通过将特征数据输入到情绪确定模型中来确定用户的实际情绪。
在操作S850，服务器100可以将确定的用户的情绪发送到用户终端800。在这种情况下，当在操作S860用户终端800请求情绪原因分析时，在操作S870服务器100可以推断情绪原因。具体地，服务器100可以通过将特征数据输入到情绪原因推断模型中来确定情绪的原因。
图9是解释根据本公开另一实施例的用于执行情绪确定和情绪原因分析的用户终端的图。
在上述实施例中，电子设备100被实现为服务器，并且确定用户的实际情绪并分析情绪的原因，但不限于此。具体地，电子设备100可以被配置为用户终端800，如图9所示。例如，用户终端800可以被配置为各种电子设备，诸如智能电话、平板电脑、笔记本电脑、台式电脑、诸如智能手表的可穿戴设备、电子框架、人形机器人、音频设备、智能电视等，并且可以仅分析用户的情绪。
具体而言，如图9所示，用户终端800可以包括传感器810、存储器820、显示器830、通信单元840、拍摄单元850和处理器860。
传感器810可以感测各种形式的数据。例如，传感器810可以包括陀螺仪传感器、GPS传感器、加速计传感器、照度传感器、湿度传感器等。上述各种传感器可以感测各种数据。
存储器820可以存储从传感器感测的数据。另外，存储器可以从服务器100接收特征数据并存储它。
显示器830可以显示在用户终端800上提供的各种内容。在这种情况下，显示器830可以实现为液晶显示器(LCD)、有机发光显示器(OLED)或等离子显示器面板(PDP)等，并显示可以通过用户终端800提供的各种屏幕。
通信单元840可以包括Wi-Fi芯片841、蓝牙芯片842、无线通信芯片843和近场通信(NFC)芯片844中的至少一个。在使用Wi-Fi芯片841或者蓝牙芯片842的情况下，可以首先发送和接收例如SSID、会话密钥等的各种访问信息，并且可以使用各种访问信息执行通信访问，然后，可以发送并且接收各种信息。无线通信芯片843指的是根据诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等各种通信标准执行通信的芯片。NFC芯片844指的是以NFC方案操作的芯片，该NFC方案使用诸如135kHz、13.56MHz、433MHz、860至960MHz、2.45GHz等各种RF-ID频带中的13.56MHz的频带。
如上所述，通信单元840可以执行与服务器100的通信。具体地，用户终端800可以经由通信单元将各种数据发送到服务器100，并且从服务器100接收各种结果。
拍摄单元110可以拍摄图像数据。拍摄的图像数据可以被发送到服务器100，以便分析用户的情绪以及从传感器810感测的各种数据。
处理器860控制电子设备的整体操作。如上所述，处理器860可以通过使用获得的数据来确定用户的情绪或分析情绪的原因，并且当存在服务器100的请求时，控制通信单元840以发送各种形式的数据。
同时，在图1至图9中描述的各种实施例中，描述了通过分析图像数据来分析用户的情绪的方法，但是示例不限于此。也就是说，可以使用音频数据而不是图像数据来分析用户的情绪。例如，可以通过分析关于用户的呼叫内容、呼叫伙伴、呼叫内容等的音频数据来分析用户的情绪。或者，可以通过分析用户写入或共享的各种内容来确定用户的情绪(例如，在SNS上写入或共享的写入内容，共享图像和标记到相应图像的其他用户)。如上所述，在本公开中，可以通过分析各种内容以及图像来确定用户的情绪。
图10是根据本公开的一些实施例的处理器的框图。参考图10，根据一些实施例的处理器130可包括数据学习单元131和情绪确定单元132。
数据学习单元131可以学习用于确定用户的情绪的标准。处理器130可以通过根据学习的标准分析输入数据来确定用户的实际情绪。数据学习单元131可以确定使用什么数据(或特征数据)以便确定用户的实际情绪。另外，数据学习单元131可以获得要用于学习的数据，并将获得的数据应用于稍后将描述的情绪识别模型和情绪推断模型，以便学习用于确定用户的实际情绪的标准或者情绪发生的原因。
情绪确定单元132可以通过使用预先学习的情绪识别模型和情绪推断模型从预定数据确定用户的实际情绪或情绪发生原因。情绪确定单元132可以通过学习根据预设标准获得预定数据(例如，特征数据)，并且利用具有获得的数据的情绪确定模型作为输入值。另外，情绪确定单元132可以通过将输入的数据应用于情绪确定模型来确定用户的实际情绪。
数据学习单元131的至少一部分和情绪确定单元132的至少一部分可以实现为软件模块或者以至少一个硬件芯片的形式制造并且安装在电子设备上。例如，数据学习部分131和数据识别部分132中的至少一个可以被制造为专用于人工智能(AI)的硬件芯片，或者可以被制造为现有通用处理器(例如，CPU或者应用处理器)的一部分或图形专用处理器(例如，GPU)并且安装在上述各种电子设备上。在这种情况下，专门用于人工智能的硬件芯片是专门用于概率计算的专用处理器，与现有的通用处理器相比，它表现出高并行处理性能，因此，人工智能领域的计算任务，如机器学习可以被快速处理。当数据学习单元131和数据识别单元132被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)或预定应用程序提供。或者，软件模块的一部分可以由操作系统(OS)提供，而剩余部分可以由预定应用程序提供。
可以考虑识别模型的应用领域、学习目标、设备的计算机性能等来建立数据识别模型。数据识别模型可以是例如基于神经网络的模型。数据识别模型可以被设计为模拟计算机上的人脑结构。数据识别模型可以包括多个网络节点，其具有模拟人类神经网络的神经元的权重。多个网络节点可以分别形成连接关系，以便模拟神经元通过突触交换信号的突触活动。数据识别模型可以包括例如神经网络模型或从神经网络模型推进的深度学习模型。在深度学习模型中，多个网络节点可以位于不同的深度(或层)，并根据卷积连接关系交换数据。
例如，诸如深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BRDNN)的模型可以用作数据识别模型，但不限于此。
根据图10的实施例，数据学习单元131和情绪确定单元132都安装在电子设备100上，但是它们可以分别安装在单独的设备上。例如，数据学习单元131和情绪确定单元132中的一个可以包括在服务器100中，并且剩余的一个可以包括在用户终端800中。此外，数据学习单元131和情绪确定单元132可以通过有线或无线互连，并且可以将关于由数据学习单元131建立的情绪确定模型的信息提供给情绪确定单元132，或者可以将输入到情绪确定单元132的数据提供给数据学习单元131，作为额外的学习数据。
同时，数据学习单元131和情绪确定单元132中的至少一个可以实现为软件模块。当数据学习单元131和情绪确定单元132中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读记录介质中。至少一个软件模块可以由操作系统(OS)或预定应用程序提供。或者，至少一个软件模块的一部分可以由OS提供，而其余部分可以由预定应用程序提供。
图11A是根据一些实施例的数据学习单元131的框图。参考图11A，根据一些实施例的数据学习单元131可包括数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-5。
数据获取单元131-1可以获得确定用户的实际情绪所需的数据。具体地，数据获取单元131-1可以获得从图像数据和补充数据生成的图像数据、补充数据或特征数据作为学习数据。
预处理单元131-2可以预处理所获得的数据，使得所获得的数据可以用于学习以确定用户的实际情绪。预处理单元131-2可以将获得的数据预处理为预设格式，使得稍后将描述的模型学习单元131-4可以利用所获得的数据进行学习以确定用户的实际情绪。
学习数据选择单元131-3可以在预处理数据中选择学习所需的数据。可以将所选数据提供给模型学习单元131-4。学习数据选择单元131-3可以根据用于确定用户的实际情绪的预设标准来选择预处理数据中学习所需的数据。另外，学习数据选择单元131-3可以通过学习稍后将描述的模型学习单元131-4来根据预设标准选择数据。模型学习单元131-4可以基于学习数据来学习关于如何确定用户的实际情绪的标准。另外，模型学习单元131-4可以学习关于使用什么学习数据的标准，以便确定用户的实际情绪。
模型学习单元131-4可以通过使用学习数据来学习用于确定用户的实际情绪的情绪确定模型。在这种情况下，情绪确定模型可以是预先建立的模型。例如，情绪确定模型可以是通过接收基本学习数据预先建立的模型。作为另一示例，情绪确定模型可以是使用大数据预先建立的模型。
可以考虑识别模型的应用领域、学习目标、设备的计算机性能等来建立情绪确定模型。情绪确定模型可以是例如基于神经网络的模型。例如，诸如深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BRDNN)的模型可以用作情绪确定模型，但不限于此。
具体地，根据本公开的情绪确定模块可以使用如图3A中所示的DNN模型。然而，如图3B所示，可以使用如图3B所示的RNN模型来确定用户的实际情绪。具体地，如果通过RNN模型，可以使用过去数据和过去情绪311至313以及当前数据输入321来获得当前情绪(t)322。此外，当确定未来情绪(t+1)333时，可以使用数据输入331和当前数据输入321。
根据各种实施例，当存在多个预先建立的情绪确定模型时，模型学习单元131-4可以将输入学习数据和基本学习数据之间具有高相关性的情绪确定模型确定为要学习的情绪确定模型。在这种情况下，可以根据数据的类型对基本学习数据进行预分类，并且可以根据数据的类型预先建立情绪确定模型。例如，可以通过各种标准对基本学习数据进行预分类，例如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建者、学习数据中的对象类型等。
另外，模型学习单元131-4例如可以使用包括误差反向传播方法或梯度下降方法的学习算法来学习情绪确定模型。
例如，模型学习单元131-4可以使用学习数据作为输入值，通过监督学习来学习情绪确定模型。作为另一示例，模型学习单元131-4可以通过无监督学习来学习情绪确定模型，该无监督学习通过学习用于确定情绪的数据类型而无需进一步指导来找到用于确定情绪的标准。作为另一示例，模型学习单元131-4可以通过强化学习来学习情绪确定模型，该强化学习使用关于根据学习的情绪确定的结果是否正确的反馈。
此外，当学习该情绪确定模型时，模型学习单元131-4可以存储学习情绪确定模型。在这种情况下，模型学习单元131-4可以将学习的情绪确定模型存储在电子设备100的存储器120中。
在这种情况下，存储学习情绪确定模型的存储器120可以将与电子设备100的至少一个其他元件相关联的命令或数据一起存储。此外，存储器120可以存储软件和/或程序。例如，程序可以包括内核、中间件、应用程序编程接口(API)和/或应用程序(或“应用程序”)等。
模型评估单元131-5可以将评估数据输入到情绪确定模型，并且当从评估数据输出的确定结果不满足预定标准时，控制模型学习单元131-4再次学习。在这种情况下，评估数据可以是用于评估情绪确定模型的预设数据。
例如，在用于评估数据的学习情绪确定模块的确定结果中，当具有不准确确定结果的评估数据的数量或比率超过预设阈值时，模型评估单元131-5可以评估不满足该预定标准。例如，当预定标准被定义为2％的比率时，当在总共1000个评估数据中学习情绪确定模型输出超过20个的评估数据的不正确识别结果时，模型评估部分131-5可以评估学习的情绪确定模型不适合。
同时，当存在多个学习情绪确定模型时，模型评估单元131-5可以评估各个学习情绪确定模型是否满足预定标准，并且将满足预定标准的模型确定为最终情绪确定模型。在这种情况下，当存在满足预定标准的多个模型时，模型评估单元131-5可以将先前按评估得分的降序设置的任何一个或预定数量的模型确定为最终情绪确定模型。
同时，数据学习单元131中的数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-5中的至少一个可以以硬件芯片的形式制造并安装在电子设备上。例如，可以以专用于人工智能(AI)的硬件芯片的形式，以现有通用处理器(例如，CPU或应用处理器)的形式，或作为用于安装在上述各种电子设备100上的用于特定功能的IP的一部分，来制造数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-1中的至少一个。
数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-5可以分别安装在单个电子设备上或安装在单独电子设备上。例如，数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-5中的一些可以包括在电子设备100中，其余可以包括在服务器200中。
同时，数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-5中的至少一个可以实现为一个软件模块。如果数据获取单元131-1、预处理单元131-2、学习数据选择单元131-3、模型学习单元131-4和模型评估单元131-5中的至少一个被实现为软件模块(或包括指令的程序模块)，软件模块可以存储在非暂时性计算机可读记录介质中。至少一个软件模块可以由操作系统(OS)或预定应用程序提供。或者，至少一个软件模块的一部分可以由OS提供，而其余部分可以由预定应用程序提供。
图11B是根据本公开的一些实施例的情绪确定单元132的框图。参考图11B，根据一些实施例的数据学习单元132可包括数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型更新单元132-5。
数据获取单元132-1可以获得确定用户的实际情绪所需的数据，并且预处理单元132-2可以预处理所获得的数据，使得所获得的数据可以用于确定用户的实际情绪。预处理单元132-2可以将获得的数据预处理为预设格式，使得稍后将描述的确定结果提供单元132-4可以利用所获得的数据进行学习以确定用户的实际情绪。
数据选择单元132-3可以在预处理数据中选择确定用户的实际情绪所需的数据。可以将所选数据提供给确定结果提供部分132-4。数据选择单元132-3可以根据预设标准选择一些或全部预处理数据，以确定用户的实际情绪。另外，数据选择单元132-3可以通过学习稍后将描述的模型学习单元142-4根据预设标准选择数据。
确定结果提供单元132-4可以将所选择的数据应用于数据确定模型以确定用户的实际情绪。确定结果提供单元132-4可以通过使用由数据选择单元132-3选择的数据作为输入值将所选择的数据应用于情绪确定模型。另外，确定结果可以由情绪确定模型确定。例如，确定结果提供单元132-4可以通过将能够确定用户的实际情绪的数据输入到情绪确定模型中来确定用户的实际情绪。
模型更新单元132-5可以基于对确定结果提供单元132-4提供的确定结果的评估来允许更新情绪确定模型。例如，模型更新单元132-5可以将确定结果提供单元132-4提供的确定结果提供给模型学习单元131-4，从而模型学习单元131-4可以由此更新情绪确定模型。
同时，情绪确定单元132中的数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型评估单元132-5中的至少一个可以以硬件芯片的形式制造并安装在电子设备上。例如，可以以专用于人工智能(AI)的硬件芯片的形式，以现有通用处理器(例如，CPU或应用处理器)的形式，或作为用于安装在上述各种电子设备100上的用于特定功能的IP的一部分，来制造数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型更新单元132-5中的至少一个。
数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型评估单元132-5可以分别安装在单个电子设备上或安装在单独的电子设备上。例如，数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型更新单元132-5中的一些可以包括在电子设备100和其余部分可以包括在与电子设备100互锁的服务器中。
数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型更新单元132-5中的至少一个可以实现为软件模块。如果数据获取单元132-1、预处理单元132-2、数据选择单元132-3、确定结果提供单元132-4和模型更新单元132-5中的至少一个被实现为软件模块(或包括指令的程序模块)，软件模块可以存储在非暂时性计算机可读记录介质中。至少一个软件模块可以由操作系统(OS)或预定应用程序提供。或者，至少一个软件模块的一部分可以由OS提供，而其余部分可以由预定应用程序提供。
同时，在图10至11B中，其着重于用于确定用户的实际情绪的情绪确定模型。然而，上述技术思想可以应用于能够确定用户的情绪发生原因的情绪推断模型。具体地，处理器130可以包括数据学习单元131和情绪推断单元(未示出)，并且处理器130可以建立情绪推断模型。
本公开中使用的术语“单元”包括由硬件、软件或固件组成的单元，并且可以与诸如逻辑、逻辑块、组件或电路的术语互换使用。“模块”可以是整体构造的组件或执行一个或多个功能的最小单元或其一部分。例如，模块可以被配置为专用集成电路(ASIC)。
上述各种实施例可以实现为包括存储在机器可读(计算机可读)存储介质上的指令的软件。该机器是能够从存储介质调用存储指令并根据被调用指令操作的设备，其可以包括根据上述实施例的电子设备(例如，电子设备A)。当指令由处理器执行时，处理器可以直接执行与指令相对应的功能，或者在处理器的控制下使用其他元件。该指令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性”仅表示存储介质不包括信号但是有形的，这不区分数据被半永久存储的情况与临时存储数据的情况。
根据实施例，根据上述各种实施例的方法可以被提供为包括在计算机程序产品中。计算机程序产品可以作为产品在卖方和消费者之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以通过应用程序商店(例如，Play Store TM)在线分发。在在线分发的情况下，至少部分计算机程序产品可以至少临时存储在存储介质中，例如制造商的服务器、应用程序商店的服务器或中继服务器的存储器，或者可以是暂时的产生。
根据各种实施例的各个元件(例如，模块或程序)可以被配置为单个或多个实体，并且可以省略上述对应的子元件中的一些子元件，或者在各种实施例中可以进一步包括其他子元件。替代地或另外地，一些元件(例如，模块或程序)可以集成到一个实体中，以相同或相似的方式执行由相应的对应元件执行的功能。根据各种实施例，由模块、程序或其他元件执行的操作可以是顺序的、并行的或两者，迭代地或启发地执行，或者至少一些操作可以以不同的顺序执行，可以省略或添加者其他操作。
尽管已经示出和描述了实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可以对示例性实施例进行改变。因此，本公开的范围不应被解释为限于所描述的实施例，而是由所附权利要求及其等同物限定。

Claims (15)

1.一种使用人工智能神经网络模型控制电子设备的方法，该方法包括：
从连接到电子设备的外部终端获得包括用户的图像数据和补充数据；
通过使用图像数据和补充数据生成用于确定用户的实际情绪的特征数据；和
通过将特征数据输入到情绪识别模型中来确定用户的实际情绪。
2.如权利要求1所述的方法，其中，所述补充数据包括GPS信息、图像的方向信息和散列标签信息、关于用户的预输入信息、用户的过去情绪以及图像上的爬行信息的至少一个。
3.如权利要求1所述的方法，其中，所述特征数据包括第一特征数据和第二特征数据，和
其中，第一特征数据是与除了外围信息之外的用户的情绪有关的特征数据，第二特征数据是关于用户的外围信息的特征数据。
4.如权利要求3所述的方法，其中，所述确定包括：
通过将第一特征数据输入到情绪识别模型中来确定用户的情绪，并通过将第二特征数据输入到情绪识别模型中来确定外围信息；和
通过分析所确定的用户对第一特征数据的情绪和关于第二特征数据的外围信息来确定用户的实际情绪。
5.如权利要求1所述的方法，其中确定情绪包括：
计算用户过去情绪的权重；和
通过使用特征数据和权重来确定用户的当前情绪。
6.如权利要求1所述的方法，包括：
按时间或位置对特征数据进行分类，并将其存储在存储器中。
7.如权利要求6所述的方法，包括：
响应于从外部终端接收的用户请求，通过将特征数据输入到情绪推断模型中来确定用户情绪发生的原因；和
将确定的情绪发生原因提供给外部终端。
8.如权利要求7所述的方法，其中，所述确定包括：
通过时间、位置、人物或事件确定用户情绪发生的原因。
9.一种使用人工智能神经网络的电子设备，该电子设备包括：
通信单元，用于从连接到电子设备的外部终端接收包括用户的图像数据和补充数据；
处理器，用于通过使用图像数据和补充数据来确定用户的实际情绪，并通过将特征数据输入到情绪识别模型中来确定用户的实际情绪；和
存储器，用于存储特征数据。
10.如权利要求9所述的电子设备，其中，所述补充数据包括GPS信息、图像的方向信息和散列标签信息、关于用户的预输入信息、用户的过去情绪以及图像上的爬行信息的至少一个。
11.如权利要求9所述的电子设备，其中，所述特征数据包括第一特征数据和第二特征数据，和
其中，第一特征数据是与除了外围信息之外的用户的情绪有关的特征数据，第二特征数据是关于用户的外围信息的特征数据。
12.如权利要求11所述的电子设备，其中，处理器通过将第一特征数据输入到情绪识别模型中来确定用户的情绪，通过将第二特征数据输入到情绪识别模型中来确定外围信息，并通过分析所确定的用户对第一特征数据的情绪和关于第二特征数据的外围信息来确定用户的实际情绪。
13.如权利要求9所述的电子设备，其中，处理器计算用户的过去情绪的权重，并通过使用特征数据和权重来确定用户的当前情绪。
14.如权利要求9所述的电子设备，其中，处理器通过时间、位置、人物或事件对特征数据进行分类，并将它们发送到存储器。
15.如权利要求14所述的电子设备，其中，响应于从外部终端接收的用户请求，处理器通过将特征数据输入到情绪推断模型中来确定用户情绪发生的原因，并向外部终端提供确定的情绪发生原因。
CN201880020292.1A 2017-03-31 2018-03-29 用于确定用户情绪的电子设备及其控制方法 Active CN110447232B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20170041774 2017-03-31
KR10-2017-0041774 2017-03-31
KR1020170162116A KR102651253B1 (ko) 2017-03-31 2017-11-29 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
KR10-2017-0162116 2017-11-29
PCT/KR2018/003735 WO2018182337A1 (ko) 2017-03-31 2018-03-29 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
CN110447232A true CN110447232A (zh) 2019-11-12
CN110447232B CN110447232B (zh) 2022-06-10

Family

ID=63864875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020292.1A Active CN110447232B (zh) 2017-03-31 2018-03-29 用于确定用户情绪的电子设备及其控制方法

Country Status (4)

Country Link
US (1) US20190347285A1 (zh)
EP (1) EP3598770A4 (zh)
KR (1) KR102651253B1 (zh)
CN (1) CN110447232B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990017A (zh) * 2021-03-16 2021-06-18 陈永欢 一种智慧城市大数据分析方法及监控系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173121A1 (ja) * 2017-03-21 2018-09-27 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
WO2019103484A1 (ko) 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
KR102351008B1 (ko) * 2019-02-28 2022-01-14 주식회사 하가 감정 인식 장치 및 감정 인식 방법
WO2020175969A1 (ko) * 2019-02-28 2020-09-03 주식회사 하가 감정 인식 장치 및 감정 인식 방법
KR102183280B1 (ko) * 2019-03-22 2020-11-26 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
KR20210009066A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 사용자의 의도를 추정하는 방법 및 장치
KR102351169B1 (ko) * 2019-10-01 2022-01-14 심희정 빅데이터 및 인공지능 기반 색상 인지 측정 플랫폼 및 이를 이용한 색상 인지 방법
CN111241259B (zh) * 2020-01-08 2023-06-20 百度在线网络技术（北京）有限公司 交互信息推荐方法和装置
CN111597955A (zh) * 2020-05-12 2020-08-28 博康云信科技有限公司 基于深度学习的表情情绪识别的智能家居控制方法及装置
CN111967361A (zh) * 2020-08-07 2020-11-20 盐城工学院 一种基于婴儿表情识别与哭声的情绪检测方法
TR202021847A2 (tr) * 2020-12-26 2021-01-21 Turkcell Technology Research And Development Co Bi̇r duygu durumu öğretme si̇stemi̇
KR102565321B1 (ko) 2021-01-26 2023-08-09 주식회사 플랫팜 캐릭터 감정 인식 및 태깅 장치, 캐릭터 감정 인식 및 태깅 방법 및 캐릭터 감정 인식 및 태깅 장치를 포함하는 캐릭터 감정 인식 및 태깅 시스템
US11914690B2 (en) 2021-02-08 2024-02-27 Typingdna Inc. Systems and methods for using typing characteristics for authentication
WO2022271553A1 (en) * 2021-06-21 2022-12-29 Typingdna Inc. System and method of predicting a mood of a user based on typing input
KR20230173900A (ko) 2022-06-20 2023-12-27 주식회사 엘지유플러스 아이 감정 판단을 위한 장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20140112556A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20150004576A1 (en) * 2013-06-26 2015-01-01 Electronics And Telecommunications Research Institute Apparatus and method for personalized sensory media play based on the inferred relationship between sensory effects and user's emotional responses
US20160066829A1 (en) * 2014-09-05 2016-03-10 Vision Service Plan Wearable mental state monitor computer apparatus, systems, and related methods

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
JP3676969B2 (ja) * 2000-09-13 2005-07-27 株式会社エイ・ジー・アイ 感情検出方法及び感情検出装置ならびに記録媒体
CN110780707B (zh) * 2014-05-22 2024-05-24 索尼公司 信息处理设备、信息处理方法与计算机可读介质
CN105615902A (zh) * 2014-11-06 2016-06-01 北京三星通信技术研究有限公司 情绪监控方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20140112556A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20150004576A1 (en) * 2013-06-26 2015-01-01 Electronics And Telecommunications Research Institute Apparatus and method for personalized sensory media play based on the inferred relationship between sensory effects and user's emotional responses
US20160066829A1 (en) * 2014-09-05 2016-03-10 Vision Service Plan Wearable mental state monitor computer apparatus, systems, and related methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990017A (zh) * 2021-03-16 2021-06-18 陈永欢 一种智慧城市大数据分析方法及监控系统
CN112990017B (zh) * 2021-03-16 2022-01-28 刘宏伟 一种智慧城市大数据分析方法及监控系统

Also Published As

Publication number Publication date
EP3598770A1 (en) 2020-01-22
EP3598770A4 (en) 2020-04-01
KR20180111467A (ko) 2018-10-11
CN110447232B (zh) 2022-06-10
KR102651253B1 (ko) 2024-03-27
US20190347285A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110447232A (zh) 用于确定用户情绪的电子设备及其控制方法
CN111260545B (zh) 生成图像的方法和装置
US11537907B2 (en) Adapting a virtual reality experience for a user based on a mood improvement score
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
US20210256264A1 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US10992839B2 (en) Electronic device and method for controlling the electronic device
US11954150B2 (en) Electronic device and method for controlling the electronic device thereof
US20190297381A1 (en) Artificial intelligence device and operating method thereof
KR20180055708A (ko) 이미지를 처리하는 전자 장치 및 방법
US20230036080A1 (en) Device and method for providing recommended words for character input
US11327320B2 (en) Electronic device and method of controlling the same
US20180139587A1 (en) Device and method for providing notification message about call request
KR102628042B1 (ko) 연락처 정보를 추천하는 방법 및 디바이스
US20240095143A1 (en) Electronic device and method for controlling same
US20200005784A1 (en) Electronic device and operating method thereof for outputting response to user input, by using application
KR20190140519A (ko) 전자 장치 및 그의 제어방법
WO2023150210A1 (en) Obscuring objects in data streams using machine learning
US20200226012A1 (en) File system manipulation using machine learning
US11762545B1 (en) Future state graphical visualization generator
US11617957B2 (en) Electronic device for providing interactive game and operating method therefor
CN112041787A (zh) 利用应用来输出对用户输入的响应的电子装置及其操作方法
KR20210048270A (ko) 복수 객체에 대한 오디오 포커싱 방법 및 장치
KR102419860B1 (ko) 운전자 또는 콘텐츠 시청자의 몰입도 측정 방법 및 장치
US20240319951A1 (en) Extended reality content display based on a context
US20240355010A1 (en) Texture generation using multimodal embeddings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant