CN116320149A - 电子设备和用于控制电子设备的方法 - Google Patents

电子设备和用于控制电子设备的方法 Download PDF

Info

Publication number
CN116320149A
CN116320149A CN202310244747.0A CN202310244747A CN116320149A CN 116320149 A CN116320149 A CN 116320149A CN 202310244747 A CN202310244747 A CN 202310244747A CN 116320149 A CN116320149 A CN 116320149A
Authority
CN
China
Prior art keywords
information
electronic device
event
person
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310244747.0A
Other languages
English (en)
Inventor
金叡薰
尹昭正
徐钻源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116320149A publication Critical patent/CN116320149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

提供一种电子设备的控制方法：基于用于提供从外部电子设备接收的消息的事件的发生，通过捕获电子设备的周边区域来获得第一图像数据，通过将第一图像数据输入到神经网络模型来获得指示至少一人位于周边区域中的第一人信息，基于第一人信息显示针对所述消息的第一输出信息，基于接收到表示针对第一输出信息的用户反馈的反馈信息，基于反馈信息来训练已训练的神经网络模型，基于在神经网络模型的训练之后的事件的发生，通过捕获电子设备的周边区域来获得第二图像数据，通过将第二图像数据输入到基于反馈信息训练的神经网络模型，获得指示至少一人位于周边区域的第二人信息，基于第二人信息显示针对所述消息的不同于第一输出信息的第二输出信息。

Description

电子设备和用于控制电子设备的方法
本申请是申请日为2019年2月01日、申请号为201980010243.4、发明名称为“电子设备和用于控制电子设备的方法”的发明专利申请的分案申请。
技术领域
本公开涉及一种电子设备和用于控制电子设备的方法。更具体地，本公开涉及一种能够根据情境(context)提供事件的输出信息的电子设备和用于控制电子设备的方法。
此外，本公开涉及一种用于使用机器学习算法来模拟诸如认知、人脑的决策等功能的人工智能(AI)系统及其应用。
背景技术
近来，用于实现与人类水平对应的智能的人工智能(AI)系统已经在各个领域中使用。与以前的基于规则的智能(smart)系统不同，AI系统是机器自行或自主学习、做出决策并根据该决策行动的系统。随着AI系统变得越来越普及，识别率提高，因此更准确地理解用户的偏好或特性(characteristic)。因此，以前的基于规则的智能系统逐渐被深度学习AI系统取代。
AI技术包括机器学习(例如，深度学习)和使用机器学习的元素技术。
机器学习是一种算法技术，它可以自行或自主地分类和学习输入数据的特征。元素技术是使用机器学习算法(例如，深度学习等)来模仿功能(例如，认知、人脑的决策等)的技术，其包括包含语言(linguistic)理解、视觉理解、推断/预测、知识表示、运动控制等的技术领域。
AI技术所应用的各个领域如下。语言理解是一种识别人类的语言(language)和文字并对其进行应用和处理的技术，其包括自然语言处理、机器翻译、对话系统、问题和答案、语音识别和合成等。视觉理解是一种识别和处理对象的技术，就像人类视觉一样。视觉理解领域包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改善等。推断预测是一种确定信息并做出逻辑推断和预测的技术。推断预测领域包括基于知识/概率的推断、优化预测、基于偏好的计划、推荐等。知识表示是一种利用知识数据对人类的体验信息执行自动化处理的技术。知识表示领域包括知识构建(数据生成/分类)、知识管理(数据使用)等。运动控制是一种控制车辆(vehicle)的自主驾驶能力和/或机器人的运动的技术。运动控制领域包括运动控制(导航、碰撞、驾驶)、操纵控制(行为控制)等。
近年来，电子设备已经变得能够检测用于向用户提供信息的各种事件。作为一个示例，当接收到警报事件时，电子设备输出警报事件，而不管电子设备的情境如何。例如，当在电子设备中接收到警报事件时，电子设备输出与警报事件有关的信息，而不管电子设备的近处是否存在另一用户、当前位置等。也就是说，即使用户不想共享这些内容，通知事件的内容也被共享给其他人，因此，用户的隐私性未被保护。此外，当在用户不希望共享这些内容的情况下共享这些内容时，不必要地消耗电子设备的资源(例如，处理速度、处理能力、电池寿命、显示资源等)，从而削弱了设备的功能。
发明内容
技术问题
提供了一种能够根据电子设备的情境提供事件的输出信息的电子设备和用于控制该电子设备的方法。
附加的方面将在下面的描述中部分地阐述，并且部分地从描述中将是明显的，或者可以通过实践所呈现的实施例而获知。
技术方案
根据本公开的一个方面，提供了一种用于控制电子设备的方法。该方法包括：基于识别到用于输出信息的事件的发生，获得用于识别与电子设备对应的情境的数据；将所获得的数据输入到通过人工智能算法训练的第一模型，并基于所获得的数据输入到第一模型，获得关于位于电子设备附近的人的信息；将所获得的关于人的信息和关于事件的信息输入到通过人工智能算法训练的第二模型；基于所获得的关于人的信息和关于事件的信息输入到第二模型，获得与事件对应的输出信息；以及提供所获得的输出信息。
根据本公开的另一个方面，提供了一种电子设备。该电子设备包括：通信接口；显示器；扬声器；用于存储指令的至少一个存储器；以及至少一个处理器，被配置为运行所存储的指令以：基于识别到用于输出信息的事件的发生，获得用于识别与电子设备对应的情境的数据；将所获得的数据输入到通过人工智能算法训练的第一模型，并基于所获得的数据输入到第一模型，获得关于位于电子设备附近的人的信息；将所获得的关于人的信息和关于事件的信息输入到通过人工智能算法训练的第二模型；基于所获得的关于人的信息和关于事件的信息输入到第二模型，获得与事件对应的输出信息；以及控制显示器和扬声器中的至少一个来提供所获得的输出信息。
根据本公开的另一个方面，提供了一种设备。该设备包括：用于存储指令的至少一个存储器；以及至少一个处理器，被配置为运行所存储的指令以：基于在另一设备处发生用于输出信息的事件，从另一设备接收用于识别与另一设备对应的情境的数据；将所获得的数据输入到通过人工智能算法训练的第一模型，并基于所获得的数据输入到第一模型，获得关于位于另一设备附近的人的信息；将所获得的关于人的信息和关于事件的信息输入到通过人工智能算法训练的第二模型；基于所获得的关于人的信息和关于事件的信息输入到第二模型，获得与事件对应的输出信息；以及控制将所获得的输出信息发送到另一设备。
根据本公开的另一个方面，提供了一种非暂时性计算机可读记录介质，其上记录有程序，该程序可由计算机运行以执行所述方法。
根据本公开的另一个方面，提供一种电子设备，包括：显示器；相机；通信电路；至少一个存储器，被配置为存储指令；以及至少一个处理器，被配置为执行存储的指令以：基于用于提供经由通信电路从外部电子设备接收的消息的事件的发生，经由相机通过捕获电子设备的周边区域来获得第一图像数据，通过将第一图像数据输入到神经网络模型来获得指示至少一人位于周边区域中的第一人信息，基于第一人信息控制显示器显示针对所述消息的第一输出信息，基于接收到表示针对第一输出信息的用户反馈的反馈信息，基于反馈信息来训练已训练的神经网络模型，基于在神经网络模型的训练之后的事件的发生，经由相机通过捕获电子设备的周边区域来获得第二图像数据，通过将第二图像数据输入到基于反馈信息训练的神经网络模型，获得指示所述至少一人位于周边区域的第二人信息，以及基于第二人信息控制显示器显示针对所述消息的不同于第一输出信息的第二输出信息。
附图说明
从结合附图进行的以下描述中，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
图1是示出根据实施例的根据情境提供事件的输出信息的电子设备的使用的图；
图2是示出根据实施例的包括电子设备和服务器的系统的图；
图3A是根据实施例的电子设备的框图；
图3B是根据实施例的电子设备的详细配置的框图；
图4、图5A和图5B是根据各种实施例的被提供以解释根据情境获得与警报事件有关的控制命令的示例的图；
图6、图7A和图7B是根据另一实施例的被提供以解释根据情境提供警报事件的输出信息的示例的图；
图8、图9A和图9B是根据另一实施例的被提供以解释根据情境提供用户请求信息的示例的图；
图10是示出根据实施例的用于控制电子设备的方法的流程图；
图11是示出根据另一实施例的由电子设备通过人工智能模型根据情境提供警报事件的输出信息的方法的流程图；
图12是根据实施例的用于学习和使用人工智能(AI)模型的设备的配置的框图；
图13A和图13B是根据各个实施例的学习部分和确定部分的特定配置的框图；
图14和图15是根据各个实施例的使用人工智能模型的网络系统的流程图；以及
图16是根据实施例的被提供以解释由电子设备根据情境提供事件的输出信息的方法的流程图。
具体实施方式
从以下结合附图的描述中，本公开的某些实施例的上述和/或其他方面、特征和优点将更加明显，在附图中相同的附图标记始终指代相同的元素。然而，应理解，本公开不限于本文描述的某些实施例，而是包括本公开的实施例的各种修改、等同物和/或替代物。
在描述中，术语“具有”、“可以具有”、“包括”或“可以包括”指示存在对应的特征(例如，数值、功能、操作、或诸如组件的组成元素)，但不排除存在附加的特征。
在描述中，表述“A和/或B”、“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A和B中的一个或多个”和“A或B中的一个或多个”可以包括一起列举的项目的所有可能组合。例如，术语“A和/或B”或“A和B中的至少一个”可以表示：(1)至少一个A；(2)至少一个B；或(3)至少一个A和至少一个B两者。
如本文中所使用的表述“1”、“2”、“第一”或“第二”可修饰各种元素，而与其顺序和/或重要性无关，并且在本文中用于将一个元素与另一元素区分开(除非另有明确说明)，而不以其他方式限制对应的元素。
如果描述特定元素(例如，第一元素)与另一元素(例如，第二元素)“可操作地或通信地耦合”、“可操作地或通信地耦合到”或“连接到”另一元素(例如，第二元素)，可以理解，该特定元素可以直接或通过又一元素(例如，第三元素)连接到该另一元素。同时，当描述一个元素(例如，第一元素)与另一元素(例如，第二元素)“直接耦合”或“直接连接到”另一元素(例如，第二元素)时，可以理解，在该元素和该另一元素之间不存在任何元素(例如，第三元素)。
在描述中，术语“配置为”在某些情况和/或情境下可以被称为例如“适合于”、“具有…的能力”、“设计为”、“适于”、“制造为”或“能够”。术语“配置为”或“设置为”在硬件级别不一定表示“专门设计为”。在某些情况下，术语“配置为…的设备”可以指代“能够”与另一设备或组件一起做某事的“设备”。例如，短语“配置为执行A、B和C的处理器”可以表示或指代用于执行对应的操作的专用处理器(例如，嵌入式处理器)、或可通过运行存储在存储器设备中的一个或多个软件程序来执行对应的操作的通用处理器(例如，中央处理器(CPU)或应用处理器)。
根据各种实施例的电子设备可以包括例如智能电话、平板设备、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、多媒体播放器、医疗设备、相机、可穿戴设备等中的至少一种。可穿戴设备可以包括附件类型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或布料嵌入式类型(例如，电子布)、身体附着类型(例如，皮肤垫或纹身)、或生物植入电路中的至少一种。在一些实施例中，电子设备可以包括例如电视、数字视频盘(DVD)播放器、光学记录介质播放器(例如，蓝光光盘播放器)、音频处理设备、智能电器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，SAMSUNG HOMESYNC、APPLE TV或GOOGLE TV)、游戏机(例如，MICROSOFT XBOX、SONY PLAYSTATION)、电子词典、电子钥匙、便携式摄像机、电子相框等中的至少一种。
然而，应理解，各种其他实施例可以不限于此。例如，根据一个或多个其他实施例，电子设备可以包括各种医疗设备(例如，各种便携式医疗测量设备(血糖监测器、心率监测器、血压测量设备、或体温测量设备等)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层摄影(CT)设备、照相设备、超声设备等)、导航设备、全球导航卫星系统(GNSS)设备、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船用电子设备(例如，船用导航设备、回转罗盘等)、航空电子设备、安全设备、车辆的主机(headunit)、工业或家用机器人、无人机、金融机构的自动提款机或自动柜员机(ATM)、商店的销售点(POS)、物联网设备(例如，灯泡、传感器、洒水器、阀门、锁、火警、温度控制器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)等。
此外，术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如，人工智能(AI)电子设备)。
图1是示出根据实施例的根据情境提供事件10的输出信息的电子设备的使用的图。
首先，电子设备可以从外部源接收用于感测用于提供信息的事件(例如，警报事件)的信号。例如，如图1的(a)部分所示，电子设备可以从外部源接收用于感测事件10的信号，该事件是接收到用于预订演唱会门票的电子邮件。除了电子邮件接收事件之外，该事件还可以实现为各种事件，例如文本消息接收事件、呼叫接收事件、信息请求接收事件、社交网络服务(SNS)接收或通知事件、聊天服务接收或通知事件、推送通知事件等。
当接收到用于感测事件的信号时，电子设备100可以获得电子设备100的周边情境信息。例如，电子设备100可以获得用于感测电子设备100的周边情境的数据或通过使用在电子设备100中提供的传感器(例如，相机、GPS传感器等)存储在电子设备100中的数据(例如，日程表(schedule)数据等)。然而，应理解这仅是示例，并且一个或多个其他实施例可以不限于此。例如，电子设备100可以从与电子设备100互锁(interlock)的或可通信地连接到电子设备100的外部设备(例如，IoT设备等)获得用于感测电子设备100的周边情境的数据。情境信息可以是与电子设备100所位于的空间有关的信息或与使用电子设备100的用户有关的信息，其可以包括与在电子设备100所位于的空间中出现的至少一个用户有关的信息。然而，这仅是示例，并且情境信息可以包括与用户日程表有关的信息、与电子设备100所位于的位置有关的信息等。
电子设备100可以将用于确定(或识别)情境信息的数据输入到通过人工智能模型或处理系统训练的第一模型，并获得电子设备100的情境信息作为人工智能模型或处理系统的输出数据。具体地，电子设备100可以将用于感测电子设备的周边情境的数据输入到由人工智能模型训练的第一模型，并且获得与位于存在电子设备的空间中的人有关的信息。例如，电子设备100可以将捕获电子设备100或外部设备或对象的图像输入到第一模型，并且作为响应，获得与在电子设备100所位于的空间中出现的用户有关的信息。第一模型可以存在于电子设备100内，但这仅是示例。例如，根据另一实施例，第一模型可以存在于外部服务器中。电子设备100可以将用于确定情境信息的数据发送到外部服务器。外部服务器可以借助于第一模型获得情境信息。电子设备100可以从外部服务器200获得情境信息。
电子设备100可以将与事件有关的信息和所获得的情境信息发送到外部服务器200。与事件有关的信息可以包括与事件的类型有关的信息、与事件的呼叫者、事件的呼叫时间和事件的内容有关的信息中的至少一个。例如，电子设备100可以将与事件有关的信息和与位于存在电子设备100的空间中的人有关的信息发送到外部服务器。尽管在本实施例中，电子设备100可以将情境信息发送到外部服务器200，但是应当理解，一个或多个其他实施例不限于此。例如，根据另一实施例，电子设备100可以将用于获得情境信息的数据发送到外部服务器200。
外部服务器200可以基于与事件有关的信息和所获得的情境信息来输出事件的信息。详细地，外部服务器200可以将与接收到的事件有关的信息和所获得的情境信息输入到由人工智能模型训练的第二模型，并获得该事件的输出信息。第二模型可以是下述模型：该模型被训练以通过使用与事件有关的信息和情境信息(或用于获得情境信息的数据)作为输入数据来获得事件的输出信息，该模型可以通过用户输入的反馈信息来再训练。另外，事件的输出信息可以是包括事件中所包括的情境的至少一部分的信息和与事件有关的信息。
此外，外部服务器200借助于第二模型不仅可以确定事件的输出信息，而且可以确定事件的输出方法。例如，外部服务器200可以使用第二种模型确定使用扬声器的输出方法、使用显示器的输出方法、使用振动的输出方法、使用发光二极管(LED)(例如，专用通知LED)的输出方法、以及上述两种或更多种方法的组合中的至少一个作为事件的输出方法。
例如，在与事件有关的信息包括与演唱会门票预订有关的信息并且情境信息包括与在电子设备100的近处出现的用户有关的信息的情况下，外部服务器200可以通过使用第二模型来获得事件的输出信息。在用户单独出现在其中存在电子设备100的客厅中的情况下，如图1的(b)部分所示，外部服务器200可以使用第二模型来获得事件的输出信息“您有一封来自‘Inxxxpark’的邮件，通知在10月15日下午7:30在Gocheok Dome举行的Exo演唱会门票开始送票”。换句话说，在用户单独出现的情况下，外部服务器200可以获得包括事件中包括的特定内容的细节的输出信息。在父母和用户一起出现在存在电子设备100的客厅中的情况下，外部服务器200可以使用第二模型获得与事件有关的输出信息“您有一封来自‘Inxxxpark’的电子邮件”，如图1的(c)部分所示。换句话说，在用户与另一人一起出现的情况下，外部服务器200可以获得包括关于事件接收本身的简短的或更少的信息的输出信息。
作为另一示例，外部服务器200可以借助于第二模型来确定事件的输出方法。在用户单独出现在电子设备100所位于的客厅中的情况下，外部服务器200可以借助于第二模型将事件的输出方法确定为使用显示器和扬声器的输出方法。在父母与用户一起出现在电子设备100所位于的客厅中的情况下，外部服务器200可以借助于第二模型将事件的输出方法确定为使用显示器的输出方法。根据另一实施例，外部服务器200可以如上所述通过使用第二模型来确定事件的输出信息，并且如上所述可以通过使用第二模型来确定事件的输出方法。
外部服务器200可以将事件的输出信息和/或与输出方法有关的信息发送到电子设备100。
电子设备100可以基于所获得的事件的输出信息和所获得的与输出方法有关的信息来提供事件的输出信息。
在上述实施例中，电子设备100可以通过与包括第二模型的外部服务器200互锁或通信来获得事件的输出信息和输出方法。然而，这仅是示例，并且应当理解，一个或多个其他实施例不限于此。例如，根据另一实施例，人工智能模型可以存储在电子设备100中，并且电子设备100可以借助于第二模型直接获得事件的输出信息和输出方法。
另外，在提供事件的输出信息的同时或之后，电子设备100可以获得用户输入的反馈信息。反馈信息可以包括针对输出信息的用户的反应信息(例如，在输出信息被输出之后用户的面部表情、行为等)、在输出信息被输出之后用户输入的针对事件的控制命令信息、以及在输出信息被输出之后用户发现的信息中的至少一个。
电子设备100可以将用户输入的反馈信息发送到外部服务器200。外部服务器200可以通过使用接收到的反馈信息来再训练或进一步训练第二模型。根据其中人工智能模型被存储在电子设备中的另一实施例，电子设备可以通过使用用户输入的反馈信息来直接再训练或进一步训练第二模型。下面将参考附图详细描述人工智能模型的再学习过程。
在上述实施例中引用的第一模型和/或第二模型可以是基于人工智能算法训练的确定模型，其可以是例如基于神经网络的模型。训练后的第一模型和训练后的第二模型可以被设计为在计算机上模拟人脑结构，并且包括具有权重值并模拟人类神经网络的神经元的多个网络节点。多个网络节点中的每一个可以形成连接关系，使得神经元通过突触模拟它们的突触活动交换信号。另外，训练后的第一模型和/或训练后的第二模型可以例如包括神经元网络模型或从神经元网络模型发展而来的深度学习模型。深度学习模型中的多个网络节点可以位于彼此不同的深度(或层)，并且可以根据卷积连接关系交换数据。例如，训练后的第一模型和训练后的第二模型可以包括深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BDNR)等，但是本公开不限于此。
此外，电子设备100可以使用作为AI独占(exclusive)程序(或人工智能代理)的个人秘书或助手程序来获得事件的输出信息。私人助手程序可以是独占地或专门用于提供基于人工智能(AI)的服务的程序，并且可以由现有的主处理器(例如，CPU)或附加的或专用的AI独占处理器(例如，GPU)运行。
例如，在预定的用户输入(例如，与个人助手聊天机器人对应的图标触摸、包括诸如“BIXBY”等预定词的用户语音)被输入的情况下，电子设备100中提供的按钮(例如，用于运行人工智能代理的按钮)被按下，或感测到事件，可以操作(或运行)人工智能代理。另外，人工智能代理可以将与事件有关的信息和情境信息发送到外部服务器，并且提供从外部服务器接收到的事件的输出信息。
当(或基于)感测到预定的用户输入、电子设备100中提供的按钮(例如，用于运行人工智能代理的按钮)被按下或感测到事件时，也可以操作人工智能代理。替选地，人工智能代理可以在感测到预定的用户输入之前，在选择电子设备100中提供的按钮之前，或在感测到事件之前处于预先运行状态。在感测到预定的用户输入之后，在选择电子设备100中提供的按钮之后，或在感测到事件之后，电子设备100的人工智能代理可以获得基于与事件有关的信息和情境信息而所获得的事件的输出信息。另外，人工智能代理可以在感测到预定的用户输入之前，在选择电子设备100中提供的按钮之前，或在感测到事件之前处于待机(standby)状态。就这一点而言，待机状态可以是下述状态：其中感测到用于控制人工智能代理的操作的启动的预定义的用户输入的接收。在人工智能代理处于待机状态时，当(或基于)感测到预定的用户输入、选择电子设备100中提供的按钮或感测到事件时，电子设备100可以操作人工智能代理，并基于与事件有关的信息和情境信息来获得所获得的事件的输出信息。
在示例实施例中，在电子设备100借助于人工智能模型根据情境直接获得事件的输出信息的情况下，人工智能代理可以控制第二模型并获得事件的输出信息。人工智能代理可以如上所述操作外部服务器的操作。
图2是示出根据实施例的包括电子设备100和服务器200的系统的图。如图2所示，该系统包括电子设备100和服务器200。在图2中，系统仅包括一个服务器200。然而，这仅是示例，并且服务器200可以被实现为各种服务器或分布式服务器，包括用于获得情境信息的服务器、用于获得事件的输出信息的服务器、用于获得用户请求的信息的服务器等。
电子设备100可以接收用于感测事件的信号。该事件可以包括文本消息接收事件、电子邮件接收事件、呼叫接收事件、信息请求接收事件、SNS接收事件、推送通知事件、应用通知事件等中的至少一个。
当感测到事件时，电子设备100可以获得情境信息。电子设备100可以通过使用从传感器感测到的数据、预存储的数据和从外部设备所获得的数据中的至少一个来获得情境信息。情境信息可以包括与在电子设备100所位于的空间中出现的用户有关的信息、与用户时间表有关的信息、与电子设备100所位于的位置有关的信息等。
电子设备100可以向外部服务器200发送与感测到的事件有关的信息和情境信息。替选地，电子设备100可以发送用于获得情境信息(例如，捕获电子设备100所位于的地点、周围环境或区域的图像)的数据，来代替情境信息。
电子设备100可以提供从外部服务器200接收到的事件的输出信息。电子设备100可以根据外部服务器200确定的输出方法来提供事件的输出信息。
另外，电子设备100可以获得事件的输出信息的反馈信息，并且将所获得的反馈信息发送到外部服务器200。
外部服务器200可以存储第一模型和第二模型，该第一模型被训练以通过使用用于感测情境的数据(例如，通过包括在电子设备100或连接到电子设备100的外部设备中的相机和麦克风所获得的图像数据和语音数据中的至少一个)作为输入数据来获得情境信息(例如，与位于存在电子设备的空间中的人有关的信息)，并且该第二模型被训练以通过使用与事件有关的信息和情境信息作为输入数据来获得事件的输出信息。外部服务器200可以借助于训练后的第二模型根据从电子设备100接收的或从第一模型(例如，在服务器内或从另一服务器)接收的情境信息来获得事件的输出信息。外部服务器200可以将所获得的事件的输出信息发送到电子设备100。
另外，当从电子设备100接收到反馈信息时，外部服务器200可以基于接收到的反馈信息来再训练第二模型。此后，外部服务器200可以借助于再训练后的第二模型根据从电子设备100接收的情境信息来获得事件的输出信息。应当理解，在一个或多个其他实施例中，第一模型和第二模型中的至少一个可以被存储在电子设备100中。
图3A是根据实施例的电子设备100的框图。如图3A所示，电子设备100包括通信接口110、显示器120、扬声器130、存储器140和处理器150。图3A所示的元件是实现本公开的示例实施例的示例，并且对于本领域技术人员而言显而易见的水平的适当的硬件/软件元件可以进一步被包括在电子设备100中，或可以省略图3A所示的元件。
通信接口110可以经由各种通信方法与外部设备通信。具体地，通信接口110可以从外部源接收警报事件。另外，通信接口110可以将与事件有关的信息和情境信息发送到外部服务器200，并且从外部服务器200接收事件的输出信息。
通信接口110可以根据各种通信方式与各种类型的外部设备进行通信。例如，通信接口110(或通信器)可以包括Wi-Fi芯片、蓝牙芯片和无线通信芯片中的至少一个。处理器150可以通过使用通信接口110来执行与外部服务器或各种类型的外部设备的通信。另外，通信接口110可以通过诸如近场通信(NFC)模块等的各种通信芯片与外部设备通信。
显示器120可以提供各种屏幕。具体地，显示器110可以显示事件的输出信息。显示器110可以以弹出窗口的形式显示事件的输出信息。然而，这仅是示例，并且警报事件的输出信息可以以全屏模式或在屏幕的通知区域或栏中显示。
扬声器130可以包括各种音频输出电路，并且被配置为除了各种音频数据之外还输出各种类型的警报声音或语音消息，其中音频处理器对各种音频数据执行各种处理操作，例如解码、放大和噪声滤除。具体地，扬声器130可以以音频形式输出事件的输出信息。可以在电子设备的多个区域(例如，电子设备的前表面的上端区域、电子设备的下侧区域等)中提供多个扬声器140。
存储器140可以存储关于电子设备100的其他元件中的至少一个的指令或数据。存储器140可以被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)、固态驱动器(SDD)等。处理器150访问存储器140，并且可以根据来自处理器150的指令来执行处理器150对数据的读取/记录/修改/删除/更新。根据本公开的实施例，存储器140可以包括处理器150内的内部存储器、只读存储器(ROM)和随机存取存储器(RAM)，以及附接到电子设备100的存储卡(例如，微型安全数字(SD)卡或记忆棒)中的一个或多个。此外，存储器140可以存储用于构成将在显示器120的显示区域中显示的各种类型的屏幕的程序、数据等。
例如，存储器140可以存储人工智能(AI)独占的程序。就这一点而言，AI独占的程序可以是用于为电子设备100提供各种服务的个性化程序。具体地，AI独占的程序可以根据电子设备100或使用电子设备100的用户的情境获得事件的输出信息。此外，在一个实施例中，存储器140可以存储第一模型和/或第二模型中的至少一个，该第一模型被训练以通过使用由电子设备100感测到的数据和/或从外部源所获得的数据来获得情境信息，该第二模型被训练以根据情境获得事件的输出信息。
处理器150可以电连接到通信接口110、显示器120、扬声器130和存储器140，并控制电子设备100的整体操作和功能。具体地，处理器150可以通过存储在存储器140中的各种程序(或指令)根据电子设备100或使用电子设备100的用户的情境来提供事件的输出信息。
例如，电子设备100可以运行存储在存储器140中的指令，并且当输入用于感测事件的信号时，获得电子设备100的情境信息，经由通信接口110从外部服务器200接收通过将与警报事件有关的信息和情境信息输入到通过人工智能算法训练的人工智能模型而所获得的警报事件的输出信息，并控制显示器120和扬声器130中的至少一个输出接收到的事件的输出信息。
在感测到警报事件时，电子设备100可以获得与在电子设备100的近处(或在电子设备100附近)出现的至少一个用户或人有关的信息。例如，电子设备100可以借助于电子设备100中存在的传感器(例如，相机)来捕获电子设备100的周边区域并且分析所捕获的图像，并获得与电子设备100周围出现的至少一个用户有关的信息。替选地，电子设备100可分析通过与电子设备100互锁的或连接到电子设备100的相机捕获的图像、或通过与电子设备100互锁的或连接到电子设备100的麦克风所获得的用户语音，并获得与电子设备100周围出现的至少一个用户有关的信息。替选地，电子设备100可以通过使用存储在电子设备100中的日程表信息来获得与电子设备100周围出现的至少一个用户有关的信息。然而，这些仅仅是示例，并且应当理解，电子设备100可以通过其他方法(例如，通过接收与电子设备100附近或预定区域内另一人的另一电子设备对应的或识别该另一人的另一电子设备的信息，通过对等(peer-to-peer)通信、与基站的通信、与接近的设备传感器的通信、通信发现响应、与外部服务器的通信等)获得与电子设备100周围出现的至少一个用户有关的信息。
如上所述，电子设备100可以借助于电子设备100中的传感器(例如，相机)捕获电子设备100的周边区域，并将捕获的图像输入到训练后的第一模型中，并获得情境信息(例如，与位于电子设备100周围或电子设备100附近的人有关的信息)。
处理器150可以从外部服务器200获得通过训练后的第二模型所获得的事件的输出信息。例如，在情境信息包括与使用电子设备100的主要用户有关的信息并且不包括与任何其他人(例如，在电子设备100附近)有关的信息的情况下，第二模型可以获得或提供包括关于事件的详细信息的输出信息(或包括用于输出关于事件的详细信息的指令的输出信息)作为输出。在情境信息包括与使用电子设备100的主要用户有关的信息连同关于另一人的信息的情况下，电子设备100可以获得或提供包括关于事件的简短或更少的信息的输出信息(或包括用于输出更少的关于事件的详细信息的指令，例如用于仅输出传入通知事件的发送者的指令)。
此外，处理器150可以根据用户输入获得针对输出信息的反馈信息，并控制通信接口110将针对输出信息的反馈信息发送至外部服务器200(或直接发送至第二模型，其中第二模型被存储在电子设备100中)。可以基于针对输出信息的反馈信息来再训练第二模型，从而通过提高AI处理或模型的准确性来提供外部服务器200(或电子设备100)的改进的功能。在关于另一事件的信息和情境信息被输入的情况下，第二模型可以基于再学习或再训练结果来获得另一事件的输出信息。即，可以基于用户输入的反馈信息来更新第二模型。
针对输出信息的反馈信息可以包括以下至少一个：用户对输出信息的反应信息、在输出信息被输出之后由用户输入的针对事件的控制命令信息、以及在输出信息被输出之后由用户发现的信息。
在上述实施例中，情境信息是与电子设备100周围出现的用户有关的信息。然而，这仅是示例，并且应当理解，一个或多个其他实施例不限于此。例如，情境信息可以包括各种信息，包括与用户日程表有关的信息、与电子设备100所位于的地点有关的信息等。
此外，处理器150可以将与警报事件有关的信息和情境信息输入到人工智能模型，并经由通信接口110从外部服务器200接收所获得的与事件的输出方法有关的信息。此外，处理器150可以基于事件的输出方法来控制扬声器140和显示器130中的至少一个以提供事件的输出信息。输出方法可以包括通过显示器130的输出方法、通过扬声器140的输出方法、通过振动的输出方法、通过辅助通知设备(例如，LED)的输出方法、通过其组合的输出方法，等等。然而，应理解，一个或多个其他实施例不限于此，并且也可以使用其他方法。
图3B是根据实施例的电子设备100的详细配置的框图。如图3B所示，电子设备100可以包括通信接口110、显示器120、扬声器130、存储器140、传感器160、输入接口170和处理器150。由于通信接口110、显示器120、扬声器130和存储器140与参考图3A描述的那些相同或相似，所以下面将省略其重复的冗余描述。
传感器160可以获得用于获得电子设备100的状态信息的感测数据。传感器160可以包括全球定位系统(GPS)传感器，以获得电子设备100的位置信息，和/或可以包括诸如加速度计传感器、陀螺仪传感器、磁传感器等的各种类型的运动传感器中的至少一个，以获得电子设备100的运动信息。附加地或替选地，传感器160可以包括图像传感器(例如，相机)以捕获电子设备100的周边区域的图像。附加地或替选地，传感器160可以包括能够获得诸如电子设备100和/或用于收集语音数据的麦克风的周边区域的温度、湿度等环境信息的传感器。
输入接口170可以接收各种用户输入，并将接收到的用户输入传送到处理器150。具体地，输入接口170可以包括触摸传感器、(数字)笔传感器、压力传感器、按键或麦克风中的至少一个。触摸传感器可以例如使用电容性方法、电阻性方法、红外方法和超声方法中的至少一种。(数字)笔传感器可以例如是触摸面板的一部分，或者包括用于识别使用的附加片或层。该键可以例如包括物理按钮、光学键或小键盘中的至少一个。麦克风可以被配置为接收用户语音，并且可以被提供在电子设备100的内部。然而，这仅是示例，并且应当理解，麦克风可以被提供在电子设备100的外部并且电气地或可通信地连接到电子设备100。
例如，输入接口170可以根据用于选择与人工智能独占的程序对应的图标的预定的用户触摸或用于选择在电子设备100外部提供的按钮的用户输入来获得输入信号。另外，输入接口170可以将输入信号发送到处理器150。另外，输入接口170可以接收用户输入以获得针对事件的输出信息的反馈信息。
处理器150(或控制器)可以通过使用或运行存储在存储器140中的各种类型的程序来控制电子设备100的整体操作。
处理器150可以包括RAM 151、ROM 152、图形处理器153、主中央处理单元(CPU)154、第一至第n接口155-1至155-n、以及总线156。RAM151、ROM 152、图形处理器153、主CPU154、以及第一至第n接口155-1至155-n可以通过总线156互连。
图4、图5A和图5B是根据各种实施例的被提供以解释根据情境获得与警报事件有关的控制命令的示例的图。
如图4所示，在操作S410，电子设备100可以感测警报事件。警报事件可以是如图5A的(a)部分所示从外部接收到呼叫的呼叫接收事件。然而，这仅是示例，并且警报事件可以包括各种其他事件，诸如文本消息接收事件、电子邮件接收事件、推送通知事件等。
在操作S420，电子设备100可以获得情境信息。电子设备100可以通过使用从电子设备100中包括的传感器160所获得的数据、电子设备100中存储的数据、从与电子设备100互锁或可通信地连接到电子设备100的外部设备所获得的数据等中的至少一个来获得情境信息。例如，电子设备100可以获得与电子设备所位于(即，电子设备附近)的空间(例如，预定的房间、预定的区域、传感器160的图像捕获区域、传感器区域等)和电子设备100所位于的空间中出现的用户有关的信息，作为情境信息。
电子设备100可以将情境信息和与警报事件有关的信息发送到服务器200。
在操作S440，服务器200可以通过使用训练后的人工智能模型来生成或确定用于输出警报事件的控制命令。详细地，服务器200可以根据当前情境生成用于对警报事件执行操作的控制命令。人工智能模型可以是被训练以通过使用情境信息和关于警报事件的信息作为输入数据来生成或确定用于输出警报事件的控制命令的模型。例如，在情境信息包括关于“仅主要用户出现在车辆中”的信息的情况下，服务器200可以如图5A的(b)部分所示获得或确定“自动连接到车辆中的扬声器电话”作为主要用户模式的控制命令。另外，在情境信息包括关于“与老板B一起出现在车辆中”的信息的情况下，服务器200可以如图5A的(c)部分所示获得或确定“自动连接到蓝牙耳机”作为默认子用户模式的控制命令。
在操作S450，服务器200可以向电子设备100发送控制命令(或与控制命令有关的信息或指示控制命令的信息)。
在操作S460，电子设备100可以根据控制命令执行与警报事件有关的操作。即，电子设备100可以通过使用根据情境(例如，情境信息)确定的输出方法，根据控制命令来执行与警报事件有关的操作。例如，在仅主要用户出现在车辆中的情况下，电子设备100可以根据控制命令使用车辆中的扬声器电话作为主要用户模式来执行自动连接操作。在主要用户与他/她的老板B一起出现在车辆中的情况下，电子设备100可以根据控制命令使用蓝牙耳机或听筒作为默认子用户模式执行自动连接操作。
在操作S470，电子设备100可以根据用户输入来接收反馈信息的输入。反馈信息可以是与在执行与警报事件有关的操作之后由用户向电子设备输入的用户命令有关的信息。例如，在主要用户与他/她的老板B一起出现在车辆中的情况下，电子设备100根据控制命令使用蓝牙耳机执行自动连接。然后，当主要用户取消与蓝牙耳机的连接并发送文本消息“稍后我将再次连接”时，电子设备100可以获得对应的反馈信息，例如，“取消与蓝牙耳机的连接并发送文本消息”。
在操作S480，电子设备100可以将接收到的反馈信息发送到外部服务器200。
在操作S490，外部服务器200可以基于接收到的反馈信息来再训练人工智能模型。详细地，外部服务器200可以执行与警报事件有关的操作，然后基于与用户输入到电子设备的用户命令有关的信息来再训练人工智能模型。从而，外部服务器200可以根据情境反映用户反馈信息并更新人工智能模型。
例如，在如图5B的(a)部分所示接收到警报事件的情况下，在通过反馈信息更新人工智能模型之后，当情境信息中包括信息“仅主要用户出现在车辆中”时，服务器200可以如图5B的(b)部分所示获得“自动连接到车辆中的扬声器电话”作为主要用户模式的控制命令。在情境信息包括关于“主要用户与老板B一起出现在车辆中”的信息的情况下，服务器200可以如图5B的(c)部分所示获得“自动发送回复文本消息‘稍后我会再次打电话’”作为目标感知模式的控制命令。根据另一实施例，电子设备100可以通过使用接收到的反馈信息直接执行存储在其中的人工智能模型的再训练或进一步训练。
图6、图7A和图7B是根据另一实施例的被提供以解释根据情境提供警报事件的输出信息的示例的图。
如图6所示，在操作S610，电子设备100可以感测警报事件。警报事件可以是如图7A的(a)部分所示从外部接收到电子邮件的事件。然而，这仅是示例，并且应当理解，警报事件可以包括各种事件，诸如文本消息接收事件、呼叫接收事件、推送通知事件等。
在操作S620，电子设备100可以获得情境信息。例如，电子设备100可以获得与电子设备100所位于的空间以及在电子设备100所位于的空间中出现的用户有关的信息，作为情境信息。
在操作S630，电子设备100可以将情境信息和与感测到的事件有关的信息发送到服务器200。
在操作S640，服务器200可以通过使用训练后的人工智能模型来获得或确定警报事件的输出信息。详细地，服务器200可以根据当前文本获得或确定警报事件的输出信息。人工智能模型可以是被训练以通过使用关于警报事件的信息和情境信息作为输入数据来获得警报事件的输出信息的模型。例如，在情境信息包括关于“仅主要用户出现在房间中”的信息的情况下，服务器200可以如图7A的(b)部分所示获得电子邮件的整个内容作为警报事件的输出信息。另外，在情境信息包括关于“与姐妹B一起出现在房间中”的信息的情况下，服务器200可以如图7A的(c)部分所示获得消息“您有一封电子邮件”作为警报事件的输出信息。
在操作S650，服务器200可以将警报事件的输出信息发送到电子设备100。根据另一实施例，服务器200可以发送指示警报事件的输出信息的指令或指示信息。
在操作S660，电子设备100可以提供警报事件的输出信息。换句话说，电子设备100可以提供从外部服务器200所获得的(或者基于来自服务器的指令所获得的)事件的输出信息。例如，在仅主要用户出现在房间中的情况下，电子设备100可以提供电子邮件的整个内容作为警报事件的输出信息。在主要用户与他/她的姐妹B一起出现在房间中的情况下，电子设备100可以提供消息“您有一封电子邮件”作为警报事件的输出信息。
在操作S670，电子设备100可以根据用户输入来接收反馈信息的输入。反馈信息可以是与在提供警报事件的输出信息之后由主要用户输入到电子设备100的用户命令有关的信息。例如，在主要用户与他/她的姐妹B一起出现在房间中的情况下，电子设备100可以输出消息“您有一封电子邮件”作为警报事件的输出信息。然后，当主要用户命令读取电子邮件的整个内容或主要用户将电子邮件转发给他/她的姐妹B时，电子设备100可以获得对应的反馈信息，例如，“整个消息已读”或“消息已转发”。
在操作S680，电子设备100可以将接收到的反馈信息发送到外部服务器200。
在操作S690，外部服务器200可以基于接收到的反馈信息来再训练人工智能模型。详细地，外部服务器200可以提供警报事件的输出信息，然后基于与主要用户响应于警报事件的输出信息而输入到电子设备100的用户命令有关的信息来再训练人工智能模型。从而，外部服务器200可以根据情境来关联(relate)或确定用户反馈信息，并更新人工智能模型。
例如，在通过反馈信息更新人工智能模型之后如图7B的(a)部分所示接收到邮件接收事件的情况下，当情境信息中包括信息“仅主要用户出现在房间中”时，服务器200可以获得电子邮件的整个内容作为警报事件的输出信息，如图7B的(b)部分所示。另外，在情境信息包括关于“与姐妹B一起出现在房间中”的信息的情况下，服务器200可以如图7B的(c)部分所示基于更新后或再训练的人工智能模型获得电子邮件的整个内容作为警报事件的输出信息。
在上述实施例中，人工智能模型获得警报事件的输出信息。然而，这仅是示例，并且应当理解，人工智能模型还可以(或者替选地)确定输出信息的输出方法。
图8、图9A和图9B是根据另一实施例的被提供以解释根据情境提供用户请求信息的示例的图。
如图8所示，在操作S810，电子设备100可以接收用于请求信息的命令(即，请求命令)的输入。用于请求信息的命令可以是用于请求当前天气信息的命令。然而，这仅是示例，并且应当理解该命令可以是请求其他信息的用户命令。
在操作S820，电子设备100可以获得情境信息。例如，电子设备100可以获得与电子设备100所位于的空间有关的信息和使用电子设备100的主要用户的日程表信息，作为情境信息。
在操作S830，电子设备100可以将请求命令和情境信息发送到服务器200。
在操作S840，服务器200可以使用训练后的人工智能模型获得用户请求信息。详细地，服务器200可以根据当前文本获得用户请求的用户请求信息。人工智能模型可以是被训练以通过使用请求命令和情境信息作为输入数据来获得用户请求的用户请求信息的模型。例如，情境信息包括诸如“安排日程为不久外出”的信息，服务器200可以获得诸如“今日天气指南→根据天气(诸如细尘浓度、温度和风的强度)关注您的穿着的指南”的消息作为用户请求信息，如图9A的(b)部分所示。另外，在情境信息包括诸如“一天中的其余时间待在家里”的信息的情况下，服务器200可以获得诸如“今日天气指南→根据天气(诸如细尘浓度、温度和风的强度)关注您的穿着的指南”的消息作为用户请求信息，如图9A的(c)部分所示。
在操作S850，服务器200可以将用户请求信息发送到电子设备100。
在操作S860，电子设备100可以提供用户请求信息。在本示例中，不管用户是否被安排日程为外出，电子设备100都可以提供诸如“今日天气指南→根据天气(诸如细尘浓度、温度和风的强度)关注您的穿着的指南”作为用户请求信息。
在操作S870，电子设备100可以根据用户输入来接收反馈信息的输入。反馈信息可以是在提供用户请求信息之后用户搜索的信息。例如，在用户在一天的其余时间待在家里的情况下，当主要用户搜索天气是否适合做家务(例如通风、庭院劳作、照明、洗衣等)时，电子设备100可以获得“搜索与家务有关的天气信息”的反馈信息。
在操作S880，电子设备100可以将接收到的反馈信息发送到外部服务器200。
在操作S890，服务器200可以基于接收到的反馈信息来再训练人工智能模型。详细地，服务器200可以提供警报事件的输出信息，然后基于主要用户使用电子设备100找到或搜索到的信息来再训练人工智能模型。由此，外部服务器200可以根据情境反映或确定用户反馈信息，并更新人工智能模型。
例如，在通过反馈信息更新人工智能模型之后接收到用于搜索信息的请求命令的情况下，当如图9B的(a)部分所示情境信息包括信息“安排日程为不久外出”时，服务器200可以获得消息“今日天气指南→根据天气(诸如细尘浓度、温度和风的强度)关注您的穿着的指南”作为用户请求信息，如图9B的(b)部分所示。另外，在情境信息包括信息“一天中的其余时间待在家里”的情况下，服务器200可以获得诸如“关于天气是否有益于通风、照明和洗衣的指南(诸如细尘的浓度)”的消息作为用户请求信息，如图9B的(c)部分所示。
在上述实施例中，人工智能模型基于与警报事件有关的信息(或与请求命令有关的信息)和情境信息来获得警报事件的输出信息、控制命令和/或用户请求信息中的至少一个。然而，这仅是示例，并且应当理解，人工智能模型可以通过使用其他信息来获得警报事件的输出信息、控制命令和用户请求信息中的至少一个。详细地，人工智能模型可以基于用户历史信息、用户偏好信息等来获得警报事件的输出信息、控制命令和用户请求信息中的至少一个。例如，在与主要用户与他/她的姐妹已预订演唱会门票的历史有关的信息或指示主要用户偏爱他/她的姐妹出现的信息的情况下，人工智能模型可以输出关于接收到的电子邮件的整个信息。
如上所述，电子设备100可以根据情境提供各种服务，从而保护用户的隐私性并向用户提供最佳内容。另外，通过根据情境提供服务，至少以以下方式改进设备的功能：改进的用户的隐私性和便利性；改进的设备(或服务器)的自主操作的准确性；以及要不然在输出用户不希望的内容或警报时就会花费的资源(例如，电池寿命、显示元素、处理资源等)的改进的节约(conservation)。
图10是示出根据实施例的用于控制电子设备的方法的流程图。
在操作S1010，电子设备100可以识别是否输入了用于感测警报事件的信号。警报事件可以被实现为各种事件，例如电子邮件接收事件、文本消息接收事件、信息请求接收事件、SNS接收事件、推送通知事件等。另外，除了警报事件之外，电子设备100还可以从用户接收请求信息的命令的输入。
当在操作S1010-Y接收到用于感测警报事件的信号时，电子设备100可以获得电子设备100的周边情境信息。情境信息可以包括与电子设备100所位于的空间有关的信息、与在电子设备100所位于的空间中出现的至少一个用户有关的信息、使用电子设备100的主要用户的日程表信息等。
电子设备100可以通过将情境信息和与警报事件有关的信息输入到通过人工智能算法训练的人工智能模型来接收警报事件的输出信息。详细地，电子设备100可以将情境信息和与警报事件有关的信息发送到外部服务器200。在外部服务器借助于人工智能模型获得警报事件的输出信息的情况下，电子设备100可以从外部服务器200接收警报事件的输出信息。
在操作S1040，电子设备100可以提供接收到的警报事件的输出信息。
图11是示出根据另一实施例的由电子设备通过人工智能模型根据情境提供警报事件的输出信息的方法的流程图。
在操作S1110，电子设备100可以获得用于感测警报事件的信号。
在操作S1120，电子设备100可以获得电子设备100周围的情境信息。
在操作S1130，电子设备100可以通过使用人工智能模型来获得警报事件的输出信息。人工智能模型可以由电子设备100存储，和/或可以由电子设备100的人工智能独占的程序(例如，个人助手程序)控制。此外，人工智能模型可以是被训练以通过使用关于警报事件的信息和情境信息作为输入数据模型来获得警报事件的输出信息的模型。人工智能模型可以确定警报事件的输出信息和用于输出警报事件的方法中的至少一个。
在操作S1140，电子设备100可以提供输出信息。详细地，电子设备100可以提供通过人工智能模型所获得的警报事件的输出信息。可以根据通过人工智能模型确定的输出方法来提供警报事件的输出信息。
在操作S1150，电子设备100可以根据用户输入获得反馈信息。反馈信息可以包括用户对输出信息的反应信息、在输出信息被输出之后用户输入的用于或响应于警报事件的控制命令信息、以及在输出信息被输出之后用户找到或搜索到的信息中的至少一个。然而，应理解，一个或多个其他实施例不限于此。
在操作S1160，电子设备100可以基于反馈信息再训练或进一步训练人工智能模型。即，电子设备100可以基于根据用户输入所获得的反馈信息来再训练人工智能模型，从而根据情境自适应地提供警报事件的输出信息。结果，至少以以下方式改进电子设备100的功能：改进的用户的隐私性和便利性；改进的设备100的自主操作的准确性和用户个性化；以及要不然在输出用户不希望的内容或警报时就会花费的资源(例如，电池寿命、显示元素、处理资源等)的改进的节约。
图12是根据实施例的用于学习和使用人工智能(AI)模型的设备1200的配置的框图。
参考图12，设备1200(例如，电子设备或外部服务器)可以包括学习部分1210和确定部分1220中的至少一个。图12的电子设备1200可以对应于图2的电子设备100或外部服务器200。
学习部分1210可以生成或训练具有用于通过使用学习数据来获得情境信息的标准的第一模型和具有用于通过使用学习数据来获得事件的输出信息的标准的第二模型。学习部分1210可以通过使用收集的学习数据来生成具有确定标准的人工智能模型。
例如，学习部分1210可以生成、训练或更新第一模型，以利用电子设备100感测到的数据或外部设备感测到的数据作为学习数据来获得电子设备100周围的情境信息。
作为另一示例，学习部分1210可以使用关于事件的信息和情境信息作为学习数据来生成、训练或更新第二模型以更新事件的输出信息(或输出方法)。
确定部分1220可以使用训练后的第一模型中的预定数据作为输入数据，并获得电子设备100周围的或对应于电子设备100的情境信息。另外，确定部分1220可以使用预定数据作为训练后的人工智能模型的输入数据，并获得事件的输出信息。
例如，确定部分1220可以通过使用电子设备100感测到的数据或外部设备感测到的数据作为学习数据来获得电子设备100周围的或对应于电子设备100的情境信息。
作为另一示例，确定部分1220可以使用关于事件的信息和情境信息作为训练后的人工智能模型的输入数据，并且获得(或者估计或推断)事件的输出信息。
在一个实施方式中，学习部分1210和确定部分1220可以被包括在外部服务器1200中。然而，这仅是示例，并且应当理解，在各种其他实施例中学习部分1210和确定部分1220中的至少一个可以被包括在不同的外部设备中或在电子设备100中。详细地，学习部分1210的至少一部分和确定部分1220的至少一部分可以被实现为软件模块或以至少一个硬件芯片的形式被制造，并且被安装在电子设备100中。例如，学习部分1210和确定部分1220中的至少一个可以以人工智能(AI)独占的硬件芯片的形式制造，或者可以制造为通用处理器(例如，CPU或应用处理器)或图形独占处理器(例如，GPU)的一部分，并安装在上述各种电子设备中。就这一点而言，人工智能独占的或专用的硬件芯片可以是专用于概率运算的独占处理器，并且与通用处理器相比可以表现出更高的性能，以便于在人工智能领域计算操作的处理，例如机器学习。此外，通过包括用于人工智能的单独的或独占的处理器，可以至少通过减少通用或主处理器(例如，CPU)上的负载来改善设备的功能。当学习部分1210和确定部分1220被实现为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读介质中。在这方面，软件模块可以由操作系统(OS)或预定应用来提供。替选地，软件模块的一部分可以由操作系统(OS)来提供，并且软件模块的一部分可以由预定应用来提供。
在这种情况下，学习部分1210和确定部分1220可以分别安装在一个电子设备上或安装在分开的电子设备上。例如，学习部分1210和确定部分1220之一可以被包括在电子设备100中，而另一个可以被包括在外部服务器200中。学习部分1210可以通过有线或无线的方式将由学习部分1210构建的模型信息提供给确定部分1220，或者可以将输入到学习部分1210的数据作为附加的学习数据提供给学习部分1210。
图13A是根据一个或多个实施例的学习部分1210和确定部分1220的框图。
参考图13A的(a)部分，根据一个或多个实施例的学习部分1210可以包括学习数据获得部分1210-1和模型学习部分1210-4。另外，学习部分1210还可以选择性地包括学习数据预处理器1210-2、学习数据选择部分1210-3和模型评估部分1210-5中的至少一个
学习数据获得部分1210-1可以获得第一模型用于获得情境信息的学习数据。在一个实施例中，学习数据获得部分1210-1可以获得由电子设备100中提供的传感器所获得的数据、由外部设备接收的数据等作为学习数据。
另外，学习数据获得部分1210-1可以获得第二模型用于获得事件的输出信息的学习数据。在一个实施例中，学习数据获得部分1210-1可以获得关于事件的信息、情境信息等作为学习数据。另外，学习数据获得部分1210-1可以获得用户历史信息、用户偏好信息等作为学习数据，以获得事件的输出信息。学习数据可以是由学习部分1210或学习部分1210的制造商收集或测试的数据。
模型学习部分1210-4可以使用学习数据来训练第一模型以建立用于获得情境信息的标准。另外，模型学习部分1210-4可以训练第二模型以建立用于获得事件的输出信息的标准。例如，模型学习部分1210-4可以使用学习数据的至少一部分作为用于获得事件的输出信息的标准，通过监督学习来训练第一模型和第二模型中的至少一个。另外，模型学习部分1210-4可以例如在没有特定指令的情况下使用学习数据来训练自身，从而通过无监督学习来训练第一模型和第二模型中的至少一个，以找到用于获得事件的输出信息的标准。此外，模型学习部分1210-4可以使用例如关于基于学习的判断结果是否正确的反馈，通过加强学习来训练第一模型和第二模型中的至少一个。此外，模型学习部分1210-4可以通过使用例如包括误差反向传播方法或梯度下降方法的学习算法来训练第一模型和第二模型中的至少一个。
另外，模型学习部分1210-4可以使用输入数据来学习用于关于要使用哪些学习数据来获得情境信息的选择的标准和/或用于关于要使用哪些学习数据来获得事件的输出信息的选择的标准。
如果存在多个预构建的人工智能模型，则模型学习部分1210-4可以将在输入学习数据和基本学习数据之间具有高度相关性的人工智能模型识别为要学习的人工智能模型。在这种情况下，可以根据数据的类型对基本学习数据进行预分类，并且可以根据数据的类型对人工智能模型进行预建立。例如，可以通过各种标准对基本学习数据进行预分类，例如，生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的属类、学习数据的创建者、学习数据中的一个或多个对象的种类等。
当训练人工智能模型时，模型学习部分1210-4可以存储训练后的人工智能模型。就这一点而言，模型学习部分1210-4可以将训练后的人工智能模型存储在外部服务器200的存储器中。替选地，模型学习部分1210-4可以将训练后的人工智能模型存储在通过有线或无线网络连接到外部服务器200的服务器中或在电子设备100的存储器中。
数据学习部分1210还可以包括数据学习预处理器1210-2和学习数据选择部分1210-3，以改进人工智能模型的确定结果或节省用于生成人工智能模型的资源或时间。
学习数据预处理器1210-2可以对所获得的数据进行预处理，使得所获得的数据可以用于学习以获得情境信息和/或可以用于学习以获得事件的输出信息。学习数据预处理器1210-2可以将所获得的数据处理成预定格式，使得模型学习部分1210-4可以使用所获得的数据来获得事件的输出信息(例如，为了兼容，适合于，或改进模型学习部分1210-4的处理)。例如，当第二模型从输入信息中提供响应时，学习数据预处理器1210-2可以去除不必要的文本(例如，谚语、感叹号等)。
学习数据选择部分1210-3可以从从学习数据获得部分1210-1所获得的数据和/或在学习数据预处理器1210-2中预处理的数据中选择学习所需或使用的数据。所选择的学习数据可以被提供给模型学习部分1210-4。学习数据选择部分1210-3可以根据预设的选择标准从所获得的或预处理的数据中选择学习所需或使用的学习数据。学习数据选择部分1210-3还可以通过经由模型学习部分1210-4进行学习来根据预设的选择标准来选择学习数据。
学习部分1210还可以包括模型评估单元1210-5(例如，模型评估器)以改进人工智能模型的确定结果。
模型评估部分1210-5可以向人工智能模型输入评估数据，并且当从评估数据输出的确定结果不满足预定标准时，控制模型学习部分1210-4再次学习。在这种情况下，评估数据可以是用于评估人工智能模型的预定义数据。
例如，如果在训练后的人工智能模型的对评估数据的评估结果中其识别结果不准确的评估数据的数量或比率超过预定阈值，则模型评估部分1210-5可以评估不满足预定标准。
另一方面，在存在多个学习的人工智能模型的情况下，模型评估部分1210-5可以评估每个学习的人工智能模型是否满足预定标准，并确定满足预定标准的模型作为最终的人工智能模型。在这种情况下，在存在满足预定标准的多个模型的情况下，模型评估部分1210-5可以将以评估得分的降序预先设置的任何一个模型或预设数量的模型确定为最终的人工智能模型。
参考图13A的(b)部分，根据一些一个或多个实施例的确定部分1220可以包括输入数据获得部分1220-1和确定结果提供部分1220-4。
此外，确定部分1220还可选择性地包括输入数据预处理器1220-2、输入数据选择部分1220-3和模型更新部分1220-5中的至少一个。
输入数据获得部分1220-1可以获得用于获得情境信息的数据或获得事件的输出信息所需或使用的数据。确定结果提供部分1220-4可以通过将在输入数据获得部分1220-1中所获得的输入数据作为输入值应用于训练后的第一模型来获得情境信息，并且可以通过将在输入数据获得部分1220-1中所获得的输入数据作为输入值应用于训练后的第二模型来获得事件的输出信息。确定结果提供部分1220-4可以将由以下将描述的输入数据预处理器1220-2和输入数据选择部分1220-3选择的数据作为输入值应用于人工智能模型，并获得确定结果。
在一个实施例中，确定结果提供部分1220-4可以将在输入数据获得部分1220-1中所获得的数据应用于学习的第一模型，并且获得在电子设备100周围、关于电子设备100或对应于电子设备100的情境信息。
在另一实施例中，确定结果提供部分1220-4可以将关于在输入数据获得部分1220-1中所获得的事件的信息和情境信息应用于训练后的第二模型，并且获得事件的输出信息。
确定部分1220还可以包括输入数据预处理器1220-2和输入数据选择部分1220-3，以改进人工智能模型的确定结果或节省提供确定结果的资源或时间。
输入数据预处理器1220-2可以对所获得的数据进行预处理，使得所获得的数据可用于获得事件的情境信息或输出信息。预处理器1220-2可以以预定义的格式处理所获得的数据，使得确定结果提供部分1220-4可以使用所获得的用于获得情境信息的数据或所获得的用于获得事件的输出信息的数据。
输入数据选择部分1220-3可以从在输入数据获得部分1220-1中获得的数据和/或在输入数据预处理器1220-2中预处理的数据中选择确定所需或使用的数据。所选择的数据可以被提供给确定结果提供部分1220-4。输入数据选择部分1220-3可以根据用于确定的预设选择标准来选择所获得的或预处理的数据中的一些或全部。输入数据选择部分1220-3还可以通过模型学习部分1210-4的学习，根据预设的选择标准来选择数据。
模型更新部分1220-5可以基于对由确定结果提供部分1220-4提供的确定结果的评估来控制要更新的人工智能模型。例如，模型更新部分1220-5可以将由确定结果提供部分1220-4提供的确定结果提供给模型学习部分1210-4，从而请求模型学习部分1210-4进一步训练或更新人工智能模型。具体地，模型更新部分1220-5可以根据用户输入基于反馈信息来再训练人工智能模型。应当理解，上面参考图13A描述的组件中的一个或多个组件可以实现为硬件(例如，电路、处理核等)和/或软件。
图13B是示出根据实施例的其中电子设备A和外部服务器S彼此互锁或可通信地连接并学习和确定数据的示例的图。
参考图13B，外部服务器S可以学习用于获得事件的情境信息或输出信息的标准，并且外部设备A可以基于服务器S的学习结果来获得情境信息或提供事件的输出信息。
服务器S的模型学习部分1210-4可以执行图12所示的学习部分1210的功能。即，服务器S的模型学习部分1210-4可以学习与事件信息或情境信息有关的标准，以获得事件的输出信息以及如何通过使用该信息来获得事件的输出信息。
电子设备A的确定结果提供部分1220-4通过将由输入数据选择部分1220-3选择的数据应用于服务器S生成的人工智能模型来获得事件的输出信息。替选地，电子设备A的确定结果提供部分1220-4可以从服务器S接收由服务器S生成的人工智能模型，并通过使用接收到的人工智能模型来获得事件的输出信息。应当理解，上面参考图13B描述的组件中的一个或多个可以实现为硬件(例如，电路、处理核等)和/或软件。
图14和15是根据各种实施例的使用人工智能模型的网络系统的流程图。
在图14和图15中，使用人工智能模型的网络系统可以包括第一元件1401和1501以及第二元件1402和1502。
第一元件1401和1501可以是电子设备100。第二元件1402和1502可以是其中存储确定模型的服务器200。替选地，第一元件1401和1501可以是通用处理器，第二元件1402和1502可以是人工智能独占或专用的处理器。替选地，第一元件1401和1501可以是至少一个应用，并且第二元件1402和1502可以是操作系统(OS)。即，第二元件1402和1502可以是比第一元件1401和1501更集成，专用，具有更少的延迟，具有更好的性能和/或具有更多的资源的元件，与第一元件1401和1501相比其能够更快速且更有效地处理生成、更新或应用人工智能模型的大量操作。
可以定义用于在第一元件1401和1501与第二元件1402和1502之间发送和接收数据的接口。例如，该接口可以包括应用程序接口(API)，该应用程序接口具有要被应用到人工智能模型的学习数据作为因子值(或中间值或转移值)。API可以被定义为子例程或功能集，其中任何一个协议(例如，电子设备100中定义的协议)可以调用另一协议(例如，服务器200中定义的协议)的某种处理。即，可以通过API提供可以在任何一个协议中执行另一协议的操作的环境。
另外，第二元件1402和1502可以被实现为多个服务器。例如，第二元件1402和1502可以被实现为用于获得情境信息的服务器和用于获得事件的输出信息的服务器。
在图14中，在操作S1410，第一元件1401可以感测事件或确定事件的发生。该事件可以包括各种事件，例如电子邮件接收事件、文本消息接收事件、呼叫接收事件等。
在操作S1420，第一元件1401可以获得情境信息。例如，第一元件1401可以获得情境信息，该情境信息是关于第一元件1401所位于的空间的信息以及关于在第一元件1401所位于的空间中出现的用户的信息。然而，应理解，一个或多个其他实施例不限于此。例如，第一元件1401可以获得各种情境信息，诸如用户的日程表信息、用户的健康信息、用户的情绪信息等。
在操作S1430，第一元件1401可以将情境信息和关于事件的信息发送到第二元件1402。
在操作S1440，第二元件1402可以通过使用训练后的人工智能模型来确定事件的输出信息和输出方法。详细地，第二元件1402可以根据当前情境获得事件的输出信息，并且确定用于输出所获得的输出信息的输出方法。人工智能模型可以是被训练以通过使用情境信息和关于事件的信息作为输入数据来确定事件的输出信息和输出方法的模型。
在操作S1450，第二元件1402可以将事件的输出信息和输出方法发送到第一元件1401。
在操作S1460，第一元件1401可以通过使用确定的输出方法来提供事件的输出信息。即，第一元件1401可以通过使用根据情境确定的所确定的内容输出方法来提供事件的输出信息。例如，当用户单独出现在房间中时，第一元件1401可以通过扬声器130提供事件的输出信息，而当用户与另一人一起出现在房间中时，第一元件1401可以仅通过显示器120提供事件的输出信息。
在操作S1470，第一元件1401可以根据用户输入来接收或确定反馈信息。反馈信息可以是关于事件的输出信息的用户反应信息、关于在提供事件的输出信息之后由主要用户输入的用户命令的信息、在事件的输出信息被输出之后由主要用户找到的信息等。
在操作S1480，第一元件1401可以将输入的反馈信息发送到第二元件1402。
在操作S1490，第二元件1402可以基于输入的反馈信息来再训练或进一步训练人工智能模型。从而，第二元件1402可以根据情境反映或考虑用户反馈信息，并更新人工智能模型。
在图15中，在操作S1505，第一元件1501可以感测事件(例如，确定事件的发生)。该事件可以是用于提供信息的事件，该事件可以包括各种事件，诸如文本消息接收事件、电子邮件接收事件、呼叫接收事件、信息请求接收事件、推送通知事件等。
在操作S1510，第一元件1501可以获得用于感测电子设备100周围或与之电子设备100对应的情境的数据。第一元件1501可以通过电子设备100中存在的传感器(例如，相机、麦克风等)获得数据，和/或从连接到电子设备100的外部设备接收数据。
在操作S1515，第一元件1501可以向第二元件发送用于感测或确定情境的数据。
在操作S1520，第二元件1520可以通过使用第一模型来获得关于位于存在电子设备100的空间中的人的信息。第一模型可以是人工智能模型，其被训练以通过使用用于感测或确定电子设备100周围的或与电子设备100对应的情境的数据作为输入数据来获得情境信息(例如，关于位于存在电子设备100的空间中的人的信息)。
在操作S1525，第二元件1502可以将所获得的情境信息(例如，所获得的关于人的信息)发送到第一元件1501。在操作S1530，第一元件1501可以将关于事件的信息和情境信息(例如，关于人的信息)发送到第二元件。当在操作S1515第一元件1501发送关于事件的信息连同用于感测情境的数据时，可以省略操作S1525和S1530。
在操作S1535，第二元件1502可以通过使用第二模型来获得与事件对应的输出信息。详细地，第二元件1502可以将关于事件的信息和情境信息(例如，关于位于存在电子设备100的空间中的人的信息)输入到第二模型作为输入数据并获得与事件对应的输出信息。
在操作S1540，第二元件1502可以将事件的输出信息发送到第一元件1501。
在操作S1545，第一元件1501可以提供事件的输出信息。例如，第一元件1501可以经由显示器、音频输出接口、扬声器、LED等中的至少一个来输出输出信息。
在操作S1550，第一元件1501可以根据用户输入来接收或确定反馈信息。反馈信息可以是关于事件的输出信息的用户反应信息、在提供事件的输出信息之后关于由主要用户输入的用户命令的信息、在事件的输出信息被输出之后由主要用户找到的信息等。
在操作S1555，第一元件1501可以将输入的反馈信息发送到第二元件1502。
在操作S1560，第二元件1502可以基于输入的反馈信息来再训练第二模型。从而，第二元件1502可以根据情境反映或考虑用户反馈信息并更新第二模型。
图16是根据实施例的被提供以解释由电子设备根据情境提供事件的输出信息的方法的流程图。
参考图16，在操作S1610，电子设备100可以感测用于提供信息的事件(例如，确定事件的发生)。用于提供信息的事件可以包括文本消息接收事件、电子邮件接收事件、呼叫接收事件、信息接收事件、SNS接收事件、推送通知事件等中的至少一个。
在操作S1620，电子设备100可以获得用于感测或确定电子设备100周围的或对应于电子设备100的情境的数据。用于感测或确定电子设备周围的情境的数据可以包括通过包括在电子设备100和/或连接到电子设备100的外部设备中的相机和麦克风所获得的图像数据和语音数据中的至少之一。
在操作S1630，电子设备100可以将所获得的数据输入到训练后的第一模型，并且获得关于位于存在电子设备100的空间中的人的信息。
在操作S1640，电子设备100可以将所获得的关于人的信息和关于事件的信息输入到训练后的第二模型，并且获得与事件对应的输出信息。例如，在所获得的关于人的信息仅包括关于使用电子设备100的主要用户的信息的情况下，可以训练第二模型以获得关于事件的详细信息作为输出信息。在所获得的关于人的信息包括关于另一人的信息连同关于使用电子设备100的主要用户的信息的情况下，可以训练第二模型以获得关于事件的简要信息作为输出信息，即包括比关于事件的详细信息更少的细节的信息。
在操作S1650，电子设备100可以提供所获得的输出信息。
上述实施例可以被实现为包括存储在机器(例如，计算机)可读存储介质上的指令的软件程序。机器是能够从存储介质调用存储的指令并根据所调用的指令进行操作的设备，并且可以包括根据上述实施例的电子设备(例如，电子设备100)。当命令由处理器运行时，处理器可以在处理器的控制下直接和/或通过使用其他组件来执行与命令对应的功能。该命令可以包括由编译器或解释器生成或运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。在此，术语“非暂时性”仅表示存储介质不包括信号，而是有形的，并且不区分将数据半永久地存储在存储介质中的情况与将数据临时存储在存储介质中的情况。
根据实施例，可以将根据上述各种实施例的方法提供为包括在计算机程序产品中。该计算机程序产品可以作为产品在卖方和消费者之间进行交易。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式或通过应用商店(例如，PLAY STORE)在线分发。在在线分发的情况下，在制造商的服务器、应用商店的服务器和/或诸如存储器的存储介质中，可以至少临时存储或临时生成计算机程序产品的至少一部分。
根据各个实施例的每个组件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述一些对应的子组件，或者可以将另一子组件进一步添加到各种实施例中。替选地或附加地，一些组件(例如，模块或程序)可以被组合以形成在被组合之前执行与对应的元件相同或相似的功能的单个实体。根据各种实施例，由模块、程序或其他组件执行的操作可以是顺序地、并行地、或顺序和并行二者，迭代地或启发式地运行，或者至少一些操作可以以不同的顺序执行、省略，或可以添加其他操作。

Claims (20)

1.一种电子设备，包括：
显示器；
相机；
通信电路；
至少一个存储器，被配置为存储指令；以及
至少一个处理器，被配置为执行存储的指令以：
基于用于提供经由通信电路从外部电子设备接收的消息的事件的发生，经由相机通过捕获电子设备的周边区域来获得第一图像数据，
通过将第一图像数据输入到神经网络模型来获得指示至少一人位于周边区域中的第一人信息，
基于第一人信息控制显示器显示针对所述消息的第一输出信息，
基于接收到表示针对第一输出信息的用户反馈的反馈信息，基于反馈信息来训练已训练的神经网络模型，
基于在神经网络模型的训练之后的事件的发生，经由相机通过捕获电子设备的周边区域来获得第二图像数据，
通过将第二图像数据输入到基于反馈信息训练的神经网络模型，获得指示所述至少一人位于周边区域的第二人信息，以及
基于第二人信息控制显示器显示针对所述消息的不同于第一输出信息的第二输出信息。
2.根据权利要求1所述的电子设备，
其中，第一人信息和第二人信息指示与注册作为电子设备的主要用户的第二用户不同的第一用户位于周边区域中。
3.根据权利要求2所述的电子设备，
其中，第一人信息和第二人信息指示第一人和第二人位于周边区域中。
4.根据权利要求3所述的电子设备，
其中，反馈信息是基于用于向第一人提供消息的内容的、第二人的用户命令获得的。
5.根据权利要求4所述的电子设备，
其中，第二输出信息包括所述消息的内容，以及
其中，第一输出信息指示接收到所述消息而不显示所述消息的内容。
6.根据权利要求1所述的电子设备，
其中，所述至少一个处理器还被配置为控制显示器经由弹出窗口来显示第一输出信息。
7.根据权利要求1所述的电子设备，
其中，所述事件包括文本消息接收事件、电子邮件接收事件、呼叫接收事件、信息接收事件、社交网络服务(SNS)接收事件、以及推送通知接收事件中的至少一个。
8.根据权利要求1所述的电子设备，
其中，神经网络模型包括在外部服务器中，以及
其中，所述至少一个处理器还被配置为通过控制通信电路向外部服务器发送第一图像数据并通过通信电路从外部服务器接收第一人信息来获得第一人信息。
9.根据权利要求1所述的电子设备，
其中，所述神经网络模型由AI(人工智能)处理器操作。
10.根据权利要求1所述的电子设备，
其中，所述电子设备还包括扬声器，以及
其中，所述至少一个处理器还被配置为：
基于第一人信息指示第二用户位于周边区域，确定仅使用显示器的第一输出方法并控制电子设备经由第一输出方法提供第一输出信息，以及
基于第二人信息指示第二用户位于周边区域，确定使用显示器和扬声器的第二输出方法并控制电子设备经由第二输出方法提供第二输出信息。
11.一种电子设备的控制方法，包括：
基于用于提供从外部电子设备接收的消息的事件的发生，通过捕获电子设备的周边区域来获得第一图像数据，
通过将第一图像数据输入到神经网络模型来获得指示至少一人位于周边区域中的第一人信息，
基于第一人信息显示针对所述消息的第一输出信息，
基于接收到表示针对第一输出信息的用户反馈的反馈信息，基于反馈信息来训练已训练的神经网络模型，
基于在神经网络模型的训练之后的事件的发生，通过捕获电子设备的周边区域来获得第二图像数据，
通过将第二图像数据输入到基于反馈信息训练的神经网络模型，获得指示所述至少一人位于周边区域的第二人信息，以及
基于第二人信息显示针对所述消息的不同于第一输出信息的第二输出信息。
12.根据权利要求11所述的方法，
其中，第一人信息和第二人信息指示与注册作为电子设备的主要用户的第二用户不同的第一用户位于周边区域中。
13.根据权利要求12所述的方法，
其中，第一人信息和第二人信息指示第一人和第二人位于周边区域中。
14.根据权利要求13所述的方法，
其中，反馈信息是基于用于向第一人提供消息的内容的、第二人的用户命令获得的。
15.根据权利要求14所述的方法，
其中，第二输出信息包括所述消息的内容，以及
其中，第一输出信息指示接收到所述消息而不显示所述消息的内容。
16.根据权利要求11所述的方法，
其中，显示第一输出信息包括经由弹出窗口来显示第一输出信息。
17.根据权利要求11所述的方法，
其中，所述事件包括文本消息接收事件、电子邮件接收事件、呼叫接收事件、信息接收事件、社交网络服务(SNS)接收事件、以及推送通知接收事件中的至少一个。
18.根据权利要求11所述的方法，
其中，神经网络模型包括在外部服务器中，以及
其中，获得第一人信息包括通过向外部服务器发送第一图像数据并从外部服务器接收第一人信息来获得第一人信息。
19.根据权利要求11所述的方法，
其中，所述神经网络模型由AI(人工智能)处理器操作。
20.一种非暂时性计算机可读记录介质，包括运行电子设备的控制方法的程序，所述控制方法包括：
基于用于提供从外部电子设备接收的消息的事件的发生，通过捕获电子设备的周边区域来获得第一图像数据，
通过将第一图像数据输入到神经网络模型来获得指示至少一人位于周边区域中的第一人信息，
基于第一人信息显示针对所述消息的第一输出信息，
基于接收到表示针对第一输出信息的用户反馈的反馈信息，基于反馈信息来训练已训练的神经网络模型，
基于在神经网络模型的训练之后的事件的发生，通过捕获电子设备的周边区域来获得第二图像数据，
通过将第二图像数据输入到基于反馈信息训练的神经网络模型，获得指示所述至少一人位于周边区域的第二人信息，以及
基于第二人信息显示针对所述消息的不同于第一输出信息的第二输出信息。
CN202310244747.0A 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法 Pending CN116320149A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0012973 2018-02-01
KR1020180012973A KR102455056B1 (ko) 2018-02-01 2018-02-01 컨텍스트에 따라 이벤트의 출력 정보를 제공하는 전자 장치 및 이의 제어 방법
PCT/KR2019/001459 WO2019151830A1 (en) 2018-02-01 2019-02-01 Electronic device and method for controlling the electronic device
CN201980010243.4A CN111656757A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980010243.4A Division CN111656757A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法

Publications (1)

Publication Number Publication Date
CN116320149A true CN116320149A (zh) 2023-06-23

Family

ID=67392278

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310244747.0A Pending CN116320149A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法
CN202310239150.7A Pending CN116320148A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法
CN201980010243.4A Pending CN111656757A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310239150.7A Pending CN116320148A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法
CN201980010243.4A Pending CN111656757A (zh) 2018-02-01 2019-02-01 电子设备和用于控制电子设备的方法

Country Status (5)

Country Link
US (2) US10936918B2 (zh)
EP (1) EP3704853B1 (zh)
KR (2) KR102455056B1 (zh)
CN (3) CN116320149A (zh)
WO (1) WO2019151830A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159447B2 (en) 2019-03-25 2021-10-26 Cisco Technology, Inc. Predictive routing using machine learning in SD-WANs
US11269590B2 (en) * 2019-06-10 2022-03-08 Microsoft Technology Licensing, Llc Audio presentation of conversation threads
KR102234691B1 (ko) * 2019-08-09 2021-04-02 엘지전자 주식회사 인공 지능을 이용하여, 물품을 관리하는 냉장고 및 그의 동작 방법
US20210342736A1 (en) * 2020-04-30 2021-11-04 UiPath, Inc. Machine learning model retraining pipeline for robotic process automation
US11836640B2 (en) * 2020-05-15 2023-12-05 Motorola Mobility Llc Artificial intelligence modules for computation tasks
KR102391211B1 (ko) * 2020-06-02 2022-04-28 (주)웰팩토리 스마트케어 기능성 게임플랫폼 장치
US11816678B2 (en) * 2020-06-26 2023-11-14 Capital One Services, Llc Systems and methods for providing user emotion information to a customer service provider

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466232B1 (en) 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US6954657B2 (en) * 2000-06-30 2005-10-11 Texas Instruments Incorporated Wireless communication device having intelligent alerting system
JP2004289408A (ja) 2003-03-20 2004-10-14 Jintetsuku:Kk Ｕｒｌ通知サービスシステム、ｕｒｌ通知サービス処理プログラム及び記憶媒体
KR100547957B1 (ko) * 2003-08-12 2006-02-01 에스케이 텔레콤주식회사 Ｓｍｓ 수신 일시보류 서비스 방법
KR100814067B1 (ko) 2007-05-30 2008-03-14 (주)엠비즈코리아 에스엠에스 메시지 열람확인 방법 및 이를 수행하기 위한단말장치
US10304066B2 (en) * 2010-12-22 2019-05-28 Facebook, Inc. Providing relevant notifications for a user based on location and social information
US9591346B2 (en) * 2012-05-14 2017-03-07 Samsung Electronics Co., Ltd. Content delivery system with content sharing mechanism and method of operation thereof
US9002380B2 (en) * 2012-06-08 2015-04-07 Apple Inc. Proximity-based notifications in a mobile device
US9638537B2 (en) * 2012-06-21 2017-05-02 Cellepathy Inc. Interface selection in navigation guidance systems
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
JP5983332B2 (ja) 2012-11-13 2016-08-31 株式会社Ｊｖｃケンウッド 音声情報報知装置、音声情報報知方法およびプログラム
KR101558656B1 (ko) 2013-07-30 2015-10-08 현대자동차주식회사 수신자 맞춤형 메시지 처리 장치 및 그 방법
US9959431B2 (en) * 2013-09-16 2018-05-01 Google Technology Holdings LLC Method and apparatus for displaying potentially private information
US10007810B2 (en) 2013-10-05 2018-06-26 Excalibur Ip, Llc Alternate screen reveal for instant privacy
US9143907B1 (en) * 2013-10-21 2015-09-22 West Corporation Providing data messaging support by intercepting and redirecting received short message service (SMS) messages
US9946893B2 (en) * 2013-11-26 2018-04-17 Nokia Technologies Oy Method and apparatus for providing privacy profile adaptation based on physiological state change
KR20160006417A (ko) * 2014-07-09 2016-01-19 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101588190B1 (ko) 2014-10-22 2016-01-25 현대자동차주식회사 차량, 그 제어 방법 및 차량에 포함되는 멀티미디어 장치
US10242082B2 (en) 2014-12-12 2019-03-26 Microsoft Technology Licensing, Llc Context-driven multi-user communication
US10530720B2 (en) * 2015-08-27 2020-01-07 Mcafee, Llc Contextual privacy engine for notifications
KR101797856B1 (ko) 2016-02-24 2017-11-15 라인 가부시키가이샤 메신저 서비스를 이용한 인공지능 학습 방법 및 시스템, 그리고 인공지능을 이용한 답변 중계 방법 및 시스템
CN105956022B (zh) * 2016-04-22 2021-04-16 腾讯科技（深圳）有限公司 电子镜图像处理方法和装置、图像处理方法和装置
JP2019056970A (ja) * 2017-09-19 2019-04-11 カシオ計算機株式会社 情報処理装置、人工知能選択方法及び人工知能選択プログラム
US20190122082A1 (en) * 2017-10-23 2019-04-25 Motionloft, Inc. Intelligent content displays

Also Published As

Publication number Publication date
KR102617387B1 (ko) 2023-12-27
US20210166089A1 (en) 2021-06-03
US11876925B2 (en) 2024-01-16
US10936918B2 (en) 2021-03-02
KR20220144346A (ko) 2022-10-26
WO2019151830A1 (en) 2019-08-08
KR20190098859A (ko) 2019-08-23
US20190236417A1 (en) 2019-08-01
KR102455056B1 (ko) 2022-10-17
EP3704853C0 (en) 2023-08-02
EP3704853B1 (en) 2023-08-02
EP3704853A4 (en) 2020-12-09
CN116320148A (zh) 2023-06-23
CN111656757A (zh) 2020-09-11
EP3704853A1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
EP3704853B1 (en) Electronic device and method for controlling the electronic device
US11671386B2 (en) Electronic device and method for changing chatbot
KR102449630B1 (ko) 전자 장치 및 이의 제어 방법
EP3757729B1 (en) Apparatus and method for providing sentence based on user input
US11508364B2 (en) Electronic device for outputting response to speech input by using application and operation method thereof
US20180197094A1 (en) Apparatus and method for processing content
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
KR102628042B1 (ko) 연락처 정보를 추천하는 방법 및 디바이스
US11481551B2 (en) Device and method for providing recommended words for character input
KR20190088128A (ko) 전자 장치 및 그의 제어 방법
US20210264905A1 (en) Electronic device and control method therefor
US11468270B2 (en) Electronic device and feedback information acquisition method therefor
US20210004702A1 (en) System and method for generating information for interaction with a user
KR102612835B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR102669026B1 (ko) 전자 장치 및 이의 제어 방법
KR20190046472A (ko) 전자 장치에서 발생된 트러블에 관한 가이드 정보를 제공하는 전자 장치, 서버 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination