CN112041787A - 利用应用来输出对用户输入的响应的电子装置及其操作方法 - Google Patents

利用应用来输出对用户输入的响应的电子装置及其操作方法 Download PDF

Info

Publication number
CN112041787A
CN112041787A CN201980028072.8A CN201980028072A CN112041787A CN 112041787 A CN112041787 A CN 112041787A CN 201980028072 A CN201980028072 A CN 201980028072A CN 112041787 A CN112041787 A CN 112041787A
Authority
CN
China
Prior art keywords
response
user
information
electronic device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980028072.8A
Other languages
English (en)
Inventor
帕拉梅斯瓦拉纳特·瓦达库普拉斯玛尼
斯热瓦萨·德瓦拉卡·巴米迪帕蒂
瓦拉吉·瓦拉
穆罕默德·阿克拉姆·乌拉·沙里夫
卡查娜·拉古纳塔·雷迪
纳米莎·波杰里
马亨德·兰佩利
贝达·普拉卡什·梅赫尔
苏杰·斯里尼瓦萨·莫蒂
舒巴姆·瓦特萨尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/007284 external-priority patent/WO2019240562A1/en
Publication of CN112041787A publication Critical patent/CN112041787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种在电子装置中输出对用户输入的响应的方法。该方法包括：接收来自用户的用户输入，响应于接收到所述用户输入，基于所述用户输入生成包括第一内容的第一响应，获得所述用户的语境信息，基于所述语境信息生成包括第二内容的第二响应，所述第二内容不同于所述第一内容，基于所述第一响应和所述第二响应生成组合响应，以及输出所述组合响应。

Description

利用应用来输出对用户输入的响应的电子装置及其操作方法
技术领域
本公开涉及用于一种利用应用来输出对用户输入的响应的电子装置及其操作方法。
背景技术
电子装置可以输出与用户的输入相对应的响应。就这一点而言，在进一步考虑用户的语境信息的情况下，电子装置可以输出包括更适合用户的内容的响应。
但是，用户的语境信息可能会实时不断变化，因此，即使在考虑到用户的语境信息而生成响应时，由于语境信息是实时变化的，所以也可能会提供不适合用户当前语境的响应。
因此，需要开发一种基于用户的实时变化的语境信息来提供适合于用户输入的响应的方法。
以上信息仅作为背景信息提供，以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
技术方案
本公开的各方面将至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一方面提供了一种输出适合于用户输入的响应的电子装置及其操作方法。
本公开的另一方面提供了一种计算机程序产品，该计算机程序产品包括其上记录有用于在计算机中执行该操作方法的程序的计算机可读记录介质。要解决的技术问题不限于上述问题，并且可能存在其他技术问题。
另外的方面将在下面的描述中部分地阐述，并且部分地从描述中将是显而易见的，或者可以通过实践所呈现的实施例而获知。
附图说明
图1是根据本公开的实施例的用于对用户输入提供响应的系统的图；
图2是根据本公开的实施例的电子装置的框图；
图3是根据本公开的实施例的电子装置的更详细的框图；
图4是根据本公开的实施例的处理器的图；
图5是示出根据本公开的实施例的输出对用户输入的响应的方法的流程图；
图6是示出根据本公开的实施例的生成第二响应的示例的图；
图7是示出根据本公开的实施例的生成第二数据以生成第二响应的示例的图；
图8是示出根据本公开的实施例的获得反馈信息的示例的图；
图9是示出根据本公开的实施例的生成包括第二内容的第二响应的方法的流程图；
图10是示出根据本公开的实施例的训练生成模型以生成第二响应的方法的图；
图11是示出根据本公开的实施例的训练生成模型的方法的图；
图12是示出根据本公开的实施例的通过电子装置输出对用户输入的响应的示例的图；
图13是示出根据本公开的实施例的基于用户简档信息来获得用户的语境信息的示例的图；
图14是示出根据本公开的实施例的基于用户简档信息生成第二响应的示例的图；
图15是示出根据本公开的实施例的对用户输入提供响应的示例的图；
图16是示出根据本公开的实施例的对用户输入提供响应的示例的图；
图17是示出根据本公开的实施例的对用户输入提供响应的示例的图；以及
图18是示出根据本公开的实施例的对用户输入提供响应的示例的图。
在整个附图中，应注意，相同的附图标记用于表示相同或相似的元件、特征和结构。
具体实施方式
根据本公开的一方面，提供了一种在电子装置中输出对用户输入的响应的方法。该方法包括：接收来自用户的输入；生成包括第一内容的第一响应作为与用户输入相对应的响应；获得用户的语境信息；基于语境信息生成包括与第一内容不同的第二内容的第二响应，作为与用户输入相对应的响应；将第一响应与第二响应进行组合；以及输出组合响应作为对用户输入的响应。
根据本公开的另一方面，提供了一种用于输出对用户输入的响应的电子装置。该电子装置包括：用户输入单元，其被配置为接收来自用户的用户输入；至少一个处理器，其被配置为：生成包括第一内容的第一响应作为与该用户输入相对应的响应；获得用户的语境信息；基于语境信息生成包括与第一内容不同的第二内容的第二响应，作为与用户输入相对应的响应；以及将第一响应与第二响应进行组合；以及输出单元，其被配置为输出组合响应作为对用户输入的响应。
根据本公开的另一实施例，一种计算机程序产品包括计算机可读记录介质，其上记录有用于执行该方法的操作的程序。
通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显着特征对于本领域技术人员将变得显而易见。
提供以下参考附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。各种实施例包括各种具体细节以帮助理解，但是这些具体细节仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁，可以省略对公知功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人用来使对本公开的清楚和一致的理解成为可能。因此，对于本领域技术人员而言显而易见的是，提供本公开的各种实施例的以下描述仅是出于说明的目的，而不是出于限制由所附权利要求及其等同物所限定的本公开的目的。
应当理解，单数形式的“一”、“一个”和“该”包括复数对象，除非语境另外明确指出。因此，例如，提及“部件表面”包括提及一个或更多个这样的表面。
在整个说明书中，还将理解的是，当一个元件被称为“连接到”另一个元件时，它可以直接连接到另一个元件，或者可以通过具有中间元件插在它们之间而被电连接到另一个元件。同样，除非另外说明，术语“包括”元件并不排除其他元件，而是进一步包括该元件。
在整个公开中，表述“a、b或c中的至少一个”表示只有a；只有b；只有c；a和b两者；b和c两者；a和c两者；a、b和c；或者其变形。
在下文中，将参考附图详细描述本公开。
图1是根据本公开的实施例的提供对用户输入的响应的系统的图。
参照图1，根据本公开的实施例，一种用于提供对用户输入的响应的系统可以包括电子装置1000。该电子装置1000可以接收来自用户的输入100，并且输出对接收到的输入100的响应。
根据本公开的实施例的电子装置1000可以被配置为接收来自用户的输入100并且输出对接收到的输入100的响应，并且可以以各种形式实现。例如，本文描述的电子装置1000可以是但不限于：数码相机、智能电话机、膝上型计算机、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、运动图像专家组第1阶段或第2阶段(MPEG-1或MPEG-2)音频第3层(MP3)播放器、人工智能(AI)扬声器等。
电子装置1000可以是用户佩戴的可穿戴装置。可穿戴装置可以包括但不限于附件型装置(例如，手表、戒指、腕带、踝带、项链、眼镜和隐形眼镜)、头戴式装置(HMD)、纺织品或衣服集成型装置(例如，电子纺织品)、身体附着型装置(例如，皮肤垫)或生物可植入型装置(例如，可植入电路)。在下文中，为了方便起见，将智能电话机描述为电子装置1000的示例。
根据本公开的实施例，可以在电子装置1000中使用应用以提供对输入的响应。该应用可以提供交互式界面以接收来自用户的语音输入并输出对用户的语音输入的响应。根据本公开的实施例的应用可以包括但不限于虚拟助手、AI助手等。虚拟助手或AI助手可以是软件代理，其处理用户所需的任务并为用户提供个性化服务。
根据本公开的实施例，电子装置1000可以生成对用户的输入100的响应并且输出所生成的响应。
根据本公开的实施例的用户的输入100可以包括查询以获得特定信息。另外，根据本公开的实施例的用户的输入100可以包括用于控制电子装置1000的指令。在不限于上述示例的情况下，根据本公开的实施例的输入100可以包括用于各种目的各种输入，并且可以由电子装置1000从用户接收。
根据本公开的实施例的用户的输入100可以由电子装置1000从用户接收，例如，由电子装置1000接收作为语音输入、文本输入、手势输入或经由各种类型的传感器的输入。不限于上述示例，可以经由各种输入方法将用户的输入100输入到电子装置1000。
可以通过将包括第一内容的第一响应与包括与第一内容不同类型的第二内容的第二响应进行组合来生成根据本公开的实施例的响应。第一响应可以包括包含与用户的输入相对应的响应信息的第一内容。另外，作为与用户的输入相对应的响应，第二响应可以包括与第一内容的类型不同并且基于用户的语境信息而生成的第二内容。
除了与第一内容的类型不同的第二内容以外，根据本公开的实施例的第二响应还可以包括与第一内容的类型相同并且基于语境信息生成的至少一个内容。
根据本公开的实施例的用户的语境信息可以包括与用户有关的各种类型的信息，诸如用户的行为特征、用户的个人特征(例如，年龄和职业)，用户的偏好、用户的兴趣、用户的审美偏好、用户的周围环境、用户的状态、用户的社交网络服务(SNS)帐户、用户的SNS活动、电子装置1000的操作状态、用户的位置信息或电子装置1000的位置信息。不限于上述示例，用户的语境信息可以包括指示用户的语境的各种类型的信息。
因此，根据本公开的实施例，可以基于与不考虑用户的语境信息的用户的输入相对应的第一响应和包括各种类型的信息并且基于用户的语境信息生成的第二响应来提供对用户的输入的响应。
例如，第二响应可以包括基于用户的当前语境信息生成并且被确定为当前适合于用户的附加信息。而且，第二响应可以包括与第一响应的内容类型不同、基于语境信息生成并且被用户确定为优选的内容的类型。
另外，包括在第一响应中的第一内容的类型可以包括文本、运动图像、图像或音频中的至少一个，作为直接与用户的输入相对应的内容类型。另外，第二响应中包括的第二内容的类型可以包括例如文本、运动图像、图像、音频、发光二极管(LED)输出、振动输出、视觉或听觉效果或者用户界面中的至少一个，作为基于用户的语境信息另外提供的内容类型。不限于上述示例，第一响应和第二响应可以包括各种类型的内容。
作为根据用户的语境信息另外提供给用户的用户界面，上述用户界面可以包括用于信息检索的界面、用于执行路线搜索功能的界面、用于翻译的界面等。例如，用户界面可以由先前安装在电子装置1000中的至少一个应用提供。
因此，该响应可以包括第一响应，该第一响应包含针对输入的基本响应信息，在该响应中没有考虑到语境信息，并且还可以包括第二响应，该第二响应包含基于实时变化的关于用户的语境信息而生成的各种内容类型的信息。
根据本公开的实施例，将作为对用户输入的基本响应的第一响应与包括基于语境信息生成的附加内容的第二响应进行组合，并且输出组合响应，从而提供更好的用户体验。此外，与仅提供第一响应的情况相比，通过将第一响应与包括各种类型的内容的第二响应进行组合并输出组合响应，可以向用户提供更适合于用户的更丰富的响应。
例如，如果电子装置1000接收到“今天的安排是什么？”的输入100，则电子装置1000可以生成包括文本“晚上7点的会议”的第一响应作为与输入100相对应的基本响应。
电子装置1000还可以通过考虑用户的语境信息来生成第二响应。例如，当用户的语境信息指示用户正在驾驶汽车并且不能看电子装置1000的显示器时，第二响应可以包括通过文本到语音(TTS)技术基于用户的上述语境信息从第一响应的文本“晚上7点的会议”转换而来的音频数据。
根据本公开的实施例的电子装置1000可以通过将第一响应与第二响应进行组合来生成要输出的最终响应，并且输出所生成的最终响应。例如，作为将第一响应与第二响应组合的结果，电子装置1000可以在通过扬声器输出第二响应的音频数据的同时在显示器上显示文本“晚上7点的会议”。
根据本公开的实施例，尽管根据用户的语境提供了对用户输入的基本响应而没有任何改变，但是可以进一步提供根据用户的语境信息的附加响应。因此，根据本公开的实施例，因为对用户输入的基本响应不会被语境信息改变，所以用户可以容易地预测对输入的响应以及对满足用户意图的输入的查询。另外，由于附加地提供了通过考虑语境信息而生成的响应，因此与仅提供对输入的基本响应相比，可以提供更好的用户体验。
此外，用户的语境可以实时地连续变化，因此在处理用户输入时使用的用户的语境信息可能与用户的当前语境发生冲突。例如，由于用户的语境信息的更新延迟，可以输出对使用与用户的当前语境信息不同的语境信息生成的用户输入的响应。因此，在输出响应之后，用于输出响应的语境信息可能与用户的语境不匹配。
但是，语境信息不会改变对用户输入的基本响应(例如，第一响应)。因此，即使当语境信息不同于用户的当前语境信息时，也可以一致地提供对用户输入的基本响应。
可以基于与第一响应有关的信息以及语境信息来附加地生成根据本公开的实施例的第二响应。例如，可以基于第一响应的第一内容的特征信息附加地生成第二响应。此外，可以基于用于生成第一响应的第一数据附加地生成第二响应。根据本公开的实施例的第一数据是用于生成第一响应的数据，并且可以基于用户的输入的分析结果来生成。
可以基于与第一响应有关的各种信息来附加地生成根据本公开的实施例的第二响应，而不限于语境信息。
根据本公开的实施例的输出对用户输入的响应的方法可以仅在装置内根据装置上的AI技术来操作。例如，电子装置1000可以处理用户输入并输出对用户输入的响应，而无需与云服务器交换数据。另外，电子装置1000可以基于由电子装置1000实时收集的用户的各种类型的信息来执行根据本公开的实施例的操作，而无需使用存储在云服务器中的数据。
根据装置上的AI技术，电子装置1000可以基于本地收集的数据来训练AI模型，并且可以基于训练后的AI模型来进行确定。因为电子装置1000不将收集到的数据发送到外部并且根据装置上的AI技术利用了数据，所以可以保护用户的个人信息并且可以提高数据处理速度。
例如，取决于由电子装置1000训练的AI模型是否足以仅使用由电子装置1000收集的信息来执行操作，电子装置1000不需要连接到云服务器，不需要使用大数据并且不需要考虑电子装置1000的不稳定的网络环境也可以使用装置上的AI技术进行操作。
然而，电子装置1000还可以通过与云服务器或外部装置交换数据并结合根据装置上的AI技术的操作来执行操作。电子装置1000还可以通过结合上述装置上的AI技术和与云服务器的数据交换来执行根据本公开的实施例的操作。
例如，当基于云环境执行的操作比使用基于电子装置1000的网络环境和计算能力的装置上的AI技术执行的操作更高效时，例如，当使用云服务器的操作的数据处理速度高于使用装置上的AI技术的数据处理速度或者将不包括用户的个人信息的数据发送到云服务器时，则可以使用云服务器来执行根据本公开的实施例的操作。
图2是根据本公开的实施例的电子装置的框图。
图3是根据本公开的实施例的电子装置的更详细的框图。
参照图2，电子装置1000可以包括用户输入单元1100、处理器1300和输出单元1200。然而，图2中示出的所有组件不是电子装置1000的必要组件。可以使用比图2所示的组件更多或更少的组件来实现电子装置1000。
例如，如图3所示，根据本公开的实施例的电子装置1000除了用户输入单元1000、处理器1300和输出单元1200之外，还可以包括传感器1400、通信器1500、音频/视频(A/V)输入单元1600和存储器1700。
用户输入单元1100是指用户通过其输入数据以控制电子装置1000的装置。例如，用户输入单元1100可以是但不限于键盘、圆顶开关、触摸板(例如，电容式触摸板、电阻式触摸板、红外波束感测式触摸板、表面声波式触摸板、一体式应变片式触摸板和压电式触摸板)、滚轮或滚轮开关。
根据本公开的实施例，用户输入单元1100可以接收用户的输入100。例如，用户输入单元1100可以使用电子装置1000的麦克风、触摸板、开关、手势输入装置等经由各种输入方法来接收用户的输入100。
输出单元120可以输出音频信号、视频信号或振动信号。输出单元120可以包括显示器1210、声音输出单元1220和振动电机1230。
根据本公开的实施例，输出单元1200可以输出对用户的输入100的响应。根据本公开的实施例，响应可以包括各种类型的第二内容。例如，可以经由显示器1210或声音输出单元1220输出诸如运动图片、图像、音频、发光二极管(LED)输出、文本和用户界面等的各种类型的内容，并且可以通过振动电机1230输出振动输出类型内容。
显示器1210可以显示和输出由电子装置1000处理的信息。根据本公开的实施例，显示器1210可以显示与用户的输入100相对应的响应的信息。
同时，当显示器1210和触摸板构成层结构的触摸屏时，显示器1210可以用作输入装置和输出装置。显示器1210可以包括液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管、柔性显示器、三维(3D)显示器或电泳显示器中的至少一个。另外，根据电子装置1000的实施方式，电子装置1000可以包括两个或更多个显示器1210。
声音输出单元1220输出从通信器1500接收或存储在存储器1700中的音频数据。根据本公开的实施例的声音输出单元1220可以输出音频数据作为与用户的输入100相对应的响应。
振动电机1230可以输出振动信号。另外，当触摸被输入到触摸屏上时，振动电机1230可以输出振动信号。根据本公开的实施例的声音输出单元1220可以输出振动信号作为与用户的输入100相对应的响应。
处理器1300通常被配置为控制电子装置1000的整体操作。例如，处理器1300被配置为通过执行存储在存储器1700中的程序来控制用户输入单元1100、输出单元1200、传感器1400、通信器1500、A/V输入单元1600等的整体操作。电子装置1000可以包括至少一个处理器1300。
处理器1300可以被配置为通过执行基本的算术、逻辑和输入/输出计算来处理计算机程序的命令。该命令可以从存储器1700提供给处理器1300，或者可以由通信器1500接收并提供给处理器1300。例如，处理器1300可以被配置为根据存储在诸如存储器的记录介质中的程序代码来执行命令。
根据本公开的实施例的至少一个处理器1300可以生成对用户的输入100的响应。可以通过将包括第一内容的第一响应与包括与第一内容的类型不同的第二内容的第二响应进行组合来生成根据本公开的实施例的响应。
第一响应可以包括包含与用户输入匹配的响应信息的第一内容，并且作为对用户输入的响应的第二响应可以包括与第一内容不同并且基于用户的语境信息生成的第二内容。
传感器1400可以检测电子装置1000的状态或电子装置1000的周围状态，并且将获得的信息发送到处理器1300。
根据本公开的实施例，可以基于由传感器1400获得的信息来获得用户的语境信息。可以基于语境信息来生成第二响应。例如，传感器1400可以根据用户的面部表情来检测用户的情绪，并且电子装置1000可以基于其来获得用户的语境信息。
此外，根据本公开的实施例，可以基于由传感器1400获得的信息来获得根据本公开的实施例提供的来自用户的关于响应的反馈信息。用于生成第二响应的训练模型可以基于反馈信息来修改和细化。
传感器1400可以包括但不限于磁性传感器1410、加速度传感器1420、温度/湿度传感器1430、红外线传感器1440、陀螺仪传感器1450、位置传感器(例如，全球定位系统(GPS)1460、大气压力传感器1470、接近传感器1480或红色、绿色和蓝色(RGB)传感器(照度传感器)1490。
通信器1500(例如，收发器)可以包括至少一个组件，该组件使得能够在电子装置1000与服务器(未示出)或外部装置(未示出)之间进行通信。例如，通信器1500可以包括短距离无线通信器1510、移动通信器1520和广播接收器1530。
根据本公开的实施例，通信器1500可以从外部接收生成对输入100的响应所需的数据。例如，通信器1500可以从外部接收要输出的至少一个内容作为对输入100的响应。
短距离无线通信器1510可以包括但不限于蓝牙通信器、蓝牙低功耗(BLE)通信器、近场通信器、无线局域网(WLAN)或Wi-Fi通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fi直连(WFD)通信器、超宽带(UWB)通信器和Ant+通信器。
移动通信器1520可以向移动通信网络上的基站、外部终端或服务器中的至少一个发送无线信号或从其接收信号。就这一点而言，无线信号可以包括用于发送和接收音频呼叫信号、视频通信呼叫信号或文本/多媒体消息的各种类型的数据。
广播接收器1530可以从外部接收广播信号和/或与广播有关的信息。广播频道可以包括卫星频道和地面频道。根据本公开的实施例，电子装置1000可以不包括广播接收器1530。
A/V输入单元1600被配置为输入音频信号或视频信号，并且可以包括相机1610和麦克风1620。相机1610可以在视频通话模式或图像拍摄模式中经由图像传感器获得静止图像或运动图像的图像帧。由图像传感器捕获的图像可以由处理器1300或单独的图像处理器(未示出)处理。麦克风1620从外部接收音频信号，并将接收到的信号处理成电声音数据。
经由A/V输入单元1600输入的信息可以用于获得用户的语境信息。例如，可以基于由A/V输入单元1600生成的视频或音频数据来确定用户的状态、形状、位置等，并且可以基于其获得用户的语境信息。
存储器1700可以存储用于处理和控制处理器1300的程序，并且存储输入到电子装置1000或从电子装置1000输出的数据。
根据本公开的实施例的存储器1700可以存储一个或更多个指令，并且电子装置1000的至少一个处理器1300可以通过执行一个或更多个指令来执行根据本公开的实施例的操作。
另外，根据本公开的实施例的存储器1700可以存储生成对输入100的响应所需的信息。例如，存储器1700可以存储用于生成对输入100的响应的训练模型、虚拟助手应用、收集的用户的语境信息等。不限于上述示例，存储器1700可以存储生成对输入100的响应所需的各种类型的信息。
存储器1700可以包括选自闪存类型、硬盘类型、多媒体卡微型类型、卡类型存储器中的至少一种类型的存储介质(例如，安全数字(SD)或极限数字(XD)存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘或光盘。
可以根据其功能将存储在存储器1700中的程序分类为多个模块，例如，用户界面(UI)模块1710、触摸屏模块1720和通知模块1730。
UI模块1710可以根据应用提供与电子装置1000交互工作的专用UI或图形用户界面(GUI)。触摸屏模块1720可以检测用户在触摸屏上的触摸手势，并将该触摸手势的信息发送到处理器1300。根据本公开的实施例的触摸屏模块1720可以识别并分析触摸代码。触摸屏模块1720可以被配置为包括控制器的单独的硬件组件。
可以在触摸屏中或触摸屏附近提供各种传感器，以检测触摸屏上的触摸或接近触摸。触觉传感器可以是用于检测触摸屏上的触摸的传感器的示例。触觉传感器被配置为检测具有人类或更高触觉能力的物体的触摸。触觉传感器可以获得各种信息，例如，接触表面的粗糙度、接触物体的刚度以及接触点的温度。
用户的触摸手势可以包括点击、触摸并保持、双击、拖动、平移、轻拂、拖放、滑动等。
通知模块1730可以生成用于通知电子装置1000的事件的发生的信号。
图4是根据本公开的实施例的处理器的图。
参照图4，处理器1300可以包括作为执行生成对输入100的响应的操作的组件的第一响应生成器401、第二响应生成器402、响应渲染器403、优先级排序器404和反馈单元405。
然而，图4所示的组件仅是示例，并且可以使用比图4所示的组件更多或更少的组件来实现电子装置1000。
根据本公开的实施例的第一响应生成器401被配置为通过分析由电子装置1000接收到的用户的输入来确定用户的意图，并生成与用户的意图相对应的第一响应。
例如，当由第一响应生成器401接收到的输入是语音输入时，可以通过执行语音识别来获得与该语音输入相对应的文本。此外，第一响应生成器401可以通过对与输入相对应的文本执行自然语言处理来确定用户的意图，并生成与用户的意图相对应的第一响应。
根据本公开的实施例的第二响应生成器402被配置为获得用户的语境信息，并基于语境信息生成对用户输入的第二响应。
根据本公开的实施例的第二响应生成器402可以使用预训练的模型来基于语境信息生成对用户输入的第二响应。可用于生成第二响应的训练模型可以是例如生成模型，该生成模型被配置为从诸如生成对抗网络(GAN)之类的语境信息生成新的第二响应。
根据本公开的实施例，可以基于语境信息来确定用户的偏好。根据本公开的实施例，可以通过可用于数据识别的卷积神经网络(CNN)来执行基于语境信息确定用户的偏好的操作。例如，可以由CNN基于语境信息确定用户的偏好，并且可以基于确定的偏好根据上述生成模型生成第二响应。
用于确定用户偏好的语境信息可以包括关于用户的各种信息，例如，来自用户的关于提供的响应的反馈信息、关于用户使用或购买的内容的信息以及关于用户的特征(例如，年龄、住址和职业)的信息。
不限于上述示例，可以使用各种类型的训练模型来生成第二响应。根据本公开的实施例，可以基于电子装置1000收集的与用户有关的各种数据，对用于生成第二响应的至少一个训练模型进行连续修改以生成适合于用户的第二响应。
根据本公开的实施例的响应渲染器403被配置为将第一响应与第二响应进行组合。例如，响应渲染器403可以将第一响应与第二响应进行组合，使得主要输出第一响应，并且另外输出视觉或听觉响应作为第二响应。例如，可以根据第二响应中包括的视觉效果或用户界面来适当地修改第一响应的第一内容的位置或外观。另外，可以处理第一响应和第二响应，使得可以将第二响应的各种类型的第二内容与第一响应的第一内容一起输出。不限于上述示例，响应渲染器403可以使用各种方法来组合第一响应和第二响应。
根据本公开的实施例的优先级排序器404被配置为当由响应渲染器403获得多个组合响应时，基于语境信息来确定各个响应的优先级。例如，当生成了包括多个第二内容的第二响应时，电子装置1000可以通过将第一响应的第一内容与多个第二内容进行组合来生成多个组合响应。此外，当生成多个第一内容时，可以通过将多个第一内容与至少一个第二内容进行组合来生成多个组合响应。
根据本公开的实施例，优先级排序器404可以确定各个组合响应的优先级。例如，由于优先级是基于语境信息确定的，因此可以确定对用户语境的最适合的响应具有最高的优先级。根据本公开的实施例的电子装置1000可以根据确定的优先级向用户提供多个组合响应中的至少一个。
根据本公开的实施例的反馈单元405被配置为获得用户对至少一个响应的反馈信息，在该响应中第一响应与第二响应相结合。例如，反馈单元405可以获得用户的话语、面部、手势、情绪等信息，并且基于所获得的信息来获得反馈信息。
根据本公开的实施例，可以基于反馈信息来修改和细化用于生成第二响应的生成模型。例如，可以基于反馈信息修改和细化生成模型，以通过生成模型生成用户更喜欢的第二响应。
图5是示出根据本公开的实施例的输出对用户输入的响应的方法的流程图。
参照图5，在操作510中，电子装置1000可以接收来自用户的输入。电子装置1000可以经由诸如语音输入、按钮输入、触摸输入、手势输入和传感器输入的各种输入方法来接收根据本公开的实施例的用户输入。根据本公开的实施例，电子装置1000可以经由提供交互式界面的虚拟助手应用来接收用户输入。
在操作520中，电子装置1000可以生成包括第一内容的第一响应作为对用户输入的响应。在不考虑用户的语境信息的情况下，可以通过分析用户的输入来基于用户的意图来获得根据本公开的第一响应的第一内容。例如，当分析的用户的意图是“关于今天的天气的信息”时，可以生成指示“晴，细粉尘水平较差”的第一内容作为与“关于今天的天气的信息”相对应的第一响应。
在操作530中，电子装置1000可以获得用户的语境信息以生成第二响应。根据本公开的实施例的语境信息可以包括可实时获得的用户的特征、状态、周围语境等。根据本公开的实施例，可以基于实时获得的各种类型的信息来连续地更新用于生成第二响应的语境信息。
在操作540，电子装置1000可以生成包括第二内容的第二响应，该第二内容是与第一内容的类型不同的类型并且基于在操作530中获得的语境信息而被生成的。例如，当第一响应包括文本类型的第一内容时，第二响应可以包括第二内容，该第二内容具有与文本类型的第一内容不同的各种类型中的一种，例如，运动图像、图像、用户界面和音频。另外，第二响应除了与第一内容的类型不同的内容之外，还可以包括与第一内容的类型相同的内容。可以基于在操作530中获得的用户的语境信息，以与第一响应不同的方式来生成根据本公开的实施例的第二响应。
在操作550中，电子装置1000可以将第一响应与第二响应进行组合。例如，电子装置1000可以处理第一响应和第二响应的内容以适当地布置和显示在显示器上，或者适当地经由另一输出装置输出，从而生成第一响应与第二响应组合的响应。
在操作560中，电子装置1000可以输出在操作550中获得的组合响应作为对操作510的用户输入的响应。
图6是示出根据本公开的实施例的生成第二响应的示例的图。
参照图6，电子装置1000可以在操作610中获得包括用户的各种类型的信息的数据，并且在操作620中从数据获得指示用户的语境的语境信息。例如，上述数据可以包括：由电子装置1000中包括的至少一个传感器收集的各种类型的传感器数据。此外，语境信息可以包括指示用户的语境并基于该数据提取的各种信息，例如，关于用户的周围环境的信息、关于用户的位置的信息、关于用户的情绪状态的信息。
在操作640中，电子装置1000可以基于在操作620中获得的语境信息经由生成模型630来生成第二响应。例如，电子装置1000可以生成包括第二内容的第二响应，作为确定为基于语境信息适合于用户的当前语境的响应。
另外，根据本公开的实施例，电子装置1000可以通过将第二响应与第一响应适当地组合来输出对用户输入的响应，该第一响应是在不考虑语境信息的情况下生成的。
在操作650中，电子装置1000可以输出其中第一响应与第二响应相结合的响应作为对用户输入的响应，并且基于来自用户的关于输出响应的反馈信息来修改和细化生成模型630。例如，电子装置1000可以基于关于用户的各种类型的数据(例如，传感器数据)从用户获得关于输出响应的反馈信息。电子装置1000还可以基于反馈信息来修改和细化生成模型630，以生成适合于用户的第二响应。
根据本公开的实施例，电子装置1000可以基于反馈信息确定语境信息的至少一个特征。而且，电子装置1000可以基于所确定的至少一个特征来获得语境信息以生成第二响应。
根据本公开的实施例的语境信息可以包括与用户的每个语境相对应的至少一个特征的语境信息。例如，语境信息可以包括具有分别指示用户的不同语境的特征的语境信息，诸如用户的情绪信息、周围环境的噪声信息以及电子装置1000的位置信息。
根据本公开的实施例，电子装置1000还可以基于反馈信息从至少一个传感器收集的各种类型的传感器数据中获得与现有特征不同的特征的语境信息。
例如，尽管可以从由电子装置1000收集的传感器数据中的音频数据确定的用户的情感信息被获得为语境信息，但是可以附加地获得周围环境的噪声信息作为来自基于反馈信息(例如，由于周围环境的噪声，无法听到从电子装置1000输出的响应)的音频信息的语境信息。
因此，因为基于反馈信息从相同的传感器数据获得具有更适合的特征的语境信息，所以可以将更适合的第二响应提供给用户。
图7是示出根据本公开的实施例的生成第二数据以生成第二响应的示例的图。
参照图7，电子装置1000可以在操作720中接收用户输入710并获得第一数据730以生成对接收到的用户输入710的第一响应。例如，电子装置1000可以通过分析用户输入710的信息来确定用户的意图，并通过基于所确定的结果经由各种方法进行检索来获得第一数据730以生成第一响应。
根据本公开的实施例的第一数据730是不考虑用户的语境信息而获得的数据，并且可以基于第一数据730来生成包括第一内容的第一响应。
电子装置1000可以获得与用户输入710相对应的M1、M2和Mn，作为第一数据730，以生成与用户输入710相对应的第一响应。例如，当用户输入710为“如何烹饪鸡排？”时，可以获得作为第一数据730的用于制作鸡排的烹饪成分的信息、各个成分的卡路里及其营养成分”。根据本公开的实施例，第一数据730可以包括在不需要考虑语境信息740的情况下生成与用户输入710直接有关的第一响应所需的信息。
电子装置1000可以获得关于用户的语境信息740。例如，关于用户的语境信息740可以包括用户的各种信息，例如，饮食信息、身体状况信息(例如，医学信息)和用户的过敏信息。
根据本公开的实施例，电子装置1000可以基于语境信息740从第一数据730获得第二数据760。此外，电子装置1000可以基于第二数据760生成第二响应。可以通过基于语境信息740修改第一数据730来获得第二数据760。
根据本公开的实施例，可以通过将语境信息740和第一数据730输入到用于生成第二响应的上述生成模型来生成第二响应。根据本公开的实施例，用于生成第二响应的生成模型可以包括至少一个生成模型，例如，用于基于语境信息740从第一数据730生成第二数据760的第一生成模型和用于从第二数据760生成第二响应的第二生成模型。因此，根据本公开的实施例，由生成模型执行的生成第二响应的操作可以包括由第一生成模型执行的基于语境信息740从第一数据730生成第二数据760的操作和由第二生成模型执行的从第二数据760生成第二响应的操作。
不限于上述示例，生成模型可以包括简单的生成模型，该简单的生成模型基于语境信息740从第一数据730生成第二数据760，然后从第二数据760生成第二响应。
另外，不限于上述示例，可以通过各种方法从语境信息740和第一数据730生成第二响应。
在操作750中，电子装置1000可以基于关于用户的语境信息740从第一数据730获得第二数据760。电子装置1000可以从第二数据760获得M'1、M'2、M'n等，以生成第二响应。
例如，电子装置1000可以获得在基于用户的饮食信息考虑到卡路里而重新组织的鸡排烹饪方法或考虑到作为第二数据760的过敏信息而重新组织的鸡排烹饪方法。
因此，可以通过与在不考虑语境信息740的情况下基于第一数据730生成的第一响应不同的方式，基于根据语境信息740生成的第二数据760生成根据本公开的实施例的第二响应。
图8是示出根据本公开的实施例的获得反馈信息的示例的图。
参照图8，电子装置1000可以从传感器数据802获得用户808的情感信息，并且从用户808的情感信息获得反馈信息810。
根据本公开的实施例，可以基于相应的传感器数据802获得用户的情绪信息。
根据本公开的实施例，电子装置1000可以在操作804a中从传感器数据802获得语音信号并且获得与该语音信号相对应的文本。此外，在操作806a中，电子装置1000可以基于与语音信号相对应的文本来获得文本的特征信息。例如，文本的特征信息可以包括指示文本的含义的信息，诸如主题、关键字或文本的意图。
此外，根据本公开的实施例，在操作804b中，电子装置1000可以从传感器数据802获得图像信号，并且获得包括在图像信号中的用户的面部图像。在操作806b中，电子装置1000还可以通过分析包括在用户的面部图像中的用户的面部形状来获得关于用户的面部表情的信息。
根据本公开的实施例，在操作804c中，电子装置1000还可以从传感器数据802获得手势信息。例如，可以获得由运动传感器、触摸传感器等收集的用户的手势信息。在操作806c中，电子装置1000还可以从手势信息获得手势的特征信息。例如，电子装置1000可以通过分析手势信息来确定用户做出手势的意图，并且获得关于所确定的用户的意图的信息作为手势的特征信息。例如，当检测到用户做出X的手势时，该手势的特征信息可以包括表达相反意见的信息。
根据本公开的实施例，电子装置1000可以基于分别在操作806a、806b和806c中获得的文本的特征信息、面部表情的信息和手势的特征信息来确定用户808的情感信息。此外，电子装置1000可以从用户808的情绪信息获得反馈信息810。例如，用户的情绪信息可以包括关于情绪的信息，诸如满足、不满足和愤怒，并且可以从用户的情绪信息获得包括负面、正面和中立反馈的反馈信息810。
根据本公开的实施例，可以基于反馈信息810来修改和细化用于生成第二响应的生成模型。因此，根据本公开的实施例，可以提供基于反馈信息810修改和细化后的生成模型生成的更适合的第二响应。
图9是示出根据本公开的实施例的生成包括第二内容的第二响应的方法的流程图。
参照图9，电子装置1000可以通过获得第一响应的第一内容的特征信息并基于第一内容的特征信息和用户的语境信息来生成第二内容，以生成第二响应。根据本公开的实施例，可以基于用于识别某些数据的训练模型来获得第一内容的特征信息。
例如，电子装置1000可以获得图像数据作为第一内容，并且基于图像数据的特征信息和用户的语境信息通过生成模型来生成音频数据。
根据图9所示的示例，尽管可以基于作为第一内容的图像数据的特征信息获得作为第二内容的音频数据，但是本公开不限于此，并且可以基于第一内容的各种类型的特征信息获得各种类型的第二内容，诸如音频数据、图像数据、用户界面、振动信号和LED效果。
在下文中，将在图9中描述当第一内容是图像数据并且第二内容是音频数据时生成包括第二内容的第二响应的方法。
参照图9，在操作910中，电子装置1000可以获得图像数据。例如，图像数据可以是作为第一响应而获得的图像数据。
在操作920中，电子装置1000可以使用用于识别图像的训练模型从在操作910中获得的图像数据中识别图像，并获得图像数据的特征信息作为其结果。
根据本公开的实施例，用于识别图像数据的训练模型可以是用于对图像中的对象进行分类和检测的CNN。不限于上述示例，根据本公开的实施例，基于神经网络操作的各种类型的数据识别模型可以用于获得图像的特征信息。
根据本公开的实施例的图像数据的识别结果可以包括关于在图像中识别出的物体的信息、关于在图像中识别出的物体的位置的信息、关于在图像中识别出的物体的运动的信息等。例如，当输入到图像识别模型的图像是猫的图像时，通过图像识别模型获得的图像的识别结果可以包括“猫”。因此，图像的特征信息可以包括作为图像的识别结果的“猫”。
在操作930，电子装置1000可以获得用户的语境信息。在操作930中获得的语境信息可以用于生成第二响应的音频数据。
在操作940中，电子装置1000可以基于在操作920中获得的图像数据的特征信息和在操作930中获得的语境信息来获得关于图像数据的音频数据。
例如，电子装置1000可以使用生成模型(例如，GAN)基于图像数据的特征信息来生成音频数据，以从图像数据生成音频数据。此外，可以基于语境信息来修改所生成的音频数据。
例如，当基于语境信息确定在电子装置1000的周围环境中存在较高的噪声时，电子装置1000可以基于语境信息来修改音频数据以提高基于图像数据的特征信息生成的音频数据的音量。
不限于上述示例，电子装置1000可以基于作为执行图像识别的结果而获得的图像数据的特征信息并且基于语境信息，使用各种方法来获得关于图像数据的音频数据。
在操作950中，根据本公开的实施例生成的音频数据可以是与第一响应组合的第二响应，以被输出作为对用户输入的响应。
图10是示出根据本公开的实施例的训练生成模型以生成第二响应的方法的图。
参照图10，服务器1010训练的生成模型1013可以被发送到电子装置1000，并且电子装置1000可以基于从服务器1010接收到的生成模型1013根据电子装置1000收集的信息来连续地修改生成模型1024。
根据本公开的实施例的生成模型1013和1024是用于生成包括第二内容的第二响应的训练模型，第二内容与第一响应的第一内容的类型不同，并且是基于语境信息生成的。
根据本公开的实施例的服务器1010可以基于由服务器1010收集的各种训练数据1011来训练生成模型1013。例如，训练数据1011可以包括与用户的社交网络服务(SNS)活动相关联的SNS数据1012。
例如，服务器1010可以基于SNS数据1012获得用户的各种信息，诸如用户的偏好信息、周围环境的信息以及用户简档信息，并且基于所获得的信息来训练生成模型1013。
根据本公开的实施例的服务器1010可以将由服务器1010训练的生成模型1013发送到电子装置1000。根据本公开的实施例的电子装置1000可以进一步基于包括电子装置1000收集的各种信息的训练数据1021训练从服务器1010接收的生成模型1013。
根据本公开的实施例的电子装置1000可以基于由电子装置1000收集的训练数据1021来连续地训练从服务器1010接收的生成模型1013，并且根据由电子装置1000训练的生成模型1013来生成第二响应。根据本公开的实施例，可以基于电子装置1000根据装置上的方法收集的训练数据1021来连续地训练和修改生成模型1024，而无需服务器1010对其进行处理。
电子装置1000收集的训练数据1021可以包括收集的关于用户的各种用户数据1022(例如，传感器数据和输入数据)和来自用户1023的反馈信息。例如，来自用户1023的反馈信息可以包括来自用户的关于根据本公开的实施例提供的响应的反馈信息。不限于上述示例，电子装置1000收集的数据可以包括可以由电子装置1000收集的关于用户的各种类型的数据。
图11是示出根据本公开的实施例的训练生成模型1103的方法的图。
根据本公开的实施例，当电子装置1000生成第一响应1101和第二响应1104时，可以根据图11所示的示例来训练生成模型1103。
参照图11，电子装置1000可以基于电子装置1000收集的训练数据1105来训练生成模型1103。根据本公开的实施例的训练数据1105可以对应于作为与用户有关的信息的可以由图10中所示的电子装置1000收集的训练数据1011。例如，训练数据1105可以包括来自用户的反馈信息、关于用户获得的传感器数据、与用户有关的各种类型的用户数据等。
另外，根据本公开的实施例，训练数据1105可以包括用户的语境信息。因此，根据本公开的实施例，可以修改生成模型1103以根据连续变化的语境信息来提供适合于用户的第二响应1104。
根据本公开的实施例，电子装置1000可以生成用于用户的输入的第一响应1101。此外，电子装置1000可以基于语境信息1102和生成模型1103为用户的输入生成第二响应1104，该第二响应1104包括与第一响应1101的内容类型不同的内容。
根据本公开的实施例，电子装置1000可以基于由电子装置1000收集的训练数据1105来评估1106由生成模型1103生成的第二响应1104是否合适。例如，随着训练数据1105与第二响应1104之间的相关程度的增加，根据本公开的实施例提供的第二响应1104与用户有关的信息(例如，语境信息)保持一致，因此第二响应1104可以被评估为更合适。
因此，根据本公开的实施例，可以基于第二响应1104与训练数据1105之间的相关程度来评估由生成模型1103获得的第二响应1104，并且可以根据评价结果来对生成模型1103进行训练。
根据本公开的实施例，除了训练数据1105之外，还可以进一步基于第一响应1101来评估第二响应1104。例如，可以基于第一响应响应1101、训练数据1105和第二响应1104之间的相关程度来评估第二响应1104。
根据本公开的实施例的电子装置1000可以基于评估结果来训练生成模型1103。例如，电子装置1000可以在1106处基于评估结果来修改生成模型1103以获得针对第二响应1104的更好的评估结果。
根据本公开的实施例的电子装置1000可以基于第二响应1104与由电子装置1000收集的关于用户的训练数据1105之间的相关程度来连续地训练生成模型1103。因此，通过根据电子装置1000收集的关于用户的训练数据1105训练生成模型1103，电子装置1000可以比服务器1010的生成模型1013获得更个性化的生成模型1103。
如上所述，图11所示的本公开的实施例不限于电子装置1000，并且第一响应1101和第二响应1104可以由图10所示的服务器1010生成，并且可以基于服务器1010收集的训练数据1011来训练生成模型1103。例如，第一响应1101和第二响应1104可以在电子装置1000的请求下，由针对用户输入的服务器1010生成。基于由服务器1010收集的训练数据1011和第二响应1104，可以根据评估结果，以与图11所示的电子装置1000训练生成模型1103相同的方式来训练服务器1010的生成模型1013。
图12是示出根据本公开的实施例的电子装置输出对用户输入的响应的示例的图。
参照图12，可以为用户输入生成包括图像数据的第一响应1201。第一响应1201可以与由生成模型1205生成的第二响应1206进行组合1207，并且可以输出组合响应1208。
根据本公开的实施例，可以从语境信息1203中提取用于生成第二响应1206的至少一个特征向量1204。至少一个特征向量1204可以包括指示语境信息1203的至少一个特征的信息。
例如，语境信息1203可以包括指示每个语境的至少一个特征的语境信息，并且可以提取与至少一个特征的每个语境信息相对应的至少一个特征向量。
根据本公开的实施例，电子装置1000可以从语境信息1203提取至少一个特征向量1204，并且通过将提取的特征向量1204输入到生成模型1205来生成第二响应1206。
根据本公开的实施例，特征向量可以由根据至少一个特征确定的相对位置信息确定，该至少一个特征由其中根据预定规则划分出的一个或更多个聚类分布的图中的语境信息所指示。例如，可以确定特征向量值，使得包括与语境信息更相似的特征的聚类的中心定位为更靠近特征向量的位置。不限于上述示例，用于语境信息1203的特征向量可以包括指示语境信息的特征的各种形式的信息。
此外，根据本公开的实施例，电子装置1000还可以提取包括在第一响应1201中的内容的特征信息1202，并且将提取的结果输入到生成模型1205。因此，除了语境信息1203之外，电子装置1000可以生成与第一响应1201高度相关的第二响应1206。
根据本公开的实施例的第二响应1206可以包括音频数据，该音频数据是与第一响应1201的内容不同类型的内容。
根据本公开的实施例，电子装置1000可以基于由传感器1209获得的数据来生成反馈信息1211，并且可以基于反馈信息来更新语境信息1203。根据本公开的实施例，由传感器1209获得的数据可以包括用于确定对输出的响应1208的反应或反馈的传感器数据。
图12所示的图像数据和音频数据、第一响应1201和第二响应1206各自的内容仅是示例，并且不限于此，并且根据本公开的实施例的第一响应1201和第二响应1206可以包含各种类型的内容。
图13是示出根据本公开的实施例的基于用户简档信息来获得用户的语境信息的示例的图。
参照图13，可以通过处理器1300将用户A和用户B的简档信息1301和1303分别转换(例如，编码)为特征向量1302和1304。根据本公开的实施例，特征向量可以是根据按照预定数据的特性确定的相对位置信息而确定的。用户A和用户B的特征向量1302和1304可以表示为曲线图1305。
根据本公开的实施例，基于简档信息转换的特征向量值可以用作语境信息，以生成第二响应。根据本公开的实施例，电子装置1000可以通过将基于简档信息转换的特征向量值输入到图12所示的生成模型1205来生成第二响应1206。
不限于上述示例，用户简档信息可以被转换为指示用户的语境信息的各种形式的信息，并且可以基于转换后的信息来生成第二响应1206。
图14是示出根据本公开的实施例的基于用户简档信息生成第二响应的示例的图。
参照图14，可以为相同的输入提供包括随着用户简档信息而变化的不同内容的第二响应，并且可以将基于第二响应分别生成的响应提供给各个用户。作为根据本公开的实施例的语境信息，简档信息可以用于生成第二响应。
根据本公开的实施例，对于请求“预约出租车”1403的用户输入，与可用的出租车有关的第一数据1404可以指示出租车A预计将花费21分钟到达票价为72$的目的地。此外，出租车B预计需要5分钟到达票价为100$的目的地。例如，由于与出租车B不同，出租车A提供拼车式出租车服务，因此可以提供服务价格较低，尽管到达目的地需要更长的时间。
根据本公开的实施例，当从用户C接收到请求出租车的用户输入1403时，电子装置1000可以基于包括在第一数据1404(元数据)中的出租车A和出租车B的预约信息来生成第一响应。
根据本公开的实施例，可以基于关于用户C的简档信息1401(Vi)来确定包括在第一数据1404(元数据)中的出租车A和出租车B的优先级1405(等级)，简档信息1401(Vi)用于提供出租车A 1406的指导信息和出租车B的指导信息。优先级1405(等级)可以由预定功能(f)确定。例如，基于包括在用户C的简档信息中的薪水信息、年龄信息或职业信息中的至少一项，电子装置1000可以由于尽管票价较高但到达目的地的时间较少而确定出租车B的优先级较高。因此，电子装置1000可以基于用户C的简档信息生成第二响应，该第二响应包括关于如何预约出租车B的信息。
另外，根据本公开的实施例的第二响应还可以包括作为与文本不同类型的第二内容的运动图像、音频、视觉效果、用户界面等，该第二内容是第一响应的内容类型。例如，第二响应还可以包括提供用于出租车B的出租车预约服务并且安装在电子装置1000中的应用的用户界面。
另外，根据本公开的实施例，电子装置1000可以将第一响应与第二响应进行组合，并且向用户C提供组合响应。例如，电子装置1000可以将第一响应与第二响应相组合，使得基于第一响应显示出租车A和出租车B的预约信息，并基于第二响应同时显示为出租车B提供出租车预约服务的用户界面。可以将组合响应提供给用户C。
同时，根据本公开的实施例，当从用户D接收到请求预约出租车的用户输入1403时，电子装置1000可以基于关于用户D的简档信息1402(Vi)来确定包括在第一数据1404(元数据)中的出租车A和出租车B的优先级1405。在用户D的情况下，与用户C相反，由于尽管票价较低但到达目的地的时间较长，电子装置1000可以基于包括在用户D的简档信息中的薪水信息、年龄信息或职业信息中的至少一个来确定出租车A的优先级较高。因此，电子装置1000可以生成第二响应，该第二响应包括关于如何基于用户D的简档信息来预约出租车A的信息。
而且，根据本公开的实施例，电子装置1000可以将第一响应与第二响应进行结合，使得基于第一响应显示出租车A和出租车B的预约信息，并基于第二响应同时显示为出租车A提供出租车预约服务的用户界面。可以将组合响应提供给用户D。
图15是示出根据本公开的实施例的对用户输入提供响应的示例的图。
参照图15，可以为相同的输入提供包括随着用户简档信息而变化的不同内容的第二响应，并且可以将基于第二响应分别生成的响应提供给各个用户。
根据本公开的实施例，当从用户E或用户F接收到“十亿是多少？”1501和1502的用户输入时，可以基于根据用户输入生成的第一数据1503来生成第一响应。可以基于根据用户输入生成的第一数据1503来生成根据本公开的实施例的第一响应，而无需考虑用户简档信息。
根据本公开的实施例，可以基于每个用户的各种类型的语境信息(诸如简档信息、偏好信息和SNS活动信息)从第一数据1503生成第二数据1504和1505。因此，根据本公开的实施例，分别基于第二数据1504和1505生成的第二响应可以包括根据用户的语境的个性化响应。
例如，当用户E是学生时，用户E的第二数据1504可以包括用于基于用户E的兴趣、知识水平等生成对用户输入1501的响应的数据。此外，当用户F是孩子时，用户F的第二数据1505可以包括用于基于用户F的兴趣、知识水平等生成对用户输入1502的响应的数据。
因此，可以生成对用户E和F的输入的第二响应以适合用户的兴趣、知识水平等。例如，对用户E的第二响应可以包括响应“十亿对应于109或一千万卢比”。此外，对用户F的第二响应可以包括响应“十亿是一个巨大的数字，一个很大的池中可以装满了十亿个球”。
图16是示出根据本公开的实施例的对用户输入提供响应的示例的图。
参照图16，可以为“给我看运动内容”的相同输入提供包括随着用户简档信息而变化的不同内容的第二响应，并且可以将基于第二响应分别生成的响应提供给各个用户。
根据本公开的实施例的用户G的简档信息可以包括作为兴趣的新闻和作为当前位置的家。此外，用户H的简档信息可以包括足球这种兴趣，特别是球员1、球队2以及作为当前位置的主场。另外，用户I的简档信息可以包括旅行和体育(作为兴趣)以及作为当前位置的位于市中心的酒店A。
根据本公开的实施例，可以基于第一数据1601来生成第一响应，第一数据1601包括电子装置1000响应于用户输入而提供的关于体育内容的信息。例如，第一数据1601可以包括关于当前正在转播的体育比赛的信息，并且可以由电子装置1000提供。
根据本公开的实施例，电子装置1000还可以基于上述用户简档信息针对各个用户从第一数据1601生成不同的第二数据1602、1603和1604。
例如，电子装置1000可以确定用户G对体育不感兴趣，而仅对体育新闻感兴趣，并生成包括用户G可能感兴趣的指示球队1与球队2之间的足球比赛正在进行中的内容的音频数据作为基于第一数据1601的第二数据1602。第二数据1602的音频数据可以包括考虑到用户G的品味以新闻音调播报上述内容的语音。
另外，例如，电子装置1000可以通过考虑用户H对足球比赛、球员1和球队2感兴趣的特征，基于第一数据1601来生成包括音频数据的第二数据1603。用户H的第二数据的音频数据1603可以包括语音，该语音以激动的音调播报其中球员1正在参加的球队1与球队2之间的足球比赛正在进行中的内容。第二数据1603可以包括球员1的集锦图像、静止图像等。
例如，电子装置1000还可以通过考虑用户I对带球走步感兴趣的特征，基于第一数据1601来生成包括音频数据的第二数据1604。第二数据1604的音频数据可以包括语音，该语音播报在西班牙球场1中正在进行球队1和球队2之间的足球比赛的内容。第二数据1604可以进一步包括关于西班牙球场1的位置、图像等的信息。
根据本公开的实施例，可以基于为用户生成的第二数据1602、1603和1604分别生成针对各个用户的第二响应。此外，可以基于相应的第二响应来提供针对相应的用户输入的响应。因此，根据本公开的实施例，可以根据用户简档信息为相同的用户输入提供不同的响应。
图17是示出根据本公开的实施例的对用户输入提供响应的示例的图。
参照图17，可以为“什么是原子”的相同输入提供包括随着用户简档信息而变化的不同内容的第二响应，并且可以将基于第二响应分别生成的响应提供给各个用户。
根据本公开的实施例，用户J的简档信息可以包括指示用户J具有基本水平的科学知识并且喜欢简单的用户界面的信息。此外，用户K的简档信息可以包括指示用户K喜欢科学并且具有中学生水平的科学知识的信息。此外，用户L的简档信息可以包括指示用户L是对卡通感兴趣的孩子并且具有小学生水平的科学知识的信息。
根据本公开的实施例，可以基于包括可以由电子装置1000响应于用户输入而提供的原子的基本信息的第一数据1701来生成第一响应。例如，第一数据1701可以包括在百科全书中可以找到的原子的含义的信息。
此外，根据本公开的实施例，电子装置1000可以基于上述用户简档信息从第一数据1701为各个用户生成不同的第二数据1702、1703和1704。
例如，电子装置1000可以包括第二数据1702，该第二数据1702包括通过考虑用户J具有基本水平的科学知识并且喜欢简单的用户界面来简要解释关于原子的图像数据和音频数据。
此外，电子装置1000可以通过考虑用户K喜欢科学并且具有中学生水平的科学知识来包括第二数据1703，该第二数据1703包括解释适合中学生的原子的图像数据和音频数据。
此外，电子装置1000可以通过考虑用户L是对卡通感兴趣的孩子并且具有小学生水平的科学知识来包括第二数据1704，该第二数据1704包括使用适合小学生的卡通人物解释原子的图像数据和音频数据。
根据本公开的实施例，可以基于为用户生成的第二数据1702、1703和1704分别生成针对各个用户的第二响应。此外，可以基于相应的第二响应来提供针对相应的用户输入的响应。因此，根据本公开的实施例，可以根据用户简档信息为相同的用户输入提供不同的响应。
图18是示出根据本公开的实施例的对用户输入提供响应的示例的图。
参照图18，可以根据语境信息为用户M的输入提供不同的响应。
根据本公开的实施例，用户M的语境信息的简档信息可以包括指示优选的出租车服务提供商是出租车A的信息、指示用户M更喜欢较低票价而不是较早到达的信息以及用户M开始工作的时间的信息。此外，用户M的语境信息可以包括关于紧急情况的信息。
根据本公开的实施例，电子装置1000可以从用户M接收“预约到医院的出租车1801”的输入。根据本公开的实施例的第一数据1802可以基于用户M输入的信息来生成。例如，电子装置1000可以基于作为从用户输入获得的目的地信息的“医院”来生成第一数据1802。
根据本公开的实施例的第一数据1802可以包括出租车A和出租车B的预约信息。然而，当根据本公开的实施例的语境信息包括指示紧急情况的信息时，电子装置1000可以基于语境信息从第一数据1802生成第二数据1803。例如，尽管用户M不喜欢昂贵的出租车B，但电子装置1000可以生成包括提供针对较早到达的出租车B的预约服务的用户界面的第二数据1803。此外，第二数据1803还可以包括与出租车B的预约服务有关的“去往医院的出租车即将到达”音频指南。
根据本公开的实施例，基于第一数据1802生成的第一响应与基于第二数据1803生成的第二响应被组合，并且该组合响应可以提供给用户M。用户M可以将附加信息输入到电子装置1000，以用于基于第一响应和第二响应的组合响应来预约出租车。
根据本公开的实施例，电子装置1000可以从用户M接收“预约到购物中心的出租车1804”的输入。根据本公开的实施例的第一数据1805可以基于用户M输入的信息来生成。例如，电子装置1000可以基于作为从用户输入获得的目的地信息的“购物中心”来生成第一数据1805。
根据本公开的实施例的第一数据1805可以包括出租车A和出租车B的预约信息。根据本公开的实施例，电子装置1000可以根据用户M的简档信息从第一数据1805生成第二数据1806。例如，电子装置1000可以生成第二数据1806，该第二数据1806包括提供用于出租车A的预约服务的用户界面，该出租车A提供票价较低的服务并且受到用户M的偏爱。此外，第二数据1806还可以包括与出租车A的预约服务有关的“出租车开往目的地-购物中心”的音频指南。
根据本公开的实施例，将基于第一数据1805生成的第一响应与基于第二数据1806生成的第二响应进行组合，并且可以将组合响应提供给用户M。用户M可以将附加信息输入到电子装置1000，以用于基于第一响应和第二响应的组合响应来预约出租车。
根据本公开的实施例，电子装置1000可以从用户M接收“预约到办公室的出租车1807”的输入。根据本公开的实施例的第一数据1808可以基于用户M输入的信息来生成。例如，电子装置1000可以基于作为从用户输入获得的目的地信息的“办公室”来生成第一数据1808。
根据本公开的实施例的第一数据1808可以包括出租车A和出租车B的预约信息。电子装置1000可以根据本公开的实施例基于用户M的简档信息从第一数据1808生成第二数据1809。例如，电子装置1000可以生成第二数据1809，该第二数据包括为出租车A提供预约服务的用户界面，出租车A提供票价较低的服务，并在上午9:00之前就到达办公室，并且受到用户M的偏爱。此外，第二数据1809还可以包括与出租车A的预约服务有关的“出租车将在上午8:53之前到达办公室”的音频指南。
根据本公开的实施例，将基于第一数据1808生成的第一响应与基于第二数据1809生成的第二响应进行组合，并且可以将组合响应提供给用户M。用户M可以将附加信息输入到电子装置1000，以用于基于第一响应和第二响应的组合响应来预约出租车。
根据本公开的实施例，可以通过提供基于语境信息以及对用户输入的基本响应而生成的附加响应来提供更好的用户体验。
根据本公开的实施例，可以通过提供基于语境信息以及对用户输入的基本响应而生成的附加响应来向用户提供更适当的响应。
本公开的实施例可以体现为计算机可读记录介质，例如，要在计算机中执行的程序模块，其包括计算机可读指令。该计算机可读记录介质可以包括可由计算机访问的任何可用介质、易失性和非易失性介质以及可分离和不可分离介质。另外，计算机可读记录介质可以包括计算机存储介质和通信介质。该计算机存储介质包括所有易失性和非易失性介质以及可拆卸和不可拆卸介质，它们在技术上被实现为存储包括计算机可读指令、数据结构、程序模块或其他数据的信息。通信介质包括计算机可读指令、数据结构或程序模块，并且包括其他信息传输介质。
而且，在整个说明书中，“单元”可以是诸如处理器或电路之类的硬件组件和/或由诸如处理器之类的硬件执行的软件组件。
提供本公开的以上描述是出于说明的目的，并且本领域技术人员将理解，可以在不改变本公开的技术概念和基本特征的情况下进行各种改变和修改。因此，很明显的是，本公开的上述实施例在所有方面都是示例性的，并且不限制本公开。例如，被描述为单一类型的每个组件可以以分布式方式实现。同样，描述为要分发的组件可以以组合方式实现。
尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，可以在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下对形式和细节进行各种改变。

Claims (18)

1.一种电子装置的方法，所述方法包括：
接收来自用户的用户输入；以及
响应于接收到所述用户输入，
基于所述用户输入生成包括第一内容的第一响应，
获得所述用户的语境信息，
基于所述语境信息生成包括第二内容的第二响应，所述第二内容不同于所述第一内容，
基于所述第一响应和所述第二响应生成组合响应，以及
输出所述组合响应。
2.根据权利要求1所述的方法，
其中，所述第一内容的类型包括文本、运动图片、图像或音频内容中的至少一个，并且
其中，所述第二内容的类型包括文本、运动图片、图像、音频内容、发光二极管(LED)输出、振动输出、视觉效果、听觉效果或用户界面中的至少一个。
3.根据权利要求1所述的方法，所述方法还包括：响应于所述用户输入，获得第一数据，
其中，所述第一响应是基于所述第一数据生成的，并且
其中，所述第二响应是基于根据语境信息修改所述第一数据而获得的第二数据生成的。
4.根据权利要求1所述的方法，所述方法还包括：将所述语境信息输入到生成模型中以生成所述第二响应。
5.根据权利要求4所述的方法，所述方法还包括：基于训练数据训练所述生成模型，
其中，所述训练数据包括所述电子装置收集的与所述用户有关的信息，并且
其中，所述生成模型是基于所述训练数据与所述第二响应之间的相关性而训练的。
6.根据权利要求1所述的方法，生成所述第二响应包括：
获得所述第一内容的特征信息；以及
基于所述特征信息和所述语境信息生成包括所述第二内容的所述第二响应。
7.根据权利要求1所述的方法，
其中，所述语境信息包括与所述用户的每个语境相对应的至少一个特征，
其中，所述语境信息的所述至少一个特征是基于来自所述用户的关于所述组合响应的反馈信息来确定的，并且
其中，所述语境信息是基于所确定的至少一个特征而获得的。
8.根据权利要求1所述的方法，所述方法还包括：
捕获所述用户的图像；
基于所述图像检测所述用户的面部表情信息；以及
基于所述面部表情信息确定情绪，
其中，所述组合响应是基于所述情绪输出的。
9.根据权利要求1所述的方法，所述方法还包括：
确定是否能够仅利用本地资源来生成所述第二响应；以及
当不能仅利用所述本地资源生成所述第二响应时，将所述用户输入和所述语境信息发送到云服务器，并且从所述云服务器接收所述第二响应。
10.根据权利要求1所述的方法，所述方法还包括：
利用卷积神经网络(CNN)确定用户偏好；以及
基于所述用户偏好生成所述第二响应。
11.一种电子装置，所述电子装置包括：
输入装置，所述输入装置被配置为接收来自用户的用户输入；
至少一个处理器，所述至少一个处理器被配置为：
响应于所述用户输入，
基于所述用户输入生成包括第一内容的第一响应，
获得所述用户的语境信息，
基于所述语境信息生成包括第二内容的第二响应，所述第二内容不同于所述第一内容，
基于第一响应和第二响应生成组合响应；以及
输出装置，所述输出装置被配置为输出所述组合响应。
12.根据权利要求11所述的电子装置，
其中，所述第一内容的类型包括文本、运动图片、图像或音频中的至少一个，并且
其中，所述第二内容的类型包括文本、运动图片、图像、音频、发光二极管(LED)输出、振动输出、视觉或听觉效果或用户界面中的至少一个。
13.根据权利要求11所述的电子装置，
其中，所述第一响应是基于根据所述用户输入获得的第一数据而生成的，并且
其中，所述第二响应是基于根据所述语境信息修改所述第一数据而获得的第二数据生成的。
14.根据权利要求11所述的电子装置，
其中，所述第二响应是通过将所述语境信息输入到生成模型而生成的。
15.根据权利要求14所述的电子装置，
其中，所述至少一个处理器还被配置为获得作为用于训练所述生成模型的信息的训练数据，所述训练数据包括所述电子装置收集的与所述用户有关的信息，
其中，所述生成模型是基于所述训练数据与所述第二响应之间的相关性来训练的。
16.根据权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为：
获得所述第一内容的特征信息；以及
基于所述第一内容的特征信息和所述语境信息，生成包括所述第二内容的所述第二响应。
17.根据权利要求11所述的电子装置，
其中，所述语境信息包括与所述用户的每个语境相对应的至少一个特征，并且
其中，所述至少一个特征是基于来自所述用户的关于所述组合响应的反馈信息来确定的，并且所述语境信息是基于所述至少一个特征而获得的。
18.一种计算机可读存储介质，所述计算机可读存储介质被配置为存储包括指令的一个或更多个计算机程序，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器进行控制以执行权利要求1至10中任一项所述的方法。
CN201980028072.8A 2018-06-15 2019-06-17 利用应用来输出对用户输入的响应的电子装置及其操作方法 Pending CN112041787A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN201841022428 2018-06-15
IN201841022428 2019-05-14
KR10-2019-0068263 2019-06-10
KR1020190068263A KR20190142219A (ko) 2018-06-15 2019-06-10 사용자의 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
PCT/KR2019/007284 WO2019240562A1 (en) 2018-06-15 2019-06-17 Electronic device and operating method thereof for outputting response to user input, by using application

Publications (1)

Publication Number Publication Date
CN112041787A true CN112041787A (zh) 2020-12-04

Family

ID=69103449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028072.8A Pending CN112041787A (zh) 2018-06-15 2019-06-17 利用应用来输出对用户输入的响应的电子装置及其操作方法

Country Status (3)

Country Link
EP (1) EP3776149A4 (zh)
KR (1) KR20190142219A (zh)
CN (1) CN112041787A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645105B1 (ko) * 2023-06-02 2024-03-07 주식회사 아람북스 서적 기반의 아동 교육 서비스를 제공하는 서버, 방법 및 컴퓨터 프로그램

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075178A1 (en) * 2010-09-27 2012-03-29 Samsung Electronics Co., Ltd. Apparatus and method for generating dynamic response
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
US20160210023A1 (en) * 2015-01-15 2016-07-21 Samsung Electronics Co., Ltd. Method and device for displaying response
US20160313868A1 (en) * 2013-12-20 2016-10-27 Fuliang Weng System and Method for Dialog-Enabled Context-Dependent and User-Centric Content Presentation
US20160378747A1 (en) * 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20170345424A1 (en) * 2016-05-31 2017-11-30 Toyota Jidosha Kabushiki Kaisha Voice dialog device and voice dialog method
US20180047391A1 (en) * 2016-08-12 2018-02-15 Kt Corporation Providing audio and video feedback with character based on voice command

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091140B2 (en) * 2015-05-31 2018-10-02 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075178A1 (en) * 2010-09-27 2012-03-29 Samsung Electronics Co., Ltd. Apparatus and method for generating dynamic response
US20160313868A1 (en) * 2013-12-20 2016-10-27 Fuliang Weng System and Method for Dialog-Enabled Context-Dependent and User-Centric Content Presentation
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
US20160210023A1 (en) * 2015-01-15 2016-07-21 Samsung Electronics Co., Ltd. Method and device for displaying response
US20160378747A1 (en) * 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20170345424A1 (en) * 2016-05-31 2017-11-30 Toyota Jidosha Kabushiki Kaisha Voice dialog device and voice dialog method
US20180047391A1 (en) * 2016-08-12 2018-02-15 Kt Corporation Providing audio and video feedback with character based on voice command

Also Published As

Publication number Publication date
EP3776149A1 (en) 2021-02-17
EP3776149A4 (en) 2021-05-26
KR20190142219A (ko) 2019-12-26

Similar Documents

Publication Publication Date Title
Park et al. A metaverse: Taxonomy, components, applications, and open challenges
CN105573573B (zh) 基于图像管理用户信息的设备和方法
CN109952572B (zh) 基于消息贴纸的建议响应
US11334804B2 (en) Cognitive music selection system and method
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
CN110998725B (zh) 在对话中生成响应
US20200005784A1 (en) Electronic device and operating method thereof for outputting response to user input, by using application
CN108241520B (zh) 提供用户的待办事项列表的系统和方法
JP2019220194A (ja) 情報処理装置、情報処理方法及びプログラム
TWI680400B (zh) 基於影像管理使用者資訊的裝置與方法
CN110447232A (zh) 用于确定用户情绪的电子设备及其控制方法
CN106164962A (zh) 基于用户的显式声明的个性化推荐
US20150379774A1 (en) System and method for dynamically generating contextual and personalized digital content
US11481551B2 (en) Device and method for providing recommended words for character input
US20180232921A1 (en) Digital Experience Content Personalization and Recommendation within an AR or VR Environment
KR102628042B1 (ko) 연락처 정보를 추천하는 방법 및 디바이스
KR20190133100A (ko) 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
KR102212638B1 (ko) 음악 추천 시스템 및 방법
US20190251355A1 (en) Method and electronic device for generating text comment about content
US20230316594A1 (en) Interaction initiation by a virtual assistant
US20240108985A1 (en) Managing virtual collisions between moving virtual objects
Wang A mobile world made of functions
US20230393659A1 (en) Tactile messages in an extended reality environment
CN112041787A (zh) 利用应用来输出对用户输入的响应的电子装置及其操作方法
US11617957B2 (en) Electronic device for providing interactive game and operating method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination