CN116324759A - 提供关于为何响应被改变的原因的信息的电子装置及其操作方法 - Google Patents

Abstract

提供了一种由电子装置提供关于为何响应已改变的原因的信息的方法，所述方法包括：通过根据第一输入处理至少一个模块来输出第一响应；获得关于根据第二输入输出的第二响应的历史的信息，其中，第二输入具有与第一输入的意图相同的意图，第二响应与第一响应不同；基于获得的信息，将根据第一输入操作的至少一个模块中的与根据第二输入操作的至少一个模块不同地操作的模块识别为改变的模块；以及基于所述改变的模块提供关于第一响应已从第二响应改变的原因的信息。

Description

提供关于为何响应被改变的原因的信息的电子装置及其操作 方法

本申请要求于2020年9月16日在韩国知识产权局提交的申请号为10-2020-0119379的韩国专利申请的优先权，该申请的公开内容通过引用整体被并入本文。

技术领域

本公开涉及一种用于提供关于为何响应已改变的原因的信息的电子装置和操作方法。

背景技术

电子装置可响应于具有与关于先前响应的用户输入的意图相同的意图的用户输入，由于各种原因，通过考虑到用户周围环境的变化而输出针对用户输入自适应确定的响应或者使用新更新的人工智能(AI)模型输出响应，来提供与先前响应不同的新响应。

然而，即使输入了具有相同意图的用户输入，用户也可能不知道为何当前响应和先前响应不同的原因。因此，即使用户偏好先前响应而不是当前响应，用户也不知道如何控制电子装置。

因此，需要一种用于向用户提供为何当前响应与先前响应针对相同用户输入不同的原因的方法，以提供用户期望的响应。

发明内容

技术问题

本公开的实施例提供了一种用于生成关于为何响应已改变的原因的信息的电子装置和操作方法。

此外，本公开的实施例提供了一种计算机可读记录介质，其上记录有用于在计算机上执行所述方法的程序。应当注意，本公开的实施例不限于上述实施例，并且可存在其他实施例。

问题的技术解决方案

根据本公开的示例实施例，可提供一种由电子装置提供关于为何响应已改变的原因的信息的方法，所述方法包括：通过根据第一输入处理至少一个模块来输出第一响应；获得关于根据第二输入输出的第二响应的历史的信息，其中，第二输入具有与第一输入的意图相同的意图，第二响应与第一响应不同；基于获得的信息，将根据第一输入操作的所述至少一个模块中的与根据第二输入操作的至少一个模块不同地操作的模块识别为改变的模块；以及基于所述改变的模块，提供关于为何第一响应已从第二响应改变的原因的信息。

根据本公开的示例实施例，一种用于提供关于为何响应已改变的原因的信息的电子装置，所述电子装置包括：输出器，包括输出电路，其中，所述输出电路被配置为通过根据第一输入处理至少一个模块来输出第一响应；以及处理器，被配置为：获得关于根据第二输入输出的第二响应的历史的信息，其中，第二输入具有与第一输入的意图相同的意图，第二响应与第一响应不同，基于获得的信息，将根据第一输入操作的所述至少一个模块中的与根据第二输入操作的至少一个模块不同地操作的模块识别为改变的模块，以及基于所述改变的模块，提供关于为何第一响应已从第二响应改变的原因的信息。

根据本公开的示例实施例，可提供一种计算机可读记录介质，其上记录有用于实现根据各种实施例的方法的程序。

附图说明

根据以下结合附图的详细描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显。

图1是示出根据各种实施例的提供关于为何响应已改变的原因的信息的示例的框图。

图2是示出根据各种实施例的电子装置的示例配置的框图。

图3是示出根据各种实施例的电子装置的示例配置的框图。

图4是示出根据各种实施例的提供关于为何响应已改变的原因的信息的示例方法的流程图。

图5是示出根据各种实施例的提供关于为何响应已改变的原因的信息的示例的图。

图6是示出根据各种实施例的至少一个模块响应于用户语音输入而操作的示例的图。

图7是示出根据各种实施例的从根据第一用户输入操作的模块中识别改变的模块的示例方法的流程图。

图8是示出根据各种实施例的从根据第一用户输入操作的模块中识别改变的模块的示例方法的流程图。

具体实施方式

在整个公开中，表述“A、B或C中的至少一个”表示仅A、仅B、仅C、A和B两者、A和C两者、B和C两者、A、B和C全部或其变体。

在下文中，将参照附图更详细地描述本公开的各种示例实施例。然而，本公开可以以各种不同的形式被实现，并且不限于本文描述的本公开的示例实施例。此外，在附图中，可能未示出与描述无关的部分以简单地描述本公开，并且在整个公开中，类似的组件可被分配相同的附图标记。

在本公开中，应当理解，特定部分被“连接”到另一部分的情况包括该部分被“电连接”到另一部分其间具有另一装置的情况，以及该部分被“直接连接”到另一部分的情况。此外，应当理解，当某个部分“包括”某个组件时，除非上下文另有明确规定，该部分不排除另一组件，而是可进一步包括另一组件。

根据本公开的与人工智能相关的功能可通过处理器和存储器来操作。处理器可被配置有单个处理器或多个处理器。单个处理器或多个处理器中的每个可包括例如但不限于通用处理器(例如，中央处理单元(CPU)、应用处理器(AP)和数字信号处理器(DSP))、图形专用处理器(例如，图形处理单元(GPU)、视觉处理单元(VPU))、人工智能专用处理器(例如，神经处理单元(NPU))等。单个处理器或多个处理器可根据存储在存储器中的预定义操作规则或人工智能模型来执行处理输入数据的控制操作。当单个处理器或多个处理器中的每个是人工智能专用处理器时，人工智能专用处理器可被设计为用于处理预定义人工智能模型的专用硬件结构。

可通过训练来创建预定义的操作规则或人工智能模型。通过训练创建预定义操作规则或人工智能模型可指，例如，当通过学习算法利用多条训练数据训练基本人工智能模型时，被设置为执行期望的特性(或目的)的创建预定义操作规则或人工智能模型。可由根据本公开的执行人工智能的设备或由单独的服务器和/或系统执行训练。学习算法可包括例如但不限于监督学习、无监督学习、半监督学习、强化学习等，但不限于上述示例。

人工智能模型可被配置有多个神经网络层。多个神经网络层中的每个可具有多个权重值，并且通过前一层的算术运算结果与多个权重值之间的算术运算来执行神经网络算术运算。可通过人工智能模型的训练结果来优化多个神经网络层的多个权重值。例如，可更新多个权重值，使得在训练处理期间由人工智能模型获得的损失值或成本值被减小或最小化。人工神经网络可包括深度神经网络(DNN)，并且人工神经网络可包括例如但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、深度Q网络等，但不限于上述示例。

在下文中，将参照附图更详细地描述本公开。

图1是示出根据各种实施例的提供关于为何响应已改变的原因的信息的示例的框图。

参照图1，根据本公开的实施例的电子装置1000可以是能够根据用户输入110处理至少一个模块120并输出响应130作为至少一个模块120的处理结果的装置。模块可例如但不限于包括各种处理电路和/或可执行程序指令。在操作140中，根据本公开实施例的电子装置1000可针对当前输出的响应130获得关于为何响应130已从先前响应改变的原因的信息，并且在操作160中，将获得的信息提供给用户。

根据本公开的实施例的电子装置1000可被实现为各种装置中的一个或更多个。例如，本公开中描述的电子装置1000可包括数字相机、智能电话、膝上型计算机、平板PC、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统、MP3播放器、车辆、人工智能(AI)扬声器等，但不限于此。本公开中描述的电子装置1000可以是可由用户穿戴的可穿戴装置。可穿戴装置可包括配件型装置(例如，手表、戒指、腕带、踝带、项链、眼镜或隐形眼镜)、头戴式装置(HMD)、与织物或衣服组合的装置(例如，电子衣服)、身体附着型装置(例如，皮肤垫)、生物可植入装置(例如，可植入电路)等中的至少一个，但不限于此。

根据本公开的实施例，电子装置1000可通过交互式界面接收用户输入110，并且输出针对用户输入110的响应130。交互式界面可包括例如用户界面，该用户界面接收来自用户的输入(例如，语音输入或文本输入)，并且提供针对来自用户的输入的响应。根据本公开的实施例，交互式界面可包括例如虚拟助理、人工智能(AI)助理等，但不限于此。虚拟助理或AI助理可包括软件代理，该软件代理包括例如处理由用户请求的任务并提供专用于用户的服务的可执行指令。

根据本公开的实施例的至少一个模块120可识别用户输入110，生成针对所识别的用户输入110的响应130，并且输出响应130。

例如，模块120可包括各种模块，其中，各种模块包括各种处理电路和/或可执行程序指令，诸如例如但不限于，自动语音识别(ASR)模块、装置调度器(DD)、装置选择器(DS)模块、域分类器(DC)模块、自然语言理解(NLU)模块、对话管理器(DM)模块、自然语言生成器(NLG)模块等。然而，模块120不限于上述示例，并且根据本公开实施例的模块120可包括根据用户输入110输出响应130所需的各种模块。

当至少一个模块120基于用户输入110操作时，可输出根据本公开的实施例的响应130。根据本公开的实施例，响应130可以以这样的方式被输出：通过电子装置1000或外部装置(未示出)输出与响应130相关的消息，或者由电子装置1000或外部装置(未示出)执行与响应130对应的动作。

根据本公开的实施例的与响应130相关的消息可例如通过扬声器作为语音信号输出，或者通过显示器显示。根据本公开的实施例的与响应130对应的动作可包括可被电子装置1000或外部装置(未示出)执行的各种操作。

例如，响应于包括“播放刚刚播放的音乐”的用户输入110，最近播放的“音乐1”可被外部扬声器再次播放作为与响应130对应的动作，并且作为与响应130相关的消息，语音“音乐1被播放”可被输出。

然而，与响应130相关的消息不限于上述示例。消息可包括各种类型的信息，并且可以以可向用户提供信息的各种形式以及以语音输出。与响应130对应的动作不限于上述示例，并且可包括与响应130相关的各种操作。

可将具有与先前输入的用户输入的意图相同的意图的用户输入输入到电子装置1000。在这种情况下，用户可预期将输出与先前响应相同的响应。然而，根据本公开的实施例，当前响应130可与先前响应不同，尽管当前响应130是针对具有与关于先前响应的意图相同的意图的用户输入的响应。例如，由于各种原因，用于处理用户输入的至少一个模块120可与根据先前用户输入操作的模块不同地操作，因此，可输出与先前响应不同的当前响应130。

因此，当输出与先前响应不同的当前响应130时，用户可质疑为何没有输出他/她的预期响应。用户可质疑要做什么来输出他/她的预期响应。

根据本公开实施例的电子装置1000可预先获得必要的信息以理解上述用户问题并回答用户问题，并使用获得的信息回答用户问题，从而向用户提供关于为何当前响应130已改变的原因的信息。电子装置1000可识别用户的期望响应，并引导用户进行用于输出用户的期望响应的用户输入。

在操作140中，根据本公开实施例的电子装置1000可从根据当前用户输入110操作的至少一个模块120中识别与根据先前用户输入(该先前用户输入具有与当前用户输入110相同的意图)操作的模块不同地操作的模块，并且基于所识别的模块获得关于为何当前响应130已改变的原因的信息。

根据本公开的实施例，当根据当前用户输入110操作的至少一个模块120的操作改变时，当前响应130可变得与先前响应不同。例如，当每个模块中使用的AI模型或引擎被更新时，尽管模块接收相同的输入信息，但是模块可与先前响应的操作不同地操作，从而输出不同的输出信息。因此，根据本公开的实施例，可通过与存储在响应历史150中的关于根据先前用户输入操作的模块的信息进行比较，在根据当前用户输入110操作的至少一个模块120中，基于被识别为改变的模块的模块来获得关于为何当前响应130已改变的原因的信息。

根据本公开的实施例，可通过推断关于可与所识别的模块的改变对应的改变原因的信息来获得关于为何当前响应130已改变的原因的信息。根据本公开的实施例的电子装置1000可向用户提供推断的信息，因此，用户可确定当前响应130已改变的原因。电子装置1000可基于推断的信息来确定用户的期望响应，并且引导用户进行用于输出所确定的响应的用户输入。

根据本公开实施例的电子装置1000可将预先存储为响应历史150的信息中由根据与关于当前响应130的用户输入110具有相同意图的先前用户输入操作的至少一个模块处理的信息与由根据当前用户输入110操作的至少一个模块120处理的信息进行比较。例如，由每个模块处理的信息可包括当模块操作时输入到模块/从模块输出的信息。根据本公开的实施例，当模块已改变时，模块可针对相同的输入信息输出不同的输出信息。因此，通过比较多条输出信息，改变的模块可被识别。然而，通过关于当前响应130和先前响应比较关于至少一个模块的各种信息以及上述输入/输出信息，关于当前响应130的改变的模块可被识别。

因此，根据本公开的实施例，可基于响应历史150的信息来获得关于为何当前响应130针对具有与关于先前响应的意图相同的意图的用户输入110已从先前响应改变的原因的信息。

根据本公开的实施例的响应历史150可包括关于根据电子装置1000先前接收的用户输入从电子装置1000输出的响应的历史的信息。每当从电子装置1000输出针对用户输入110的新响应时，根据本公开的实施例，可将关于新响应的信息添加到响应历史150，并且可将得到的响应历史150存储在电子装置1000的存储器中。然而，响应历史150可被存储在外部装置(未示出)或服务器(未示出)中，而不是电子装置1000中。除了从电子装置1000输出的响应之外，根据本公开的实施例的响应历史150还可包括关于同一用户从外部装置(未示出)输出的响应的历史的信息。

根据本公开的实施例的预先存储为响应历史150的信息可包括关于被用于输出每个响应的至少一个模块的信息。根据本公开的实施例，关于至少一个模块的信息可包括每个模块的输入/输出信息。

根据本公开的实施例的每个模块的输入/输出信息可包括当模块操作时输入到模块/从模块输出的信息。可基于模块的输入/输出信息的比较来执行针对当前用户输入110与先前用户输入的模块之间的比较。

根据本公开的实施例，接收与输入到其他模块的输入信息相同的输入信息并且输出与从其他模块输出的输出信息不同的输出信息的模块可被识别为改变的模块。根据本公开的实施例，当模块接收不同的输入信息时，或者当模块接收相同的输入信息并输出相同的输出信息时，不会识别到改变的模块。

例如，当关于ASR模块的当前用户输入110的输入信息与关于ASR模块的先前用户输入的输入信息相同，并且关于ASR模块的与当前用户输入110对应的输出信息与关于ASR模块的与先前用户输入对应的输出信息相同时，可确定被用于当前用户输入110的ASR模块不是改变的模块。当关于模块120中的DC模块的当前用户输入110的输入信息与关于DC模块的先前用户输入的输入信息不同时，可确定被用于当前用户输入110的DC模块不是改变的模块，而不对DC模块的输出信息进行任何确定。

当关于模块120中的DD模块的当前用户输入110的输入信息与关于DD模块的先前用户输入的输入信息相同，并且关于DD模块的与当前用户输入110对应的输出信息与关于DD模块的与先前用户输入对应的输出信息不同时，被用于当前用户输入110的DD模块可被识别为改变的模块。因此，在操作140中，可基于被识别为改变的模块的DD模块来获得关于为何当前响应130已改变的原因的信息。

根据本公开的实施例，可基于根据当前用户输入110操作的模块120的输入信息来识别与模块120中的每个对应的关于根据先前用户输入操作的模块的信息(例如，输入/输出信息)。当接收到具有与先前用户输入的意图相同的意图的用户输入时，考虑到相同的输入信息可被相同的模块接收，可根据输入信息识别与每个模块对应的关于针对先前响应的模块的信息。在这种情况下，存储在响应历史150中的关于根据先前用户输入操作的模块的信息可包括模块的输入/输出信息，而不包括模块的识别信息。例如，通过搜索具有与从响应历史150中的每个模块120的输入信息转换的散列值相同的散列值的输入信息，可识别与模块120对应的关于根据先前用户输入操作的模块的信息。

然而，存储在响应历史150中的关于根据先前用户输入操作的模块的信息不限于上述示例，并且可包括关于每个模块120的识别信息，并且可基于关于每个模块120的识别信息来识别与每个模块120对应的关于根据先前用户输入操作的模块的信息。根据本公开的实施例，模块的识别信息可包括表示每个模块是什么模块的信息，并且在操作140中，可被用于识别关于根据先前用户输入操作的至少一个模块与根据当前用户输入110操作的至少一个模块120对应的信息。

例如，在操作140中，可将在根据当前用户输入110操作的模块120中的DD模块中处理的信息与在根据先前用户输入操作的模块中的DD模块中处理的信息进行比较，并且可基于比较的结果获得关于为何响应已改变的原因的信息。根据本公开的实施例，处理信息将针对当前用户输入和先前用户输入进行比较的模块不限于DD模块，并且用于处理用户输入的其他模块(例如，ASR模块、DC模块、NLU模块、DM模块、NLG模块等)也可针对当前用户输入和先前用户输入进行比较。在操作140中，可基于比较的结果来获得关于为何响应已改变的原因的信息。

根据本公开的实施例，可根据至少一个模块120的优先级按顺序执行与关于根据先前用户输入操作的模块的信息的比较，以从根据当前用户输入110操作的模块120中识别改变的模块。

根据本公开的实施例的优先级可按照具有更高概率被识别为改变的模块的模块的顺序来被确定。例如，可根据每个模块120中使用的引擎或AI模型被更新或改变的顺序来确定优先级。例如，可确定使用最近更新的AI模型的模块具有最高优先级。因此，通过根据优先级比较模块，根据本公开的实施例，可快速识别根据当前用户输入110操作的模块120中的改变的模块。

根据本公开的实施例的优先级可基于存储在响应历史150中的先前响应和当前响应130之间的差异来被确定。例如，当当前响应130包括TV的动作并且先前响应包括AI扬声器的动作时，可基于所选择的装置之间的差异的存在来确定模块的优先级。例如，能够选择装置的DD模块可被确定为具有最高优先级。

然而，对优先级的确定不限于上述示例，并且可根据各种标准来确定优先级。

根据本公开的实施例，可根据执行至少一个模块120以处理用户输入110的顺序来比较至少一个模块120，而不管优先级如何。

然而，比较操作不限于上述示例，并且可根据各种顺序在至少一个模块120上被执行。

根据本公开的实施例，可通过基于根据当前用户输入110操作并被识别为改变的模块的模块120推断为何当前响应130已改变的原因来获得关于为何当前响应130已改变的原因的信息。

例如，假设针对用户输入“播放音乐1”，存储在响应历史150中的先前响应是从TV输出音乐1，而当前响应130是从AI扬声器输出音乐1的情况。

根据本公开的实施例，可通过与根据先前用户输入操作的模块的输入/输出信息进行比较来识别根据当前用户输入110操作的至少一个模块120中的改变的模块。例如，在根据当前用户输入110操作的模块120中的DD模块的输入信息与根据先前用户输入操作的DD模块的输入信息相同并且DD模块的输出信息与响应历史150的输出信息不同的情况下，根据当前用户输入110操作的模块120中的DD模块可被识别为改变的模块。例如，根据由DD模块对AI扬声器而不是TV的选择，尽管输入了相同的输入信息，但是可输出与先前输出信息不同的输出信息。

根据本公开的实施例，可基于改变的模块来推断DD模块已改变的原因，并且因此，可获得关于为何当前响应130已改变的原因的信息，该信息包括推断的原因。例如，可推断至少一个候选原因(例如，AI扬声器新出现在周围环境中而与先前响应中不同的原因，或者AI扬声器比TV更经常被使用的原因)，该候选原因可与DD模块的输出信息从与TV对应的信息改变为与AI扬声器对应的信息的情况对应。根据本公开的实施例，可基于每个候选原因的概率来推断为何当前响应130已从先前响应改变的原因。

根据本公开的实施例的推断可由预先训练的AI模型来执行，以基于关于改变的模块的信息来推断为何当前响应已改变的原因。根据本公开的实施例的AI模型可基于关于用户的状态或实时改变的周围环境的信息被连续更新，从而推断出适合于用户的当前情况的为何当前响应已改变的原因。

可通过数据库(例如，知识库(KB)或数据库(DB))来执行推断，该数据库中预先已存储了处理用户输入的模块的各种改变的示例和分别与改变的示例对应的原因。根据本公开的实施例的数据库可被连续地更新，使得根据关于用户的状态或实时改变的周围环境的信息适当地推断原因。

然而，推断不限于上述示例，并且可基于各种数据根据各种方法执行根据本公开的实施例的推断。

根据本公开的实施例，通过基于数据库，根据对应信息分阶段多次执行推断，可获得关于为何当前响应130已改变的原因的信息。例如，DD模块的输出信息已经从TV改变为AI扬声器可推导出与先前的响应不同的、AI扬声器当前处于可用状态的推断。例如，AI扬声器处于可用状态可推导出AI扬声器已被新放置在用户的周围环境中的推断。关于为何当前响应130已改变的原因的信息可包括表示AI扬声器已被新放置在用户的周围环境中并且因此当前响应130已改变的信息，作为最终推断的信息。根据本公开的实施例，可连续更新关于AI扬声器已被放置在用户的周围环境中的当前状态的信息并将其存储在数据库中。因此，可执行适合于用户的当前情况的推断。

在操作160中，根据本公开实施例的电子装置1000可根据来自用户的请求，向用户提供在操作140中获得的关于为何当前响应130已改变的原因的信息。

例如，在操作160中，电子装置1000可通过理解与为何当前响应130已改变的原因相关的可被稍后接收的用户查询，基于在操作140中获得的关于为何当前响应130已改变的原因的信息来向用户提供关于为何当前响应130已改变的原因的信息，并且输出响应消息。

因此，根据本公开实施例的电子装置1000可基于在操作140中获得的关于为何当前响应130已改变的原因的信息已预先建立了必要的数据，以理解用户查询并输出响应消息。例如，电子装置1000可基于关于为何当前响应130已改变的原因的信息预先更新被用于理解用户输入110并且生成响应消息的AI模型。

当在操作140中获得的关于为何当前响应130已改变的原因的信息包括表示当前响应130由于AI扬声器被新放置在用户的周围环境中而改变的信息时，电子装置1000可基于关于为何当前响应130已改变的原因的信息预先更新被用于理解用户查询的AI模型(例如，NLU模型)，以理解询问关于为何当前响应130与先前响应不同的原因的用户查询。

电子装置1000可已经预先更新了被用于为用户生成响应消息的AI模型(例如，DM模型)，以生成并输出表示当前响应130由于AI扬声器被新放置在用户的周围环境中而改变的信息作为用户查询的响应消息。

然而，向用户提供关于为何当前响应130已改变的原因的信息的方法不限于上述示例，并且电子装置1000可根据各种方法以各种形式向用户提供关于为何当前响应130已改变的原因的信息。

因此，根据本公开的实施例，用户可从电子装置1000接收关于为何当前响应130已改变的原因的信息，从而理解为何已输出与先前响应不同的当前响应130的原因。

根据本公开的实施例，可由电子装置1000执行的操作可由服务器(未示出)执行。例如，服务器(未示出)可基于从电子装置1000接收的用户输入110来处理至少一个模块120以生成当前响应130，并将关于当前响应130的信息发送到电子装置1000。服务器(未示出)可基于响应历史150获得关于为何当前响应130已改变的原因的信息，并且将关于为何当前响应130已改变的原因的信息提供给电子装置1000。根据本公开的实施例的电子装置1000可向用户提供从服务器(未示出)接收的关于为何当前响应130已改变的原因的信息。

根据本公开的实施例的服务器(未示出)可被实现为至少一个计算机装置。服务器(未示出)可例如但不限于以云的形式被分布，并且提供命令、代码、文件、内容等。

图2是示出根据各种实施例的电子装置1000的示例配置的框图。

图3是示出根据各种实施例的电子装置1000的示例配置的框图。

参照图2，电子装置1000可包括处理器(例如，包括处理电路)1300、用户输入器(例如，包括输入电路)1100和输出器(例如，包括输出电路)1200。然而，图2中所示的组件不是电子装置1000的必要组件。电子装置1000可被实现为有比图2中所示的组件更多或更少的组件。

例如，如图3所示，除了处理器1300、用户输入器1100和输出器1200之外，根据本公开实施例的电子装置1000还可包括传感器1400、通信单元(例如，包括通信电路)1500、音频/视频(A/V)输入器(例如，包括A/V输入电路)1600和存储器(例如，存储单元)1700。

用户输入器1100可以是包括被配置为使用户能够输入用于控制电子装置1000的数据的各种输入电路的装置。例如，用户输入器1100可包括例如键盘、圆顶开关(domeswitch)、触摸板(电容型、电阻型、红外光束型、表面声波型、集成应变仪型、压电效应型等)、滚轮、微动开关等，但不限于此。

根据本公开的实施例，用户输入器1100可从电子装置1000接收请求响应所需的用户输入。当根据本公开的实施例的用户输入包括语音输入和姿势输入时，用户输入器110可通过例如麦克风1620和相机1610分别从用户接收语音输入和姿势输入。然而，用户输入器1100不限于上述示例，并且可通过各种装置接收各种形式的用户输入。

输出器1200可包括各种输出电路并输出音频信号、视频信号或振动信号，并且输出器1200可包括例如但不限于显示器1210、声音输出器1220和振动电机1230。根据本公开实施例的输出器1200可通过根据第一用户输入处理至少一个模块来输出第一响应。输出器1200可根据具有与第一用户输入的意图相同的意图的第二用户输入，输出关于为何第一响应已从先前输出的第二响应改变的原因的信息。

显示器1210可显示和输出在电子装置1000中处理的信息。根据本公开的实施例，显示器1210可输出关于为何根据用户输入输出的响应已改变的原因的信息。

当显示器1210包括形成层结构以被配置为触摸屏的触摸板时，显示器1210可被用作输入装置以及输出装置。显示器1210可包括例如但不限于液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器、电泳显示器等中的至少一个。电子装置1000可根据其实现类型包括两个或更多个显示器1210。

声音输出器1220可包括各种输出电路，并且输出从通信单元1500接收或存储在存储器1700中的音频数据。声音输出器1220可包括例如扬声器。

振动电机1230可输出振动信号。此外，振动电机1230可根据对触摸屏的触摸输入输出振动信号。根据本公开的实施例，声音输出器1220和振动电机1230可输出关于为何根据用户输入输出的响应已改变的原因的信息。

处理器1300可包括各种处理电路并控制电子装置1000的整体操作。例如，处理器1300可执行存储在存储器1700中的程序以控制用户输入器1100、输出器1200、传感器1400、通信单元1500、A/V输入器1600等的整体操作。

电子装置1000可包括至少一个处理器1300。例如，电子装置1000可包括各种处理器，诸如例如但不限于专用处理器、中央处理单元(CPU)、图形处理单元(GPU)、神经处理单元(NPU)等。

处理器1300可通过执行基本算术运算、逻辑运算和输入/输出运算来处理计算机程序的命令。可将命令从存储器1700提供给处理器1300，或者可通过通信单元1500接收命令并将其提供给处理器1300。例如，处理器1300可被配置为根据存储在记录装置(诸如存储器)中的程序代码来执行命令。

当根据用户输入输出的响应已改变时，根据本公开实施例的处理器1300可向用户提供针对响应关于为何响应已改变的原因的信息。根据本公开实施例的处理器1300可基于第二响应的历史信息来获得关于为何响应已改变的原因的信息，该第二响应是根据具有与当前输出的第一响应的第一用户输入的意图相同的意图的先前第二用户输入而先前输出的响应。根据本公开实施例的第二响应可以是根据先前输出的响应中具有与第一用户输入的意图相同的意图的先前第二用户输入而先前输出的响应。根据本公开的实施例，可基于第二响应的历史信息从根据第一用户输入操作的至少一个模块中识别与根据第二用户输入操作的至少一个模块不同地操作的模块，并且可基于所识别的模块获得关于其响应已改变的信息。

根据本公开实施例的处理器1300可将根据第一用户输入操作的至少一个模块与根据第二用户输入操作的至少一个模块匹配，并且基于在匹配的模块中处理的多条信息之间的比较结果来识别改变的模块。例如，根据第一用户输入操作的模块与根据第二用户输入操作的模块可根据它们是否执行相同的功能和处理而匹配。例如，根据第一用户输入执行语音识别的ASR模块可与根据第二用户输入执行与ASR模块的处理相同的处理并执行语音识别的ASR模块匹配。

根据本公开实施例的处理器1300可获得根据第一用户输入操作的至少一个模块中的第一模块的输入/输出信息，并且基于第一模块的输入信息识别关于与根据第二用户输入操作的至少一个模块中的第一模块匹配的第一’模块的信息。根据本公开的实施例的第一模块和第一’模块可以是由于各种原因(诸如模块的AI模型或引擎的更新或校正)而具有差异的模块，尽管模块执行相同的处理。

例如，具有与第一模块的输入信息相同的输入信息的针对第二响应的关于模块的信息可被识别为关于第一’模块的信息。此外，关于根据第二用户输入操作的模块的信息可被识别为关于第一’模块的信息，其中，第二用户输入包括与通过转换第一模块的输入信息获得的散列值相同的散列值。当第一模块的输出信息与第一’模块的输出信息不同时，处理器1300可将第一模块识别为改变的模块。

根据本公开实施例的处理器1300可确定根据第一用户输入操作的至少一个模块的优先级，并且根据所确定的优先级顺序地将在根据第一用户输入操作的至少一个模块中处理的信息与在根据第二用户输入操作的至少一个模块中处理的信息进行比较。处理器1300可基于比较的结果来识别针对第一响应改变的模块。

根据本公开实施例的处理器1300可基于改变的模块推断为何第一响应与第二响应不同的原因，生成关于为何第一响应已改变的原因的信息，该信息包括推断的原因，并将该信息提供给用户。

根据本公开实施例的处理器1300可预先训练AI模型，以针对与第一响应的改变相关的用户查询，生成包括关于为何第一响应已改变的原因的信息的响应。例如，基于改变的模块，处理器1300可能已经预先训练了被用于生成对用户输入的响应的至少一个AI模型。处理器1300可基于预先训练的AI模型，根据接收到包括与第一响应的改变相关的查询的用户输入，输出包括关于为何第一响应已改变的原因的信息的响应，从而向用户提供关于为何第一响应已改变的原因的信息。

传感器1400可包括各种传感器，并且感测电子装置1000的状态或电子装置100的周围状态，并且将关于感测到的状态的信息传送到处理器1300。

传感器1400可包括例如地磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，全球定位系统(GPS))1460、大气压力传感器1470、接近传感器1480或RGB传感器(照度传感器)1490中的至少一个，但不限于此。

根据本公开实施例的传感器1400可感测提供关于为何响应已改变的原因的信息所需的数据。例如，传感器1400可感测可被用于确定用户输入的意图的关于用户的各种信息。

通信单元1500可包括一个或更多个组件，每个组件包括各种通信电路，以使电子装置1000能够与服务器2000或外部装置(未示出)通信。例如，通信单元1500可包括短距离无线通信单元1510、移动通信单元1520和广播接收器1530。

短距离无线通信单元1510可包括各种通信单元，每个通信单元包括各种通信电路，诸如，例如蓝牙通信单元、蓝牙低功耗(BLE)通信单元、近场通信(NFC)单元、无线局域网(WLAN)通信单元、ZigBee通信单元、红外数据协会(IrDA)通信单元(未示出)、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元、Ant+通信单元等，但不限于此。

移动通信单元1520可包括各种通信电路，并且向移动通信网络上的基站、外部终端或服务器中的至少一个发送无线信号/从移动通信网络上的基站、外部终端或服务器中的至少一个接收无线信号。无线信号可包括语音呼叫信号、视频呼叫信号或根据文本/多媒体消息的发送/接收的各种格式的数据。

广播接收器1530可包括各种电路，并且通过广播信道从外部接收广播信号和/或广播相关信息。广播信道可包括卫星信道和地面信道。根据实施方式示例，电子装置1000可不包括广播接收器1530。

根据本公开的实施例，通信器1500可发送/接收提供关于为何响应已改变的原因的信息所需的数据。

A/V输入器1600可包括各种A/V输入电路并且被用于输入音频信号或视频信号，并且可包括例如但不限于相机1610和麦克风1620。相机1610可在视频呼叫模式或拍摄模式下通过图像传感器获得图像帧(诸如静止图像或运动图像)。由图像传感器捕获的图像可由处理器1300或单独的图像处理器(未示出)处理。例如，相机1610可被用于接收用户姿势输入。

麦克风1620可从外部接收声音信号并将声音信号处理成电语音数据。例如，麦克风1620可被用于接收用户语音输入。

存储器1700可存储用于处理器1300的处理和控制的程序，并且存储输入到电子装置1000或将从电子装置1000输出的数据。

根据本公开的实施例的存储器1700可存储提供关于为何响应已改变的原因的信息所需的数据。例如，存储器1700可存储关于从电子装置1000输出的各种响应的历史信息。

存储器1700可包括闪存型、硬盘型、多媒体卡微型、卡型存储器(例如，安全数字(SD)或极速数字(XD)存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘或光盘中的至少一种类型的存储介质。

存储在存储器1700中的程序可根据其功能被分类为多个模块，并且例如，程序可被分类为UI模块1710、触摸屏模块1720、通知模块1730等。

UI模块1710可为每个应用提供与电子装置1000互通的专用用户界面(UI)或图形用户界面(GUI)。触摸屏模块1720可感测在触摸屏上做出的用户触摸姿势，并将关于用户触摸姿势的信息传送到处理器1300。根据本公开的一些实施例的触摸屏模块1720可识别和分析触摸码。触摸屏模块1720可被配置有包括控制器的单独硬件。

各种传感器可被安装在触摸屏内部或周围，以感测在触摸屏上进行的触摸或接近触摸。用于感测在触摸屏上进行的触摸的传感器的示例是触觉传感器。触觉传感器可以是用于感测可被人感觉到的特定对象的接触的传感器。触觉传感器可感测各种信息(诸如接触表面的粗糙度、接触物体的刚度、接触点的温度等)。

用户触摸姿势可包括例如但不限于轻击、触摸&保持、双击、拖动、平移、轻弹、拖&放、滑动等。

通知模块1730可生成用于通知电子装置1000的事件发生的信号。

图4是示出根据各种实施例的提供关于为何响应已改变的原因的信息的示例方法的流程图。

参照图4，在操作410中，根据本公开实施例的电子装置1000可根据第一用户输入使用至少一个模块输出第一响应。

例如，电子装置1000可使用下列模块来输出与用户输入对应的响应：根据接收到用户语音输入对用户语音输入执行语音识别的模块(例如，ASR模块)、基于语音识别的结果选择将输出响应的装置的模块(例如，DD模块)、基于所选择的装置理解用户语音输入的模块(例如，NLU模块)、基于理解的结果生成响应的模块(例如，NLG模块)。然而，由电子装置1000使用的模块不限于上述模块，并且电子装置1000可使用用于处理用户输入的各种模块来输出响应。

在操作420中，电子装置1000可获得关于第二响应的历史的信息，其中，第二响应与第一响应不同，并且根据具有与第一用户输入的意图相同的意图的第二用户输入被输出。

根据本公开的实施例，响应的历史信息可包括各个模块的输入/输出信息。然而，响应的历史信息(在下文中，也被称为响应历史信息)不限于上述示例，并且可包括与响应相关的各种信息。

根据本公开的实施例的电子装置1000可识别第一用户输入的意图。此外，电子装置1000可识别包括在预先存储的响应历史信息中的与每个响应对应的用户输入的意图。

例如，当用户输入是语音输入时，可基于理解语音输入的模块(例如，NLU模块)的输出信息来识别意图。可基于预先训练的AI模型来识别用户输入的意图，以提取用户输入的特征并获得意图。然而，识别用户输入的意图的方法不限于上述示例，并且可根据各种方法识别第一用户输入的意图和包括在预先存储的响应历史信息中的用户输入的意图。

根据本公开实施例的电子装置1000可基于包括在响应历史信息中的每个模块的输入/输出信息中的与用户输入对应的信息(例如，已经处理了用户输入的初始模块(例如，ASR模块)的输入信息)，将具有与第一用户输入的意图相同或相似的意图并且根据其输出与第一响应不同的响应的至少一个用户输入识别为第二用户输入。

例如，与第二用户输入对应的第二响应可包括与第一响应的消息不同的消息或与第一响应的动作不同的动作。因此，根据本公开的实施例，响应与第一响应相同的用户输入可不被识别为第二用户输入，尽管用户输入具有与第一用户输入相同或相似的意图。在根据本公开实施例的响应历史信息中，可基于与第二用户输入对应的各个模块的输入/输出信息中的已经处理了第二用户输入的最后一个模块(例如，NLG模块)的输出信息来识别与第二用户输入对应的第二响应。

然而，存储为响应历史信息的第二用户输入和第二响应不限于上述示例，并且可根据各种方法识别第二用户输入和第二响应。

在操作430中，根据本公开实施例的电子装置1000可基于在操作420中获得的与关于第二响应的输出的历史有关的信息，从根据第一用户输入操作的至少一个模块中识别与根据第二用户输入操作的模块不同地操作的改变的模块。

根据本公开实施例的电子装置1000可将根据第一用户输入操作的至少一个模块的输入/输出信息与第二响应的历史信息中的根据第二用户输入操作的至少一个模块的输入/输出信息进行比较，从而识别关于第一响应改变的模块。根据本公开的实施例，可在相应的模块之间比较输出信息。

根据本公开的实施例，根据各个模块的输入信息是否相同或者根据各个模块的识别信息，关于根据第一用户输入和第二用户输入操作的模块的信息可彼此对应。

例如，可基于根据第一用户输入操作的模块中的第一模块的输入信息，在关于根据第二用户输入操作的模块的信息中识别关于与第一模块匹配的第一’模块的信息，并且当第一模块的输出信息与第一’模块的输出信息不同时，第一模块可被确定为改变的模块。

根据本公开的实施例的第一模块的输入信息可例如被转换为散列值，并且因此，可识别关于第一’模块的信息。根据本公开的实施例，可将关于与第二响应对应的模块的信息中包括与转换后的散列值相同的散列值的信息识别为关于第一’模块的信息。

根据本公开的实施例，可根据分配给模块的优先级顺序地比较模块。然而，可根据各种顺序比较模块。

根据实施例，具有与其他模块不同的输出信息而具有与其他模块相同的输入信息的模块可被识别为改变的模块。根据本公开的实施例，当模块具有不同的输入信息时，或者当模块具有相同的输入信息和相同的输出信息时，不会识别到改变的模块。然而，识别改变的模块的方法不限于上述示例，并且可根据各种方法从根据第一响应被使用的模块中识别改变的模块。

在操作440中，根据本公开实施例的电子装置1000可基于在操作430中识别的改变的模块，向用户提供关于为何第一响应已从第二响应改变的原因的信息。

根据本公开的实施例，可推断为何关于第一响应的改变的模块改变得与关于第二响应的模块不同的原因，并且可根据推断的结果向用户提供关于为何第一响应已从第二响应改变的原因的信息。

根据本公开实施例的电子装置1000可基于推断的结果预先训练被用于理解用户输入或生成响应的至少一个AI模型，使得电子装置1000识别与第一响应的改变相关的查询并且生成对查询的适当响应。根据本公开的实施例，可能需要预先训练用于基于与第一响应的变化相关的信息来理解查询或生成响应的AI模型，以理解包括与第一响应的变化相关的查询的用户输入并生成对查询的适当响应。因此，根据本公开实施例的电子装置1000可使用预先训练的AI模型，理解包括在用户输入中的与第一响应的改变相关的查询，并且生成对查询的响应。

图5是示出根据各种实施例的提供关于为何响应已改变的原因的信息的示例的图。

参照图5，电子装置1000可从用户接收第一用户输入510。此外，电子装置1000可根据第一用户输入510使用至少一个模块输出第一响应540。例如，响应于包括语音“播放音乐A”的第一用户输入510，可通过经由AI扬声器输出包括语音“播放音乐”的消息和播放音乐A的动作来输出第一响应540。

在操作541，根据本公开实施例的电子装置1000可从通过根据第一用户输入510输出第一响应来根据第一用户输入510操作的至少一个模块中识别改变的模块。根据本公开实施例的电子装置1000可通过从预先存储的响应历史信息识别具有与第一用户输入510的意图相同的意图的第二用户输入，并且将关于根据第二用户输入操作的至少一个模块的信息与关于根据第一用户输入操作的至少一个模块的信息进行比较，来识别关于第一响应改变的模块。

例如，包括语音“播放音乐A”的第一用户输入510的意图可被确定为“播放音乐A”。可从响应历史信息中识别具有与第一用户输入510的意图相同的意图并且请求“播放音乐A”的至少一个用户输入。根据其输出与第一响应540不同的响应(例如，通过TV而不是AI扬声器播放音乐A的动作)的用户输入可被识别为至少一个识别的用户输入中的第二用户输入。

在操作542中，电子装置1000可基于在操作541中识别的改变的模块来推断为何第一响应已改变的原因。例如，当根据第一用户输入510操作的至少一个模块中的DD模块被识别为改变的模块时，可基于DD模块的输出信息推断为何第一响应已从第二响应改变的原因。

例如，与第二响应不同，在第一响应中，DD模块的输出信息可被识别为TV已改变为AI扬声器，并且可基于识别的结果推断为何第一响应已改变的原因。例如，因为AI扬声器已经移动到比TV更靠近用户并且AI扬声器的声音质量优于TV的声音质量，AI扬声器比TV更适合于播放音乐的确定可被推断为第一响应已改变的原因。

在操作543中，电子装置1000基于推断的结果来训练用于理解包括在用户输入中的查询或生成响应的至少一个AI模型。根据本公开的实施例，可能需要更新被用于理解查询或生成响应的至少一个AI模型，使得关于改变的第一响应的信息被反映到至少一个AI模型。由此，可基于至少一个AI模型来理解关于为何第一响应已改变的原因的用户查询并且生成对查询的响应。

根据本公开的实施例，在输出第一响应540之后，可另外接收包括关于为何第一响应540已改变的原因的查询的用户输入520。电子装置1000可基于预先训练的至少一个AI模型来理解用户输入520，生成对用户输入520的响应550，并且输出响应550。

例如，响应于用户输入520，根据确定出当输出第一响应540时AI扬声器所在的位置与AI扬声器在第二响应已被输出时的位置不同并且AI扬声器的性能高于TV，可向用户提供描述已通过AI扬声器而不是TV输出第一响应540的原因的响应550。

因此，基于响应550，用户可理解530为何第一响应540已从第二响应改变的原因。

图6是示出根据各种实施例的至少一个模块响应于用户语音输入而操作的示例的图。

参照图6，可顺序地使用ASR模块610、DD模块620、DC模块630、NLU模块640、DM模块650和NLG模块660来处理根据本公开的实施例的第一语音输入。通过处理第一语音输入，可输出第一响应。

根据本公开的实施例，可以以ASR模块610、DD模块620、DC模块630、NLU模块640、DM模块650和NLG模块660的顺序执行处理，但不限于此。然而，可以以各种顺序执行处理。例如，可按照ASR模块610、DC模块630、NLU模块640、DM模块650、DD模块620和NLG模块660的顺序执行处理。此外，可按照ASR模块610、DC模块630、DD模块620、NLU模块640、DM模块650和NLG模块660的顺序执行处理。此外，DD模块620可与DC模块630组合。

在下文中，将描述以ASR模块610、DD模块620、DC模块630、NLU模块640、DM模块650和NLG模块660的顺序执行处理的示例。

根据本公开的实施例，基于关于根据具有与来自用户的第一语音输入的意图相同的意图的另一第二用户输入输出的第二响应的历史的信息，可以从已经处理了第一语音输入的ASR模块610、DD模块620、DC模块630、NLU模块640、DM模块650和NLG模块660中识别与根据第二用户输入的模块的操作不同地操作的模块。可基于被识别为改变的模块的模块来推断第一响应与第二响应不同的原因。

根据本公开的实施例，电子装置1000可响应于在已输出第一响应之后接收到的并且询问关于为何第一响应已改变的原因的用户查询，基于推断的结果向用户提供对用户查询的响应。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是用于输出与先前输出的第二响应相同的响应的请求时，电子装置1000可基于推断的原因的结果向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。

根据本公开实施例的ASR模块610可识别用户语音输入以获得与用户语音输入对应的文本。例如，作为ASR模块610针对用户语音输入的处理结果，可获得语音“播放音乐A”作为语音识别的结果。

根据本公开的实施例，通过将根据第一用户输入操作的ASR模块610的输入/输出信息与根据第二用户输入操作的ASR模块610的输入/输出信息进行比较，可从根据第一用户输入操作的模块中识别改变的模块。例如，可将根据第一用户输入操作的ASR模块610的输入信息与根据第二用户输入操作的ASR模块610的输入信息进行比较。此外，可将根据第一用户输入操作的ASR模块610的输出信息与根据第二用户输入操作的ASR模块610的输出信息进行比较。

根据本公开的实施例，当根据第一用户输入操作的ASR模块610的输入信息与根据第二用户输入操作的ASR模块610的输入信息相同或相似，而根据第一用户输入操作的ASR模块610的输出信息与根据第二用户输入操作的ASR模块610的输出信息不同时，ASR模块610可被识别为改变的模块。例如，当相同的语音输入被输入到ASR模块610并且不同的文本被输出作为ASR模块610的处理结果时，ASR模块610可被识别为改变的模块。

根据本公开的实施例，可基于根据第一用户输入和第二用户输入操作的作为改变模块的ASR模块610，推断为何第一响应与第二响应不同的原因。例如，在ASR模块610中使用的语音识别模型已经被更新的原因可被推断为为何第一响应已改变的原因。为何ASR模块610被识别为改变的模块的原因不限于上述示例，并且可推断各种原因作为为何ASR模块610被识别为改变的模块的原因。

根据本公开的实施例，可基于推断的原因来更新NLU模块640，因此，电子装置1000可理解在已输出第一响应之后接收并询问关于为何第一响应改变的原因的用户查询，并输出对用户查询的响应。例如，可更新在NLU模块640的域之中具有可被用于理解用户查询的问答(QA)域的AI模型。将被更新的AI模型不限于上述示例，并且可基于推断的原因来更新在能够被用于生成对询问关于为何第一响应已改变的原因的用户查询的响应的各种组件(例如，DD模块620、DC模块630、DM模块650等)中使用的AI模型。

根据本公开实施例的电子装置1000可响应于询问关于为何第一响应已改变的原因的用户查询，输出表示第一响应已根据更新的语音识别模型改变的响应消息。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是输出与第二响应相同的响应的请求时，电子装置1000可基于推断的原因向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。例如，可向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。

根据本公开实施例的DD模块620可基于与用户语音输入对应的文本来选择要执行动作作为响应的装置。例如，可基于与语音输入对应的文本，由DD模块620选择AI扬声器作为要播放音乐A的装置。

根据本公开的实施例，通过将根据第一用户输入操作的DD模块620的输入/输出信息与根据第二用户输入操作的DD模块620的输入/输出信息进行比较，可识别关于第一响应的模块中的改变的模块。例如，当相同的文本被输入到DD模块620并且DD模块620选择不同的装置时，DD模块620可被识别为改变的模块。

根据本公开的实施例，可基于根据第一用户输入和第二用户输入操作的作为改变模块的DD模块620来推断为何第一响应与第二响应不同的原因。例如，DD模块620中使用的AI模型是否已改变、每个装置是否已移动、用户偏好的装置是否已改变等可被推断为第一响应已改变的原因。

根据本公开实施例的电子装置1000可响应于询问为何第一响应已改变的原因的用户查询，输出表示第一响应根据各种原因(诸如AI模型的改变、每个装置的位置的改变、用户偏好的装置的改变等)已改变的响应消息。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是用于输出与先前输出的第二响应相同的响应的请求时，电子装置1000可基于推断的原因的原因向用户提供用于引导推荐话语的引导消息，根据该推荐话语可输出与第二响应相同的响应。例如，可为用户提供用于引导推荐话语的引导消息，使得请求播放音乐的用户输入包括关于将在其上播放音乐的装置(例如，TV)的信息。

根据本公开实施例的DC模块630可基于被选择为要执行动作的装置的装置来选择域。根据本公开的实施例，可基于所选择的域在NLU模块640中理解与用户语音输入对应的文本。例如，当DD模块620选择AI扬声器时，可基于可理解关于AI扬声器的文本的AI模型来执行NLU模块640。在这种情况下，DC模块630可选择域，该域被用于选择用于理解用户语音输入的AI模型，使得可由AI扬声器执行的模块中的一个作为响应的动作被输出。

根据本公开的实施例，通过将根据第一用户输入操作的DC模块630的输入/输出信息与根据第二用户输入操作的DC模块630的输入/输出信息进行比较，可识别根据第一用户输入操作的模块中的改变的模块。例如，当关于要执行动作的相同装置的信息被输入到DC模块630并且DC模块630选择不同的域时，DC模块630可被识别为改变的模块。

根据本公开的实施例，可基于根据第一用户输入和第二用户输入操作的作为改变的模块的DC模块630来推断为何第一响应与第二响应不同的原因。例如，用于选择DC模块630中的域的AI模型是否已改变、可选择的域是否已改变等可被推断为为何第一响应已改变的原因。

根据本公开实施例的电子装置1000可响应于询问关于为何第一响应已改变的原因的用户查询，输出表示根据各种原因(诸如用于选择域的AI模型的改变、可选域的改变等)第一响应已改变的响应消息。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是用于输出与先前输出的第二响应相同的响应的请求时，电子装置1000可基于为何DC模块630已改变的原因向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。

根据本公开的实施例的NLU模块640可基于所选择的域来理解与用户语音输入对应的文本。根据本公开的实施例，可基于用于理解针对各个域分别存在的文本的多个AI模型来执行NLU模块640。例如，从文本理解的用户意图可由NLU模块640确定。根据本公开的实施例，可根据由NLU模块640确定的用户意图来输出响应。

根据本公开的实施例，通过将根据第一用户输入操作的NLU模块640的输入/输出信息与根据第二用户输入操作的NLU模块640的输入/输出信息进行比较，可在关于第一响应的模块中识别出改变的模块。例如，当相同的选择的域被输入到NLU模块640并且NLU模块640输出关于对应文本的不同理解时，NLU模块640可被识别为改变的模块。

根据本公开的实施例，可基于根据第一用户输入和第二用户输入操作的NLU模块640来推断为何第一响应与第二响应不同的原因。例如，在NLU模块640中的用于理解文本的AI模型是否已经改变可被推断为为何第一响应已改变的原因。

根据本公开实施例的电子装置1000可响应于询问关于为何第一响应已改变的原因的用户查询，根据各种原因(诸如用于理解文本的AI模型的改变等)输出表示第一响应已改变的响应消息。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是用于输出与先前输出的第二响应相同的响应的请求时，电子装置1000可基于为何NLU模块640已改变的原因向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。

根据本公开的实施例的DM模块650可基于对与语音输入对应的文本的理解的结果来生成应答。根据本公开的实施例，可基于用于生成对话的AI模型来执行DM模块650。例如，可由DM模块650基于根据NLU模块640的处理结果获得的用户意图来生成与用户输入对应的应答信息。

根据本公开的实施例，通过将根据第一用户输入操作的DM模块650的输入/输出信息与根据第二用户输入操作的DM模块650的输入/输出信息进行比较，可识别根据第一用户输入操作的模块中的改变的模块。例如，当输入到DM模块650的语音输入的用户意图相同并且DM模块650输出与用户输入对应的不同的多条应答信息时，DM模块650可被识别为改变的模块。

根据本公开的实施例，可基于根据第一用户输入和第二用户输入操作的作为改变模块的DM模块650来推断为何第一响应与第二响应不同的原因。例如，在DM模块650中的用于生成应答信息的AI模型是否已改变可被推断为为何第一响应已改变的原因。

根据本公开实施例的电子装置1000可响应于询问关于为何第一响应已改变的原因的用户查询，输出表示根据各种原因(诸如用于生成应答信息的AI模型的改变等)第一响应已改变的响应消息。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是用于输出与先前输出的第二响应相同的响应的请求时，电子装置1000可基于为何DM模块650已改变的原因向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。

根据本公开实施例的NLG模块660可基于作为DM模块650的处理结果获得的应答信息来生成响应消息。根据本公开的实施例，可根据应答信息基于用于生成响应消息的AI模型来处理NLG模块660。例如，可通过基于作为DM模块650的处理结果的应答信息生成自然语言来生成响应消息。

根据本公开的实施例，通过将根据第一用户输入操作的NLG模块660的输入/输出信息与根据第二用户输入操作的NLG模块660的输入/输出信息进行比较，可识别根据第一用户输入操作的模块中的改变的模块。例如，当相同的应答信息被输入到NLG模块660并且NLG模块660生成不同的响应消息时，NLG模块660可被识别为改变的模块。

根据本公开的实施例，可基于根据第一用户输入和第二用户输入操作的作为改变的模块的NLG模块660来推断为何第一响应与第二响应不同的原因。例如，在NLG模块660中用于生成响应消息的AI模型是否已改变可被推断为为何第一响应已改变的原因。

根据本公开实施例的电子装置1000可响应于询问关于为何第一响应已改变的原因的用户查询，根据各种原因(诸如用于生成响应消息的AI模型的改变)输出表示第一响应已改变的响应消息。

根据本公开的实施例，当电子装置1000确定在已输出第一响应之后接收的用户输入的用户意图是用于输出与先前输出的第二响应相同的响应的请求时，电子装置1000可基于为何NLG模块660已改变的原因向用户提供推荐话语，根据该推荐话语可输出与第二响应相同的响应。

然而，根据本公开的实施例，当DD模块620的处理顺序改变并且以ASR模块610、DC模块630、NLU模块640、DM模块650、DD模块620和NLG模块660的顺序处理模块时，可基于从DM模块650输出的应答信息来执行DD模块620。例如，DD模块620可根据应答信息选择要执行动作的装置。NLG模块660可基于从DM模块650输出的应答信息来生成针对由DD模块620选择的装置的适当的响应消息。

图7是示出根据各种实施例的从根据第一用户输入操作的模块中识别改变的模块的示例方法的流程图。

参照图7，在操作710中，根据本公开实施例的电子装置1000可将当前模块的输入信息转换为散列值，该当前模块是根据第一用户输入操作的模块中的任何一个。根据本公开的实施例，可根据优先级确定每个模块是否是改变的模块。根据本公开实施例的电子装置1000可通过在操作720之后执行的处理来确定根据优先级确定的当前模块是否是改变的模块。

根据本公开的实施例，可将用于输出第一响应的模块中的根据优先级确定的当前模块的输入信息转换为散列值。根据本公开的实施例的散列值可以是被转换为用于更容易地搜索与输入信息相同的输入信息的形式的值。例如，散列值可仅包括数值，而不包括可包括字母和数字两者的信息。然而，输入信息被转换成的值不限于上述示例，并且输入信息可被转换成另一值而不是散列值，并且被用于搜索先前响应中的对应模块。

根据本公开的实施例的第二响应可以是根据第二用户输入输出的响应，第二用户输入是具有与关于第一响应的用户输入的意图相同的意图的用户输入，并且第二响应可包括与第一响应的动作或消息不同的动作或消息。根据本公开的实施例，可将根据第二用户输入输出的响应识别为第二响应，该第二用户输入具有与关于存储为响应历史的多个响应中的第一响应的用户输入的意图相同的意图，并且此后，可基于第二响应执行操作710之后的操作。

在操作720中，根据本公开实施例的电子装置1000可确定包括与在操作710中转换的散列值相同的散列值的信息是否存在于关于根据第二用户输入操作的模块的信息中。根据本公开的实施例的散列值可以是通过转换每个模块的输入信息而获得的值。

因此，根据本公开的实施例，可基于输入信息的散列值来识别关于与当前模块对应并根据第二用户输入操作的模块的信息。此外，根据本公开的实施例，使用散列值，可更快地执行比较和确定，并且可减少确定改变的模块可消耗的计算量。

根据本公开的实施例，能够在模块中被处理的不同信息可根据模块中使用的引擎或AI模型被输入到各个模块。因此，根据本公开的实施例，可基于每个模块的输入信息而不是每个模块的识别信息，从响应历史信息中识别关于与当前模块对应并根据第二用户输入操作的模块的信息。然而，可根据各种方法以及使用输入信息的方法来执行识别关于与当前模块对应并根据第二用户输入操作的模块的信息的操作。例如，可根据每个模块的识别信息来识别与当前模块对应并根据第二用户输入操作的模块。

在操作720中，当在关于根据第二用户输入操作的模块的信息中不存在包括与在操作710中转换的散列值相同的散列值的关于模块的信息时，在操作760中，可选择具有下一优先级的模块。当关于包括与当前模块的散列值相同的散列值并且根据第二用户输入操作的模块的信息不包括与当前模块的输入信息相同的输入信息时，在操作760中，可选择具有下一优先级的模块。根据本公开的实施例，因为关于模块的信息尽管包括相同的散列值但可能不具有相同的输入值，所以可使用散列值在响应历史信息中搜索关于模块的信息，然后可另外执行多条输入信息之间的比较。

根据本公开的实施例，当模块的输入信息与根据先前用户输入操作的模块的输入信息不同时，可确定该模块不是改变的模块。例如，当用于处理第一用户输入的早于当前模块的至少一个模块(例如，当当前模块是DD模块时的ASR模块)的操作改变时，可能不存在关于包括与当前模块的输入信息相同的输入信息并根据第二用户输入操作的模块的信息。

因此，根据本公开的实施例，当不存在关于包括与当前模块的输入信息相同的输入信息并根据第二用户输入操作的模块的信息时，可确定当前模块不是改变的模块，因此，可确定在根据第一用户输入操作的模块中在操作760中选择的具有下一优先级的模块是否是改变的模块。

例如，当当前模块具有最高优先级时，可在操作760中选择具有第二优先级的模块，并且在操作710中，可将所选择的具有第二优先级的模块的输入信息转换为散列值。然后，在以下操作中，可确定具有第二优先级的模块是否是改变的模块。

但是，因为优选的是，用于处理用户输入的早于当前模块的至少一个模块中的一个被确定为改变的模块，所以可首先确定在具有当前模块的优先级的下一优先级的模块中用于处理用户输入的早于当前模块的至少一个模块是否为改变的模块。

在操作730中，根据本公开实施例的电子装置1000可将在操作720中识别并根据第二用户输入操作的模块的输出信息与当前模块的输出信息进行比较，以在操作740中确定模块的输出信息是否与当前模块的输出信息相同。

在操作740中，当模块的输出信息与当前模块的输出信息相同时，可确定当前模块不是改变的模块，因此，在操作760中，可确定具有下一优先级的模块是否是改变的模块。

在操作740中，当模块的输出信息与当前模块的输出信息不同时，在操作750中，可确定当前模块是改变的模块。

根据本公开的实施例，当模块改变时，模块的输出信息可改变，并且可基于改变的输出信息来执行将被处理的后续模块。因此，后续模块的输入信息和输出信息都可改变。因此，根据本公开的实施例，可重复执行操作710至740，直到确定改变的模块，并且当确定改变的模块时，可终止用于确定改变的模块的操作710至740。可基于被确定为改变模块的结果来推断为何第一响应已改变的原因，并且可将推断的结果提供给用户。

图8是示出根据各种实施例的从根据第一用户输入操作的模块中识别改变的模块的示例方法的流程图。

参照图8，在操作810中，根据本公开实施例的电子装置1000可将根据第一用户输入操作的模块中的当前模块的输入信息转换为散列值。在图8中，与图7的操作不同，可根据处理用户输入的顺序来确定改变的模块。例如，可在其他模块之前首先确定ASR模块(在该模块中用户语音输入被首先处理)是否是改变的模块。

在操作820中，根据本公开实施例的电子装置1000可确定包括与在操作810中转换的散列值相同的散列值的关于模块的信息是否存在于关于根据第二用户输入操作的模块的信息中。因此，根据本公开的实施例，可基于输入信息的散列值，从响应历史信息中识别与当前模块对应的针对第二响应的关于模块的信息。

当包括与在操作810中转换的散列值相同的散列值的关于模块的信息不存在于关于根据第二用户输入操作的模块的信息中时，在操作830中，可将用于处理第一用户输入的早于当前模块的模块(例如，当当前模块是DD模块时的ASR模块)确定为改变的模块。

然而，在对当前模块执行操作810和820之前，被确定为改变的模块并且先前被用于处理第一用户输入的早于当前模块的模块(在下文中，被称为先前模块)可以是被确定为不是改变的模块的模块。例如，当尽管先前模块的输入/输出信息与根据第二用户输入操作的模块的输入/输出信息相同并且先前模块已经被确定为不是改变的模块，但是不存在根据第二用户输入操作并且具有与当前模块的输入信息相同的输入信息的模块时，可确定当前模块的输入信息已改变，因为早于当前模块处理的先前模块的操作已经改变。例如，先前模块的输出信息由于各种因素已改变然后被输入到当前模块的情况，或者先前模块的输出信息被错误地存储的情况可对应于上述情况。

例如，在操作810中，当获得作为当前模块的DD模块的输入信息的散列值，并且在操作820中，根据第二用户输入操作的模块中不存在具有相同散列值的模块时，可将作为先前模块的ASR模块确定为改变的模块。

当根据本公开的实施例确定改变的模块时，可终止用于确定改变的模块的操作，并且可基于改变的模块推断为何第一响应已改变的原因。

在操作840中，根据本公开实施例的电子装置1000可将在操作830中识别并根据第二用户输入操作的模块的输出信息与当前模块的输出信息进行比较，以在操作850中确定模块的输出信息是否与当前模块的输出信息相同。

当在操作850中，电子装置1000确定模块的输出信息与当前模块的输出信息相同时，电子装置1000可确定当前模块不是改变的模块，并且在操作870中，确定具有下一优先级的模块是否是改变的模块。根据本公开的实施例的具有下一优先级的模块可被确定为在用于处理第一响应的模块中在当前模块已被处理之后立即处理的模块(例如，当当前模块是DD模块时的DC模块)。

在操作850中，当电子装置1000确定模块的输出信息与当前模块的输出信息不同时，在操作860中，电子装置1000可确定当前模块是改变的模块。

根据本公开的实施例，通过在输出当前响应时预先获得为何当前响应与对具有相同意图的用户输入的先前响应不同的原因，并且向用户提供原因，用户可容易地理解为何当前响应已改变的原因。

机器可读存储介质可以以非暂时性存储介质的形式被提供。在本文中，“非暂时性”存储介质可指例如不包括信号(例如，电磁波)并且是有形的存储介质。例如，“非暂时性”存储介质可包括临时存储数据的缓冲。

根据本公开的实施例，根据本公开中公开的各种实施例的方法可被包括在计算机程序产品中并被提供。计算机程序产品可作为产品在卖方和买方之间交易。例如，计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式被分发，或者通过应用商店(例如，Google Play Store^TM)被在线分发(例如，下载或上传)或直接在两个用户装置(例如，智能电话)之间被分发。在在线分发的情况下，计算机程序产品的至少一部分可至少被临时存储或临时生成在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。

在本公开中，术语“部分”、“部”或“单元”可以是硬件组件(诸如处理器或电路)，和/或由硬件组件(诸如处理器)执行的软件组件。

应当理解，本公开的以上描述仅用于说明性目的，因此，将显而易见的是，本领域技术人员可容易地对其进行各种修改而不改变本公开的技术精神和基本特征。因此，应当理解，上述实施例仅用于说明性目的，而不是用于在所有方面限制的目的。例如，被描述为单个类型的每个组件可以以分布式形式被实现，并且同样地，以分布式形式描述的组件可以以组合形式被实现。

本公开的范围包括所附权利要求，并且不限于具体实施方式，并且应当被解释为权利要求的含义和范围以及从其等同概念推导的所有修改或改动形式都被包含在本公开的范围内。

Claims (15)

1.一种由电子装置提供关于为何响应已改变的原因的信息的方法，所述方法包括：

通过根据第一输入处理至少一个模块来输出第一响应；

获得关于根据第二输入输出的第二响应的历史的信息，其中，第二输入具有与第一输入的意图相同的意图，第二响应与第一响应不同；

基于获得的信息，将根据第一输入操作的至少一个模块中的与根据第二输入操作的至少一个模块不同地操作的模块识别为改变的模块；以及

基于所述改变的模块提供关于为何第一响应已从第二响应改变的原因的信息。

2.根据权利要求1所述的方法，其中，将模块识别为所述改变的模块的步骤包括：

将根据第一输入操作的所述至少一个模块与根据第二输入操作的所述至少一个模块进行匹配；以及

基于在匹配的模块中处理的多条信息之间的比较结果来识别所述改变的模块。

3.根据权利要求1所述的方法，其中，将模块识别为所述改变的模块的步骤包括：

获得根据第一输入操作的所述至少一个模块中的第一模块的输入信息和输出信息；

基于所述输入信息，从关于根据第二输入操作的所述至少一个模块的信息中识别关于与第一模块匹配的第一’模块的信息；以及

基于第一模块的输出信息与第一’模块的输出信息不同，将第一模块识别为所述改变的模块。

4.根据权利要求3所述的方法，其中，识别关于第一’模块的信息的步骤包括：

将第一模块的输入信息转换为散列值；以及

从关于根据第二输入操作的所述至少一个模块的信息中识别关于包括与转换的散列值相同的散列值的模块的信息，作为关于第一’模块的信息。

5.根据权利要求1所述的方法，其中，将模块识别为所述改变的模块的步骤包括：

确定根据第一输入操作的所述至少一个模块的优先级；

根据所述优先级，顺序地将在根据第一输入操作的所述至少一个模块中处理的信息与在根据第二输入操作的所述至少一个模块中处理的信息进行比较；以及

基于所述比较的结果来识别所述改变的模块。

6.根据权利要求1所述的方法，其中，向所述用户提供关于为何第一响应已改变的原因的信息的步骤包括：

基于所述改变的模块来推断为何第一响应与第二响应不同的原因；以及

生成关于为何第一响应已改变的原因的信息，所述原因包括推断的原因。

7.根据权利要求1所述的方法，其中，向所述用户提供关于为何第一响应已改变的原因的信息的步骤包括：

基于所述改变的模块，预先训练被用于生成对输入的响应的至少一个人工智能AI模型，使得针对与第一响应的改变相关的查询，生成包括关于为何第一响应已改变的原因的信息的响应；以及

基于预先训练的所述AI模型，根据接收到包括与第一响应的改变相关的查询的输入，输出包括关于为何第一响应已改变的原因的信息的响应。

8.一种被配置为提供关于为何响应已改变的原因的信息的电子装置，所述电子装置包括：

输出器，被配置为通过根据第一输入处理至少一个模块来输出第一响应；以及

至少一个处理器，被配置为：获得关于根据第二输入输出的第二响应的历史的信息，其中，第二输入具有与第一输入的意图相同的意图，第二响应与第一响应不同，

基于获得的信息，将根据第一输入操作的至少一个模块中的与根据第二输入操作的至少一个模块不同地操作的模块识别为改变的模块，以及

基于所述改变的模块提供关于为何第一响应已从第二响应改变的原因的信息。

9.根据权利要求8所述的电子装置，其中，所述至少一个处理器还被配置为：将根据第一输入操作的所述至少一个模块与根据第二输入操作的所述至少一个模块进行匹配，以及

基于在匹配的模块中处理的多条信息之间的比较结果来识别所述改变的模块。

10.根据权利要求8所述的电子装置，其中，所述至少一个处理器还被配置为：获得根据第一输入操作的所述至少一个模块中的第一模块的输入信息和输出信息，

基于所述输入信息，从关于根据第二输入操作的所述至少一个模块的信息中识别关于与第一模块匹配的第一’模块的信息，以及

基于第一模块的输出信息与第一’模块的输出信息不同，将第一模块识别为所述改变的模块。

11.根据权利要求10所述的电子装置，其中，所述至少一个处理器还被配置为：将第一模块的输入信息转换为散列值，以及

从关于根据第二输入操作的所述至少一个模块的信息中识别包括与转换的散列值相同的散列值的信息，作为关于第一’模块的信息。

12.根据权利要求8所述的电子装置，其中，所述至少一个处理器还被配置为：确定根据第一输入操作的所述至少一个模块的优先级，

根据所述优先级，顺序地将在根据第一输入操作的所述至少一个模块中处理的信息与在根据第二输入操作的所述至少一个模块中处理的信息进行比较，以及

基于所述比较的结果来识别所述改变的模块。

13.根据权利要求8所述的电子装置，其中，所述至少一个处理器还被配置为：基于所述改变的模块来推断为何第一响应与第二响应不同的原因，以及

生成关于为何第一响应已改变的原因的信息，所述原因包括推断的原因。

14.根据权利要求8所述的电子装置，其中，所述至少一个处理器还被配置为：基于所述改变的模块，预先训练被用于生成对输入的响应的至少一个人工智能AI模型，使得针对与第一响应的改变相关的查询，生成包括关于为何第一响应已改变的原因的信息的响应，以及

控制所述输出器进行以下操作：基于预先训练的所述AI模型，根据接收到包括与第一响应的改变相关的询问的输入输出包括关于为何第一响应已改变的原因的信息的响应。

15.一种计算机可读记录介质，其上记录有用于实现根据权利要求1所述的方法的程序。

Images