CN103916688A - 交互服务器、显示设备及其控制方法 - Google Patents

Abstract

公开一种交互服务器、显示设备及其控制方法。一种交互服务器包括：通信单元，被构造为执行与显示设备的通信并接收包括表示对象的第一命令元素和表示执行命令的第二命令元素的语音命令信号；存储单元，被构造为存储指示符和命令字；提取单元，被构造为从存储单元提取与第一命令元素相应的指示符和与第二命令元素相应的命令字；以及控制器，被构造为通过组合提取的指示符和命令字来产生与语音命令信号相应的响应信息，并且将响应信息发送到显示设备，其中，第一命令元素是基于在显示设备的屏幕上显示的对象的显示状态确定的命令元素。

Description

交互服务器、显示设备及其控制方法

本申请要求于2013年1月7日在韩国知识产权局提交的第10-2013-0001755号韩国专利申请的权益，该申请的公开通过引用整体合并于此。

技术领域

本公开涉及交互服务器、显示设备及其控制方法。更具体地说，本公开涉及用于提供与用户的语音命令相应的响应信息的交互服务器、显示设备及其控制方法。

背景技术

通常，在交互系统中，能够语音识别的显示设备收集用户的语音命令，并且将收集的语音命令发送到通过网络连接的外部服务器。接收语音命令的外部服务器分析该语音命令以识别用户的意图，产生与用户的意图相应的响应信息，并且将响应信息发送到显示设备。因此，显示设备可以基于从外部服务器接收到的响应信息来与用户的语音命令相应地执行功能或提供信息。

但是，常规的交互系统并不局限于分析用户的语音命令和基于其分析结果来识别用户的意图。例如，当语音命令所指的目标像“为我显示第一内容”一样是清楚的时，外部服务器可以通过分析语音命令来正确地识别用户的意图，根据用户的意图来产生响应信息，并且将响应信息发送到显示设备。因此，显示设备可以基于响应信息来显示用户所请求的第一内容。

但是，当语音命令所指的目标像“为我显示这个”一样不清楚时，外部服务器具有这样的问题，即，它不能清楚地从语音命令识别用户的意图。要换句话说，由于传统的交互系统只针对预定义的语音命令来识别用户的意图并与用户的意图相应地执行操作或者提供信息，所以存在可由外部服务器识别的语音命令被限制的问题。

发明内容

一个或更多个示例性实施例可以克服上述缺点和在上面未描述的其它缺点。但是，应理解，不要求一个或更多个示例性实施例克服上述缺点，并且一个或更多个示例性实施例可以不克服上述问题中的任意一个问题。

本公开的一个方面涉及提供一种可以执行与各种语音命令相应的操作的交互系统。

本公开的上述方面和/或其它特征可以基本上通过提供以下交互服务器来实现，所述交互系统可以包括：通信单元，被构造为执行与显示设备的通信并接收包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令信号；存储单元，被构造为存储多个指示符（indicator）和多个命令字；提取单元，被构造为从存储单元提取与第一命令元素相应的指示符和与第二命令元素相应的命令字；以及控制器，被构造为通过组合提取的指示符和命令字来产生与语音命令信号相应的响应信息，并且将响应信息发送到显示设备，其中，第一命令元素是基于在显示设备的屏幕上显示的对象的显示状态确定的命令元素。

第一命令元素可以包括代词、序数和方向中的至少一个。提取单元还可以被构造为：确定第一命令元素是否包括请求信息，并且，如果第一命令元素包括请求信息，则从存储单元提取与请求信息相应的命令字。控制器还可以被构造为：基于提取的与请求信息相应的命令字，将与请求信息相应的内容信息添加到响应信息。

指示符可以包括指在显示设备的屏幕上显示的对象中的目标的执行字。

指示符可以包括在显示设备的屏幕上显示的对象的唯一识别信息；并且，提取单元还可以被构造为基于显示设备的对话历史来确定第一命令元素所指的目标，并且可以提取与确定的目标相应的唯一识别信息作为指示器。

交互服务器还可以包括：语音处理单元，被构造为将接收到的语音命令信号转换为文本信息。

根据本公开的另一个方面，一种显示设备可以包括：输入单元，被构造为接收语音命令；通信单元，被构造为将用于语音命令的语音命令信号发送到服务器设备；显示单元，被构造为显示屏幕；以及控制器，被构造为当从服务器设备接收到包括指示符和命令字的响应信息时基于在显示单元的屏幕上显示的对象的显示状态来选择指示符所指的目标，并且针对选择的目标执行与命令字相应的操作。

语音命令信号可以包括表示目标的第一命令元素和表示执行命令的第二命令元素，并且，第一命令元素可以是基于显示设备的屏幕显示状态确定的命令元素，并且可以包括代词、序数和方向中的至少一个。

根据本公开的另一个方面，一种交互服务器的控制方法可以包括：从显示设备接收包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令信号；使用处理器来提取与第一命令元素相应的指示符和与第二命令元素相应的命令字；以及通过组合提取的指示符和命令字来产生与语音命令信号相应的响应信息，并且将响应信息发送到显示设备，其中，第一命令元素可以是基于在显示设备的屏幕上显示的对象的显示状态确定的命令元素。

第一命令元素可以包括代词、序数和方向中的至少一个。

提取与第一命令元素相应的指示符和与第二命令元素相应的命令字的步骤可以包括：确定第一命令元素是否包括请求信息；如果第一命令元素包括请求信息，则从存储单元提取与请求信息相应的命令字，并且将响应信息发送到显示设备的步骤可以包括：基于提取的命令字，将与请求信息相应的内容信息添加到响应信息。

指示符可以包括指在显示设备的屏幕上显示的对象中的目标的执行字。

指示符可以包括在显示设备的屏幕上显示的对象的唯一识别信息；并且提取与第一命令元素相应的指示符和与第二命令元素相应的命令字的步骤可以包括：基于显示设备的对话历史来确定第一命令元素所指的目标；以及提取与确定的目标相应的唯一识别信息作为指示符。

所述控制方法可以包括将接收到的语音命令信号转换为文本信息。

根据本公开的另一个方面，一种显示设备的控制方法可以包括：接收语音命令；将与语音命令相应的语音命令信号发送到服务器设备；从服务器设备接收包括指示符和命令字的响应信息；以及基于在屏幕上显示的对象的显示状态来选择指示符所指的目标，并且，使用处理器来针对选择的目标来执行与命令字相应的操作。

语音命令信号可以包括表示目标的第一命令元素和表示执行命令的第二命令元素，并且，第一命令元素可以是基于显示设备的屏幕显示状态确定的命令元素，并且可以包括代词、序数和方向中的至少一个。

根据本公开的另一个方面，一种显示设备可以包括：显示单元，被构造为显示包括多个可选择的对象的屏幕；输入单元，被构造为接收语音命令；通信单元，被构造为响应于接收到语音命令来从外部装置接收响应信息，该响应信息包括根据语音命令选择的命令字；以及控制器，被构造为使用从外部装置接收到的响应信息来从多个可选择的对象中选择目标对象，并且针对选择的目标对象执行与命令字相应的操作。

通过根据本公开的各种实施例的交互服务器，交互服务器可以针对各种语音命令来识别用户的意图，可以产生与用户的意图相应的响应信息，并且可以将响应信息提供给显示设备。

从结合附图公开了优选实施例的以下的详细描述，本公开的其它目的、优点和显著特征将变得明显。

附图说明

根据下面的结合附图对实施例进行的描述，本公开的这些和/或其它方面和优点将变得明显并且更加容易被理解，在附图中：

图1是示出根据本公开的实施例的提供适合于用户的语音命令的响应信息的交换系统的第一视图；

图2是示出根据本公开的另一个实施例的提供适合于用户的语音命令的响应信息的交换系统的第二视图；

图3是示出根据本公开的实施例的交互服务器的框图；

图4是示出在根据本公开的实施例的显示设备的屏幕上显示的对象的显示状态的视图；

图5是示出根据本公开的实施例的显示设备的框图；

图6是用于解释根据本公开的实施例的交互服务器的控制方法的流程图；以及

图7是用于解释根据本公开的实施例的显示设备的控制方法的流程图。

在所有的附图中，相同的附图标记将被理解为表示相同的部分、组件和结构。

具体实施方式

在下文中，将参照附图详细地描述本公开的某些示例实施例。

为了帮助全面地理解本说明书，提供本文中限定的内容，例如，其详细的结构和元件。因此，显而易见的是，可以在没有这些限定的内容的情况下实现示例性实施例。此外，为了提供对示例性实施例的清楚和简要的描述，省略了公知的功能或结构。此外，为了帮助全面理解，可以任意地增大或减小附图中的各种元件的尺寸。

图1是示出根据本公开的实施例的提供适合于用户的语音命令的响应信息的交换系统的视图。

如图1所示，根据本公开的实施例的交互系统包括显示设备100和交互服务器200。

显示设备100是能够访问互联网的设备，并且可以被实现为各种电子设备，例如，智能TV、蜂窝电话（例如，智能电话）、桌上型PC、笔记本计算机、导航装置等。当输入了用户的语音命令时，显示设备100执行与输入的语音命令相应的操作。详细地说，显示设备100可以输出与用户的语音命令相应的响应消息，或者可以执行与用户的语音命令相应的功能。换句话说，显示设备100通过分析输入的语音命令来确定执行的动作。然后，根据确定的结果，显示设备100可以执行与输入的语音命令相应的功能，或者，可以基于从交互服务器200接收到的响应信息来执行操作。

例如，如果输入了“音量调大”的语音命令，则显示设备100可以基于预先存储的控制信息中的与输入的语音命令相应的控制信息来调整音量。

又例如，如果输入了“今天天气怎样？”的语音命令，则显示设备100将关于输入的语音命令的语音命令信号（在下文中，被称为语音命令）发送到交互服务器200。这里，语音命令可以是模拟信号。因此，显示设备100将模拟信号的语音命令转换为数字信号，然后将数字信号发送到交互服务器200。然后，显示设备100可以基于从交互服务器200接收到的响应信息来以语音或文本图像的形式输出关于今天的天气的结果。

交互服务器200基于从显示设备100接收到的用户的语音命令来提供适合于用户的意图的响应信息。详细地说，如果从显示设备100接收到用户的语音命令，则交互服务器200可以从接收到的语音命令来提取命令元素，可以基于提取的命令元素来产生与用户的语音命令有关的响应信息，并且可以发送响应信息。如上所述，从显示设备100接收到的语音命令可以是数字信号。因此，在接收到被转换为数字信号的语音命令之后，交互服务器200可以将语音命令转换为文本信息，然后通过分析产生的文本信息来提取命令元素。然后，交互服务器200可以基于提取的命令元素来产生与用户的语音命令相应的响应信息。关于从被转换为数字信号的语音命令产生文本信息是已知的技术；因此，在本描述中将省略其详细描述。

另一方面，可能在用户的语音命令内存在包括用于执行用户请求的操作的核心关键字的命令元素。提取的命令元素可以按照目的区域（域）、目的功能（用户动作）和主要特征（特征）来被分类。如上所述，如果产生关于“今天天气怎样？”的用户的语音命令的文本信息，则交互服务器200可以提取“今天”、“天气”和“怎样？”的命令元素。此后，交互服务器200可以将“今天”和“天气”分类为用于主要特征的命令元素（在下文中，被称为第一命令元素），并且可以将“怎样？”分类为用于目的功能的命令元素（在下文中，被称为第二命令元素）。此外，交互服务器200可以基于提取的命令元素将用于目的区域的命令要素（在下文中，被称为第三命令元素）分类为属于网络搜索的域。在针对用户的语音命令从文本信息分类第一命令要素至第三命令要素之后，从提供各种内容的外部服务器（未示出）向交互服务器200提供天气信息，交互服务器200产生包括天气信息的响应信息，并且将响应信息发送到显示设备100。因此，显示设备100可以基于从交互服务器200接收到的响应信息通过语音和文本中的至少一种来显示今天的天气信息。

另一方面，如图2所示，上述的交互服务器200可以包括第一服务器10和第二服务器20，该第一服务器10将已经被转换为数字信号的用户的语音命令转换为文本信息，该第二服务器20产生与已经被转换为文本信息的语音命令相应的响应信息。在下文中，将详细地描述通过显示设备100以及第一服务器10和第二服务器20来提供适用于用户的语音命令的响应信息的交互系统。

图2是示出根据本公开的另一个实施例的提供适合于用户的语音命令的响应信息的交换系统的第二视图。

如图2所示，如果输入了用户的语音命令，则显示设备100将输入的语音命令转换为数字信号，然后将数字信号发送到第一服务器10。在接收到被转换为数字信号的语音命令之后，第一服务器10根据各种语音命令的预先存储的特定模式来产生关于所述语音命令的文本信息，然后将文本信息发送到显示设备100。

从第一服务器10接收到关于用户的语音命令的文本信息的显示设备100将关于用户的语音命令的文本信息发送到第二服务器20。

在一些示例实施例中，第一服务器10将文本信息直接发送到第二服务器20。

接收到关于语音命令的文本信息的第二服务器20可以通过分析接收到的文本信息来提取命令元素，可以基于提取的命令元素来产生用于执行与用户的语音命令相应的操作的响应信息，然后可以将响应信息发送到显示设备100。

迄今为止，已经描述了根据本公开的实施例的由显示设备100和交互服务器200构成的交互系统提供与用户的语音命令相应的响应信息的操作。在下文中，将进一步详细地描述上述的显示设备100和交互服务器200中的每一个的构造。

图3是示出根据本公开的实施例的交互服务器200的框图。

如图3所示，交互服务器200包括通信单元210、语音处理单元220、存储单元230、提取单元240和控制器250。

通信单元210与显示设备100通信，以接收语音命令。特别地，通信单元210可以接收与包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令相应的数字信号。这里，第一命令元素是用户的语音命令内的被分类为主要特征的命令元素。如果第一命令元素是基于在显示设备100的屏幕上显示的对象的显示状态确定的命令元素，则第一命令元素可以是表示目标的命令元素。换句话说，第一命令元素可以是通过代词、序数和方向中的至少一个表示目标的命令元素。然后，第二命令元素是用户的语音命令内的被分类为对象功能的命令元素。对象功能在本文中也被称为执行命令。

例如，如果语音命令是“执行这个”，则“这个”可以变成表示代词的第一命令元素，并且，“执行”可以变成表示执行命令的第二命令元素。在接收到与包括第一命令元素和第二命令元素的语音命令相应的数字信号之后，语音处理单元220将接收到的语音命令转换为文本信息。根据实施例，语音处理单元220可以通过使用语音到文本（STT）算法来将接收到的语音命令转换为文本。但是，本公开并不局限于此。通信单元210可以从显示设备100接收关于用户的语音命令的文本信息。在这种情况下，显示设备100从上述的第一服务器10接收关于输入的语音命令的文本信息，然后将文本信息发送到交互服务器200。因此，通信单元210可以从显示设备100接收关于用户的语音命令的文本信息。在从显示设备100接收与用户的语音命令相应的文本信息的情况中，可以省略上述的语音处理单元220。

如上所述，如果语音命令被转换为文本信息，或者，如果从显示设备100接收到与用户的语音命令相应的文本信息，则提取单元240从存储单元230提取与第一命令元素相应的指示符和与第二命令元素相应的命令字。这里，存储单元230是存储操作交互服务器200所需的各种程序的存储介质，并且可以被实现为存储器、硬盘驱动器（HDD）等。例如，存储单元230可以包括存储程序并执行稍后描述的控制器250的操作的ROM、根据控制器250的操作来临时地存储数据的RAM等。另外，存储单元230还可以包括存储各种参考数据的电可擦可编程ROM（EEPROM）等。特别地，存储单元230可以存储多个指示符和多个命令字。这里，多个指示器和多个命令字是处于可以被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素执行操作的执行信息。详细地说，指示符是相对地指在显示设备100的屏幕上显示的对象中的目标的执行字。换句话说，指示符是处于能够被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素中的诸如代词、序数和方向的表示目标的第一命令元素来执行操作的执行字。

因此，存储单元230可以存储如表1所示的其中表示目标的第一命令元素中的每一个与指示符匹配的表。

第一命令元素	指示符
		这个	$这个$
下一个	$这个$+1
		第三个	$第三个$

<表1>

如表1所示，与第一命令元素“这个”相应的指示符可以是“$这个$”，与第一命令元素“下一个”相应的指示符可以是“$这个$+1”，并且，与第一命令元素“第三个”相应的指示符可以是“$第三个$”。

然后，在存储单元230中存储的多个命令字是处于可以被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素中的表示执行命令的第二命令元素来执行操作的执行信息。

因此，存储单元230可以存储如表2所示的其中表示执行命令的第二命令元素中的每一个与命令字匹配的表。

第二命令元素	命令字
		执行	执行
示出，什么（信息输出）	示出

<表2>

如表2所示，与第二命令元素“执行”相应的命令字可以是“执行”，并且，与第二命令元素“示出”和“什么”相应的命令字可以是“示出”。

如表1和2所示，存储单元230可以存储用于表示目标的第一命令元素中的每一个的指示符和用于表示执行命令的第二命令元素中的每一个的命令字。因此，提取单元240可以从通过语音处理单元220被转换为文本信息的用户的语音命令提取第一命令元素和第二命令元素，然后可以从存储单元230提取与提取的第一命令元素和第二命令元素相应的指示符和命令字。

控制器250通过组合与从提取单元240提取的第一命令元素和第二命令元素相应的指示符和命令字来产生与用户的语音命令相应的响应信息，然后通过通信单元210将响应信息发送到显示设备100。例如，如果用户的语音命令是“执行这个”，则提取单元240可以提取表示目标“这个”的第一命令元素和表示执行命令“执行”的第二命令元素。在提取第一命令元素和第二命令元素之后，提取单元240从存储单元230提取与提取的第一命令元素和第二命令元素相应的指示符和命令字。换句话说，提取单元240可以基于表1和表2提取与表示目标“这个”的第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”。

如上所述，在提取了与第一命令元素和第二命令元素相应的指示符和命令字之后，控制器250通过组合提取的指示符和命令字来产生执行命令脚本。换句话说，控制器250可以通过组合与第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”来产生执行命令脚本“执行（$这个$）”。

又例如，如果用户的语音命令是“执行第三个”，则提取单元240可以提取表示目标“第三个”的第一命令元素和表示执行命令“执行”的第二命令元素。在提取了第一命令元素和第二命令元素之后，提取单元240从存储单元230提取与第一命令元素和第二命令元素相应的指示符和命令字。换句话说，提取单元240可以基于表1和表2提取与表示目标“第三个”的第一命令元素相应的指示符“$第三个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”。

在提取了与第一命令元素和第二命令元素相应的指示符和命令字之后，控制器250通过组合提取的指示符和命令字来产生执行命令脚本。换句话说，控制器250可以通过组合与第一命令元素相应的指示符“$第三个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”来产生执行命令脚本“执行（$第三个$）”。

又例如，如果用户的语音命令是“执行下一个”，则提取单元240可以提取表示目标“下一个”的第一命令元素和表示执行命令“执行”的第二命令元素。在提取了第一命令元素和第二命令元素之后，提取单元240从存储单元230提取与提取的第一命令元素和第二命令元素相应的指示符和命令字。换句话说，提取单元240可以基于表1和表2提取与表示目标“下一个”的第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”。

在提取了与第一命令元素和第二命令元素相应的指示符和命令字之后，控制器250通过组合提取的指示符和命令字来产生执行命令脚本。换句话说，控制器250可以通过组合与表示目标“下一个”的第一命令元素相应的指示符“$这个$+1”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”来产生执行命令脚本“执行（$这个$+1）”。

在产生执行命令脚本之后，控制器250将包括产生的执行命令脚本的响应信息发送到显示设备100。因此，显示设备100可以基于在从交互服务器200接收到的响应信息中包括的执行命令脚本来选择在屏幕上显示的对象中的与用户所指的目标相应的对象，然后可以显示选择的对象。

在下文中，将详细地描述基于在显示设备100的屏幕上显示的对象的显示状态由用户说出的包括第一命令元素和第二命令元素的语音命令。

图4是示出根据本公开的实施例的基于在显示设备的屏幕上显示的对象的显示状态说出的语音命令的视图。

如图4所示，显示设备100可以通过用户请求的频道接收内容410，然后可以显示内容410。此外，显示设备100可以基于通过遥控器输入的用户命令或者用户的语音命令来在屏幕上显示用户请求的内容的内容列表420。如图4所示，可以在内容列表420中显示关于先前已经广播的第一内容的内容信息421至425。用户可以发出命令给显示设备100，以便通过参考在内容列表420中指示的系列内容信息421至425来观看与特定的一期或一集相应的第一内容。例如，用户可以说出“执行这个”以便观看与第一期内容信息421相应的第一内容，或者可以说出“执行第三个”以便观看与第三期内容信息423相应的第一内容。

如上所述，用户可以发出包括第一命令元素和第二命令元素的语音命令，该第一命令元素表示用户想从在显示设备100的屏幕上显示的内容列表420观看的一期的第一内容（目标），该第二命令元素表示用于观看第一内容的相应的一期的执行命令。因此，在从存储单元230提取了与语音命令中包括的第一命令元素和第二命令元素相应的指示符和命令字之后，控制器250可以通过组合提取的指示符和命令字来产生执行命令脚本。

根据本公开的另外的方面，提取单元240确定在第一命令元素中是否存在请求信息。如果存在请求信息，则提取单元240提取与请求信息相应的命令字。此后，控制器250可以基于提取的命令字将与请求信息相应的内容信息添加到响应信息，然后可以将响应信息发送到显示设备100。为此，存储单元230还可以存储用于请求信息的命令字。例如，“详细信息”的请求信息可以与命令字“详细信息”相应地存储。“标题”的请求信息可以与命令字“标题”相应地存储。

例如，如果用户的语音命令是“这个标题是什么？”，则提取单元240可以提取第一命令元素“这个”和“标题”以及表示执行命令“什么”的第二命令元素。这里，提取的第一命令元素“这个”是表示目标的命令元素，并且，第一命令元素“标题”可以是表示请求信息的命令元素。在提取了第一命令元素和第二命令元素之后，提取单元240可以从存储单元230提取与第一命令元素“这个”相应的指示符“$这个$”、与第一命令元素“标题”相应的命令字“标题”、以及与第二命令元素“什么”相应的命令字“示出”。在提取了与第一命令元素和第二命令元素相应的指示符和命令字之后，控制器250通过组合提取的指示符和命令字来产生执行命令脚本。换句话说，控制器250可以通过组合与表示目标“这个”的第一命令元素相应的指示符“$这个$”、与表示请求信息“标题”的第一命令元素相对应的命令字“标题”、以及与表示执行命令“什么”的第二命令元素相应的命令字“示出”来产生执行命令脚本“在（$这个$）处的示出（标题）”。

在产生了执行命令脚本之后，控制器250确定产生的执行命令脚本是否包括表示请求信息的命令字。如果执行命令脚本包括表示请求信息的命令字，则控制器250基于在存储单元230中存储的与显示设备100的对话历史信息来确定是否获得了与请求信息相应的内容信息。例如，控制器250可以基于在“这个标题是什么？”的用户的语音命令之前接收到的“给我示出动作电影”的语音命令，来将包括关于动作电影的内容信息的响应信息发送到显示设备100。此后，如先前所述的，如果产生了包括表示请求信息的命令字的执行命令脚本，则控制器250可以从在存储单元230中存储的电子节目指南（EPG）信息获得关于相应内容的标题信息，或者，可以基于先前的对话历史信息来通过外部服务器（未示出）来接收标题信息。此后，控制器250可以产生包括预先产生的执行命令脚本和标题信息的响应信息，然后可以将响应信息发送到显示设备100。

但是，本公开并不局限于此。控制器250可以将关于包括表示请求信息的命令字的执行命令脚本的响应信息发送到显示设备100。在这种情况下，显示设备100可以通过解释从交互服务器200接收到的响应信息中包括的执行命令脚本，来选择在屏幕上显示的对象中的与由指示符所指的目标相应的对象，然后可以针对选择的对象执行与命令字相应的操作。因此，显示设备100可以从预先存储的EPG信息获得与选择的对象相应的内容的标题信息或者通过外部服务器（未示出）接收标题信息，然后可以输出标题信息。

根据本发明的另外的方面，在存储单元230中存储的指示符可以是在显示设备100的屏幕上显示的对象的唯一识别信息。在这种情况下，提取单元240基于显示设备100的对话历史来确定从用户的语音命令提取的第一命令元素所指的目标，然后可以提取与确定的目标相应的唯一识别信息作为指示符。

详细地说，显示设备100和交互服务器200可以共享关于在显示设备100的屏幕上显示的内容的唯一识别信息。这里，唯一识别信息是用来识别当前正在在显示设备100中显示的内容和将根据用户的请求被提供的内容的信息。例如，如图4所示，显示设备100可以在其屏幕上显示内容410和包括系列内容信息421至425的内容列表420。在这种情况下，内容410可以被赋予表示内容当前正在被显示的唯一识别信息（#1234），并且，内容列表420可以被赋予与当前正在被显示的内容410不同的唯一识别信息（#5678）。

因此，如果从用户的语音命令提取了第一命令元素和第二命令元素，则提取单元240可以从提取的命令元素中的第一命令元素确定所指的目标，可以从存储单元230获得与确定的目标相应的唯一识别信息，并且可以将唯一识别信息确定为指示符。例如，如果语音命令是“执行这个”，则提取单元240可以提取第一命令元素“这个”。在提取了第一命令元素之后，提取单元240可以从存储单元230提取与第一命令元素“这个”相应的指示符“$这个$”。在提取了指示符之后，提取单元240可以通过提取的指示符理解，由第一命令元素所指的目标不同于当前在显示设备100的屏幕上显示的内容210。因此，提取单元240可以将与第一命令元素“这个”相应的指示符“$这个$”转换为唯一识别信息（#5678）。

如果语音命令是“我正在观看的东西的标题是什么？”，提取单元240可以提取第一命令元素“我正在观看的东西”。如上所述，在提取了第一命令元素之后，提取单元240可以从存储单元230提取与第一命令元素“我正在观看的东西”相应的指示符“$示出内容$”。在提取了指示符之后，提取单元240可以通过提取的指示符理解，由第一命令元素所指的目标是当前在显示设备100的屏幕上显示的内容。因此，提取单元240可以将与第一命令元素“我正在观看的东西”相应的指示符“$示出内容$”转换为唯一识别信息（#1234）。

已经详细地描述了根据本公开的实施例的交互服务器200的构造。在下文中，将详细地描述接收用户的语音命令的显示设备100的构造。

图5是示出根据本公开的实施例的显示设备的框图。

如图5所示，显示设备100包括输入单元110、通信单元120、显示单元130和控制器140。

输入单元110接收用户说出的语音命令。详细地说，如果语音命令以模拟信号的形式被输入，则输入单元110通过对输入的语音命令进行采样来将语音命令转换为数字信号。此时，如果输入的语音命令包括噪声（例如，空调声音、真空吸尘器声音等），则输入单元110可以去除噪声，然后可以将去除了噪声的语音命令转换为数字信号。另外，输入单元110可以执行接收用户的各种操作并将其传送到控制器140的功能。在这种情况下，输入单元110可以通过触摸板，被设置有各种功能键、数字键、特殊键和字符键等的键区，或者触摸屏来接收用户的操作命令。

通信单元120将通过输入单元110输入的语音命令发送到服务器设备（在下文中，被称为交互服务器200），并且，接收与发送的语音命令相应的响应信息。这里，通信单元120可以包括各种通信模块，例如，局域无线通信模块（未示出）、无线通信模块（未示出）等。这里，局域无线通信模块（未示出）是用来与位于近距离的交互服务器200和提供内容的外部服务器（未示出）执行无线通信的通信模块，可以是例如蓝牙、Zigbee等。无线通信模块是根据诸如Wi-Fi、IEEE等的无线通信协议通过与外部网络连接来执行通信的模块。另外，无线通信模块还可以包括根据各种移动通信标准（诸如第三代（3G）、第三代伙伴计划（3GPP）、长期演变（LTE）等）通过与移动通信网络连接来执行通信的移动通信模块。

显示单元130可以被实现为液晶显示器（LCD）、有机发光显示器（OLED）、有源矩阵有机发光二极管（AMOLED）、等离子体显示面板（PDP）等，并且，可以显示可通过显示设备100提供的各种屏幕。特别地，显示单元130可以基于从交互服务器200接收到的响应信息来显示与语音命令相应的内容或内容信息。

控制器140控制显示设备100的整体构造。特别地，如果从交互服务器200接收到包括通过组合指示符和命令字而产生的执行命令脚本的响应信息，则控制器140基于在显示单元130的屏幕上显示的对象的显示状态来选择由指示符所指的目标。此后，控制器140针对选择的目标执行与命令字相应的操作。

详细地说，如图4所示，显示设备100可以根据控制器140的控制命令通过用户请求的频道接收内容410并显示内容410。此外，显示设备100可以基于通过遥控器输入的用户命令或者用户的语音命令来在其屏幕上显示用户请求的内容的内容列表420。此外，显示设备100可以基于预设的条件突显内容列表420中显示的系列内容信息421至425中的第一期内容信息421。换句话说，当包括系列内容信息421至425的内容列表420被最初显示在显示设备100的屏幕上时，显示设备100可以突显放置在最上面的第一期内容信息421，使得可以基于预设的条件来优先地选择它。

用户可以通过参考在内容列表420中显示的系列内容信息421至425来发出用于观看与特定的一期相应的第一内容的语音命令。例如，用户可以说出“执行这个”，以便观看与第一期内容信息421相应的第一内容。因此，显示设备100可以接收语音命令“执行这个”。如上所述，根据本公开的实施例的显示设备100可以接收包括第一命令元素和第二命令元素的语音命令，该第一命令元素表示指在屏幕上显示多个对象的状态中的多个对象之一的目标，该第二命令元素表示用于执行相应的目标的执行命令。这里，第一命令元素可以通过代词、序数和方向中的至少一个来表示目标。例如，语音命令“执行这个”可以包括通过代词表示目标的第一命令元素，并且，语音命令“执行第三个”可以包括通过序数来表示目标的第一命令元素。

如果包括表示目标的第一命令元素和表示用于执行相应的目标的执行命令的第二命令元素的语音命令被输入，则通信单元120将输入的语音命令发送到交互服务器200。接收到语音命令的交互服务器200提取与接收到的语音命令中包含的第一命令元素和第二命令元素相应的指示符和命令字，并且通过组合提取的指示符和命令字来产生执行命令脚本。如上述的实施例中描述的，如果接收到了语音命令“执行这个”，则交互服务器200提取与表示目标“这个”的第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”。此后，交互服务器200通过组合提取用来与第一命令元素和第二命令元素相应的指示符和命令字来产生执行命令脚本。换句话说，交互服务器200组合与第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”，从而产生执行命令脚本“执行（$这个$）”。交互服务器200产生包括执行命令脚本“执行（$这个$）”的响应信息，然后将响应信息发送到显示设备100。

如果接收到响应信息，则控制器140可以通过解释在接收到的响应信息中包括的执行命令脚本来执行与语音命令相应的操作。如上述的实施例中描述的，如果接收到包括执行命令脚本“执行（$这个$）”的响应信息，则控制器140选择在屏幕上显示的对象中的一个并通过解释执行命令脚本来针对选择的对象进行执行。详细地说，控制器140通过解释执行命令脚本来分离指示符和命令字。换句话说，控制器140可以从执行命令脚本“执行（$这个$）”分离作为指示符的“$这个$”和作为命令字的“执行”。

如上所述，如果从执行命令脚本分离出指示符和命令字，则控制器140可以基于分离的指示符选择在屏幕上显示的多个对象中的一个。如图4所示，显示单元130可以显示通过用户请求的频道接收到的内容410和包括用于用户请求的第一内容的系列内容信息421至425的内容列表420。此外，显示单元130可以基于预设的条件突显内容列表420中包括的系列内容信息421至425中的第一期内容信息421。换句话说，当显示单元130最初在屏幕上显示包括系列内容信息421至425的内容列表420时，显示单元130可以突显放置在最上面的第一期内容信息421，使得可以基于预设的条件来优先地选择它。在第一期内容信息421被突显的状态下，如果通过输入单元110输入了用户的操作命令，则显示单元130可以突显与用户的输入的操作命令相应的内容信息（除了第一期内容信息421以外的其余的系列内容信息422至425中的一个）。在这种情况下，可以这样设置，使得与用户的操作命令相应的被突显的内容信息被优先地选择。

因此，如果从执行命令脚本分离的指示符是“$这个$”，则控制器140可以确定指的是当前突显的内容信息。换句话说，如图4所示，当第一期内容信息421被突显时，控制器140可以基于指示符“$这个$”来选择突显的第一期内容信息421。如上所述，在选择了第一期内容信息421之后，控制器140可以基于从执行命令脚本分离的命令字“执行”来从外部服务器（未示出）接收与选择的第一期内容信息421相应的第一内容并显示所述第一内容。

如上述的实施例中描述的，交互服务器200可以从语音命令“执行第三个”产生包括执行命令脚本“执行（$第三个$）”的响应信息，然后可以将响应信息发送到显示设备100。在接收到响应信息之后，控制器140通过解释在接收到的响应信息中包括的执行命令脚本来分离指示符和命令字。换句话说，控制器140可以从执行命令脚本“执行（$第三个$）”分离作为指示符的“$第三个$”和作为命令字的“执行”。另一方面，如图4所示，当第一期内容信息421被突显时，控制器140可以基于指示符“$第三个$”来选择位于从突显的第一期内容信息421算起的第三个的第三期内容信息423。如上所述，如果选择了第三期内容信息423，控制器140可以基于从执行命令脚本分离的命令字“执行”来从外部服务器（未示出）接收与选择的第三期内容信息423相应的第一内容并显示所述第一内容。

已经详细地描述了根据本公开的显示设备100的构造，该显示设备100识别语音命令并基于与识别的语音命令相应的响应信息来执行操作。在下文中，将详细地描述用来提供与用户语音命令相应的响应信息的交互服务器200和基于响应信息来执行操作的显示设备100的控制方法。

图6是用于解释根据本公开的实施例的交互服务器的控制方法的流程图。

如图6所示，交互服务器200接收包括表示目标的第一命令元素和表示执行命令的第二命令元素的语音命令（S610）。这里，语音命令是从语音信号的模拟形式转换为数字信号的语音信号。第一命令元素是语音命令内的被分类为主要特征的命令元素。如果第一命令元素是基于在显示设备100的屏幕上显示的对象的显示状态确定的命令元素，则第一命令元素可以是表示目标的命令元素。换句话说，第一命令元素可以是通过代词、序数和方向中的至少一个来表示目标的命令元素。然后，第二命令元素可以是语音命令内的被分类为执行命令的命令元素。

例如，在语音命令“执行这个”情况中，“这个”可以是表示代词的第一命令元素，并且，“执行”可以是表示执行命令的第二命令元素。如果接收到关于包括第一命令元素和第二命令元素的语音命令的数字信号，则交互服务器200将接收到的语音命令转换为文本信息（S620）。根据实施例，交互服务器200可以通过使用语音到文本（STT）算法来将接收到的语音命令转换为文本。但是，本公开并不局限于此。交互服务器200可以从显示设备100接收关于语音命令的文本信息。在这种情况下，显示设备100从诸如上述的第一服务器10的AST服务器接收关于输入的语音命令的文本信息，然后将文本信息发送到交互服务器200。因此，交互服务器200可以从显示设备100接收关于语音命令的文本信息。

如上所述，如果语音命令被转换为文本信息，或者，从显示设备100接收到关于语音命令的文本信息，则交互服务器200从被转换为文本信息的语音命令提取与第一命令元素相应的指示符和与第二命令元素相应的命令字（S630）。详细地说，交互服务器200可以存储多个指示符和多个命令字。这里，多个指示符和命令字是具有能够被显示设备100解释的形式且允许显示设备100执行操作的执行信息。更加详细地说，指示符可以是相对地指在显示设备100的屏幕上显示的对象中的目标的执行字。换句话说，指示器是具有能够被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素中的表示目标的第一命令元素（诸如代名词、序数和方向）来执行操作的执行字。然后，命令字是具有能够被显示设备100解释的形式且允许显示设备100基于从用户的语音命令提取的命令元素中的表示执行命令的第二命令元素来执行操作的执行信息。因此，交互服务器200可以存储其中表示目标的第一命令元素与指示符匹配并且表示执行命令的第二命令元素与命令字匹配的表，如上面的表1和2所示。因此，交互服务器200可以从预先存储的表提取与第一命令元素和第二命令元素相应的指示符和命令字。

在提取了与第一命令元素和第二命令元素相应的指示符和命令字之后，交互服务器200通过组合提取的指示符和命令字来产生与语音命令相应的响应信息，然后将响应信息发送到显示设备100（S640）。

例如，如果用户的语音命令是“执行这个”，则交互服务器200可以提取表示目标“这个”的第一命令元素和表示执行命令“执行”的第二命令元素。在提取了第一命令元素和第二命令元素之后，交互服务器200从预先存储的表提取与第一命令元素和第二命令元素相应的指示符和命令字。换句话说，交互服务器200可以提取与表示目标“这个”的第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”，如表1和2所示。此后，交互服务器200可以通过组合提取的指示符和命令字来产生执行命令脚本“执行（$这个$）”。

又例如，如果用户的语音命令是“执行第三个”，则交互服务器200可以提取表示目标“第三个”的第一命令元素和表示执行命令“执行”的第二命令元素。在提取了第一命令元素和第二命令元素之后，交互服务器200从预先存储的表提取与第一命令元素和第二命令元素相应的指示符和命令字。换句话说，交互服务器200可以提取与表示目标“第三个”的第一命令元素相应的指示符“$第三个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”，如表1和2所示。此后，交互服务器200可以通过组合提取的指示符和命令字来产生执行命令脚本“执行（$第三个$）”。

在产生了执行命令脚本之后，交互服务器200产生包括产生的执行命令脚本的响应信息，然后将该响应信息发送到显示设备100。因此，显示设备100可以基于在从交互服务器200接收到的响应信息中包括的执行命令脚本来选择在屏幕上显示的对象中的与用户所指的目标相应的对象，然后可以显示选择的对象。

交互服务器200确定在第一命令元素中是否存在请求信息。如果存在请求信息，则交互服务器200提取与请求信息相应的命令字。此后，交互服务器200可以基于提取的命令字将与请求信息相应的内容信息添加到响应信息，然后可以将响应信息发送到显示设备100。为此，交互服务器200还可以存储其中请求信息与命令字中的每一个匹配的表。例如，交互服务器200可以存储与命令字“详细信息”匹配的请求信息“详细信息”和与命令字“标题”匹配的请求信息“标题”。

例如，如果用户的语音命令是“这个的标题是什么？”，则交互服务器200可以提取第一命令元素“这个”和“标题”以及表示执行命令“什么”的第二命令元素。这里，提取的第一命令元素“这个”是表示目标的命令元素，并且，第一命令元素“标题”可以是表示请求信息的命令元素。在提取了第一和第二命令元素之后，交互服务器200可以通过参考预先存储的表来提取与第一命令元素“这个”相应的指示符“$这个$”、与第一命令元素“标题”相应的命令字“标题”以及与第二命令元素“什么”相应的命令字“示出”。在提取了与第一命令元素和第二命令元素相应的指示符和命令字之后，交互服务器200可通过组合提取的指示符和命令字来产生执行命令脚本“在（$这个$）处示出（标题）”。

在产生了执行命令脚本之后，交互服务器200确定产生的执行命令脚本是否包括表示请求信息的命令字。根据确定结果，如果在执行命令脚本中存在命令字，则交互服务器200基于预先存储的与显示设备100的对话历史信息来确定是否获得与请求信息相应的内容信息。例如，交互服务器200可以基于在“这个的标题是什么？”的用户的语音命令之前接收到的“给我示出动作电影”的语音命令，来产生包括关于动作电影的内容信息的响应信息，并且可以将该响应信息发送到显示设备100。此后，如果接收到“这个的标题是什么？”的用户的语音命令，则交互服务器200通过先前描述的步骤来产生该语音命令的执行命令脚本。此后，如果在预先产生的执行命令脚本中包括关于请求信息的命令字，则交互服务器200可以从电子节目指南（EPG）信息获得关于相应内容的标题信息，或者，可以基于预先存储的与显示设备100的对话历史信息来从外部服务器（未示出）接收标题信息。此后，交互服务器200可以产生包括预先产生的执行命令脚本和标题信息的响应信息，然后可以将响应信息发送到显示设备100。

但是，本公开并不局限于此。交互服务器200可以将关于包括表示请求信息的命令字的执行命令脚本的响应信息发送到显示设备100。在这种情况下，显示设备100可以通过解释从交互服务器200接收到的响应信息中包括的执行命令脚本，来选择在屏幕上显示的对象中的与指示符所指的目标相应的对象，然后可以针对选择的对象执行与命令字相应的操作。因此，显示设备100可以从预先存储的EPG信息获得与选择的对象相应的内容的标题信息或者通过外部服务器（未示出）接收标题信息，然后可以输出标题信息。

另一方面，根据本发明的另外的方面，在交互服务器200中存储的指示符可以是在显示设备100的屏幕上显示的对象的唯一识别信息。这里，唯一识别信息是用来识别当前正在在显示设备100中显示的内容和将根据用户的请求被提供的内容的信息。例如，如图4所示，显示设备100可以在其屏幕上显示内容410和包括系列内容信息421至425的内容列表420。在这种情况下，内容410可以被赋予表示当前正在被显示的内容的唯一识别信息（#1234），并且，内容列表420可以被赋予与当前正在被显示的内容410不同的唯一识别信息（#5678）。

因此，如果从语音命令提取了第一命令元素和第二命令元素，则交互服务器200可以从提取的命令元素中的第一命令元素确定所指的目标，可以从预先存储的唯一识别信息获得与确定的目标相应的唯一识别信息，然后可以确定唯一识别信息作为指示符。例如，如果语音命令是“执行这个”，则交互服务器200可以提取第一命令元素“这个”。在提取了第一命令元素之后，交互服务器200可以通过第一命令元素提取预先存储的指示器中的与第一命令元素“这个”相应的指示符“$这个$”。在提取了指示符之后，交互服务器200可以通过提取的指示符理解，由第一命令元素所指的目标不同于当前在显示设备100的屏幕上显示的内容210。因此，交互服务器200可以将与第一命令元素“这个”相应的指示符“$这个$”转换为唯一识别信息（#5678）。

在下文中，将详细地描述用来基于与用户的语音命令相应的响应信息来执行操作的显示设备100的控制方法。

图7是用于解释根据本公开的实施例的显示设备的控制方法的流程图。

如图7所示，显示设备100接收语音命令（S710）。如果输入了语音命令，则显示设备100将输入的语音命令发送到交互服务器200（S720）。

详细地说，语音命令以模拟信号的形式被输入，并且，显示设备100确定输入的语音命令是否包括噪声（S712）。如果语音命令包括噪声，则显示设备100可以从语音命令去除噪声（S714）。当语音命令不具有噪声时（例如，在S712处的“否”），或者，在S714处去除了噪声之后，然后语音命令被转换为数字信号（S716）。

在语音命令被转换为数字信号之后，显示设备100将被转换为数字信号的语音命令发送到交互服务器200（S720），然后，从交互服务器200接收与该语音命令相应的响应信息（S730）。如果接收到响应信息，则显示设备100基于在屏幕上显示的对象的显示状态来选择响应信息中包含的指示符所指的目标（S732），然后，针对选择的目标来执行与响应信息中包含的命令字相应的操作（S740）。

详细地说，如图4所示，显示设备100可以通过用户请求的频道来接收内容并显示该内容。此外，显示设备100可以基于通过遥控器输入的用户命令或者用户的语音命令来在其屏幕上显示用户请求的内容的内容列表420。此外，显示设备100可以基于预设的条件突显在内容列表420中显示的系列内容信息421至425中的第一期内容信息421。换句话说，当包括系列内容信息421至425的内容列表420被最初显示在显示设备100的屏幕上时，显示设备100可以突显放置在内容列表420最上面的第一期内容信息421，使得可以基于预设的条件来优先地选择它。

用户可以说出“执行这个”，以便观看与在内容列表420中显示的第一期内容信息421相应的第一内容。因此，显示设备100可以接收“执行这个”的用户的语音命令。如上所述，根据本公开的实施例的显示设备100可以接收包括第一命令元素和第二命令元素的语音命令，该第一命令元素表示指在屏幕上显示多个对象的状态中的多个对象之一的目标，该第二命令元素表示用于执行相应的目标的执行命令。这里，第一命令元素可以通过代词、序数和方向中的至少一个来表示目标。例如，语音命令“执行这个”可以包括通过代词表示目标的第一命令元素，并且，语音命令“执行第三个”可以包括通过序数来表示目标的第一命令元素。

如果包括表示目标的第一命令元素和表示用于执行相应的目标的执行命令的第二命令元素的语音命令被输入，则显示单元100将输入的语音命令转换为数字信号，然后将该数字信号发送到交互服务器200。因此，交互服务器200提取与接收到的语音命令中包含的第一命令元素和第二命令元素相应的指示符和命令字，并且通过组合提取的指示符和命令字来产生执行命令脚本。如上述的实施例中描述的，如果接收到语音命令“执行这个”，则交互服务器200提取与表示目标“这个”的第一命令元素相应的指示符“$这个$”和与表示执行命令“执行”的第二命令元素相应的命令字“执行”。交互服务器200通过组合提取用来与第一命令元素和第二命令元素相应的指示符和命令字来产生执行命令脚本“执行（$这个$）”。然后，交互服务器200产生包括执行命令脚本“执行（$这个$）”的响应信息，然后将该响应信息发送到显示设备100。

如果接收到响应信息，则显示设备100可以通过解释在接收到的响应信息中包括的执行命令脚本来执行与用户的语音命令相应的操作。如上述的实施例中描述的，如果接收到包括执行命令脚本“执行（$这个$）”的响应信息，则显示设备100可以通过解释执行命令脚本来分离作为指示符的“$这个$”和作为命令字的“执行”。

如上所述，如果指示符和命令字从执行命令脚本分离，则显示设备100可以基于分离的指示符选择在屏幕上显示的多个对象中的一个。如图4所示，显示设备100可以突显指示在内容列表420中包括的系列内容信息421至425中的第一期内容信息421。这里，突显的第一期内容信息421可以是用来选择与用户所指的目标相应的对象的参考。因此，如果从执行命令脚本分离的指示符是“$这个$”，则显示设备100可以确定突显的第一期内容信息421被指示，从而选择第一安装内容信息421。如果选择了第一期内容信息421，则显示设备100可以基于从执行命令脚本分离的命令字“执行”来从外部服务器（未示出）接收与第一期内容信息421相应的第一内容并显示所述第一内容。

又例如，显示设备100可以与“执行下一个”的用户的语音命令相应地从交互服务器200接收包括执行命令脚本“执行（$这个$+1）”的响应信息。在这种情况下，显示设备100可以通过解释在接收到的响应信息中包含的执行命令脚本来分离指示符“$这个$+1”和命令字“执行”。另一方面，如图4所示，如果第一期内容信息421被突显，则显示设备100可以基于指示符“$这个$+1”来选择位于突显的第一期内容信息421的下一个的第二内容信息422。如上所述，如果选择了第二内容信息422，显示设备100可以基于从执行命令脚本分离的命令字“执行”来从外部服务器（未示出）接收与第二期内容信息422相应的第一内容并显示所述第一内容。

虽然已经描述了本公开的实施例，但是，本领域的技术人员在了解本文描述的基本构思之后就可以想到这些实施例的另外的变化和修改。因此，意图是，权利要求应该被解释为包括以上的实施例以及落入本文描述的构思的精神和范围内的所有的这样的变化和修改。

Claims (12)

1.一种交互服务器，包括：

通信单元，执行与显示设备的通信，并接收包括表示目标的第一发音元素和表示执行命令的第二发音元素的语音发音信号；

存储单元，存储多个指示符和多个命令字；

提取单元，从存储单元提取与第一发音元素相应的指示符和与第二发音元素相应的命令字；以及

控制器，通过组合提取的指示符和命令字来产生与语音发音信号相应的响应信息，并且将响应信息发送到显示设备，

其中，第一发音元素是基于在显示设备的屏幕上显示的对象的显示状态确定的发音元素。

2.根据权利要求1所述的交互服务器，其中

第一发音元素包括代词、序数和方向中的至少一个。

3.根据权利要求2所述的交互服务器，其中

提取单元确定第一发音元素是否包括请求信息，并且，如果第一发音元素包括请求信息，则提取单元从存储单元提取与所述请求信息相应的命令字，并且

其中，控制器基于提取的与请求信息相应的命令字来将与请求信息相应的内容信息添加到响应信息。

4.根据权利要求1所述的交互服务器，其中

指示符包括指在显示设备的屏幕上显示的对象中的目标的执行字。

5.根据权利要求1所述的交互服务器，其中

指示符包括在显示设备的屏幕上显示的对象的唯一识别信息；并且

提取单元基于显示设备的对话历史来确定第一发音元素所指的目标，并提取与确定的目标相应的唯一识别信息作为指示符。

6.根据权利要求1所述的交互服务器，还包括：

语音处理单元，将接收到的语音发音信号转换为文本信息。

7.一种交互服务器的控制方法，所述控制方法包括：

从显示设备接收包括表示目标的第一发音元素和表示执行命令的第二发音元素的语音发音信号；

使用处理器来提取与第一发音元素相应的指示符和与第二发音元素相应的命令字；以及

通过组合提取的指示符和命令字来产生与语音发音信号相应的响应信息，并将响应信息发送到显示设备，

其中，第一发音元素是基于在显示设备的屏幕上显示的对象的显示状态确定的发音元素。

8.根据权利要求7所述的控制方法，其中

第一发音元素包括代词、序数和方向中的至少一个。

9.根据权利要求8所述的控制方法，其中

提取与第一发音元素相应的指示符和与第二发音元素相应的命令字的步骤包括：

确定第一发音元素是否包括请求信息；以及

如果第一发音元素包括请求信息，则从存储单元提取与所述请求信息相应的命令字，

将响应信息发送到显示设备的步骤包括：基于提取的命令字，将与请求信息相应的内容信息添加到响应信息。

10.根据权利要求7所述的控制方法，其中

指示符包括指在显示设备的屏幕上显示的对象中的目标的执行字。

11.根据权利要求7所述的控制方法，其中

指示符包括在显示设备的屏幕上显示的对象的唯一识别信息；并且

提取与第一发音元素相应的指示符和与第二发音元素相应的命令字的步骤包括：

基于显示设备的对话历史来确定第一发音元素所指的目标；以及

提取与确定的目标相应的唯一识别信息作为指示符。

12.根据权利要求8所述的控制方法，还包括：

将接收到的语音发音信号转换为文本信息。