CN111742557B

CN111742557B - 显示装置和包括显示装置的系统

Info

Publication number: CN111742557B
Application number: CN201880090020.9A
Authority: CN
Inventors: 闵先基; 李起雄; 李香珍; 张志安; 许承炫; 李在京
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2018-01-08
Filing date: 2018-01-08
Publication date: 2024-01-19
Anticipated expiration: 2038-01-08
Also published as: EP4319174A2; US10901690B2; EP3739892A4; CN111742557A; US20230350639A1; EP4319174A3; US20200341730A1; US20210132901A1; WO2019135433A1; EP3739892A1; US11704089B2

Abstract

根据本发明的实施方式的显示装置可以包括：显示单元，其用于显示内容图像；麦克风，其用于接收用户的语音命令；网络接口单元，其用于与自然语言处理服务器和搜索服务器进行通信；以及控制单元，其用于将接收的所述语音命令发送至所述自然语言处理服务器，从所述自然语言处理服务器接收指示与所述语音命令相对应的用户意图的意图分析结果信息，并且根据接收的所述意图分析结果信息来执行所述显示装置的功能。

Description

显示装置和包括显示装置的系统

技术领域

本公开涉及显示装置和包括该显示装置的系统。

背景技术

使用有线或无线通信网络的数字电视服务正变得越来越普遍。数字电视服务可以提供常规模拟播出服务中无法提供的各种服务。

例如，作为一种数字电视服务的IPTV(互联网协议电视)和智能电视服务提供允许用户主动选择观看节目的类型和观看时间的双向性。IPTV和智能电视服务可以基于此双向性提供各种附加服务，例如互联网搜索、家庭购物和在线游戏。

电视的功能不仅具有诸如信道改变和音量改变之类的基本功能，而且还具有与节目信息相关的功能。

当显示装置根据用户的语音命令同时提供与节目信息相关的功能和基本功能时，可以以复杂的形式构造语音命令。

此外，当接收到甚至请求用于请求适合用户的个人喜好的信息的功能的语音命令时，显示装置难以处理用户的请求。

发明内容

技术问题

本公开的目的是通过处理用于请求关于节目的信息或适合用户个人喜好的信息的语音命令来控制显示装置的操作。

技术方案

根据本公开的实施方式的一种显示装置包括：显示器，其构造成显示内容图像；麦克风，其构造成接收用户的语音命令；网络接口，其构造成与自然语言处理服务器和搜索服务器进行通信；以及控制器，其构造成：将接收的所述语音命令发送至所述自然语言处理服务器，从所述自然语言处理服务器接收指示与所述语音命令相对应的用户意图的意图分析结果信息，并且根据接收的所述意图分析结果信息来执行所述显示装置的功能。

根据本公开的实施方式的一种系统包括：自然语言处理服务器，其构造成生成指示分析语音命令的意图的结果的意图分析结果信息；以及显示装置，其构造成将所述语音命令发送至所述自然语言处理服务器，从所述自然语言处理服务器接收与所述语音命令相对应的所述意图分析结果信息，并根据接收的所述意图分析结果信息来执行所述显示装置的适合所述意图的功能。

发明效果

根据本发明的各种实施方式，即使当复杂的语音命令与关于节目的信息或适合用户个人喜好的信息相关联时，也能够有效地处理语音命令并向用户提供更加改善的服务。

附图说明

图1是示出根据本公开的实施方式的显示装置的构造的框图。

图2是示出根据本公开的实施方式的遥控装置的框图。

图3是示出根据本公开的实施方式的遥控装置的实际构造的视图。

图4是利用根据本公开的实施方式的遥控装置的视图。

图5是示出根据本公开的实施方式的系统的构造的框图。

图6是示出根据本公开的实施方式的系统的详细构造的视图。

图7是示出根据本公开的实施方式的系统的操作方法的梯形图。

图8是示出根据本公开的实施方式的通过语音命令的意图分析而不使用搜索服务器来执行显示装置的功能的实施例的视图。

图9至图13是示出根据本公开的实施方式的通过语音命令的意图分析使用搜索服务器来提供搜索信息的实施例的视图。

具体实施方式

下文中，将参考附图详细描述根据本公开的构造和操作。在参考附图的描述中，相同的部件被赋予相同的附图标记，并且将省略其重复描述。诸如第一和第二之类的术语可以用于描述各个部件，但是这些部件不应受到这些术语的限制。这些术语仅用于将一个部件与其他部件区分开的目的。

下文中，将参考附图详细描述与本公开有关的实施方式。考虑到编写说明书的容易性，以下描述中使用的部件的后缀“模块”和“接口”被分配或混合，并且它们自身没有独特的含义或作用。

根据本公开的实施方式的显示装置(例如，作为将计算机支持功能添加到广播接收功能的人造显示装置)可以具有易于使用的界面，例如书写输入装置、触摸屏，或者在实现广播接收功能的同时添加作为互联网功能的空间遥控装置。于是，在有线或无线互联网功能的支持下，能够在访问互联网和计算机时执行电子邮件、网页浏览、银行业务或游戏功能。为了执行这些各种功能，可以使用标准化的通用OS。

因此，因为在通用OS内核上自由地添加或删除各种应用程序，所以例如本文中描述的显示装置可以执行各种用户友好功能。更详细地，显示装置可以是网络电视、混合广播宽带电视(HBBTV)、智能电视，发光二极管(LED)电视、有机发光二极管(OLED)电视等等，并且在一些情况下，可以应用于智能手机。

图1是示出根据本公开的实施方式的显示装置的构造的框图。

参考图1，显示装置100可以包括广播接收器130、外部装置接口135、存储器140、用户输入接口150、控制器170、无线通信接口173、显示器180、音频输出接口185和电源190。

广播接收器130可以包括调谐器131、解调器132和网络接口133。

调谐器131可以根据信道选择命令来选择特定广播信道。调谐器131可以接收用于所选择的特定广播信道的广播信号。

解调器132可以将接收的广播信号划分为视频信号、音频信号和与播出节目有关的数据信号，并且将划分的视频信号、音频信号和数据信号恢复为输出可用形式。

外部装置接口135可以接收相邻外部装置中的应用程序或应用程序列表，并将其传送至控制器170或存储器140。

外部装置接口135可以提供显示装置100和外部装置之间的连接路径。外部装置接口135可以接收从无线或有线连接至显示装置100的外部装置输出的图像和音频中的至少一者，并将其传送至控制器170。外部装置接口135可以包括多个外部输入端子。多个外部输入端子可以包括RGB端子、至少一个高清晰度多媒体接口(HDMI)端子以及部件端子。

经由外部装置接口135输入的外部装置的图像信号可以经由显示器180输出。经由外部装置接口135输入的外部装置的语音信号可以经由音频输出接口185输出。

可连接至外部装置接口135的外部装置可以是机顶盒、蓝光播放器、DVD播放器、游戏机、条形音箱、智能手机、个人电脑(PC)、通用串行总线(USB)存储器和家庭影院系统中的一者，但这仅是示例。

网络接口133可以提供用于将显示装置100连接至包括互联网网络的有线/无线网络的接口。网络接口133可以通过被访问网络或链接到被访问网络的另一个网络向另一个用户或另一个电子装置发送数据或从另一个用户或另一个电子装置接收数据。

另外，可以将存储在显示装置100中的某些内容数据发送至用户或电子装置，该用户或电子装置选自预注册在显示装置100中的其他用户或其他电子装置。

网络接口133可以经由被访问网络或链接到被访问网络的另一个网络来访问预定网页。换句话说，网络接口133可以通过经由网络访问预定网页来向对应的服务器发送数据或从对应的服务器接收数据。

于是，网络接口133可以接收从内容提供商或网络运营商提供的内容或数据。换句话说，网络接口133可以借助网络来接收从内容提供商或网络提供商提供的诸如电影、广告、游戏、VOD和广播信号之类的内容和与之相关的信息。

此外，网络接口133可以接收从网络运营商提供的固件更新信息和更新文件，并且将数据发送至互联网或内容提供商或网络运营商。

网络接口133可以借助网络从向公众开放的应用程序中选择并接收期望的应用程序。

存储器140可以存储由程序存储的经过信号处理的图像、语音或数据信号，以便在控制器170中进行每个信号处理和控制。

另外，存储器140可以执行用于临时存储从外部装置接口135或网络接口133输出的图像、语音或数据信号的功能，并且可以借助信道存储功能来存储关于预定图像的信息。

存储器140可以存储从外部装置接口135或网络接口133输入的应用程序或应用程序列表。

显示装置100可以播放存储在存储器140中的内容文件(例如，视频文件、静止图像文件、音乐文件、文档文件，应用程序文件等)，并将它们提供给用户。

用户输入接口150可以将用户输入的信号传递给控制器170，或者将信号从控制器170传递给用户。例如，用户输入接口150可以根据诸如蓝牙、超宽带(WB)、ZigBee、射频(RF)和IR之类的各种通信方法来接收或处理诸如来自遥控装置200的电源开闭、信道选择和屏幕设置之类的控制信号或者可以将来自控制器170的控制信号发送至遥控装置200。

另外，用户输入接口150可以将从诸如电源键、信道键、音量键和设置键之类的本地键(未示出)输入的控制信号传递至控制器170。

控制器170中的经图像处理的图像信号可以输入到显示器180并且显示为与对应的图像信号相对应的图像。另外，控制器170中的经图像处理的图像信号可以经由外部装置接口135输入至外部输出装置。

控制器170中处理的语音信号可以输出至音频输出接口185。另外，控制器170中处理的语音信号可以经由外部装置接口135输入至外部输出装置。

除此之外，控制器170可以控制显示装置100中的整体操作。另外，控制器170可以按照经由用户输入接口150输入的用户命令或内部程序来控制显示装置100，并在访问网络过程中将期望的应用程序或应用程序列表下载到显示装置100中。

控制器170可以借助显示器180或音频输出接口185输出用户选择的信道信息以及经过处理的图像或语音信号。

另外，根据经由用户输入接口150接收的外部装置图像回放命令，控制器170可以借助显示器180或音频输出接口185输出经由外部装置接口135输入的诸如照相机或便携式摄像机之类的外部装置的图像信号或语音信号。

此外，控制器170可以控制显示器180显示图像并控制经由调谐器131输入的播出图像、经由外部装置接口135输入的外部输入图像、经由网络接口输入的图像或存储在存储器140中的图像以显示在显示器180上。在这种情况下，显示器180上显示的图像可以是静止图像或视频，也可以是2D图像或3D图像。

另外，控制器170可以播放存储在显示装置100中的内容、接收的播出内容以及从外部输入的外部输入内容，并且该内容可以是诸如播出图像、外部输入图像、音频文件、静止图像、访问的上网屏幕和文档文件之类的各种格式。

无线通信接口173可以与外部电子装置进行有线或无线通信。无线通信接口173可以与外部装置进行短距离通信。为此，无线通信接口173可以通过使用蓝牙、射频识别(RFID)、红外数据协定(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连和无线通用串行总线(USB)技术中的至少一种来支持短距离通信。无线通信接口173可以借助无线局域网支持显示装置100与无线通信系统之间、显示装置100与另一显示装置100之间或包括显示装置100与另一显示装置100(或外部服务器)的网络之间的无线通信。无线局域网可以是无线个人局域网。

在此，另一显示装置100可以是能够与显示装置100交换数据(或互联互通)的移动终端，例如可穿戴装置(例如，智能手表、智能眼镜和头戴式显示器(HMD))或智能手机。无线通信接口173可以检测(或识别)显示装置100周围的可通信可穿戴装置。此外，如果检测到的可穿戴装置是经认证可与显示装置100通信的装置，则控制器170可以经由无线通信接口173将在显示装置100中处理的数据的至少一部分发送至可穿戴装置。因此，可穿戴装置的用户可以经由可穿戴装置来使用在显示装置100中处理的数据。

显示器180可以将在控制器170中处理的图像信号、数据信号或屏幕显示(OSD)信号，或者将在外部装置接口135中接收的图像信号或数据信号转换成R、G和B信号以生成驱动信号。

同时，图1中所示的显示装置100仅是本公开的一个实施方式，因此，根据实际实施的显示装置100的规格，可以集成、添加或省略所示的某些部件。

换句话说，如果需要，可以将两个或更多个部件集成为一个部件，或者可以将一个部件划分为两个或更多个部件并进行构造。另外，由每个框执行的功能是为了描述本公开的实施方式，并且其特定的操作或装置不限制本公开的范围。

根据本公开的另一实施方式，与图1不同，显示装置100可以经由网络接口133或外部装置接口135接收图像并播放它们，而无需包括调谐器131和解调器132。

例如，显示装置100可以划分为图像处理装置(例如用于根据各种网络服务接收广播信号或内容的机顶盒)和内容回放装置(用于播放从图像处理装置输入的内容)。

在这种情况下，下面描述的根据本公开的实施方式的显示装置的操作方法可以由参考图1所描述的显示装置、诸如分离的机顶盒之类的图像处理装置以及包括显示器180和音频输出接口185的内容回放装置中的一者来进行。

然后，参考图2和图3，描述根据本公开的实施方式的遥控装置。

图2是示出根据本公开的实施方式的遥控装置的框图，并且图3是示出根据本公开的实施方式的遥控装置200的实际构造的图。

首先，参考图2，遥控组装200可以包括指纹识别器210、无线通信接口220、用户输入接口230、传感器240、输出接口250、电源260、存储器270、控制器280和语音获取器290。

参考图2，无线通信接口220向根据本公开的上述实施方式的显示装置中的任意一个显示装置发送信号或从该显示装置接收信号。

遥控装置200可以包括：射频(RF)模块221，其用于根据RF通信标准向显示装置100发送信号或从显示装置100接收信号；以及IR模块223，其用于根据IR通信标准向显示装置100发送信号或从显示装置100接收信号。另外，遥控装置200可以包括蓝牙模块225，其用于根据蓝牙通信标准向显示装置100发送信号或从显示装置100接收信号。另外，遥控装置200可以包括：近场通信(NFC)模块227，其用于根据NFC通信标准向显示装置100发送信号或从显示装置100接收信号；以及WLAN模块229，其用于根据无线LAN(WLAN)通信标准向显示装置100发送信号或从显示装置100接收信号。

另外，遥控装置200可以经由无线通信接口220向显示装置100发送包含有关遥控装置200的移动的信息的信号。

此外，遥控装置200可以经由RF模块221接收从显示装置100发送的信号，并且如果需要，可以经由IR模块223向显示装置100发送关于开闭电源、改变信道和改变音量的命令。

用户输入接口230可以构造有键盘按钮、触摸板或触摸屏。用户可以操纵用户输入接口230以将与显示装置100有关的命令输入至遥控装置200。如果用户输入接口230包括硬键按钮，则用户可以借助硬键按钮的按下操作将与显示装置100有关的命令输入至遥控装置200。将参考图3对此进行描述。

参考图3，遥控装置200可以包括多个按钮。多个按钮可以包括指纹识别按钮212、电源按钮231、主页按钮232、实时按钮233、外部输入按钮234、语音调节按钮235、语音识别按钮236、信道改变按钮237、确认按钮238和后退按钮239。

指纹识别按钮212可以是用于识别用户指纹的按钮。根据本公开的实施方式，指纹识别按钮212可以进行按下操作并且接收按下操作和指纹识别操作。电源按钮231可以是用于开闭显示装置100的电源的按钮。主页按钮232可以是用于移动至显示装置100的主屏幕的按钮。实时按钮233可以是用于显示直播节目的按钮。外部输入按钮234可以是用于接收连接至显示装置100的外部输入的按钮。语音调节按钮235可以是用于调节从显示装置100输出的音量的大小的按钮。语音识别按钮236可以是用于接收用户的语音并识别接收到的语音的按钮。信道改变按钮237可以是用于接收特定广播信道的广播信号的按钮。确认按钮238可以是用于选择特定功能的按钮，而后退按钮239可以是用于返回到先前屏幕的按钮。

将再次描述图2。

在用户输入接口230包括触摸屏的情况下，用户可以触摸该触摸屏的软键以将与显示装置100有关的命令输入至遥控装置200。另外，用户输入接口230可以包括用户操纵的各种输入装置(例如，滚动键和摇动键)，并且该实施方式不限制本公开的范围。

传感器240可以包括陀螺仪传感器241或加速度传感器243，并且陀螺仪传感器241可以感测关于遥控装置200的移动的信息。

例如，陀螺仪传感器241可以基于x轴、y轴和z轴感测关于遥控装置200的操作的信息，并且加速度传感器243可以感测关于遥控装置200的移动速度的信息。此外，遥控装置200还可以包括测距传感器，并感测相对于显示装置100的显示器180的距离。

输出接口250可以输出与用户输入接口235的操纵相对应或与从显示装置100发送的信号相对应的图像或语音信号。用户可以经由输出接口250识别是用户输入接口235被操纵还是显示装置100被控制。

例如，在操纵用户输入接口235或经由无线通信接口220向显示装置100发送信号/从显示装置100接收信号的情况下，输出接口250可以包括：用于闪烁的LED模块251；用于产生振动的振动模块253；用于输出声音的声音输出模块255；或用于输出图像的显示模块257。

另外，电源260向遥控装置200供电，并且如果遥控装置200在预定时间内没有移动，则停止供电，从而可以减少电力浪费。如果操纵设置在遥控装置200处的预定键，则电源260可以恢复供电。

存储器270可以存储遥控装置200的控制或操作所需的各种程序和应用程序数据。在遥控装置200经由显示装置100和RF模块221无线发送/接收信号的情况下，遥控装置200和显示装置100经由预定频带发送/接收信号。

遥控装置200的控制器280可以在存储器270中存储关于用于向与遥控装置200配对的显示装置100发送信号/从显示装置100接收信号的频带的信息，并参考该信息。

控制器280控制与遥控装置200的控制有关的一般事项。控制器280可以经由无线通信接口220将与用户输入接口235的预定键操纵相对应的信号或与传感器240感测的遥控装置200的移动相对应的信号发送至显示装置100。

另外，遥控装置200的语音获取器290可以获得语音。

语音获取器290可以包括至少一个麦克风291，并借助该麦克风291获得语音。

接下来，示出图4。

图4是利用根据本公开的实施方式的遥控装置的视图。

图4的(a)示出了显示器180上显示有与遥控装置200对应的指示标205。

用户可以竖直或水平移动或旋转遥控装置200。显示在显示装置100的显示器180上的指示标205对应于遥控装置200的移动。因为对应的指示标205如图所示根据3D空间上的移动而移动和显示，所以遥控装置200可以被称为空间遥控装置。

图4的(b)示出了如果用户移动遥控装置200，则显示在显示装置100的显示器180上的指示标205根据遥控装置200的移动而向左移动。

经由遥控装置200的传感器检测的关于遥控装置200的移动的信息被发送至显示装置100。显示装置100可以根据关于遥控装置200的移动的信息来计算指示标205的坐标。显示装置100可以将指示标205显示成匹配计算出的坐标。

图4的(c)示出当按下遥控装置200中的特定按钮时，用户将遥控装置200从显示器180移开。因此，显示器180中的对应于指示标205的选择区域可以放大并显示得更大。

相反，当用户移动遥控装置200以逼近显示器180时，可以缩小并减小显示器180中的对应于指示标205的选择区域。

另一方面，如果遥控装置200从显示器180移开，则可以缩小选择区域，并且如果遥控装置200靠近显示器180，则可以放大选择区域。

另外，如果按下遥控装置200中的特定按钮，则可以排除对竖直或水平移动的识别。换句话说，如果遥控装置200远离或靠近显示器180移动，则不能识别上、下、左或右的移动，而只能识别前后移动。在未按下遥控装置200中的特定按钮的情况下，指示标205仅根据遥控装置200的上、下、左或右的移动而移动。

此外，指示标205的移动速度或移动方向可以对应于遥控装置200的移动速度或移动方向。

此外，在本说明书中，指示标是指响应于遥控装置200的操作而显示在显示器180上的对象。因此，除了在图中作为指示标205显示的箭头形式之外，各种形式的对象都是可能的。例如，以上概念包括点、光标、提示符以及粗框。然后，可以在显示器180上与水平轴和垂直轴的一个点相对应地显示指示标205，并且也可以与诸如线和面之类的多个点相对应地显示指示标205。

图5是示出根据本公开的实施方式的系统的构造的框图。

参考图5，根据本公开的实施方式的系统可以包括自然语言处理(NLP)服务器10、搜索服务器30以及显示装置100。

NLP服务器10可以基于从显示装置100接收的语音数据进行意图分析。NLP服务器10可以将指示进行意图分析的结果的意图分析结果信息发送至显示装置100。

搜索服务器30可以从显示装置100接收用于请求信息搜索的信息请求消息。

搜索服务器30可以基于信息请求消息搜索特定信息，并将搜索到的搜索信息发送至显示装置100。

除了图1中描述的部件，显示装置100还可以包括NLP客户端50和EPG管理器70。

在另一实施例中，NLP客户端50和EPG管理器70可以被包括在控制器170的构造中。

显示装置100的NLP客户端50可以接收用户的语音命令，并将与接收的语音命令相对应的语音数据发送至NLP服务器10。

显示装置100的NLP客户端50可以从NLP服务器10接收意图分析结果信息，该意图分析结果信息指示关于语音命令进行意图分析的结果。

显示装置100的NLP客户端50可以基于接收的意图分析结果信息自主确定是否能够自主地执行与用户意图相对应的功能。

当确定能够自主地执行与用户意图相对应的功能时，显示装置100的NLP客户端50可以自主地执行与用户意图相对应的功能。

确定显示装置100能够自主地执行与用户意图相对应的功能的情况可以对应于能够使用存储在存储器140中的电子节目指南(EPG)信息来控制显示装置100的功能的情况。

显示装置100的NLP客户端50可以从EPG管理器70请求有关节目的信息。

EPG管理器70可以响应于该请求从EPG信息中提取关于节目的信息，并且将提取的信息发送至NLP客户端50。

显示装置100的NLP客户端50可以在确定不能自主地执行与用户意图相对应的功能时将用于请求适合用户意图的信息的信息请求消息发送至搜索服务器30。

显示装置100的NLP客户端50可以响应于来自搜索服务器30的信息请求消息而接收信息响应消息。

图6是示出根据本公开的实施方式的系统的详细构造的视图。

图6是示出图5的详细构造的视图，因此将省略图5的重复描述。

参考图6，根据本公开的实施方式的系统可以进一步包括声转文(STT)服务器90。

STT服务器90可以将从显示装置100的NLP客户端50接收的语音数据转换成文本数据。STT服务器90可以将转换后的文本数据发送至NLP服务器10。

NLP服务器10可以包括联合代理11、第一服务服务器13和第二服务服务器15。

联合代理11可以控制第一服务服务器13和第二服务服务器15的操作。

第一服务服务器13可以是用于由显示装置100的制造商以外的制造商提供的自然语言处理服务的服务器。

第二服务服务器15可以是用于由显示装置100的制造商提供的自然语言处理服务的服务器。

根据一个实施方式，NLP服务器10可以不包括联合代理11和第一服务服务器13。

显示装置100还可包括语音代理51和渲染器52。

语音代理51和渲染器52也可以被包括在图1中描述的控制器170中。

语音代理51可以从遥控装置200接收用于进入语音识别模式的信号，并且根据接收的信号来激活设置在显示装置100中的麦克风的操作。

语音代理51可以将从设置在显示装置100中的麦克风接收的语音命令或从遥控装置200接收的语音命令发送至NLP客户端50。

语音代理51可以从NLP客户端50接收从NLP服务器10接收到的意图分析结果信息或搜索信息。

语音代理51可以基于意图分析结果信息来执行应用或执行与遥控装置200的按钮键相对应的功能。

语音代理51可以包括在NLP客户端50的构造中。

渲染器52可以借助GUI模块生成用户界面(UI)，以便在显示器180上显示接收的搜索信息，并在显示器180上输出生成的UI。

接下来，将描述根据本公开的实施方式的系统的操作方法。

下文中，将参考图5和图6描述根据本公开的实施方式的系统的操作方法。

参考图7，显示装置100接收语音命令(S701)。

在一个实施方式中，显示装置100可以包括麦克风，并借助麦克风接收用户的语音命令。

在另一个实施方式中，显示装置100的无线通信接口173可以从遥控装置200接收语音命令。即，用户可以借助遥控装置200发出语音命令，并且所发出的语音命令可以经由遥控装置200发送至显示装置100。

显示装置100的控制器170可以具有能够自主地执行自然语言处理的功能。当可以借助设置在控制器170中的自然语言处理模块对接收的语音命令进行意图分析时，控制器170可以不将与语音命令相对应的语音数据发送至NLP服务器10。

例如，当语音命令是<关闭电视>时，控制器170可以分析语音命令的意图并且根据分析结果关闭显示装置100。

在一个实施方式中，当语音命令的转换后的文本数据存储在存储器140中时，控制器170可以自主地执行与文本数据相对应的显示装置100的功能。

显示装置100的可以由控制器170基于语音命令的自然语言处理来执行的功能的实施例可以包括显示装置100的电源开闭、信道改变和音量控制中的一项或多项。

显示装置100将与接收的语音命令相对应的语音数据发送至NLP服务器10(S703)。

显示装置100的控制器170可以经由网络接口133将与语音命令相对应的语音数据发送至NLP服务器10。

NLP服务器10可以将从显示装置100接收的语音数据转换成文本数据，并基于转换后的文本数据进行意图分析。

NLP服务器10可以根据自然语言处理技术来分析文本数据并且进行用户的意图分析。自然语言处理技术是用于机械分析自然语言并以能够被计算机理解的形式或能够被人类理解的语言的形式输出结果的技术。

显示装置100从NLP服务器10接收表示语音数据的意图分析结果的意图分析结果信息(S705)。

显示装置100的控制器170可以经由网络接口133接收意图分析结果信息。

显示装置100基于接收的意图分析结果信息来确定是否能够自主地执行显示装置100的与语音命令相对应的功能(S707)。

在一个实施方式中，显示装置100的控制器170可以基于接收的意图分析结果信息来确定显示装置100是否能够提供与语音命令相对应的信息。

当意图分析结果信息中包括的内容请求存储在显示装置100中的信息时，控制器170可以确定不能自主地执行与语音命令相对应的功能。

当意图分析结果信息中包括的内容请求显示装置100中存储的信息以外的信息时，控制器170可以确定不能自主地执行与语音命令相对应的功能。

当确定能够自主地执行显示装置100的与语音命令相对应的功能时，显示装置100执行显示装置100的与语音命令相对应的功能(S709)。

在一个实施方式中，当与语音命令相对应的用户意图是可以使用电子节目指南(EPG)信息执行的功能时，控制器170可以使用存储在存储器140中的EPG信息来控制显示装置100的功能。下面将描述其详细实施例。

当确定不能自主地执行显示装置100的与语音命令相对应的功能时，显示装置100将基于意图分析结果的信息请求消息发送至搜索服务器30(S711)。

当与语音命令相对应的用户意图是不能使用存储在存储器140中的信息来执行的功能时，显示装置100的控制器170可以经由网络接口133将信息请求消息发送至搜索服务器30。

信息请求消息可以是用于搜索反映用户意图的特定信息的请求消息。

搜索服务器30响应于从显示装置100接收的信息请求消息，将包括搜索结果的信息响应消息发送至显示装置100(S713)。

显示装置100基于从搜索服务器30接收的信息响应消息来显示接收到的信息(S715)。

显示装置100的控制器170可以在显示器180上显示反映信息响应消息中包括的用户意图的搜索信息。

下文中，将使用更具体的实施例描述图7的实施方式。

参考图8，显示装置100可以在显示器180上显示播出节目图像800。显示器180还可以显示用于在语音识别模式下指导用户的语音命令的请求的弹出窗口801。

设置在遥控装置200中的麦克风可以接收用户的语音命令<电视在该节目结束时关闭>。

遥控装置200的无线通信接口220可以将语音命令发送至显示装置100的无线通信接口173。

在另一实施方式中，当显示装置100中设置有麦克风时，显示装置100可以自主地接收用户的语音命令。

显示装置100的NLP客户端50可以将接收的语音命令发送至NLP服务器10。

显示装置100的NLP客户端50可以从NLP服务器10接收包括语音命令的意图分析结果的意图分析结果信息。

显示装置100的NLP客户端50可以基于意图分析结果信息来确定是否能够在不使用搜索服务器30的情况下执行根据用户意图的功能。

当意图分析结果信息包括在当前正在观看的节目终止之后关闭显示装置100的意图时，因为可以借助存储在存储器140中的EPG信息获取节目的结束点，所以显示装置100的NLP客户端50可以确定能够自主地执行根据意图的功能。

显示装置100的NLP客户端50在当前正在观看的节目终止之后，可以根据关闭显示装置100的意图，使用EPG信息获取关于当前正在观看的节目的信息。

显示装置100的NLP客户端50可以从图5中描述的EPG管理器70请求关于当前正在播放的节目的信息，并且响应于该请求而获取关于节目的信息。

关于节目的信息可以包括：播出时间，该播出时间包括该节目的开始点和结束点；该节目的名称；以及该节目的信道。

显示装置100的NLP客户端50可以使用节目的播出时间来获取节目的结束点。

当当前点到达节目的结束点时，显示装置100的NLP客户端50可以使用获取的节目的结束点来关闭显示装置100。

同时，当获取节目的结束点时，显示装置100可以在一定时间之后在显示器180上显示指示关闭显示装置100的弹出窗口813。

根据本公开的实施方式，可以通过分析用户的复杂语音命令来容易地控制显示装置100的操作。

接下来，将描述图9。

图9是示出根据本公开的实施方式的通过语音命令的意图分析使用搜索服务器来提供搜索信息的实施例的视图。

参考图9，显示装置100可以在显示器180上显示播出节目的图像800。显示器180可以进一步显示用于在语音识别模式下指导用户的语言命令的请求的弹出窗口801。

设置在遥控装置200中的麦克风可以接收用户的语音命令<告诉我该节目的故事>。

当意图分析结果信息是告诉当前正在观看的节目的故事的意图时，因为节目的故事未存储在存储器140中(即，EPG信息中)，所以显示装置100的NLP客户端50可以确定不能执行根据意图的功能。

此后，显示装置100的NLP客户端50可以将用于请求节目的故事的信息请求消息发送至搜索服务器30。

信息请求消息可以包括关于节目的名称和节目的情节的信息。这可以从EPG信息获得。

搜索服务器30可以基于从显示装置100接收的信息请求消息来搜索节目的故事。搜索服务器30可以将包括搜索到的故事的信息响应消息发送至显示装置100。

显示装置100可以在显示器180上显示从搜索服务器30接收的节目的故事910。

通过简单的语音命令意图分析，用户可以容易地确认不能从EPG信息获得的信息。

接下来，将描述图10。

图10是示出根据本公开的另一实施方式的通过语音命令的意图分析使用搜索服务器来提供搜索信息的实施例的视图。

参考图10，显示装置100可以在显示器180上显示播出节目的图像800。显示器180可以进一步显示用于在语音识别模式下指导用户的语言命令的请求的弹出窗口801。

设置在遥控装置200中的麦克风可以接收用户的语音命令<这个人是谁？>。

当意图分析结果信息是告诉出现在当前正在观看的情景中的人的详细信息的意图时，因为该人的详细信息没有存储在存储器140中(即，EPG信息中)，所以显示装置100的NLP客户端50可以确定不能执行根据意图的功能。

此后，显示装置100可以在接收到语音命令时的时间点捕获节目的图像800，并且将捕获的图像发送至自动内容识别(ACR)服务器。

ACR服务器可以使用捕获的图像来提取图像中包括的对象(人)，并且获取关于所提取的对象的信息。

关于对象的信息可以包括用于辨识对象的信息。

显示装置100可以从ACR服务器接收用于辨识人的信息。用于辨识人的信息可以包括人的名字。

显示装置100可以将包括人的名字的信息请求消息发送至搜索服务器30。搜索服务器30可以将从显示装置100接收的人的详细信息发送至显示装置。

根据本公开的另一实施方式，ACR服务器可以是搜索服务器30。ACR服务器可以将除了用于辨识人的信息之外的人的详细信息发送至显示装置100，所述人的详细信息包括人从事的工作以及人的历史记录。

显示装置100可以在显示器180上显示从搜索服务器30接收的人的详细信息1010。

接下来，将描述图11。

图11是示出根据本公开的另一实施方式的通过语音命令的意图分析使用搜索服务器来提供搜索信息的实施例的视图。

参考图11，显示装置100可以在显示器180上显示内容图像1100。显示器180可以进一步显示用于在语音识别模式下指导用户的语音命令的请求的弹出窗口801。

内容图像1100可以包括表示包1101的对象。

设置在遥控装置200中的麦克风可以接收用户的语音命令<这是什么东西？>

在另一个实施方式中，当显示装置100中设置有麦克风时，显示装置100可以自主地接收用户的语音命令。

显示装置100的NLP客户端50可以从NLP服务器10接收指示语音命令的意图分析结果的意图分析结果信息。

当意图分析结果信息是给出当前正在观看的情景中出现的东西的详细信息的意图时，因为该东西的详细信息没有存储在存储器140中(即，EPG信息中)，所以显示装置100的NLP客户端50可以确定不能执行根据意图的功能。

此后，显示装置100可以在接收到语音命令的时间点捕获节目的图像800，并将捕获的图像发送至ACR服务器。在这种情况下，ACR服务器可以是搜索服务器30。

ACR服务器可以使用捕获的图像来提取图像中包括的包1101，并获取关于提取的包1101的信息。关于包1101的信息可以包括包的型号名称、包的价格、可购买该包的购物中心的名称。

显示装置100可以从ACR服务器接收关于图像中所包括的包的信息。

显示装置100可以将接收的关于包的信息1110显示到显示器180。

在观看内容图像时，用户可以仅使用简单的语音命令而无需复杂的处理来确认关于图像中包括的对象的信息。

接下来，将描述图12。

图12是示出根据本公开的另一实施方式的通过语音命令的意图分析使用搜索服务器来提供搜索信息的实施例的视图。

参考图12，显示装置100可以在显示器180上显示节目图像800。显示器180可以进一步显示用于在语音识别模式下指导用户的语音命令的请求的弹出窗口801。

设置在遥控装置200中的麦克风可以接收用户的语音命令<这是什么音乐？>

当意图分析结果信息包括给出与当前观看的图像一起输出的音乐的详细信息的意图时，因为音乐的详细信息未存储在存储器140中(即，EPG信息中)，所以显示装置100的NLP客户端50可以确定不能执行根据意图的功能。

同时，显示装置100可以借助麦克风接收正在经由音频输出接口185输出的音频。显示装置100可以将接收的音频发送至声源分析服务器。

声源分析服务器可以基于所接收的音频来获取音乐的名称，并将所获取的音乐的名称发送至显示装置100。

显示装置100可以将接收的音乐的名称发送至搜索服务器30。搜索服务器30可以使用接收的音乐的名称搜索音乐的详细信息，并将搜索到的音乐的详细信息发送至显示装置100。

音乐的详细信息可以包括音乐的歌手、音乐的作曲家、音乐的专辑和音乐的类型中的一者或多者。

显示装置100可以在显示器180上显示接收的音乐的详细信息1210。

根据本公开的实施方式，用户可以仅使用简单的语音命令来容易地确认在观看节目图像时输出的音乐的详细信息。

接下来，将描述图13。

图13是示出根据本公开的另一实施方式的通过语音命令的意图分析使用搜索服务器来提供搜索信息的实施例的视图。

特别地，图13是示出当用户观看静止图像(或图像)时可能出现的场景的视图。

参考图13，显示装置100可以接收用户的第一语音命令<向我展示艺术作品>。

显示装置100可以响应于第一语音命令在显示器180上显示指示存储在存储器140中的艺术作品的图像1300。

此后，显示装置100可以接收第二语音命令<这是谁的作品？>。显示装置100可以将与第二语音命令相对应的语音数据发送至NLP服务器10。

同时，当以幻灯片形式输出图像时，显示装置100可以在将第二语音命令发送至NLP服务器10之前暂停幻灯片的回放。

NLP服务器10可以基于与第二语音命令相对应的语音数据来生成第二语音命令的意图分析结果信息，并将所生成的意图分析结果信息发送至显示装置100。

当确定意图分析结果信息中包括的内容是给出关于图像1300的作品的信息的意图时，显示装置100可以将用于请求关于作品的信息的信息请求消息发送至搜索服务器30。

显示装置100可以包括图像1300中的信息请求消息，并将该信息发送至搜索服务器30。

搜索服务器30可以基于信息请求消息搜索作品的详细信息，并将搜索到的详细信息发送至显示装置100。

显示装置100可以借助音频输出单元185可听地输出接收的作品的详细信息<这是梵高的星月夜>。作品的详细信息可以包括作品的艺术家和作品的名称。

此后，显示装置100可以恢复暂停的幻灯片的回放。

根据本公开的实施方式，上述方法可以实施成记录程序的介质上的处理器可读代码。处理器可读介质的实施例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等，并且可以以载波的形式实施(例如，通过互联网传输)。

上述显示装置可以不限于上述实施方式的构造和方法，而是可以通过选择性地组合所有或部分实施方式来构造实施方式，从而可以进行各种变型。

Claims

1.一种显示装置，该显示装置包括：

显示器，其构造成显示广播节目图像；

网络接口，其构造成与自然语言处理服务器和搜索服务器进行通信；以及

控制器，其构造成：

获取用户的语音命令，

将接收的所述语音命令发送至所述自然语言处理服务器，并且

从所述自然语言处理服务器接收所述语音命令的分析结果信息，

其特征在于，所述控制器进一步构造成：

如果接收的所述分析结果信息表示在当前正观看的所述广播节目图像的回放结束时关闭所述显示装置，则从电子节目指南EPG信息获取所述广播节目图像的回放结束时间点，

在所述显示器上显示一窗口，该窗口指示在所述广播节目图像的所述回放结束时间点关闭所述显示装置，

当达到所述广播节目图像的回放结束时间时，关闭所述显示装置，并且

如果接收的所述分析结果信息表示不能自主地执行所述显示装置的与所述语音命令相对应的功能，则将用于请求与所述语音命令相对应的搜索信息的信息请求消息发送至所述搜索服务器。

2.根据权利要求1所述的显示装置，其中，所述显示装置还包括麦克风，所述麦克风构造成接收用户的所述语音命令。

3.根据权利要求1所述的显示装置，所述显示装置还包括无线通信接口，所述无线通信接口构造成从遥控器接收用户的所述语音命令。

4.根据权利要求1所述的显示装置，其中，所述控制器构造成：

在所述显示器上显示从所述搜索服务器接收的所述搜索信息。

5.根据权利要求4所述的显示装置，其中，所述控制器构造成：

当接收的所述分析结果信息包括告诉所述广播节目图像的故事的意图时，将用于请求所述广播节目图像的所述故事的所述信息请求消息发送至所述搜索服务器，并且

在所述显示器上显示从所述搜索服务器接收的所述故事。

6.根据权利要求3所述的显示装置，其中，所述控制器构造成：

当接收的所述分析结果信息包括请求关于所述广播节目图像中包括的对象的信息的意图时，将通过捕获所述广播节目图像而获得的图像发送至自动内容识别服务器，

从所述自动内容识别服务器接收所述对象的辨识信息，

将接收的所述对象的辨识信息发送至所述搜索服务器；

从所述搜索服务器接收所述对象的详细信息，并且

在所述显示器上显示接收的所述对象的详细信息。

7.根据权利要求3所述的显示装置，其中，所述控制器构造成：

当接收的所述分析结果信息包括请求关于与所述广播节目图像一起输出的音频的信息的意图时，将音频发送至声源分析服务器，

从所述声源分析服务器接收所述音频的辨识信息，

将接收的所述音频的辨识信息发送至所述搜索服务器，

从所述搜索服务器接收所述音频的详细信息，并且

在所述显示器上显示接收的所述音频的详细信息。

8.一种包括显示装置的系统，该系统包括：

自然语言处理服务器，其构造成生成指示分析语音命令的意图的结果的分析结果信息；以及

所述显示装置，其构造成：

获取用户的所述语音命令，

将所述语音命令发送至所述自然语言处理服务器，从所述自然语言处理服务器接收所述语音命令的所述分析结果信息，

如果接收的所述分析结果信息表示在当前正观看的广播节目图像的回放结束时关闭所述显示装置，则从电子节目指南EPG信息获取所述广播节目图像的回放结束时间点，

在显示器上显示一窗口，该窗口指示在所述广播节目图像的所述回放结束时间点关闭所述显示装置，

如果接收的所述分析结果信息表示不能自主地执行所述显示装置的与所述语音命令相对应的功能，则将用于请求与所述语音命令相对应的搜索信息的信息请求消息发送至搜索服务器。