CN112750438B - 人工智能设备 - Google Patents

人工智能设备 Download PDF

Info

Publication number
CN112750438B
CN112750438B CN201911346640.7A CN201911346640A CN112750438B CN 112750438 B CN112750438 B CN 112750438B CN 201911346640 A CN201911346640 A CN 201911346640A CN 112750438 B CN112750438 B CN 112750438B
Authority
CN
China
Prior art keywords
query
search
display device
information
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911346640.7A
Other languages
English (en)
Other versions
CN112750438A (zh
Inventor
李相锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN112750438A publication Critical patent/CN112750438A/zh
Application granted granted Critical
Publication of CN112750438B publication Critical patent/CN112750438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了人工智能设备。根据本公开的实施例的人工智能设备可以从显示装置接收与观看信息和搜索命令相对应的语音数据，将接收到的语音数据转换成文本数据，获得指示转换的文本数据的意图的第一查询，基于观看信息将第一查询转换成第二查询，获得与转换的第二查询相对应的搜索结果，并且将获得的搜索结果发送给显示装置。

Description

人工智能设备
技术领域
本公开涉及能够通过多个人工智能代理提供语音识别服务。
背景技术
使用有线或无线通信网络的数字电视服务正变得越来越普遍。数字电视服务可以提供传统模拟广播服务无法提供的各种服务。
例如，作为数字电视服务的一种的IPTV(互联网协议电视)和智能电视服务提供允许用户主动选择观看节目和观看时间的类型的双向性。IPTV、智能电视服务可以基于此双向性提供各种附加的服务，诸如互联网搜索、家庭购物和在线游戏。
近来，已经出现用于识别用户的话语并且使用人工智能根据用户的话语提供语音识别服务的许多技术。
通常，显示装置配备有能够提供语音识别服务的多个人工智能(AI)代理。
传统上，多个AI代理已经提供与用户正在观看的节目信息有关的信息或查询。
然而，相关联的信息或查询在连接到用户先前搜索的搜索词的有限范围内被提供。
例如，如果先前搜索词是<天气(weather)>，则与此相关的信息仅是<明天是(tomorrow is)>，这是诱导用户的话语的连续查询。
换句话说，在传统的多AI代理服务中，因为链接到先前搜索词的信息的提供被限制在有限的范围内，所以在搜寻各种连续信息中存在不便。
发明内容
本公开的目的是为了能够通过用户的话语连续地搜寻各种信息。
本公开的目的是为了如果通过多AI代理提供语音识别服务，则能够通过使用每个AI代理的搜索结果来进行信息的连续搜索。
根据本公开的实施例的人工智能设备可以从显示装置接收与观看信息和搜索命令相对应的语音数据，将接收到的语音数据转换成文本数据，获得指示转换的文本数据的意图的第一查询，基于观看信息将第一查询转换成第二查询，获得与转换的第二查询相对应的搜索结果，并且将获得的搜索结果发送给显示装置。
根据本公开的另一实施例的人工智能设备可以通过通信接口从显示装置接收与对象的信息和语音命令相对应的语音数据，将接收到的语音数据转换成文本数据，获得指示转换的文本数据的意图的第一查询，基于对象的信息将第一查询转换成第二查询，获得与转换的第二查询相对应的意图执行结果，并且将获得的意图执行结果发送给显示装置。
根据本公开的各种实施例，自然地并且连续地执行各种信息的搜索，使得用户可以感觉到信息搜索的改善的体验。
附图说明
图1是图示根据本发明的实施例的显示装置的配置的框图。
图2是图示根据本发明的实施例的遥控装置的框图。
图3是图示根据本发明的实施例的遥控装置的实际配置的视图。
图4是图示根据本发明的实施例的利用遥控装置的视图。
图5是图示根据本公开的实施例的AI服务器的配置的框图。
图6是用于描述根据本公开的另一实施例的人工智能系统的配置的视图。
图7是根据本公开的实施例的用于操作人工智能系统的方法的梯形图。
图8是图示根据本公开的实施例的用于描述由NLP服务器基于第一观看信息或第二观看信息来完成搜索查询的过程的方法的图。
图9至图11是用于描述根据本公开的实施例的基于搜索结果UI或先前搜索词的显示来执行与由用户说出的搜索命令相对应的操作的过程的图。
图12A和图12B是用于图示根据本公开的实施例的通过连续话语提供搜索结果的示例的视图。
图12C是图示用于描述取消内容项的选择的过程的实施例的视图。
图13是根据本公开的另一实施例的用于描述操作人工智能系统的方法的梯形图。
图14和图15是用于描述使用对象识别技术来掌握用户的话语意图的实施例的图。
图16是用于描述根据图13至图15的实施例的人工智能系统的另一种形式的视图。
具体实施方式
在下文中，将参考附图详细描述与本公开有关的实施例。考虑到撰写说明书的简便，下面描述中使用的组件的后缀“模块”和“单元”被指配或混合，并且它们本身没有区别性的含义或作用。
根据本公开的实施例的显示装置，例如，作为将计算机支持功能添加到广播接收功能的人工显示装置，可以具有诸如书写输入装置、触摸屏或空间遥控装置的易于使用的界面，因为在实现广播接收功能的同时互联网功能被添加。然后，在有线或无线互联网功能的支持下，可以在访问互联网和计算机时执行电子邮件、web浏览、银行业务或游戏功能。为了执行这样的各种功能，可以使用标准化的通用OS。
因此，因为在通用OS内核上自由地添加或删除各种应用，所以例如，在此描述的显示装置可以执行各种用户友好的功能。更详细地，显示装置可以是网络电视、混合广播宽带电视(HBBTV)、智能电视、发光二极管(LED)电视、有机发光二极管(OLED)电视等等，并且在一些情况下，可以被应用于智能手机。
图1是图示根据本公开的实施例的显示装置的配置的框图。
参考图1，显示装置100能够包括广播接收单元130、外部设备接口单元135、存储单元140、用户接口单元150、控制单元170、无线通信单元173、显示单元180、音频输出单元185和电源单元190。
广播接收单元130能够包括调谐器131、解调单元132和网络接口单元133。
调谐器131能够根据频道选择命令来选择特定广播频道。调谐器131能够接收用于所选择的特定广播频道的广播信号。
解调单元132能够将所接收的广播信号划分成视频信号、音频信号和广播节目相关的数据信号，并且将所划分的视频信号、音频信号和数据信号恢复为输出可用形式。
外部设备接口单元135能够在相邻的外部设备中接收应用或应用列表，并将其递送到控制单元170或存储单元140。
外部设备接口单元135能够提供显示装置100和外部设备之间的连接路径。外部设备接口单元135能够接收从无线或有线连接到显示装置100的外部设备输出的图像或音频中的至少一个，并将其递送到控制单元170。外部设备接口单元135可以包括多个外部输入端子。多个外部输入端子可以包括RGB端子、至少一个高清多媒体接口(HDMI)端子和组件端子。
通过外部设备接口单元135输入的外部设备的图像信号可以通过显示单元180输出。通过外部设备接口单元135输入的外部设备的语音信号可以通过音频输出单元185输出。
可连接到外部设备接口单元135的外部设备能够是机顶盒、蓝光播放器、DVD播放器、游戏控制台、条形音箱、智能手机、PC、USB存储器和家庭影院系统中的一个，但这只是示例性的。
网络接口单元133能够提供用于将显示装置100连接到包括因特网网络的有线/无线网络的接口。网络接口单元133能够通过接入的网络或链接到所接入的网络的另一网络向另一用户或另一电子设备发送数据或从另一用户或另一电子设备接收数据。
另外，被存储在显示装置100中的一些内容数据能够被发送到用户或电子设备，其选自在显示装置100中预先注册的其他用户或其他电子设备。
网络接口单元133能够通过接入的网络或链接到所接入的网络的另一网络访问预定的网页。换言之，网络接口单元133能够通过经由网络访问预定的网页来向相应的服务器发送数据或从相应的服务器接收数据。
然后，网络接口单元133能够接收从内容提供商或网络运营商提供的内容或数据。换言之，网络接口单元133能够通过网络接收从内容提供商或网络提供商提供的诸如电影、广告、游戏、VOD和广播信号的内容以及与其相关的信息。
另外，网络接口单元133能够接收固件更新信息并且更新从网络运营商提供的文件，并将数据发送到因特网或内容提供商或网络运营商。
网络接口单元133能够通过网络在开放(open to the air)的应用中选择和接收期望的应用。
存储单元140能够存储由程序存储的经信号处理的图像、语音或数据信号，以便在控制单元170中对每个信号进行处理和控制。
另外，存储单元140能够执行用于临时存储从外部设备接口单元135或网络接口单元133输出的图像、语音或数据信号的功能，并且能够通过频道记忆功能存储关于预定图像的信息。
存储单元140能够存储从外部设备接口单元135或网络接口单元133输入的应用或应用列表。
显示装置100能够播放存储在存储单元140中的内容文件(例如，视频文件、静止图像文件、音乐文件、文档文件、应用文件等)并将它们提供给用户。
用户接口单元150能够将由用户输入的信号递送到控制单元170，或者将来自控制单元170的信号递送给用户。例如，用户接口单元150能够根据诸如蓝牙、超宽带(WB)、紫蜂、射频(RF)和IR的各种通信方法从遥控装置200接收或处理诸如电源开/关、频道选择和屏幕设置的控制信号，或者从控制单元170向遥控装置200发送控制信号。
另外，用户接口单元150能够向控制单元170递送从诸如电源键、频道键、音量键和设置键的本地键(未被图示)输入的控制信号。
在控制单元170中经图像处理的图像信号能够被输入到显示单元180，并且被显示为与相应图像信号相对应的图像。另外，在控制单元170中经图像处理的图像信号能够通过外部设备接口单元135输入到外部输出设备。
在控制单元170中处理的语音信号能够被输出到音频输出单元185。另外，在控制单元170中处理的语音信号能够通过外部设备接口单元135输入到外部输出设备。
除此之外，控制单元170能够控制显示装置100中的整体操作。另外，控制单元170能够通过经由用户接口单元150输入的用户命令或内部程序来控制显示装置100，并且在接入网络时将期望的应用或应用列表下载到显示装置100中。
控制单元170能够通过显示单元180或音频输出单元185输出由用户选择的频道信息以及经处理的图像或语音信号。
另外，根据通过用户接口单元150接收的外部设备图像回放命令，控制单元170能够通过显示单元180或音频输出单元185输出通过外部设备接口单元135输入的诸如相机或便携式摄像机的外部设备的图像信号或语音信号。
此外，控制单元170能够控制显示单元180以显示图像并控制通过调谐器131输入的广播图像、通过外部设备接口单元135输入的外部输入图像、通过网络接口单元输入的图像、或存储在存储单元140中的图像以被显示在显示单元180上。在这种情况下，显示在显示单元180上的图像能够是静止图像或视频，并且还能够是2D图像或3D图像。
另外，控制单元170能够播放存储在显示装置100中的内容、接收的广播内容和从外部输入的外部输入内容，并且内容能够是各种格式，诸如广播图像、外部输入图像、音频文件、静止图像、访问的Web屏幕和文档文件。
无线通信单元173能够执行与外部电子设备的有线或无线通信。无线通信单元173能够与外部设备执行短程通信。为此，无线通信单元173能够通过使用蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连和无线通用串行总线(USB)技术中的至少一个来支持短程通信。无线通信单元173能够通过无线区域网络支持显示装置100和无线通信系统之间、显示装置100和另一显示装置100之间、或者在包括显示装置100和另一显示装置100(或外部服务器)的网络之间的无线通信。无线区域网络能够是无线个域网。
这里，另一显示装置100能够是诸如能够与显示装置100交换数据(或者互通)的可穿戴设备(例如，智能手表、智能眼镜和头戴式显示器(HMD))或智能手机的移动终端。无线通信单元173能够检测(或识别)显示装置100周围的可通信的可穿戴设备。此外，如果检测到的可穿戴设备是经认证的与显示装置100通信的设备，则控制单元170能够通过无线通信单元173将在显示装置100中处理的数据的至少一部分发送到可穿戴设备。因此，可穿戴设备的用户能够通过可穿戴设备使用在显示装置100中处理的数据。
显示单元180能够将在控制单元170中处理的图像信号、数据信号或在屏显示(OSD)信号、或者在外部设备接口单元135中接收的图像信号或数据信号转换成R、G和B信号，以生成驱动信号。
同时，在图1中图示的显示装置100仅是本公开的一个实施例，并且因此，根据实际实现的显示装置100的规格，能够集成、添加或省略图示的一些组件。
换言之，如有必要，能够将两个或更多个组件集成到一个组件中，或者能够将一个组件划分成两个或更多个组件并进行配置。另外，由每个块执行的功能是描述本公开的实施例，并且其具体操作或设备不限制本公开的范围。
根据本公开的另一实施例，与图1不同，在不包括调谐器131和解调单元132的情况下，显示装置100能够通过网络接口单元133或外部设备接口单元135接收图像并进行播放。
例如，显示装置100能够被划分成诸如机顶盒的用于根据各种网络服务接收广播信号或内容的图像处理设备和用于播放从图像处理设备输入的内容的内容回放设备。
在这种情况下，下面描述的根据本公开的实施例的显示装置的操作方法能够由参考图1描述的显示装置、诸如分离的机顶盒的图像处理设备、以及包括显示单元180和音频输出单元185的内容回放设备中的一个来执行。
然后，参考图2和3，根据本发明实施例描述遥控装置。
图2是图示根据本发明的实施例的遥控装置的框图，并且图3是图示根据本公开的实施例的遥控装置200的实际配置的视图。
首先，参考图2，遥控装置200能够包括指纹识别单元210、无线通信单元220、用户输入单元230、传感器单元240、输出单元250、电源单元260、存储单元270、控制单元280和语音采集单元290。
参考图2，根据本公开的上述实施例，无线通信单元220向任意一个显示装置发送信号/从任意一个显示装置接收信号。
遥控装置200能够包括：射频(RF)模块221，用于根据RF通信标准向显示装置100发送信号/从显示装置100接收信号；和IR模块223，用于根据IR通信标准向显示装置100发送信号/从显示装置100接收信号。另外，遥控装置200能够包括蓝牙模块225，用于根据蓝牙通信标准向显示装置100发送信号/从显示装置100接收信号。另外，遥控装置200能够包括近场通信(NFC)模块227，用于根据NFC通信标准向显示装置100发送信号/从显示装置100接收信号；以及WLAN模块229，用于根据无线LAN(WLAN)通信标准向显示装置100发送信号/从显示装置100接收信号。
另外，遥控装置200能够通过无线通信单元220将包含关于遥控装置200的移动的信息的信号发送到显示装置100。
此外，遥控装置200能够通过RF模块221接收从显示装置100发送的信号，并且如有必要，能够通过IR模块223将关于电源开/关、频道改变和音量改变的命令发送到显示装置100。
用户输入单元230能够被配置有键盘按钮、触摸板或触摸屏。用户能够操纵用户输入单元230以将与显示装置100有关的命令输入到遥控装置200。如果用户输入单元230包括硬键按钮，则用户能够通过硬键按钮的按压操作向遥控装置200输入与显示装置100有关的命令。将参考图3对此进行描述。
参考图3，遥控装置200能够包括多个按钮。多个按钮能够包括指纹识别按钮212、电源按钮231、主屏按钮232、直播按钮233、外部输入按钮234、语音调节按钮235、语音识别按钮236、频道改变按钮237、检查按钮238和后退按钮239。
指纹识别按钮212能够是用于识别用户指纹的按钮。根据本公开的实施例，指纹识别按钮212能够执行按压操作并接收按压操作和指纹识别操作。电源按钮231能够是用于打开/关闭显示装置100的电源的按钮。主页按钮232能够是用于移动到显示装置100的主屏幕的按钮。直播按钮233能够是用于显示直播广播节目的按钮。外部输入按钮234能够是用于接收连接到显示装置100的外部输入的按钮。语音调节按钮235能够是用于调节从显示装置100输出的音量的大小的按钮。语音识别按钮236能够是用于接收用户的语音和识别所接收的语音的按钮。频道改变按钮237能够是用于接收特定广播频道的广播信号的按钮。检查按钮238能够是用于选择特定功能的按钮，并且后退按钮239能够是用于返回到前一屏幕的按钮。
将再次描述图2。
如果用户输入单元230包括触摸屏，则用户能够触摸触摸屏的软键以将与显示装置100有关的命令输入到遥控装置200。另外，用户输入单元230能够包括由用户操纵的各种输入装置，例如，滚动键和柄式键(jog key)，并且本实施例不限制本公开的范围。
传感器单元240能够包括陀螺仪传感器241或加速度传感器243，并且陀螺仪传感器241能够感测关于遥控装置200的移动的信息。
例如，陀螺仪传感器241能够基于x、y和z轴感测关于遥控装置200的操作的信息，并且加速度传感器243能够感测关于遥控装置200的移动速度的信息。此外，遥控装置200还能够包括距离测量传感器，并且感测相对于显示装置100的显示单元180的距离。
输出单元250能够输出对应于用户输入单元235的操纵或对应于从显示装置100发送的信号的图像或语音信号。通过输出单元250，用户能够识别出是否用户输入单元235被操纵或者显示装置100被控制。
例如，如果用户输入单元235被操纵或者通过无线通信单元225向显示装置100发送信号或从显示装置100接收信号，则输出单元250能够包括用于闪光的LED模块251、用于生成振动的振动模块253、用于输出声音的声音输出模块255、或用于输出图像的显示模块257。
另外，电源单元260向遥控装置200供应电力，并且如果遥控装置200在预定的时间内没有移动，则停止电力供应，使得能够减少电力浪费。如果设置在遥控装置200处的预定键被操纵，则电源单元260能够恢复电力供应。
存储单元270能够存储控制或操作遥控装置200所需的各种程序和应用数据。如果遥控装置200通过显示装置100和RF模块221无线地发送/接收信号，则遥控装置200和显示装置100通过预定频带发送/接收信号。
遥控装置200的控制单元280能够在存储单元270中存储关于用于向与遥控装置200配对的显示装置100发送信号/从与遥控装置200配对的显示装置100接收信号的频带的信息，并且对其进行参考。
控制单元280控制与遥控装置200的控制有关的一般事项。控制单元280能够通过无线通信单元225向显示装置100发送与用户输入单元235的预定键操作相对应的信号或者与由传感器单元240感测到的遥控装置200的移动相对应的信号。
另外，遥控装置200的语音采集单元290能够获得语音。
语音采集单元290能够包括至少一个麦克风291并且通过麦克风291获得语音。
接下来，图示图4。
图4是利用根据本公开的实施例的遥控装置的视图。
图4(a)图示在显示单元180上显示与遥控装置200相对应的指示器205。
用户可以垂直或水平地移动或旋转遥控装置200。在显示装置100的显示单元180上显示的指示器205对应于遥控装置200的移动。因为相对应的指示器205根据如附图中示出的3D空间上的移动而移动并显示，所以遥控装置200能够被称为空间遥控装置。
图4(b)图示如果用户移动遥控装置200，则在显示装置100的显示单元180上显示的指示器205根据遥控装置200的移动向左移动。
通过遥控装置200的传感器检测到的关于遥控装置200的移动的信息被发送到显示装置100。显示装置100能够从关于遥控装置200的移动的信息中计算出指示器205的坐标。显示装置100能够显示指示器205以匹配所计算的坐标。
图4(c)图示当按下遥控装置200中的特定按钮时，用户移动遥控装置200远离显示单元180。因此，显示单元180中的与指示器205相对应的选择区域能够被放大并且较大地显示。
相反，如果用户移动遥控装置200以接近显示单元180，则可以缩小显示单元180中的与指示器205相对应的选择区域并被缩小。
另一方面，如果移动遥控装置200远离显示单元180，则能够缩小选择区域，并且如果移动遥控装置200靠近显示单元180，则能够放大选择区域。
另外，如果按下遥控装置200中的特定按钮，则能够排除垂直或水平移动的识别。换言之，如果移动遥控装置200远离或更加靠近显示单元180，则不能够识别向上、向下、向左或向右的移动，而仅能够识别前后移动。当未按下遥控装置200中的特定按钮时，指示器205根据遥控装置200的向上、向下、向左或向右移动而移动。
此外，指示器205的移动速度或移动方向能够对应于遥控装置200的移动速度或移动方向。
此外，本说明书中的指示器意指响应于遥控装置200的操作显示在显示单元180上的对象。因此，除了在附图中显示为指示器205的箭头形式之外，各种形式的对象是可能的。例如，上述概念包括点、光标、提示符和粗轮廓。然后，指示器205能够对应于显示单元180上的水平轴和垂直轴的一个点被显示，并且还能够对应于诸如线和面的多个点被显示。
图5是图示根据本公开的实施例的AI服务器的配置的框图。
参考图5，人工智能(AI)服务器10可以指代用于使用机器学习算法来学习人工神经网络或使用学习的人工神经网络的设备。
这里，AI服务器10可以由执行分布式处理的多个服务器组成，或者可以被定义为5G网络。在这种情况下，AI服务器10可以被包括作为显示装置100的一部分，以一起执行至少一些AI处理。
AI服务器10可以包括通信单元61、存储器63、学习处理器64、处理器66等。
通信单元61可以与诸如显示装置100的外部设备发送/接收数据。
存储器63可以包括模型存储单元63-1。模型存储单元63-1可以通过学习处理器64存储训练或经训练的模型(或人工神经网络63-2)。
学习处理器64可以使用训练数据来训练人工神经网络63-2。训练模型可以以被安装在人工神经网络的AI服务器10中的状态被使用，或者可以被安装在诸如显示装置100的外部设备中并且在其中进行使用。
训练模型可以用硬件、软件或硬件和软件的组合来实现。如果某些或全部训练模型以软件实现，则构成训练模型的一个或多个指令可以存储在存储器63中。
处理器66可以使用训练模型来推断关于新输入数据的结果值，并且基于推断出的结果值来生成响应或控制命令。
图6是用于描述根据本公开的另一实施例的人工智能系统的配置的视图。
参考图6，人工智能系统6可以包括显示装置100、数据转换服务器610和NLP服务器630。
显示装置100可以将与用户说出的语音命令相对应的语音数据发送到数据转换服务器610。
数据转换服务器610可以从显示装置100接收语音数据。数据转换服务器610可以将接收到的语音数据转换成文本数据。
数据转换服务器610可以将从NLP服务器630接收的文本形式的执行意图的结果转换成音频形式的语音数据，并且将转换的语音数据发送到显示装置100。
数据转换服务器610可以将指示AI代理改变的语音数据发送到显示装置100。
自然语言处理(NLP)服务器630可以包括第一AI代理服务器631和第二AI代理服务器633。
NLP服务器630可以从数据转换服务器610接收文本数据，并使用自然语言处理引擎来分析接收到的文本数据的意图。
NLP服务器630可以包括一个或多个AI代理服务器。
例如，NLP服务器630可以包括第一AI代理服务器631和第二AI代理服务器633。
第一AI代理服务器631可以是通过显示装置100的制造商以外的制造商提供自然语言处理服务的服务器。
第二AI代理服务器633可以是通过显示装置100的制造商提供自然语言处理服务的服务器。
第一AI代理服务器631和第二AI代理服务器633中的每个都可以包括图5中所图示的AI服务器10的组件。
数据转换服务器610可以将文本数据发送到第一AI代理服务器631。
第一AI代理服务器631可以获取文本数据的意图，并且确定是否处理与所获取的意图相对应的操作。
如果确定第一AI代理服务器631可以处理与所获取的意图相对应的操作，则第一AI代理服务器631可以获取与该意图相对应的意图分析结果。
如果确定第一AI代理服务器631无法处理与获取的意图相对应的操作，则第一AI代理服务器631可以将文本数据的意图发送给第二AI代理服务器633。
第二AI代理服务器633可以获取与接收到的文本数据的意图相对应的意图分析结果，并将获得的意图分析结果发送给第一AI代理服务器631。
第一AI代理服务器631可以将意图分析结果发送到数据转换服务器610。
数据转换服务器610可以将意图分析结果发送到显示装置100的NLP客户端101。
显示装置100还可以包括NLP客户端101、语音代理103和渲染器105。
NLP客户端101、语音代理103和渲染器105可以被包括在图1所示的控制单元170中。
作为另一示例，NLP客户端101可以被包括在图1所示的网络接口单元133中。
NLP客户端101可以与数据转换服务器610通信。
语音代理103可以从遥控装置200接收用于进入语音识别模式的信号，并且根据接收到的信号来激活设置在显示装置100中的麦克风的操作。
语音代理103可以将从显示装置100中包括的麦克风接收的语音命令或从遥控装置200接收的语音命令发送到NLP客户端101。
语音代理103可以从NLP服务器630接收由NLP客户端101接收到的意图分析结果信息或搜索信息。
语音代理103可以基于意图分析结果信息来执行应用或执行与遥控装置200的按钮键相对应的功能。
语音代理103可以被包括在NLP客户端103的配置中。
渲染器105可以通过GUI模块生成UI，以在显示单元180上显示接收到的搜索信息，并将生成的UI输出到显示单元180。
图7是根据本公开的实施例的用于操作人工智能系统的方法的梯形图。
在下文中，将参考图5和图6描述根据本公开的实施例的对系统进行操作的方法。
此外，在下文中，AI代理可以是可以识别由用户说出的语音命令并根据识别的语音命令的意图来提供信息的硬件或软件。
显示装置100或NLP服务器630可以被设置有多个AI代理。
同时，图7的一些步骤可以同时执行，或者某些步骤的顺序可以颠倒。
显示装置100的控制单元170在显示单元180上显示程序(S701)。
换句话说，控制单元170可能正在通过显示单元180播放程序。
显示装置100的控制单元170确定搜索结果UI是否被显示在显示单元180上(S703)。
搜索结果UI可以是指示根据用户的话语显示的搜索结果或从远程控制装置200接收到的搜索命令的用户界面。
搜索结果可以表示诸如节目的内容的搜索结果。
搜索结果UI可以根据搜索结果包括多个内容项。
如果控制单元接收到用户说出的搜索词或来自遥控装置200的搜索命令，则控制单元170可以确定显示搜索结果UI，并且因此输出搜索结果。
如果搜索结果UI被显示在显示单元180上，则显示装置100的控制单元170通过网络接口单元133将第一观看信息发送到NLP服务器630(S705)。
第一观看信息可以包括搜索结果UI中包括的内容信息、正在观看的节目的信息以及用户说出的先前搜索词中的一个或多个。
包括在搜索结果UI中的内容信息可以包括以下中的至少一个：包括与多个内容项中的每个相对应的多个标题的标题列表、多个内容项中的聚焦项目的标题、以及内容项的排列关系(或排列顺序)。
标题可以是识别内容项的名称。
正在观看的节目的信息是用于识别节目的信息，并且可以包括节目的名称。
先前搜索词可以是使得搜索结果UI显示的用户说出的命令。先前搜索词可以是由显示装置100紧接在接收到新的搜索词之前接收的搜索词。
如果搜索结果UI未显示在显示单元180上，则显示装置100的控制单元170通过网络接口单元133将第二观看信息发送到NLP服务器630(S707)。
第二观看信息可以包括正在观看的节目的信息和用户之前已经说出的先前搜索词中的一个或多个。
显示装置100的控制单元170接收由用户说出的搜索命令(S709)。
根据一个实施例，显示装置100可以包括麦克风，并且可以通过麦克风接收由用户说出的搜索命令。
在另一实施例中，显示装置100的无线通信单元173可以从遥控装置200接收搜索命令。换句话说，用户可以通过遥控装置200说出搜索命令，并且说出的搜索命令可以通过遥控装置200发送到显示装置100。
显示装置100的控制单元170通过网络接口单元133将与搜索命令相对应的语音数据发送到NLP服务器630(S711)。
NLP服务器630的处理器66将接收到的语音数据转换成文本数据以获得文本数据(S713)。
NLP服务器630可以通过STT引擎将语音数据转换成文本数据。
NLP服务器630的处理器66根据文本数据的意图分析获得第一搜索查询(S715)。
第一搜索查询可以是反映由用户说出的搜索命令的搜索意图的查询。
NLP服务器630的处理器66基于获得的第一观看信息或第二观看信息将第一搜索查询转换成第二搜索查询(S717)。
如果从显示装置100接收到第一观看信息，则处理器66可以基于第一观看信息将第一搜索查询转换成第二搜索查询。
换句话说，如果显示装置100显示搜索结果UI，则处理器66可以基于第一观看信息将第一搜索查询转换成第二搜索查询。
如果从显示装置100接收到第二观看信息，则处理器66可以基于第二观看信息将第一搜索查询转换成第二搜索查询。
换句话说，如果显示装置100不显示搜索结果UI，则处理器66可以基于第二观看信息将第一搜索查询转换成第二搜索查询。
第二搜索查询可以是反映由用户说出的搜索命令中的内容名称的查询。
换句话说，第一搜索查询到第二搜索查询的转换可以通过包括未包括在第一搜索查询中的内容项的名称来指示第二搜索查询的生成。
将参考图8更详细地描述步骤S715和S717。
图8是图示根据本公开的实施例的用于描述由NLP服务器基于第一观看信息或第二观看信息来完成搜索查询的过程的方法的图。
图8是步骤S715和S717的更详细的步骤。
参考图8，NLP服务器630的处理器66根据搜索命令的意图分析来确定搜索命令是否是指示搜索结果UI中包括的多个内容项中的第N个内容项的查询(S801)。
处理器66可以使用自然语言处理引擎来确定搜索命令的意图是否是在特定位置处选择内容项。
如果搜索命令的意图是用于选择第N个内容项的查询，则NLP服务器630的处理器66基于包括在第一观看信息中的标题列表来提取第N个内容项(S803)。
标题列表可以是包括由显示装置100显示的搜索结果UI中包括的多个内容项的标题的列表。
处理器66可以根据选择第N个内容项的意图来提取包括在标题列表中的第N个内容项的标题。
NLP服务器630的处理器66通过使用提取的第N个项目标题将第一搜索查询转换成第二搜索查询(S805)。
处理器66可以在第一个搜索查询中包括第N个内容项的标题，以生成第二搜索查询。
同时，如果搜索命令的意图不是用于选择第N个内容项的查询，则NLP服务器630的处理器66确定在搜索结果UI中包括的多个内容项中是否存在聚焦项(S807)。
在一个实施例中，被聚焦的内容项可以由通过遥控装置200控制的指示器205来选择，或者可以是通过高亮框选择的项目。
如果存在聚焦项，则NLP服务器630的处理器66提取聚焦的内容项(S809)。
处理器66可以从第一观看信息中提取聚焦的内容项的标题。
NLP服务器630的处理器66通过使用所提取的内容项的标题将第一搜索查询转换成第二搜索查询(S811)。
处理器66可以在第一搜索查询中包括所提取的内容项的标题以生成第二搜索查询。
同时，如果聚焦的内容项在搜索结果UI上不存在，则NLP服务器630的处理器66确定是否存在先前搜索词(S813)。
如果搜索命令的意图既不是第N个内容项的选择也不是被聚焦的内容项的选择，则处理器66可以基于第二观看信息来确定是否存在先前搜索词。
如果存在先前搜索词，则NLP服务器630的处理器66提取先前搜索词(S815)，并使用所提取的先前搜索词将第一搜索查询转换成第二搜索查询(S817)。
处理器66可以通过将先前搜索词包括在第一搜索查询中来生成第二搜索查询。
如果不存在先前搜索词(S813)，则NLP服务器630的处理器66根据文本数据的意图分析来获得意图分析结果(S819)。
处理器66可以根据来自第一AI代理或第二AI代理的意图分析结果来获得意图执行结果(或搜索结果)，并将获得的意图执行结果发送给显示装置100。
再次，描述图7。
NLP服务器630的处理器66确定第一AI代理是否可以执行与转换的第二搜索查询相对应的搜索(S719)。
处理器66可以将第二搜索查询发送到第一AI代理服务器631，以询问根据第二搜索查询的搜索是否可能。
如果根据第二搜索查询的搜索是可能的，则第一AI代理服务器631可以获取搜索结果，并将获得的搜索结果传输给处理器66。
作为另一示例，处理器66可以根据第二搜索查询的类型在第一AI代理和第二AI代理当中确定能够根据第二搜索查询执行搜索的代理。
例如，如果第二搜索查询与电影有关，则搜索的目标可以被确定为第一AI代理，并且如果第二搜索查询与天气有关，则搜索的目标可以被确定为第二AI代理。
如果第一AI代理确定可以执行与第二搜索查询相对应的搜索，则NLP服务器630的处理器66从第一AI代理服务器631获得与第二搜索查询相对应的搜索结果，并且通过通信单元61将第二搜索查询和第一AI代理的搜索结果发送到显示装置100(S721)。
显示装置100的控制单元170将从NLP服务器630接收的第二搜索查询存储在存储单元140中，并将第一AI代理的搜索结果显示在显示单元180上(S723)。
控制单元170可以将第二搜索查询作为先前搜索词存储在存储单元140中。
控制单元170可以用最近搜索的搜索词来更新第二搜索查询。
第一AI代理的搜索结果可以是响应于由用户说出的搜索命令而提供的信息。
如果第一AI代理确定不能执行与第二搜索查询相对应的搜索，则NLP服务器630的处理器66从第二AI代理服务器633获得与第二搜索查询相对应的搜索结果(S725)。
NLP服务器630的处理器66通过通信单元61将第二搜索查询和第二AI代理的搜索结果发送到显示装置100(S727)。
显示装置100的控制单元170将第二搜索查询存储在存储单元140中，并将第二AI代理的搜索结果显示在显示单元180上(S729)。
控制单元170可以用最近搜索的搜索词来更新第二搜索查询。
在下文中，将更详细地描述图7。
图9至图11是用于描述根据本公开的实施例的基于搜索结果UI或先前搜索词的显示来执行与由用户说出的搜索命令相对应的操作的过程的图。
首先，图9和图10是图示当在显示单元180上显示搜索结果UI时用户说出搜索命令的情况的场景。
参考图9和图10，显示装置100的显示单元180显示程序900和搜索结果UI 910。
搜索结果UI 910可以是内容项列表，包括通过用户的话语搜索的内容项。
搜索结果UI 910可以包括用于识别多个内容中的每个内容的多个内容项911至915。
根据图7的步骤S705，显示装置100可以发送搜索结果UI中包括的内容项的标题、内容项的排列关系(或排列顺序)、正在观看的节目900的信息、以及包括由用户先前向NLP服务器630说出的一个或多个先前搜索词的第一观看信息。
NLP服务器630可以接收并存储从显示装置100接收的第一观看信息。
在图9中，当显示装置100显示搜索结果UI 910时，显示装置100可以接收搜索命令“在第二个中，人物是谁？(In second one,who are characters？)”并且将与接收到的搜索命令相对应的语音数据发送到NLP服务器630。
NLP服务器630可以通过将接收到的语音数据转换成文本数据来获得第一搜索查询。
第一搜索查询可以是指示特定内容项的人物的搜索意图的查询。
NLP服务器630可以通过使用搜索结果UI 910中包括的多个内容项的排列关系和多个内容项的标题来获得与第二排列的内容项相对应的标题。
NLP服务器630可以获得第二搜索查询，该第二搜索查询将获得的标题添加到第一搜索查询中。
在图9中，第二搜索查询可以是<BB的人物是谁？(who are characters of BB？)>，其包括BB，其是位于第二个的内容项913的标题。
换句话说，第二搜索查询可以是用于搜索关于具有标题为BB的内容项的人物的信息的查询。
NLP服务器630可以根据第二搜索查询从第一AI代理服务器631或第二AI代理服务器633获得关于称为BB的内容项的人物的信息，并将获得的关于人物的信息发送给显示装置100。
显示装置100可以在显示单元180上显示关于从NLP服务器630接收到的人物的信息930。
这样，如果搜索结果显示在显示装置100上，则可以将搜索结果发送到NLP服务器630以分析用户的话语意图。
因此，用户可以享受在无需说出内容项的标题的情况下，获得期望信息的改进体验。
接下来，将描述图10。
特别地，图10假定包括在搜索结果UI 910中的第一个至第三个内容项911至915的第二个内容项913通过高亮边框914被聚焦。
在图10中，当显示装置100显示搜索结果UI 910时，显示装置100可以接收搜索命令“人物是谁？”，并将与接收到的搜索命令相对应的语音数据发送给NLP服务器630。
NLP服务器630可以通过将接收到的语音数据转换成文本数据来获得第一搜索查询。
第一搜索查询可以是指示特定内容项的人物的搜索意图的查询。
NLP服务器630可以通过使用搜索结果UI 910中包括的多个内容项是否被聚焦以及多个内容项的标题来获得与聚焦的内容项相对应的标题。
NLP服务器630可以获得第二搜索查询，所获得的标题被添加到第一搜索查询。
在图10中，第二搜索查询可以是<BB的人物是谁？>，其中包括作为聚焦的第二个内容项913的标题的BB。
换句话说，第二搜索查询可以是用于搜索关于具有标题为BB的内容项的人物的信息的查询。
NLP服务器630可以根据第二搜索查询从第一AI代理服务器631或第二AI代理服务器633获得关于被称为BB的内容项的人物的信息，并将获得的关于人物的信息发送给显示装置100。
显示装置100可以在显示单元180上显示关于从NLP服务器630接收到的人物的信息930。
这样，如果在显示装置100上的搜索结果中存在聚焦项，则可以将聚焦项的搜索结果发送到NLP服务器630以分析用户的话语意图。
因此，用户可以享受在无需说出内容项的标题的情况下，仅以简单的话语获得所需信息的改进体验。
接下来，将描述图11。
特别地，与图9和图10的实施例不同，图11是示例，其中用户搜索结果UI未显示在显示单元180上时说出搜索命令“人物是谁？”。
另外，在图11中，假定用户先前说出的先前搜索词是<BB>，其是第二个内容项913的标题。
显示装置100可以将包括正在观看的节目900的信息和先前搜索词中的一个或多个的第二观看信息发送到NLP服务器630。
在图11中，显示装置100可以接收搜索命令“人物是谁？”，并将与接收到的搜索命令相对应的语音数据发送到NLP服务器630。
NLP服务器630可以通过将接收到的语音数据转换成文本数据来获得第一搜索查询。
第一搜索查询可以是指示人物的搜索意图的查询。
因为NLP服务器630没有从显示装置100接收关于搜索结果UI910的信息，所以NLP服务器630可以使用先前搜索词<BB>来生成第二搜索查询。
换句话说，NLP服务器630可以获得附有<BB>的第二搜索查询，其是在第一搜索查询中获得的先前搜索词。
在图11中，第二搜索查询可以是<BB的人物是谁？>，包括作为第二个内容项913的标题的BB。
换句话说，第二搜索查询可以是用于搜索关于具有标题为BB的内容项的人物的信息的查询。
NLP服务器630可以根据第二搜索查询从第一AI代理服务器631或第二AI代理服务器633获得关于被称为BB的内容项的人物的信息，并将所获得的关于人物的信息发送给显示装置100。
显示装置100可以在显示单元180上显示关于从NLP服务器630接收到的人物的信息930。
这样，根据本公开的实施例，可以通过使用先前搜索词来分析用户的话语意图。
因此，用户可以享受在无需说出内容项的标题的情况下，仅以简单的话语获得所需信息的改进体验。
图12A和图12B图示根据本公开的实施例的通过连续话语提供搜索结果的示例。
图12A可以是在图9至图11中的任何一个的实施例之后执行的场景。
参考图12A，显示装置100显示表示第二个内容项913的人物的搜索结果的信息930。
显示装置100可以接收<导演是谁？(who is a director？)>的附加搜索命令。显示装置100可以将与附加搜索命令相对应的语音数据发送到NLP服务器630。
NLP服务器630可以识别出当前选择了第二个内容项913，并且基于所接收的语音数据的意图来搜索与制作第二个内容项913的导演有关的信息。
换句话说，如果在第一个内容项至第三个内容项911至915当中选择第二个内容项913的状态下接收到附加搜索命令<导演是谁？>，则该附加搜索命令可以是被识别为请求搜索与第二个内容项913有关的信息的搜索查询。
NLP服务器630可以获得与第二个内容项913有关的关于接收到的附加搜索命令的搜索信息，直到确定取消第二个内容项913的选择的意图。
NLP服务器630可以从第一AI代理服务器631或第二AI代理服务器633获得针对制作第二个内容项913的导演的搜索信息，并将针对所获得的导演的搜索信息发送到显示装置100。
显示装置100可以在显示单元180上显示关于导演的接收到的搜索信息1210。
在这种状态下，显示装置100可以接收<票房表现如何？(what about box officeperformance？)>的附加搜索命令。显示装置100可以将与附加搜索命令相对应的语音数据发送到NLP服务器630。
NLP服务器630可以识别出当前选择了第二个内容项913，并且可以基于接收到的语音数据的意图，基于第二个内容项913的标题来搜索第二个内容项913的票房表现。。
换句话说，如果NLP服务器630在第一个至第三个内容项911至915中选择第二个内容项913时接收到附加搜索命令<票房表现如何？>，则NLP服务器630可以识别附加搜索请求作为搜索查询，其请求搜寻与第二个内容项913有关的信息。
NLP服务器630可以获得与第二个内容项913有关的关于接收到的附加搜索命令的搜索信息，直到确定取消第二个内容项913的选择的意图。
NLP服务器630可以从第一AI代理服务器631或第二AI代理服务器633获取指示第二个内容项913的票房表现的搜索信息，并且将与所获得的票房表现有关的搜索信息发送到显示装置100。
显示装置100可以在显示单元180上显示关于接收到的票房表现的搜索信息1230。
如上所述，根据本实施例，在多AI代理结构中，用户可以通过连续话语来连续搜索要核实的信息。
因此，用户可以感觉到确认各种搜索结果的改进体验。
同时，如果重新请求搜索结果UI 910的显示，则可以识别出取消第二个内容项913的选择的意图。
作为另一示例，如果请求选择除了第二个内容项913以外的内容项，则可以识别出取消对第二个内容项913的选择的意图。
稍后将对此进行描述。
图12C是用于描述取消内容项的选择的过程的示图。
参考图12C，显示装置100显示指示第二个内容项913的票房表现的信息1230。
在这种状态下，用户可以说出<第一项(first item)>。
显示装置100可以接收语音命令“第一项”，并且根据接收到的语音命令取消对第二个内容项913的选择。
详细地，显示装置100可以将<第一项>的语音命令的语音数据发送到NLP服务器630。
NLP服务器630可以将接收到的语音数据转换成文本数据，并且识别出转换的文本数据的意图是要选择第一个内容项911。
换句话说，NLP服务器630可以将文本数据的意图识别为取消第二个内容项913的选择的意图。
NLP服务器630可以取消第二个内容项913的选择，并且将显示搜索结果UI 910的请求发送到显示装置100。
响应于从NLP服务器630接收到的请求，显示装置100可以将指示票房表现的信息1230转换成搜索结果UI 910。
换句话说，显示装置100可以在显示单元180上显示搜索结果UI 910。
同时，显示装置100可以聚焦位于搜索结果UI 910的第一个的第一个内容项911。换句话说，第二个内容项913的选择被用户说出的<第一项目>取消，并且第一个内容项911可以自动地被选择。
此后，用户可以说出搜索命令以接收关于第一个内容项911的搜索结果。
如上所述，根据本公开的实施例，用户可以选择或取消内容项，并且通过简单的话语搜索关于所需内容项的信息。作为另一示例，NLP服务器630可以从显示装置100接收取消第二个内容项913的选择的请求。显示装置100可以从遥控装置200接收选择取消请求并且将接收到的选择取消请求发送到NLP服务器630。
接下来，将描述根据本公开的另一实施例的用于操作人工智能系统的方法。
图13是根据另一实施例的用于描述操作人工智能系统的方法的梯形图。
参考图13，显示装置100的控制单元170在显示单元180上显示节目图像(S1301)。
显示装置100的控制单元170获得节目图像中包括的对象的信息(S1303)。
在实施例中，控制单元170可以捕获节目图像，并将捕获的图像发送到图像识别服务器。
图像识别服务器可以从捕获的图像中识别图像中包括的一个或多个对象。图像识别服务器可以通过使用由深度学习算法或机器学习算法指导的图像识别模型来从图像中识别对象。
换句话说，图像识别服务器可以从图像获得用于识别对象的名称。
图像识别服务器可以将用于识别对象的名称发送到显示装置100。
在另一实施例中，可以将由遥控装置200控制的指示器205显示在显示单元180上。
节目图像的捕获图像可以包括指示器205。
图像识别服务器可以使用图像识别模型来识别与指示器205的位置相对应的对象。
图像识别服务器可以从捕获的图像中识别指示器205，并识别与指示器205的位置相对应的对象。
图像识别服务器可以将所识别的对象的名称发送到显示装置100。
显示装置100的控制单元170接收语音命令(S1305)，并将与接收到的语音命令相对应的语音数据和对象信息发送给NLP服务器630(S1307)。
NLP服务器630的处理器66将从显示装置100接收的语音数据转换成文本数据以获得文本数据(S1309)。
NLP服务器630可以使用STT引擎将语音数据转换成文本数据。
NLP服务器630的处理器66基于文本数据的意图分析获得第一查询(S1311)。
第一查询可以反映由用户说出的语音命令的意图分析的结果。
NLP服务器630的处理器66基于对象的信息将第一查询转换成第二查询(S1313)。
处理器66可以将对象的名称与第一查询结合以生成第二查询。
NLP服务器630的处理器66从多个AI代理中的任何一个获得与第二查询相对应的意图执行结果(S1315)。
处理器66可以将第二查询发送到第一AI代理631或第二AI代理633，并且可以从第一AI代理631或第二AI代理633获得与第二查询相对应的意图执行结果。
如果第二查询反映搜索关于对象的详细信息的意图，则意图执行结果可以是对象的详细信息的搜索结果。
NLP服务器630的处理器66通过通信单元61将意图执行结果发送到显示装置100(S1317)。
显示装置100的控制单元170在显示单元180上显示从NLP服务器630接收的意图执行结果(S1319)。
同时，图13中所图示的一些步骤可以同时执行，并且步骤的顺序可以颠倒。
图14和图15是用于描述使用对象识别技术来掌握用户的话语意图的实施例的图。
参考图14，显示装置100在显示单元180上显示节目图像1400。
用户可以通过遥控装置200的操作将指示器205放置在节目图像1400中包括的运动鞋1410上。
显示装置100可以捕获节目图像1400并将捕获的图像发送到图像识别服务器。
显示装置100可以获取指示器205的坐标，并将捕获的图像和指示器205的坐标一起发送到图像识别服务器1610。
如果接收到用户的语音命令，则显示装置100可以捕获节目图像1400。换句话说，由用户说出的语音命令可以是用于捕获节目图像1400的触发器。
图像识别服务器可以被包括在NLP服务器630中。
图像识别服务器可以使用图像识别模型来分析捕获的图像，并识别与图像中包括的指示器205的位置相对应的运动鞋1410。
图像识别服务器可以将包括运动鞋的名称和品牌中的一个或多个的运动鞋的信息发送到显示装置100。
显示装置100可以接收语音命令“请把它添加到购物清单中(Please,add that tothe shopping list)”，并将接收到的语音命令的语音数据和运动鞋的信息发送给NLP服务器630。
NLP服务器630可以根据意图分析操作将语音数据转换成文本数据，并获得反映将对象添加到购物清单的意图的第一查询。
NLP服务器630可以将运动鞋的信息与第一查询结合以生成第二查询。第二查询可以反映出将A品牌运动鞋添加到购物清单的意图。
NLP服务器630可以将第二查询发送到第一AI代理服务器631或第二AI代理服务器633，并且接收关于A品牌运动鞋的详细信息。
NLP服务器630可以将接收到的A品牌的详细信息添加到购物清单，并且将反映A品牌的详细信息的购物清单发送到显示装置100。
显示装置100可以在显示单元180上显示包括A品牌的详细信息1431的购物清单1430。
如上所述，根据本公开的实施例，用户可以在观看节目的同时通过简单的话语来核实关于节目图像中包括的对象的对象的期望动作或详细信息。
接下来，描述图15。
参考图15，显示装置100在显示单元180上显示节目图像1500。
显示装置100可以捕获节目图像1500并将捕获的图像发送到图像识别服务器。
如果接收到用户的语音命令，则显示装置100可以在那时捕获节目图像1500。换句话说，由用户说出的语音命令可以是用于捕获节目图像1500的触发器。
图像识别服务器可以包括在NLP服务器630中。
图像识别服务器可以通过使用图像识别模型来分析捕获的图像并且识别图像中包括的地标。
图像识别服务器可以将包括地标名称的地标信息发送到显示装置100。
显示装置100可以接收语音命令“到那里需要多长时间？(how long does it takethere？)”，并将接收到的语音命令的语音数据和地标信息发送到NLP服务器630。
NLP服务器630可以根据意图分析操作将语音数据转换成文本数据，并获得反映请求从当前位置到达地标所需时间的意图的第一查询。
NLP服务器630可以将地标的名称与第一查询结合以生成第二查询。第二查询可以反映想要从当前位置到B桥所花费的时间的意图。
NLP服务器630可以将第二查询发送到第一AI代理服务器631或第二AI代理服务器633，并且接收包括到达A桥所花费的时间的详细信息。
NLP服务器630可以将接收到的详细信息发送到显示装置100。
显示装置100可以在显示单元180上显示详细信息1510，包括到A桥的距离以及通过飞机到达A桥所花费的时间。
如上所述，根据本公开的实施例，用户可以在观看节目的同时通过简单的话语来核实关于节目图像中包括的对象或对象的详细信息的期望动作。
图16是用于描述根据图13至图15的实施例的另一种形式的人工智能系统的视图。
与图6的人工智能系统6相比，图16的人工智能系统1600具有图像识别服务器1610和图像识别器107的附加配置。
图像识别器107可以被包括在显示装置100的控制单元170中。
图像识别器107可以捕获显示在显示单元180上的节目图像，并且将捕获的图像发送到图像识别服务器1610。
图像识别器107可以实时或周期性地捕获节目图像。
作为另一示例，如果接收到用户的语音命令，则图像识别器107可以捕获节目图像。
在捕获时，图像识别器107可以获取指示器205的坐标，并将捕获的图像和指示器205的坐标发送到图像识别服务器1610。
图像识别器107可以配置成与控制单元170分离存在。
图像识别服务器1610可以使用图像识别模型来识别从图像识别器107接收的捕获图像中包括的对象。
如果图像识别服务器1610一起接收捕获的图像和指示器205的坐标，则图像识别服务器1610可以识别与指示器205的坐标相对应的对象。
图像识别服务器1610可以将包括识别出的对象的名称的对象的识别信息发送到图像识别器107。
图像识别器107可以将对象的识别信息发送到NLP客户端101。
NLP客户端101可以将与对象识别信息相对应的语音数据和由用户说出的语音命令发送到数据转换服务器610。
数据转换服务器610可以将语音数据转换成文本数据，并将转换的文本数据和对象的识别信息发送给NLP服务器630。
NLP服务器630可以获得指示文本数据的意图分析结果的第一查询，并且基于对象的识别信息和第一查询来生成第二查询。
NLP服务器630可以将第二查询发送到第一AI代理服务器631或第二AI代理服务器633，并且从第一AI代理服务器631或第二AI代理服务器633中的任意一个获得第二查询的意图执行结果。
NLP服务器630可以将意图执行结果发送到数据转换服务器610，并且数据转换服务器610可以以文本数据的形式将意图执行结果发送到NLP客户端101。
根据本公开的实施例，上述方法可以体现为在其中记录有程序的介质上的处理器可读代码。处理器可读介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等，并且可以以载波的形式实现(例如，通过互联网的传输)。
上述显示装置可以不限于应用于上述实施例的配置和方法，而是可以通过选择性地组合所有或一些实施例来配置实施例，使得可以进行各种修改。

Claims (13)

1.一种人工智能设备，包括：
通信接口，所述通信接口被配置成与显示装置通信；以及
处理器，所述处理器被配置成：
通过所述通信接口从所述显示装置接收与观看信息和搜索命令相对应的语音数据，
将接收到的语音数据转换成文本数据，
获得指示转换的文本数据的意图的第一查询，
基于所述观看信息将所述第一查询转换成第二查询，
获得与转换的第二查询相对应的搜索结果，并且
将获得的搜索结果发送给所述显示装置，
其中，所述处理器被配置成：
确定多个AI代理当中的执行与所述第二查询相对应的搜索的AI代理，并且
从确定的AI代理获得与所述第二查询相对应的所述搜索结果。
2.根据权利要求1所述的人工智能设备，
其中，所述观看信息包括在所述显示装置上显示的搜索结果UI中包括的内容信息、在所述显示装置上正在观看的节目的信息以及由用户先前说出的先前搜索词中的至少一个，其中，所述搜索结果UI是指示根据用户的话语显示的搜索结果或从远程控制装置接收到的搜索命令的用户界面。
3.根据权利要求2所述的人工智能设备，
其中，所述内容信息包括以下中的至少一个：包括与所述搜索结果UI中包括的多个内容项中的每个相对应的多个标题的标题列表、多个内容项当中的聚焦项的标题以及所述内容项的位置关系。
4.根据权利要求3所述的人工智能设备，
其中，所述处理器被配置成：
如果所述搜索结果UI被显示在所述显示装置上并且所述第一查询是指示多个内容项当中的第N个内容项的查询，则基于所述内容信息来提取第N个内容项；并且
使用所述第N个内容项的标题来将所述第一查询转换成所述第二查询。
5.根据权利要求3所述的人工智能设备，
其中，所述处理器被配置成：
如果所述搜索结果UI被显示在所述显示装置上并且在所述多个内容项当中存在聚焦项，则提取聚焦的内容项，并且
使用提取的内容项的标题来将所述第一查询转换成所述第二查询。
6.根据权利要求2所述的人工智能设备，
其中，所述处理器被配置成：
如果所述搜索结果UI未显示在所述显示装置上，则使用所述先前搜索词将所述第一查询转换成所述第二查询。
7.根据权利要求4所述的人工智能设备，
其中，所述处理器被配置成：
从所述显示装置接收与附加搜索命令相对应的语音数据，
将所述接收到的语音数据转换成文本数据，并且
获得附加搜索结果，所述附加搜索结果反映所述第N个内容项的所述转换的文本数据的意图。
8.根据权利要求7所述的人工智能设备，
其中，所述处理器被配置成：
在从所述显示装置接收到反映取消对所述第N个内容项的选择的意图的命令的情况下，取消所述第N个内容项的选择。
9.根据权利要求1所述的人工智能设备，
其中，所述多个AI代理中的每个表示提供语音识别服务的主体的代理。
10.一种人工智能设备，包括：
通信接口，所述通信接口被配置成与显示装置通信；以及
处理器，所述处理器被配置成：
通过所述通信接口从所述显示装置接收与对象的信息和语音命令相对应的语音数据；
将接收到的语音数据转换成文本数据，
获得指示转换的文本数据的意图的第一查询，
基于所述对象的信息将所述第一查询转换成第二查询，
获得与所述转换的第二查询相对应的意图执行结果，并且
将获得的意图执行结果发送给所述显示装置，
其中，所述处理器被进一步配置成：
将所述第二查询发送到多个AI代理中的任何一个，并且
获得与所述第二查询相对应的所述意图执行结果。
11.根据权利要求10所述的人工智能设备，
其中，所述对象的信息是用于识别包括在所述显示装置上显示的节目图像中的对象的名称。
12.根据权利要求11所述的人工智能设备，
其中，所述处理器被配置成：
将所述对象的名称与所述第一查询结合以生成所述第二查询。
13.根据权利要求10所述的人工智能设备，
其中，所述意图执行结果包括所述对象的详细搜索信息。
CN201911346640.7A 2019-10-30 2019-12-24 人工智能设备 Active CN112750438B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0136432 2019-10-30
KR1020190136432A KR20210051319A (ko) 2019-10-30 2019-10-30 인공 지능 장치

Publications (2)

Publication Number Publication Date
CN112750438A CN112750438A (zh) 2021-05-04
CN112750438B true CN112750438B (zh) 2024-05-31

Family

ID=68886715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346640.7A Active CN112750438B (zh) 2019-10-30 2019-12-24 人工智能设备

Country Status (4)

Country Link
US (1) US11544602B2 (zh)
EP (1) EP3816819A1 (zh)
KR (1) KR20210051319A (zh)
CN (1) CN112750438B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718219B (zh) * 2019-09-12 2022-07-22 百度在线网络技术（北京）有限公司 一种语音处理方法、装置、设备和计算机存储介质
KR20230039909A (ko) * 2021-09-15 2023-03-22 삼성전자주식회사 불완전 연속 발화를 처리하는 서버, 전자 장치 및 그의 동작 방법
KR102639379B1 (ko) * 2023-09-11 2024-02-23 주식회사 릴리즈 인공지능 모델 기반 사용자 맞춤형 골프 프로 매칭 플랫폼 서비스 제공 방법, 장치 및 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246587A (zh) * 2008-12-16 2011-11-16 摩托罗拉移动公司 逐步细化基于语音的搜索
CN103081497A (zh) * 2010-07-26 2013-05-01 Lg电子株式会社 操作图像显示设备的方法
CN103729126A (zh) * 2012-10-11 2014-04-16 谷歌公司 移动设备语音激活
EP2752846A1 (en) * 2013-01-07 2014-07-09 Samsung Electronics Co., Ltd Dialogue-type interface apparatus and method for controlling the same
CN103916709A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 服务器和用于控制服务器的方法
CN105095341A (zh) * 2014-05-23 2015-11-25 三星电子株式会社 搜索方法和设备
CN106095766A (zh) * 2015-04-28 2016-11-09 谷歌公司 使用选择性重新讲话来校正话音识别
CN106462617A (zh) * 2014-06-30 2017-02-22 苹果公司 用于电视机用户交互的智能自动化助理
KR20180014137A (ko) * 2018-01-26 2018-02-07 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
CN108063969A (zh) * 2012-06-15 2018-05-22 三星电子株式会社 显示设备、控制显示设备的方法、服务器以及控制服务器的方法

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5498003A (en) * 1993-10-07 1996-03-12 Gechter; Jerry Interactive electronic games and screen savers with multiple characters
US5715416A (en) * 1994-09-30 1998-02-03 Baker; Michelle User definable pictorial interface for a accessing information in an electronic file system
US5553221A (en) * 1995-03-20 1996-09-03 International Business Machine Corporation System and method for enabling the creation of personalized movie presentations and personalized movie collections
US7715642B1 (en) * 1995-06-06 2010-05-11 Hewlett-Packard Development Company, L.P. Bitmap image compressing
US5872575A (en) * 1996-02-14 1999-02-16 Digital Media Interactive Method and system for the creation of and navigation through a multidimensional space using encoded digital video
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6097393A (en) * 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US6658662B1 (en) * 1997-06-30 2003-12-02 Sun Microsystems, Inc. Retrieving information from a broadcast signal
US8332478B2 (en) * 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US6409602B1 (en) * 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
US6282713B1 (en) * 1998-12-21 2001-08-28 Sony Corporation Method and apparatus for providing on-demand electronic advertising
US7054831B2 (en) * 1999-07-07 2006-05-30 Eric Koenig System and method for combining interactive game with interactive advertising
US7325245B1 (en) * 1999-09-30 2008-01-29 Intel Corporation Linking to video information
US20010053996A1 (en) * 2000-01-06 2001-12-20 Atkinson Paul D. System and method for distributing and controlling the output of media in public spaces
WO2001067770A1 (en) * 2000-03-03 2001-09-13 Mizrahi Enterprises, Inc. Method and system for selectively recording content relating to an audio/visual presentation
WO2002008927A1 (en) * 2000-07-14 2002-01-31 Infinite Broadcast Corporation Multimedia player and browser system
US7000242B1 (en) * 2000-07-31 2006-02-14 Jeff Haber Directing internet shopping traffic and tracking revenues generated as a result thereof
US20020069405A1 (en) * 2000-09-20 2002-06-06 Chapin Paul W. System and method for spokesperson interactive television advertisements
JP3744792B2 (ja) * 2000-12-04 2006-02-15 株式会社ハドソン 絵本作成システム、絵本作成用サーバおよび記録媒体
US7257537B2 (en) * 2001-01-12 2007-08-14 International Business Machines Corporation Method and apparatus for performing dialog management in a computer conversational interface
US20020133562A1 (en) * 2001-03-13 2002-09-19 Newnam Scott G. System and method for operating internet-based events
US20020162117A1 (en) * 2001-04-26 2002-10-31 Martin Pearson System and method for broadcast-synchronized interactive content interrelated to broadcast content
US7992161B2 (en) * 2001-05-22 2011-08-02 At&T Intellectual Property I, L.P. Method and apparatus for providing incentives for viewers to watch commercial advertisements
US7886003B2 (en) * 2001-07-06 2011-02-08 Ericsson Television, Inc. System and method for creating interactive events
EP1422936B1 (en) * 2001-08-28 2012-03-21 Panasonic Corporation Broadcast reception method
US7778925B2 (en) * 2001-09-18 2010-08-17 Sony Corporation Audio and video digital content delivery
US7996232B2 (en) * 2001-12-03 2011-08-09 Rodriguez Arturo A Recognition of voice-activated commands
US20030149618A1 (en) * 2002-02-01 2003-08-07 Microsoft Corporation Flexible dynamic advertising
US20030149975A1 (en) * 2002-02-05 2003-08-07 Charles Eldering Targeted advertising in on demand programming
US20030217210A1 (en) * 2002-05-15 2003-11-20 Carau Frank P. Memory card having an integral battery that powers an electronic device
US7018361B2 (en) * 2002-06-14 2006-03-28 Baxter International Inc. Infusion pump
JP4658598B2 (ja) * 2002-07-01 2011-03-23 マイクロソフト コーポレーション ストリームに埋め込まれた反復オブジェクトに対するユーザ制御を提供するシステムおよび方法
JP4536658B2 (ja) * 2003-11-02 2010-09-01 セラ，ヨッシー 携帯電話ゲートウェイ、通信システム、およびゲートウェイ動作システム。
US20050132398A1 (en) * 2003-12-15 2005-06-16 David Baran System and method for individualizing TV programming choices
US20050144024A1 (en) * 2003-12-24 2005-06-30 Wojton Walter G. Subscriber network system and method for viewing images and exchanging messages
US20050267813A1 (en) * 2004-05-26 2005-12-01 Monday Edward M Method and system for marketing items displayed in entertainment programs such as music videos, television programs, and the like
US20060123451A1 (en) * 2004-12-07 2006-06-08 Showtime Networks Inc. Enhanced content in an on-demand environment
US20060184579A1 (en) * 2005-01-05 2006-08-17 Michael Mills Framework for providing ancillary content in a television environment
US8141111B2 (en) * 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
US8412021B2 (en) * 2007-05-18 2013-04-02 Fall Front Wireless Ny, Llc Video player user interface
US8221220B2 (en) * 2006-08-11 2012-07-17 Disney Enterprises, Inc. Method and/or system for adaptive gaming experience
US8043156B2 (en) * 2006-08-11 2011-10-25 Disney Enterprises, Inc. Interactive installation for interactive gaming
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080115161A1 (en) * 2006-10-30 2008-05-15 Google Inc. Delivering user-selected video advertisements
TWI330795B (en) * 2006-11-17 2010-09-21 Via Tech Inc Playing systems and methods with integrated music, lyrics and song information
US20080221986A1 (en) * 2007-03-09 2008-09-11 Barry Soicher Consumer-choice, incentive based, alternative payment method and advertising system
EP2151126A4 (en) * 2007-05-11 2011-03-16 Ice L L C METHOD AND SYSTEM FOR PROCESSING BUSINESS TRANSACTIONS IN AN INTERACTIVE ENVIRONMENT
US20080295129A1 (en) * 2007-05-21 2008-11-27 Steven Laut System and method for interactive video advertising
US20090281908A1 (en) * 2007-11-26 2009-11-12 Victor Wong System for the Creation, Production, and Distribution of Music
US20090217316A1 (en) * 2008-02-22 2009-08-27 Binita Gupta Systems and Methods for Advertising Insertion Notification in a Real-Time Streaming Media Service
WO2012047666A1 (en) * 2010-09-27 2012-04-12 Hulu Llc Method and apparatus for user selection of advertising combinations
US8079054B1 (en) * 2008-04-14 2011-12-13 Adobe Systems Incorporated Location for secondary content based on data differential
US20090293081A1 (en) * 2008-05-22 2009-11-26 At&T Delaware Intellectual Property, Inc. Methods and computer program products for performing searches at a plurality of content storing locations
US20100131385A1 (en) * 2008-11-25 2010-05-27 Opanga Networks, Llc Systems and methods for distribution of digital media content utilizing viral marketing over social networks
US20100283741A1 (en) * 2009-05-06 2010-11-11 Microsoft Corporation Contextually adaptive input device
US8635255B2 (en) * 2009-06-30 2014-01-21 Verizon Patent And Licensing Inc. Methods and systems for automatically customizing an interaction experience of a user with a media content application
US9838744B2 (en) * 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
US9094726B2 (en) * 2009-12-04 2015-07-28 At&T Intellectual Property I, Lp Apparatus and method for tagging media content and managing marketing
US8627379B2 (en) * 2010-01-07 2014-01-07 Amazon Technologies, Inc. Offering items identified in a media stream
US8686271B2 (en) * 2010-05-04 2014-04-01 Shazam Entertainment Ltd. Methods and systems for synchronizing media
US8898719B2 (en) * 2010-05-20 2014-11-25 Comcast Cable Communications, Llc Communication for one way devices
US8331098B2 (en) * 2010-06-18 2012-12-11 Research In Motion Limited Mobile device with a flip-around keyboard
US20120084811A1 (en) * 2010-10-04 2012-04-05 Mark Thompson System and Method for Integrating E-Commerce Into Real Time Video Content Advertising
US20120084812A1 (en) * 2010-10-04 2012-04-05 Mark Thompson System and Method for Integrating Interactive Advertising and Metadata Into Real Time Video Content
US9462340B1 (en) * 2011-10-13 2016-10-04 Trevor Mathurin Voice/manual activated and integrated audio/video multi-media, multi-interface system
TW201318427A (zh) * 2011-10-26 2013-05-01 Sheng-Chuang Zhang 具對外連接應用處理器功能的液晶電視機
KR101978957B1 (ko) * 2012-05-09 2019-05-16 엘지전자 주식회사 디스플레이 장치 및 애플리케이션 실행 및 설치 방법
KR102017699B1 (ko) * 2013-03-04 2019-09-03 엘지전자 주식회사 디지털 디스플레이 디바이스 및 그 제어 방법
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
US20140278834A1 (en) * 2013-03-14 2014-09-18 Armchair Sports Productions Inc. Voting on actions for an event
EP2999160A1 (en) * 2014-09-16 2016-03-23 Samsung Electronics Co., Ltd. Transmission device and reception device for transmission and reception of wake-up packet, and wake-up system and method
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9516373B1 (en) * 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions
US9596502B1 (en) * 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246587A (zh) * 2008-12-16 2011-11-16 摩托罗拉移动公司 逐步细化基于语音的搜索
CN103081497A (zh) * 2010-07-26 2013-05-01 Lg电子株式会社 操作图像显示设备的方法
CN108063969A (zh) * 2012-06-15 2018-05-22 三星电子株式会社 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
CN108391149A (zh) * 2012-06-15 2018-08-10 三星电子株式会社 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
CN103729126A (zh) * 2012-10-11 2014-04-16 谷歌公司 移动设备语音激活
EP2752846A1 (en) * 2013-01-07 2014-07-09 Samsung Electronics Co., Ltd Dialogue-type interface apparatus and method for controlling the same
CN103916704A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 对话型接口设备及其控制方法
CN103916709A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 服务器和用于控制服务器的方法
CN105095341A (zh) * 2014-05-23 2015-11-25 三星电子株式会社 搜索方法和设备
CN106462617A (zh) * 2014-06-30 2017-02-22 苹果公司 用于电视机用户交互的智能自动化助理
CN106095766A (zh) * 2015-04-28 2016-11-09 谷歌公司 使用选择性重新讲话来校正话音识别
KR20180014137A (ko) * 2018-01-26 2018-02-07 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법

Also Published As

Publication number Publication date
EP3816819A1 (en) 2021-05-05
US20210133609A1 (en) 2021-05-06
CN112750438A (zh) 2021-05-04
US11544602B2 (en) 2023-01-03
KR20210051319A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
CN112750438B (zh) 人工智能设备
US10901690B2 (en) Display device and system comprising same
EP4037328A1 (en) Display device and artificial intelligence system
EP3916723B1 (en) Devices for providing search results in response to user utterances
KR102576388B1 (ko) 디스플레이 장치 및 그의 동작 방법
US20220293106A1 (en) Artificial intelligence server and operation method thereof
US11412281B2 (en) Channel recommendation device and operating method therefor
US20210014572A1 (en) Display device
EP4016525A1 (en) Display device and artificial intelligence server capable of controlling home appliance through user&#39;s voice
EP3553651A1 (en) Display device for displaying and processing a webpage to access a link based on a voice command
KR20200102861A (ko) 디스플레이 장치 및 그의 동작 방법
US11881220B2 (en) Display device for providing speech recognition service and method of operation thereof
US11974010B2 (en) Display device for controlling one or more home appliances in consideration of viewing situation
US20230282209A1 (en) Display device and artificial intelligence server
US20220399019A1 (en) Home appliance and server
EP4345817A1 (en) Display device and operating method thereof
CN113573095B (zh) 显示装置及其操作方法
EP4002087A1 (en) Display device and artificial intelligence server which can control home appliance through user voice
KR20240065171A (ko) 디스플레이 장치
US20220286726A1 (en) Display device and control method therefor
EP4027334A1 (en) Display apparatus
CN113573095A (zh) 显示装置及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant