CN103517147A - 提供响应信息的显示设备、交互服务器以及方法 - Google Patents

提供响应信息的显示设备、交互服务器以及方法 Download PDF

Info

Publication number
CN103517147A
CN103517147A CN201310175179.XA CN201310175179A CN103517147A CN 103517147 A CN103517147 A CN 103517147A CN 201310175179 A CN201310175179 A CN 201310175179A CN 103517147 A CN103517147 A CN 103517147A
Authority
CN
China
Prior art keywords
voice
user
display device
send
response message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310175179.XA
Other languages
English (en)
Inventor
许惠贤
孙譓琳
申俊亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103517147A publication Critical patent/CN103517147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了用于提供响应信息的显示设备、交互服务器和方法。所述显示设备包括：语音收集器，收集用户发出的语音；通信单元，与交互服务器通信；以及控制器，如果从交互服务器接收到与发送到交互服务器的发出语音相对应的响应信息，则基于响应信息控制执行与用户发出的语音相对应的操作，其中，响应信息是根据基于从发出的语音提取的话语元素而分类的功能以不同形式产生的。相应地，显示设备可以执行与每个发出的语音相对应的功能，并且甚至在从用户输入各种发出语音的情况下也可以输出与每个发出语音相对应的响应消息。

Description

提供响应信息的显示设备、交互服务器以及方法
相关申请的交叉参考
本申请要求2012年6月14日向韩国知识产权局递交的韩国专利申请No.10-2012-0063811的优先权，其全部公开内容通过引用合并于此。
技术领域
符合示例实施例的方法和设备涉及提供响应信息的显示设备、交互服务器以及方法，更具体地，涉及提供与用户发出的语音相对应的响应信息的显示设备和交互服务器，以及提供响应信息的方法。
背景技术
能够识别语音的显示设备收集用户发出的语音，并且通过网络向外部服务器发送收集的语音。其后，显示设备从外部服务器接收与发出的语音有关的信息，该发出的语音已经被转换成显示设备可识别的格式，分析发出的语音的信息，并且掌握用户发出的语音的含义。其后，显示设备基于掌握的结果执行与用户发出的语音相对应的功能，并且如果需要输出与用户发出的语音有关的指南消息。
然而，这样相关技术显示设备会限制执行与用户发出的语音相对应的功能，并且仅仅执行或不执行与用户发出的语音相对应的功能。
具体地，如果显示设备根据来自用户的请求进入语音识别模式，则显示设备在屏幕上显示通过用户发出的语音控制显示设备的操作的命令。因此，用户参照屏幕上显示的显示设备的操作控制命令发出与他/她期望执行的功能相对应的语音。
如果输入用户发出的语音，则显示设备从外部服务器接收与用户发出的语音有关的信息，分析与发出的语音有关的信息，并且执行用户请求的功能或者在屏幕上显示与语音重新请求有关的文本信息。
即，相关技术的显示设备基于预设命令或重新请求用户发出语音，仅执行与用户发出的语音相对应的操作，而不会响应于各种用户发出的语音提供不同响应信息。因此，需要开发一种响应于各种用户发出的语音提供不同响应信息的交互系统。
发明内容
一个或更多个示例实施例可以克服以上缺点和以上没有描述的其他缺点。然而，应当理解，一个或更多个示例实施例不需要克服上述缺点，并且可以不克服上述任何问题。
一个或更多个示例实施例提供一种响应于各种用户发出的语音提供不同响应信息的显示设备。
根据示例实施例的一个方面，提供了一种显示设备，包括：语音收集器，收集用户发出的语音；通信单元，与交互服务器通信；以及控制器，如果从交互服务器接收到的与发送到交互服务器的发出语音相对应的响应信息，则基于响应信息控制执行与用户发出的语音相对应的操作，其中，响应信息是根据基于从发出的语音提取的话语(utterance)元素而分类的功能以不同形式产生的。
该功能可以包括电子节目指南(EPG)相关功能和显示设备的操作控制功能中的至少一个。
显示设备还可以包括输出单元，并且如果发出的语音包括EPG相关话语元素或者显示设备的操作控制相关话语元素，则控制器可以基于从交互服务器接收到的响应信息执行输出响应消息的操作和执行功能的操作中的至少一个。
如果发出的语音包括与多个请求有关的EPG相关话语元素，则控制器可以基于从交互服务器接收到的响应信息输出语音重新请求消息。
显示设备还可以包括输出单元，如果发出的语音包括受限话语元素，则控制器可以基于从交互服务器接收到的响应信息控制输出与对应于发出的语音的操作有关的不允许消息。
显示设备还可以包括：存储装置，将用户的脸部图像与用户信息彼此匹配，并且存储匹配信息；以及拍摄单元，拍摄用户的脸部。控制器可以向交互服务器发送与拍摄单元产生的脸部图像相匹配的用户信息以及发出的语音，并且如果禁止的话语元素与用户的年龄相关联，则控制器可以根据基于用户信息产生的响应信息控制输出与对应于发出的语音的操作有关的不允许消息。
交互服务器可以包括：第一服务器，将收集的语音转换成文本信息；以及第二服务器，产生与已被转换成文本信息的发出语音相对应的响应信息。控制器可以将收集的语音转换成数字信号，并且向第一服务器发送经转换的语音，并且如果从第一服务器接收到与发出的语音有关的文本信息，则向第二服务器发送文本信息，并且接收与发出的语音相对应的响应信息。
根据另一示例实施例的一个方面，提供了一种交互服务器，包括：通信单元，与显示设备通信；提取单元，从接收自显示设备的发出的语音中提取话语元素；以及控制器，基于根据提取的话语元素而分类的功能以不同形式产生与发出的语音相对应的响应信息，并且向显示设备发送响应信息。
该功能可以包括EPG相关功能和显示设备的操作控制功能中的至少一个。
交互服务器还可以包括存储EPG信息的存储装置，并且如果提取的话语元素是EPG相关话语元素，则控制器可以基于存储装置中存储的EPG信息确定是否能够提供与发出的语音相对应的EPG信息。如果能够提供EPG信息，则控制器可以基于EPG信息产生与发出的语音相对应的响应信息，并且如果不能够提供EPG信息，则控制器可以基于EPG信息和互联网搜索中的至少一个产生与发出的语音有关的备选响应信息。
如果发出的语音包括与多个请求有关的EPG相关话语元素，则控制器可以在显示设备中产生语音重新请求消息，以重新请求用户发出语音。
如果提取的话语元素是显示设备的操作控制相关话语元素，则控制器可以基于该话语元素确定是否能够控制与发出的语音相对应的显示设备的操作。如果能够控制显示设备的操作，则控制器可以产生响应信息来控制显示设备的操作，并且如果不能够控制显示设备的操作，则控制器可以产生与显示设备的操作控制方法和当前状态通知中的至少一个有关的响应信息。
交互服务器还可以包括：存储装置，存储与禁止的话语元素有关的表。如果提取的话语元素包括禁止的话语元素，则控制器可以产生与对应于发出的语音的操作有关的不允许消息。
通信单元还可以从显示设备接收用户信息，并且如果提取的话语元素与用户的年龄相关联，则控制器可以基于用户信息确定是否产生与对应于发出的语音的操作有关的不允许消息。
根据又一示例实施例的一个方面，提供了一种方法，在与显示设备互锁的交互服务器中提供与用户发出的语音相对应的响应信息，该方法包括：从显示设备接收用户发出的语音，从发出的语音中提取话语元素，基于根据提取的话语元素而分类的功能以不同形式产生与发出的语音相对应的响应信息，并且向显示设备发送响应信息。
该功能可以包括EPG相关功能和显示设备的操作控制功能中的至少一个，并且所述产生可以包括：确定提取的话语元素是否是EPG相关话语元素，如果作为确定的结果提取的话语元素是EPG相关话语元素，则可以基于预存储的EPG信息确定是否可以提供与发出的语音相对应的EPG信息，并且如果作为确定的结果可以提供给EPG信息，则基于EPG信息产生与话语元素相对应的响应信息，并且如果不能提供EPG信息，则基于EPG信息和互联网搜索中的至少一个产生与发出的语音有关的备选响应信息。
所述产生还可以包括：如果作为检查结果提取的话语元素是EPG相关话语元素，则检查发出的语音是否包括与多个请求有关的EPG相关话语元素，并且如果作为检查的结果发出的语音包括与多个请求有关的EPG相关话语元素，则在显示设备中产生语音重新请求消息，以重新请求用户发出语音。
所述产生还可以包括：如果作为检查结果提取的话语元素是显示设备的操作控制相关话语元素，则基于话语元素检查是否能够控制与发出的语音相对应的显示设备操作，如果作为检查的结果能够控制显示设备的操作，则产生响应信息来控制显示设备的操作，并且如果不能够控制显示设备的操作，则产生与用于控制显示设备操作的方法和当前状态通知中的至少一个有关的响应信息。
该方法还可以包括：参照与禁止的话语元素有关的预存储表，检查提取的话语元素是否包括禁止的话语元素，并且如果作为检查的结果提取的话语元素包括禁止的话语元素，则产生与对应于发出的话语的操作有关的不允许消息。
所述接收还可以包括：从显示设备接收用户信息，并且还可以包括：如果作为检查结果提取的话语元素不包括禁止的话语元素，则检查提取的话语元素是否与用户的年龄相关联，并且如果作为检查结果提取的话语元素与用户的年龄相关联，则基于用户信息产生与对应于发出的语音的操作有关的不允许消息。
根据上述示例实施例，显示设备可以执行与每个发出的语音相对应的功能，并且甚至可以在从用户输入各种发出语音的情况下输出与每个发出的语音相对应的响应消息。
附图说明
参照附图通过详细描述示例实施例，以上和/或其他方面更加显而易见，在附图中：
图1是示出了根据示例实施例的提供适合于用户发出的语音的响应信息的交互系统的第一示例的视图；
图2是示出了根据另一示例实施例的提供适合于用户发出的语音的响应信息的交互系统的第二示例的视图；
图3是示出了根据示例实施例的在交互系统中提供适合于用户发出的语音的响应信息的方法的第一流程图；
图4是示出了根据另一示例实施例的在交互系统中提供适合于用户发出的语音的响应信息的方法的第二流程图；
图5是示出了根据示例实施例的显示设备的框图；
图6是详细示出了根据示例实施例的显示设备的框图；
图7是示出了根据示例实施例的交互服务器的框图；
图8是示出了根据示例实施例在显示设备中执行基于适合于用户发出的语音的响应信息的操作方法的流程图；
图9是示出了根据示例实施例在交互服务器中提供适合于用户发出的语音的响应信息的方法的流程图；以及
图10是示出了根据示例实施例交互服务器中用于在用户发出的语音包括EPG相关话语元素的情况下产生与用户发出的语音相对应的响应信息的方法的流程图。
具体实施方式
在下文中，参照附图更详细地描述示例实施例。
在以下描述中，当相同的元件在不同附图中示出时相同的附图标记用于相同的元件。提供说明书中定义的事物(例如详细构造和元件)以有助于全面理解示例实施例。因此，显而易见地，没有那些具体定义的事物也可以执行示例实施例。同样，由于相关领域公知的功能或元件会以不必要的细节模糊示例实施例，因此不对其进行描述。
图1是示出了根据示例实施例的提供适合于用户发出的语音的响应信息的交互系统的第一示例的视图。
如图1所示，根据示例实施例的交互系统包括显示设备100和交互服务器200。显示设备100可以由可以访问互联网的各种类型的电子设备来实现，例如，智能电视(TV)、包括智能电话的移动电话、台式个人计算机(PC)、膝上型PC或导航设备。
显示设备100收集用户发出的语音，并且执行与发出的语音相对应的操作。例如，如果输入改变频道的用户发出语音，则显示设备100选择对应频道并且显示该频道。在这种情况下，显示设备100还可以提供与该功能相对应的响应消息。在以上示例中，显示设备100可以将与改变的频道有关的信息输出为语音或文本格式的图像。同样，如果输入询问特定节目的播出时间的用户发出语音，则显示设备100可以将特定节目的播出时间输出为语音或文本格式的图像。
为了实现上述，显示设备100向交互服务器200发送收集的语音。已经接收到用户发出的语音的交互服务器200分析从显示设备100接收到的用户发出语音的含义，产生响应信息来控制显示设备100的操作，并且向显示设备100发送响应信息。即，如果从显示设备100接收到用户发出的语音，则交互服务器200从发出的语音中提取话语元素，基于提取的话语元素产生与用户发出的语音有关的响应信息，并且发送该响应信息。话语元素可以是用户发出的语音中用于执行用户请求的操作的关键词。例如，如果用户发出的语音是“本周六ooo节目什么时间播出？”，则话语元素可以是“本周六”、“ooo(节目标题)”、“什么时间”和“播出”。
如上所述从发出的语音中提取了话语元素的交互服务器200在提取的话语元素包括受限或禁止的话语元素(例如，与违禁毒品或亵渎言语有关的关键词)的情况下产生不允许与发出的语音相对应的响应信息，并且向显示设备100发送对所请求的操作尚未被允许加以指示的响应信息。交互服务器200可以从显示设备100接收用户的用户信息连同用户发出的语音。相应地，如果作为分析用户发出的语音的结果提取的话语元素包括与用户的年龄有关的话语元素(例如，与淫秽或暴力相关的关键词)，则交互服务器200可以基于用户信息产生不允许与发出的语音相对应的操作的响应信息，并且向显示设备100发送对所请求的操作尚未被允许加以指示的响应信息。如果提取的话语元素不包括上述禁止的话语元素，则交互服务器200基于从用户发出的语音中提取的话语元素产生响应信息，以执行与用户发出的语音相对应的操作，并且向显示设备100发送响应信息。
例如，显示设备100可以从用户收集与电子节目指南(EPG)相关联的发出语音(例如，本周六节目ooo什么时间播出？)。如果收集到这样的发出语音，则显示设备100向交互服务器200发送收集的语音。发出的语音可以是模拟信号。相应地，显示设备100可以将收集的语音转换成数字信号，并且然后向交互服务器200发送作为经转换的数字信号的发出语音。如果接收到已经被转换成数字信号的发出语音，则交互服务器200基于已经被转换成数字信号的发出语音产生文本信息，分析该文本信息，并且产生与用户发出的语音相对应的响应信息。然而，这不应视为限制。显示设备100可以向交互服务器200发送收集的语音，而无需分离的信号处理。在这种情况下，交互服务器200可以将从显示设备200接收到的用户发出的语音转换成数字信号，并且然后可以基于经转换的数字信号产生与用户发出的语音有关的文本信息。通过用户发出的语音产生文本信息的方法在相关领域是公知的，并因此省略其详细描述。
如上所述，如果产生与表示“本周六节目ooo什么时间播出？”的发出语音有关的文本信息，则交互服务器200分析表示“本周六节目ooo什么时间播出？”的发出语音，并且提取话语元素。提取的话语元素可以是“本周六”、“ooo(节目标题)”、“什么时间”和“播出”。如果提取这样的话语元素，则交互服务器200基于提取的话语元素产生与节目的播出时间有关的响应信息，并且向显示设备100发送响应信息。相应地，显示设备100可以基于接收到的响应信息将表示“节目将在7点播出”的响应消息输出为语音或文本格式的图像。
对于另一示例，显示设备100可以从用户收集表示“请安排记录在本周六播出的节目ooo”的发出语音。如果收集到这样的发出语音，则显示设备100向交互服务器200发送收集到的语音。在这种情况下，交互服务器200从表示“请安排记录在本周六播出的节目ooo”的发出语音中提取话语元素，基于提取的话语元素产生包括在节目ooo播出时安排记录该节目的控制命令以及表示“已经安排记录节目”的响应消息在内的响应信息，并且向显示设备100发送响应信息。相应地，显示设备100基于响应信息安排节目的记录，并且还将表示“已经安排记录节目ooo”的响应消息输出为语音或文本格式的图像。
上述交互服务器200可以包括：第一服务器10，产生与已经被转换成数字信号的用户发出的语音有关的文本信息；以及第二服务器20，基于文本信息产生与发出的语音相对应的响应信息。在下文中，详细说明通过显示设备100和第一服务器10和第二服务器20提供适合于用户发出的语音的响应信息的交互系统。
图2是示出了根据另一示例实施例的提供适合于用户发出的语音的响应信息的交互系统的第二示例的视图。
如图2所示，如果显示设备100收集用户发出的语音，则显示设备100将收集的语音转换成数字信号，并且向第一服务器10发送语音。如果接收到已经被转换成数字信号的发出语音，则第一服务器10根据与各种发出语音有关的特定预存储模式产生与用户发出的语音有关的文本信息，并且向显示设备100发送文本信息。
已经从第一服务器接收到与用户发出的语音有关的文本信息的显示设备向第二服务器20发送与用户发出的语音有关的文本信息。已经接收到与用户发出的语音有关的文本信息的第二服务器20分析文本信息，提取话语元素，基于提取的话语元素产生响应信息，以执行与用户发出的语音相对应的操作，并且向显示设备100发送响应信息。
到目前为止，示意性地描述了在交互系统中提供与用户发出的语音相对应的响应信息的操作，该交互系统包括显示设备100和交互服务器200。在下文中，示意性地描述在交互系统中提供与用户发出的语音相对应的响应信息的方法，交互系统包括显示设备100和交互服务器200。
图3是示出了根据示例实施例的在交互系统中提供适合于用户发出的语音的响应信息的方法的第一流程图。
如上图1中说明的，交互系统可以包括显示设备100和交互服务器200。在这种情况下，显示设备100收集用户发出的语音(操作S310)，如图3所示。收集的语音是模拟信号。相应地，显示设备100将收集的语音转换成数字信号(操作S320)。其后，显示设备100向交互服务器200发送已经被转换成数字信号的用户发出的语音(操作S230)。具体地，如果发起收集用户语音的模式，则显示设备100收集位于显示设备预定距离内的用户发出的语音，将收集的语音转换成数字信号，并且向交互服务器200发送经转换的语音。
为了实现上述，显示设备100可以包括麦克风以接收用户发出的语音。在这种情况下，麦克风可以嵌入在显示设备100中，或者可以安装在控制显示设备100的遥控器上。然而，这不应当视为限制，并且麦克风可以具有与遥控器分开由用户的手握住的形式，或者可以具有可以放置在桌子上的形式。
如果从显示设备100接收到发出的语音，则交互服务器200产生与发出的语音有关的文本信息，分析文本信息，并且从发出的语音中提取话语元素(操作S330和S340)。话语元素可以是用户发出的语音中执行用户请求的操作的关键词。例如，如果用户发出的语音是“本周六节目ooo什么时间播出？”，则话语元素可以是“本周六”、“ooo(节目标题)”、“什么时间”和“播出”。
如果提取这样的话语元素，则交互服务器200基于提取的话语元素产生与用户发出的语音相对应的操作的响应信息，并且向显示设备发送响应信息(操作S350和S360)。相应地，显示设备100从交互服务器200接收响应信息，并且基于响应信息执行与用户发出的语音相对应的操作(操作S360和S370)。响应信息可以包括控制显示设备100的功能的控制命令和响应于由显示设备100收集的发出语音输出响应消息的信息(在下文中，被称作响应消息)中的至少一个。
例如，如果接收到表示“请记录本周六播出的节目ooo(节目标题)”的用户发出的语音，则交互服务器200基于发出语音的话语元素产生响应信息，该响应信息包括在节目ooo播出时安排记录该节目的控制命令以及表示“已经安排节目ooo的记录”的响应消息，并且向显示设备100发送该响应信息。
相应地，显示设备100基于响应信息安排对应节目的记录，并且将表示“已经安排记录节目ooo”的响应消息输出为语音或文本格式的图像。
如上参照图2所述，交互服务器200可以包括第一服务器10和第二服务器20。在下文中，示意性说明书交互系统中提供与用户发出的语音相对应的响应信息的方法，交互系统包括显示设备100以及包括第一服务器10和第二服务器20的交互服务器200。
图4是示出了根据另一示例实施例的在交互系统中提供适合于用户发出的语音的响应信息的方法的第二流程图。
如上参照图2所述，交互系统可以通过显示设备100以及包括第一服务器10和第二服务器20的交互服务器200提供适合于用户发出的语音的响应信息。
如图4所示，显示设备100收集用户发出的语音，并且然后将用户发出的语音转换成数字信号(操作S410)。收集的语音是模拟信号。相应地，如果收集到用户发出的语音，则显示设备100将模拟信号的发出语音转换成数字信号。具体地，如果发起收集用户语音的模式，则显示设备100收集位于预定距离内的用户发出的语音，将收集的语音转换成数字信号，并且向第一服务器10发送经转换的语音。为了实现上述，显示设备100可以包括麦克风以接收用户发出的语音。在这种情况下，麦克风可以嵌入在显示设备100中，或者可以安装在控制显示设备100的遥控器上。然而，这不应当视为限制，并且麦克风可以具有与遥控器分开由用户的手握住的形式，或者可以具有可以放置在桌子上的形式。
如果将用户发出的语音转换成数字信号，则显示设备100向第一服务器10发送已经被转换成数字信号的用户发出的语音(操作S420)。已经接收到被转换成数字信号的用户发出的语音的第一服务器10根据与各种发出语音有关的特定预存储模式产生与用户发出的语音有关的文本信息(操作S430)。其后，第一服务器10发送与用户发出的语音有关的文本信息(操作S440)，并且显示设备100向第二服务器20发送与已经从第一服务器10接收到的用户发出的语音有关的文本信息(操作S450)。已经接收到与用户发出的语音有关的文本信息的第二服务器20分析文本信息并且提取用户发出的语音的话语元素(操作S460)。
话语元素可以是用户发出的语音中执行用户请求的操作的关键词。例如，如果用户发出的语音是“本周六节目ooo什么时间播出？”，则话语元素可以是“本周六”、“ooo(节目标题)”、“什么时间”和“播出”。
如果提取这样的话语元素，第二服务器20基于提取的话语元素产生响应信息，以执行与用户发出的语音相对应的操作，并且向显示设备100发送响应信息(操作S470和S480)。相应地，显示设备100从交互服务器200接收响应信息，并且基于响应信息执行与用户发出的语音相对应操作(操作S490)。响应信息可以包括控制显示设备100的功能的控制命令和响应于显示设备100中收集的语音输出响应消息的信息(在下文中，被称作响应消息)中的至少一个。
例如，如果接收到表示“请记录本周六播出的节目ooo(节目标题)”的用户发出的语音，则交互服务器200基于提取的话语元素产生响应信息，该响应信息包括在节目ooo播出时安排记录该节目的控制命令以及表示“已经安排记录节目ooo”的响应消息，并且向显示设备100发送该响应信息。相应地，显示设备100基于响应信息安排记录节目，并且还将表示“已经安排记录节目ooo”的响应消息输出为语音或文本格式的图像。
到目前为止，已经描述了在交互系统中提供适合于用户发出的语音的响应信息的方法。在下文中，详细说明上述显示设备100和交互服务器200的元件。
图5是示出了根据示例实施例的显示设备的框图。
如图5所示，显示设备100包括通信单元110、语音收集器120、控制器130和输出单元140。
通信单元110与交互服务器200通信，交互服务器200提供适合于用户发出的语音的响应信息。具体地，通信单元110按照各种通信方法与交互服务器200通信，并且向交互服务器200发送用户发出的语音。为了实现上述，通信单元110可以包括各种通信模块，例如局域无线通信模块(未示出)和无线通信模块(未示出)。局域无线通信模块(未示出)是与位于短距离内的外部设备无线通信的通信模块，并且例如可以是蓝牙或Zigbee。无线通信模块(未示出)是连接至外部网络的模块，以根据无线通信协议(例如，WiFi和IEEE)通信。除了上述以外，无线通信模块还可以包括连接至根据各种移动通信标准(例如，第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE))移动通信网络的移动通信模块。
语音收集器120处理收集的语音，并且产生用户语音信号。即，语音收集器120可以从收集的语音中去除噪声(例如，来自空调或真空吸尘器的噪声或音乐声)，并且可以产生用户语音信号。具体地，如果输入模拟格式的用户发出的语音，则语音控制器120对发出的语音进行采样，并且将其转换成数字信号。此时，语音收集器120确定已经被转换成数字信号的发出语音是否包含噪声，如果存在噪声，则从数字信号中去除噪声。如上所述，如果通过语音收集器120将用户发出的语音转换成数字信号，则通信单元110向交互服务器200发送已经被转换成数字信号的用户发出的语音。如上所述，交互服务器200可以包括：第一服务器10，产生与用户发出的语音有关的文本信息；以及第二服务器20，基于文本信息产生与用户发出的语音相对应的响应信息。相应地，如果通过语音收集器120将用户发出的语音转换成数字信号，则通信单元110向第一服务器10发送经转换的数字信号，并且如果从第一服务器10接收到转换成文本信息的用户发出的语音，则通信单元110向第二服务器20发送用户发出的语音。
然而，这不应当视为限制。交互服务器200可以是单个服务器，并且可以产生与用户发出的语音有关的文本信息，并且可以基于文本信息产生与用户发出的语音相对应的响应信息。在本示例实施例中，交互服务器200包括服务器200，服务器200包括第一服务器10和第二服务器20。
如果从第二服务器20接收到与已经被转换成文本信息的用户发出的语音相对应的响应信息，则控制器130基于响应信息控制执行与用户发出的语音相对应的操作。具体地，如果输入用户发出的语音，则控制器130通过语音收集器120将用户发出的语音转换成数字信号。其后，控制器130通过通信单元110向第一服务器10发送已经被转换成数字信号的用户发出的语音，并且从第一服务器10接收与用户发出的语音有关的文本信息。如果从第一服务器10接收与用户发出的语音有关的文本信息，则控制器130通过通信单元110向第二服务器20发送已经被转换成文本信息的用户发出的语音，并且接收与用户发出的语音相对应的响应信息。
输出单元140输出语音和图像中的至少一个。具体地，如果从第二服务器20接收与用户发出的语音相对应的响应信息，则输出单元140可以根据控制器130的控制命令，基于接收到的响应信息将与用户发出的语音有关的响应消息输出为语音或文本格式的图像。为了实现上述，输出单元140可以包括显示器141和音频输出单元143。
具体地，显示器141可以由液晶显示器(LCD)、有机发光二极管(OLED)或等离子显示面板(PDP)来实现，并且可以提供由显示设备100提供的各种显示屏。具体地，显示器141可以以文本或图像的格式显示与用户发出的语音相对应的响应消息。显示器141可以由形成分层配置的触摸屏和触摸板来实现，并且触摸屏可以配置为检测触摸输入位置、区域以及触摸输入的压力。然而，显示器的配置不限于此。
音频输出单元143可以由诸如扬声器或插孔等输出端口来实现，并且可以以语音格式输出与用户发出的语音有关的响应消息。
如上所述，可以根据基于从用户发出的语音中提取的话语元素而分类的功能，以不同形式产生从第二服务器20接收的响应信息。基于提取的话语元素而分类的功能可以包括EPG相关功能和显示设备100的操作控制相关功能中的至少一个。例如，如果从用户发出的语音中提取的话语元素与广播节目相对应，则功能是EPG相关功能，如果话语元素与显示设备100的电源开/关或音量改变相关联，则功能是显示设备操作控制相关功能。
相应地，如果从第二服务器20接收到响应信息，则控制器130基于响应信息控制执行与用户发出的语音相对应的操作。
例如，如果从用户输入表示“请将频道变到MBC”的发出语音，则控制器130通过语音收集器120将表示“请将频道变到MBC”的发出语音转换成数字信号，并且向第一服务器10发送经转换的语音。其后，如果从第一服务器10接收到与表示“请将频道改变到MBC”的发出语音有关的文本信息，则控制器130向第二服务器120发送与表示“请将频道改变到MBC”的发出语音有关的文本信息。
相应地，第二服务器20从与表示“请将频道改变到MBC”的发出语音有关的文本信息中提取话语元素“MBC”、“频道”和“改变”，并且基于提取的话语元素确定发出的语音是关于显示设备100的操作控制相关功能。其后，第二服务器20向显示设备100发送包括改变频道的控制命令和表示“频道已经改变到MBC”的响应消息在内的响应信息。
相应地，控制器130根据响应信息中包括的控制命令将当前频道改变到MBC。控制器130基于响应信息中包括的响应消息控制输出单元140通过图像和语音中的至少一个输出表示“频道已经改变到MBC”的响应消息。相应地，可以将表示“频道已经改变到MBC”的响应消息通过音频输出单元143输出为语音，或者通过显示器141输出为文本格式的图像。
作为另一示例，如果从用户输入表示“请记录今天播出的节目ooo”的发出语音，则控制器130通过语音收集器120将表示“请记录今天播出的节目ooo(节目标题)”的发出语音转换成数字信号，并且向第一服务器10发送该发出语音。其后，如果从第一服务器10接收到与表示“请记录今天播出的节目ooo(节目标题)”的发出语音有关的文本信息，则控制器130向第二服务器20发送与表示“请记录今天播出的节目ooo(节目标题)”的发出语音有关的文本信息。
相应地，第二服务器20从与表示“请记录今天播出的节目ooo(节目标题)”的发出语音有关的文本信息中提取话语元素“今天”、“节目ooo(节目标题)”和“记录”，并且基于提取的话语元素确定发出的语音是关于EPG相关功能。其后，第二服务器20向显示设备100发送响应信息，该响应信息包括安排节目ooo(节目标题)的记录的控制命令和表示“已经安排节目ooo的记录”的响应消息。
控制器130根据响应信息中包括的控制命令安排节目ooo的记录。控制器基于响应信息中包括的响应消息控制输出单元140通过图像和语音中的至少一个输出表示“已经安排记录节目ooo”的响应消息。相应地，表示“已经安排记录节目ooo”的响应消息可以通过音频输出单元143输出为语音，或者通过显示器141输出为文本格式的图像。
如上所述，基于从第二服务器20接收的响应信息执行与用户发出的语音相对应的操作的控制器130可以从第二服务器20接收与用户发出的语音有关的语音重新请求消息，并且可以通过输出单元140输出语音重新请求消息。
根据示例实施例，如果从用户发出的语音中提取的话语元素不满足预定条件，则控制器130从第二服务器20接收与用户发出的语音有关的语音重新请求消息，并且通过输出单元140输出语音重新请求消息。
例如，第二服务器20可以从显示设备100接收与表示“请安排观看9点钟新闻”的发出语音有关的文本信息。在这种情况下，第二服务器20可以基于从与表示“请安排观看9点钟新闻”的发出语音有关的文本信息中提取的话语元素，向显示设备100发送包括表示“是KBS还是MBC的9点钟新闻？”的语音重新请求消息在内的响应信息。即，第二服务器20确定提取的话语元素是否满足预定条件，如果不满足，则产生包括满足预定条件的语音重新请求消息的响应信息，并且向显示设备100发送该响应信息。
控制器130基于响应信息中包括的语音重新请求消息，控制显示器141和音频输出单元143通过图像和语音中的至少一个输出表示“是KBS还是MBC的9点钟新闻？”的消息。相应地，控制器130可以从用户接收与通过显示器141和音频输出单元143输出的语音重新请求消息相对应附加语音。例如，如果附加地从用户输入表示“MBC9点钟新闻”的语音，则控制器130向第二服务器20发送与表示“MBC9点钟新闻”的发出语音有关的文本信息。如果与附加发出的语音有关的文本信息满足预定条件，则第二服务器20向显示设备100发送响应信息，该响应信息包括将频道安排改变到“MBC9点钟新闻”的控制命令和表示“已经安排观看MBC9点钟新闻”的响应消息。
相应地，控制器130根据响应信息中包括的控制命令将频道安排改变到MBC9点钟新闻。输出单元140根据控制器130的控制命令将表示“已经安排观看MBC9点钟新闻”的响应消息通过音频输出单元143输出为语音或者通过显示器141输出为文本格式的图像。
根据另一示例实施例，如果与多个请求有关的话语元素包括在用户发出的语音中，则控制器130从第二服务器20接收与用户发出的语音有关的语音重新请求消息，并且通过输出单元140输出语音重新请求消息。
例如，第二服务器20可以从显示设备100接收与表示“请安排观看本周播出的节目ooo，并请记录节目ooo”的语音有关的文本信息。在这种情况下，与多个请求(“节目ooo(节目标题)”和“安排观看”，以及“节目ooo(节目标题)”和“记录”)有关的话语元素包括在表示“请安排观看本周播出的节目ooo，并请记录节目ooo”的发出语音中。
相应地，第二服务器20确定与多个请求有关的话语元素包括在与发出的语音有关的文本信息中，并且向显示设备100发送包括语音重新请求消息的响应信息。控制器130通过输出单元140的显示器141和音频输出单元143经由图像和语音中的至少一个输出语音重新请求消息。如果通过图像和语音中的至少一个输出语音重新请求消息，则用户可以通过仅表示“请安排观看本周播出的节目ooo(节目标题)”和“请记录本周播出的节目ooo(节目标题)”之一来重新请求。
控制器130可以接收与EPG相关功能或显示设备100的操作控制相关功能无关的发出语音。
例如，如果从用户输入表示“请告诉我附近的餐馆”的发出语音，则控制器130向第二服务器20发送从第一服务器10接收到的与表示“请告诉我附近的餐馆”的发出语音有关的文本信息。已经接收到与发出的语音有关的文本信息的第二服务器20从与表示“请告诉我附近的餐馆”有关的文本信息中提取话语元素“附近”和“餐馆”，并且确定提取的话语元素与EPG相关功能或显示设备100的操作控制相关功能无关。相应地，第二服务器20向显示设备100发送表示“备选信息通过互联网可获得，希望接收吗？”的备选响应信息。这样的备选响应信息可以包括从发出的语音中提取的话语元素。
如果接收备选响应信息，控制器130根据从第二服务器20接收到的备选响应信息图像和语音中的至少一个输出表示“备选信息通过互联网可获得，希望接收吗？”的响应消息。即，控制器130控制显示器141和音频输出单元143通过图像和语音中的至少一个输出响应信息中包括的备选信息。
其后，如果从用户输入用户期望通过web接收备选信息的语音，则控制器130基于备选响应信息中包括的话语元素执行互联网搜索，并且获得与位于到显示设备100的位置较近距离的餐馆有关的备选信息。
然而，这不应当视为限制。第二服务器20可以与互联网服务器(未示出)互锁(interlock)。相应地，如上所述，如果提取的话语元素与EPG相关功能或显示设备100的操作控制相关功能，则第二服务器20向显示设备100发送表示“备选信息通过互联网可获得，希望接收吗？”的备选响应信息。其后，如果从显示设备100接收用户期望通过互联网接收备选信息的语音，则第二服务器20基于提取的话语元素通过互联网服务器(未示出)获得与用户发出的语音有关的备选信息，并且向显示设备100发送备选信息。
如果从第二服务器20获得或接收这样的备选信息，控制器130控制显示器141和音频输出单元143通过图像和语音中的至少一个输出备选信息。相应地，用户可以基于通过显示器141和音频输出单元143输出的备选信息识别他/她的位置以及附近的餐馆。
如果在发出的语音中包括禁止的话语元素，则控制器130可以基于从第二服务器20接收到的响应信息输出与对应于发出的语音的操作有关的不允许消息。
例如，如果从用户输入包含亵渎言语或违禁毒品在内的发出语音，则控制器130从第一服务器10接收与用户发出的语音有关的文本信息，并且向第二服务器20发送该文本信息。已经接收到与用户发出的语音有关的文本信息的第二服务器20从与发出的语音有关的文本信息中提取话语元素，并且检查提取的话语元素是否是预存储的禁止话语元素。作为检查的结果，如果提取的话语元素是禁止的话语元素，则第二服务器20向显示设备100发送包括与对应于发出的语音的操作有关的不允许消息在内的响应信息。
相应地，控制器130根据响应信息控制输出单元140通过图像和语音中的至少一个输出表示“请求被拒绝”的不允许消息。相应地，表示“请求被拒绝”的不允许消息可以通过音频输出单元143输出为语音或者可以通过显示器141输出为文本格式的图像。
然而，这不应当视为限制。如果发出的语音包含亵渎言语或违禁毒品，则控制器130可以确定是否参照存储装置150中与话语元素有关的预存储表知悉与发出的语音相对应的操作。存储装置150中与话语元素有关的预存储表示用户预先设定以假定与用户发出的语音相对应的操作的表。例如，如果用户发出的语音包括话语元素“毒品”，并且该话语元素记录在存储装置150中与话语元素有关的表中，则控制器130可以通过显示器141和音频输出单元143中的至少一个输出表示“请求被拒绝”的不允许消息。
如果话语元素“毒品”没有记录在于话语元素有关的表上，则控制器130向第二服务器20发送与用户发出的语音有关的文本信息。相应地，控制器130从第二服务器20接收包括与对应于发出的语音的操作有关的不允许消息在内的响应信息，并且可以通过显示器141和音频输出单元143中的至少一个将表示“请求被拒绝”的不允许消息输出为图像和语音，如上所述。
显示设备100还可以包括拍摄用户脸部的拍摄单元。存储装置150可以通过将用户的脸部图像和用户信息相匹配来存储存储用户的脸部图像和用户信息。
相应地，如果拍摄单元160产生脸部图像，则控制器130从存储装置150获得与产生的脸部图像匹配的用户信息，并且可以向第二服务器20发送用户信息和与用户发出的语音有关的文本信息。根据示例实施例，如果与用户年龄相关联的话语元素包括在用户发出的语音中，则控制器130可以根据基于用户信息而产生的响应信息控制输出单元140输出与对应于发出的语音的操作有关的不允许消息。
例如，如果从用户输入与改变到成人广播频道相关的发出的语音，则控制器130从第一服务器10接收与用户发出的语音有关的文本信息，并且向第二服务器20发送该文本信息。此时，控制器130从存储装置150中提取与拍摄单元160拍摄的脸部图像匹配的用户信息，并且向第二服务器20发送该用户信息。已经接收到与用户发出的语音有关的文本信息和用户信息的第二服务器20从与发出的语音有关的文本信息中提取话语元素，并且检查提取的话语元素是否记录在于用户年龄限制的话语元素有关的预存储表上。作为检查的结果，如果提取的话语元素是与用户的年龄限制相关联的话语元素，则第二服务器20基于用户信息检查用户是否满足年龄限制。作为检查的结果，如果用户没有被授权观看用户请求的成人广播频道，则第二服务器20向显示设备100发送包括与对应于用户发出的语音的操作有关的不允许消息在内的响应信息。
相应地，控制器130根据响应信息控制输出单元140通过图像和语音中的至少一个输出表示“请求被拒绝”的不允许消息。相应地，表示“请求被拒绝”的不允许消息可以通过显示器141和音频输出单元143中的至少一个输出为文本格式的图像和语音。
然而，这不应当视为限制。如果从用户输入与改变到成人广播频道有关的发出语音，则控制器130基于与拍摄单元160拍摄的脸部图像匹配的用户信息检查用户是否满足年龄限制。作为检查的结果，如果用户没有被授权观看用户请求的成人广播频道，则控制器130控制输出单元140通过图像和语音中的至少一个输出表示“请求被拒绝”的不允许消息。相应地，表示“请求被拒绝”的不允许消息可以通过显示器141和音频输出单元143中的至少一个输出为文本格式的图像和语音。
在下文中，详细描述上述显示设备100。
图6是详细示出了根据示例实施例的显示设备的框图。
如图6所示，除了图5所示的元件以外，显示设备100还可以包括输入单元170、接收器180、信号处理器190。与图5中的元件相同的元件具有相同功能，并且因此省略其详细描述。
输入单元170是用于接收各种用户操控并且向控制器130发送各种用户操控的输入装置，并且可以由输入面板来实现。输入面板可以由触摸板、具备各种功能键、数字键、特殊键和字符键的键区或触摸屏来实现。同样，输入单元170可以由红外线(IR)接收器(未示出)来实现，以接收从遥控器发送的遥控信号，以控制显示设备100。然而，输入面板不限于这些示例。
输入单元170可以根据显示设备100的类型接收各种用户操控，以控制显示设备100的功能。例如，如果显示设备100是智能电视(TV)，则输入单元170可以接收用户操控来控制智能TV的功能，例如，电源开/关、频道改变和音量改变。如果通过输入单元170输入这样的用户操控，则控制器130可以控制其他元件来执行与通过输入单元170输入的用户操控相对应的各种功能。例如，如果输入电源关闭命令，则控制器130可以切断向显示设备100的元件的供电，并且如果输入频道改变命令，则控制器130可以根据用户操控控制接收器180转向所选频道。
输入单元170接收发起语音识别模式的用户命令，以收集用户语音。如果通过输入单元140输入发起语音识别模式的用户命令，则控制器130激活语音收集器120以收集显示设备预定距离内发出的用户语音。
上述存储装置150是存储操作显示设备100所需的各种程序的存储介质，并且可以由存储器或硬盘驱动器(HDD)来实现，但不限于此。例如，存储装置150可以包括只读存储器(ROM)来存储执行控制器130的操作的程序，以及随机访问存储器(RAM)来暂时存储控制器130的操作产生的数据。存储装置150还可以包括电可擦除可编程ROM(EEPROM)来存储各种参考数据。
具体地，存储装置150可以存储适合于用户发出的语音的各种响应消息作为语音或文本信息。相应地，控制器130从存储装置150中读取与适合于用户发出的语音的响应消息有关的语音信息或文本信息，并且可以通过显示器141和音频输出单元143中的至少一个输出语音信息和文本信息。具体地，如果以语音形式输出适合于用户发出的语音的响应消息，则控制器130关于从存储装置150中读出的语音信息执行诸如解码等信号处理，对解码的语音数据进行放大，并且通过音频输出单元143输出语音数据。同样，如果输出适合于用户发出的语音的响应消息作为文本格式的图像，则控制器130关于从存储装置150中读出的文本信息执行诸如解码等信号处理，产生包括构成文本信息的文本在内的用户界面(UI)屏幕，并且通过显示器141输出UI屏幕。
然而，这不应当视为限制。控制器130可以关于从第二服务器20接收到的响应信息中包括的响应消息执行上述处理操作，并且通过显示器141和音频输出单元143中的至少一个将响应消息输出为文本图像或语音。
接收器180通过广播网络接收广播节目的内容。具体地，接收器180可以通过广播网络从对广播节目的内容进行广播的广播站接收内容，或者通过互联网从发送内容文件的互联网服务器接收内容。同样，接收器180可以从显示设备100中提供或者与显示设备100相连的的各种记录介质再现设备接收内容。记录介质再现设备再现各种记录介质(例如，CD、DVD、硬盘、蓝光盘、记忆卡和USB存储器)上记录的内容。
在从广播站接收内容的情况下，接收器180可以包括调谐器(未示出)、解调器(未示出)和均衡器(未示出)如果从诸如互联网服务器等源设备接收内容，则接收器180可以是网络接口(未示出)。同样，如果从各种记录介质再现设备接收内容，则接收器180可以是连接至记录介质再现设备的接口单元(未示出)。如上所述，接收器180可以根据示例实施例以各种方式实现。
信号处理器190关于通过接收器180接收的内容执行信号处理，可以通过输出单元140输出内容。具体地，信号处理器190可以关于内容中包括的视频信号执行诸如解码、缩放和帧率转换等信号处理，使得可以从显示器141输出视频信号。同样，信号处理器180可以关于内容中包括的音频信号执行诸如解码等信号处理，使得可以通过音频输出单元143输出音频信号。相应地，显示器141和音频输出单元143可以输出信号处理器190所处理的内容信号中包括的视频信号和音频信号。
已经详细描述了通过交互服务器200接收适合于用户发出的语音的响应信息以及在显示设备100中执行对应操作的操作。在下文中，详细说明产生适合于通过显示设备100接收的用户发出的语音的响应信息并且从交互服务器200向显示设备100发送响应信息的操作。
图7是示出了根据示例实施例的交互服务器的框图。
图7中说明的交互服务器是上述第二服务器20，并且从显示设备100接收已经通过第一服务器10转换成文本信息的用户发出的语音，从与用户发出的语音有关的文本信息中提取话语元素，并且向显示设备100发送适合于用户发出的语音的响应信息。这样的交互服务器包括通信单元710、提取单元720、存储装置730和控制器740。
通信单元710与显示设备100通信，提取单元720从通过通信单元170从显示设备100接收到的发出语音中提取话语元素。存储装置730记录每个用户发出的语音的转换历史信息，并且存储EPG信息。控制器740基于根据提取单元720在用户发出的语音上提取的话语元素而分类的功能，以不同形式产生与用户发出的语音相对应的响应信息。根据话语元素而分类的功能可以包括EPG相关功能和控制器显示设备100的操作的功能中的至少一个。相应地，控制器740根据从用户发出的语音中提取的话语元素确定用户发出的语音属于EPG，还是控制显示设备100的操作，并且根据确定结果产生与用户发出的语音相对应的响应信息。
根据示例实施例，如果从用户发出的语音中提取的话语元素属于EPG，则控制器740基于存储装置730中预存储的EPG信息确定与用户发出的语音相对应的EPG信息是否可用。作为确定的结果，如果EGP可用，则控制器740基于EPG信息产生与用户发出的语音相对应的EPG信息。如果EPG信息不可用，则控制器740基于存储装置730中预定义的EPG信息和互联网搜索中的至少一个产生与用户发出的语音有关的备选响应信息。
具体地，如果接收到与用户发出的语音有关的文本信息，则提取单元720可以从文本信息中提取包括对话动作、主目标和关键元素在内的话语元素。对话动作是对与用户发出的语音有关的言外之意(illocutionary force)加以指示的标记。例如，对话动作可以是语句、请求或问题。主目标是对来自用户发出的语音的用户真实意图加以指示的标记，并且可以是TV开/关、节目搜索、节目时间搜索或节目安排。关键元素可以是流派、节目标题、时间、频道名称或演员名字。
例如，如果用户发出的语音是“节目ooo(节目标题)什么时间开始？”，则对话动作可以指示包括问号“？”的询问表达，主目标可以是由于词语“开始”的节目时间搜索。关键元素可以是节目名称ooo(节目标题)。
相应地，如果与用户发出的语音有关的文本信息是“节目ooo(节目标题)什么时间开始？”，则提取单元720提取包括对话动作、主目标、关键元素的话语元素。如果提取这样的话语元素，则控制器740参照存储装置730中存储的EPG信息确定提取的话语元素是否属于EPG信息。如果确定从用户发出的语音中提取的话语元素属于EPG信息，则控制器740确定话语元素是否满足用于产生与用户发出的语音相对应的响应信息的条件。
根据示例实施例，如果从用户发出的语音中提取的话语元素包括对话动作、主目标和关键元素中的所有，则控制器740确定是否满足用于产生与用户发出的语音相对应的响应信息的条件。在以上示例中，从表示“节目ooo(节目标题)什么时间开始？”的用户发出语音中提取的话语元素包括对话动作、主目标和关键元素中的所有。在这种情况下，控制器740确定是否满足用户产生与用户发出的语音相对应的响应信息的条件。表示“什么时间开始”的用户发出语音仅包括对话动作和主目标“开始”的话语元素，但不包括关键元素，对话动作对包括问号的询问表达加以指示。在这种情况下，控制器740确定不满足用于产生与用户发出的语音相对应的响应信息的条件，并且基于存储这种730中预存储的转换历史信息，产生要求关键元素的话语元素的备选响应信息。例如，控制器740可以产生与表示“哪个播出节目？”的询问有关的响应信息。
如果通过上述一系列操作满足了用于产生与用户发出的语音相对应的响应信息的条件，则控制器740基于存储装置730中存储的EPG信息，根据从用户发出的语音中提取话语元素来确定EPG信息是否可用。作为确定的结果，如果根据话语元素EPG信息可用，则控制器740基于EPG信息产生与用户发出的语音相对应的响应信息，并且如果EPG信息不可用，则控制器740可以产生与用户发出的语音有关的备选响应信息。
如果用户发出的语音是“请记录本周播出的节目ooo(节目标题)”，则话语元素可以是“本周”、“节目ooo(节目标题)”、“记录”和“请”。如果提取这样话语元素，则控制器740可以基于存储装置73中存储的EPG信息，获得与节目ooo(节目标题)有关的节目信息和开始时间信息。相应地，控制器740可以产生响应信息，该响应信息包括基于预获得的节目信息和时间开始信息的与安排的节目ooo记录有关的控制命令，以及基于存储装置730中预存储的转换历史信息而产生的响应消息。
如果用户发出的语音是“节目ooo中谁是主角？”，则话语元素可以是“节目ooo(节目标题)”、“主角”和“谁”。如果提取这样的话语元素，则控制器740检查与节目ooo的主角有关的信息是否包括在存储装置730中存储的EPG信息中。作为检查的结果，如果从预存储的EPG信息中不能获得与节目ooo的主角有关的信息，则控制器740产生备选响应信息，该备选响应信息询问是否用户期望通过EPG信息或互联网搜索接收与用户发出的语音有关的备选信息。例如，如果输入对用户期望从EPG信息接收备选信息加以指示的用户语音，则控制器740从预存储的EPG信息中获得与节目ooo的演员表有关的信息。如果从EPG信息中获得与用户发出的语音有关的备选信息，则控制器740可以基于存储装置730中预存储的转换历史信息产生包括预先获得的备选信息在内的备选响应信息。
如果从用户发出的语音中提取的话语元素属于EPG信息，则控制器740确定提取的话语元素是否是与多个请求有关的EGP话语元素。作为确定的结果，如果话语元素是与多个请求有关的EPG话语元素，则控制器740可以在显示设备100处产生语音重新请求消息，以重新请求来自用户的发出语音。
例如，如果用户发出的语音是“请记录本周播出的节目ooo(节目标题)并且请安排观看节目ΔΔΔ(节目标题)”，则话语元素可以是“本周”、“节目ooo(节目标题)”、“节目ΔΔΔ(节目标题)”、“记录”、“观看”和“请”。如果提取这样的话语元素，则控制器740确定提取的话语元素包括关于多个请求的话语元素(“节目ooo(节目标题)”、“节目ΔΔΔ(节目标题)”、“记录”、“观看”)。相应地，控制器740可以基于存储装置730中预存储的转换历史信息，产生表示“请仅请求一个”的语音重新请求消息。
如果从用户发出的语音中提取的话语元素是与显示设备100的操作控制有关的话语元素，则控制器740基于提取的话语元素确定是否能够与用户发出的语音相对应的显示设备100的操作。作为确定的结果，如果能够控制显示设备100的操作，则控制器740可以产生用于控制显示设备100的操作的响应信息。
根据示例实施例，存储装置730可以存储用于控制显示设备100的操作的手动信息。手动信息包括用于根据用户发出的语音控制显示设备100的操作的信息，以及用于根据除了用户发出的语音以外的其他控制命令控制显示设备100的操作的信息。相应地，如果提取与显示设备100的控制有关的话语元素，则控制器740基于存储装置730中存储的手动信息，确定显示设备100的操作根据用户发出的语音是否可控。作为确定的结果，如果显示设备100的操作根据用户发出的语音可控，则控制器740可以产生包括控制命令的响应信息，以执行与用户发出的语音相对应的操作。
例如，如果用户发出的语音是“请将频道改变到MBC”，则话语元素是“MBC”、“频道”和“改变”。如果提取这样的话语元素，则控制器740确定所提取的话语元素属于显示设备100的功能控制。其后，控制器740参考存储装置730中预存储的手动信息，确定是否能够根据提取的话语元素改变显示设备100的频道。作为确定的结果，如果能够根据用户发出的语音改变显示设备100的频道，则控制器740可以产生包括将显示设备100中当前频道改变到MBC的控制命令在内的响应信息。
作为确定的结果，如果根据用户发出的语音不能控制显示设备100的操作，则控制器740可以产生与显示设备100的操作控制方法和当前状态通知中的至少一个有关的响应信息。
例如，如果用户发出的语音是“请加亮屏幕”，则可以提取话语元素“屏幕”、“加亮”和“请”。如果提取这样的话语元素，则控制器740确定话语元素属于显示设备100的功能控制。其后，控制器740参照存储装置730预存储的手动信息，确定是否能够根据提取的话语元素调整显示设备100的亮度。作为确定的结果，如果根据用户发出的语音不能调整显示设备100的屏幕亮度，则控制器740可以参照存储装置730中预存储的手动信息，产生与用于调整显示设备100的屏幕亮度的方法有关的响应信息。
根据另一示例实施例，上述存储装置730可以存储与禁止的话语元素有关的表。例如，与禁止的话语元素有关的表可以记录诸如违禁毒品等话语元素或诸如亵渎言语等禁止的词语。相应地，如果从用户发出的语音中提取话语元素，则控制器740参照存储装置730中与话语元素有关的表，确定提取的话语元素是否是禁止的话语元素。作为确定的结果，如果提取的话语元素是禁止的话语元素，则存储装置730可以基于存储装置730中存储的转换历史信息产生与对应于用户发出的语音的操作有关的不允许消息。
如果从用户发出的语音提取的话语元素与用户的年龄相关联，则控制器740可以基于通过通信单元710从显示设备100接收到的用户信息，确定是否产生与对应于用户发出的语音的操作有关的不允许消息。与用户年龄有关的话语元素可以是与淫秽或暴力有关的话语元素，但不限于此。例如，如果用户发出的语音是“你希望将频道改变到成人广播频道吗？”，则可以提取话语元素“成人广播频道”、“频道”、“改变”和“你希望”。如果提取这样的话语元素，则控制器740参照存储装置730中预存储的与禁止的话语元素有关的表，确定提取的话语元素与用户年龄相关联。相应地，控制器740基于从显示设备100接收到的用户信息检查用户是否满足预定年龄限制。
因此，如果确定用户没有被授权观看成人广播频道，则控制器740产生说“服务不可用”的不允许消息。另一方面，如果确定用户被授权观看成人广播频道，则控制器740可以基于存储装置730中存储的EPG信息，产生包括将频道改变到提供成人广播服务的频道的控制命令在内的响应信息。
已经详细描述了根据示例实施例提供适合于用户发出的语音的响应信息的交互服务器的元件。在下文中，详细说明基于上述显示设备中适合于用户发出的语音的响应信息执行操作的方法。
图8是示出了根据示例实施例在显示设备中执行基于适合于用户发出的语音的响应信息的操作方法的流程图。
如图8所示，如果从用户输入发起语音识别模式的用户命令，则显示设备根据输入的用户命令进入识别用户的语音的语音识别模式(操作S810)。在语音识别模式中，显示设备接收用户发出的语音(操作S820)。如果输入用户发出的语音，则显示设备收集用户发出的语音，将收集的语音转换成数字信号，并且向第一服务器发送语音(操作S830和S840)。第一服务器可以是将已经被转换成数字信号的用户发出的语音转换成文本信息的服务器。如果从第一服务器接收到与用户发出的语音有关的文本信息，则显示设备向第二服务器发送与用户发出的语音有关的文本信息(操作S850)。第二服务器可以是根据从用户发出的语音中提取的话语元素产生适合于用户发出的语音的响应信息。
如果从第二服务器接收到适合于用户发出的语音的响应信息，则显示设备基于响应信息执行与用户发出的语音相对应的操作(操作S860)。可以根据基于从用户发出的语音中提取的话语元素而分类的功能，以不同形式产生响应信息。通过提取的话语元素而分类的功能可以包括EPG相关功能和与显示设备的操作控制有关的功能中的至少一个。例如，如果从用户发出的语音中提取的话语元素属于广播节目，则该功能可以是EPG相关功能，并且如果话语元素属于显示设备的电源开/关、频道改变或音量改变，则该功能可以是与显示设备的操作控制有关的功能。相应地，如果从第二服务器接收到响应信息，则显示设备可以基于响应信息执行输出与用户发出的语音相对应的响应消息的操作和执行功能的操作中的至少一个。
例如，如果从用户输入表示“请记录今天播出的节目ooo(节目标题)”的语音，则显示设备将表示“请记录今天播出的节目ooo(节目标题)的发出语音转换成数字信号，并且向第一服务器发送发出的语音。第一服务器然后将接收到的数字信号转换成文本信息，并且向显示设备发送文本信息。其后，如果显示设备从第一服务器接收到与表示“请记录今天播出的节目ooo(节目标题)”的发出语音有关的文本信息，则显示设备向第二服务器发送与表示“请记录今天播出的节目ooo(节目标题)”的发出语音有关的文本信息。
相应地，第二服务器从与用户发出的语音有关的文本信息中提取话语元素“今天”、“节目ooo”和“记录”，并且基于提取的话语元素确定功能是EPG相关功能。其后，第二服务器向显示设备发送包括安排节目ooo的记录的控制命令以及表示“已经安排节目ooo的记录”的响应消息在内的响应信息。
相应地，显示设备根据响应信息中包括的控制命令安排节目ooo(节目标题)的记录。显示设备基于响应信息中包括的响应消息通过图像和语音中的至少一个输出表示“已经安排节目ooo的记录的响应消息”。相应地，表示“已经安排节目ooo的记录”的响应消息可以输出为语音或者可以输出为文本格式的图像。
已经参照图5描述了在从用户发出的语音中提取的话语元素属于显示设备的操作控制的情况下实现的示例实施例，并且因此省略其详细描述。
如果用户发出的语音包括与多个请求有关的话语元素，则显示设备从第二服务器接收与用户发出的语音有关的语音重新请求消息，并且输出语音重新请求消息。
例如，第二服务器可以从显示设备接收表示“请安排观看本周播出的节目(节目标题)，并且请记录节目ooo”的发出语音有关的文本信息。在这种情况下，表示“请安排观看本周播出的节目(节目标题)，并且请记录节目ooo”的发出语音包括与多个请求有关的话语元素(“节目ooo(节目标题)”、“安排观看”、“节目ooo(节目标题)”和“记录”)。
相应地，第二服务器确定与发出的语音有关的文本信息是否包括与多个请求有关的话语元素，并且向显示设备发送包括语音重新请求消息的响应信息。相应地，显示设备通过图像和语音中的至少一个输出从第二服务器接收到的语音重新请求消息。相应地，用户仅重新请求“请安排观看本周播出的节目(节目标题)”和“请记录本周播出的节目ooo”之一。
如果用户发出的语音包括禁止的话语元素，则显示设备可以基于从第二服务器接收到的响应信息输出与对应于发出的语音的操作有关的不允许消息。
例如，显示设备可以向第二服务器发送与包括亵渎言语或违禁毒品的话语元素在内的发出语音有关的文本信息。在这种情况下，第二服务器从与发出的语音有关的文本信息中提取话语元素，并且确定提取的话语元素是预存储的禁止话语元素。作为确定的结果，如果提取的话语元素是禁止的话语元素，则第二服务器向显示设备发送包括与对应于发出的语音的操作有关的不允许消息在内的响应信息。相应地，显示设备根据响应信息通过图像和语音中的至少一个输出表示“请求被拒绝”的不允许消息。
根据以上参照图5描述的示例实施例，显示设备可以从第二服务器接收根据用户发出的语音以不同形式产生的响应信息，并且可以基于响应信息执行与用户发出的语音相对应的操作。
到目前为止，已经详细描述了显示设备中基于适合于用户发出的语音的响应信息执行操作的方法。在下文中，说明根据示例实施例的交互服务器中产生适合于用户发出的语音的响应信息并且向显示设备提供响应信息的方法。
图9是示出了根据示例实施例在交互服务器中提供适合于用户发出的语音的响应信息的方法的流程图。
如图9所示，交互服务器从显示设备接收用户发出的语音和与用户发出的语音相对应文本信息(操作S901)。交互服务器是上述第二服务器，并且可以从显示设备接收已经通过第一服务器被转换成文本信息的用户发出语音。如果接收到这样的发出语音，则交互服务器从发出的语音中提取话语元素(操作S920)。
话语元素包括包括对话动作、主目标和关键元素。对话动作可以是对与用户发出的语音有关的言外之意加以指示的标记。例如，对话动作可以是语句、请求或问题。主目标可以是对来自用户发出的语音的用户真实意图加以指示的标记，并且可以是TV开/关、节目搜索、节目时间搜索或节目安排。关键元素可以是流派、节目标题、时间、频道名称或演员名字。
例如，如果用户发出的语音是“节目ooo什么时间开始？”，则对话动作可以指示包括问号“？”的询问表达，主目标可以是由于词语“开始”的节目时间搜索。关键元素可以是节目名称ooo。相应地，如果接收到与表示“节目ooo什么时间开始？”的用户发出的语音有关的文本信息，则交互服务器从文本信息中提取包括对话动作、主目标和关键元素的话语元素。
如果提取这样的话语元素，则交互服务器确定提取的话语元素是否记录在与禁止的话语元素有关的预存储表，并且确定提取的话语元素是否是禁止的话语元素(操作S930)。作为检查的结果，如果话语元素是禁止的话语元素，则交互服务器产生不允许消息，并且向显示设备发送该不允许消息(操作S940)。
例如，用户发出的语音可以是包含亵渎言语或违禁毒品的语音。如果从发出的语音中提取与亵渎言语或违禁毒品有关的话语元素，则交互服务器参照与禁止的话语元素有关的预存储表，确定提取的话语元素是否记录在与话语元素有关的表上。作为检查的结果，如果提取的话语元素记录在与话语元素有关的预存储表上，则交互服务器可以产生与对应于用户发出的语音的操作有关的不允许消息。
作为另一示例，用户发出的语音可以是与用户年龄限制相关联的语音。例如，如果用户发出的语音是“你期望将频道改变到成人广播频道？”，则可以提取话语元素“成人广播”、“频道”、“改变”和“你期望”。如果提取这样的话语元素，则交互服务器参照存储装置中与禁止的话语元素有关的预存储表，确定提取的话语元素是否与用户年龄相关联。相应地，交互服务器基于从显示设备接收到的用户信息确定用户是否满足年龄限制。作为确定的结果，如果用户没有被授权观看成人广播频道，则交互服务器可以产生表示“服务不可用”的不允许消息。
如果在S930处确定从用户发出的语音中提取的话语元素不是禁止的话语元素，或者如果用户满足年龄限制并且被授权使用操作的服务，则交互服务器确定提取的话语元素是否是EPG相关话语元素(操作S950)。作为确定的结果，如果话语元素是EPG相关话语元素，则交互服务器基于预存储的EPG信息产生与用户发出的语音相对应的响应信息，并且向显示设备发送响应信息(操作S960)。如果从用户发出的语音提取的话语元素是EPG相关话语元素，则交互服务器可以通过执行以下步骤来产生与用户发出的语音相对应的响应信息。
图10是示出了根据示例实施例交互服务器中用于在用户发出的语音包括EPG相关话语元素的情况下产生与用户发出的语音相对应的响应信息的方法的流程图。
如图10所示，如果从用户发出的语音中提取话语元素，则交互服务器确定提取的话语元素是否包括与多个请求有关的EPG相关话语元素(操作S1010)。作为确定的结果，如果提取的话语元素是与多个请求有关的EPG相关话语元素，则交互服务器产生语音重新请求消息(操作S1020)。
例如，如果用户发出的语音是“请记录本周播出的节目ooo并且请安排观看节目ΔΔΔ(节目标题)”，则话语元素可以是“本周”、“节目ooo(节目标题)”、“节目ΔΔΔ(节目标题)”、“记录”、“观看”和“请”。如果提取这样的话语元素，则交互服务器确定提取的话语元素包括与多个请求有关的话语元素(“节目ooo(节目标题)”、“节目ΔΔΔ(节目标题)”、“记录”、“观看”)。相应地，交互服务器730可以基于预存储的转换历史信息，产生表示“请仅请求一个”的语音重新请求消息。
如果从用户发出的语音中提取的话语元素不包括与多个请求有关的EPG相关话语元素，则交互服务器基于从用户发出的语音中提取的话语元素，确定是否满足用于产生与用户发出的语音相对应的响应信息的条件(操作S1030)。根据示例实施例，如果从用户发出的语音中提取的话语元素包括对话动作、主目标和关键元素中的所有，则交互服务器确定是否满足用于产生与用户发出的语音相对应响应信息的条件。例如，从表示“节目ooo什么时间开始”的用户发出语音中提取的话语元素包括对话动作、主目标和关键元素中的所有。在这种情况下，交互服务器可以确定满足用于产生与用户发出的语音相对应的相应信息的条件。
如果确定不满足用于产生与用户发出的语音相对应的响应信息的条件，则交互服务器可以通过进行上述操作S1020来产生语音重新请求消息。例如，表示“什么时间开始？”的用户发出语音仅包括对话动作和词语“开始”的主目标的话语元素，但不包括关键元素，对话动作对包括问号的询问表达加以指示。在这种情况下，交互服务器确定不满足用于产生与用户发出的语音相对应的响应信息的条件。相应地，交互服务器基于存储装置中预存储的转换历史信息，产生要求与关键元素有关的话语元素的响应信息。
在操作S1030处如果确定满足用于产生与用户发出的语音相对应的响应信息的条件，则交互服务器确定基于预存储的EPG信息确定是否能够提供与用户发出的语音相对应的响应信息(操作S1040)。作为确定的结果，如果基于EPG信息能够提供与用户发出的语音相对应的响应信息，则交互服务器基于EPG信息产生与用户发出的语音相对应的响应信息(操作S1050)。然而，如果基于EPG信息确定不能提供与用户发出的语音相对应的响应信息，则交互服务器基于预存储的EPG信息和互联网搜索中的至少一个产生与发出的语音有关的备选响应信息(操作S1060)
例如，如果用户发出的语音是“请记录本周播出的节目ooo”，则话语元素是“本周”、“节目ooo(节目标题)”、“记录”和“请”。如果提取这样话语元素，则交互服务器可以从预存储的EPG信息中，获得与节目ooo(节目标题)有关的节目信息和开始时间信息。相应地，交互服务器可以产生响应信息，该响应信息包括基于预获得的节目信息和时间开始信息的与安排的节目ooo记录有关的控制命令，以及基于预存储的转换历史信息而产生的响应消息。
如果用户发出的语音是“节目ooo(节目标题)中谁是主角？”，则话语元素可以是“节目ooo(节目标题)”、“主角”和“谁”。如果提取这样的话语元素，则交互服务器检查与节目ooo的主角有关的信息是否包括在预存储的EPG信息中。作为检查的结果，如果从预存储的EPG信息中不能获得与节目ooo的主角有关的信息，则交互服务器产生备选响应信息，该备选响应信息询问是否用户期望通过EPG信息或互联网搜索接收与用户发出的语音有关的备选信息。例如，如果输入对用户期望从EPG信息接收备选信息加以指示的用户语音，则交互服务器从预存储的EPG信息中获得与节目ooo的演员表有关的信息。如果从EPG信息中获得与用户发出的语音有关的备选信息，则交互服务器可以基于预存储的转换历史信息产生包括预先获得的备选信息在内的备选响应信息。
如果在操作S950处从用户发出的语音中提取的话语元素与显示设备的控制相关联，则交互服务器基于提取的话语元素确定是否能够控制与用户发出的语音相对应的显示设备操作(操作S970)。作为确定的结果，如果不能控制显示设备的操作，则交互服务器产生用于控制显示设备的操作的响应信息，并且向显示设备发送响应信息(操作S980)。
根据示例性实施例，交互服务器可以存储用于控制显示设备100的操作的手动信息。手动信息包括用于根据用户发出的语音控制显示设备100的操作的信息，以及用于根据除了用户发出的语音以外的其他控制命令控制显示设备100的操作的信息。相应地，如果提取与显示设备100的控制有关的话语元素，则交互服务器基于存储的手动信息，确定显示设备100的操作根据用户发出的语音是否可控。作为检查的结果，如果显示设备100的操作根据用户发出的语音可控，则交互服务器可以产生包括执行与用户发出的语音相对性的操作的控制命令在内的响应信息。
例如，如果用户发出的语音是“请将频道改变到MBC”，则话语元素是“MBC”、“频道”和“改变”。如果提取这样的话语元素，则交互服务器确定所提取的话语元素涉及显示设备100的功能控制。其后，交互服务器参考预存储的手动信息，确定是否能够根据提取的话语元素改变显示设备100的频道。作为确定的结果，如果能够根据用户发出的语音改变显示设备100的频道，则交互服务器可以产生包括将显示设备100中当前频道改变到MBC的控制命令在内的响应信息。
如果确定不能控制显示设备100的操作，则交互服务器可以产生与用户发出的语音有关的备选响应信息，并且向显示设备发送该备选响应信息(操作S990)。备选响应信息可以与用于控制显示设备的操作的方法和通知显示设备的当前状态的当前状态通知中的至少一个相关联。
例如，如果用户发出的语音是“请加亮屏幕”，则可以提取话语元素“屏幕”、“加亮”和“请”。如果提取这样的话语元素，则交互服务器确定话语元素涉及显示设备100的功能控制。其后，交互服务器参照预存储的手动信息，确定是否能够根据提取的话语元素调整显示设备100的屏幕。作为确定的结果，如果根据用户发出的语音不能调整显示设备100的屏幕，则交互服务器可以参照预存储的手动信息，产生与用于调整显示设备的屏幕的方法有关的响应信息。
已经描述了本公开的示例实施例。
上述示例实施例仅是示例不应视为限制本公开。示例实施例可以容易地应用于其他类型的设备。同样，对示例实施例的描述意在示意，并不限制权利要求的范围，并且许多备选方案、修改和变型对于本领域技术人员是显而易见的。

Claims (15)

1.一种显示设备，包括：
语音收集器，收集用户发出的语音；
通信单元，与交互服务器通信；以及
控制器，如果从交互服务器接收到与发送到交互服务器的发出语音相对应的响应信息，则基于响应信息控制执行与用户发出的语音相对应的操作，
其中，响应信息是基于根据从发出的语音提取的话语元素而分类的功能以不同形式产生的。
2.根据权利要求1所述的显示设备，其中，所述功能包括电子节目指南EPG相关功能和显示设备的操作控制功能中的至少一个。
3.根据权利要求2所述的显示设备，还包括输出单元，
其中，如果发出的语音包括EPG相关话语元素或者显示设备的操作控制相关话语元素，则控制器基于从交互服务器接收到的响应信息，执行输出响应消息的操作和执行功能的操作中的至少一个操作。
4.根据权利要求3所述的显示设备，其中，如果发出的语音包括与多个请求有关的EPG相关话语元素，则控制器基于从交互服务器接收到的响应信息，输出语音重新请求消息。
5.根据权利要求1所述的显示设备，还包括输出单元，
其中，如果发出的语音包括受限话语元素，则控制器基于从交互服务器接收到的响应信息，控制输出与对应于发出的语音的操作有关的不允许消息。
6.根据权利要求5所述的显示设备，还包括：
存储单元，将用户脸部图像与用户信息彼此匹配，并且存储匹配信息；以及
拍摄单元，拍摄用户的脸部，
其中，控制器向交互服务器发送与拍摄单元产生的脸部图像相匹配的用户信息以及发出的语音，并且如果受限话语元素与用户的年龄相关联，则控制器根据基于用户信息产生的响应信息，控制输出与对应于发出的语音的操作有关的不允许消息。
7.根据权利要求1所述的显示设备，其中，交互服务器包括：第一服务器，将收集的语音转换成文本信息；以及第二服务器，产生与已被转换成文本信息的发出语音相对应的响应信息，
其中，控制器将收集的语音转换成数字信号，并且向第一服务器发送经转换的语音，并且如果从第一服务器接收到与发出的语音有关的文本信息，则向第二服务器发送文本信息，并且接收与发出的语音相对应的响应信息。
8.一种交互服务器，包括：
通信单元，与显示设备通信；
提取单元，从接收自显示设备的发出的语音中提取话语元素；以及
控制器，基于根据提取的话语元素而分类的功能以不同形式产生与发出的语音相对应的响应信息，并且向显示设备发送响应信息。
9.根据权利要求8所述的交互服务器，其中，所述功能包括电子节目指南EPG相关功能和显示设备的操作控制功能中的至少一个。
10.根据权利要求9所述的交互服务器，还包括：存储EPG信息的存储单元，
其中，如果提取的话语元素是EPG相关话语元素，则控制器基于存储单元中存储的EPG信息确定是否能够提供与发出的语音相对应的EPG信息，
其中，如果能够提供EPG信息，则控制器基于EPG信息产生与发出的语音相对应的响应信息，并且如果不能提供EPG信息，则控制器基于EPG信息和web搜索中的至少一个产生与发出的语音有关的备选响应信息。
11.根据权利要求10所述的交互服务器，其中，如果发出的语音包括与多个请求有关的EPG相关话语元素，则控制器在显示设备中产生语音重新请求消息，以重新请求用户发出语音。
12.根据权利要求9所述的交互服务器，其中，如果提取的话语元素是显示设备的操作控制相关话语元素，则控制器基于所述话语元素确定是否能够控制与发出的语音相对应的显示设备的操作，
其中，如果能够控制显示设备的操作，则控制器产生响应信息来控制显示设备的操作，并且如果不能够控制显示设备的操作，则控制器产生与显示设备的操作控制方法和当前状态通知中的至少一个有关的响应信息。
13.根据权利要求8所述的交互服务器，还包括：存储单元，存储与受限话语元素有关的表，
其中，如果提取的话语元素包括受限话语元素，则控制器产生与对应于发出的语音的操作有关的不允许消息。
14.根据权利要求13所述的交互服务器，其中，通信单元还从显示设备接收用户信息，
其中，如果提取的话语元素与用户的年龄相关联，则控制器基于用户信息确定是否产生与对应于发出的语音的操作有关的不允许消息。
15.一种在与显示设备互锁的交互服务器中提供与用户发出的语音相对应的响应信息的方法，所述方法包括：
从显示设备接收用户发出的语音；
从发出的语音中提取话语元素；
基于根据提取的话语元素而分类的功能以不同形式产生与发出的语音相对应的响应信息，并且
向显示设备发送响应信息。
CN201310175179.XA 2012-06-14 2013-05-13 提供响应信息的显示设备、交互服务器以及方法 Pending CN103517147A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120063811A KR20130140423A (ko) 2012-06-14 2012-06-14 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
KR10-2012-0063811 2012-06-14

Publications (1)

Publication Number Publication Date
CN103517147A true CN103517147A (zh) 2014-01-15

Family

ID=48184086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310175179.XA Pending CN103517147A (zh) 2012-06-14 2013-05-13 提供响应信息的显示设备、交互服务器以及方法

Country Status (5)

Country Link
US (1) US9219949B2 (zh)
EP (1) EP2675153A1 (zh)
JP (1) JP2014003610A (zh)
KR (1) KR20130140423A (zh)
CN (1) CN103517147A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146612A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
CN107464561A (zh) * 2016-06-06 2017-12-12 谷歌公司 语音动作可发现性系统
CN110459214A (zh) * 2014-01-20 2019-11-15 华为技术有限公司 语音交互方法及装置
CN113053391A (zh) * 2017-05-11 2021-06-29 谷歌有限责任公司 话音查询处理服务器及其方法
CN113593559A (zh) * 2021-07-29 2021-11-02 海信视像科技股份有限公司 一种内容显示方法、显示设备及服务器

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084520A (ko) * 2014-01-14 2015-07-22 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
KR102209519B1 (ko) * 2014-01-27 2021-01-29 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
US9589567B2 (en) 2014-06-11 2017-03-07 Honeywell International Inc. Plant control system using voice as a control mechanism
KR102298767B1 (ko) * 2014-11-17 2021-09-06 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR102245747B1 (ko) 2014-11-20 2021-04-28 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
KR102456588B1 (ko) * 2014-11-20 2022-10-21 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
EP3455719A1 (en) 2016-05-10 2019-03-20 Google LLC Implementations for voice assistant on devices
EP3757753A1 (en) * 2016-05-13 2020-12-30 Google LLC Initiating by voice play of media content
US10438583B2 (en) * 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US11250844B2 (en) * 2017-04-12 2022-02-15 Soundhound, Inc. Managing agent engagement in a man-machine dialog
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
CN107895016B (zh) * 2017-11-14 2022-02-15 百度在线网络技术（北京）有限公司 一种播放多媒体的方法和装置
CN111742557B (zh) * 2018-01-08 2024-01-19 Lg电子株式会社 显示装置和包括显示装置的系统
US10678845B2 (en) * 2018-04-02 2020-06-09 International Business Machines Corporation Juxtaposing contextually similar cross-generation images
JP7242423B2 (ja) * 2019-05-20 2023-03-20 Ｔｖｓ Ｒｅｇｚａ株式会社 映像信号処理装置、映像信号処理方法
US11822885B1 (en) * 2019-06-03 2023-11-21 Amazon Technologies, Inc. Contextual natural language censoring
KR102599069B1 (ko) * 2021-04-22 2023-11-06 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1591571A (zh) * 2003-09-03 2005-03-09 三星电子株式会社 提供个性化服务的音频/视频装置和方法
CN102196207A (zh) * 2011-05-12 2011-09-21 深圳市子栋科技有限公司 语音控制电视机的方法、装置和系统
US20120030712A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Network-integrated remote control with voice activation
CN102395013A (zh) * 2011-11-07 2012-03-28 康佳集团股份有限公司 一种对智能电视机的语音控制方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1281173A1 (en) * 2000-05-03 2003-02-05 Koninklijke Philips Electronics N.V. Voice commands depend on semantics of content information
JP2004503887A (ja) * 2000-06-16 2004-02-05 ヘルセテック　インコーポレイテッド 携帯情報端末用音声認識装置
US20080208589A1 (en) * 2007-02-27 2008-08-28 Cross Charles W Presenting Supplemental Content For Digital Media Using A Multimodal Application
JP2009153018A (ja) * 2007-12-21 2009-07-09 Kenwood Corp 情報配信システム及び車載器
ES2382747B1 (es) * 2009-06-30 2013-05-08 Telefónica, S.A. Interaccion multimodal sobre aplicaciones de television digital

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1591571A (zh) * 2003-09-03 2005-03-09 三星电子株式会社 提供个性化服务的音频/视频装置和方法
US20120030712A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Network-integrated remote control with voice activation
CN102196207A (zh) * 2011-05-12 2011-09-21 深圳市子栋科技有限公司 语音控制电视机的方法、装置和系统
CN102395013A (zh) * 2011-11-07 2012-03-28 康佳集团股份有限公司 一种对智能电视机的语音控制方法和系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110459214A (zh) * 2014-01-20 2019-11-15 华为技术有限公司 语音交互方法及装置
CN110459214B (zh) * 2014-01-20 2022-05-13 华为技术有限公司 语音交互方法及装置
US11380316B2 (en) 2014-01-20 2022-07-05 Huawei Technologies Co., Ltd. Speech interaction method and apparatus
CN107464561A (zh) * 2016-06-06 2017-12-12 谷歌公司 语音动作可发现性系统
US10741183B2 (en) 2016-06-06 2020-08-11 Google Llc Trigger phrase for voice actions of software applications
US11929075B2 (en) 2016-06-06 2024-03-12 Google Llc Voice action discoverability system
CN107146612A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
CN107146612B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
CN113053391A (zh) * 2017-05-11 2021-06-29 谷歌有限责任公司 话音查询处理服务器及其方法
CN113593559A (zh) * 2021-07-29 2021-11-02 海信视像科技股份有限公司 一种内容显示方法、显示设备及服务器
CN113593559B (zh) * 2021-07-29 2024-05-17 海信视像科技股份有限公司 一种内容显示方法、显示设备及服务器

Also Published As

Publication number Publication date
US9219949B2 (en) 2015-12-22
US20130339020A1 (en) 2013-12-19
KR20130140423A (ko) 2013-12-24
EP2675153A1 (en) 2013-12-18
JP2014003610A (ja) 2014-01-09

Similar Documents

Publication Publication Date Title
CN103517147A (zh) 提供响应信息的显示设备、交互服务器以及方法
RU2583445C1 (ru) Устройство отображения, интерактивная система и способ обеспечения ответной информации
EP2674941B1 (en) Terminal apparatus and control method thereof
KR102056461B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102304052B1 (ko) 디스플레이 장치 및 그의 동작 방법
US20140195230A1 (en) Display apparatus and method for controlling the same
CN103916704A (zh) 对话型接口设备及其控制方法
CN103516711A (zh) 显示设备、用于控制显示设备的方法和交互系统
CN103916687A (zh) 显示装置和控制显示装置的方法
EP3214842B1 (en) Display apparatus, electronic device, interactive system, and controlling methods thereof
US20150201246A1 (en) Display apparatus, interactive server and method for providing response information
CN103517094A (zh) 服务器和控制该服务器的方法
KR20200008341A (ko) 화면을 제어하는 미디어 재생 장치, 방법 및 화면을 분석하는 서버
WO2016006088A1 (ja) 電子機器及び方法及びプログラム
KR101859614B1 (ko) 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
KR102160756B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102118195B1 (ko) 서버 및 그의 제어 방법
KR20200062156A (ko) 서버 및 그의 제어 방법
JP2021015180A (ja) 電子機器、プログラムおよび音声認識方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140115

WD01 Invention patent application deemed withdrawn after publication