CN103533021A - 显示设备、交互式系统和响应信息提供方法 - Google Patents

显示设备、交互式系统和响应信息提供方法 Download PDF

Info

Publication number
CN103533021A
CN103533021A CN201310275895.5A CN201310275895A CN103533021A CN 103533021 A CN103533021 A CN 103533021A CN 201310275895 A CN201310275895 A CN 201310275895A CN 103533021 A CN103533021 A CN 103533021A
Authority
CN
China
Prior art keywords
response message
user
server
user speech
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310275895.5A
Other languages
English (en)
Inventor
许惠贤
金基锡
孙譓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103533021A publication Critical patent/CN103533021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/72—Systems specially adapted for using specific information, e.g. geographical or meteorological information using electronic programme guides [EPG]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种显示设备，包括：语音收集装置，收集用户语音；通信装置，执行与交互式服务器的通信；以及控制装置，当从交互式服务器接收到与发送到交互式服务器的用户语音相对应的响应信息时，控制执行与响应信息相对应的功能，并且控制装置控制通信装置通过web搜索和社交网络服务(SNS)接收与用户语音相关的替换响应信息。

Description

显示设备、交互式系统和响应信息提供方法
相关申请的交叉参考
本申请要求2012年7月3日在韩国知识产权局递交的韩国专利申请No.10-2012-0072448的权益，其全部公开通过引用合并于此。
技术领域
实施例涉及显示设备、交互式系统和响应信息提供方法。更具体地，实施例涉及用于提供与用户的话语语音相对应的响应信息的显示设备、交互式系统以及响应信息提供方法。
背景技术
在相关技术中，具有语音识别能力的显示设备收集用户的话语语音，并且向通过网络连接的外部服务器发送收集的用户话语语音。于是，在相关技术中，显示设备接收用户话语语音相关信息。在显示设备接收用户话语语音相关信息之前，话语语音相关信息已被外部服务器转换成显示设备可以识别的形式。在显示设备接收用户话语语音相关信息之后，显示设备对接收到的话语语音相关信息进行分析，并且识别用户话语语音的含意。然后，显示设备基于识别的含意执行与用户话语语音相对应的功能，并且根据需要输出针对用户话语语音的通知消息。
然而，相关技术显示设备受限于执行与用户话语语音相对应的功能。相关技术显示设备仅执行用于执行或避免与用户话语语音相对应的功能的功能。
当显示设备根据用户请求进入用户识别模式时，显示设备显示可以通过用户话语语音控制显示设备的操作的命令词语。相应地，用户可以发出用于执行针对用户期望功能的操作的语音命令。该语音命令是屏幕上显示的、与显示设备的操作控制相关的命令词语中的至少一个。
换言之，相关技术显示设备基于预设命令词语仅执行与用户话语语音或针对用户话语语音的重新请求相对应的行为。然而，相关技术显示设备不能关于用户的各种话语语音提供不同的响应信息。
相应地，为了解决以上问题，寻求一种方法，在该方法中显示设备接收与来自用户的话语语音相关的信息，并且基于从用户输入的信息通过web搜索提供关于用户请求的响应信息。然而，问题在于该方法不能向用户请求的提问提供正确的响应信息。
发明内容
已经开发了实施例以便克服与相关技术相关联的以上缺点和其他问题。本公开的一个方面提供了可以关于用户的各种话语语音提供更正确的响应信息的显示设备和方法。
实施例的以上方面可以通过提供一种显示设备来实现，该显示设备可以包括：语音收集装置，收集用户语音；通信装置，执行与交互式服务器的通信；以及控制装置，当从交互式服务器接收到与发送到交互式服务器的用户语音相对应的响应信息时，控制执行与响应信息相对应的功能，并且控制装置控制通信装置通过web搜索和社交网络服务(SNS)接收与用户语音相关的替换响应信息。
显示设备还可以包括输出装置，当从交互式服务器接收到用户语音内包括的话语元素以及针对与用户语音相对应的响应信息的无法提供(non-provisionable)消息时，控制装置可以控制输出装置通过web搜索和社交网络服务接收与话语元素相关的替换响应信息并输出该替换响应信息。
当接收到用于执行web搜索的用户命令时，控制装置可以基于话语元素接收并输出web搜索的结果。
当接收到针对社交网络服务的用户命令时，控制装置可以基于话语元素产生响应请求消息，向提供社交网络服务(SNS)的SNS服务器发送响应请求消息，并且从SNS服务器接收与响应请求消息相对应的响应消息并输出该响应消息。
根据用户命令，控制装置可以向用户的社交网络服务(SNS)账户发送响应请求消息，并且从与用户的SNS账户链接的SNS账户接收响应消息并输出该响应消息。
根据用户命令，控制装置可以向从与用户的社交网络服务(SNS)账户链接的SNS账户中选择的SNS账户发送响应请求消息，并且从所选的SNS账户接收响应消息并输出该响应消息。
根据用户命令，控制装置可以向预定的公共SNS账户发送响应请求消息，并且从与预定的公共SNS账户链接的SNS账户接收响应消息并输出该响应消息。
当接收到响应消息时，控制装置可以输出对已经接收到响应消息加以指示的通知信息。
交互式服务器可以包括：第一服务器，将收集的用户语音转换成文本信息；以及第二服务器，产生与被转换成文本信息的收集的用户语音相对应的响应信息，并且控制装置可以将收集的用户语音转换成数字信号，向第一服务器发送数字信号，并且在从第一服务器接收到针对收集的用户语音的文本信息时，向第二服务器发送文本信息并接收与用户语音相对应的响应信息。
当用户语音包括与电子节目指南(EPG)或显示设备的控制操作相关的话语元素时，控制装置可以基于从第二服务器接收到的响应信息，执行以下中的至少一个：输出响应消息和执行与用户语音相对应的功能。
实施例的以上方面可以通过提供一种在显示设备中提供适合于用户语音的响应信息的响应信息提供方法来实现，该方法包括：收集用户语音；向交互式服务器发送收集的用户语音；检查从交互式服务器是否接收到与用户语音相对应的响应信息；并且当接收到与用户语音相对应的响应信息时，基于响应信息执行与用户语音相对应的功能，执行功能可以包括：通过web搜索和社交网络服务(SNS)接收与用户语音相关的替换响应信息并输出该替换响应信息。
执行功能还可以包括：当从交互式服务器接收到用户语音内包括的话语元素以及针对与用户语音相对应的响应信息的无法提供消息时，通过web搜索和社交网络服务接收与话语元素相关的替换响应信息并输出该替换响应信息。
执行功能还可以包括：当接收到用于执行web搜索的用户命令时，基于话语元素接收web搜索的结果并输出该web搜索的结果。
执行功能还可以包括：当接收到针对社交网络服务的用户命令时，基于话语元素产生响应请求消息，向提供社交网络服务(SNS)的SNS服务器发送响应请求消息，并且从SNS服务器接收与响应请求消息相对应的响应消息并输出该响应消息。
执行功能还可以包括：根据用户命令，向用户的社交网络服务(SNS)账户发送响应请求消息，并且从与用户的SNS账户链接的SNS账户接收响应消息并输出该响应消息。
执行功能还可以包括：根据用户命令，向从与用户的社交网络服务(SNS)账户链接的SNS账户中选择的SNS账户发送响应请求消息，并且从所选的SNS账户接收响应消息并输出该响应消息。
执行功能还可以包括：根据用户命令，向预定的公共SNS账户发送响应请求消息，并且从与预定的公共SNS账户链接的SNS账户接收响应消息并输出该响应消息。
执行功能还可以包括：当接收到响应消息时，输出对已经接收到响应消息加以指示的通知信息。
交互式服务器可以包括：第一服务器，将收集的用户语音转换成文本信息；以及第二服务器，产生与被转换成文本信息的收集的用户语音相对应的响应信息，向交互式服务器发送收集的用户语音可以包括：向第一服务器发送针对收集的用户语音的数字信号，从第一服务器接收针对收集的用户语音的文本信息，向第二服务器发送接收到的文本信息，并且从第二服务器接收与与用户语音相对应的响应信息。
执行功能可以包括：当用户语音包括与显示设备的电子节目指南(EPG)或控制操作相关的话语元素时，基于从第二服务器接收到的响应信息，执行以下中的至少一个：输出响应消息和执行与用户语音相对应的功能。
实施例的以上方面可以通过提供一种显示设备来实现，该显示设备可以包括：语音收集装置，收集用户语音，从收集的用户语音中去除噪声，并且向通信装置发送经滤波的用户语音；拍摄装置，对用户的脸部进行拍摄，产生脸部图像，并且向通信装置发送脸部图像，通信装置向交互式服务器发送经滤波的用户语音和脸部图像，交互式服务器提供适合于经滤波的用户语音和脸部图像的响应信息；以及控制装置，基于从交互式服务器接收到的响应信息，执行与经滤波的用户语音和脸部图像相对应的操作。
当从交互式服务器接收到针对响应信息的无法提供消息时，控制装置可以控制通信装置通过web搜索和社交网络服务中的至少一个接收与经滤波的用户语音和脸部图像相关的替换响应信息。
实施例的以上方面可以通过提供一种提供适合于用户语音的响应信息的交互式系统来实现，该交互式系统可以包括：显示设备，识别用户语音，并且执行与识别的用户语音相对应的功能；以及交互式服务器，当从显示设备接收到用户语音时，将用户语音转换成文本信息，对文本信息进行分析，并且向显示设备发送与用户语音相对应的响应信息，显示设备执行与从交互式服务器接收到的响应信息相对应的功能，或者基于通过web服务器和SNS服务器接收到的替换响应信息执行与用户语音相关的功能。
利用各种实施例，甚至在从不同用户输入不同用户语音时，显示设备也能够为每个用户语音提供更正确的响应信息。
根据结合附图并公开了优选实施例的以下详细描述，实施例的其他目的、优点和显著特征将变得显而易见。
附图说明
结合附图，根据以下实施例的描述，本公开的这些和/或其他方面和优点将变得显而易见并更容易理解，在附图中：
图1是示出了根据本公开实施例的提供适合于用户语音的响应信息的交互式系统的框图；
图2是示出了根据本公开实施例的在交互式系统中提供适合于用户语音的响应信息的方法的过程图；
图3是示出了根据本公开实施例的在交互式系统中提供与用户语音相关的替换响应信息的方法的过程图；
图4是示出了根据本公开实施例的显示设备的框图；
图5是示出了根据本公开实施例的输出替换信息提供消息的显示设备的图；
图6是示出了根据本公开实施例的通过SNS提供与用户语音相关的响应消息的显示设备的图；
图7是用于说明根据本公开实施例的显示设备的详细配置的框图；
图8是示出了根据本公开实施例的交互式服务器的框图；
图9是示出了根据本公开实施例的在显示设备中接收适合于用户语音的响应信息的方法的流程图；以及
图10是示出了根据本公开实施例的在显示设备中提供与用户语音相关的替换响应信息的方法的流程图。
贯穿附图，类似的附图标记应理解为指代类似的部件、组件和结构。
具体实施方式
在下文中，参照附图详细描述本公开的特定示例实施例。
提供在这里定义的内容(例如具体结构及其元件)，以帮助对本公开的全面理解。因此，应该清楚在没有那些限定的内容时也能够实施示例性实施例。另外，省略公知的功能或结构以提供清楚和简要的示例实施例描述。此外，可以任意地增大或减小附图中各个元件的尺寸，以帮助全面理解。
图1是示出了根据本公开实施例的提供适合于用户语音的响应信息的交互式系统的框图。
如图1所示，根据本公开实施例的交互式系统包括显示设备100、交互式服务器200、web服务器300和社交网络服务(SNS)服务器400。显示设备100是能够访问互联网并识别用户语音的设备。显示设备可以实现为各种电子设备，例如，智能电视、蜂窝电话(例如，智能电话)、台式PC、笔记本PC、导航设备等。当从用户输入用户语音时，显示设备100将输入的用户语音转换成数字信号，并且向交互式服务器200发送数字信号。
显示设备100识别从用户输入的用户语音，并且执行与识别的用户语音相对应的功能。具体地，显示设备100将输入的用户语音转换成数字信号，并且向交互式服务器发送数字信号。
然后，当从交互式服务器200接收到与用户语音相对应的响应信息时，显示设备100基于接收到的响应信息执行与用户语音相对应的功能。
此外，显示设备100基于通过web服务器300和SNS服务器400接收到的替换响应信息，执行与用户语音相对应的功能。
交互式服务器200是结合显示设备100提供适合于用户语音的话语信息的服务器。一旦从显示设备100接收到用户语音，交互式服务器200就将接收到的用户语音转换成与显示设备100相关联的文本信息，对文本信息进行分析，并且向显示设备100发送与从显示设备100接收到的用户语音相对应的响应信息。
交互式服务器200包括第一服务器10和第二服务器20。第一服务器10将从显示设备100接收到的用户语音转换成文本信息，并且向显示设备100发送被转换成文本信息的用户语音。然后，当从显示设备100接收到被转换成文本信息的用户语音时，第二服务器20对接收到的文本信息进行分析，产生与用户语音相对应的响应信息，并且向显示设备100发送响应信息。
在本公开中，交互式服务器200通过第一服务器10和第二服务器20产生与用户语音相对应的响应信息，并且向显示设备100发送响应信息。然而，这仅是本公开的一个实施例。根据实现方法，交互式服务器200可以是单个服务器。因为单个交互式服务器200执行第一服务器10和第二服务器20的所有操作，因此下文中省略与单个交互式服务器200有关的详细说明。
web服务器300是根据显示设备100的请求提供web搜索结果信息的服务器。
如上所述，向显示设备100提供替换响应信息的web服务器300是根据来自经由互联网连接的显示设备100的请求提供web搜索结果信息的服务器。web服务器300连接至互联网。社交网络服务(SNS)服务器400是提供社交网络服务(下文中称作SNS)(例如，Twitter、Facebook等)的服务器。用户使用SNS来在web上形成人类网络。因此，可以通过SNS执行用户之间的信息共享和团体。
在下文中，说明通过上述交互式系统的每种配置提供适合于用户语音的响应信息的操作。
当从用户输入用户语音时，显示设备100收集输入的用户语音，并且执行与输入的用户语音相对应的功能。例如，当输入改变频道的用户语音时，显示设备100可以调谐至输入的频道并且显示对应的频道。显示设备100可以提供与输入的用户语音的功能相对应的响应消息。在如上所述的示例中，显示设备100可以以语音或文本图像的形式输出与改变的频道有关的信息。当输入查询关于特定节目的播出时间的用户语音时，显示设备100可以以语音或文本图像形式输出特定节目播出时间。
显示设备100将收集的用户语音转换成数字信号，并向第一服务器10发送数字信号。然后，根据针对从显示设备100接收到的用户语音的特定模式，第一服务器10产生针对用户语音的文本信息，并且向显示设备100发送文本信息。省略根据用户语音产生文本信息的详细说明。
从第一服务器10接收针对用户语音的文本信息的显示设备100向第二服务器20发送针对用户语音的文本信息。然后，第二服务器20对从显示设备100接收到的针对用户语音的文本信息的意义进行分析，并且确定是否可以产生用于控制显示设备100的功能的响应信息。
第二服务器20从针对用户语音的文本信息中提取至少一个话语元素，并且基于提取的话语元素确定是否产生与用户语音相关的响应信息。响应信息是执行与用户语音相对应的功能的信息。响应信息可以包括以下中的至少一个：响应消息和用于控制显示设备100的功能的执行的控制命令。此外，话语元素可以是用于执行用户语音请求的功能的核心关键词。话语元素可以包括对话行为、主目标和核心元素。
对话行为是指表示针对用户语音的语内表现力的标签。例如，对话行为可以是陈述、请求、提问等。主目标是指表示用户语音的实际意图的标签。主目标可以是开/关电视、搜索节目、搜索节目时间表、预约节目等。核心元素可以包括流派、节目名称、时间、频道名称、男演员或女演员姓名等。
例如，当用户语音是“(插入的广播节目名称)什么时间开始？”时，对话行为可以是“开始？”的提问，并且主目标可以是搜索“开始”的节目时间表。然后，核心元素可以是“(插入的广播节目名称)”的节目名称。
在接收到用户语音“(插入的广播节目名称)什么时间开始？”之后，第二服务器20可以从接收到的用户语音中提取包括对话行为、主目标和核心元素在内的话语元素。在从用户语音中提取话语元素之后，第二服务器20可以基于提取的话语元素，确定是否产生用于执行与用户语音相对应的功能的响应信息。
根据确定结果，当能够产生用于执行与用户语音相对应的功能的响应信息时，第二服务器20产生用于执行与用户语音相对应的功能的响应信息，并且向显示设备100发送该响应信息。
在上述实施例中，在提取针对用户语音“(插入的广播节目名称)什么时间开始？”的话语元素之后，第二服务器20基于提取的话语元素产生针对广播节目何时开始的广播时间信息的响应信息，并且向显示设备100发送该响应信息。然后，显示设备100可以基于接收到的响应信息以语音或文本图像形式输出响应消息“(插入的广播节目名称)将在7:00开始”。
另一方面，根据确定结果，当不能产生用于执行与用户语音相对应的功能的响应信息时，第二服务器20可以产生针对用户语音的无法提供消息，并且向显示设备100发送该无法提供消息。
例如，当接收到针对用户语音“(插入的广播节目名称)中谁是更换后的节目主持人？”的文本信息时，第二服务器20可以提取话语元素“(插入的广播节目名称)”、“更换后的”、“节目主持人”和“谁”。在提取话语元素之后，第二服务器20基于提取的话语元素，检查在预存的电子节目指南(EPG)信息中是否存在与(插入的广播节目名称)的新节目主持人有关的信息。根据第二服务器20的检查结果，如果从预存的EPG信息中不能获得与(插入的广播节目名称)的新节目主持人有关的信息，则第二服务器20向显示设备100发送针对用户语音的无法提供消息。因此，显示设备100可以基于从第二服务器20接收到的无法提供消息，通过语音和文本图像形式中的至少一个输出诸如“不能找到信息”等通知消息。此外，当从第二服务器20接收到针对用户语音的无法提供消息时，显示设备100通过语音和文本图像形式中的至少一个，输出替换信息提供消息，例如，“你希望通过web搜索或社交网络服务接收吗？”
在输出替换信息提供消息的状态下，当从用户输入用于执行web搜索的用户命令时，显示设备100基于从第二服务器20提取的话语元素从web服务器300接收web搜索的结果，并且通过语音和图像中的至少一个输出web搜索的结果。根据实施例，显示设备100可以连同针对用户语音的无法提供消息一起从第二服务器20接收从用户语音提取的话语元素。相应地，当输入用于执行web搜索的用户命令时，显示设备100可以基于从第二服务器20接收到的话语元素，从web服务器300接收web搜索的结果。
根据备选实施例，显示设备100接收从用户输入的用于执行web搜索的关键词搜索，并且可以基于输入的关键词搜索，从web服务器300接收web搜索结果。
当从用户接收到针对SNS的用户命令时，显示设备100基于从第二服务器20提取的话语元素，产生响应请求消息。根据实施例，显示设备100可以连同针对用户语音的无法提供消息一起从第二服务器20接收从用户语音提取的话语元素。相应地，当接收到针对SNS的用户命令时，显示设备100可以基于从第二服务器20接收到的话语元素，产生响应请求消息。根据另一实施例，显示设备100可以基于来自用户的输入数据，产生响应请求消息。
在产生响应请求消息之后，显示设备100向SNS服务器400发送产生的响应请求消息。相应地，SNS服务器400从与发送响应请求消息的用户的SNS账户链接的SNS账户或与用户的SNS账户链接的多个SNS账户之中的由用户选择的SNS账户，接收与响应请求消息相关的响应消息。然后，SNS服务器400向显示设备100发送接收到的响应消息。当不存在发送响应请求消息的用户的SNS账户时，SNS服务器400可以从与预定的公共SNS账户链接的公共SNS账户接收与响应请求消息相关的响应消息。然后，SNS服务器400向显示设备100发送接收到的响应消息。相应地，显示设备100通过语音和文本图像形式中的至少一个输出从SNS服务器400接收到的响应消息。
如果不能提供与用户语音相对应的响应消息，则根据本公开实施例的交互式系统使用web搜索和SNS，以向用户提供与用户语音相关的替换响应消息。因此，可以最小化提供针对用户语音的响应信息的失败可能性。
在根据本公开实施例的交互式系统中，已经说明了提供适合于用户语音的响应信息的操作。在下文中，在根据本公开实施例的交互式系统中，说明用于提供适合于用户语音的响应信息的详细方法。
图2是示出了根据本公开实施例的在交互式系统中提供适合于用户语音的响应信息的方法的过程图。
如图2所示，当输入用户语音时，显示设备100收集输入的用户语音。然后，显示设备100将收集的用户语音转换成数字信号，并且向第一服务器10发送先前已被转换成数字信号的用户语音(S210和S220)。然后，第一服务器10根据先前在显示设备100中被转换成数字信号的用户语音生成文本信息。然后，第一服务器10向显示设备100发送产生的文本信息(S230和S240)。然后，显示设备100向第二服务器20发送从第一服务器10接收到的文本信息(S250)。从显示设备100接收先前被转换成文本信息的用户语音的第二服务器20从接收到的文本信息中提取话语元素(S260)。第二服务器20中从针对用户语音的文本信息中提取话语元素的操作如参照图1所述。因此，省略进一步的描述。
在提取话语元素之后，第二服务器20基于提取的话语元素产生用于执行与用户语音相对应的功能的响应信息，或者关于与用户语音相对应的响应信息的无法提供消息(S270)。然后，第二服务器20向显示设备100发送产生的响应信息或无法提供消息(S280)。在接收与用户语音相对应的响应信息之后，从第二服务器20接收响应信息或无法提供消息的显示设备100基于接收到的响应信息执行与用户语音相对应的功能(S290)。
根据本公开的实施例，第二服务器20确定从文本信息中提取的话语元素是与预存的EPG信息相关的话语元素还是与显示设备100的控制命令相关的话语元素。根据确定结果，当提取的话语元素是与预存的EPG信息相关的话语元素或者与显示设备100的控制命令相关的话语元素时，第二服务器20产生与用户语音相对应的响应信息。然后，第二服务器20向显示设备100发送产生的响应信息。然后，显示设备100基于接收到的响应信息，执行以下至少一个功能：输出响应信息和执行与用户语音相对应的功能。
基于确定结果，当提取的话语元素既不是与预存的EPG信息相关的话语元素也不是与显示设备100的控制命令相关的话语元素时，第二服务器20产生针对与用户语音相对应的响应信息的无法提供消息，并且向显示设备100发送该无法提供信息。然后，显示设备100基于从第二服务器20接收到的无法提供消息，通过语音和文本图像形式中的至少一个输出诸如“没有找到信息”等通知消息。当从第二服务器20接收到针对用户语音的无法提供消息时，显示设备100通过语音和文本图像形式中的至少一个，输出替换信息提供消息，例如“你希望通过web搜索或社交网络服务接收吗？”然后，根据用户选择的用户命令，显示设备100通过web服务器300或SNS服务器400接收与用户语音相关的替换响应信息，并且通过语音和图像中的至少一个输出替换响应信息。
下面说明交互式系统中通过显示设备100提供与用户语音相关的替换响应信息的方法。
图3是示出了根据本公开实施例的在交互式系统中提供与用户语音相关的替换响应信息的方法的过程图。
当从第二服务器20接收到针对用户语音的无法提供消息时，显示设备100通过语音和文本图像形式中的至少一个输出无法提供消息，例如“没有找到信息”。然后，显示设备100通过语音和文本图像形式中的至少一个输出替换信息提供消息，例如，“你希望通过web搜索或社交网络服务接收吗？”在输出替换信息提供消息的状态下，显示设备100确定从用户输入用于执行web搜索的用户命令还是针对SNS的用户命令(S310)。基于确定结果，当用户命令是用于执行web搜索的命令时，显示设备100基于从用户语音中提取的话语元素向web服务器300请求web搜索，并且接收web搜索的结果信息(S320和S330)。
根据本公开的实施例，显示设备100可以连同针对用户语音的无法提供消息一起接收从用户语音提取的话语元素。相应地，当输入用于执行web搜索的用户命令时，显示设备100可以从web服务器300接收基于从第二服务器20提取的话语元素的web搜索结果信息。根据本公开的另一实施例，显示设备100可以接收用户输入的用于执行web搜索的关键词搜索，并且从web服务器300接收基于输入的关键词搜索的web搜索结果。在从web服务器300接收到web搜索结果信息之后，显示设备100以语音或图像输出接收到的web搜索结果信息(S340)。
另一方面，在步骤S310中，如果确定用户命令是针对SNS的命令，则显示设备100基于从用户语音提取的话语元素产生响应请求消息。然后，显示设备100向SNS服务器400发送响应请求消息(S350)。
根据本公开的实施例，显示设备100可以从第二服务器20接收从用户语音提取的话语元素和针对用户语音的无法提供消息。相应地，当接收到针对SNS的用户命令时，显示设备100可以基于从第二服务器20接收到的话语元素产生响应请求消息。根据本公开的另一实施例，显示设备100可以基于从用户输入的数据产生响应请求消息。
在产生响应请求消息之后，显示设备100向SNS服务器400发送产生的响应请求消息(S360)。然后，SNS服务器400从与发送响应请求消息的用户的SNS账户链接的SNS账户或者所链接的SNS账户之中的用户选择的SNS账户，接收与响应请求消息相关的响应消息。如果不存在发送响应请求消息的用户的SNS账户，则SNS服务器400可以从与预定的公共SNS账户链接的公共SNS账户接收与响应请求消息相关的响应消息。相应地，显示设备100可以通过语音和文本图像形式中的至少一个输出从SNS服务器400接收到的响应消息(S370)。
在下文中，说明用于提供适合于用户语音的响应信息的显示设备100的配置。
图4是示出了根据本公开实施例的显示设备的框图。
如图4所示，显示设备100包括通信装置110、语音收集装置120、控制装置130、输出装置140和存储装置150。
通信装置110执行与提供适合于用户语音的响应信息的交互式服务器200的通信。具体地，通信装置110可以通过各种通信方法执行与交互式服务器200的第一服务器10和第二服务器20的通信，以接收与用户语音相对应的响应信息。通信装置110可以包括各种通信模块，例如，局部无线通信模块(未示出)、无线通信模块(未示出)等。本地无线通信模块(未示出)是执行与位于本地区域的外部装置的无线通信(例如Bluetooth或Zigbee等)的无线通信模块。无线通信模块(未示出)是与外部网络连接，并且根据诸如Wi-Fi、IEEE等无线通信协议实现通信的模块。此外，无线通信模块可以包括根据第三代(3G)、第三代合作伙伴计划(3GPP)、或者长期演进(LET)等与移动通信网络连接以实现通信的移动通信模块。
语音收集装置120对收集的用户语音进行处理，并且产生用户语音信号。换言之，语音收集装置120从收集的用户语音中去除噪声(例如，空调声音、吸尘器声音或者音乐声音等)，并且产生用户语音信号。当输入模拟形式的用户语音时，语音收集装置120执行对用户语音的采样，并且将其转换成数字信号。此时，语音收集装置120确定在被转换成数字信号的用户语音中是否存在噪声。如果存在噪声，则语音收集装置120可以从经转换的数字信号中去除噪声。如上所述，在通过语音收集装置120将用户语音转换成数字信号之后，通信装置110向第一服务器10发送被转换成数字信号的用户语音。第一服务器10是将用户语音转换成文本信息的服务器。
因此，在通过语音收集装置120将用户语音转换成数字信号之后，通信装置110向第一服务器10发送转换所得的数字信号。第一服务器10将被转换成数字信号的用户语音转换成文本信息。然后，第一服务器10向显示设备100发送文本信息。然后，在从第一服务器10接收到被转换成文本信息的用户语音之后，通信装置110向第二服务器20发送被转换成文本信息的用户语音。
控制装置130在从第二服务器20接收到与被转换成文本信息的用户语音相对应的响应信息之后，基于接收到的响应信息控制执行与用户语音相对应的功能。在输入用户语音之后，控制装置130通过语音收集装置120将用户语音转换成数字信号。然后，控制装置130通过通信装置110向第一服务器10发送被转换成数字信号的用户语音。控制装置130从第一服务器10接收针对用户语音的文本信息。在从第一服务器10接收到针对用户语音的文本信息之后，控制装置130可以通过通信装置110向第二服务器20发送被转换成文本信息的用户语音。然后，控制装置130可以接收与用户语音相对应的响应信息。
当从第二服务器20接收到与用户语音相对应的响应信息的无法提供消息时，控制装置130可以控制通信装置110通过web搜索和SNS中的至少一个接收与用户语音相关的替换响应信息。
输出装置140输出语音和图像中的至少一个。当从第二服务器20接收到与用户语音相对应的响应信息时，或者当从web服务器300和SNS服务器400中的至少一个接收到替换响应信息时，输出装置140可以根据控制装置130的控制命令，基于接收到的响应信息或替换响应信息输出语音或文本图像形式的针对用户语音的响应消息。输出装置140可以具有显示装置140和音频输出装置143。
显示装置141可以实现为液晶显示器(LCD)、有机发光显示器(OLED)、或者等离子体显示板(PDP)等，并且可以提供通过显示设备100提供多种显示图像。具体地，显示装置141可以以文本形式或者图像形式显示与用户语音相对应的响应消息。显示装置141可以实现为触摸屏形式，以连同触摸板一起形成层结构。可以形成触摸屏来检测触摸输入的位置、区域和压力。
音频输出装置143可以实现为输出端口(例如，扬声器、插孔等)，并且可以以语音形式输出针对用户语音的响应消息。
可以根据基于从用户语音提取的话语元素而分类的功能，以不同形式产生从第二服务器20接收到的响应消息。基于提取的话语元素而分类的功能可以包括以下中的至少一个：EPG相关功能和与显示设备100的功能控制相关的功能。如果从用户语音中提取的话语元素与广播节目相关，则响应消息可以是EPG相关功能。如果话语元素与显示设备100的电源开/关、频道改变、音量改变等相关，则响应信息可以是与显示设备100的功能控制相关的功能。因此，当从第二服务器20接收到响应信息时，控制装置130可以基于接收到的响应信息控制执行与用户语音相对应的功能。
例如，当输入用户语音“记录今天播出的(插入的广播节目名称)”时，控制装置130通过语音收集装置120将用户语音“记录今天播出的(插入的广播节目名称)”转换成数字信号。然后，控制装置130可以向第一服务器10发送经转换的用户语音。当从第一服务器10接收到针对用户语音“记录今天播出的(插入的广播节目名称)”的文本信息时，控制装置130向第二服务器20发送针对用户语音“记录今天播出的(插入的广播节目名称)”的文本信息。
相应地，第二服务器20从接收到的针对用户语音“记录今天播出的(插入的广播节目名称)”的文本信息中提取话语元素，例如，“今天”、“(插入的广播节目名称)”、和“记录”，并且基于提取的话语元素将其确定为EPG相关功能。然后，第二服务器20向显示设备100发送响应信息，该响应信息包括用于安排记录(插入的广播节目名称)的控制命令和响应消息“已经安排了针对(插入的广播节目名称)的记录”。控制装置130根据从第二服务器20接收到的响应信息中包括的控制命令，设置安排针对(插入的广播节目名称)的记录。然后，控制装置130基于接收到的响应信息中包括的响应消息，控制输出装置140通过图像和语音中的至少一个输出响应消息“已经安排了针对(插入的广播节目名称)的记录”。
根据控制命令，输出装置140可以通过显示装置141和音频输出装置143中的至少一个以语音或文本图像形式，输出响应消息“已经安排了针对(插入的广播节目名称)的记录”。
另一方面，控制装置130可以从用户接收与EPG相关功能或控制显示设备100的功能的功能无关的用户语音。例如，当从用户输入包括限制的话语元素(例如，辱骂性语言或禁用药品)的用户语音时，控制装置130从第一服务器10接收针对输入的用户语音的文本信息，并且向第二服务器20发送该文本信息。在从针对用户语音的文本信息中提取话语元素之后，第二服务器20检查提取的话语元素是否是预存的限制的话语元素。根据检查结果，当提取的话语元素是限制的话语元素(例如，亵渎语言或禁止的毒品)时，第二服务器20产生针对用户语音的无法提供消息，并且向显示设备100发送无法提供消息。相应地，控制装置130基于接收到的无法提供消息控制输出装置140通过语音和文本图像形式中的至少一个，输出通知消息，例如，“不能执行该功能”或“语音受限，请重新输入”。
然而，本公开不限于此。因此，如果输入与辱骂性语言或禁用药品相关的用户语音，则控制装置130可以参考存储装置150中预存的话语元素相关表，确定是否执行针对用户语音的功能。存储装置150中预存的话语元素相关表是用户预先设置并存储来限制与用户语音相对应的功能的表。因此，控制装置130可以参考用户预设的话语元素相关表来确定是否执行针对用户语音的功能。
当从用户输入用户语音“(插入的广播节目名称)中谁是更换后的节目主持人？”时，控制装置130向第二服务器20发送从第一服务器10接收到的针对用户语音“(插入的广播节目名称)中谁是更换后的节目主持人？”的文本信息。接收针对用户语音的文本信息的第二服务器20可以从针对用户语音“谁代替了No Hong chul成为(插入的广播节目名称)中的节目主持人？”的文本信息中提取话语元素，例如，“(插入的广播节目名称)”、“节目主持人”、“No hong chul”、“谁”、“代替”。在提取了话语元素之后，第二服务器20基于提取的话语元素检查预存的EPG信息中是否存在与(插入的广播节目名称)的新节目主持人相关的信息。根据检查结果，如果从预存的EPG信息中不能获得与(插入的广播节目名称)的新节目主持人相关的信息，则第二服务器20向显示设备100发送针对用户语音的无法提供消息。
在接收到无法提供消息之后，控制装置130基于接收到的无法提供消息，控制输出装置140通过语音和文本图像形式中的至少一个输出通知消息，例如“不能找到该信息”。此外，在从第二服务器20接收到针对用户语音的无法提供消息之后，控制装置130通过语音和文本图像形式中的至少一个，产生替换信息提供消息，例如“你希望通过web搜索或社交网络服务接收吗？”然后，控制装置130控制输出装置140通过语音和图像中的至少一个输出产生的替换信息提供消息。
图5是示出了根据本公开实施例的输出替换信息提供消息的显示设备的图。
如图5所示，输出装置140可以根据控制装置130的控制命令，通过显示装置141输出替换信息提供消息。换言之，显示装置141可以在显示装置141的屏幕上以文本形式输出第一替换信息提供消息510和第二替换信息提供消息520，第一替换信息提供消息510与web搜索“你想要针对((插入的广播节目名称)，No hong chul)进行web搜索吗？”有关，第二替换信息提供消息520与SNS“你希望询问你登记的SNS朋友？”有关。然后，音频输出装置143可以通过扬声器(未示出)以语音的可听形式输出第一替换信息提供消息510和第二替换信息提供消息520，第一替换信息提供消息510与web搜索“你想要针对((插入的广播节目名称)，No hong chul)进行web搜索吗？”有关，第二替换信息提供消息520与SNS“你希望询问你登记的SNS朋友？”有关。
第二服务器20向显示设备100发送针对用户语音的无法提供消息以及从用户语音中提取的话语元素之中仅与主要名词或对象相关的话语元素。相应地，控制装置130基于从第二服务器20接收到的主要名词或对象产生第一和第二替换信息提供消息510和520，并且控制输出装置140将产生的第一和第二替换信息提供消息510和520输出为语音或图像。因此，输出装置140可以通过显示装置141和音频输出装置143中的至少一个，将产生的第一和第二替换信息提供消息510和520输出为语音或图像。
在输出替换信息提供消息的状态下，当接收到与替换信息提供相关的用户命令时，控制装置130可以控制输出装置140通过web服务器300和SNS服务器400中的至少一个接收与用户语音相关的替换响应信息并输出与用户语音相关的替换响应信息。
当从用户接收到用于执行web搜索的用户命令时，控制装置130基于从第二服务器20接收到的与主要名称或对象相关的话语元素，从web服务器300接收web搜索结果信息。在接收到web搜索结果信息之后，输出装置140根据控制装置130的控制命令，通过显示装置140和音频输出装置143中的至少一个，以图像或语音输出web搜索结果信息。
在从用户接收到针对SNS的用户命令之后，控制装置130基于从第二服务器20接收到的与主要名词或对象相关的话语元素产生响应请求消息。然后，控制装置130通过通信装置110向SNS服务器400发送响应请求消息，以提供SNS，并且从SNS服务器400接收与响应请求消息相关的响应消息。根据本公开的实施例，控制装置130可以通过用户的SNS账户向SNS服务器400发送响应请求消息，并且通过SNS服务器400，从与用户的SNS账户链接的SNS账户接收与响应请求消息相关的响应消息。
根据本公开的另一实施例，控制装置130可以从由用户在与用户的SNS账户链接的SNS账户中选择的SNS账户接收与响应请求消息相关的响应消息。如果存在由用户在与用户的SNS账户链接的SNS账户中选择的SNS账户，则控制装置130可以请求SNS服务器400，以向用户选择的SNS账户发送响应请求消息。相应地，SNS服务器400向用户选择的SNS账户发送响应请求消息。当从SNS账户接收到与响应请求消息相关的响应消息时，SNS服务器400向显示设备100发送该响应消息。因此，控制装置130可以从由用户选择的SNS账户接收与响应请求消息相关的响应消息。
图6是示出了根据本公开实施例的通过SNS提供与用户语音相关的响应消息的显示设备的示例图。
如图6所示，输出装置140根据控制装置130的控制命令可以通过显示装置141以文本图像形式输出从SNS服务器400接收到的响应消息。控制装置130可以通过SNS服务器400从与用户的SNS账户链接的多个SNS账户之中的第一和第二用户SNS账户接收响应消息。在从第一和第二用户SNS账户接收到响应消息之后，输出装置140根据控制装置130的控制命令通过显示装置141和音频输出装置143中的至少一个输出从第一和第二用户SNS账户接收到的响应消息。
如图6所示，当通过SNS服务器400从第一用户SNS账户接收到响应消息“你是说No hong chul离开了？”时，显示装置141在屏幕上输出第一响应消息620“发送方：第一用户”和“你是说No hong chul离开了？”。然后，当通过SNS服务器400从第二用户SNS账户接收到响应消息“我不知道...”时，显示装置141在屏幕上输出第二响应消息630“发送方：第二用户”和“我不知道...”。
如果用户不具有SNS账户，则控制装置130可以从与预定的公共SNS账户链接的SNS账户接收与响应请求消息相关的响应消息。发送到SNS服务器400的响应请求消息可以包括用于识别是否登记了用户SNS账户的用户信息。相应地，在接收到响应请求消息之后，SNS服务器400参考接收到的响应请求消息中包括的用户信息，检查登记了对应用户的SNS账户。根据检查结果，如果检查出没有登记用户SNS账户，则SNS服务器400通过预定的公共SNS账户向与公共SNS账户链接的SNS账户发送响应请求消息。在从链接的SNS账户接收到与响应请求消息相关的响应消息之后，向显示设备100发送该响应消息。
根据控制装置130的控制命令，输出装置140可以通过显示装置141以文本图像形式输出从SNS服务器400接收到的响应消息。如图6所示，显示装置141输出第三响应消息640“发送方：Samsung”和“他们是Gil和Park eun young”。
在通过SNS服务器400从与用户的SNS账户或公共SNS账户链接的SNS账户接收响应消息之后，控制装置130可以控制输出装置140输出对已接收到响应消息加以指示的通知信息。相应地，输出装置140根据控制装置130的控制命令可以通过音频输出装置143以语音输出通知信息，以通知响应消息的接收。
然而，本公开不限于以上实施例。当通过SNS服务器400从与用户SNS账户或公共SNS账户链接的SNS账户接收到响应消息时，控制装置130可以控制输出装置140强调并输出接收到的响应消息。相应地，输出装置140可以根据控制装置130的控制命令通过显示装置141，在屏幕上以图像输出的响应消息之中强调和输出当前接收到的响应消息。
在图6中，显示装置141在通过SNS服务器400从与用户SNS账户或公共SNS账户链接的SNS账户接收响应消息的同时，在屏幕的顶部显示指示标记610“等待响应”。当正显示指示标记610时，显示装置141可以通过SNS服务器400从与用户SNS账户或公共SNS账户链接的SNS账户接收响应消息。
如果在屏幕上输出的响应消息之中存在用户期望的响应消息，则用户可以停止接收响应消息。如果接收到用户命令，则控制装置130产生针对SNS的接收停止请求消息，并且向SNS服务器400发送产生的接收停止请求消息。相应地，从接收到接收停止请求消息时起，SNS服务器400终止从与用户SNS账户或公共SNS账户链接的SNS账户接收的响应消息的传送。
在下文中，说明上述显示设备100的详细配置。
图7是用于说明根据本公开实施例的显示设备的详细配置的框图。
如图7所示，除了图4中的组件以外，显示设备100还可以包括拍摄装置160、输入装置170、接收装置180和信号处理装置190。图6中与图5中的组件重复的组件具有相同功能。因此，省略详细描述。
拍摄装置160对用户的脸部进行拍摄，以产生脸部图像。上述存储装置150还可以将用户的脸部图像与用户信息相匹配。然后，存储装置150可以存储用户的脸部图像和用户信息。相应地，在产生通过拍摄装置160捕获的用户脸部图像之后，控制装置130从存储装置150获得要与产生的脸部图像相匹配的用户信息。然后，控制装置130可以向第二服务器20发送获得的用户信息和针对用户语音的文本信息。
相应地，当从接收到的针对用户语音的文本信息中提取的话语元素是限制的话语元素时，第二服务器20基于接收到的用户信息，确定是否产生与用户语音相对应的响应信息。然后，根据确定结果，第二服务器20产生与用户语音相对应的响应信息或者针对与用户语音相对应的响应信息的无法提供消息。然后，第二服务器20向显示设备100发送响应信息或无法提供消息。因此，如上所述，控制装置130基于从第二服务器20接收到的与用户语音相对应的响应信息来执行功能，并且控制输出装置140基于针对响应信息的无法提供消息，通过语音和图像中的至少一个输出通知消息，例如“语音受限，请重新输入”。
输入装置170是接收用户的各种操控并向控制装置130发送所述各种操控的输入装置。输入装置170可以实现为输入面板。输入面板可以配置有触摸板(例如，包括各种功能键、数字键、特殊键、字符键等的键区)或者触摸屏方法。此外，输入装置170可以实现为用于接收从遥控器发送的遥控信号来控制显示装置100的IR接收单元(未示出)。
输入装置170可以接收多种用户操作以便控制显示设备100的功能。例如，如果显示设备100实现为智能电视，则输入装置170可以接收用户操作以控制智能电视的功能，例如电源开/关、频道改变、或音量改变等。当通过输入装置170输入用户操作时，控制装置130可以控制其他组件执行与通过输入装置170输入的用户操作相对应的各种功能。例如，当输入电源关闭命令时，控制装置130可以断开对显示设备100的每个组件的供电。当输入频道改变命令时，控制装置130可以控制接收装置180调谐到由用户操作选择的频道。
此外，输入装置170接收用户命令以启动用于收集用户语音的语音识别模式。在通过输入装置170输入启动语音识别模式的用户命令之后，控制装置130可以激活语音收集装置120并且收集预定距离内发出的用户语音。
上述存储装置150是存储多种类型的程序的存储介质，所述程序对操作显示设备100是必要的，且存储装置150可以实现为存储器、硬盘驱动(HDD)等。例如，存储装置150可以包括对用于执行控制装置130的操作的程序加以存储的至少一个ROM、用于临时存储根据控制装置130执行的操作的数据的至少一个RAM等。存储装置150还可以包括用于存储多种参考数据的电可擦除可编程ROM(EEPROM)等。
存储装置150可以将各种适合于用户语音的响应消息预存为语音或文本信息。然后，控制装置130可以从存储装置150读取针对适合于用户语音的响应消息的语音信息或文本信息。控制装置130可以通过显示装置141和音频输出装置143中的至少一个输出语音信息或文本信息。具体地，当以语音形式输出适合于用户语音的响应消息时，控制装置130可以执行对从存储装置150读取的语音信息的信号处理(例如解码等)，放大经解码的语音数据，并且通过音频输出装置143输出经解码的语音数据。同样，当以文本形式输出适合于用户语音的响应消息时，控制装置130可以对从存储装置150读取的文本信息执行信号处理(例如解码等)，形成其上包括配置文本信息的文本的UI屏幕，并且通过显示装置141输出文本。
然而，本公开不限于此。控制装置130可以对从第二服务器20接收到的响应信息内包括的响应消息执行处理操作，并且通过显示装置141和音频输出装置143中的至少一个以文本相关图像或语音输出响应消息。
接收装置180通过广播网络接收与广播节目相关的内容。具体地，接收装置180可以通过广播网络或经由互联网发送内容文件的web服务器，从发送与广播节目相关的内容的广播站接收内容。此外，接收装置180可以从设置在显示设备100内或者连接至显示设备100的各种记录媒体回放装置接收内容。记录媒体回放装置是指播放各种类型的记录介质(例如，CD、DVD、硬盘、蓝光盘、记忆卡、USB存储器等)中存储的内容的装置。
当从广播站接收内容时，接收装置180可以在包括调谐器(未示出)、解调器(未示出)、均衡器(未示出)等的配置中实现。当从源装置(例如，web服务器)接收内容时，接收装置180可以实现为网络接口卡(未示出)。此外，在从各种记录介质回放设备接收内容的实施例的情况下，接收装置180可以实现为连接到记录介质回放设备的接口装置(未示出)。如上所述，根据实施例，接收机180可以以多种形式实现。
信号处理装置190执行对内容的信号处理，使得可以通过输出装置140输出通过接收装置180接收到的内容。信号处理装置190执行对视频信号的信号处理，例如解码、缩放、帧速率转换等，使得可以以能够在显示装置141上输出的形式输出内容内包括的视频信号。此外，信号处理装置190执行对音频信号的信号处理，例如解码等，使得可以以能够通过音频输出装置143输出的形式输出内容中包括的音频信号。然后，显示装置141和音频输出装置143可以输出由信号处理装置190信号处理的内容中包括的视频和音频信号。
已经说明了根据本公开实施例的显示设备100的功能，该显示设备100通过包括第一服务器10和第二服务器20的交互式服务器200接收适合于用户语音的响应信息，并且执行对应的操作。在下文中，说明根据本公开实施例的交互式服务器200的第二服务器20的操作，第二服务器20产生适合于通过显示设备100接收的用户语音的响应信息，并且向显示设备100发送响应信息。
图8是示出了根据本公开实施例的交互式服务器的框图。
如图8所示，交互式服务器是上述的第二服务器20并且是从显示设备100接收经由第一服务器10被转换成文本信息的用户语音的服务器，交互式服务器从接收到的针对用户语音的文本信息中提取话语元素，并且向显示设备100发送适合于用户语音的响应信息。交互式服务器包括通信装置810、提取装置820、存储装置830和控制装置840。
通信装置810执行与显示设备100的通信，提取装置820从通过通信装置810接收自显示设备100的用户语音中提取话语元素。如上所述，在接收到针对用户语音的文本信息之后，提取装置820可以从接收到的文本信息中提取包括对话行为、主目标和核心元素在内的话语元素。下文中省略对话语元素的详细描述。
存储装置830存储用户语音公开历史信息和EPG信息。控制装置840基于根据通过提取设备820提取的针对用户语音的话语元素而分类的功能，以不同形式产生与用户语音相对应的响应信息。然后，控制装置840向显示设备100发送响应信息。根据话语元素而分类的功能可以包括以下中的至少一个：EPG相关功能和显示设备100的功能控制。根据从用户语音中提取的话语元素，控制装置840确定用户语音与EPG相关还是与显示设备100的功能控制相关。控制装置840可以根据确定结果产生与用户语音相对应的响应信息。
当从用户语音中提取的话语元素是与EPG相关的话语元素时，控制装置840基于存储装置830中预存的EPG信息，确定能否提供与用户语音相对应的EPG信息。根据确定结果，如果能提供EPG信息，则控制装置840基于EPG信息产生与用户语音相对应的响应信息。
例如，如果用户语音是“记录本周播出的(插入的广播节目名称)”，则提取装置820可以提取话语元素“本周”、“(插入的广播节目名称)”、“记录”。在提取话语元素之后，控制装置840可以从存储装置830中存储的EPG信息获得(插入的广播节目名称)的节目信息和开始时间信息。相应地，控制装置840可以产生包括控制命令和响应消息的响应信息，控制命令与基于获得的节目信息和开始时间信息而产生的针对(插入的广播节目名称)的安排记录有关，响应消息基于存储装置830中预存的公开历史信息而产生。在产生与用户语音相对应的响应信息之后，控制装置840通过通信装置810向显示设备100发送该响应信息。相应地，显示设备100可以基于接收到的响应信息，执行以下中的至少一个操作：输出响应消息以及执行与用户语音相对应的功能。
根据确定结果，如果不能提供EPG信息，则控制装置840产生针对与用户语音相对应的响应信息的无法提供消息。
例如，如果用户语音是“谁是(插入的广播节目名称)中的男主角？”，则提取装置820可以提取话语元素“(插入的广播节目名称)”、“男主角”、“谁”。在提取话语元素之后，控制装置840检查存储装置830中存储的EPG信息中是否存在针对(插入的广播节目名称)的男主角信息。根据检查结果，如果从预存的EPG信息中不能获得针对(插入的广播节目名称)的男主角信息，则控制装置840可以产生针对与用户语音相对应的响应信息的无法提供消息。
作为与产生针对响应信息的无法提供消息相关的另一示例，当从用户语音提取的话语元素是限制的禁止词语(例如，辱骂性语言、禁用药品等)时，控制装置840可以产生针对与用户语音相对应的响应信息的无法提供消息。
当产生与用户语音相对应的响应信息或者针对与用户语音相对应的响应信息的无法提供消息时，控制装置840通过通信装置810向显示设备100发送响应信息。此外，控制装置840可以向显示设备100发送从用户语音中提取的话语元素之中与主要名词或对象相关的话语元素。显示设备100可以通过web服务器和SNS服务器基于接收到的话语元素接收web搜索结果信息和响应消息中的至少一个。然后，显示设备100可以以语音和图像中的至少一个输出web搜索结果信息和响应消息中的至少一个。
已经说明了根据本公开实施例的交互式服务器的配置，交互式服务器提供适合于用户语音的响应信息。在下文中，说明上述显示设备中基于适合于用户语音的响应信息执行操作的方法。
图9是示出了根据本公开实施例的在显示设备中接收适合于用户语音的响应信息的方法的流程图。
在从用户输入启动语音识别模式的用户命令之后，显示设备进入语音识别模式。语音识别模式可以根据输入的用户命令识别用户语音(S910)。当进入语音识别模式时，显示设备从用户接收用户语音。当输入用户语音时，显示设备收集输入的用户语音，并且将收集的用户语音转换成数字信号(S920和S930)。然后，显示设备向第一服务器发送被转换成数字信号的用户语音(S940)。第一服务器可以是将被转换成数字信号的用户语音转换成文本信息的服务器。在从第一服务器接收到针对用户语音的文本信息之后，显示设备向第二服务器发送接收到的针对用户语音的文本信息(S950)。第二服务器可以是根据从用户语音中提取的话语元素产生适合于用户语音的响应信息的服务器。
在从交互式服务器接收到与用户语音相对应的响应信息之后，显示设备基于接收到的响应信息执行与用户语音相对应的功能(S960)。可以根据基于从用户语音中提取的话语元素而分类的功能，以不同形式产生响应信息。基于提取的话语元素而分类的功能可以包括EPG相关功能和与显示设备的功能控制相关的功能中的至少一个。例如，如果从用户语音中提取的话语元素是与广播节目相关的话语元素，则响应信息可以是EPG相关功能。如果话语元素是与显示设备的电源开/关、频道改变、音量改变等相关的话语元素，则响应信息可以是与显示设备的功能控制相关的功能。然后，在从第二服务器接收到响应信息之后，显示设备可以以语音或图像输出接收到的响应信息中包括的响应消息。显示设备可以根据从第二服务器接收到的响应信息中包括的控制命令，执行用于实现显示设备的功能的操作。
如果接收到基于从用户语音中提取的话语元素与用户语音相对应的针对响应信息的无法提供消息，则显示设备通过web搜索和SNS中的至少一个接收替换响应信息。然后，显示设备以图像和语音输出替换响应信息。
图10是示出了根据本公开实施例的在显示设备中提供与用户语音相关的替换响应信息的方法的流程图。
如图10所示，显示设备检查是否从第二服务器20接收到与用户语音相对应的响应信息(S1010)。根据检查结果，如果从第二服务器20接收到与用户语音相对应的响应信息，则显示设备可以通过语音和图像中的至少一个输出响应消息，或者基于接收到的响应信息执行用于实现显示设备的功能的操作(S1020)。
根据检查结果，如果从第二服务器20接收到针对与用户语音相对应的响应信息的无法提供消息，则显示设备通过语音和文本形式图像中的至少一个输出通知消息，例如“不能执行该功能”或“语音受限，请重新输入”(S1030)。在输出消息之后，显示设备通过语音和图像中的至少一个输出替换信息提供消息，以便通过web搜索和SNS中的至少一个提供替换信息。
如参照图5所述，显示设备基于从第二服务器20接收到的无法提供消息输出通知消息。显示设备可以在屏幕上以文本形式输出第一替换信息提供消息510和第二替换信息提供消息520，第一替换信息提供消息510与文本搜索“你想要针对((插入的广播节目名称)，No hongchul)进行web搜索吗？”有关，第二替换信息提供消息520与SNS“你希望询问你登记的SNS朋友吗？”有关。然后，音频输出装置143可以通过扬声器(未示出)以语音的可听形式输出第一替换信息提供消息510和第二替换信息提供消息520，第一替换信息提供消息510与文本搜索“你想要针对((插入的广播节目名称)，No hong chul)进行web搜索吗？”有关，第二替换信息提供消息520与SNS“你希望询问你登记的SNS朋友吗？”有关。
当输出替换信息提供消息时，显示设备检查是否从用户接收到与替换信息提供相关的用户命令(S1040)。根据检查结果，如果从用户接收到用于执行web搜索的用户命令，则显示设备基于与从第二服务器20接收到的主要名词或对象相关的话语元素从web服务器300接收web搜索结果信息。然后，显示设备通过图像和语音中的至少一个输出web搜索结果信息(S1050)。
如果检查到针对SNS的用户命令，并且在步骤1040处从用户接收针对SNS的用户命令，则显示设备基于从第二服务器20接收到的与主要名词或对象相关的话语元素产生响应请求消息。然后，显示设备向SNS服务器400发送响应请求消息，以提供SNS。显示设备从SNS服务器400接收与响应请求消息相关的响应消息。然后，显示设备通过图像和语音中的至少一个输出接收到的响应消息(S1060)。
根据实施例，显示设备通过用户的SNS账户向SNS服务器400发送响应请求消息。然后，显示设备可以通过SNS服务器400，从与用户的SNS账户链接的SNS账户接收与响应请求消息相关的响应消息。
根据另一实施例，显示设备可以从与用户的SNS账户链接的SNS账户之中的由用户选择的SNS账户接收与响应请求消息相关的响应消息。当与用户的SNS账户链接的SNS账户之中存在由用户选择的SNS账户时，显示设备可以请求SNS服务器400向用户选择的SNS账户发送响应请求消息。然后，SNS服务器400向由用户选择的SNS账户发送响应请求消息。当从对应的SNS账户接收到与响应请求消息相关的响应消息时，SNS服务器400向显示设备100发送响应消息。相应地，显示设备可以从用户选择的SNS账户接收与响应请求消息相关的响应消息。
如图6所示，如果从与用户的SNS账户链接的SNS账户之中的至少一个SNS账户接收到与响应请求消息相关的响应消息，则显示设备可以在屏幕上输出接收到的响应消息。如参照图6所述，显示设备可以通过SNS服务器400从与用户的SNS账户链接的多个SNS账户之中的第一和第二用户的SNS账户接收响应消息。可以从第一用户的SNS账户接收响应消息“你是说No hong chul离开了？”，并且可以从第二用户的SNS账户接收响应消息“我不知道...”。
显示设备可以在屏幕上输出第一响应消息620“发送方：第一用户”和“你是说No hong chul离开了？”以及第二响应消息630“发送方：第二用户”和“我不知道...”。
如果用户没有SNS账户，则显示设备可以从与预定的公共SNS账户链接的SNS账户接收与响应请求消息相关的响应消息。发送到SNS服务器400的响应请求消息可以包括识别是否登记了用户SNS账户的用户信息。相应地，在从显示设备接收到响应请求消息之后，SNS服务器400通过参考接收到的响应请求消息中包括的用户信息，来检查是否登记了对应用户的SNS账户。根据检查结果，如果检查出没有登记用户SNS账户，则SNS服务器400通过预定的SNS账户向与公共SNS账户链接的SNS账户发送响应请求消息。然后，在从向其发送了响应请求消息的SNS账户接收到响应消息之后，SNS服务器400向显示设备发送接收到的响应消息。
如图6所示，当发送响应请求消息并且通过公共SNS账户接收到与响应请求消息相对应的响应消息时，显示设备在屏幕上输出第三响应消息640“发送方：Samsung”和“他们是Gil和Park eun young”。
如果通过SNS服务器400从与用户的SNS账户或公共SNS账户链接的SNS账户接收到响应消息，则显示设备不仅可以在屏幕上输出接收到的响应消息，而且还可以以语音输出对已经接收到响应消息加以指示的通知信息。如果通过SNS服务器400从与用户的SNS账户或公共SNS账户链接的SNS账户接收到响应消息，则显示设备可以强调并输出接收到的响应消息。
在根据用户命令通过SNS接收与用户语音相关的响应消息的显示设备中，当接收到与停止接收响应消息相关的用户命令时，显示设备产生针对SNS的接收停止请求消息，并且向SNS服务器400发送接收停止请求消息。相应地，从接收到接收停止请求消息时起，SNS服务器400终止传送从与用户SNS账户或公共SNS账户链接的SNS账户接收到的响应消息。
已经描述了本公开的示例实施例。语音收集装置120可以包括语音记录器、麦克风等。然而，语音收集装置120不限于此，并且可以包括用于收集用户语音的任何硬件。通信装置110可以包括无线路由器、硬件电路、或者用于执行与外部网络的移动通信的任何硬件模块。控制装置130可以包括用于控制与用户语音相对应的操作的处理器。输出装置140可以包括用于输出图像和语音的任何硬件。
尽管已经描述了本公开的实施例，但是本领域技术人员可以设想实施例的附加变型和修改。因此，所附权利要求意在包括上述实施例以及落在实施例的精神和范围内的所有变型和修改。

Claims (15)

1.一种显示设备，包括：
语音收集装置，收集用户语音；
通信装置，执行与交互式服务器的通信；以及
控制装置，当从交互式服务器接收到与发送到交互式服务器的用户语音相对应的响应信息时，控制执行与响应信息相对应的功能，
其中，控制装置控制通信装置通过web搜索和社交网络服务SNS接收与用户语音相关的替换响应信息。
2.根据权利要求1所述的显示设备，还包括：
输出装置；
其中，当从交互式服务器接收到用户语音内包括的话语元素以及针对与用户语音相对应的响应信息的无法提供消息时，控制装置控制输出装置通过web搜索和社交网络服务接收与话语元素相关的替换响应信息并输出该替换响应信息。
3.根据权利要求2所述的显示设备，其中，
当接收到用于执行web搜索的用户命令时，控制装置基于话语元素接收web搜索的结果并输出该web搜索的结果。
4.根据权利要求2所述的显示设备，其中，
当接收到针对社交网络服务的用户命令时，控制装置基于话语元素产生响应请求消息，向提供社交网络服务SNS的SNS服务器发送响应请求消息，并且从SNS服务器接收与响应请求消息相对应的响应消息并输出该响应消息。
5.根据权利要求4所述的显示设备，其中，根据用户命令，控制装置向用户的社交网络服务SNS账户发送响应请求消息，并且从与用户的SNS账户链接的SNS账户接收响应消息并输出该响应消息。
6.根据权利要求4所述的显示设备，其中，根据用户命令，控制装置向从与用户的社交网络服务SNS账户链接的SNS账户中选择的SNS账户发送响应请求消息，并且从所选的SNS账户接收响应消息并输出该响应消息。
7.根据权利要求4所述的显示设备，其中，根据用户命令，控制装置向预定的公共SNS账户发送响应请求消息，并且从与预定的公共SNS账户链接的SNS账户接收响应消息并输出该响应消息。
8.根据权利要求4所述的显示设备，其中，当接收到响应消息时，控制装置输出对已经接收到响应消息加以指示的通知信息。
9.根据权利要求1所述的显示设备，其中，交互式服务器包括：
第一服务器，将收集的用户语音转换成文本信息；以及
第二服务器，产生与被转换成文本信息的收集的用户语音相对应的响应信息，
其中，控制装置将收集的用户语音转换成数字信号，向第一服务器发送数字信号，并且在从第一服务器接收到针对收集的用户语音的文本信息时，向第二服务器发送文本信息并接收与用户语音相对应的响应信息。
10.根据权利要求9所述的显示设备，其中，当用户语音包括与电子节目指南EPG或显示设备的控制操作相关的话语元素时，控制装置基于从第二服务器接收到的响应信息，执行以下功能中的至少一个：输出响应消息和执行与用户语音相对应的功能。
11.一种在显示设备中提供适合于用户语音的响应信息的响应信息提供方法，该方法包括：
收集用户语音；
向交互式服务器发送收集的用户语音；
检查是否从交互式服务器接收到与用户语音相对应的响应信息；并且
当接收到与用户语音相对应的响应信息时，基于响应信息执行与用户语音相对应的功能，
其中，执行功能包括：
通过web搜索和社交网络服务SNS接收与用户语音相关的替换响应信息并输出该替换响应信息。
12.根据权利要求11所述的响应信息提供方法，其中，
执行功能还包括：
当从交互式服务器接收到用户语音内包括的话语元素以及针对与用户语音相对应的响应信息的无法提供消息时，通过web搜索和社交网络服务接收与话语元素相关的替换响应信息并输出该替换响应信息。
13.根据权利要求12所述的响应信息提供方法，其中，
执行功能还包括：
当接收到用于执行web搜索的用户命令时，基于话语元素接收web搜索的结果并输出该web搜索的结果。
14.根据权利要求12所述的响应信息提供方法，其中，
执行功能还包括：
当接收到针对社交网络服务的用户命令时，基于话语元素产生响应请求消息，向提供社交网络服务SNS的SNS服务器发送响应请求消息，并且从SNS服务器接收与响应请求消息相对应的响应消息并输出该响应消息。
15.根据权利要求14所述的响应信息提供方法，其中，
执行功能还包括：
根据用户命令，向用户的社交网络服务SNS账户发送响应请求消息，并且从与用户的SNS账户链接的SNS账户接收响应消息并输出该响应消息。
CN201310275895.5A 2012-07-03 2013-07-02 显示设备、交互式系统和响应信息提供方法 Pending CN103533021A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0072448 2012-07-03
KR20120072448A KR20140004515A (ko) 2012-07-03 2012-07-03 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법

Publications (1)

Publication Number Publication Date
CN103533021A true CN103533021A (zh) 2014-01-22

Family

ID=48700435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310275895.5A Pending CN103533021A (zh) 2012-07-03 2013-07-02 显示设备、交互式系统和响应信息提供方法

Country Status (9)

Country Link
US (1) US9412368B2 (zh)
EP (1) EP2683175A1 (zh)
JP (1) JP2014013569A (zh)
KR (1) KR20140004515A (zh)
CN (1) CN103533021A (zh)
BR (1) BR112014032092A2 (zh)
MX (1) MX341169B (zh)
RU (1) RU2583445C1 (zh)
WO (1) WO2014007502A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104505091A (zh) * 2014-12-26 2015-04-08 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN104809159A (zh) * 2015-03-27 2015-07-29 百度在线网络技术（北京）有限公司 一种用于获得服务信息的方法和装置
CN107146612A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
CN107454976A (zh) * 2015-04-16 2017-12-08 三星电子株式会社 提供通知信息的电子设备及其通知信息提供方法
CN109902163A (zh) * 2019-02-28 2019-06-18 百度在线网络技术（北京）有限公司 一种智能应答方法、装置、设备及存储介质
CN111903139A (zh) * 2018-03-27 2020-11-06 索尼公司 信息处理装置、信息处理方法、发送装置、及发送方法
EP3002951B1 (en) * 2014-10-01 2021-04-07 Samsung Electronics Co., Ltd. Display apparatus and control system and method for same

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8917913B2 (en) * 2011-09-22 2014-12-23 International Business Machines Corporation Searching with face recognition and social networking profiles
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP2015011170A (ja) * 2013-06-28 2015-01-19 株式会社ＡＴＲ−Ｔｒｅｋ ローカルな音声認識を行なう音声認識クライアント装置
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN104700836B (zh) * 2013-12-10 2019-01-29 阿里巴巴集团控股有限公司 一种语音识别方法和系统
US9858039B2 (en) * 2014-01-28 2018-01-02 Oracle International Corporation Voice recognition of commands extracted from user interface screen devices
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016061970A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声対話装置、方法およびプログラム
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US20180074785A1 (en) * 2015-03-31 2018-03-15 Sony Corporation Information processing device, control method, and program
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017209571A1 (en) * 2016-06-02 2017-12-07 Samsung Electronics Co., Ltd. Method and electronic device for predicting response
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474703B2 (en) 2016-08-25 2019-11-12 Lakeside Software, Inc. Method and apparatus for natural language query in a workspace analytics system
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
KR102461890B1 (ko) * 2016-12-07 2022-11-02 주식회사 알티미디어 대화형 방식의 화면을 제공하는 방법 및 장치
US10521723B2 (en) 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
KR102524180B1 (ko) * 2017-11-15 2023-04-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102146031B1 (ko) * 2017-11-23 2020-08-28 주식회사 케이티 멀티 도메인 기반의 챗봇 시스템 및 챗봇 서비스 제공 방법
KR102532300B1 (ko) * 2017-12-22 2023-05-15 삼성전자주식회사 어플리케이션 실행 방법 및 이를 위한 장치
JP7130201B2 (ja) * 2018-01-18 2022-09-05 株式会社ユピテル 装置及びプログラム等
KR102576388B1 (ko) 2018-02-21 2023-09-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
KR102187125B1 (ko) * 2018-07-17 2020-12-04 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US20220208199A1 (en) 2019-04-18 2022-06-30 Maxell, Ltd. Information processing device and digital assistant system
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689363A (zh) * 2007-04-02 2010-03-31 谷歌公司 对于电话请求的基于位置的响应
EP2339576A2 (en) * 2009-12-23 2011-06-29 Google Inc. Multi-modal input on an electronic device
EP2355093A2 (en) * 2010-01-22 2011-08-10 Google Inc. Multi-dimensional disambiguation of voice commands

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4210877B2 (ja) * 1999-01-26 2009-01-21 ソニー株式会社 受信装置、受信装置の制御方法、送信装置及び送信方法
US20020143550A1 (en) 2001-03-27 2002-10-03 Takashi Nakatsuyama Voice recognition shopping system
US20020198716A1 (en) 2001-06-25 2002-12-26 Kurt Zimmerman System and method of improved communication
US7548858B2 (en) 2003-03-05 2009-06-16 Microsoft Corporation System and method for selective audible rendering of data to a user based on user input
US20050120391A1 (en) 2003-12-02 2005-06-02 Quadrock Communications, Inc. System and method for generation of interactive TV content
US9208785B2 (en) * 2006-05-10 2015-12-08 Nuance Communications, Inc. Synchronizing distributed speech recognition
US20110054900A1 (en) 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US8175885B2 (en) 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition
US9628208B2 (en) 2008-02-26 2017-04-18 International Business Machines Corporation System, method and program product for customizing presentation of television content to a specific viewer and location
US20090265748A1 (en) * 2008-04-16 2009-10-22 Emil Stefanov Dotchevski Handheld multimedia receiving and sending devices
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
JP5471274B2 (ja) 2009-10-14 2014-04-16 日本電気株式会社 携帯端末装置及び情報記録方法
JP2011199698A (ja) * 2010-03-23 2011-10-06 Yamaha Corp Ａｖ機器
KR20120011945A (ko) 2010-07-28 2012-02-09 삼성전자주식회사 아이피 텔레비전에서 음성 인식을 이용한 인터넷 검색 방법 및 장치
JP2012085009A (ja) * 2010-10-07 2012-04-26 Sony Corp 情報処理装置および情報処理方法
JP4876198B1 (ja) 2010-11-12 2012-02-15 パイオニア株式会社 情報出力装置、情報出力方法、情報出力プログラム及び情報システム
JP5584603B2 (ja) * 2010-12-06 2014-09-03 富士通テン株式会社 情報提供システムおよび情報提供装置
US20120317492A1 (en) * 2011-05-27 2012-12-13 Telefon Projekt LLC Providing Interactive and Personalized Multimedia Content from Remote Servers
US20120316875A1 (en) * 2011-06-10 2012-12-13 Red Shift Company, Llc Hosted speech handling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689363A (zh) * 2007-04-02 2010-03-31 谷歌公司 对于电话请求的基于位置的响应
EP2339576A2 (en) * 2009-12-23 2011-06-29 Google Inc. Multi-modal input on an electronic device
EP2355093A2 (en) * 2010-01-22 2011-08-10 Google Inc. Multi-dimensional disambiguation of voice commands

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002951B1 (en) * 2014-10-01 2021-04-07 Samsung Electronics Co., Ltd. Display apparatus and control system and method for same
CN104505091A (zh) * 2014-12-26 2015-04-08 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN104505091B (zh) * 2014-12-26 2018-08-21 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN104809159A (zh) * 2015-03-27 2015-07-29 百度在线网络技术（北京）有限公司 一种用于获得服务信息的方法和装置
CN104809159B (zh) * 2015-03-27 2019-04-12 百度在线网络技术（北京）有限公司 一种用于获得服务信息的方法和装置
CN107454976A (zh) * 2015-04-16 2017-12-08 三星电子株式会社 提供通知信息的电子设备及其通知信息提供方法
CN107146612A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
CN107146612B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
CN111903139A (zh) * 2018-03-27 2020-11-06 索尼公司 信息处理装置、信息处理方法、发送装置、及发送方法
CN109902163A (zh) * 2019-02-28 2019-06-18 百度在线网络技术（北京）有限公司 一种智能应答方法、装置、设备及存储介质
CN109902163B (zh) * 2019-02-28 2022-03-01 百度在线网络技术（北京）有限公司 一种智能应答方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US9412368B2 (en) 2016-08-09
WO2014007502A1 (en) 2014-01-09
BR112014032092A2 (pt) 2017-08-01
JP2014013569A (ja) 2014-01-23
US20140012585A1 (en) 2014-01-09
RU2583445C1 (ru) 2016-05-10
EP2683175A1 (en) 2014-01-08
KR20140004515A (ko) 2014-01-13
MX2014014794A (es) 2015-02-24
MX341169B (es) 2016-08-10

Similar Documents

Publication Publication Date Title
CN103533021A (zh) 显示设备、交互式系统和响应信息提供方法
CN103517147A (zh) 提供响应信息的显示设备、交互服务器以及方法
CN103516711A (zh) 显示设备、用于控制显示设备的方法和交互系统
CN103517119A (zh) 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
KR101298823B1 (ko) 구두 피드백을 프로세싱하고 디지탈 비디오 레코더(ｄｖｒ) 기록 패턴을 업데이트하기 위한 설비
CN103916687A (zh) 显示装置和控制显示装置的方法
CN103916704A (zh) 对话型接口设备及其控制方法
CN103517094A (zh) 服务器和控制该服务器的方法
CN104904227A (zh) 显示设备以及用于控制显示设备的方法
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
EP3833036A1 (en) Display apparatus, electronic device, interactive system, and controlling methods thereof
CN103916709A (zh) 服务器和用于控制服务器的方法
CN103546763A (zh) 用于提供内容信息的方法和广播接收设备
CN102484788A (zh) 能够通过网络通知其工作状态改变的设备和该设备的通信方法
US20080120636A1 (en) Method and System for User Customizable Rating of Audio/Video Data
EP2922306A1 (en) Personalization service method and system linked to user terminal
KR20180014137A (ko) 디스플레이 장치 및 그의 제어 방법
KR20190140890A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102182689B1 (ko) 서버 및 그의 제어 방법
KR102118195B1 (ko) 서버 및 그의 제어 방법
KR20200133697A (ko) 서버 및 그의 제어 방법
KR20170038772A (ko) 디스플레이 장치 및 그의 제어 방법
JP2011082763A (ja) 外部機器接続状態判定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140122