CN107066227A - 显示装置和用于控制显示装置的方法 - Google Patents

显示装置和用于控制显示装置的方法 Download PDF

Info

Publication number
CN107066227A
CN107066227A CN201611019969.9A CN201611019969A CN107066227A CN 107066227 A CN107066227 A CN 107066227A CN 201611019969 A CN201611019969 A CN 201611019969A CN 107066227 A CN107066227 A CN 107066227A
Authority
CN
China
Prior art keywords
user speech
display device
voice command
controller
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611019969.9A
Other languages
English (en)
Inventor
车泰焕
朴泰济
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107066227A publication Critical patent/CN107066227A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4826End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

提供了一种电子装置,包括:输出端;语音收集器,配置为收集用户语音,以及控制器,配置为控制输出端输出与用户语音相对应的系统响应,其中,控制器进一步配置为控制输出端,使得输出可应用于电子装置的当前情形的语音命令向导。

Description

显示装置和用于控制显示装置的方法
本申请是申请日为2014年1月6日、申请号为201410005003.4的中国发明专利申请“显示装置和用于控制显示装置的方法”的分案申请。
相关申请的交叉引用
本申请要求于2013年1月7日在韩国知识产权局提交的韩国专利申请No.10-2013-0001803的优先权,其公开内容通过引用的方式全部并入本文。
技术领域
根据示例性实施例的装置和方法涉及显示技术,更具体地,涉及配置为根据用户语音控制的显示装置及其控制方法。
背景技术
由于电子技术的进步,目前开发和提供了不用类型的显示装置。因此,向用户提供了更多样化的功能。例如,电视(TV)现在能够连接到互联网并且提供互联网服务,从而使用户能够观看包括数字广播频道的大量广播。
在有关技术中,最近开发的技术之一采用语音识别来以更便利和直观地控制显示装置。TV现在能够识别用户语音并且执行与用户语音相对应的诸如音量调整或频道改变等的功能。
然而,虽然有关技术的显示装置能够感知用户语音以提供与感知的语音相对应的功能,但是它们不向用户提供交互信息。由于当用户首次使用显示装置时他们不知道使用哪些词来对显示装置执行语音控制的这一事实,因此显示装置的使用还受到限制。
发明内容
示例性实施例至少解决了上述问题和/或缺点以及上文未描述的其它缺点。此外,示例性实施例不需要克服上述缺点,并且示例性实施例可以不克服上述问题中的任意一个。
一个或多个示例性实施例提供了一种显示装置,配置为提供可应用于该显示装置的当前情形的语音命令向导,以及提供了该显示装置的控制方法。
根据示例性实施例的一个方案,提供了一种电子装置,包括:输出端;语音收集器,配置为收集用户语音;以及控制器,配置为控制所述输出端输出与所述用户语音相对应的系统响应。所述控制器可以进一步配置为控制所述输出端,使得输出可应用于所述电子装置的当前情形的语音命令向导。
响应于输出与所述用户语音相对应的所述系统响应,所述控制器可以进一步配置为控制所述输出端以输出包括与所述系统响应有关的向导在内的语音命令向导。
响应于输出通过根据包括搜索内容的命令在内的所述用户语音来执行搜索而产生的内容列表,所述控制器可以进一步配置为控制所述输出端输出包括对所述内容列表中包含的所述内容进行过滤的向导在内的语音命令向导。
响应于输出通过根据包括搜索内容的命令在内的用户语音来执行搜索而产生的内容列表,所述控制器可以进一步配置为控制所述输出端输出用于执行所述内容列表中包含的特定内容的语音命令向导和用于输出所述特定内容的细节的语音命令向导中的至少一个。
响应于输出与包括用于执行相应应用的命令在内的用户语音相对应的应用执行屏幕,所述控制器可以进一步配置为控制所述输出端输出包括可应用于所述应用执行屏幕的向导在内的语音命令向导。输出所述应用执行屏幕可以包括:在所述电子装置中包含的屏幕上显示所述应用执行屏幕。
所述电子装置可以是显示装置。
所述电子装置可以另外包括第一通信器,配置为向第一服务器发送用户语音并且从所述第一服务器接收与所述用户语音相对应的文本信息;以及第二通信器,配置为向第二服务器发送所接收的文本信息。响应于从所述第二服务器接收到与所述文本信息相对应的响应信息,所述控制器可以进一步配置为控制所述输出端使得基于所述响应信息输出所述系统响应。
根据另一个示例性实施例的一个方案,提供了一种电子装置的控制方法,包括:收集用户语音;向第一服务器发送所述用户语音并且从所述第一服务器接收与所述用户语音相对应的文本信息;向第二服务器发送所接收的文本信息;以及响应于从所述第二服务器接收到与所述文本信息相对应的响应信息,基于所述响应信息输出与所述用户语音相对应的系统响应,并且输出可应用于所述电子装置的当前情形的语音命令向导。
响应于输出通过根据包括搜索内容的命令在内的所述用户语音来执行搜索而产生的内容列表,输出包括对所述内容列表中包含的所述内容进行过滤的向导在内的语音命令向导。
响应于输出通过根据包括用于搜索内容的命令的所述用户语音来执行搜索而产生的内容列表,输出包括用于执行所述内容列表中包含的特定内容的向导和用于输出所述特定内容的细节的向导中的至少一个在内的所述语音命令向导。
响应于输出与包括用于执行相应应用的命令的所述用户语音相对应的应用执行屏幕,输出包括可应用于所述应用执行屏幕的向导在内的语音命令向导。
所述电子装置可以是显示装置。
根据另一个示例性实施例的一个方案,提供了一种产生电子设备的语音命令向导的方法,所述方法包括:接收用于控制电子设备的用户语音;输出与所述用户语音相对应的系统响应;产生与所述系统响应相对应的语音命令向导;以及输出所述语音命令向导。
所述语音命令向导可以包括用于控制所述电子设备的信息,所述信息包括:用于控制所述电子设备的功能的语音命令。
所述方法还可以包括:响应于包括搜索内容的命令在内的用户语音,搜索内容;将通过搜索内容而产生的内容列表作为系统响应进行输出;以及响应于输出所述内容列表,将以下各项中的至少一项作为语音命令向导进行输出:用于对所述内容列表进行过滤的向导,用于执行所述内容列表中包含的特定内容的向导,或者用于输出所述内容列表中包含的特定内容的细节的向导。
所述方法还可以包括:响应于包括用于执行应用的命令在内的所述用户语音来执行应用;将与所述应用相对应的应用执行屏幕作为所述系统响应进行输出;以及响应于输出所述应用执行屏幕,将用于执行所述应用执行屏幕上的功能的向导作为所述语音命令向导进行输出。输出所述应用执行屏幕可以包括在所述电子设备中包含的屏幕上显示所述应用执行屏幕。
所述电子设备可以包括屏幕。输出所述系统响应和输出所述语音命令向导可以包括在所述屏幕上显示所述系统响应和所述语音命令向导。
所述电子设备可以包括音频输出端。输出所述系统响应和输出所述语音命令向导可以包括将所述系统响应和所述语音命令向导作为音频输出信号向所述音频输出端进行输出。
根据另一个示例性实施例的一个方案,提供了一种电子设备,包括:输出端;输入端,配置为接收用于控制电子设备的用户语音;以及控制器,配置为控制所述输出端输出与所接收的用户语音相对应的系统响应并且输出与所述系统响应相对应的语音命令向导。
所述语音命令向导可以包括用于控制所述电子设备的信息,所述信息包括用于控制所述电子设备的功能的语音命令。
所述控制器可以被进一步配置为:响应于包括搜索内容的命令在内的用户语音来搜索内容,控制所述输出端将通过搜索内容而产生的内容列表作为所述系统响应进行输出,以及响应于所述输出端输出所述内容列表,控制所述输出端输出以下各项中的至少一项作为所述语音命令向导:用于对所述内容列表进行过滤的向导,用于执行所述内容列表中包含的特定内容的向导,或者用于输出所述内容列表中包含的特定内容的细节的向导。
所述电子设备还可以包括显示器。控制器可以被进一步配置为:响应于包括用于执行应用的命令在内的用户语音来执行应用,控制所述输出端将与所述应用相对应的应用执行屏幕作为所述系统响应进行输出,并且响应于所述输出端输出所述应用执行屏幕,控制所述输出端将用于执行所述应用执行屏幕上的功能的向导作为所述语音命令向导进行输出。所述输出端输出所述应用执行屏幕和用于执行所述应用执行屏幕上的功能的向导可以包括向所述显示器输出要显示的所述应用执行屏幕和用于执行功能的向导。
所述电子设备还可以包括显示器。所述输出端输出所述系统响应和输出所述语音命令向导可以包括向所述显示器输出要显示的所述系统响应和所述语音命令向导。
所述电子设备还可以包括音频输出端。所述输出端输出所述系统响应并且输出所述语音命令向导可以包括向所述音频输出端输出要作为音频输出的所述系统响应和所述语音命令向导。
根据各个示例性实施例,因为提供了包括可使用的语音信息的语音命令向导,因此即使交互系统的初学用户也能够方便地使用系统。此外,因为提供了与根据用户的话语而输出的系统响应有关的语音命令向导,因此用户可以自然地获知可应用于该情形的语音。
附图说明
通过参照附图描述特定示例性实施例,上述和/或其它方案将变得更加显而易见,在附图中:
图1是提供来解释根据示例性实施例的交互系统的视图;
图2是根据示例性实施例的显示装置的示意性框图;
图3是图2的显示装置的详细框图;
图4是图1的第一服务器的框图;
图5是图1的第二服务器的框图;
图6至图11是提供来解释根据示例性实施例的用于提供语音命令向导的方法的视图;以及
图12是提供来解释根据示例性实施例的显示装置的控制方法的流程图。
具体实施方式
现在将参照附图更详细地描述具体示例性实施例。
在下面的描述中,即使在不同的附图中,相同的附图标记用于相同的元件。提供描述中定义的材料(例如,详细的构造和元素)以帮助全面理解示例性实施例。因此,显而易见,可以在没有这些具体定义的材料的情况下执行示例性实施例。此外,未详细描述公知的功能或构造,这是因为它们会以不必要的细节使示例性实施例模糊。
图1是被提供以解释根据示例性实施例的交互系统的视图。
参照图1,交互系统1000包括显示装置100、第一服务器200和第二服务器300。
显示装置100可以由提供来控制显示装置100的遥控器(未示出)来控制。也即是说,显示装置100可以执行与从遥控器(未示出)接收的遥控信号相对应的操作。例如,当显示装置100实现为TV时,如图1中所示,显示装置100可以根据接收的遥控信号来执行诸如开机/关机、频道改变或音量改变等的操作。
此外,显示装置100可以根据用户语音来执行各种操作。
显示装置100向第一服务器200发送收集的用户语音。当从显示装置100接收到用户语音时,第一服务器200将接收的用户语音转换为文本信息(或文本)并且向显示装置100发送该文本信息。
显示装置100向第二服务器300发送从第一服务器200接收的文本信息。当从显示装置100接收到文本信息时,第二服务器300产生与接收的文本信息相对应的响应信息,并且向显示装置100发送响应信息。
同时,显示装置100可以基于从第二服务器300接收的响应信息来执行各种操作。
例如,显示装置100可以执行与用户语音相对应的功能。也即是说,在由显示装置100提供的功能中,显示装置100可以执行与用户语音相对应的功能。例如,响应于用户语音“打开频道#O(即,频道号)”,显示装置100可以根据从第二服务器300接收的控制命令来调到频道#O并且输出频道#O。为此目的,第二服务器300可以向显示装置100发送控制命令,以执行与用户语音相对应的功能。
在上述示例中,显示装置100还可以提供与相应功能相对应的系统响应。也即是说,显示装置100可以以语音和用户界面(UI)屏幕(文本、图像等)中的至少一个的形式输出与响应于用户语音执行的功能有关的信息。在上述示例中,显示装置100可以以语音和UI屏幕形式中的至少一个形式输出用于指示与改变的频道有关的信息或者用于向用户通知频道改变完成的消息。
此外,显示装置100可以响应于用户语音输出系统响应。可以以语音和UI屏幕中的至少一个的形式输出系统响应。例如,当输入询问特定节目的广播时间的用户语音时,显示装置100可以以语音和UI屏幕中的至少一个的形式输出节目的相应广播时间。
此外,显示装置100可以输出可以在当前情形中执行的语音命令向导。也即是说,当响应于用户语音输出系统响应时,显示装置100可以输出与系统响应有关的语音命令向导。
例如,假设显示装置100将今天要广播的广播节目列表作为对用户语音“TV今天演什么?”的系统响应进行输出。在该示例中,显示装置100可以输出包括与用户语音有关的信息在内的语音命令向导,该语音命令向导可以相对于作为系统响应输出的广播节目列表使用,其中,语音命令向导可以包括“XXX(即,频道名称)演什么?”、“XXX(即,出现的人的名字)主演什么?”、“我可以看XXX(即,节目名称)吗?”、“第三个”、或“我可以看第三个的细节吗?”。
因此,当收集到语音命令向导中包含的用户语音时,显示装置100可以执行相应的操作。在上文解释的示例中,当收集的用户语音是“XXX(即,频道名称)演什么?”时,显示装置100可以输出今天要广播的广播节目中由XXX(即,频道名称)提供的广播节目列表。此外,当收集的用户语音是“第三个”时,显示装置100可以调到作为系统响应输出的列表上的第三个广播节目,并且输出第三个广播节目。
如上文所解释的,因为显示装置100提供语音命令向导,因此即使之前未使用过该交互系统的系统用户也可以方便地使用该系统。此外,因为显示装置100提供与根据用户的话语输出的系统响应有关的语音命令向导,因此用户可以自然地获知在他们说话以后可应用的语音。
同时,虽然在图1中显示装置100实现为TV,但是其它实施例是可能的。例如,显示装置100可以实现为各种电子装置,例如,诸如智能电话等的移动电话、台式个人计算机(PC)、膝上型PC、或全球定位系统(GPS)。
此外,虽然第一服务器200和第二服务器300实现为图1中分立的服务器,因此其它实施例是可能的。举一个例子,第一服务器200和第二服务器300可以实现为一个交互服务器。
.图2是根据示例性实施例的显示装置的示意性框图。
参照图2,显示装置100包括输出端110、语音收集器120和控制器130。
输出端110输出语音和图像中的至少一个。例如,输出端110可以以语音和图形UI(GUI)中的至少一个的形式输出与在语音收集器120处收集的用户语音相对应的系统响应。
为此目的,输出端110可以包括显示器(未示出)和音频输出端(未示出)。
显示器(未示出)可以实现为液晶显示器(LCD)、有机发光显示器(OLED)或等离子显示板(PDP)。显示器(未示出)可以提供可通过显示装置100提供的各种类型的显示屏幕。例如,显示器(未示出)可以基于针对用户语音的系统响应来构造包括文本、图像、图标和GUI中的至少一个的UI屏幕,并且显示UI屏幕。
同时,音频输出端(未示出)可以实现为诸如插孔或扬声器等输出端口,从而以语音形式输出针对用户语音的系统响应。
此外,输出端110可以输出各种内容。内容可以包括广播内容、视频点播(VOD)、精选VOD、数字通用光盘(DVD)内容等。例如,显示器(未示出)可以输出构成内容的图像,音频输出端(未示出)可以输出构成内容的音频。
语音收集器120可以收集用户语音。例如,语音收集器120可以实现为作为嵌入式部分位于显示装置100中或者与显示装置100分离的用于收集用户语音的麦克风。当实现为与显示装置100分离时,语音收集器120可以以用户容易握住的形式或者以放置在桌子上的形式等来实现。语音收集器120可以通过有线网络或无线网络连接到显示装置100,向显示装置100发送收集的用户语音。
同时,语音收集器120可以确定收集的语音是否属于用户,并且从收集的用户语音中滤除噪声(例如,来自空调、真空吸尘器或音乐的噪声)。
例如,当输入模拟形式的用户语音时,语音收集器120可以对该用户语音进行采样并且将其转换为数字信号。语音收集器120可以计算转换的数字信号的能量以确定数字信号的能量是否等于或大于预置值。
当数字信号的能量等于或大于预置值时,语音收集器120可以从数字信号中移除噪声分量并且向第一通信器130发送由此产生的信号。在本质上偶发性的噪声分量可能由于家庭环境而产生,并且可能包括例如空调声、真空吸尘器声或音乐。同时,当数字信号的能量小于预置值时,语音收集器120可以等待另一输入而不是处理数字信号。
因此,因为除了用户语音以外的声音不会激活整个音频处理,因此可以防止不必要的功耗。
如图1中所示,第一通信器130可以与第一服务器200进行通信。例如,第一通信器130可以向第一服务器200发送用户语音,并且从第一服务器200接收与用户语音相对应的文本信息。
如图2中所示,第二通信器140与第二服务器300进行通信。例如,第二通信器140可以向第二服务器300发送接收的文本信息,并且从第二服务器300接收与文本信息相对应的响应信息。
因此,第一通信器130和第二通信器140可以使用多种通信方法来与第一服务器200和第二服务器300进行通信。
例如,第一通信器130和第二通信器140可以使用有线/无线局域网(LAN)、WAN、以太网、蓝牙、Zigbee、通用串行总线(USB)、IEEE1394或Wi-Fi来与第一服务器200和第二服务器300进行通信。为此目的,第一通信器130和第二通信器140可以采用与通信方法相对应的芯片或输入端口。例如,当第一通信器130和第二通信器140以有线LAN方式进行通信时,第一通信器130和第二通信器140可以包括有线LAN卡(未示出)和输入端口(未示出)。
在上文解释的示例性实施例中,为了与第一服务器200和第二服务器300进行通信,显示装置100可以包括分离的通信器130、140。然而,其它实施例是可能的。例如,显示装置100可以经由一个通信模块与第一服务器200和第二服务器300进行通信。
此外,第一通信器130和第二通信器140可以与第一服务器200和第二服务器300进行通信,但是不限于此。例如,第一通信器130和第二通信器140可以连接到web服务器(未示出)以执行web浏览。
控制器150可以控制显示装置100的整体操作。也即是说,控制器150可以控制输出端110、语音收集器120以及第一通信器130和第二通信器140的操作。控制器150可以包括用于控制中央处理器单元(CPU)和显示装置100的模块、以及用于存储数据的只读存储器(ROM)和随机存取存储器(RAM)。
例如,控制器150可以通过语音收集器120收集用户语音,并且控制第一通信器130向第一服务器200发送收集的用户语音。当接收到与用户语音相对应的文本信息时,控制器150可以控制第二通信器140向第二服务器300发送接收的文本信息。
同时,控制器150可以控制输出端110输出与用户语音相对应的系统响应。例如,当接收到与文本信息相对应的响应信息时,控制器150可以基于响应信息来控制输出端110输出与用户语音相对应的系统响应。
响应信息可以包括用于输出系统响应的系统响应信息。
在一个示例性实施例中,系统响应信息可以具有表示响应于用户语音从显示装置100输出的系统响应的文本形式,并且控制器150可以基于系统响应信息控制输出端110,使得响应于用户语音将与用户语音相对应的系统响应作为语音和UI屏幕中的至少一个进行输出。
更具体地,通过使用文本到语音(TTS)引擎,控制器150可以将文本形式的系统响应信息转换为语音并且通过输出端110输出系统响应信息。TTS引擎是配置为将文本转换为语音的模块,因此可以使用各种已知的TTS算法来将文本转换为语音。此外,控制器150可以控制显示装置100,使得构造包括构成系统响应信息的文本在内的UI屏幕并且经由输出端110输出。
例如,当实现为TV的显示装置100收集到用户语音“让我知道最受欢迎的节目”时,第二服务器300以文本形式“最受欢迎的节目是XXX(即,节目名称)”进行表达并且向显示装置100发送文本形式的“最受欢迎的节目是XXX(即,节目名称)”。在该示例中,控制器150可以将文本形式的“最受欢迎的节目是XXX(即,节目名称)”转换为语音,并且经由输出端110输出语音,或者构造包括文本“最受欢迎的节目是XXX(即,节目名称)”的UI屏幕并且经由输出端110输出UI屏幕。此外,控制器150可以输出语音和GUI的组合。
在上文所解释的示例性实施例中,从第二服务器300发送的系统响应信息可以具有表达从显示装置100输出的系统响应的文本形式。然而,其它实施例是可能的。例如,系统响应信息可以包括构成从显示装置100输出的系统响应的语音数据或者构成系统响应的语音数据的一部分。备选地,系统响应信息可以具有控制信号的形式以使用先前存储在显示装置100中的语音或文本来输出系统响应。
因此,控制器150可以通过考虑系统响应信息的形式来输出系统响应。
例如,当接收到构成系统响应的语音数据时,控制器150可以将相应数据处理为可以经由输出端110可输出的形式,并且以语音形式输出该数据。
另一方面,即,当接收到用于输出系统响应的控制信号时,控制器150可以搜索显示装置100的预先存储的数据以得到与控制信号相匹配的预先存储的数据,并且将找到的语音或文本数据处理为可输出的形式,使得经由输出端110输出该语音或文本数据。为此目的,显示装置100可以提前存储语音或文本数据以提供系统响应。例如,显示装置100可以以完整句子形式存储数据,例如,“频道改变完成”,或者可以以部分句子形式存储数据,例如,“频道改变到……”。在后一种情况下,可以从第二服务器300接收到完成句子的频道名称。
在另一种示例性实施例中,系统响应信息可以包括各种信息以响应于用户语音从显示装置100输出系统响应。
例如,系统响应信息可以包括与根据用户的话语意图而搜索的内容有关的信息。也即是说,第二服务器300可以搜索与用户语音中包含的话语意图相匹配的内容,并且向显示装置100发送与搜索的内容有关的信息(例如,以下各项中的至少一项:与内容相对应的内容名称、流派、广播时间、演员表、缩略图、广播内容的频道名称、频道号和工作人员)。
例如,当实现为TV的显示装置100收集到用户语音“今天TV演什么?”时,第二服务器300可以基于电子节目指南(EPG)搜索今天要广播的广播节目,并且向显示装置100发送与广播节目有关的信息。
因此,控制器150可以基于从第二服务器300接收的信息来产生内容列表,并且输出产生的内容列表。在一个示例性实施例中,控制器150可以以语音和UI屏幕中的至少一个的形式输出内容列表。
例如,控制器150可以构造包括安排在今天广播的节目列表在内的UI屏幕作为针对用户语音的系统响应,并且输出UI屏幕。控制器150可以产生以广播时间顺序列出搜索内容的内容列表。
控制器150还可以向搜索列表添加与搜索的内容有关的各种信息。例如,控制器150可以基于与从第二服务器300接收的广播节目有关的信息向搜索列表添加以下各项中的至少一项:搜索的广播节目的名称、广播时间、提供广播节目的频道名称、频道号和制作公司。
虽然第二服务器300可以向显示装置100发送与内容有关的信息,并且显示装置100可以使用接收的信息产生内容列表并且将内容列表作为系统响应进行输出,但是这仅是示例。
因此,其它实施例是可能的。例如,第二服务器300可以向显示装置100发送确定的用户话语意图,并且显示装置100可以基于与所确定的用户语音中包含的话语意图有关的信息来输出与用户语音相对应的系统响应。
例如,当第二服务器300确定用户语音中包含的话语意图是请求与安排在今天广播的广播节目有关的信息时,第二服务器300可以向显示装置100发送用于输出安排在今天广播的广播节目列表的控制命令。因此,控制器150可以基于EPG来搜索安排在今天广播的广播节目,并且将广播节目列表作为系统响应进行输出。
同时,响应信息可以包括用于控制显示装置100的功能的控制命令。控制命令可以包括用于执行在显示装置100上可执行的功能中与用户语音相对应的功能的命令。因此,基于从第二服务器300接收的控制命令,控制器150可以控制显示装置100的相应组件以执行与用户语音相对应的功能。
例如,当显示装置100收集用户语音“开大音量”时,第二服务器300可以向显示装置100发送用于增加显示装置100的音量的控制命令。在一个示例性实施例中,控制器150可以基于控制命令增加经由输出端110输出的音频的音量。此外,当显示装置100收集用户语音“请执行web浏览”时,第二服务器300可以向显示装置100发送用于执行与web浏览有关的应用的控制命令。在一个示例性实施例中,控制器150可以基于控制命令来执行预先存储的应用中用于web浏览的应用。
然而,其它实施例也是可能的。例如,控制器150可以响应于收集的用户语音来控制显示装置100的相应组件以执行包括开机/关机、频道改变等的各种操作。
此外,响应信息可以包括与响应于控制命令执行的功能有关的系统响应信息。在一个示例性实施例中,控制器150可以根据控制命令来执行功能,并且基于系统响应信息来控制显示装置100使得以语音和UI屏幕中的至少一个的形式输出与执行的功能有关的系统响应。
例如,当实现为TV的显示装置100收集用户语音“调到频道#11”时,第二服务器300可以向显示装置100发送用于将显示装置100的频道改变为频道#11的控制命令以及表达“频道改变为#11”的文本形式。在一个示例性实施例中,控制器150可以基于控制命令将经由输出端110输出的广播频道改变为频道#11。然后,控制器150可以将表达“频道改变为频道#11”的文本形式转换为说出“频道改变为#11”的语音,并且经由输出端110输出语音,或者构造包括文本“频道改变为#11”的UI屏幕并且经由输出端110输出UI屏幕。
如上文所解释的,控制器150可以根据收集的用户语音来执行各个操作。也即是说,控制器150可以输出与用户语音相对应的系统响应,或者控制显示装置100,使得执行与用户语音相对应的功能。
同时,当用户语音指示显示装置100执行不能在显示装置100上执行的功能时,可以在无需执行显示装置100的单独功能的情况下输出与用户语音相对应的系统响应。
例如,为了解释的目的,假设显示装置100实现为不支持电话呼叫功能的TV。在该情况下,当显示装置100收集用户语音“请呼叫XXX(即,另一用户)”时,第二服务器300可以向显示装置100发送用于执行电话呼叫功能的控制命令。然而,因为显示装置100不支持与控制命令相对应的功能,因此控制器150不能了解从第二服务器300接收的控制命令。在该情况下,控制器150可以经由输出端110以语音和GUI中的至少一个的形式输出系统响应“不支持该功能”。
同时,控制器150可以控制显示装置100,使得输出可以在显示装置100的当前情形中使用的语音命令向导。
“当前情形”可以包括正在显示装置100中执行特定功能(例如,输出初始屏幕、输出内容或者执行应用)的情形。此外,初始屏幕可以包括在用户语音控制显示装置100的交互模式中首先提供的屏幕。例如,当选择在显示装置100的操纵面板上提供的特定按键时或者当从遥控器(未示出)接收到特定遥控信号时,控制器150可以在交互模式中操作以显示初始屏幕并且收集由用户发出的语音。
更具体地,控制器150可以输出表示了可以在执行特定功能的情形(例如,初始屏幕输出、内容输出或应用执行)中执行特定操作的用户语音的语音命令向导。
例如,在输出初始屏幕的情形中,可以输出包括执行在显示装置100上可执行的操作的用户语音的语音命令向导,例如,“今天TV演什么?”、“有什么有趣的吗?”、“有新的电影吗?”、“推荐受欢迎的电影”、“调到XXX(即,频道名称)”、“请运行web浏览器”。
此外,在输出内容的情形中,可以输出包括可应用于内容的用户语音在内的语音命令向导。例如,可以在输出内容的情形中输出包括可以搜索内容或控制内容(即,改变内容或改变音量)的用户语音在内的语音命令向导,例如,“今天TV演什么?”、“有什么有趣的吗?”、“有新的电影吗?”、“推荐受欢迎的电影”、“调到XXX(即,频道名称)”或“开大音量”。
此外,在执行应用的情形中,可以输出包括可应用于应用执行屏幕的用户语音在内的语音命令向导。例如,在执行用于web浏览的应用并随后显示网页屏幕的情形中,可以输出包括可应用以在页面屏幕上执行特定功能的用户语音在内的语音命令向导,例如,“主页”、“收藏夹”、“刷新”、“打开新的页面”、“关闭当前页面”、“后退”、“前进”或“结束”。
当输出与用户语音相对应的系统响应时,控制器150可以输出与系统响应有关的语音命令向导。也即是说,控制器150可以输出与用户语音中包含的用户话语意图相匹配的系统响应,并且输出表示了可以响应于输出的系统响应执行特定操作的用户语音的语音命令向导。
更具体地,当输出根据用于搜索内容的用户语音而搜索的内容列表时,控制器150可以输出对包括内容的内容列表中的内容进行过滤的语音命令向导。也即是说,当接收到具有搜索内容的话语意图的用户语音时,控制器150可以将根据用户语音搜索的内容列表作为系统响应进行输出,并且将与可以用于在列表上的内容中重新搜索特定内容的用户语音有关的信息作为语音命令向导进行输出。
例如,当收集到用户语音“今天TV演什么?”时,控制器150可以基于安排在今天广播的广播节目列表来输出系统响应。在一个示例性实施例中,控制器150可以基于与可以从安排在今天广播的广播节目列表中选择特定内容的用户语音有关的信息来输出语音命令向导,例如,“XXX(即,频道名称)演什么?”、“我可以看纪录片节目吗?”、“我可以看XXX(即,出现的人的名字)主演的节目吗?”、“找XXX(即,节目名称)”。
此外,当输出响应于搜索内容的用户语音而搜索的内容列表时,控制器150可以输出以下各项中的至少一项:用于执行内容列表中包含的特定内容的语音命令向导、和用于输出特定内容的细节的语音命令向导。“细节”可以包括以下各项中的至少一项:内容的名称、广播时间、演员表、主题、提供内容的频道号和频道名称。
也即是说,当接收到具有搜索内容的话语意图的用户语音时,控制器150可以将响应于用户语音而搜索的内容列表作为系统响应进行输出,并且输出与可以用于执行列表上的内容中的特定内容或者用于输出特定内容的细节的用户语音有关的信息的语音命令向导。
例如,当收集到用户语音“今天TV演什么?”时,控制器150可以基于安排在今天广播的广播节目列表来输出系统响应。在一个示例性实施例中,控制器150可以输出与可以用于执行安排在今天广播的广播节目列表上的特定广播节目或者用于输出特定广播节目的细节的用户语音有关的信息的语音命令向导,例如,“第三个”或者“我可以看第三个的细节吗?”。
当响应于用于执行应用的用户语音而输出相应的应用执行屏幕时,控制器150可以输出在应用执行屏幕上可执行的语音命令向导。也即是说,当接收到具有执行应用的话语意图的用户语音时,控制器150可以执行与用户语音相对应的应用,并且基于与可以用于执行相应应用中的特定功能的用户语音有关的信息输出语音命令向导。
例如,当收集到用户语音“运行web浏览器”时,控制器150可以执行web浏览应用并且输出网页屏幕。在一个示例性实施例中,控制器可以基于与可以用于执行网页屏幕上的特定功能的用户语音有关的信息来输出语音命令向导,例如,“主页”、“收藏夹”、“刷新”、“打开新的页面”、“关闭当前页面”、“后退”、“前进”或“结束”。
在一个示例性实施例中,控制器150可以在预置时段或者在执行特定功能时输出语音命令向导。
例如,控制器150可以在预置时段输出在显示装置100的当前情形中可应用的语音命令向导。此外,控制器150可以在输出初始屏幕、输出内容、执行应用或输出与用户语音相对应的系统响应时输出语音命令向导。此外,控制器150可以在输出初始屏幕、输出内容、执行应用或输出与用户语音相对应的系统响应时输出语音命令向导,并且在预置时段重新输出语音命令向导。
为此目的,显示装置100可以存储与当前情形中可应用的用户语音有关的信息。也即是说,显示装置100可以存储与每一个情形中使用的用户语音有关的信息。因此,控制器150可以确定与显示装置100的当前情形中可应用的用户语音有关的信息,并且基于与确定的用户语音有关的信息来输出语音命令向导。
例如,当输出根据搜索内容的用户语音而搜索的内容列表时,控制器150可以确定对内容进行过滤、执行特定内容或输出特定内容的细节的用户语音是可使用的。因此,在预先存储的信息中,控制器150可以根据预先存储的信息检测与可以在输出内容列表的情形中使用的用户语音有关的信息,并且将检测到的信息作为语音命令向导进行输出。
同时,在一些示例性实施例中,显示装置100可以存储与在当前情形中可应用的用户语音有关的信息,但是不限于此。因此,在另一个示例性实施例中,第二服务器300可以向显示装置100发送与可以在当前情形中输出的语音命令向导有关的信息,并且控制器150可以使用接收的信息来输出语音命令向导。
例如,响应于用户语音“今天TV演什么?”,第二服务器300可以向显示装置100发送与安排在今天广播的广播节目有关的信息。在该情况下,考虑显示装置100使用接收的信息,基于安排在今天广播的广播节目列表来输出系统响应,第二服务器300可以向显示装置100发送与可应用于作为系统响应输出的广播节目列表的用户语音有关的信息,例如,“第三个”、“我可以看第三个的细节吗”、“XXX(即,频道名称)演什么?”、“我可以看纪录片节目吗?”、“我可以看XXX(即,出现的人的名字)主演的节目吗?”、“找XXX(即,节目名称)”。在一个示例性实施例中,控制器150可以使用接收的信息,基于与可以在广播节目列表上使用的用户语音有关的信息来输出语音命令向导。
图3是图2的显示装置的详细框图。参照图3,除了图2中所示的组件以外,显示装置100可以另外包括存储设备160、接收机170、信号处理器180、遥控信号接收机191、输入端193和接口195。可以通过控制器150来控制组件。同时,为了简洁起见,下面将不过多地解释图2与图3之间重叠的组件。
存储设备160可以实现为存储对于显示装置100的操作必需的程序等的存储介质,例如,存储器、硬盘驱动器(HDD)等。例如,存储设备160可以包括存储用于执行控制器150的操作的程序的ROM和用于临时存储根据控制器操作的数据的RAM。存储设备160可以另外包括用于存储各种参考数据的电可擦除可编程ROM(EEPROM)。
存储设备160可以存储与在显示装置100的当前情形中可应用的用户语音有关的信息。因此,控制器150可以确定与在显示装置100的当前情形中可应用的用户语音有关的信息并且控制显示装置100使得以列表形式输出确定的用户语音。
接收机170接收各种内容。更具体地,接收机170可以从web服务器接收内容,其中,web服务器使用经由广播网络发送广播节目的广播站或者经由互联网发送内容文件的web服务器来发送内容文件。
在从广播站接收内容的一个示例性实施例中,接收机170可以实现为包括调谐器(未示出)、解码器(未示出)或均衡器(未示出)的形式。在从诸如web服务器等的源接收内容的另一个示例性实施例中,接收机170可以实现为网络接口卡(未示出)。
信号处理器180可以对内容执行信号处理,使得经由接收机170或接口195接收的内容经由输出端110被输出。
更具体地,信号处理器180可以通过执行诸如解码、缩放或帧率转换等操作将内容中包含的图像转换为可以在显示器111处输出的形式。此外,信号处理器180可以通过执行诸如解码等信号处理将内容中包含的音频信号转换为可以在音频输出端112输出的形式。
遥控信号接收机191接收从外部遥控器输入的控制信号。控制器150可以基于输入到遥控信号接收机191的控制信号来执行各种操作。例如,控制器150可以响应于在遥控信号接收机191处输入的控制信号来执行包括开机/关机、频道改变、音量调整等的操作。
输入端193接收各种用户命令。控制器150可以执行与输入到输入端193的用户命令相对应的操作。例如,控制器150可以响应于输入到输入端193的用户命令来执行开机/关机、频道改变或音量调整。
为此目的,输入端193可以实现为输入面板。输入面板可以是触控板、或者包括各种功能键、数字键、特殊键或字母键等的小键盘、或者触摸屏。
接口195与外部设备(未示出)进行通信。外部设备(未示出)可以实现为可以向显示装置100发送内容的各种类型的电子设备。
例如,当显示装置100实现为TV时,外部设备(未示出)可以实现为各种形式的电子设备,所述各种形式的电子设备连接到显示装置100并且可以执行诸如机顶盒、音频设备或游戏机等的功能。
例如,接口195可以根据各种类型的有线通信方法(例如,HDMI或USB)或者无线通信方法(例如,蓝牙或Zigbee)来与外部设备(未示出)进行通信。为此目的,接口195可以包括与每一个通信方法相对应的芯片或输入端口。例如,为了基于HDMI通信方法与外部设备(未示出)进行通信,接口195可以包括HDMI端口。
图4是图1中所示的第一服务器的框图。参照图4,第一服务器200可以包括通信器210和控制器220。
通信器210可以与显示装置100进行通信。也即是说,通信器210从显示装置100接收用户语音,并且向显示装置100发送与用户的语音相对应的文本信息。为此目的,通信器210可以包括各种通信模块。
控制器220控制第一服务器200的整体操作。具体地,当从显示装置100接收到用户语音时,控制器220产生与用户语音相对应的文本信息,并且控制第一服务器200使得向显示装置100发送产生的信息。
更具体地,控制器220可以使用语音到文本(STT)引擎来产生与用户语音相对应的文本信息。STT引擎是将语音信号(即,音频信号)转换为文本的模块。可以使用各种已知的STT算法将语音信号转换为文本。
例如,控制器220通过在接收的用户语音中检测由用户发出的语音的起始和结束,来确定语音间隔。更具体地,控制器220计算接收的语音信号的能量,根据计算的能量对语音信号的能量水平进行分类,并且基于动态规划来检测语音间隔。控制器220可以基于声学模型在检测的语音间隔中检测音素(即,最小语音单元),并且通过向产生的音素数据应用隐马尔可夫模型(HMM)来将用户语音转换为文本。
图5是图1的第二服务器的框图。参照图5,第二服务器300可以包括通信器310、存储设备320和控制器330。
通信器310与显示装置100进行通信。更具体地,通信器310可以从显示装置100接收文本信息,并且向显示装置100发送与文本信息相对应的响应信息。为此目的,通信器310可以包括各种通信模块。
此外,通信器310可以连接到web服务器(未示出)并且执行web浏览。也即是说,控制器330可以经由通信器310向web服务器(未示出)发送各种关键词以执行web浏览,并且接收与关键词相对应的web搜索结果。
存储设备320存储用于产生与从显示装置100接收的文本信息相对应的响应信息的各种信息。
也即是说,存储设备320可以存储针对每一个服务域的交互模式。可以根据用户发出的语音的话题将服务域分类为“广播”、“VOD”、“应用管理”、“设备控制”、“信息提供(天气、股票交易、新闻等)”等,但是不限于此。因此,可以根据各种其它话题来对服务域进行分类。
更具体地,存储设备320可以包括针对每一个服务域的语料数据库。语料数据库可以采用存储例句和针对例句的响应的形式。
也即是说,存储设备320可以针对服务域中的每一个存储多个例句和针对这些例句的响应。存储设备320可以通过标记(tag)来存储用于解释例句的信息和针对相应例句的响应。
例如,假设例句“何时演XXX(即,广播节目名称)?”存储在广播服务域中。
在上述示例中,存储设备320可以通过标记来存储用于解释例句“何时演XXX(即,广播节目名称)?”的信息。也即是说,对于例句“何时演XXX(即,广播节目名称)?”,存储设备320可以通过标记来存储如下信息:指示了“XXX(即,广播节目名称)”是广播节目的名称、“何时”是询问广播时间、以及“?”是问题。此外,存储设备320可以为相应的例句标记和存储如下信息:指示了短语“何时演~?”需要与广播节目有关的词来填充。与广播节目有关的词可以包括广播节目的名称、出现的人或制片人。
此外,存储设备320可以标记针对例句“何时演XXX(即,广播节目名称)?”的响应并且存储该响应。更具体地,存储设备320可以标记“你询问的<广播节目名称>在<广播时间>广播”并且存储“你询问的<广播节目名称>在<广播时间>广播”,作为针对例句“何时演XXX(即,广播节目名称)”的响应。
在另一个示例性实施例中,假设例句“今天TV演什么?”存储在广播服务域中。
在上述示例中,存储设备320可以为例句标记用于解释例句“今天TV演什么”的信息,并且存储该信息。更具体地,存储设备320可以为相应的例句标记和存储如下信息:“TV演”是指广播节目,“今天”、“TV演”或“什么”指示了询问安排在今天广播的广播节目,并且“?”指示了例句是问题。此外,存储设备320可以标记和存储如下信息:与广播时间(例如,现在、明天等)有关的词可以填充具有“TV~演什么?”模式的例句。
在另一个示例性实施例中,假设例句“改变到#X(即,频道号)”存储在设备控制服务域中。
在上述示例中,存储设备可以标记和存储用于解释诸如“请改变到#X(即,频道号)”等的例句的信息。更具体地,在例句“请改变到#X(即,频道号)”中,存储设备320可以为相应例句标记和存储指示了如下信息:“#X(即,频道号)”是指频道号,“改变”指示用于调到频道的命令,以及“请”指示例句是请求句。此外,存储设备320可以在相应例句中标记和存储指示了与广播节目有关的词可以填充具有“请改变为~”模式的例句的信息。与广播节目有关的词可以包括频道号、频道名称、广播节目名称、出现的人、或制片人。
存储设备320还可以标记和存储针对句子“请改变到#X(即,频道号)”的响应。更具体地,存储设备320可以标记和存储针对句子“请改变到#X(即,频道号)”的响应“频道改变到<频道号>”。
在另一个示例性实施例中,假设例句“请执行XX(即,应用名称)”存储在设备控制服务域中。
在上述示例中,存储设备320可以为例句标记和存储用于解释例句“请执行XX(即,应用名称)”的信息。更具体地,在例句“执行XX(即,应用名称)”中,存储设备320可以标记和存储指示了“XX(即,应用名称)”是指应用的名称、“执行”是指用于执行应用的命令、并且“请”指示例句是请求句的信息。
此外,存储设备320可以为例句标记和存储指示了与在显示装置100上可执行的功能有关的词可以填充具有“请执行~”模式的例句的信息。与在显示装置100上可执行的功能有关的词可以包括例如应用的名称、诸如电话呼叫等在显示装置100上可执行的功能的名称。
在另一个示例性实施例中,假设例句“查看更多”被存储在设备控制服务域中。
在上述示例性实施例中,存储设备320可以为例句标记和存储用于解释例句“查看更多”的信息。也即是说,存储设备320可以为诸如“查看更多”等例句标记和存储指示了如下的信息:例句包括请求与在显示装置100上可使用的语音有关的信息的话语意图。
存储设备320还可以标记和存储用于使用相应的例句来控制显示装置100的控制命令。具体地,存储设备320可以为与用于控制显示装置100的用户语音相对应的例句标记和存储用于控制显示装置100的控制命令。
在上文所解释的示例性实施例中,存储设备320可以为诸如“请改变到#X(即,频道号)”等例句标记和存储用于将显示装置100的频道改变到频道#X的控制命令。此外,存储设备320可以为诸如“查看更多”等例句标记和存储用于输出在显示装置100上可使用的语音的控制命令。
同时,示例性实施例不限于上文举例说明的所存储的例句和响应。因此,可以针对每一个服务域存储各种其它例句和相应响应。
控制器330控制第二服务器300的整体操作。更具体地,当从显示装置100接收到与用户语音相对应的文本信息时,控制器330产生与接收的文本信息相对应的响应信息,并且控制通信器310使得经由通信器310向显示装置100发送产生的响应信息。
控制器330可以通过分析文本信息来确定用户语音中包含的话语意图,产生与确定的话语意图相对应的响应信息,并且控制通信器310以向显示装置100发送该响应信息。
为此目的,控制器330可以检测包括与接收的文本信息相匹配的交互模式在内的语料数据库,并且确定用户语音所属的服务域。
更具体地,控制器330可以将接收的文本信息与针对每一个服务域存储的例样进行比较,并且确定包括与接收的文本信息相匹配的例句的域是用户语音所属的域。
例如,当从显示装置100接收到诸如“何时演XXX(即,广播节目名称)?”或者“今天TV演什么?”等文本时,控制器330可以确定在显示装置100处收集的用户语音属于广播服务域。当从显示装置100接收到诸如“请改变到#X(即,频道号)”或“请执行XX(即,应用名称)”等的文本时,控制器330可以确定在显示装置100处收集的用户语音属于设备控制服务域。
当未找到与接收的文本信息相匹配的例句时,控制器330可以基于统计来确定用户语音所属的域。
举例说明,假设显示装置100收集“请问我可以改变到#X(即,频道号)吗”,并且向第二服务器300发送与收集的用户语音相对应的文本。在上述示例中,控制器330可以使用诸如隐马尔可夫模型(HMM)、条件随机场(CRF)或支持向量机(SVM)等分类模型确定用户语音在统计上类似于“请改变到#X(即,频道号)”,并且确定“请问我可以改变到#X(即,频道号)吗”属于设备控制服务域。
存储设备320还可以存储被确定为在统计上类似于预先存储的例句的文本信息。在一个示例性实施例中,存储设备320可以将文本信息作为在统计上类似的例句所属的服务域的另一例句进行存储。此外,通过参照预先存储的例句,存储设备320可以为相应的新存储的例句标记和存储用于解释新存储的例句的信息。
例如,假设将“请问我可以改变到#X(即,频道号)吗”作为新的例句进行存储。
在上述示例中,存储设备320可以通过参考“请改变到#X(即,频道号)”,为相应例句标记和存储用于解释诸如“请问我可以改变到#X(即,频道号)吗?”等的例句的信息。也即是说,存储设备320可以为相应例句“请问我可以改变到#X(即,频道号)吗”标记和存储指示了如下的信息:“#X(即,频道号)”是指频道的号、“改变”是指用于调到频道的命令、并且“请问我可以~吗”指示例句是请求句。此外,存储设备320可以为相应例句标记和存储指示了如下的信息:与广播节目有关的词可以填充具有“请问我可以改变到~吗”的模式的例句。与广播节目有关的词可以包括频道号、广播站名称、广播节目名称、出现的人或制片人。
此外,存储设备320可以为相应句子标记和存储针对“请问我可以改变到#X(即,频道号)吗”的响应。更具体地,存储设备320可以标记和存储“频道改变到<频道号>”作为针对“请问我可以改变到#X(即,频道号)吗”的响应。
同时,当存在与从显示装置100接收的文本信息相匹配的多个例句时并且当多个例句属于不同的服务域时,控制器330可以基于统计分析来确定用户语音的相应服务域。
也即是说,控制器330可以基于词(或词素)在相应服务域中出现的频率,对构成从显示装置100接收的文本信息的相应词(或词素)进行加权,并且通过考虑应用的权重来确定与用户语音相对应的服务域。
例如,假设分别在例句“请改变为XXX(即,广播节目名称)”被存储在广播服务域和VOD服务域中的状态下,从显示装置100接收到文本“请改变为XXX(即,广播节目名称)”。
在上述示例中,控制器330可以确定在广播服务域和VOD服务域中存在与“请改变为XXX(即,广播节目名称)”相匹配的例句,并且基于“改变”和“请”出现在相应的服务域中的频率,针对相应服务域对构成了“请改变为XXX(即,广播节目名称)”的词(或词素)加权,即,对“改变”和“请”加权。
例如,控制器330可以基于包括“改变”的句子在广播服务域中存储的所有例句中的比率来计算“改变”在广播服务域中的权重,并且基于包括“请”的例句在广播服务域中存储的所有例句中的比率来计算“请”在广播服务域中的权重。
以上文解释的类似方式,控制器330可以基于包括“改变”的句子在VOD服务域中存储的所有例句中的比率来计算“改变”在VOD服务域中的权重,并且基于包括“请”的例句在VOD服务域中存储的所有例句中的比率来计算“请”在VOD服务域中的权重。
此后,控制器330可以通过计算应用于相应词的权重来确定用户语音所属的服务域。因此,在上文所解释的示例中,控制器330可以将在广播服务域中应用于“改变”的权重与应用于“请”的权重相乘的乘积与在VOD服务域中应用于“改变”的权重与应用于“请”的权重相乘的乘积进行比较,并且确定用户语音属于具有更大结果的服务域。
也即是说,当基于在广播服务域中应用的权重的计算结果大于基于在VOD服务域中应用的权重的计算结果时,控制器330可以确定“请改变为XXX(即,广播节目名称)”属于广播服务域。相反,当基于在VOD服务域中应用的权重的计算结果大于基于在广播服务域中应用的权重的计算结果时,控制器330可以确定“请改变为XXX(即,广播节目名称)”属于VOD服务域。
然而,本领域普通技术人员将理解的是,上文仅是为了说明的目的而提供的。因此,控制器330可以根据各种方法在统计上确定用户语音所属的服务域。
此后,控制器330基于用户语音所属的服务域从用户语音中提取对话动作、主动作和组成空位(component slot)(或实体名称)。
“对话动作”是与句子形式有关的类别,其指示相应句子是陈述、请求还是问题。
“主动作”是指表示在具体域中对话的相应话语所指的动作的有意义信息。例如,在广播服务域中,主动作可以包括TV开机/关机、广播节目搜索、广播节目时间搜索或广播节目预留。在另一示例中,在设备控制服务域中,主动作可以包括设备开机/关机、播放或暂停。
“组成空位”是指在话语中出现的具体域的实体信息,即,是指定具体域所指的动作的意义的附加信息。例如,广播服务域中的组成空位可以包括流派、广播节目名称、广播时间、频道名称或男演员/或女演员名字,并且在设备控制服务域中可以包括外部设备的名称、制造商等。
控制器330可以使用提取的对话动作、主动作和组成空位来确定用户语音中包含的话语的意图,并且产生与确定的话语意图相对应的响应信息并向显示装置100发送响应信息。
响应信息可以包括用于从显示装置100输出系统响应的系统响应信息。为此目的,控制器330可以从存储设备320中提取对确定的话语意图的答复,并且将提取的答复转换为文本从而产生系统响应信息。此外,控制器330可以搜索与确定的话语意图相对应的信息,并且使用搜索的信息来产生系统响应信息。
此外,响应信息可以包括用于执行与用户语音相对应的功能的控制命令。控制命令可以包括用于控制显示装置100执行与用户语音相对应的功能的控制命令。为此目的,控制器330可以产生与确定的话语意图相对应的控制命令,并且控制通信器310使得向显示装置100发送产生的控制命令。
在下文中,将参照示例性实施例详细地解释控制器330用于产生与用户语音相对应的响应信息的方法。
首先,控制器330可以使用为与用户语音相匹配或者在统计上被确定为与用户语音相类似的例句所标记的信息,来从用户语音中提取对话动作、主动作和组成空位,产生与用户语音相对应的响应信息,并且向显示装置100发送响应信息。
例如,假设从显示装置100接收到文本“何时演XXX(即,广播节目名称)?”。
在上述示例中,控制器330可以确定接收的文本属于广播服务域,使用为在广播服务域中与接收的文本相匹配的例句“何时演XXX(即,广播节目名称)?”标记的信息从用户语音中提取对话动作、主动作和组成空位,并且产生相应的响应信息。
也即是说,使用用于解释例句的信息(包括指示了“XXX(即,广播节目名称)”是指广播节目、“何时”是指请求广播时间、并且“?”是指例句是问题的信息)来标记在广播服务域中存储的例句“何时演XXX(即,广播节目名称)?”。因此,控制器330可以基于上述信息确定例句“何时演XXX(即,广播节目名称)?”的对话动作是问题、主动作是询问广播时间、并且组成空位是XXX(即,广播节目名称)。因此,控制器330可以确定用户语音中包含的话语意图是“询问”“XXX”的“广播时间”。
此外,控制器330可以搜索存储设备320以得到为存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”所标记的响应,并且使用标记的响应产生系统响应信息。
也即是说,控制器330可以搜索与用户语音相对应的响应,“你询问的<广播节目名称>的广播时间是<广播时间>”,其是为存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”而标记的。
在上述示例中,控制器330可以填充搜索的响应中出现的空白,并且产生完整句。
例如,在响应“你询问的<广播节目名称>的广播时间是<广播时间>”中,控制器330可以在空白<广播节目名称>中写入“XXX(即,广播节目名称)”。控制器330还可以基于“XXX(即,广播节目名称)”的电子节目指南(EPG)来搜索“XXX(即,广播节目名称)”的广播时间,并且在另一空白中写入<广播时间>。因此,控制器330可以产生完整句“你询问的XXX(即,广播节目名称)的广播时间是周六7点钟”作为系统响应信息,并且向显示装置100发送产生的系统响应信息。
因此,显示装置100可以基于从第二服务器300接收的系统响应信息,以语音和UI屏幕中的至少一个的形式输出“你询问的XXX(即,广播节目名称)的广播时间是周六7点钟”。
在另一个示例性实施例中,假设从显示装置100接收到文本“今天TV演什么?”。
在上述示例中,控制器330可以确定接收的文本属于广播服务域,使用为广播服务域中与接收的文本相匹配的例句“今天TV演什么?”所标记的信息,从用户语音中提取对话动作、主动作和组成空位,并且产生相应的响应信息。
也即是说,使用用于解释例句的信息(包括指示了“今天”、“TV演”、和“什么”是询问安排在今天广播的广播节目并且“?”指示例句是问题的信息)来标记存储在广播服务域中的例句“今天TV演什么?”。因此,控制器330可以基于上述信息来确定例句“今天TV演什么?”的对话动作是问题、主动作是询问安排在今天广播的广播节目、并且组成空位是广播节目。因此,控制器330可以确定用户语音中包含的话语意图是“询问”“今天”要广播的“广播节目”。
在一个示例性实施例中,控制器330可以参考EPG来搜索今天的广播节目,并且控制通信器310以向显示装置100发送与搜索的广播节目有关的信息,其可以包括以下各项中的至少一项:内容名称、流派、广播时间、演员表、相应的缩略图、广播内容的频道名称或制作人员。
控制器330还可以控制通信器310向显示装置100发送与确定的话语意图有关的信息。也即是说,当确定用户的话语意图涉及询问与安排在今天广播的广播节目有关的信息时,控制器330可以向显示装置100发送用于输出今天的广播节目列表的控制命令。
此外,控制器330可以控制通信器310使得与搜索的广播节目有关的信息和与确定的话语意图有关的信息一起被发送到显示装置100。
因此,显示装置100可以基于从第二服务器300接收的信息来以语音和UI屏幕中的至少一个的形式输出今天的广播节目列表。
在另一个示例性实施例中,假设从显示装置100接收到文本“请改变到#X(即,频道号)”。
在上述示例中,控制器330可以确定接收的文本属于设备控制服务域,使用为设备控制服务域中与接收的文本相匹配的例句“请改变到#X(即,频道号)”所标记的信息,从用户语音中提取对话动作、主动作和组成空位,并且产生相应的响应信息。
也即是说,使用用于解释例句的信息(包括指示了“#X(即,频道号)”是指频道号、“改变”是指用于调到广播的命令、并且“请”是指例句是请求的信息)来标记设备控制服务域中存储的例句“请改变到#X(即,频道号)”。因此,控制器330可以基于上述信息来确定例句“请改变到#X(即,频道号)”的对话动作是请求、主动作是用于调到广播的命令、并且组成空位是#X(即,频道号)。因此,控制器330可以确定用户语音中包含的话语意图是“请求”“广播调”到“#X”。
此外,控制器330可以搜索存储设备320以得到为广播服务域中存储的例句“请改变到#X(即,频道号)”所标记的响应,并且使用标记的响应产生响应信息。
也即是说,控制器330可以搜索存储在广播服务域中的标记的响应“频道改变到<频道号>”作为与用户语音“请改变到#X(即,频道号)”相对应的响应。
在上述示例中,控制器330可以填充出现在搜索的响应中的空白以产生完整句。
例如,控制器330可以在诸如“改变到<频道号>”等的响应中出现的空白<频道号>中写入“#X(即,频道号)”。因此,控制器330可以产生完整句形式“频道改变到#X”作为与用户语音相对应的系统响应信息,并且向显示装置100发送产生的系统响应信息。
此外,控制器可以搜索存储设备320以得到为存储在设备控制服务域中的例句“请改变到#X(即,频道号)”所标记的控制命令,并且控制通信器310使得向显示装置100发送标记的控制命令。也即是说,控制器330可以向显示装置100发送与存储在设备控制服务域中的例句“请改变到#X(即,频道号)”相对应的用于将显示装置100的频道改变到#X的所标记的控制命令。
因此,显示装置100可以基于从第二服务器300接收的控制命令来将频道改变到#X,并且基于从第二服务器300接收的系统响应信息以语音和UI屏幕中的至少一个的形式输出“频道改变到#X”。
同时,控制器330可以基于为例句标记的控制命令来产生用于执行显示装置100的功能的控制命令,但是不限于此。
也即是说,控制器330可以基于确定的话语意图要来产生控制命令,并且向显示装置100发送控制命令。例如,当确定用户的话语意图是请求广播调到#X时,控制器330可以产生用于将频道改变到#X的控制命令并且向显示装置100发送控制命令。
此外,控制器330可以发送用于执行显示装置100的功能的控制命令以及用于输出系统响应的系统响应信息,但是不限于此。因此,控制器330可以根据用户的话语意图向显示装置100仅发送用于执行显示装置100的功能的控制命令。
在上述示例性实施例中,显示装置100可以不输出单独的系统响应,或者可以使用显示装置100中预先存储的数据来输出系统响应。
在另一个示例性实施例中,假设从显示装置100接收到文本“请执行XX(即,应用名称)”。
在上述示例中,控制器330可以确定接收的文本属于设备控制服务域,使用为设备控制服务域中的与接收的文本相匹配的例句“请执行XX(即,应用名称)”所标记的信息,来从用户语音中提取对话动作、主动作和组成空位,并且产生相应的响应信息。
也即是说,使用用于解释例句的信息(包括指示了“XX(即,应用名称)”是指应用的名称、“执行”是指用于执行应用的命令、并且“请”指示例句是请求的信息)来标记设备控制服务域中存储的例句“请执行XX(即,应用名称)”。因此,控制器330可以基于上述信息来确定例句“请执行XX(即,应用名称)”的对话动作是请求、主动作是用于执行应用的命令、并且组成空位是XX(即,应用名称)。因此,控制器330可以确定用户语音中包含的话语意图是“请求”与“XX(即,应用名称)”有关的“应用执行”。
在一个示例性实施例中,控制器可以搜索存储设备320以得到为存储在设备控制服务域中的例句“请执行XX(即,应用名称)”所标记的控制命令,并且控制通信器310使得向显示装置100发送标记的控制命令。也即是说,控制器330可以向显示装置100发送与存储在设备控制服务域中的例句“请执行XX(即,应用名称)”相对应的用于执行显示装置100上的XX(即,应用名称)的所标记的控制命令。
因此,显示装置100可以基于从第二服务器300接收的控制命令来执行XX(即,应用名称)。
同时,控制器330可以基于为例句标记的控制命令来产生用于执行显示装置100的功能的控制命令,但是不限于此。
也即是说,控制器330可以基于确定的话语意图要来产生控制命令,并且向显示装置100发送控制命令。例如,当确定用户的话语意图是请求执行XX(即,应用名称)时,控制器330可以产生用于执行XX(即,应用名称)的控制命令并且向显示装置100发送控制命令。
同时,控制器330可以通过使用为在统计上被确定为类似于用户语音的例句所标记的信息来从用户语音中提取对话动作、主动作和组成空位,并且产生相应的响应信息。
例如,假设从显示装置100接收到文本“何时演YYY(即,广播节目名称)?”。
在上述示例中,控制器330可以确定文本“何时演YYY(即,广播节目名称)?”在统计上类似于存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”。因此,控制器330可以通过使用为存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”所标记的信息,来从用户语音中提取对话动作、主动作和组成空位,并且产生相应的响应信息。
也即是说,使用用于解释存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”的信息(其指示了与广播节目有关的词可以填在句子模式“何时演~?”中)来标记该例句。因此,控制器330可以在诸如广播节目名称、出现的人或制片人等与广播节目有关的词中搜索“YYY(即,广播节目名称)”的含义。
为此目的,存储设备320可以包括存储了与每一个服务域的组成有关的信息的实体名称词典或TMEX词典。
也即是说,控制器330可以参考实体名称词典或TIMEX词典来搜索“YYY(即,广播节目名称)”的含义并且确定“YYY(即,广播节目名称)”是指示广播节目。
然而,其它实施例也是可能的。例如,控制器330可以通过使用EPG等来搜索“YYY(即,广播节目名称)”的含义,或者通过使用预先存储的例句和条件随机场(CRF)来搜索“YYY(即,广播节目名称)”的含义。
因此,控制器330可以确定从显示装置100接收的文本“何时演YYY(即,广播节目名称)?”的对话动作是问题,主动作是询问广播时间,并且组成空位是YYY(即,广播节目名称)。控制器330还可以确定用户语音中包含的话语意图是询问“YYY”的“广播时间”。
此外,控制器330可以通过使用为存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”所标记的响应来产生与“何时演YYY(即,广播节目名称)?”有关的系统响应信息,并且向显示装置100发送产生的系统响应信息。
也即是说,控制器330可以搜索与用户语音“你询问的<广播节目名称>的广播时间是<广播时间>”相对应的响应,该响应是为存储在广播服务域中的例句“何时演XXX(即,广播节目名称)?”所标记的响应。控制器330还可以基于完整句“YYY(即,广播节目名称)的广播时间是周三11点钟”来产生与用户语音相对应的系统响应信息,并且向显示装置100发送产生的系统响应信息。
同时,当存储了从显示装置100输出的系统响应的句子数据中的一些时,控制器330可以控制通信器310使得只可以向显示装置100发送特定文本以完成相应句子。
例如,当诸如你询问的“<广播节目名称>的广播时间是<广播时间>”等响应被预先存储在显示装置100中时,控制器330可以控制通信器310使得以文本的形式向显示装置100发送用户询问的广播节目名称及其广播时间以完成存储在显示装置100中的响应。在一个示例性实施例中,控制器330可以向显示装置100发送用于向显示装置100输出预先存储的响应的单独控制信号。
因此,显示装置100可以在预先存储的响应中写入从第二服务器300接收的文本,从而输出系统响应,该系统响应可以是“XXX(即,广播节目名称)的广播时间是周六7点钟”。
同时,控制器330可以使用为例句标记的信息来提取对话动作、主动作和组成空位,但是不限于此。也即是说,控制器330可以通过使用最大熵分类器(MaxEnt)从用户语音中提取对话动作和主动作,并且通过使用条件随机场(CRF)提取组成空位。
当然,示例性实施例不仅限于任何特定的示例。因此,控制器330可以以很多已知的方式从用户语音中提取对话动作、主动作和组成空位。
同时,当控制器330不能确定当前接收的用户语音中包含的用户的话语意图时,控制器330可以参考先前接收的用户语音来确定当前接收的用户语音中包含的用户的话语意图。
更具体地,当控制器330不能基于先前接收的用户语音所属的服务域确定当前接收的用户语音中包含的用户的话语意图时,控制器330可以通过参考先前接收的用户语音来确定当前接收的用户语音中包含的用户的话语意图。
例如,控制器330可以通过将当前接收的用户语音与存储在语料数据库中的对话模式进行比较,来确定当前接收的用户语音是否与对话模式中的初始用户话语相对应,并且响应于确定当前接收的用户语音未与初始用户话语相对应,通过参考先前接收的用户语音来确定当前接收的用户语音中包含的用户的话语意图。
为此目的,存储设备320可以以分级的方式存储相应服务域的相应例句。也即是说,存储设备320可以基于与用户可能在每一个服务域中最初发出的用户语音相匹配的例句来存储最高分级层,并且以分级的方式存储与可能跟随其后的用户语音相对应的例句。
例如,存储设备320可以将“今天TV演什么?”作为最高分级层存储在广播服务域中,并且存储诸如以下各项等的较低层的例句:“第三个”、“请问我可以看第三个的细节吗?”、“XXX(即,频道名称)演什么?”、“哪一个是纪录片节目?”、“我可以看XXX(即,出现的人的名字)主演的节目吗?”或者“请问我可以看XXX(即,广播节目名称)吗?”。
在另一个示例性实施例中,存储设备320可以将“请执行XXX(即,应用名称)”作为最高分级层存储在设备控制服务域中。当“XXX(即,应用名称)”是web浏览应用时,存储设备320可以基于在web浏览应用上可执行的例句来存储“请执行XXX(即,应用名称)”的较低层例句,例如,“主页”、“收藏夹”、“刷新”、“打开新的页面”、“关闭当前页面”、“后退”、“前进”或者“结束”。
下面将更详细地解释用于参考先前接收的用户语音来确定当前接收的用户语音中包含的用户的话语意图的方法。
首先,假设输入用户语音“今天TV演什么?”并且然后输入用户语音“今天XXX(即,频道名称)演什么?”。在上述示例中,当控制器330确定用户语音“今天XXX(即,频道名称)演什么?”未与广播服务域中的初始用户话语相对应时,控制器330可以基于先前接收的用户语音“今天TV演什么?”来确定“XXX(即,频道名称)演什么?”的话语意图。
因此,控制器330可以使用先前接收的用户语音“今天TV演什么?”来确定“XXX(即,频道名称)演什么?”话语意图是“询问”今天广播的节目中安排在“XXX(即,频道名称)”上广播的“广播节目”。
因此,控制器330可以产生与确定的话语意图相对应的响应信息,并且向显示装置100发送该响应信息。也即是说,控制器330可以根据确定的话语意图在今天的广播节目中搜索在XXX(即,频道名称)上广播的广播节目,并且向显示装置100发送与搜索的广播节目有关的信息。
此外,假设输入用户语音“今天TV演什么?”,然后输入用户语音“第三个”。在上述示例中,当控制器330确定用户语音“第三个”未与广播服务域中的初始用户话语相对应时,控制器330可以基于先前接收的用户语音“今天TV演什么?”来确定“第三个”的话语意图。
更具体地,控制器330可以确定话语意图是请求“调”到作为响应于先前接收的用户语音“今天TV演什么?”而从显示装置100输出的广播节目列表上的“第三个”的“广播节目”。因此,控制器330可以产生与所确定的话语意图相对应的响应信息,并且向显示装置100发送该响应信息。也即是说,控制器330可以根据确定的话语意图来向显示装置100发送用于调到作为从显示装置100输出的广播节目列表上的第三个的广播节目的控制命令。
同时,虽然假设输入用户语音“今天TV演什么?”,然后输入“XXX(即,频道名称)演什么”和“第三个”,但是示例性实施例不仅限于上述特定示例。也即是说,也可以基于先前接收的用户语音来解释各种其它分级的例句。
在另一个示例性实施例中,假设输入用户语音“请执行XXX(即,web浏览应用名称)”,然后输入用户语音“刷新”。在上述示例中,当控制器330确定用户语音“刷新”未与设备控制服务域中的初始用户话语相对应时,控制器330可以基于先前接收的用户语音“请执行XXX(即,web浏览应用名称)”来确定“刷新”的话语意图。
也即是说,控制器330可以通过使用先前接收的用户语音“请执行XXX(即,web浏览应用名称)”来确定话语意图是“请求”“刷新”“web浏览屏幕”。
因此,控制器330可以产生与所确定的话语意图相对应的响应信息,并且向显示装置100发送该响应信息。也即是说,在上文解释的示例性实施例中,控制器330可以向显示装置100发送用于刷新web浏览屏幕的控制命令。
同时,虽然假设输入用户语音“请执行XXX(即,web浏览应用名称)”并且然后输入用户语音“刷新”,但是示例性实施例不仅限于特定示例。因此,可以基于先前接收的用户语音来解释各种其它分级的例句。
此外,虽然不限于此,但是控制器330可以确定当前接收的用户语音是否与对话模式中的初始用户话语相对应,并且当确定当前接收的用户语音未与初始用户话语相对应时,控制器330可以通过参考先前接收的用户语音来确定当前接收的用户语音中包含的用户的话语意图。
因此,当不能通过参考包括当前接收的用户语音的服务域来确定当前接收的用户语音中包含的话语意图时,控制器330可以使用先前接收的用户语音。
例如,假设输入用户语音“今天TV演什么?”并且然后输入用户语音“XXX(即,频道名称)演什么?”。因为不能在广播服务域中确定用户语音“XXX(即,频道名称)演什么?”中包含的话语意图,因此控制器330可以基于先前接收的用户语音“今天TV演什么?”来确定“XXX(即,频道名称)演什么?”的话语意图。
也即是说,控制器330可以通过使用先前接收的用户语音“今天TV演什么?”来确定“XXX(即,频道名称)演什么?”的话语意图是“询问”今天广播的节目中在“XXX(即,频道名称)”上广播的“广播节目”。
在另一个示例性实施例中,假设输入用户语音“请执行XXX(即,web浏览应用名称)”并且然后输入用户语音“刷新”。在上述示例中,因为不能在设备控制服务域中确定用户语音“刷新”中包含的话语意图,因此控制器330可以基于先前接收的用户语音“请执行XXX(即,web浏览应用名称)”来确定“刷新”的话语意图。
也即是说,通过使用先前接收的用户语音“请执行XXX(即,web浏览应用名称)”,控制器330可以确定“刷新”的话语意图是“请求”“刷新”“web浏览屏幕”。
同时,存储设备320将与从显示装置100输出的用户语音有关的信息作为语音命令向导进行存储。也即是说,存储设备320可以存储与在显示装置100的每一个情形中可使用的用户语音有关的信息。
因此,控制器330可以通过使用预先存储的信息来确定与在显示装置100的当前情形中可应用的用户语音有关的信息,并且向显示装置100发送确定的与用户语音有关的信息。
例如,当接收到用户语音“今天TV演什么?”时,控制器330可以确定“今天TV演什么?”的话语意图是“询问”“今天”广播的“广播节目”,并且向显示装置100发送与今天的广播节目有关的信息。控制器330可以发送与可应用于作为系统响应输出的广播节目列表的用户语音有关的信息,例如,“第三个”、“请问我可以看第三个的细节吗?”、“XXX(即,频道名称)演什么?”、“哪一个是纪录片节目?”、“我可以看XXX(即,出现的人的名字)主演的节目吗?”或者“请问我可以看XXX(即,广播节目名称)吗?”。
在另一个示例性实施例中,当接收到用户语音“请执行XX(即,与web浏览有关的应用的名称)”时,控制器330可以确定“请执行XX(即,与web浏览有关的应用的名称)”的话语意图是“请求”“执行”“XX(即,与web浏览有关的应用的名称)”,并且向显示装置100发送用于执行XX(即,与web浏览有关的应用的名称)的控制命令。控制器330可以发送与可应用于在显示装置100上执行的应用的用户语音有关的信息,例如,“主页”、“收藏夹”、“刷新”、“打开新的页面”、“关闭当前页面”、“后退”、“前进”或者“结束”。
下面将参照图6至图11来解释各种示例性实施例。
参照图6,控制器150显示初始屏幕410。参照图7A至图7C,控制器150可以在初始屏幕410的预定区域上显示语音命令向导420。
语音命令向导420可以以放映幻灯片的形式显示文本,该文本表示了可执行显示装置100的可用功能的用户语音,例如,“今天TV演什么?”、“有什么有趣的吗?”、“有新的电影吗?”、“向我推荐”、“我可以看EBB(即,频道名称)吗?”以及“请运行web浏览器”。
参照图8A至图8C,当用户说出“今天TV演什么?”时,控制器150可以基于从第二服务器300接收的响应信息来将今天要广播的广播节目列表430作为系统响应进行输出。然后,控制器150可以输出语音命令向导440,该语音命令向导440表示了在作为系统响应输出的列表430上可应用的用户语音。
参照图8A至图8C,语音命令向导400可以以放映幻灯片的形式显示文本,该文本表示了可以应用于作为系统响应输出的广播节目列表430的用户语音,例如,“请提供第三个”、“我可以看第三个的细节吗?”、“SBS(即,频道名称)演什么?”、“我可以看纪录片节目吗?”、“我可以看Peter(即,出现的人的名字)主演的节目吗?”或者“请问我看可以看“TheShow(表演)”(即,广播节目名称)吗?”。
同时,控制器150可以输出与收集的用户语音有关的信息。例如,当从第一服务器200接收到与用户语音相对应的文本信息时,控制器150可以产生包括接收的文本信息的UI并且在屏幕上输出该UI。也即是说,参照图8A至图8C,控制器150可以输出“今天TV演什么?”450。
因此,当用户说出“SBS(即,频道名称)演什么?”时,控制器150可以基于从第二服务器300接收的响应信息将今天的广播节目中由SBS(即,频道名称)提供的广播节目列表作为系统响应进行输出。
同时,控制器150可以输出用于确保正确的用户语音的向导。为此目的,第二服务器300可以向显示装置100发送用于确保正确的用户语音的向导信息。
也即是说,当不存在与接收的文本信息相匹配的例句时,控制器330可以确定在统计上类似的例句,如上文所解释的。因此,控制器330可以向显示装置100发送响应信息以及与在统计上类似于接收的用户语音的例句有关的信息。
例如,参照图9,当用户说出“TV演什么?”时,控制器330确定“TV演什么?”在统计上类似于预先存储的例句中的“今天TV演什么?”,并且表达“今天TV演什么?”并向显示装置100发送“今天TV演什么?”。因此,控制器150可以产生诸如“下一次尝试说‘今天TV演什么?’”等的UI,并且将该UI作为用于确保更准确的用户语音的向导460进行输出。
在一个示例性实施例中,控制器150可以输出与收集的用户语音有关的信息。参照图9,控制器150可以输出“TV演什么?”470。
同时,语音命令向导的形式不限于上文提供的特定示例,因此,可以提供各种形式的语音命令向导。
例如,参照图10A和图10B,当在输出初始屏幕510的情形中收集用户语音“今天TV演什么?”时,控制器150可以基于今天要广播的节目列表520输出系统响应,并且输出语音命令向导530,该语音命令向导530包括与关于列表520可使用的用户语音有关的信息。更具体地,参照图10B,控制器150可以输出诸如“说‘第三个、第二个……’”等的语音命令向导530。
同时,图11示出了在显示初始屏幕的状态下用户说出“查看更多”的示例。在该示例中,第二服务器300可以向显示装置100发送用于输出显示装置100上可使用的用户语音有关的信息的控制命令。
因此,基于所接收的控制命令,控制器150可以产生UI 610,UI610包括与可使用的用户语音有关的信息(参见图11),并且输出UI610。同时,与显示装置100处可使用的语音有关的信息可以被预先存储在显示装置100中或者从第二服务器300接收。
图12是提供来解释根据示例性实施例的显示装置的控制方法的流程图。
在S1210,收集用户语音。
在S1220,向第一服务器200发送用户语音,并且从第一服务器200接收与用户语音相对应的文本信息。在S1230,向第二服务器300发送接收的文本信息。
在S1240,当从第二服务器300接收到与文本信息相对应的响应信息时,基于响应信息来输出与用户语音相对应的系统响应。可以输出可应用于显示装置的当前情形的语音命令向导。
也即是说,当输出与用户语音相对应的系统响应时,可以输出与系统响应有关的语音命令向导。
在上述示例中,当输出响应于用于搜索内容的用户语音而搜索到的内容列表时,可以输出用于对内容列表中包含的内容进行过滤的语音命令。
此外,当输出响应于用于搜索内容的用户语音而搜索到的内容列表时,可以输出以下各项中的至少一项:用于执行内容列表中包含的特定内容的语音命令向导,和用于输出特定内容的细节的语音命令向导。
此外,当响应于用于执行应用的用户语音而输出应用执行屏幕时,可以输出在应用执行屏幕上可应用的语音命令向导。
上文将参照上文参照图1至图11提供的解释,并且为了简洁起见,在下文中将不对其进行过多的解释。
此外,可以提供其中记录有用于顺序地执行根据示例性实施例的控制方法的程序的非临时性计算机可读介质。“非临时性计算机可读记录介质”是指半持久性地存储数据并且可以由设备读取的介质。具体地,上述各种应用或程序可以被存储和提供在诸如CD、DVD、硬盘、蓝光光盘、USB、存储卡或ROM等的非临时性计算机可读记录介质中。
此外,虽然显示装置和服务器的框图省略了总线,但是可以经由总线来执行显示装置和服务器的相应组件之间的通信。此外,每一个设备可以另外包括用于执行上文解释的各个步骤的以下各项中的至少一项:诸如CPU、微处理器等的处理器、硬件模块或电路。
前述示例性实施例和优点仅是示例性的,而不应理解为限制示例性实施例。本教导可以容易地应用于其它类型的装置。此外,示例性实施例的描述只在是说明性的,而非限制由所附权利要求限定的发明构思的范围,并且对于本领域技术人员而言,很多替换形式、修改和变形将是显而易见的。

Claims (20)

1.一种显示装置的控制方法,包括:
输出包括与可应用于显示装置的当前情况的语音命令对应的样本句子在内的语音命令向导,所述样本句子来自与可应用于显示装置的每种显示情况的语音命令对应的多个预先存储的样本句子;
根据语音命令向导接收用户语音;以及
执行对应于用户语音的功能;
其中所述当前情况包括第一情况和第二情况中的至少一个,
其中输出语音命令向导包括:在第一情况下显示可应用于第一情况的第一语音命令向导,以及在第二情况下显示可应用于第二情况的第二语音命令向导,以及
其中第一语音命令向导和第二语音命令向导彼此不同。
2.根据权利要求1所述的方法,其中第一情况和第二情况中的至少一个包括:输出初始屏幕的情况、输出内容的情况或执行应用的情况。
3.根据权利要求2所述的方法,其中,第一情况包括输出经由调谐器接收的内容的情况,并且第二情况包括执行与外部装置相关的应用的情况。
4.根据权利要求1所述的方法,其中,响应于所述当前情况改变,语音命令向导改变。
5.根据权利要求1所述的方法,还包括:
响应于输入用户语音,向服务器发送用户语音;以及
从服务器接收与用户语音对应的响应信息,
其中显示语音命令向导包括:基于响应信息,显示可应用于当前情况的语音命令向导。
6.根据权利要求5所述的方法,还包括:
响应于接收到与经由语音收集器接收的用户语音对应于的响应信息,输出系统响应。
7.根据权利要求6所述的方法,其中语音收集器内置在显示装置中或与显示装置分离,以及
其中显示语音命令向导包括:响应于输出与用户语音对应的系统响应,输出与系统响应相关的语音命令向导。
8.根据权利要求1所述的方法,其中输出语音命令向导包括:响应于输出根据用于搜索内容的用户语音而搜索到的内容列表,显示用于对内容列表中包括的内容进行过滤的语音命令向导。
9.根据权利要求1所述的方法,其中输出语音命令向导包括:响应于输出根据用于搜索内容的用户语音而搜索到的内容列表,输出用于执行内容列表中包括的特定内容的语音命令向导和用于输出所述特定内容的详细信息的语音命令向导中的至少一个。
10.根据权利要求1所述的方法,其中输出语音命令向导包括:响应于根据用于执行应用的用户命令而输出对应的应用执行屏幕,输出可应用于所述应用执行屏幕的语音命令向导。
11.一种显示装置,包括:
输出单元;
存储器,配置为存储与可应用于显示装置的每种显示情况的语音命令对应的多个样本句子;以及
控制器,配置为经由输出单元显示包括与可应用于显示装置的当前情况的语音命令对应的样本句子在内的语音命令向导,以及执行与根据语音命令向导的输入用户语音对应的功能,其中所述样本句子来自存储的所述多个样本句子;
其中所述当前情况包括第一情况和第二情况中的至少一个,
其中控制器在第一情况下显示可应用于第一情况的第一语音命令向导,并且在第二情况下显示可应用于第二情况的第二语音命令向导,以及
其中第一语音命令向导和第二语音命令向导彼此不同。
12.根据权利要求11所述的装置,其中第一情况和第二情况中的至少一个包括:输出初始屏幕的情况、输出内容的情况或执行应用的情况。
13.根据权利要求12所述的装置,其中,第一情况包括输出经由调谐器接收的内容的情况,并且第二情况包括执行与外部装置相关的应用的情况。
14.根据权利要求11所述的装置,其中,响应于所述当前情况改变,语音命令向导改变。
15.根据权利要求11所述的装置,其中控制器响应于输入用户语音,向服务器发送用户语音,以及响应于接收到与用户语音对应的响应信息,基于响应信息,显示可应用于当前情况的语音命令向导。
16.根据权利要求15所述的装置,其中控制器响应于接收到与经由语音收集器输入的用户语音对应的响应信息,输出系统响应。
17.根据权利要求16所述的装置,其中语音收集器内置在显示装置中或与显示装置分离,以及
其中控制器响应于输出与用户语音对应的系统响应,输出与系统响应相关的语音命令向导。
18.根据权利要求11所述的装置,其中控制器响应于输出根据用于搜索内容的用户语音而搜索到的内容列表,输出用于对内容列表中包括的内容进行过滤的语音命令向导。
19.根据权利要求11所述的装置,其中控制器响应于输出根据用于搜索内容的用户语音而搜索到的内容列表,输出用于执行内容列表中包括的特定内容的语音命令向导和用于输出所述特定内容的详细信息的语音命令向导中的至少一个。
20.根据权利要求11所述的装置,其中控制器响应于根据用于执行应用的用户命令而输出对应的应用执行屏幕,输出可应用于所述应用执行屏幕的语音命令向导。
CN201611019969.9A 2013-01-07 2014-01-06 显示装置和用于控制显示装置的方法 Pending CN107066227A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130001803A KR20140089861A (ko) 2013-01-07 2013-01-07 디스플레이 장치 및 그의 제어 방법
KR10-2013-0001803 2013-01-07
CN201410005003.4A CN103916708A (zh) 2013-01-07 2014-01-06 显示装置和用于控制显示装置的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410005003.4A Division CN103916708A (zh) 2013-01-07 2014-01-06 显示装置和用于控制显示装置的方法

Publications (1)

Publication Number Publication Date
CN107066227A true CN107066227A (zh) 2017-08-18

Family

ID=49999714

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410005003.4A Pending CN103916708A (zh) 2013-01-07 2014-01-06 显示装置和用于控制显示装置的方法
CN201611019969.9A Pending CN107066227A (zh) 2013-01-07 2014-01-06 显示装置和用于控制显示装置的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410005003.4A Pending CN103916708A (zh) 2013-01-07 2014-01-06 显示装置和用于控制显示装置的方法

Country Status (6)

Country Link
US (2) US9396737B2 (zh)
EP (3) EP3393128B1 (zh)
JP (1) JP2014132756A (zh)
KR (1) KR20140089861A (zh)
CN (2) CN103916708A (zh)
WO (1) WO2014107097A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920125A (zh) * 2018-04-03 2018-11-30 北京小蓦机器人技术有限公司 一种用于确定语音识别结果的方法与设备
CN109756820A (zh) * 2017-11-08 2019-05-14 成都星环科技有限公司 一种无线低音环绕影音系统

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9431008B2 (en) * 2013-05-29 2016-08-30 Nuance Communications, Inc. Multiple parallel dialogs in smart phone applications
US20150128042A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Multitasking experiences with interactive picture-in-picture
US11182431B2 (en) * 2014-10-03 2021-11-23 Disney Enterprises, Inc. Voice searching metadata through media content
KR102301880B1 (ko) * 2014-10-14 2021-09-14 삼성전자 주식회사 전자 장치 및 이의 음성 대화 방법
KR102277749B1 (ko) * 2014-11-13 2021-07-16 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US10192549B2 (en) * 2014-11-28 2019-01-29 Microsoft Technology Licensing, Llc Extending digital personal assistant action providers
KR102335024B1 (ko) * 2014-12-10 2021-12-03 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
KR102281341B1 (ko) * 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
CN104811911A (zh) * 2015-03-25 2015-07-29 广州多益网络科技有限公司 一种手游的聊天方法及系统
US9472196B1 (en) 2015-04-22 2016-10-18 Google Inc. Developer voice actions system
KR102394202B1 (ko) * 2015-05-29 2022-05-04 삼성전자주식회사 장치 간의 입력 처리 방법 및 이를 구현하는 전자 장치
JPWO2017057010A1 (ja) * 2015-10-02 2018-06-21 シャープ株式会社 端末装置、制御サーバ、テレビジョン受像機、端末装置の制御方法、制御プログラム、および、記録媒体
KR102169466B1 (ko) 2016-01-05 2020-10-26 그레이스노트, 인코포레이티드 채널 변화 기반 트리거 피처를 갖는 컴퓨팅 시스템
US9740751B1 (en) 2016-02-18 2017-08-22 Google Inc. Application keywords
KR20170100309A (ko) 2016-02-25 2017-09-04 삼성전자주식회사 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
US9922648B2 (en) 2016-03-01 2018-03-20 Google Llc Developer voice actions system
CN105957530B (zh) * 2016-04-28 2020-01-03 海信集团有限公司 一种语音控制方法、装置和终端设备
US10049670B2 (en) * 2016-06-06 2018-08-14 Google Llc Providing voice action discoverability example for trigger term
US9691384B1 (en) 2016-08-19 2017-06-27 Google Inc. Voice action biasing system
US10448115B1 (en) * 2016-09-28 2019-10-15 Amazon Technologies, Inc. Speech recognition for localized content
CN106780902A (zh) * 2016-12-27 2017-05-31 北京汽车研究总院有限公司 一种遥控钥匙、汽车及使用遥控钥匙控制汽车的方法
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
EP3451189B1 (en) * 2017-08-30 2020-12-02 Deutsche Telekom AG A system and method for user query recognition
CN107734370B (zh) * 2017-10-18 2020-05-29 北京地平线机器人技术研发有限公司 信息交互方法、信息交互装置、 电子设备和计算机可读存储介质
KR102442084B1 (ko) * 2017-11-07 2022-09-08 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
KR102480728B1 (ko) * 2017-11-10 2022-12-23 삼성전자주식회사 전자장치 및 그 제어방법
KR102519635B1 (ko) * 2018-01-05 2023-04-10 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
KR102540001B1 (ko) * 2018-01-29 2023-06-05 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 화면 표시방법
US20190354603A1 (en) * 2018-05-21 2019-11-21 Qingdao Hisense Electronics Co., Ltd. Display apparatus with intelligent user interface
CN108920128B (zh) * 2018-07-12 2021-10-08 思必驰科技股份有限公司 演示文稿的操作方法及系统
US11197067B2 (en) * 2018-09-20 2021-12-07 At&T Intellectual Property I, L.P. System and method to enable users to voice interact with video advertisements
US10958969B2 (en) 2018-09-20 2021-03-23 At&T Intellectual Property I, L.P. Pause screen video ads
CN110956961A (zh) * 2018-09-27 2020-04-03 中强光电股份有限公司 智能语音系统及利用智能语音系统控制投影机的方法
CN109218843B (zh) * 2018-09-27 2020-10-23 四川长虹电器股份有限公司 基于电视设备的个性化智能语音提示方法
US20200135191A1 (en) * 2018-10-30 2020-04-30 Bby Solutions, Inc. Digital Voice Butler
US10908883B2 (en) * 2018-11-13 2021-02-02 Adobe Inc. Voice interaction development tool
US10847156B2 (en) 2018-11-28 2020-11-24 Adobe Inc. Assembled voice interaction
US11017771B2 (en) 2019-01-18 2021-05-25 Adobe Inc. Voice command matching during testing of voice-assisted application prototypes for languages with non-phonetic alphabets
US10964322B2 (en) 2019-01-23 2021-03-30 Adobe Inc. Voice interaction tool for voice-assisted application prototypes
JP2022051970A (ja) * 2019-02-01 2022-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
KR102219943B1 (ko) * 2019-03-13 2021-02-25 주식회사 아이스크림미디어 스마트 마이크 제어 서버 및 시스템
US20220232278A1 (en) * 2019-04-30 2022-07-21 Lg Electronics Inc. Display device for providing speech recognition service
CN111552794B (zh) * 2020-05-13 2023-09-19 海信电子科技(武汉)有限公司 提示语生成方法、装置、设备和存储介质
CN111638928B (zh) 2020-05-21 2023-09-01 阿波罗智联(北京)科技有限公司 应用程序的操作引导方法、装置、设备和可读存储介质
WO2022061293A1 (en) 2020-09-21 2022-03-24 VIDAA USA, Inc. Display apparatus and signal transmission method for display apparatus
CN112272320B (zh) * 2020-10-20 2022-04-15 Vidaa美国公司 一种显示设备及其重名检测方法
CN113301415A (zh) * 2021-04-30 2021-08-24 当趣网络科技(杭州)有限公司 适于视频播放状态下的语音搜索方法
CN115379292B (zh) * 2022-08-19 2023-11-24 Vidaa国际控股(荷兰)公司 一种显示设备及电子节目指南的显示方法
CN117935834B (zh) * 2024-03-12 2024-05-28 深圳市声优创科技有限公司 一种音频智能降噪方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6308157B1 (en) * 1999-06-08 2001-10-23 International Business Machines Corp. Method and apparatus for providing an event-based “What-Can-I-Say?” window
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
CN102763159A (zh) * 2010-01-13 2012-10-31 苹果公司 话音输入的处理
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
JPH11126152A (ja) 1997-10-23 1999-05-11 Atto Mark:Kk ディスプレイ表示選択方法及び装置並びにディスプレイ表示内容を選択するプログラムを記録したコンピュータ読み取り可能な記録媒体
EP1066624A1 (en) * 1998-03-30 2001-01-10 Andrea Electronics Corporation Remote control system for controlling key-press and speech actuated on-line applications
FR2783625B1 (fr) * 1998-09-21 2000-10-13 Thomson Multimedia Sa Systeme comprenant un appareil telecommande et un dispositif de telecommande vocale de l'appareil
US6185535B1 (en) 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
KR100305320B1 (ko) 1998-10-30 2001-11-22 전주범 음성다중텔레비전에서의음성제어방법
US7096185B2 (en) * 2000-03-31 2006-08-22 United Video Properties, Inc. User speech interfaces for interactive media guidance applications
JP3997459B2 (ja) 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7174294B2 (en) * 2002-06-21 2007-02-06 Microsoft Corporation Speech platform architecture
JP2004037998A (ja) 2002-07-05 2004-02-05 Denso Corp 音声制御装置
JP2004239963A (ja) * 2003-02-03 2004-08-26 Mitsubishi Electric Corp 車載制御装置
JP2005065156A (ja) 2003-08-20 2005-03-10 Victor Co Of Japan Ltd 音声認識処理システム及びそれに用いる映像信号記録再生装置
US7558744B2 (en) * 2004-01-23 2009-07-07 Razumov Sergey N Multimedia terminal for product ordering
CN1713271A (zh) * 2004-06-15 2005-12-28 三洋电机株式会社 遥控系统、控制器、向计算机提供控制器功能的程序
JPWO2007000944A1 (ja) * 2005-06-28 2009-01-22 シャープ株式会社 電子番組表を表示する電子番組表表示装置
US8311836B2 (en) 2006-03-13 2012-11-13 Nuance Communications, Inc. Dynamic help including available speech commands from content contained within speech grammars
US8656431B2 (en) 2006-07-10 2014-02-18 Mark A. Cavicchia Global interactive program guide application and device
KR101427686B1 (ko) * 2008-06-09 2014-08-12 삼성전자주식회사 프로그램 선택 방법 및 그 장치
US7985284B2 (en) * 2008-08-12 2011-07-26 General Electric Company Inlet air conditioning system for a turbomachine
JP2010072507A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 音声認識検索装置及び音声認識検索方法
US9215509B2 (en) * 2008-12-23 2015-12-15 At&T Intellectual Property I, L.P. Multimedia processing resource with interactive voice response
JP2011071937A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 電子機器
KR20110052863A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 모바일 기기 및 그 제어 신호 생성 방법
JP5584603B2 (ja) * 2010-12-06 2014-09-03 富士通テン株式会社 情報提供システムおよび情報提供装置
US9183832B2 (en) 2011-06-07 2015-11-10 Samsung Electronics Co., Ltd. Display apparatus and method for executing link and method for recognizing voice thereof
KR101897492B1 (ko) 2011-06-07 2018-09-13 삼성전자주식회사 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법
KR20130078486A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6308157B1 (en) * 1999-06-08 2001-10-23 International Business Machines Corp. Method and apparatus for providing an event-based “What-Can-I-Say?” window
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
CN102763159A (zh) * 2010-01-13 2012-10-31 苹果公司 话音输入的处理
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756820A (zh) * 2017-11-08 2019-05-14 成都星环科技有限公司 一种无线低音环绕影音系统
CN108920125A (zh) * 2018-04-03 2018-11-30 北京小蓦机器人技术有限公司 一种用于确定语音识别结果的方法与设备

Also Published As

Publication number Publication date
EP4114011A1 (en) 2023-01-04
EP3393128B1 (en) 2022-09-21
US20140195243A1 (en) 2014-07-10
KR20140089861A (ko) 2014-07-16
CN103916708A (zh) 2014-07-09
US9520133B2 (en) 2016-12-13
WO2014107097A1 (en) 2014-07-10
US20160307575A1 (en) 2016-10-20
EP2752764B1 (en) 2018-08-29
EP2752764A3 (en) 2015-06-24
US9396737B2 (en) 2016-07-19
JP2014132756A (ja) 2014-07-17
EP2752764A2 (en) 2014-07-09
EP3393128A1 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
CN107066227A (zh) 显示装置和用于控制显示装置的方法
CN103517119B (zh) 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
US11700409B2 (en) Server and method for controlling server
CN103916687A (zh) 显示装置和控制显示装置的方法
CN103916704A (zh) 对话型接口设备及其控制方法
CN103517094B (zh) 服务器和控制该服务器的方法
CN103516711A (zh) 显示设备、用于控制显示设备的方法和交互系统
CN107564519A (zh) 交互服务器及其控制方法和交互系统
CN103546763A (zh) 用于提供内容信息的方法和广播接收设备
JP7297266B2 (ja) 検索支援サーバ、検索支援方法及びコンピュータプログラム
CN117809658A (zh) 一种服务器、终端及语音识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication