CN106796496B - 显示设备及其操作方法 - Google Patents
显示设备及其操作方法 Download PDFInfo
- Publication number
- CN106796496B CN106796496B CN201480081712.9A CN201480081712A CN106796496B CN 106796496 B CN106796496 B CN 106796496B CN 201480081712 A CN201480081712 A CN 201480081712A CN 106796496 B CN106796496 B CN 106796496B
- Authority
- CN
- China
- Prior art keywords
- text
- voice command
- voice
- user
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 230000006870 function Effects 0.000 claims description 58
- 230000004044 response Effects 0.000 claims description 9
- 238000011017 operating method Methods 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 description 100
- 238000012549 training Methods 0.000 description 41
- 230000008859 change Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
根据本发明的一个实施例的显示设备操作方法，包括下述步骤：接收用户的语音命令；如果与接收到的语音命令相对应的显示设备的功能没有被存储并且以参考频率或者更大频率接收语音命令，则存储语音命令；并且如果再次接收到语音命令，则执行与再次接收到的语音命令相对应的显示设备的功能。
Description
技术领域
本发明涉及一种显示设备及其操作方法，并且更加具体地，涉及用于通过存储由用户频繁发出的语音命令在没有与服务器的任何关联的情况下执行与语音命令相对应的功能的显示设备，以及该显示设备的操作方法。
背景技术
语音识别技术是将人类发出的语音转换成字符、代码等等使得终端能够识别语音的技术。语音识别技术使字符以比如果通过打字输入字符更快的速度被输入。因此，已经积极地进行用于增加语音识别技术的精确度的研究。
要求各种技术以使机器能够理解自然语言并且执行自然对话。首先，用于将人类的语音转换成文本的语音到文本(STT)是领先的使得机器和人类使用声音相互通信。如果用户的语音通过STT被转换成文本，则输入文本以各种形式被分析。分析用户的语音意指什么或者用户的语音有什么意图。然后，如果分析用户已经问了关于某个目的的问题，则使用搜索和语义技术搜索用户所期待的回答。然后，以句子的形式最终创建对用户的问题的回答的语言产生过程被执行，并且通过与STT相反的文本到语音(TTS)回答作为语音递送给用户。
然而，通常，仅在服务器中执行自然语言识别处理过程。因此，为了执行用于控制TV的语音命令，TV始终被要求与服务器相关联。存在在TV和服务器之间的关联增加所要求执行语音命令的时间的问题。
发明内容
技术问题
本发明的目的是为了提供一种显示设备和显示设备的操作方法，该显示器通过存储用户频繁地发出的语音命令，在没有与服务器的任何关联的情况下，能够减少执行与语音命令相对应的显示设备的功能所要求的时间，使得控制显示设备的功能。
技术方案
根据本发明的实施例，提供一种用于操作显示设备的方法，该方法包括：接收用户的语音命令；如果与接收到的语音命令相对应的显示设备的功能没有被存储，并且以参考频率或者更大频率接收语音命令，则存储语音命令；以及如果再次接收到语音命令，则执行与再次接收到的语音命令相对应的显示设备的功能。
根据本发明的实施例，提供一种显示设备，包括：存储单元；网络接口单元，该网络接口单元被配置成提供用于通过有线/无线网络连接到外部的接口；语音识别单元，该语音识别单元被配置成接收用户的语音命令；以及控制单元，该控制单元被配置成，如果与接收到的语音命令相对应的显示设备的功能没有被存储，并且以参考频率或者更大频率接收语音命令，则存储语音命令；并且如果再次接收到语音命令，则执行与再次接收到的语音命令相对应的显示设备的功能。
有益效果
根据本发明的各种实施例，不要求显示设备与服务器关联以便使用语音命令控制显示设备的功能，使得能够减少对于执行与语音命令相对应的显示设备的功能所要求的时间。
此外，根据本发明的各种实施例，能够基于特定的用户发出的语音命令的模式提供用户定制的语音识别服务。
附图说明
图1是图示根据本发明的实施例的显示设备的配置的框图。
图2是图示根据本发明的实施例的语音识别系统的图。
图3是图示根据本发明的实施例的语音识别系统的操作方法的流程图。
图4图示根据本发明的实施例的执行模式匹配以将语音命令转换成文本的过程。
图5图示根据本发明的实施例的检查是否与用户的语音命令相对应的文本模式已经与存储在NLP DB中的语音识别模式匹配的过程。
图6图示根据本发明的实施例的组成表示用户的话语意图的结果的意图分析结果的语法。
图7和图8图示根据本发明的实施例的与用户的语音命令相对应的模式被添加到NLP DB和STT DB的示例。
图9至图12是图示分析由用户频繁发出的语音命令的模式并且基于分析结果通过本身执行自然语音识别处理的视图。
图13至图15图示选择在显示设备中频繁地使用的应用或者菜单中可选择的菜单项目作为训练目标的实施例。
图16是图示根据本发明的实施例的NLP服务器对用户的语音命令执行意图分析并且更新显示设备中的意图分析结果的过程的视图。
具体实施方式
现在，涉及本发明的实施例将参考附图被详细地描述。在撰写本说明书时考虑简单性，在下文描述中针对组件使用的后缀“模块”和“单元”被指配或混用，且后缀本身没有任何特定的意义或者功能。
根据本发明的实施例的显示设备，例如作为向广播接收功能添加计算机支持功能的人工显示设备，在实现广播接收功能同时，由于互联网功能被添加，可以具有易使用的接口，诸如书写输入设备、触摸屏幕、或空间远程控制器。随后，在有线或无线互联网功能的支持下，访问互联网和计算机执行现e-mail、网页浏览、银行业务或游戏功能是可能的。为了这样的各种功能，标准化的通用OS可以被使用。
因此，由于在通用OS内核上，各种应用被自由地添加或删除，因此在本发明中描述的显示设备，作为示例，能够执行各种用户友好的功能。更详细地，显示设备可以是网络TV、HBBTV、智能TV、LED TV、OLED TV等，且在一些情况下，可以被应用于智能电话。
图1是图示根据本发明的实施例的显示设备的配置的框图。
参考图1，显示设备100可以包括广播接收单元130、外部设备接口单元135、存储单元140、用户输入接口单元150、控制单元170、显示单元180、音频输出单元185、和电源供应单元190。
广播接收单元130可以包括调谐器131、解调制单元132和网络接口单元133。
调谐器131能够根据频道选择命令选择特定的广播频道。调谐器131能够针对选取的特定广播频道接收广播信号。
解调制单元132能够将接收的广播信号划分为视频信号、音频信号和涉及广播节目的数据信号，且将划分的视频信号、音频信号和数据信号存储为输出可用形式。
外部设备接口单元135能够接收在邻近的外部设备中的应用或应用列表，且将其递送到控制单元170或存储单元140。
外部设备接口135能够在显示设备100和外部设备之间提供连接路径。外部设备接口135能够接收从无线或有线连接到显示设备100的外部设备输出的图像和音频至少之一，且将其递送到控制单元。外部设备接口单元135可以包括多个外部输入端子。多个外部输入端子可以包括RGB端子、至少一个高清晰度多媒体接口(HDMI)端子、和组件端子。
网络接口单元133能够提供用于将显示设备100连接到包括互联网的有线/无线网络的接口。网络接口单元133可以通过接入网络或链接到接入网络的另一网络，向另一用户或另一电子设备发送数据或从另一用户或另一电子设备接收数据。
另外，存储在显示设备100中的一些内容数据可以被发送到用户或电子设备，用户或电子设备从在显示设备100中预注册的其他用户或其他电子设备中选取。
网络接口单元133能够通过接入网络或链接到接入网络的另一网络访问预先确定的网页。也即，它能够通过经过网络访问预先确定的网页，发送数据到对应的服务器或者从对应的服务器接收数据。
随后，网络接口单元133能够接收由内容提供方或网络运营商提供的内容或数据。也即，网络接口单元133能够接收由内容提供方或网络运营商提供的诸如电影、广告、游戏、VOD、和广播信号的内容，以及与之有关的信息。
另外，网络接口单元133能够接收由网络运营商提供的固件更新信息和更新文件，且将数据发送到互联网或内容提供方或网络运营商。
网络接口单元133能够通过网络在对公众开放的应用中选择和接收期望的应用。
存储单元140能够存储信号处理的图像、语音、或为了在控制单元170中的每个信号处理和控制而被程序存储的数据信号。
另外，存储单元140能够执行用于临时存储图像、语音或从外部设备接口单元135或网络接口单元133输出的数据信号的功能，且能够通过频道存储器功能存储关于预先确定的图像的信息。
存储单元140能够存储从外部设备接口单元135或网络接口单元133输入的应用或应用列表。
显示设备100能够播放存储在存储单元140中的内容文件(例如，视频文件、静态图像文件、音乐文件、文档文件、应用文件等)且将其提供给用户。
用户输入接口单元150能够将从用户输入的信号递送到控制单元170，或将信号从控制单元170递送到用户。作为示例，用户输入接口单元150能够从远程控制设备200接收或处理诸如开机/关机、频道选择和屏幕设置的控制信号，或根据诸如蓝牙、超宽带(WB)、紫蜂(ZigBee)、射频(RF)和IR的各种通信方法，从控制单元170发送控制信号到远程控制设备200。
另外，用户输入接口单元150可以将从诸如电源键、频道键、音量键和设置键的本地键(local key)(未示出)输入的控制信号递送到控制单元170。
在控制单元170中图像处理的图像信号能够被输入到显示单元180且作为与对应的图像信号相对应的图像被显示。另外，在控制单元170中图像处理的图像信号能够通过外部设备接口单元135被输入到外部输出设备。
在控制单元170中处理的语音信号能够被输出到音频输出单元185。另外，在控制单元170中处理的语音信号可以通过外部设备接口单元135被输入到外部输出设备。
除此之外，控制模块170能够控制显示设备100中的整体操作。
另外，控制单元170能够通过经由用户输入接口单元150输入的用户命令或内部程序控制显示设备100，且在访问网络时将期望的应用或应用列表下载到显示设备100中。
控制单元170能够通过显示单元180或音频输出单元185，将被用户选取的频道信息与处理的图像或语音信号一起输出。
另外，根据通过用户输入接口单元150接收的外部设备图像回放命令，控制单元170能够通过显示单元180或者音频输出单元185，输出诸如相机或摄影机的外部设备的图像信号或语音信号，该图像信号或语音信号通过外部设备接口单元135被输入。
另外，控制单元170能够控制显示单元180以显示图像，且控制通过调谐器131输入的广播图像、通过外部设备接口单元135输入的外部输入图像、通过网络接口单元输入的图像、或存储在存储单元140中的图像以被显示在显示单元180上。在这种情况下，在显示单元180上显示的图像可以是静态图像或视频，且也可以是2D图像或3D图像。
另外，控制单元170能够播放存储在显示设备100中的内容、接收的广播内容和由外部输入的外部输入内容，且内容可以是各种格式，诸如广播图像、外部输入图像、音频文件、静态图像、访问的web画面、和文档文件。
显示单元180能够将在控制单元170中处理的图像信号、数据信号或OSD信号，或将在外部设备接口单元135中接收的图像信号或数据信号，转换成R、G和B信号以生成驱动信号。
此外，在图1中示出的显示设备100仅是本发明的一个实施例，且因此，根据实际实现的显示设备100的规范，一些示出的组件可以被集成、添加或略去。
即，如果必要，两个或更多个组件能够被集成为一个组件，或一个组件可以被分成两个或更多个组件且被配置。另外，被每个块执行的功能是为了描述本发明的实施例，且其特定操作或设备不限制本发明的范围。
根据本发明的另一个实施例，不同于图1，显示设备100能够通过网络接口单元133或外部设备接口单元135接收图像，且播放它们，无需包括调谐器131和解调制单元132。
例如，显示设备100可以被分为用于根据各种网络服务接收广播信号或内容的诸如机顶盒的图像处理设备，和用于播放从图像处理设备输入的内容的内容回放设备。
在这种情况下，下文描述的根据本发明的实施例的显示设备的操作方法可以参考图1描述的显示设备、诸如分离的机顶盒的图像处理设备、以及包括显示单元180和音频输出单元185的内容回放设备的至少之一被执行。
接下来，将会参考图2描述根据本发明的实施例的语音识别系统。
参考图2，语音识别系统10可以包括显示设备100、语音到文本服务器(STT服务器)300以及自然语言服务器(NLP服务器)500。
显示设备100可以通过网络接口单元133向STT服务器300和NLP服务器500提供用于有线/无线网络连接的接口。
除了在图1中图示的组件之外，显示设备100可以进一步包括语音识别单元171、语音到文本DB(STT DB)173、自然语言识别处理单元175、以及自然语音识别处理DB(NLP DB)177。
语音识别单元171可以包括诸如麦克风的语音输入单元，以接收用户的语音命令。语音输入单元可以被提供作为与语音识别单元171分离的组件。语音输入单元可以被包括在图1中描述的用户输入接口单元150中。语音识别单元171可以将通过麦克风输入的语音命令处理成电子语音数据。
STT DB 173可以存储在语音命令和与其相对应的文本模式之间的相对应关系。
自然语言识别处理单元(NLP客户端)175可以从语音识别单元171接收转换的文本，并且检查是否文本模式匹配于预存的语音识别模式。作为NLP客户端175的匹配结果，如果文本模式匹配于预存的语音识别模式，则控制单元170可以执行与匹配的语音识别模式相对应的显示设备100的功能。
NLP DB 177可以存储在显示设备100的功能和与其相对应的语音识别模式之间的对应关系。
语音识别单元171、STT DB 173、NLP客户端175、以及NLP DB 177可以被包括在控制单元170中。STT服务器300可以将从语音识别单元171接收到的语音命令转换成文本模式(S109)，并且将被转换的文本模式发送到语音识别单元171。
NLP服务器500可以根据从NLP客户端175接收到的意图分析请求来分析与文本模式有关的用户的意图(S119)，并且将意图分析结果发送到NLP客户端175。
接下来，将会参考图3描述根据本发明的实施例的语音识别系统的操作方法。
图3是图示根据本发明的实施例的语音识别系统的操作方法的流程图。
显示设备100的语音识别单元171接收用户的语音命令(S101)。语音识别单元171可以包括诸如麦克风的语音输入单元，以接收用户的语音命令。语音输入单元可以被提供作为与语音识别单元171分离的组件。语音输入单元可以被包括在图1中描述的用户输入接口单元150中。语音识别单元171可以将通过麦克风输入的语音命令处理成电子语音数据。
在实施例中，语音识别单元171可以在显示设备100的网络被阻止的状态下接收用户的语音命令。显示设备100的网络被阻止的状态可以表示显示设备100的网络没有被连接到STT服务器300和NLP服务器500的状态。
在另一实施例中，语音设备单元171可以在显示设备100的网络被连接的状态下接收用户的语音命令。显示设备100的状态被连接的状态可以表示显示设备100的网络被连接到STT服务器300和NLP服务器500的状态。
显示设备100的语音识别单元171可以确定是否与接收语音命令相对应的文本数据已经匹配STT DB 173中的预存的文本模式(S103)。语音识别单元171可以搜索STT DB173以检查是否与接收语音命令相对应的文本数据已经匹配预存的文本模式。STT DB 173可以存储在多个语音命令和多个文本模式之间的对应关系。语音识别单元171可以通过搜索STT DB 173确定是否与接收语音命令相对应的文本数据已经匹配多个文本模式中的每一个。将会参考图4对其进行描述。
图4图示根据本发明的实施例的执行模式匹配以将语音命令转换成文本的过程。
如果用户发出称为“上调改变频道”的语音，则语音识别单元171接收称为“上调改变频道”的语音命令，并且将接收到的语音命令转换成文本数据。语音识别单元171执行在被存储在STT DB 173中的文本模式与对应于语音命令的文本数据之间的匹配过程。假定被存储在STT DB 173中的文本模式是(NBC、PBS、SOS、以及ABS)。语音识别单元171可以确定表示在对应于语音命令的文本数据和预存的文本模式之间的相似程度的相似度。如果在对应于语音命令的文本数据和预存的文本模式之间的相似度超过阈值相似度，则语音识别单元171可以确定文本数据已经匹配对应的预存的文本模式。如果在对应于语音命令的文本数据和预存的文本模式之间的相似度小于阈值相似度，则语音识别单元171可以确定文本数据还没有匹配对应的预存的文本模式。参考图4，参考相似度可以被设置为4000的值。与称为“上调改变频道”的语音命令相对应的文本数据与是预存的文本模式的NBC具有1000的相似度，与预存的文本模式PSB具有2500的相似度，与预存的文本模式S0S具有2000的相似度，并且与预存的文本模式ABS具有1560的相似度，其没有超过参考相似度4000。因此，语音识别单元171能够确定与称为“上调改变频道”的语音命令相对应的文本数据还没有匹配预存的文本模式。即，语音识别单元171没有识别用户发出的称为“上调改变频道”的语音命令。
再次，将会描述图3。
作为确定结果，如果与语音命令相对应的文本数据匹配预存的文本模式，则显示设备100的语音识别单元171将对于文本数据的意图分析的意图分析结构发送到NLP服务器500(S117)。
作为确定结果，如果与语音命令相对应的文本数据没有匹配预存的文本模式，则显示设备100的语音识别单元171将语音命令发送到STT服务器300(S107)。语音识别单元171可以将与语音命令相对应的语音信号发送到STT服务器300使得获取与语音命令相对应的文本模式。在实施例中，如果与语音命令相对应的文本数据不匹配预存的文本模式，则显示设备100的控制单元170可以输出不存在与语音命令相对应的文本模式。使用包括消息、声音等等的各种通知方法可以执行输出。另外，如果与语音命令相对应的文本数据不匹配预存的文本模式，则显示设备100的控制单元170可以输出与语音命令相对应的显示设备100的功能不能够被执行。
STT服务器300将从语音识别单元171接收到的语音命令转换成文本模式(S109)，并且将转换的文本模式发送到语音识别单元171(S111)。STT服务器300可以存储在用户的语音命令和与其相对应的文本模式之间的对应关系。
显示设备100的NLP客户端175从语音识别单元171接收转换的文本模式，并且检查是否文本模式已经匹配预存的语音识别模式(S113)。
NLP客户端175可以检查是否文本模式已经匹配预存的语音识别模式使得执行与文本模式相对应的显示设备100的功能。在实施例中，NLP DB 177可以存储在显示设备100的功能和与其相对应的语音识别模式之间的对应关系。显示设备100的一个功能可以对应于多个语音识别模式。NLP客户端175可以将被存储在NLP DB 177中的多个语音识别模式中的每一个与接收到的文本模式进行比较并且检查是否文本模式已经匹配语音识别模式。参考图5将会对其进行描述。
图5图示根据本发明的实施例的检查是否与用户的语音命令相对应的文本模式已经匹配被存储在NLP DB中的语音识别模式的过程。
参考图5，如果用户发出称为“上调改变频道”的语音，则NLP客户端175通过图3的过程获取与称为“上调改变频道”的语音命令相对应的文本模式。NLP DB 177存储对应于被存储的频道功能的多个语音识别模式，即，被称为“频道上调”、“请上调改变频道”、以及“请你上调改变频道”的模式。因为在NLP DB 177中没有存储称为“上调改变频道”的文本模式，所以NLP客户端175可以检查是否与语音命令相对应的文本模式还没有匹配被存储在NLPDB 177中的语音识别模式。因此，显示设备100能够识别相对应的语音命令并且因此不能够执行显示设备100的功能。
再次，将会描述图3。
作为匹配结果，如果文本模式匹配预存的语音识别模式，则控制单元170执行与匹配额语音识别模式相对应的显示设备100的功能(S115)。
作为匹配结果，如果文本模式不匹配预存的语音识别模式，则NLP客户端175将用于分析相对应的文本模式的意图的意图分析请求发送到NLP服务器500(S117)。
在实施例中，NLP客户端175可以检查与用户的语音命令相对应的文本模式的使用频率。如果与语音命令相对应的文本模式的使用频率超过参考用户频率，则NLP客户端175可以请求NLP服务器500对文本模式进行意图分析。将会参考图9对其进行详细描述。
在另一实施例中，可以通过NLP服务器500检查与语音命令相对应的文本模式的用户频率。将会参考图10对其进行详细描述。
在实施例中，如果文本模式不匹配预存的语音识别模式，则显示设备100的控制单元170可以输出与文本模式相对应的显示设备100的功能不能够被执行。在输出与文本模式相对应的显示设备100的功能不能够被执行之后，NLP客户端175可以将意图分析请求发送到NLP服务器500。
NLP服务器500根据从NLP客户端175接收到的意图分析请求分析与文本模式有关的用户的意图(S119)，并且将意图分析结果发送到NLP客户端175(S121)。在此，用户的意图可以表示允许显示设备100执行特定功能的目的。NLP服务器500可以检查接收到的文本模式控制显示设备100的哪个功能。NLP服务器500可以使用在本领域中已知的自然语言识别处理技术分析与文本模式有关的用户的意图。NLP服务器500可以通过语素分析、语义分析、言语行为分析、以及对话处理分析检测用户的意图。语素分析是将文本模式划分成是最小的意义单元的语素单元并且检测每个语素具有语音的哪个部分的过程。语义分析是基于诸如名词短语、动词短语、或者形容词短语的特定参考分析文本模式、使用语素分析结果，并且检测在被划分的短语之间存在哪种关系的模式过程。可以通过语义分析检测语音命令的主格、宾格以及限定词。言语行为分析是分析用户的话语意图以检查是否用户问问题、请求信息、或者表达简单表情的过程。如果用户的话语意图被检测，则执行用于适当回答的对话处理过程，诸如回答用户的语音命令的过程、作出响应的过程、或者采取用户所期待的行为的过程。
在另一实施例中，用户的意图分析没有经过NLP服务器500而是可以通过NLP客户端175执行。
NLP服务器500发送到NLP客户端175的意图分析结果可以包括如在图6中所图示的语法。
图6图示根据本发明的实施例的组成表示用户的话语意图的结果的意图分析结果的语法。
参考图6，是对NLP服务器500的响应的意图分析结果可以包括命令字段和行为字段。命令字段是表示用户的语音命令被用于控制的设备的字段。例如，命令：tv_control，表示用户的语音命令被用于控制TV(显示设备)的功能，可以被用作命令字段。行为字段是表示对应的设备的功能要被执行的字段。例如，行为：表示TV的频道上调的channel_up可以被用作行为字段。
再次，将会描述图3。
显示设备100的NLP客户端175基于接收到的意图分析结果使与语音命令相对应的文本模式与对应于文本模式的显示设备100的功能相匹配，使得将匹配的结果存储在NLPDB 177中(S123)。即，NLP客户端175可以使与没有被存储的用户的语音命令相对应的文本模式与对应的功能匹配。因此，显示设备100的NLP客户端175能够获取用于对应于用户的语音命令的文本模式的意图分析结果，而不向NLP服务器500请求意图分析结果，并且立即执行与语音命令相对应的显示设备100的功能。
在实施例中，NLP客户端175可以向语音识别单元171发送用于将基于意图分析结果获取的、与用户的语音命令相对应的文本模式添加到STT DB 173的请求。语音识别单元171可以根据接收到的请求将与用户的语音命令相对应的文本模式存储在STT DB 173中。将会参考图7和图8描述与用户的语音命令相对应的文本模式添加到NLP DB 177和STT DB173的示例。
图7和图8图示根据本发明的实施例的与用户的语音命令相对应的模式被添加到NLP DB和STT DB的示例。
参考图7，除了预存为用户的话语语音的“频道上调”和“请上调改变频道”之外，NLP DB 177还可以另外存储“上调改变频道”，对应于显示设备100的频道上调功能。即，能够看到称为“上调改变频道”的语音识别模式已经被添加到显示设备100的频道上调功能。
参考图8，除了预存的文本模式“频道上调”和“请上调改变频道”之外，STT DB 173还可以另外存储称为“上调改变频道”的文本模式。
再次，将会描述图3。
显示设备100的语音识别单元171检查是否已经再次接收到在步骤S101中接收到的语音命令(S125)。如果再次接收到语音命令，则语音识别单元171执行与语音命令相对应的显示设备100的功能(S127)。
根据本发明的实施例，即使与用户发出的语音命令相对应的文本模式不匹配预存的语音识别模式，显示设备100也能够存储对应的语音命令和与其相对应的功能。因此，如果语音命令被再次输入，则显示设备100能够识别对应的语音命令而没有与STT服务器300和NLP服务器500的任何关联，并且通过本身对被识别的语音命令执行自然语言识别处理。
接下来，将会参考图9至图12描述分析通过用户频繁发出的语音命令并且基于分析结果通过本身执行自然语言识别处理的实施例。
图9是根据本发明的实施例的显示设备分析用户的话语模式并且选择训练目标以通过本身对语音命令执行自然语言识别处理的参考的视图。
选择训练目标的理由是，如果用户频繁发出的语音命令存在但是对应于没有被存储在显示设备100的NLP DB 177中的语音识别模式，则通过本身对频繁地发出的语音命令执行自然语言识别处理而没有与服务器的任何关联。
在实施例中，显示设备100可以基于用户话语日志选择特定语音命令作为训练目标。当语音命令变成训练目标时，没有被存储在显示设备100的NLP DB 177中的语音识别模式可以变成候选。参考图9，显示设备100的控制单元170可以频繁地存储用户发出的语音命令，并且基于存储结果生成用户话语日志。显示设备100的控制单元170可以存储用于显示设备100的各个功能的用户的话语日志。图9图示与频道上调功能相对应的用户的话语日志。参考图9，因为在被包括在用户的话语日志中的语音命令当中的“上调改变频道”被最频繁地发出14次，所以显示设备100的控制单元170可以选择“上调改变频道”作为训练目标。在另一实施例中，显示设备100的控制单元170可以选择在被包括在用户的话语日志中的语音命令当中的发出预设的次数或者更多的语音命令作为训练目标。
接下来，将会描述图10。
图10是图示根据本发明的实施例的NLP服务器分析用户的话语模式并且选择训练目标以通过本身对语音命令执行自然语言识别处理的参考的视图。
NLP服务器500可以从与各自的用户相对应的多个显示设备接收通过多个用户发出的语音命令。NLP服务器500可以选择在与显示设备100的特定功能相对应的语音命令当中的最频繁地发出的语音命令作为训练目标。例如，NLP服务器500可以分析存储的所有用户的话语模式并且选择最频繁发出的语音命令“上调改变频道”作为训练目标。在另一实施例中，NLP服务器500可以选择在被存储的语音命令当中的发出预设次数或者更多的语音命令作为训练目标。
接下来，将会描述图11和图12。
首先，图11图示训练所选择的语音命令的实施例。
参考图11，NLP客户端175可以将用于选择与通过显示设备100选择的语音命令(上调改变频道)相对应的文本模式作为训练目标的选择请求发送到NLP服务器500。对应于选择请求，NLP服务器500可以将通知称为“上调改变频道”的文本模式已经被选择作为训练目标的选择响应发送到NLP客户端175。选择响应可以包括表示显示设备100的功能的命令字段、表示显示设备100的频道上调功能的行为字段、以及通知文本模式已经被选择作为训练目标的训练请求(need_to_training)字段。
图12图示显示设备从NLP服务器获取对其执行训练的语音命令的列表的实施例。
参考图12，NLP客户端175可以将用于请求对其执行训练的语音命令的列表的训练列表请求(得到训练列表)发送到NLP服务器500。NLP服务器500可以将包括根据训练列表请求对其执行训练的语音命令的列表响应发送到NLP客户端175。在NLP DB 177中，基于接收到的列表响应，NLP客户端175可以将与对其执行训练的语音命令相对应的文本模式添加到与显示设备100的功能相对应的语音识别模式。而且，NLP客户端175可以向语音识别单元171发送用于将与对其执行训练的语音命令相对应的文本模式存储在STT DB 173中的请求。根据从NLP客户端175接收到的请求，语音识别单元171可以将与对其执行训练的语音命令相对应的文本模式存储在STT DB 173中。因此，如果接收到被添加的语音命令，则显示设备100能够对语音命令执行自然语言识别处理而没有与STT服务器300和NLP服务器500的没有任何关联。
接下来，将会参考图13至图15描述选择在显示设备中频繁地使用的应用或者菜单中可选择的菜单项目作为训练目标的实施例。
显示设备100可以基于用户的使用模式生成使用模式日志。在实施例中，使用模式可以表示用户在预设时段期间使用显示设备100的特定应用的时间。例如，如在图13中所示，使用模式日志包括使用直播TV应用的时间25334、使用网络浏览器应用的时间2212、以及使用STB应用的时间2234。基于用户模式日志，显示设备100的控制单元170可以模式选择最频繁使用的应用直播TV应用作为训练目标的基础。
图14图示直播TV应用的执行屏幕。直播TV应用的执行屏幕可以包括广播再现屏幕和TV菜单屏幕。TV菜单屏幕可以包括广播菜单、频道列表以及记录列表。广播菜单、频道列表、以及记录列表中的每一个可以是通过用户输入可执行的文本。
显示设备100的控制单元170可以选择被包括在TV菜单屏幕中的称为“广播菜单”、“频道列表”以及“记录列表”的文本模式作为用于自然语言识别处理的训练目标。控制单元170可以生成被包括在TV菜单屏幕中的“广播菜单”、“频道列表”以及“记录列表”的训练选择列表，并且将生成的训练选择列表发送到NLP服务器500。显示设备100可以从NLP服务器500接收通过对训练选择列表执行自然语言处理获得的训练结果，并且将接收到的训练结果存储在NLP DB 177中。
同时，如果在图14的TV菜单屏幕上选择“广播菜单”，则如在图15中所示，显示设备100可以显示广播菜单的下级项目。广播菜单的下级项目可以包括偏好频道、频道设置以及图片质量设置。显示设备100的控制单元170可以选择作为广播菜单的下级项目的被称为“偏好频道”、“频道设置”以及“图片质量设置”的文本模式作为用于自然语言处理的训练目标。控制单元170可以生成包括广播菜单的下级项目“偏好频道”、“频道设置”以及“图片质量设置”的训练选择列表，并且将生成的训练选择列表发送到NLP服务器500。显示设备100可以从NLP服务器500接收通过对训练选择列表执行自然语言处理获得的训练结果，并且将接收到的训练结果存储在NLP DB 177中。如果用户在使用直播TV应用期间发出被称为“广播菜单”的语音命令，则显示设备100可以接收发出的“广播菜单”并且显示广播菜单的下级项目。另外，如果用户发出被称为“偏好频道”的语音命令，则显示设备100可以接收被发出的“偏好频道”并且显示偏好频道列表。即，基于语音命令的训练结果，显示设备100可以立即执行与语音命令相对应的功能而没有与NLP服务器500的任何关联。
接下来，将会描述图16。
图16是图示根据本发明的实施例的NLP服务器对用户的语音命令执行意图分析并且在显示设备中更新意图分析结果的过程的视图。
NLP DB 177可以存储与显示设备100的频道改变功能相对应的语音识别模式。语音识别模式可以被划分成意图部分和目标部分以被存储在NLP DB 177中。例如，被称为“将频道改变成NBC”的语音识别模式可以被划分成表示被称为“改变频道”的频道变化的意图部分和表示被称为“NBC”的特定频道的目标部分以被存储在NLP DB 177中。当语音识别模式被划分成意图部分和目标部分时，对其能够执行自然语言识别处理的话语模式可以被配置成意图部分和目标部分的组合，诸如“请将频道改变成NBC”、“将频道改变成NBC如何”、“请将频道改变成PBC”或者“将频道改变成PBC如何”。
同时，如果显示设备100的NLP客户端175请求NLP服务器500执行被称为“将频道改变成NBC”的语音命令的意图分析，则NLP服务器500响应于请求可以将意图分析结果发送到NLP客户端175。意图分析结果可以包括命令字段、行为字段、频道编号(值)字段、意图(目的)字段、以及目标(nameEntity)字段。频道编号字段可以是表示与被称为“NBC”的频道相对应的频道编号的字段。意图字段可以是表示要改变频道的意图检测结果。目标字段是表示要改变频道的名称的字段。NLP客户端175可以将从NLP服务器500接收到的意图分析结果存储在NLP DB 177中。基于意图分析结果，NLP客户端175可以将与语音命令相对应的语音识别模式划分成意图部分和目标部分以在NLP DB 177中更新。
根据本发明的实施例，显示设备100可以检测接收特定语音命令的频率，不论用户发出什么。然后，如果检测到的频率是参考频率或者更多，则显示设备100可以获取和存储特定语音命令之间的对应关系、与特定语音命令相对应的文本模式、与特定语音命令相对应的语音识别模式、以及与特定语音命令相对应的显示设备100的功能。因此，尽管任何用户发出特定语音命令，但是显示设备100能够立即执行与特定语音命令相对应的功能，而没有与STT服务器300和NLP服务器500的没有任何关联。
此外，根据本发明的实施例，显示设备100可以为各个用户提供用户定制的语音识别服务。例如，显示设备100可以基于用户的语音命令的语音组件识别用户。显示设备100可以从识别的用户接收相同的语音命令多次。如果接收到对应的语音命令的频率是参考频率或者更多，则显示设备100可以获取与语音命令相对应的文本模式，以及文本模式的意图分析结果，如在图2中所图示。在这样的情况下，尽管通过不同的用户以参考频率或者更大接收到相同的语音命令，但是显示设备100可以不存储与语音命令相对应的显示设备100的功能。即，如果用户以参考频率或者更大发出语音命令，则显示设备100可以获取发出的语音命令的意图分析结果。显示设备100可以基于意图分析结果获取在特定用户、特定用户的语音命令、以及与特定用户的语音命令相对应的显示设备100的功能之间的对应关系。因此，显示设备能够提供适合于特定用户的语音识别服务。
根据本发明的实施例，前述的方法能够被实现为在通过程序写入的介质上由处理器可读取的代码。计算机可读介质的示例能够包括ROM、RAM、CD-ROM、磁带、软盘、以及光数据存储装置等等，并且也包括经由载波(例如，经由互联网的传输)实现的设备。
在上面描述的远程控制设备将不会以被限制的方式应用于上述实施例的配置和方法，并且各个实施例的全部或者部分能够被选择性地组合和配置以对其进行各种修改。
Claims (8)
1.一种用于操作显示设备的方法，所述方法包括：
当在所述显示设备上执行应用预定次数时，经由网络接口单元将通过所述应用的执行屏幕中包括的用户输入可选择的文本发送到服务器；
接收意图分析结果，所述意图分析结果包括与所述文本对应的功能；
将所述意图分析结果存储在存储器中；
经由语音识别单元接收与所述文本相对应的用户的语音命令，以及
基于所述意图分析结果执行与所述文本相对应的所述功能。
2.根据权利要求1所述的方法，执行步骤包括：响应于所接收的语音命令，选择包括在所述执行屏幕中的所述文本。
3.根据权利要求2所述的方法，其中，所述文本表示菜单，并且所述方法进一步包括：根据所述文本的选择，在显示器上显示所述菜单的多个下级菜单项目。
4.根据权利要求3所述的方法，其中，所述多个下级菜单项目包括偏好频道项目、频道设置项目和图片质量设置项目。
5.一种显示设备，包括：
存储器；
显示器；
网络接口单元，被配置为经由网络进行通信；
语音识别单元；和
控制单元，所述控制单元被配置为：
当在所述显示设备上执行应用预定次数时，经由所述网络接口单元将通过应用的执行屏幕中包括的用户输入可选择的文本发送到服务器；
接收意图分析结果，所述意图分析结果包括与所述文本相对应的功能；
将所述意图分析结果存储在所述存储器中；
经由所述语音识别单元接收与所述文本相对应的用户的语音命令，
基于所述意图分析结果执行与所述文本相对应的所述功能。
6.根据权利要求5所述的显示设备，其中，所述控制单元响应于所接收的语音命令来选择包括在所述执行屏幕中的所述文本。
7.根据权利要求6所述的显示设备，其中，所述文本表示菜单，并且所述控制单元进一步被配置为根据所述文本的选择在所述显示器上显示所述菜单的多个下级菜单项目。
8.根据权利要求7所述的显示设备，其中，所述多个下级菜单项目包括偏好频道项目、频道设置项目和图片质量设置项目。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2014-0119006 | 2014-09-05 | ||
| KR1020140119006A KR102304052B1 (ko) | 2014-09-05 | 2014-09-05 | 디스플레이 장치 및 그의 동작 방법 |
| PCT/KR2014/010986 WO2016035933A1 (ko) | 2014-09-05 | 2014-11-14 | 디스플레이 장치 및 그의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106796496A CN106796496A (zh) | 2017-05-31 |
| CN106796496B true CN106796496B (zh) | 2020-09-18 |
Family
ID=55439979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480081712.9A Active CN106796496B (zh) | 2014-09-05 | 2014-11-14 | 显示设备及其操作方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10586536B2 (zh) |
| EP (1) | EP3190512B1 (zh) |
| KR (1) | KR102304052B1 (zh) |
| CN (1) | CN106796496B (zh) |
| WO (1) | WO2016035933A1 (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4372746A2 (en) * | 2014-10-10 | 2024-05-22 | Dolby Laboratories Licensing Corporation | Transmission-agnostic presentation-based program loudness |
| US10417021B2 (en) | 2016-03-04 | 2019-09-17 | Ricoh Company, Ltd. | Interactive command assistant for an interactive whiteboard appliance |
| US10409550B2 (en) * | 2016-03-04 | 2019-09-10 | Ricoh Company, Ltd. | Voice control of interactive whiteboard appliances |
| CN108010523B (zh) * | 2016-11-02 | 2023-05-09 | 松下电器（美国）知识产权公司 | 信息处理方法以及记录介质 |
| KR102594022B1 (ko) | 2016-11-24 | 2023-10-26 | 삼성전자주식회사 | 전자 장치 및 그의 채널맵 업데이트 방법 |
| DE102016123547A1 (de) * | 2016-12-06 | 2018-06-07 | Fm Marketing Gmbh | Natural Language Dialog |
| US10726056B2 (en) * | 2017-04-10 | 2020-07-28 | Sap Se | Speech-based database access |
| US10496363B2 (en) | 2017-06-16 | 2019-12-03 | T-Mobile Usa, Inc. | Voice user interface for data access control |
| US10334415B2 (en) * | 2017-06-16 | 2019-06-25 | T-Mobile Usa, Inc. | Voice user interface for device and component control |
| KR102574294B1 (ko) * | 2017-06-26 | 2023-09-04 | 에스케이텔레콤 주식회사 | 인공지능 플랫폼 제공 장치 및 이를 이용한 컨텐츠 서비스 방법 |
| DE102017123443A1 (de) * | 2017-10-09 | 2019-04-11 | Lenze Automation Gmbh | System für die Steuerung und/oder Diagnose eines elektrischen Antriebssystems |
| CN107833574B (zh) * | 2017-11-16 | 2021-08-24 | 百度在线网络技术（北京）有限公司 | 用于提供语音服务的方法和装置 |
| KR102455067B1 (ko) | 2017-11-24 | 2022-10-17 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| KR102527082B1 (ko) * | 2018-01-04 | 2023-04-28 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| KR102576388B1 (ko) | 2018-02-21 | 2023-09-08 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| CN108538291A (zh) * | 2018-04-11 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 语音控制方法、终端设备、云端服务器及系统 |
| WO2019217355A1 (en) * | 2018-05-08 | 2019-11-14 | Mmodal Ip Llc | Hybrid batch and live natural language processing |
| WO2020005241A1 (en) * | 2018-06-27 | 2020-01-02 | Google Llc | Rendering responses to a spoken utterance of a user utilizing a local text-response map |
| KR20200043075A (ko) * | 2018-10-17 | 2020-04-27 | 삼성전자주식회사 | 전자 장치 및 그 제어방법, 전자 장치의 음향 출력 제어 시스템 |
| CN109325239A (zh) * | 2018-11-05 | 2019-02-12 | 北京智启蓝墨信息技术有限公司 | 学生课堂表现管理方法及系统 |
| WO2020230923A1 (ko) * | 2019-05-15 | 2020-11-19 | 엘지전자 주식회사 | 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법 |
| WO2021002611A1 (en) | 2019-07-03 | 2021-01-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| CN112289320A (zh) * | 2019-07-25 | 2021-01-29 | Tcl集团股份有限公司 | 一种智能终端语音控制方法、系统及可读存储介质 |
| US11019402B2 (en) * | 2019-09-26 | 2021-05-25 | Dish Network L.L.C. | Method and system for implementing an elastic cloud-based voice search utilized by set-top box (STB) clients |
| EP3798090A1 (de) * | 2019-09-27 | 2021-03-31 | Siemens Mobility GmbH | Verfahren zum überwachen einer gesprochenen kommunikation im zugverkehr und zugehöriges zugleitsystem |
| KR20210054800A (ko) * | 2019-11-06 | 2021-05-14 | 엘지전자 주식회사 | 사용자의 음성샘플 수집 |
| CN113360125A (zh) * | 2020-03-05 | 2021-09-07 | 西安诺瓦星云科技股份有限公司 | 图像显示方法、装置和系统 |
| KR20220005348A (ko) * | 2020-07-06 | 2022-01-13 | 삼성전자주식회사 | 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버 |
| CN111935523B (zh) * | 2020-08-17 | 2022-07-22 | 百度在线网络技术（北京）有限公司 | 频道控制方法、装置、设备及存储介质 |
| JP7459760B2 (ja) * | 2020-10-27 | 2024-04-02 | セイコーエプソン株式会社 | 表示システムの制御方法、表示システム |
| DE112021005683T5 (de) * | 2021-01-05 | 2023-10-19 | LG Electronics Inc. | Anzeigevorrichtung |
| US20230153060A1 (en) * | 2021-11-18 | 2023-05-18 | International Business Machines Corporation | Dynamic display accommodations for multiple voice commands |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1746973A (zh) * | 2004-09-06 | 2006-03-15 | 三星电子株式会社 | 分布式语音识别系统和方法 |
| CN103714816A (zh) * | 2012-09-28 | 2014-04-09 | 三星电子株式会社 | 电子装置、服务器及其控制方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4757525A (en) * | 1982-09-29 | 1988-07-12 | Vmx, Inc. | Electronic audio communications system with voice command features |
| WO2000067091A2 (en) | 1999-04-29 | 2000-11-09 | Spintronics Ltd. | Speech recognition interface with natural language engine for audio information retrieval over cellular network |
| GB9911971D0 (en) * | 1999-05-21 | 1999-07-21 | Canon Kk | A system, a server for a system and a machine for use in a system |
| JP4411965B2 (ja) | 2003-12-24 | 2010-02-10 | 日産自動車株式会社 | 音声認識装置および音声認識方法 |
| KR20120035529A (ko) * | 2010-10-06 | 2012-04-16 | 삼성전자주식회사 | 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법 |
| WO2013088287A1 (en) * | 2011-12-12 | 2013-06-20 | International Business Machines Corporation | Generation of natural language processing model for information domain |
| EP2839391A4 (en) * | 2012-04-20 | 2016-01-27 | Maluuba Inc | CONVERSATION AGENT |
| US9767793B2 (en) * | 2012-06-08 | 2017-09-19 | Nvoq Incorporated | Apparatus and methods using a pattern matching speech recognition engine to train a natural language speech recognition engine |
| KR101309794B1 (ko) * | 2012-06-27 | 2013-09-23 | 삼성전자주식회사 | 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템 |
| WO2014083945A1 (ja) * | 2012-11-30 | 2014-06-05 | 三菱電機株式会社 | 意図推定装置および意図推定方法 |
| US20150340031A1 (en) * | 2013-01-09 | 2015-11-26 | Lg Electronics Inc. | Terminal and control method therefor |
| US9123345B2 (en) * | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Voice interface systems and methods |
| US9292254B2 (en) * | 2013-05-15 | 2016-03-22 | Maluuba Inc. | Interactive user interface for an intelligent assistant |
| WO2014189486A1 (en) * | 2013-05-20 | 2014-11-27 | Intel Corporation | Natural human-computer interaction for virtual personal assistant systems |
| US9837075B2 (en) * | 2014-02-10 | 2017-12-05 | Mitsubishi Electric Research Laboratories, Inc. | Statistical voice dialog system and method |
-
2014
- 2014-09-05 KR KR1020140119006A patent/KR102304052B1/ko active IP Right Grant
- 2014-11-14 EP EP14901425.0A patent/EP3190512B1/en active Active
- 2014-11-14 WO PCT/KR2014/010986 patent/WO2016035933A1/ko active Application Filing
- 2014-11-14 US US15/508,848 patent/US10586536B2/en active Active
- 2014-11-14 CN CN201480081712.9A patent/CN106796496B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1746973A (zh) * | 2004-09-06 | 2006-03-15 | 三星电子株式会社 | 分布式语音识别系统和方法 |
| CN103714816A (zh) * | 2012-09-28 | 2014-04-09 | 三星电子株式会社 | 电子装置、服务器及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3190512A1 (en) | 2017-07-12 |
| WO2016035933A1 (ko) | 2016-03-10 |
| KR20160029450A (ko) | 2016-03-15 |
| EP3190512A4 (en) | 2018-04-25 |
| EP3190512B1 (en) | 2022-04-20 |
| CN106796496A (zh) | 2017-05-31 |
| US10586536B2 (en) | 2020-03-10 |
| KR102304052B1 (ko) | 2021-09-23 |
| US20170256260A1 (en) | 2017-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106796496B (zh) | 显示设备及其操作方法 | |
| US11869500B2 (en) | Apparatus, system, and method for generating voice recognition guide by transmitting voice signal data to a voice recognition server which contains voice recognition guide information to send back to the voice recognition apparatus | |
| EP3321929B1 (en) | Language merge | |
| CN109343819B (zh) | 在语音识别系统中控制显示装置的显示装置和方法 | |
| CN108391149B (zh) | 显示设备、控制显示设备的方法、服务器以及控制服务器的方法 | |
| US9886952B2 (en) | Interactive system, display apparatus, and controlling method thereof | |
| JP6375521B2 (ja) | 音声検索装置、音声検索方法、および表示装置 | |
| US10891968B2 (en) | Interactive server, control method thereof, and interactive system | |
| JP6244560B2 (ja) | 音声認識処理装置、音声認識処理方法、および表示装置 | |
| KR102210933B1 (ko) | 음성 신호에 따라 컨텐츠 정보를 검색하여 제공하는 디스플레이 장치, 서버 장치 및 이들을 포함하는 음성 입력 시스템과, 그 방법들 | |
| WO2014103568A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20140019141A1 (en) | Method for providing contents information and broadcast receiving apparatus | |
| US11908467B1 (en) | Dynamic voice search transitioning | |
| US11664024B2 (en) | Artificial intelligence device | |
| CN109326284A (zh) | 语音搜索的方法、装置和存储介质 | |
| KR20240084531A (ko) | 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템 | |
| CN114402383A (zh) | 电子设备及其控制语音识别的方法 | |
| KR20120083025A (ko) | 서로 다른 적어도 2개 이상의 데이터베이스를 이용하여 음성 인식 서비스를 제공하는 멀티미디어 디바이스 및 그 제어 방법 | |
| KR101508444B1 (ko) | 디스플레이 장치 및 이를 이용한 하이퍼링크 실행 방법 | |
| KR102544612B1 (ko) | 영상 콘텐츠 연동형 서비스 제공 방법 및 장치 | |
| KR102091006B1 (ko) | 디스플레이 장치 및 그의 제어 방법 | |
| US20220148600A1 (en) | Systems and methods for detecting a mimicked voice input signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |