JP2014132465A - ディスプレイ装置及びその制御方法 - Google Patents
ディスプレイ装置及びその制御方法 Download PDFInfo
- Publication number
- JP2014132465A JP2014132465A JP2014000948A JP2014000948A JP2014132465A JP 2014132465 A JP2014132465 A JP 2014132465A JP 2014000948 A JP2014000948 A JP 2014000948A JP 2014000948 A JP2014000948 A JP 2014000948A JP 2014132465 A JP2014132465 A JP 2014132465A
- Authority
- JP
- Japan
- Prior art keywords
- content
- user
- information
- voice
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 40
- 230000004044 response Effects 0.000 claims abstract description 180
- 238000004891 communication Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 description 35
- 230000009471 action Effects 0.000 description 28
- 230000008859 change Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000002452 interceptive effect Effects 0.000 description 14
- 239000000470 constituent Substances 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
【課題】ユーザの音声に含まれた発話意図がコンテンツ検索またはコンテンツおすすめに関連するか否かに応じて、互いに異なるシステム応答を出力すること。
【解決手段】ディスプレイ装置が開示される。本ディスプレイ装置は、出力部と、ユーザの音声を収集する音声収集部と、ユーザの音声を第1サーバに伝送し、第1サーバからユーザの音声に対応するテキスト情報を受信する第1通信部と、受信されたテキスト情報を第2サーバに伝送する第2通信部と、テキスト情報に対応する応答情報が第2サーバから受信されると、応答情報に基づいて、ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように出力部を制御する制御部とを含み、発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
【選択図】図2
【解決手段】ディスプレイ装置が開示される。本ディスプレイ装置は、出力部と、ユーザの音声を収集する音声収集部と、ユーザの音声を第1サーバに伝送し、第1サーバからユーザの音声に対応するテキスト情報を受信する第1通信部と、受信されたテキスト情報を第2サーバに伝送する第2通信部と、テキスト情報に対応する応答情報が第2サーバから受信されると、応答情報に基づいて、ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように出力部を制御する制御部とを含み、発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
【選択図】図2
Description
本発明は、ディスプレイ装置及びその制御方法に関し、より詳細には、ユーザの音声に応じて制御されるディスプレイ装置及びその制御方法に関する。
電子技術の発達により、多様な種類のディスプレイ装置が開発及び普及され、ユーザの要求に応じて次第に多様な機能を備えるようになった。特に、テレビの場合、最近では、インターネットと接続されてインターネットサービスまでサポートし、ユーザはテレビを通じて多くのデジタル放送チャネルまで視聴できるようになった。
一方、最近はディスプレイ装置をより便利かつ直観的に制御するために、音声認識を用いた技術が開発されている。特に、テレビの場合、ユーザの音声を認識し、音量調節またはチャネル変更のように、ユーザの音声に対応する機能を行うことができるようになった。
しかし、従来のユーザの音声を認識するディスプレイ装置は、認識された音声に対応する機能を提供するだけで、ユーザとの対話を通じてインタラクティブな情報を提供することができないことにおいて限界が存在していた。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの音声に含まれた発話意図がコンテンツ検索またはコンテンツおすすめに関連するか否かに応じて、互いに異なるシステム応答を出力できるディスプレイ装置及びその制御方法を提供することにある。
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、出力部と、ユーザの音声を収集する音声収集部と、前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信する第1通信部と、前記受信されたテキスト情報を第2サーバに伝送する第2通信部と、前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように前記出力部を制御する制御部とを含み、前記発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
ここで、第2サーバは、前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送してよい。
なお、前記制御部は、前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力してよい。
そして、前記制御部は、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
なお、前記制御部は、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
一方、本発明の一実施形態に係るディスプレイ装置の制御方法は、ユーザの音声を収集するステップと、前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信するステップと、前記受信されたテキスト情報を第2サーバに伝送するステップと、前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するステップとを含み、前記発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
ここで、第2サーバは、前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送してよい。
なお、前記出力するステップは、前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力してよい。
そして、前記出力するステップは、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
なお、前記出力するステップは、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
以上説明したように、本発明によれば、ディスプレイ装置は発話意図により合致するシステム応答を出力することができ、ユーザの便宜性は増大し、ユーザは対話を通じてよりインタラクティブな情報の提供を受けることができるようになる。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図1は、本発明の一実施形態に係る対話型システムを説明するための図である。図1に示すように、対話型システム1000は、ディスプレイ装置100と、第1サーバ200及び第2サーバ300を含む。
ディスプレイ装置100は、ディスプレイ装置100を制御するためのリモコン(図示せず)によって制御されてよい。具体的に、ディスプレイ装置100は、リモコン(図示せず)から受信されたリモコン制御信号に対応する動作を行うことができる。例えば、ディスプレイ装置100が、図1のようなテレビで実現された場合、ディスプレイ装置100は、受信されたリモコン制御信号に応じて、電源オン/オフ、チャネル変更、音量変更等の動作を行うことができる。
なお、ディスプレイ装置100は、ユーザの音声に応じて多様な動作を行うことができる。
具体的に、ディスプレイ装置100は、ユーザの音声に対応する機能を行うか、ユーザの音声に対応するシステム応答を出力することができる。
そのために、ディスプレイ装置100は、収集されたユーザの音声を第1サーバ200に伝送する。第1サーバ200は、ディスプレイ装置100からユーザの音声が受信されると、受信されたユーザの音声をテキスト情報(または、テキスト)に変換し、テキスト情報をディスプレイ装置100に伝送する。
そして、ディスプレイ装置100は、第1サーバ200から受信されたテキスト情報を第2サーバ300に伝送する。第2サーバ300は、ディスプレイ装置100からテキスト情報が受信されると、受信されたテキスト情報に対応する応答情報を生成してディスプレイ装置100に伝送する。
ディスプレイ装置100は、第2サーバ300から受信された応答情報に基づいて、多様な動作を行うことができる。
ここで、応答情報は、ディスプレイ装置100が特定機能を行うための制御命令、ディスプレイ装置100でシステム応答を出力するための制御命令、及び、ディスプレイ装置100から出力されるシステム応答に関する多様な情報のうち、少なくとも一つを含んでよい。
具体的に、ディスプレイ装置100は、ユーザの音声に対応する機能を行うことができる。すなわち、ディスプレイ装置100は、ディスプレイ装置100から提供可能な機能のうち、ユーザの音声に対応する機能を行うことができる。例えば、ディスプレイ装置100は、“○番(チャネル番号)を点けて”というユーザの音声が入力されると、第2サーバ300から受信された制御命令に基づいて、チャネルを○番に変更することができる。そのために、第2サーバ300は、ディスプレイ装置100のチャネルを○番に変更するための制御命令をディスプレイ装置100に伝送することができる。
この場合、ディスプレイ装置100は、当該機能に対応するシステム応答を同時に提供することもできる。すなわち、ディスプレイ装置100は、ユーザの音声に応じて行われた機能に関する情報を音声及びUI画面(テキストやイメージ等)のうち、少なくとも一方の形態で出力することができる。上述の例の場合、ディスプレイ装置100は、変更されたチャネルに関する情報またはチャネル変更が完了していることを示すメッセージを、音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
なお、ディスプレイ装置100は、ユーザの音声に対応するシステム応答を出力することができる。ここで、システム応答は、音声及びUI画面のうち、少なくとも一方の形態で出力されてよい。例えば、ディスプレイ装置100は、特定番組の放送時間を問い合わせるユーザの音声が入力されると、当該番組の放送時間を音声及びUI画面のうち、少なくとも一方で出力することができる。
特に、ディスプレイ装置100は、ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力することができる。ここで、ユーザの意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
具体的に、ディスプレイ装置100は、発話意図がコンテンツの検索に関連する場合、発話意図に応じて検索されたコンテンツに対する検索リストをシステム応答として出力することができる。例えば、“○○○(出演者の氏名)が出演する番組番組を検索して”というユーザの音声が収集された場合、ディスプレイ装置100は、○○○(出演者の氏名)が出演する放送番組に対するリストをシステム応答として出力することができる。
一方、ディスプレイ装置100は、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
例えば、“○○○(出演者の氏名)が出演する番組番組をおすすめして”というユーザの音声が収集された場合、ディスプレイ装置100は、○○○(出演者の氏名)が出演する放送番組が視聴率の高い順に並べられたリストを出力することができる。
なお、ディスプレイ装置100は、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、ユーザ選好度情報を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
例えば、“○○○(出演者の氏名)が出演する番組番組をおすすめして”というユーザの音声が収集された場合、ディスプレイ装置100は、○○○(出演者の氏名)が出演する放送番組のうち、ユーザが最近視聴したチャネルから提供される放送番組に対するリストを出力したり、○○○(出演者の氏名)が出演する放送番組のうち、ユーザが視聴した頻度数の高い放送番組と同一ジャンルの放送番組に対するリストを出力することができる。
そのために、第2サーバ300は、ディスプレイ装置100からシステム応答を出力するための制御命令及びディスプレイ装置100から出力されるシステム応答に関する多様な情報のうち、少なくとも一つをディスプレイ装置100に伝送することができる。
このように、ディスプレイ装置100は、ユーザの音声に含まれた発話意図がコンテンツを検索するためのものか、または、コンテンツのおすすめを受けるためのものかに応じて、互いに異なる形態のシステム応答を出力することができる。それにより、ユーザは、自分の意図に合ったシステム応答の提供を受けることができるようになり、便宜性が向上する。
一方、図1において、ディスプレイ装置100はテレビであるとして示しているが、それは一例に過ぎない。すなわち、ディスプレイ装置100はテレビだけでなく、スマートフォンのような携帯電話、デスクトップパソコン、ノートパソコン、ナビゲーション等のような多様な電子装置で実現されてよい。
なお、図1において、第1サーバ200及び第2サーバ300が別途のサーバで実現されたものとして示しているが、それも一例に過ぎない。すなわち、第1サーバ200と第2サーバ300とを含む一つの対話型サーバで実現されてよい。
図2は、本発明の一実施形態に係るディスプレイ装置に対するブロック図である。図2に示すように、ディスプレイ装置100は、出力部110と、音声収集部120と、第1通信部130と、第2通信部140及び制御部150を含む。
出力部110は、音声及び映像のうち少なくとも一方を出力する。具体的に、出力部110は、音声収集部120を介して収集されたユーザの音声に対応するシステム応答を音声及びグラフィックUIのうち、少なくとも一方を形態で出力してよい。
そのために、出力部110は、ディスプレイ部(図示せず)及びオーディオ出力部(図示せず)を備えてよい。
具体的に、ディスプレイ部(図示せず)は、液晶表示装置(Liquid Crystal Display:LCD)、有機電気発光ダイオード(Organic Light Emitting Display:OLED)またはプラズマ表示パネル(Plasma Display Panel:PDP)等で実現されてよい。ディスプレイ部(図示せず)は、ディスプレイ装置100を介して提供可能な多様なディスプレイ画面を提供することができる。特に、ディスプレイ部(図示せず)は、ユーザの音声に対応するシステム応答を、テキスト、イメージ、アイコン、GUIのうち、少なくとも一つを含むUI画面を構成してディスプレイすることができる。
一方、オーディオ出力部(図示せず)は、ジャック等のような出力ポートまたはスピーカ等で実現され、ユーザの音声に対応するシステム応答を音声形態で出力することができる。
なお、出力部110は、多様なコンテンツを出力することができる。ここで、コンテンツは、放送コンテンツ、VODコンテンツ、DVDコンテンツ等を含んでよい。例えば、ディスプレイ部(図示せず)は、コンテンツを構成する映像を出力し、オーディオ出力部(図示せず)は、コンテンツを構成するオーディオを出力することができる。
音声収集部120は、ユーザの音声を収集する。例えば、音声収集部120は、ユーザの音声を収集するためのマイクで実現され、ディスプレイ装置100に内蔵されて一体型をなすか、ディスプレイ装置100と分離された形態で実現されてよい。分離された形態で実現される場合、音声収集部120は、ユーザが手で握る形態、または食卓やテーブルに置かれる形態で実現されてよく、ディスプレイ装置100と有線または無線ネットワークを通じて接続され、収集されたユーザの音声をディスプレイ装置100に伝送することができる。
一方、音声収集部120は、収集された音声がユーザの音声かを判断し、ユーザの音声からノイズ(例えば、エアコンの音や掃除機の音、音楽の音等)をフィルタリングすることもできる。
例えば、音声収集部120は、アナログ形態のユーザ音声が入力されると、それをサンプリングしてデジタル信号に変換する。そして、音声収集部120は、変換されたデジタル信号のエネルギーを計算し、デジタル信号のエネルギーが予め設定された値以上であるか否かを判断する。
デジタル信号のエネルギーが予め設定された値以上である場合、音声収集部120はデジタル信号からノイズ成分を除去し、第1通信部130に伝達する。このとき、ノイズ成分は、家庭環境で発生し得る突発性雑音として、エアコンの音や掃除機の音、音楽の音等が含まれてよい。一方、デジタル信号のエネルギーが予め設定された値未満である場合、音声収集部120はデジタル信号に特別な処理過程を施さずに、別の入力を待つ。
それにより、ユーザの音声ではない別の音によって全オーディオ処理過程が活性化しないため、不要な電力消耗を防止することができる。
第1通信部130は、第1サーバ(図1の200)と通信を行う。具体的に、第1通信部130は、ユーザの音声を第1サーバ200に伝送し、ユーザの音声に対応するテキスト情報を第1サーバ200から受信してよい。
第2通信部140は、第2サーバ(図1の300)と通信を行う。具体的に、第2通信部140は、受信されたテキスト情報を第2サーバ300に伝送し、テキスト情報に対応する応答情報を第2サーバ300から受信してよい。
そのために、第1通信部130及び第2通信部140は、多様な通信方式を用いて第1サーバ200及び第2サーバ300と通信を行うことができる。
例えば、第1通信部130及び第2通信部140は、有/無線LAN(Local Area Network)、WAN、イーサネット(登録商標)、ブルートゥース(Bluetooth(登録商標))、Zigbee(登録商標)、USB(Universal Serial Bus)、IEEE 1394、Wi−Fi等を用いて、第1サーバ200及び第2サーバ300と通信を行うことができる。そのために、第1通信部130及び第2通信部140は、各通信方式に対応するチップまたは入力ポート等を具備することができる。例えば、有線LAN方式で通信を行う場合、第1通信部130及び第2通信部140は、有線LANカード(図示せず)及び入力ポート(図示せず)を備えてよい。
一方、上述の実施形態では、ディスプレイ装置100が第1サーバ200及び第2サーバ300と通信を行うために、別途の通信部130、140を備えるものとして説明したが、それは一例に過ぎない。すなわち、ディスプレイ装置100は、一つの通信モジュールを通じて第1サーバ200及び第2サーバ300と通信を行うことができることは言うまでもない。
なお、上述の実施形態においては、第1通信部130及び第2通信部140は、第1サーバ200及び第2サーバ300と通信を行うものとして説明したが、それは一例に過ぎない。すなわち、第1通信部130及び第2通信部140は、ウェブサーバ(図示せず)に接続されてウェブブラウジングを行うこともでき、VODサービスを提供するコンテンツプロバイダーサーバに接続され、VODコンテンツを検索することもできる。
制御部150は、ディスプレイ装置100の動作全般を制御する。すなわち、制御部150は、出力部110と、音声収集部120と、第1通信部130及び第2通信部140の動作を制御することができる。制御部150は、CPU(Central Processing Unit)及びディスプレイ装置100を制御するためのモジュール及びデータを保存するROM(Read Only Memory)及びRAM(Random Access Memory)を含むことができおる。
具体的に、制御部150は、音声収集部120を介してユーザの音声を収集し、収集されたユーザの音声を第1サーバ200に伝送するように第1通信部130を制御することができる。そして、制御部150は、ユーザの音声に対応するテキスト情報が第1サーバ200から受信されると、受信されたテキスト情報を第2サーバ300に伝送するように第2通信部140を制御することができる。
一方、制御部150は、テキスト情報に対応する応答情報が第2サーバ300から受信されると、受信された応答情報に基づいて多様な動作を行うことができる。
具体的に、制御部150は、受信された応答情報に基づいて、ユーザの音声に対応する機能を行うことができる。
ここで、応答情報は、ディスプレイ装置100の機能を制御するための制御命令を含んでよい。具体的に、制御命令は、ディスプレイ装置100で実行可能な機能のうち、ユーザの音声に対応する機能を実行するための命令を含んでよい。それにより、制御部150は、第2サーバ300から受信された制御命令に基づいて、ユーザの音声に対応する機能が実行されるように、ディスプレイ装置100の各構成要素を制御することができる。
例えば、テレビで実現されたディスプレイ装置100が“○番(チャネル番号)を点けて”というユーザの音声を収集すると、第2サーバ300は、“○番(チャネル番号)を点けて”の発話意図は、○番(チャネル番号)にチャネル変更を要求したと判断し、判断された発話意図に応じて、○番(チャネル番号)にチャネル変更を行うための制御命令をディスプレイ装置100に伝送することができる。それにより、制御部150は、受信された制御命令に基づいて○番(チャネル番号)をチャネルを変更し、変更されたチャネルを通じて提供されるコンテンツを出力するように制御することができる。
ただ、それは一例に過ぎず、制御部150は、収集されたユーザの音声に応じて、電源オン/オフ、音量調節等、多様な動作が行われるように、ディスプレイ装置100の各構成要素を制御することができる。
なお、制御部150は、受信された応答情報に基づいて、ユーザの音声に対応するシステム応答を出力するように制御することができる。
そのために、応答情報は、ディスプレイ装置100でユーザの音声に対応するシステム応答を出力するための多様な情報を含んでよい。この場合、応答情報は、ディスプレイ装置100でユーザの音声に対応するシステム応答を出力するための制御命令を更に含んでよい。
例えば、第2サーバ300は、ユーザの音声に対してディスプレイ装置100から出力されるシステム応答をテキスト形式で表現し、ディスプレイ装置100に伝送することができる。
それにより、制御部150は、TTS(Text to Speech)エンジンを用いて、テキスト形態の情報を音声に変換して出力部110を介して出力することができる。ここで、TTSエンジンとは、テキストを音声に変換するためのモジュールとして、制御部150は、従来開示されている多様なTTSアルゴリズムを用いてテキスト形態の情報を音声に変換することができる。
なお、制御部150は、テキストが含まれるように、UI画面を構成して出力部110を介して出力することもできる。
例えば、テレビで実現されたディスプレイ装置100が“○○○(放送番組名)は何時から?”というユーザの音声を収集すると、第2サーバ300は“○○○(放送番組名)は何時から?”の発話意図は○○○(放送番組名)に対する放送時間を問い合わせるものと判断し、判断された発話意図に基づいて“お問い合わせの○○○(放送番組名)の放送時間は○時からです”をテキスト形式で表現し、ディスプレイ装置100に伝送することができる。
この場合、制御部150は、テキスト形式で表現された“お問い合わせの○○○(放送番組名)の放送時間は○時からです”を音声に変換して出力部110を介して出力したり、“お問い合わせの○○○(放送番組名)の放送時間は○時からです”というテキストが含まれるようにUI画面を構成して出力部110を介して出力することができる。
なお、応答情報は、制御命令に応じて実行された機能に関連するシステム応答を出力するための多様な情報を含んでよい。この場合、制御部150は、ディスプレイ装置100で実行可能な機能のうち、制御命令に対応する機能を実行し、システム応答を出力するための多様な情報を用いて実行された機能に関連するシステム応答を音声及びUI画面のうち、少なくとも一方の形態で出力するように制御することができる。
例えば、テレビで実現されたディスプレイ装置100が“○番(チャネル番号)を点けて”というユーザの音声を収集すると、第2サーバ300はディスプレイ装置100のチャネルを○番に変更するための制御命令をディスプレイ装置100に伝送することができる。このとき、第2サーバ300は、“○番(チャネル番号)にチャネルを変更しました”をテキスト形態で表現し、ディスプレイ装置100に伝送することができる。
それにより、制御部150は、制御命令に基づいて、出力部110を介して出力される放送チャネルを○番に変更することができる。そして、制御部150は、“○番(チャネル番号)にチャネルを変更しました”をシステム応答として、音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
上述のように、制御部150は、ユーザの音声に対応する機能を実行したり、ユーザの音声に対応するシステム応答を出力するように制御することができる。
一方、ディスプレイ装置100で別途の機能を実行することなく、ユーザの音声に対応するシステム応答を出力する場合は、ユーザの音声がディスプレイ装置100で実行できない機能を実行させようとする場合を更に含んでよい。
例えば、ディスプレイ装置100がテレビ電話機能をサポートしていないテレビで実現された場合を仮定する。この場合、ディスプレイ装置100で“XXXに電話をかけて”というユーザの音声を収集すると、第2サーバ300は、テレビ電話の実行のための制御命令をディスプレイ装置100に伝送することができる。しかし、ディスプレイ装置100においては、当該制御命令に対応する機能がサポートされていないことから、制御部150は、第2サーバ300から受信された制御命令を認識することができなくなる。この場合、制御部150は、“サポートされていない機能です”というシステム応答を出力部110を介して、音声及びUI画面のうち少なくとも一方の形態で出力することができる。
一方、上述の実施形態においては、第2サーバ300は、ディスプレイ装置100でシステム応答を出力するために、テキスト形態の情報をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。
すなわち、第2サーバ300は、ディスプレイ装置100から出力されるシステム応答を構成する音声データそのもの、または、当該システム応答を構成する音声データの一部をディスプレイ装置100に伝送することができる。なお、第2サーバ300は、ディスプレイ装置100に予め保存されたデータを用いて、システム応答を出力するための制御命令をディスプレイ装置100に伝送することができる。
それにより、制御部150は、第2サーバ300から受信される応答情報の形態を考慮し、システム応答を出力するように制御することができる。
具体的に、制御部150は、システム応答を構成する音声データそのもの、または、音声データの一部が受信されると、当該データを出力部110から出力可能な形態に処理し、音声形態で出力することができる。
一方、制御部150は、システム応答を出力するための制御命令が受信される場合、ディスプレイ装置100に予め保存されたデータのうち、制御命令にマッチングするデータを検索し、検索されたデータを音声またはUI画面のうち、少なくとも一方の形態に処理し、出力部110を介して出力することができる。そのために、ディスプレイ装置100は、システム応答を提供するための音声及びUI画面に関連するデータを保存していることができる。
例えば、ディスプレイ装置100は、“チャネル変更が完了しました”または“サポートされていない機能です”のように、完全な文章体のデータを保存していることができる。
または、ディスプレイ装置100は、“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”、または、“<チャネル番号>にチャネルを変更しました”のように、システム応答を構成する一部データを保存していることができる。この場合、システム応答を完成させるための情報は、第2サーバ300から受信されてよい。
例えば、受信部150は、第2サーバ300から受信された放送番組名またはチャネル番号等を用いて当該文章を完成した後、完成した文章を音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
一方、制御部150は、テキスト情報に対応する応答情報が、第2サーバ300から受信されると、応答情報に基づいてユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように出力部110を制御することができる。ここで、ユーザの意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
具体的に、制御部150は、ユーザの発話意図がコンテンツの検索に関連する場合、発話意図に応じて検索されたコンテンツに対する検索リストをシステム応答として出力することができる。
そのために、応答情報は、検索されたコンテンツに関する情報を含んでよい。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツの検索に関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。すなわち、第2サーバ300は、EPG(Electronic Program Guide)情報、VOD(Video on Demand)サービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置100に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。
そして、第2サーバ300は、検索されたコンテンツに関する情報をディスプレイ装置100に伝送することができる。ここで、検索されたコンテンツに関する情報は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つを含んでよい。
この場合、第2サーバ300は、検索されたコンテンツに関する情報を用いて、コンテンツに対する検索リストを出力するための制御命令をディスプレイ装置100に追加して伝送することもできる。
それにより、制御部150は、受信されたコンテンツに関する情報を用いて、コンテンツに対する検索リストを生成し、コンテンツに対する検索リストをUI画面で構成して出力することができる。
別の例として、応答情報は、特定コンテンツを検索し、検索されたコンテンツに対するリストを出力するための制御命令を含むことができる。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツの検索に関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。この場合にも、第2サーバ300は、EPG(Electronic Program Guide)情報、VOD(Video on Demand)サービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置100に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。
そして、第2サーバ300は、検索されたコンテンツと同一のタイトルを有するか、検索されたコンテンツと同一のチャネルで同一の放送時間に放送されるコンテンツを検索して出力するための制御命令を生成してディスプレイ装置100に伝送することができる。
それにより、制御部150は、EPG情報から制御命令に対応するコンテンツを検索したり、VODサービスで制御命令に対応するコンテンツを検索することができる。そのために、制御部150は、コンテンツプロバイダーサーバから提供するVODコンテンツに対するリスト及び各種情報(仮に、VODコンテンツに対するタイトル、サムネール、ジャンル、出演者、制作者等)を受信することができる。なお、制御部150は、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、制御命令に対応するコンテンツを検索することができる。
そして、制御部150は、検索されたコンテンツに対する検索リストを生成し、検索リストをUI画面で構成して出力することができる。
上記のような実施形態において、制御部150は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つが含まれるように検索リストを構成することができる。なお、制御部150は、検索されたコンテンツが放送時間順に並べられるように検索リストを生成することもできる。
一方、制御部150は、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報及び検索されたコンテンツに関する視聴率情報を含んでよい。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツのおすすめに関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。この場合にも、第2サーバ300は、EPG情報、VODサービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。そして、第2サーバ300は、検索されたコンテンツい対する情報、仮に、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つをディスプレイ装置100に伝送することができる。なお、第2サーバ300は、検索されたコンテンツに関する視聴率情報をウェブ検索等を通じて獲得し、獲得した視聴率情報をディスプレイ装置100に伝送することができる。
この場合、第2サーバ300は、検索されたコンテンツに関する情報及び検索されたコンテンツに関する視聴率情報を用いて、おすすめリストを生成して出力するための制御命令をディスプレイ装置100に追加して伝送することもできる。
それにより、制御部150は、受信されたコンテンツに関する情報及び視聴率情報を用いて、コンテンツに対するおすすめリストを生成し、コンテンツに対するおすすめリストをUI画面で構成して出力することができる。
具体的に、制御部150は、視聴率情報に基づいて検索されてコンテンツのうち、視聴率の高い順にコンテンツを並べておすすめリストを生成することができる。なお、制御部150は、視聴率情報に基づいて検索されたコンテンツのうち、視聴率の高い順に予め設定された数のコンテンツを選別し、選別されたコンテンツのみが含まれるように、おすすめリストを生成することもできる。
この場合、制御部150は、検索されたコンテンツに関連する多様な情報をおすすめリストに付加することができる。例えば、制御部150は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つが含まれるようにおすすめリストを構成することができる。
一方、上述の例において、第2サーバ300が視聴率情報を検索してディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。すなわち、第2サーバ300は、視聴率情報をディスプレイ装置100に伝送しなくてよい。
この場合、ディスプレイ装置100は、視聴率情報を予め保存しているか、ウェブ検索を通じて視聴率情報を獲得することができる。
具体的に、制御部150は、第2サーバ300から受信されたコンテンツに関する情報からキーワードを抽出し、抽出されたキーワードを用いて視聴率情報を獲得するためのウェブ検索を行うことができる。例えば、制御部150は、検索されたコンテンツのタイトル、放送時間、チャネル名等をキーワードとして抽出し、抽出されたキーワードをウェブサーバ(図示せず)に伝送し、コンテンツに関する視聴率情報をウェブサーバ(図示せず)から受信することができる。
一方、上述の例においては、第2サーバ300が発話意図に応じて検索されたコンテンツに関する情報をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。すなわち、第2サーバ300は、特定コンテンツを検索し、検索されたコンテンツを視聴率情報を基に出力するための制御命令をディスプレイ装置100に伝送することもできる。
例えば、第2サーバ300は、発話意図に応じて検索されたコンテンツのタイトルと同一のタイトルを有するコンテンツを検索し、検索されたコンテンツを視聴率の高い順に出力するための制御命令でディスプレイ装置100に伝送することができる。この場合、制御部150は、EPG情報等を通じてコンテンツを検索し、検索されたコンテンツが視聴率の高い順に並べられたおすすめリストを生成して出力することもできる。
なお、制御部150は、ユーザの発話意図がコンテンツのおすすめに関連する場合、ユーザの発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報のうち、少なくとも一方を含んでよい。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報及びユーザの選好度情報を含んでよい。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツのおすすめに関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。この場合にも、第2サーバ300は、EPG情報またはVODサービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。
そして、第2サーバ300は、検索されたコンテンツに関する情報、例えば、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つをディスプレイ装置100に伝送することができる。
なお、第2サーバ300は、ユーザの選好度情報をディスプレイ装置100に伝送することができる。具体的に、第2サーバ300は、ユーザアカウント別にユーザが視聴したコンテンツに関する情報を保存し、ディスプレイ装置100から受信されたユーザアカウント情報(仮に、ID及びパスワード)に対応するユーザ選好度情報をディスプレイ装置100に伝送することができる。
そのために、制御部150は、ユーザアカウント情報及びユーザ選好情報を第2サーバ300に伝送するように制御することができる。
例えば、制御部150は、予め設定されたイベントが発生すると、ユーザアカウント情報を受信するためのUI画面を出力するように出力部110を制御し、UI画面を通じて入力されたユーザアカウント情報を第2サーバ300に伝送するように第2通信部140を制御することができる。ここで、予め設定されたイベントは、電源オンまたはユーザアカウントを入力するための別途のユーザ命令が入力された場合を含んでよい。
そして、制御部150は、ユーザアカウント情報が入力された状態で、ユーザの視聴するコンテンツに関する多様な情報を第2サーバ300に伝送するように第2通信部140を制御することができる。
例えば、制御部150は、電源オン及びチャネル変更命令が入力される度に、EPG情報に基づいて選局されたチャネルから提供されるコンテンツを判断し、電源オン及びチャネル変更命令が入力された時間、判断されたコンテンツのタイトル、ジャンル、当該コンテンツを提供するチャネル番号、チャネル名、出演者、制作者のうち、少なくとも一つに関する情報を第2サーバ300に伝送することができる。なお、制御部150は、入力端子変更命令が入力される度に、選択された入力端子から受信されるコンテンツを判断し、入力端子変更命令が入力される時間、判断されたコンテンツのタイトル、ジャンル、出演者、制作者のうち、少なくとも一つに関する情報を第2サーバ300に伝送することができる。
それにより、第2サーバ300は、ディスプレイ装置100から受信された情報を用いて、ユーザアカウント情報別にユーザ選好度情報を保存することができる。特に、第2サーバ300は、受信された情報を用いて、ユーザが予め設定された回数以上視聴したコンテンツを視聴頻度数の高いコンテンツと判断し、ユーザが予め設定された時間内に視聴したチャネルをユーザが最近視聴したチャネルと判断し、ユーザ選好度情報を保存することができる。そして、第2サーバ300は、ディスプレイ装置100からユーザアカウント情報が受信されると、ユーザアカウント情報に対応するユーザ選好度情報をディスプレイ装置100に伝送することができる。
一方、第2サーバ300は、検索されたコンテンツに関する情報及びユーザ選好度情報を用いて、おすすめリストを生成して出力するための制御命令をディスプレイ装置100に追加して伝送することもできる。
それにより、制御部150は、受信されたコンテンツに関する情報及びユーザの選好度情報を用いてコンテンツに対するおすすめリストを生成し、コンテンツに対するおすすめリストをUI画面で構成して出力することができる。
ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報を含んでよい。
それにより、制御部150は、検索されたコンテンツのうち、ユーザが視聴した頻度数の高いコンテンツと同一のジャンルを有するコンテンツが含まれるようにおすすめリストを生成することができる。なお、制御部150は、検索されたコンテンツのうち、ユーザが最近視聴したチャネルから提供されるコンテンツが含まれるように、おすすめリストを生成することができる。
この場合、制御部150は、検索されたコンテンツに関連する多様な情報をおすすめリストに付加することができる。例えば、制御部150は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つが含まれるようにおすすめリストを構成することができる。
一方、上述の例において、第2サーバ300がユーザ選好度情報をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。すなわち、第2サーバ300は、ユーザ選好度情報をディスプレイ装置100に伝送しなくてよい。
この場合、ディスプレイ装置100は、ユーザアカウント情報別にユーザ選好度情報を予め保存していてよい。
すなわち、制御部150は、ユーザアカウント情報が入力されると、入力されたアカウント情報に対応するユーザ選好度情報を判断し、判断されたユーザ選好度情報及び第2サーバ300から受信されたコンテンツに関する情報を用いて、おすすめリストを生成することができる。
一方、上述の例においては、第2サーバ300が発話意図に応じて検索されたコンテンツに関する情報をディスプレイ装置100に伝送するものとして説明したが、しれは一例に過ぎない。すなわち、第2サーバ300は、特定コンテンツを検索し、検索されたコンテンツをユーザ選好度情報を基に出力するための制御命令をディスプレイ装置100に伝送することもできる。
例えば、第2サーバ300は、発話意図に応じて検索されたコンテンツのタイトルと同一のタイトルを有するコンテンツを検索し、検索されたコンテンツをユーザ選好度情報を考慮して出力するための制御命令をディスプレイ装置100に伝送することができる。この場合、制御部150は、EPG情報等を通じてコンテンツを検索し、検索されたコンテンツのうち、視聴した頻度数の高いコンテンツと同一のジャンルを有するコンテンツまたはユーザが最近視聴したチャネルから提供されるコンテンツが含まれるようにおすすめリストを生成することもできる。
図3は、図2に示すディスプレイ装置の細部構成を説明するためのブロック図である。図3に示すように、ディスプレイ装置100は、図2に示す構成要素の他に、保存部160と、受信部170と、信号処理部180と、リモコン信号受信部191、入力部193及びインターフェース部195を更に含んでよい。これらの構成要素は、制御部150によって制御されてよい。一方、図3に示す構成要素のうち、図2に示す構成要素と重複する構成要素は、その機能が同一であるため、詳細な説明は省略する。
保存部160は、ディスプレイ装置100を動作させるために必要な各種プログラム等が保存される保存媒体として、メモリやHDD(Hard Disk Drive)等で実現可能である。例えば、保存部160は、制御部150の動作実行のためのプログラムを保存するためのROM、制御部150の動作実行によるデータを一時的に保存するためのRAM等を備えてよい。なお、各種参照データを保存するためのEEPROM(Electrically Erasable and Programmable ROM)等を更に備えてよい。
特に、保存部160は、ユーザアカウント情報別にユーザ選好度情報を保存することができる。ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報を含んでよい。
例えば、制御部150は、電源オン及びチャネル変更命令が入力される度に、EPG情報に基づいて受信部170を介して選局されたチャネルから提供されるコンテンツを判断し、電源オン及びチャネル変更命令が入力された時間、判断されたコンテンツのタイトル、ジャンル、当該コンテンツを提供するチャネル番号、チャネル名のうち、少なくとも一つに関する情報を保存部160に保存することができる。なお、制御部150は、入力端子変更命令が入力される度に、インターフェース部195を介して選択された入力端子から受信されるコンテンツを判断し、入力端子変更命令が入力される時間、判断されたコンテンツのタイトル、ジャンル、当該コンテンツを提供するチャネル番号、チャネル名のうち、少なくとも一つに関する情報を保存部160に保存することができる。
なお、保存部160は、視聴率情報を保存することができる。例えば、制御部150は、ウェブ検索を通じてコンテンツに関する視聴率情報を検索し、検索された視聴率情報を保存部160に保存することができる。
受信部170は、多様なコンテンツを受信する。具体的に、受信部170は、放送ネットワークを用いて放送番組を伝送する放送局またはインターネットを用いて、コンテンツファイルを伝送するウェブサーバからコンテンツを受信することができる。
放送局からコンテンツを受信する実施形態の場合には、受信部170は、チューナ(図示せず)、復調器(図示せず)、等化器(図示せず)等のような構成を含む形態で実現されてよい。一方、ウェブサーバのようなソースからコンテンツを受信する実施形態の場合には、受信部170は、ネットワークインターフェースカード(図示せず)で実現されてよい。
このように、受信部170は、実施形態に応じて多様な形態で実現されてよい。
信号処理部180は、受信部170またはインターフェース部195を介して受信されたコンテンツが、出力部110を介して出力できるようにコンテンツに対する信号処理を行う。
具体的に、信号処理部180は、コンテンツに含まれた映像に対してデコーディング、スケーリング及びフレームレート変換等の動作を行い、ディスプレイ部111から出力可能な形態に変換することができる。なお、信号処理部180は、コンテンツに含まれたオーディオ信号に対してデコーディング等の信号処理を行ってオーディオ出力部112から出力可能な形態に変換することができる。
リモコン信号受信部191は、外部のリモコンから入力されるリモコン制御信号を受信する。制御部150は、リモコン信号受信部191に入力されたリモコン制御信号に基づいて、多様な動作を実行することができる。例えば、制御部150は、リモコン信号受信部191から入力された制御信号に応じて、電源オン/オフ、チャネル変更、音量調節等の動作を実行することができる。
入力部193は、多様なユーザ操作を受信する。制御部150は、入力部193から入力されたユーザ命令に対応する動作を実行することができる。例えば、制御部150は、入力部193で入力されたユーザ命令に応じて、電源オン/オフ、チャネル変更、音量調節等の動作を実行することができる。
そのために、入力部193は、入力パネルで実現されてよい。入力パネルは、タッチパッド(Touch Pad)或いは各種機能キーや数字キー、特殊キー、文字キー等を備えたキーパッド(Key Pad)またはタッチスクリーン(Touch Screen)方式で行われてよい。
インターフェース部195は、外部装置(図示せず)と通信を行う。ここで、外部機器(図示せず)は、多様な電子装置で実現され、ディスプレイ装置100にコンテンツを伝送することができる。
仮に、ディスプレイ装置100がテレビで実現された場合、外部装置(図示せず)は、セットトップボックス、音響機器、ゲーム機、DVDプレーヤ、ブルーレイディスクプレーヤ等のように、ディスプレイ装置100に接続されて機能を実行できる多様な電子装置で実現されてよい。
例えば、インターフェース部195は、HDMI(登録商標)やUSB等の各種の有線通信方式、ブルートゥース、Zigbee等の無線通信方式によって外部機器(図示せず)と通信を行うことができる。そのために、インターフェース部195は、各通信方式に対応するチップまたは入力ポート等を備えてよい。例えば、HDMI(登録商標)通信方式によって外部機器(図示せず)と通信を行う場合、インターフェース部195はHDMI(登録商標)ポートを備えてよい。
一方、制御部150は、インターフェース部195に外部装置(図示せず)が接続されたものと判断される場合、外部装置(図示せず)に保存されたコンテンツに対するリストの伝送を要求し、コンテンツに対するリスト及び各種情報を外部装置(図示せず)から受信するように制御することができる。この場合、制御部150は、コンテンツに対するリスト及び各種情報を第2サーバ300に伝送するように第2通信部140を制御することができる。
図4は、図1に示す第1サーバに対するブロック図である。図4に示すように、第1サーバ200は、通信部210及び制御部220を含む。
通信部210は、ディスプレイ装置100と通信を行う。具体的に、通信部210は、ディスプレイ装置100からユーザの音声を受信し、ユーザの音声に対応するテキスト情報をディスプレイ装置100に伝送することができる。そのために、通信部210は、多様な通信モジュールを含んでよい。
制御部220は、第1サーバ200の動作全般を制御する。特に、制御部220は、ディスプレイ装置100からユーザの音声が受信されると、ユーザの音声に対応するテキスト情報を生成し、それをディスプレイ装置100に伝送するように通信部210を制御する。
具体的に、制御部220は、STT(Speech To Text)エンジンを用いて、ユーザの音声に対応するテキスト情報を生成することができる。ここで、STTエンジンとは、音声信号をテキストに変換するためのモジュールとして、従来開示されている多様なSTTアルゴリズムを用いて音声信号をテキストに変換することができる。
例えば、制御部220は、受信されたユーザの音声内でユーザが発話した音声の開始と終了とを検出して音声区間を判断する。具体的に、制御部220は、受信された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類して、動的プログラミングを通じて音声区間を検出することができる。そして、制御部220は、検出された音声区間内において、音響モデル(Acoustic Model)に基づいて、音声の最小単位である音素を検出して音素データを生成し、生成された音素データにHMM(Hidden Markov Model)確率モデルを適用して、ユーザの音声をテキストに変換することができる。
図5は、図1に示す第2サーバに対するブロック図である。図5に示すように、第2サーバ300は、通信部310と、保存部320及び制御部330を含む。
通信部310は、ディスプレイ装置100と通信を行う。具体的に、通信部310は、ディスプレイ装置100からテキスト情報を受信し、テキスト情報に対応する応答情報をディスプレイ装置100に伝送することができる。そのために、通信部310は、多様な通信モジュールを含んでよい。
なお、通信部310は、ウェブサーバ(図示せず)に接続され、ウェブブラウジングを行うこともできる。すなわち、制御部330は、多様なキーワードを通信部を310を介してウェブサーバ(図示せず)に伝送してウェブブラウジングを行い、ウェブ検索結果を受信することができる。
そのために、保存部320は、ウェブ検索に利用される多様なキーワードを予め保存しているか、制御部330は、ディスプレイ装置100から受信されたテキスト情報からキーワードを抽出することもできる。
例えば、ディスプレイ装置100から受信されたテキストが“○○○(出演者の氏名)が出演する放送番組をおすすめして”の場合を仮定する。この場合、制御部330は、当該テキストから“○○○(出演者の氏名)”及び“放送番組”をキーワードとして抽出し、抽出されたキーワードを通じてウェブ検索を行い、○○○(出演者の氏名)が出演する放送番組に関する視聴率情報をウェブサーバ(図示せず)から受信することができる。
保存部320は、ディスプレイ装置100から受信されたテキスト情報に対応する応答情報を生成するための多様な情報を保存する。
具体的に、保存部320は、サービスドメイン別の対話パターンを保存する。ここで、サービスドメインは、ユーザの発話した音声が属するテーマに応じて、“放送”、“VOD”、“アプリ管理”、“機器制御”、“情報(天気や株式、ニュース等)提供”等で区分されてよい。しかし、それは一例に過ぎず、サービスドメインは、上述のテーマの他にも、多様なテーマに応じて区分されることができることはいうまでもない。
より具体的に、保存部320は、各サービスドメイン別のコーパス(corpus)データベースを備えてよい。ここで、コーパスデータベースとは、例文及びそれに対する回答を保存する形態で実現されてよい。
すなわち、保存部320は、各サービスドメイン別に複数の例文及び各例文に対する回答を保存することができる。なお、保存部320は、例文を解釈するための情報及び例文に対応する回答を各例文ごとにタグ付け(Tagging)して保存することができる。
例えば、放送サービスドメイン内に“○○○(放送番組名)は何時から?”という例文が保存された場合を仮定する。
この場合、保存部320は、“○○○(放送番組名)は何時から?”といった例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(放送番組名)は何時から?”のような例文において、“○○○(放送番組名)”は放送番組を示し、“何時”は放送時間に関するお問い合わせを示し、“から?”は例文のタイプが疑問文であることを示す情報を当該例文にタグ付けして保存することができる。なお、保存部320は、“〜は何時から?”という形式を有する例文の冒頭には放送番組に関連する単語が配置されるという情報を当該例文にタグ付けして保存することができる。ここで、放送番組に関連する単語は、放送番組名、出演者、演出者等が含まれてよい。
なお、保存部320は、“○○○(放送番組名)は何時から?”に対する回答を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(放送番組名)は何時から?”に対する回答として、“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”をタグ付けして保存することができる。
別の例として、放送サービスドメイン内に“○番(チャネル番号)を点けて”という例文が保存された場合を仮定する。
この場合、保存部320は、“○番(チャネル番号)を点けて”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○番(チャネル番号)を点けて”のような例文において、“○番(チャネル番号)”はチャネル番号を示し、“点け”チャネル選局命令を示し、“て”とは例文のタイプが要求文であることを示す情報を当該例文にタグ付けして保存することができる。なお、保存部320は、“〜点けて”という形式を有する例文の冒頭には、放送番組に関連する単語が配置されるという情報を当該例文にタグ付けして保存することができる。ここで、放送番組に関連する単語は、チャネル番号、チャネル名、放送番組名、出演者、演出者等であってよい。
なお、保存部320は、“○番(チャネル番号)を点けて”に対する回答を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○番(チャネル番号)を点けて”に対する回答として、“<チャネル番号>にチャネルを変更しました”をタグ付けして保存することができる。
なお、保存部320は、ディスプレイ装置100を制御するための制御命令を各例文にタグ付けして保存することができる。特に、保存部320は、ディスプレイ装置100を制御するためのユーザの音声に対応する例文にディスプレイ装置100を制御するための制御命令をタグ付けして保存することができる。例えば、保存部320は、“○番(チャネル番号)を点けて”のような例文にディスプレイ装置100のチャネルを○番に変更するための制御命令をタグ付けして保存することができる。ここで、制御命令は、スクリプト形態のシステム命令であってよい。
このように、保存部320は、例文及びそれに対する回答を保存することができる。しかし、上述の例文及びそれに対する回答は一例に過ぎず、保存部320はサービスドメイン別に多様な例文及びそれに対する回答が保存できることは言うまでもない。
制御部330は、第2サーバ300の動作全般を制御する。特に、ディスプレイ装置100からユーザの音声に対応するテキスト情報が受信されると、制御部330は、受信されたテキスト情報に対応する応答情報を生成し、生成された応答情報を通信部310を介してディスプレイ装置100に伝送するように制御することができる。
具体的に、制御部330は、テキスト情報を分析してユーザの音声に含まれた発話意図を判断し、判断された発話意図に対応する応答情報を生成してディスプレイ装置100に伝送するように通信部310を制御することができる。
そのために、制御部330は、受信されたテキスト情報にマッチングする対話パターンが存在するコーパスデータベースを検出し、ユーザの音声が属するサービスドメインを判断することができる。
具体的に、制御部330は、受信されたテキスト情報を各サービスドメイン別に保存された例文と比較し、受信されたテキスト情報にマッチングする例文が属するサービスドメインをユーザの音声が属するサービスドメインとして判断することができる。
例えば、制御部320は、ディスプレイ装置100から“○○○(放送番組名)は何時から?”または“○番(チャネル番号)を点けて”というテキストが受信されると、ディスプレイ装置100で収集したユーザの音声が放送サービスドメインに属すると判断することができる。
一方、制御部330は、受信されたテキスト情報にマッチングする例文が存在しない場合、統計的にユーザの音声が属するドメインを判断することができる。
例えば、ディスプレイ装置100が“○番(チャネル番号)を点けて”を収集し、収集されたユーザの音声に対するテキストを第2サーバ300に伝送した場合を仮定する。この場合、制御部330は、HMM(Hidden Markov Model)、CRF(Condition Random Fields)、SVM(Support Vector Machine)等の分類モデルを使用してユーザの音声が“○番(チャネル番号)を点けて”と統計的に類似すると判断し、“○番(チャネル番号)を点けて”は機器制御サービスドメインに属すると判断することができる。
そして、制御部330は、予め保存された例文と統計的に類似すると判断されたテキスト情報を保存することもできる。この場合、制御部330は、テキスト情報を統計的に類似する例文が属するサービスドメインの更に別の例文として保存することができる。なお、制御部330は、予め保存された例文を参照して、新たに保存される例文を解釈するための情報及びそれに対応する回答を新たに保存される例文にタグ付けして保存することができる。
例えば、“○番(チャネル番号)を点けて下さい”を新たな例文として保存する場合を仮定する。
この場合、制御部330は、“○番(チャネル番号)を点けて”を参照して“○番(チャネル番号)を点けて下さい”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、制御部330は、“○番(チャネル番号)を点けて下さい”のような例文において、“○番(チャネル番号)”はチャネル番号を示し、“点けて”とはチャネル選局命令を示し、“下さい”とは例文のタイプは要求文であることを示す情報を当該例文にタグ付けして保存することができる。なお、保存部320は、“〜に点けて下さい”という形式を有する例文の冒頭には、放送番組に関連する単語が配置されるという情報を当該例文にタグ付けして保存することができる。ここで、放送番組に関連する単語は、チャネル番号、チャネル名、放送番組名、出演者、演出者等であってよい。
なお、保存部320は、“○番(チャネル番号)を点けて下さい”に対する回答を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○番(チャネル番号)を点けて下さい”に対する回答として、“<チャネル番号>にチャネルを変更しました”をタグ付けして保存することができる。
なお、制御部330は、ディスプレイ装置100から受信されたテキスト情報にマッチングする例文が複数個存在し、これらが互いに異なるサービスドメインに属する場合、統計的に分析してユーザの音声の属するサービスドメインとして判断することができる。
具体的に、制御部330は、ディスプレイ装置100から受信されたテキスト情報を構成する単語(または、形態素)が各サービスドメイン内に存在する頻度数に基づいて各単語(または、形態素)に加重値を与えて、与えられた加重値を考慮してユーザの音声の属するサービスドメインとして判断することができる。
例えば、“○○○(放送番組名)を点けて”という例文が放送サービスドメイン及びVODサービスドメインにそれぞれ保存された状態で、“○○○(放送番組名)を点けて”のようなテキストがディスプレイ装置100から受信された場合を仮定する。
この場合、制御部330は、“○○○(放送番組名)を点けて”にマッチングする例文が放送サービスドメイン及びVODサービスドメインに存在すると判断し、“○○○(放送番組名)を点けて”を構成する単語(または、形態素)である“点け”及び“て”が、各サービスドメイン内に存在する頻度数に基づいて、各サービスドメイン別に“点け”及び“て”に加重値を与えることができる。
例えば、制御部330は、放送サービスドメイン内に保存された全例文の中から、“点け”を含む例文の占める割合を放送サービスドメインから“点け”の加重値として算出し、放送サービスドメイン内に保存された全例文の中から“て”を含む例文の占める割合を放送サービスドメインから“て”の加重値を算出することができる。
このような方法で、制御部330は、VODサービスドメイン内に保存された全例文の中から、“点け”を含む例文の占める割合をVODサービスドメインから“点け”の加重値として算出し、VODサービスドメイン内に保存された全例文の中から“て”を含む例文の占める割合をVODサービスドメインから“て”の加重値として算出することができる。
その後、制御部330は、各単語に対して与えられた加重値を演算してユーザの音声の属するサービスドメインを判断することができる。上述の例において、制御部330は、放送サービスドメイン内において、“点け”と“て”のそれぞれに与えられた加重値を互いに乗じた結果と、VODサービスドメイン内において、“点け”と“て”のそれぞれに与えられた加重値を互いに乗じた結果とを比較し、結果値の大きいサービスドメインにユーザの音声が属すると判断することができる。
すなわち、制御部330は、放送サービスドメイン内において与えられた加重値に基づいて算出された結果値が、VODサービスドメイン内において与えられた加重値に基づいて算出された結果値より大きい場合、“○○○(放送番組名)を点けて”は、放送サービスドメインに属すると判断することができる。逆に、制御部330は、VODサービスドメイン内において与えられた加重値に基づいて算出された結果値が、放送サービスドメイン内において与えられた加重値に基づいて算出された結果値より大きい場合、“○○○(放送番組名)を点けて”は、VODサービスドメインに属すると判断することができる。
しかし、それは一例に過ぎず、制御部330は、多様な方式を通じて統計的にユーザの音声の属するサービスドメインを判断することができる。
一方、制御部330は、ユーザの音声の属するサービスドメインに基づいて、ユーザの音声から対話作用(dialogue act)、主作用(main action)及び構成要素(component slot)(または、個体名)を抽出する。
ここで、対話作用は、文章の形態に関連する分類基準として、当該文章が叙述部(Statement)、要求文(Request)または疑問文(Question)であるかを示すものである。
主作用は、当該発話が特定ドメインで対話を通じて望む行為を示す意味的な情報である。例えば、放送サービスドメインで、主作用はテレビ電源オン/オフ、放送番組検索、放送番組時間検索、放送番組予約等を含んでよい。別の例として、機器制御ドメインで、主作用は機器電源オン/オフ、再生、一時停止等を含んでよい。
構成要素は、発話に示される特定ドメインに対する個体情報、すなわち、特定ドメインで意図する行動の意味を具体化するために与えられる情報である。例えば、放送サービスドメインにおいて、構成要素はジャンル、放送番組名、放送時間、チャネル番号、チャネル名、出演者、制作者等を含んでよく、機器制御サービスドメインにおいて構成要素は、外部機器名称、製造会社等を含んでよい。
そして、制御部330は、抽出された対話作用、主作用及び構成要素を用いてユーザの音声に含まれた発話意図を判断し、判断された発話意図に対応する応答情報を生成してディスプレイ装置100に伝送することができる。
ここで、応答情報は、ディスプレイ装置100から出力されるシステム応答がテキスト形式で表現されたものであってよい。それにより、ディスプレイ装置100は、応答情報に基づいてユーザの音声に対応するシステム応答を出力することができる。
そのために、制御部330は、判断された発話意図に対する回答を保存部320から出力し、出力された回答をテキストに変換し、それをディスプレイ装置100に伝送することができる。
なお、応答情報は、ユーザの音声に対応する機能を実行するための制御命令を含んでよい。ここで、制御命令は、ユーザの音声に対応する機能を行うように、ディスプレイ装置100を制御するための制御命令を含んでよい。
そのために、制御部330は、判断されは発話意図に対応する制御命令を生成し、生成された制御命令をディスプレイ装置100に伝送するように制御することができる。
以下では、制御部330がユーザの音声に対応する応答情報を生成するより具体的な方法を例えて説明する。
まず、制御部330は、ユーザの音声とマッチングする例文またはユーザの音声と統計的に類似すると判断された例文にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、ユーザの音声に対応する応答情報を生成してディスプレイ装置100に伝送することができる。
例えば、ディスプレイ装置100からテキスト“○○○(放送番組名)は何時から?”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○○○(放送番組名)は何時から?”にタグ付けされた情報を用いてユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”には例文を解釈するための情報として、“○○○(放送番組名)”は放送番組を示し、“何時”は放送時間に関するお問い合わせを示し、“から?”は例文のタイプが疑問文であることを示す情報がタグ付けされている。
よって、制御部330は、これらの情報を参照してディスプレイ装置100から受信されたテキスト“○○○(放送番組名)は何時から?”の対話作用は疑問文であり、主作用は放送時間に関するお問い合わせであり、構成要素は○○○(放送番組名)であると判断することができる。それにより、制御部330は、ユーザの発話意図は○○○に対する放送時間を問い合わせるものと判断することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答を保存部320から検索し、タグ付けされた回答を用いてシステム応答情報を生成することができる。
すなわち、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答である“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”をユーザの音声に対応する回答として検索する。
この場合、制御部330は、検索された回答に含まれたブランクを完成し、完全なな形の文章を生成することができる。
例えば、制御部330は、“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”のような回答で、ブランク<放送番組名>は放送番組名である“○○○(放送番組名)”を載せることができる。そして、制御部330は、EPG情報を通じて“○○○(放送番組名)”の放送時間を検索し、検索された放送時間を別のブランクである<放送時間>に載せることができる。それにより、制御部330は、“お問い合わせの○○○(放送番組名)の放送時間は土曜日の7時からです”という完全な形の文章をテキスト形式で表現して応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、第2サーバ300から受信された応答情報に基づいて、“お問い合わせの○○○(放送番組名)の放送時間は土曜日の7時からです”を音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
別の例として、ディスプレイ装置100からテキスト“○番(チャネル番号)を点けて”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○番(チャネル番号)を点けて”にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”には、例文を解釈するための情報として、“○番(チャネル番号)”はチャネル番号を示し、“点け”は放送選局命令を示し、“て”は例文のタイプが要求文であることを示す情報がタグ付けされている。よって、制御部330は、これらの情報を参照し、ディスプレイ装置100から受信されたテキスト“○番(チャネル番号)を点けて”の対話作用は要求文であり、主作用は放送選局命令であり、構成要素は○番(チャネル番号)と判断することができる。それにより、制御部330は、ユーザの発話意図は、○番に対する放送選局を要求するものと判断することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”にタグ付けされた回答を保存部320から検索し、タグ付けされた回答を用いて応答情報を生成することができる。
すなわち、制御部330は、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”にタグ付けされた回答である“<チャネル番号>にチャネルを変更しました”をユーザの音声に対応する回答として検索する。
この場合、制御部330は、検索された回答に含まれたブランクを完成し、完全な形の文章を生成することができる。
例えば、制御部330は、“<チャネル番号>にチャネルを変更しました”のような回答で、ブランク<チャネル番号>はチャネル番号である“○番(チャネル番号)”を載せることができる。それにより、制御部330は、“○番にチャネルを変更しました”という完全な形の文章をテキスト形式で表現して応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”にタグ付けされた制御命令を保存部320から検索し、タグ付けされた制御命令をディスプレイ装置100に伝送するように制御することができる。すなわち、制御部330は、ディスプレイ装置100のチャネルを○番に変更するための制御命令をディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、第2サーバ300から受信された制御命令に基づいて○番にチャネルを変更し、“○番にチャネルを変更しました”というシステム応答を音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
一方、上述の例において、制御部330が例文にタグ付けされた制御命令に基づいてディスプレイ装置100の機能を実行させるための制御命令を生成するものとして説明したが、それは一例に過ぎない。
すなわち、制御部330は、判断された発話意図に基づいて制御命令を生成し、それをディスプレイ装置100に伝送することができる。例えば、制御部330は、ユーザの発話意図が○番に対する放送選局を要求したと判断された場合、○番にチャネルを変更するための制御命令を生成し、ディスプレイ装置100に伝送することができる。
なお、上述の例において、制御部330は、ディスプレイ装置100の機能を実行するための制御命令伝送時、システム応答を出力するための情報を同時に伝送するものとして説明したが、それは一例に過ぎない。すなわち、制御部330は、ユーザの発話意図に応じて、ディスプレイ装置100の機能を実行するための制御命令のみをディスプレイ装置100に伝送することもできる。
この場合、ディスプレイ装置100は、別途のシステム応答を出力しないか、ディスプレイ装置100内に予め保存されたデータを用いてシステム応答を出力することができる。
一方、制御部330は、ユーザの音声と統計的に類似するものとして、例文にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
例えば、ディスプレイ装置100からテキスト“△△△(放送番組名)は何時から?”が受信された場合を仮定する。
この場合、制御部330は、テキスト“△△△(放送番組名)は何時から?”は、放送サービスドメイン内に保存された例文である“○○○(放送番組名)は何時から?”と統計的に類似すると判断することができる。それにより、制御部330は、放送サービスドメイン内に保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”には例文を解釈するための情報として、“〜は何時から?”の冒頭には、放送番組に関連する単語が配置されるという情報がタグ付けされている。よって、制御部330は、放送番組に関連する単語である放送番組名、出演者、演出者等のうち、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索する。
そのために、保存部320は、各サービスドメイン別に構成要素に関する情報を保存する個体名辞書またはTIMEX辞書等を含んでよい。
すなわち、制御部330は、個体名辞書またはTIMEX辞書等を参照して、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索し、“△△△(放送番組名)”が放送番組名を表す単語であると判断することができる。
ただ、それは一例に過ぎず、制御部330は、EPG情報等を用いて、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索することもでき、予め保存された例文とCRF(Conditional Random Field)を用いて、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索することもできる。
それにより、制御部330は、ディスプレイ装置100から受信されたテキスト“△△△(放送番組名)は何時から?”の対話作用は疑問文であり、主作用は放送時間に関するお問い合わせであり、構成要素は△△△(放送番組名)であると判断することができる。そして、制御部330は、ユーザの音声に含まれた発話意図は、“△△△”に対する“放送時間”を“問い合わせる”ことと判断することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答を用いて、“△△△(放送番組名)は何時から?”に関するシステム応答情報を生成し、生成されたシステム応答情報をディスプレイ装置100に伝送することができる。
すなわち、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答である“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”をユーザの音声に対応する回答として検索する。そして、制御部330は、“お問い合わせの△△△(放送番組名)の放送時間は水曜日の11時からです”という完全な文章をテキスト形式で表現して応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
一方、制御部330は、ディスプレイ装置100からシステム応答を構成するデータを予め保存している場合、当該データをシステム応答として出力するための制御命令をディスプレイ装置100に伝送することもできる。
なお、制御部330は、ディスプレイ装置100でシステム応答を構成するデータの一部を予め保存している場合、完全なシステム応答を出力するための情報のみをディスプレイ装置100に伝送することもできる。
例えば、ディスプレイ装置100に“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”のような回答が予め保存されている場合、制御部330は、ディスプレイ装置100に保存された回答を完全な形の文章で構成するために、ユーザが問い合わせる放送番組名及びその放送時間に関する情報をディスプレイ装置100に伝送するように制御することができる。この場合、制御部330は、ディスプレイ装置100に予め保存された回答を出力するための別途の制御命令をディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、第2サーバ300から受信された情報を予め保存された回答に載せて“お問い合わせの○○○(放送番組名)の放送時間は土曜日の7時からです”を応答メッセージとして出力することができる。
一方、上述の実施形態において、制御部330は例文にタグ付けされた情報を用いて、対話作用、主作用及び構成要素を抽出するものとして説明してきたが、それは一例に過ぎない。すなわち、制御部330は、ユーザの音声からMaxEnt(Maximum Entropy Classfier)を用いて対話作用、主作用を抽出し、CRF(Condition Random Fields)を用いて構成要素を抽出することもできる。
しかし、これらの実施形態に限定されるわけではなく、制御部330は既に公知となった多様な方式を通じてユーザの音声から対話作用、主作用及び構成要素を抽出することもできる。
一方、制御部330は、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができない場合、以前に受信されたユーザの音声を参照して、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができる。
具体的に、制御部330は、以前に受信されたユーザの音声の属するサービスドメインに基づいて、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができない場合、以前に受信されたユーザの音声に参照し、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができる。
すなわち、制御部330は、現在受信されたユーザの音声をコーパスデータベースに保存された対話パターンと比較して、現在受信されたユーザの音声が対話パターンで、最初のユーザ発話に該当するか否かを判断し、最初のユーザ発話に該当しないと判断されると、以前に受信されたユーザの音声を参照して現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができる。
そのために、保存部320は、各サービスドメインで各例文を階層的に保存することができる。すなわち、保存部320は、各サービスドメインでユーザが最初に発話することができるユーザの音声にマッチングする例文を最上位階層に保存し、ユーザが以後に発話することができるユーザの音声にマッチングする例文を階層的に保存することができる。
例えば、“○○○(放送番組名)は何時から?”というユーザの音声が入力された後、“何時から?”というユーザの音声が入力された場合を仮定する。この場合、制御部330は、“何時から?”というユーザの音声が放送サービスドメイン内で最初にユーザ発話に該当しないと判断されると、以前に受信された“○○○(放送番組名)は何時から?”というユーザ音声に基づいて、“何時から?”の発話意図を判断することができる。
すなわち、制御部330は、構成要素を抽出することができない“何時から?”というユーザ音声の発話意図を判断するために、以前に受信されたユーザ音声に含まれた“○○○(放送番組名)”を用いて、“何時から?”の発話意図を○○○に対する番組の開始時間を問い合わせるものとして判断することができる。
このように、第2サーバ300は、ユーザの発話意図に対応する応答情報を生成してディスプレイ装置100に伝送し、ディスプレイ装置100は第2サーバ300から受信された応答情報に基づいて、ユーザの音声に対応する機能を行うか、ユーザの音声に対応するシステム応答を出力することができる。
一方、ディスプレイ装置100は、ユーザの音声にコンテンツを検索するための発話意図が含まれるか、または、ユーザの音声にコンテンツのおすすめを受けるための発話意図が含まれるかに応じて、互いに異なるシステム応答を出力することができる。
そのために、第2サーバ300は、テキスト情報にコンテンツを検索しようとする意図を有するキーワード、またはコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成してディスプレイ装置100に伝送することができる。
すなわち、保存部320は、ユーザがコンテンツを検索しようとするものか、または、コンテンツのおすすめを受けようとするものかを判断するための情報を、例文を解釈するための情報として保存することができる。
例えば、放送サービスドメイン内に“○○○(出演者の氏名)が出演する放送番組を検索して”という例文が保存された場合を仮定する。
この場合、保存部320は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文において、“○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組検索”は<出演者>が出演する放送番組への問い合わせを示し、“検索”はユーザの発話意図がコンテンツ検索に該当し、“して”は例文のタイプが要求文であることを示す情報を当該例文にタグ付けして保存することができる。
上述の例においては、保存部320が“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文で“検索”は、ユーザの発話意図がコンテンツ検索に該当するという情報を保存するものとして説明したが、それは一例に過ぎない。すなわち、保存部320は、“○○○(出演者の氏名)が出演する放送番組を探して”のような例文で“探し”はユーザの発話意図がコンテンツ検索に該当するという情報を保存することができ、“○○○(出演者の氏名)が出演する放送番組を教えて”のような例文では、“教え”はユーザの発話意図がコンテンツ検索に該当するという情報を保存することができる。
このように、保存部320は、例文にコンテンツ検索に関連する単語が存在する場合、各例文毎に当該情報をタグ付けして保存することができる。
別の例として、放送サービスドメイン内に“○○○(出演者の氏名)が出演する放送番組をおすすめして”という例文が保存された場合を仮定する。
この場合、保存部320は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文において、“○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組のおすすめ”は<出演者>が出演する放送番組への問い合わせを示し、“おすすめ”はユーザの発話意図がコンテンツのおすすめに該当し、“して”は例文のタイプが要求文であることを示す情報を当該例文にタグ付けして保存することができる。
上述の例においては、保存部320が“○○○(出演者の氏名)が出演する放送番組をおすすめして”のような例文で“おすすめ”は、ユーザの発話意図がコンテンツのおすすめに該当するという情報を保存するものとして説明したが、それは一例に過ぎない。別の例として、保存部320は、“○○○(出演者の氏名)が出演する放送番組の中で見応えのある番組は?”のような例文で“見応えのある”はユーザの発話意図がコンテンツのおすすめに該当するという情報を保存することができる。
このように、保存部320は、例文にコンテンツのおすすめに関連する単語が存在する場合、各例文毎に当該情報をタグ付けして保存することができる。
一方、制御部330は、ユーザの音声にコンテンツ検索またはコンテンツのおすすめに関連する発話意図が含まれるか否かを判断し、判断された発話意図に対応する応答情報を生成し、ディスプレイ装置100に伝送することができる。
具体的に、制御部330は、ユーザの音声とマッチングする例文またはユーザの音声と統計的に類似すると判断された例文にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用、構成要素、及びユーザの意図に関連する情報を抽出し、抽出された情報を用いてユーザの音声にコンテンツ検索またはコンテンツのおすすめに関連する発話意図が含まれるか否かを判断することができる。
そして、制御部330は、判断されたユーザの発話意図に対応する応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
具体的に、制御部330は、ユーザの発話意図がコンテンツの検索に関連するものと判断された場合、発話意図に合致するコンテンツを検索する。
この場合、制御部330は、EPG情報を用いたり、VODサービスを提供するコンテンツプロバイダーサーバからユーザの発話意図に合致するコンテンツを検索することができる。
なお、制御部330は、ディスプレイ装置100に接続された外部装置(図示せず)からユーザの発話意図に合致するコンテンツを検索することもできる。例えば、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツに関する情報がディスプレイ装置100から受信されると、制御部330は、外部装置(図示せず)に保存されたコンテンツのうち、ユーザの発話意図に合致するコンテンツを検索することができる。
そして、制御部330は、検索されたコンテンツに関する情報をディスプレイ装置100に伝送することができる。ここで、検索されたコンテンツに関する情報は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つを含んでよい。
この場合、制御部330は、検索されたコンテンツに関する情報を用いて、コンテンツに対する検索リストを出力するための制御命令をディスプレイ装置100に伝送することもできる。
なお、制御部330は、特定コンテンツを検索し、検索されたコンテンツに対するリストを出力するための制御命令をディスプレイ装置100に伝送することができる。
具体的に、制御部330は、EPG情報、VODサービスでユーザの発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置(図示せず)でユーザの発話意図に合致するコンテンツを検索することができる。
そして、制御部330は、検索されたコンテンツと同一のタイトルを有するか、検索されたコンテンツと同一のチャネルで同一の放送時間に放送されるコンテンツを検索して出力するための制御命令を生成し、ディスプレイ装置100に伝送することができる。
一方、制御部33は、ユーザの発話意図がコンテンツのおすすめに関連する場合、発話意図に合致するコンテンツを検索し、検索されたコンテンツに関する情報をディスプレイ装置100に伝送することができる。ここで、検索されたコンテンツに関する情報は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つを含んでよい。
この場合にも、制御部330は、EPG情報を用いたり、VODサービスでユーザの発話意図に合致するコンテンツを検索することができる。なお、制御部330は、ディスプレイ装置100に接続された外部装置(図示せず)からユーザの発話意図に合致するコンテンツを検索することもできる。
このとき、制御部330は、検索されたコンテンツに関する視聴率情報をディスプレイ装置100に伝送することができる。
そのために、制御部330は、多様なキーワードを用いて、視聴率情報を獲得するためのウェブ検索を行うことができる。例えば、制御部330は、検索されたコンテンツのタイトル、放送時間等をキーワードとして抽出し、抽出されたキーワードをウェブサーバ(図示せず)に伝送し、検索されたコンテンツに関する視聴率情報をウェブサーバ(図示せず)から受信してよい。
または、制御部330は、ユーザ選好度情報をディスプレイ装置100に伝送するように通信部310を制御することができる。そのために、保存部320は、ユーザアカウント別にユーザ選好度情報を予め保存していることができる。制御部330は、保存部320に保存されたユーザ選好度情報のうち、ディスプレイ装置100から受信されたユーザアカウント情報にマッチングするユーザ選好度情報を判断し、判断されたユーザ選好度情報をディスプレイ装置100に伝送することができる。
以下では、制御部330が、ユーザの発話意図がコンテンツ検索に関連するものか、または、コンテンツのおすすめに関連するものかに応じて行う動作を例に挙げて説明を進める。
まず、ディスプレイ装置100から“○○○(出演者の氏名)が出演する放送番組を検索して”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○○○(出演者の氏名)が出演する放送番組を検索して”にタグ付けされた情報を用いて、ユーザの発話意図を判断し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文を解釈するための情報として、 “○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組検索”は<出演者>が出演する放送番組への問い合わせを示し、“検索”はユーザの発話意図がコンテンツ検索に該当し、“して”は例文のタイプが要求文であることを示す情報がタグ付けされている。
それにより、制御部330は、これらの情報を参照し、ディスプレイ装置100から受信されたテキスト“○○○(出演者の氏名)が出演する放送番組を検索して”の対話作用は要求文であり、主作用は<出演者>が出演する放送番組への問い合わせであり、構成要素は○○○(出演者の氏名)であると判断することができる。このとき、制御部330は、例文を解釈するための情報に含まれたブランクを完成することができる。すなわち、制御部330は、<出演者>が出演する放送番組への問い合わせでブランク<出演者>は構成要素と判断された○○○(出演者の氏名)であると判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組を検索して”に含まれた発話意図は○○○(出演者の氏名)が出演する放送番組を要求するものと判断することができる。
なお、制御部330は、例文を解釈するための情報に基づいて、ユーザの発話意図がコンテンツの検索に関連するものか、または、コンテンツのおすすめに関連するものかを判断することができる。
上述の例において、制御部330は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文には、発話意図がコンテンツ検索に該当するという情報がタグ付けされていることから、“○○○(出演者の氏名)が出演する放送番組を検索して”のようなユーザの音声には、コンテンツを検索しようとする発話意図が含まれたものと判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組を検索して”のようなユーザの音声はコンテンツ検索に関連し、○○○(出演者の氏名)が出演する放送番組を要求する発話意図が含まれたと判断することができる。
その後、制御部330は、判断された発話意図に基づいて応答情報を生成する。上述の例において、制御部330は、EPG情報を参照して○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報(仮に、放送番組に対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つ)を検索することができる。そして、制御部330は、検索された放送番組に関する情報を応答情報としてディスプレイ装置100に伝送することができる。
別の例として、ディスプレイ装置100から“○○○(出演者の氏名)が出演する放送番組をおすすめして”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○○○(出演者の氏名)が出演する放送番組をおすすめして”にタグ付けされた情報を用いて、ユーザの発話意図を判断し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(出演者の氏名)が出演する放送番組をおすすめして”には例文を解釈するための情報として、“○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組検索”は<出演者>が出演する放送番組への問い合わせを示し、“おすすめ”はユーザの発話意図がコンテンツのおすすめに該当し、“して”は例文のタイプが要求文であることを示す情報がタグ付けされている。
それにより、制御部330は、これらの情報を参照し、ディスプレイ装置100から受信されたテキスト“○○○(出演者の氏名)が出演する放送番組をおすすめして”の対話作用は要求文であり、主作用は<出演者>が出演する放送番組への問い合わせであり、構成要素は○○○(出演者の氏名)であると判断することができる。このとき、制御部330は、例文を解釈するための情報に含まれたブランクを完成することができる。すなわち、制御部330は、<出演者>が出演する放送番組への問い合わせでブランク<出演者>は構成要素と判断された○○○(出演者の氏名)であると判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に含まれた発話意図は○○○(出演者の氏名)が出演する放送番組を要求するものと判断することができる。
なお、制御部330は、例文を解釈するための情報に基づいて、ユーザの発話意図がコンテンツの検索に関連するものか、または、コンテンツのおすすめに関連するものかを判断することができる。
上述の例において、制御部330は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のような例文には、発話意図がコンテンツのおすすめに該当するという情報がタグ付けされていることから、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のようなユーザの音声には、コンテンツをおすすめしようとする発話意図が含まれたものと判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のようなユーザの音声はコンテンツ検索に関連し、○○○(出演者の氏名)が出演する放送番組を要求する発話意図が含まれたと判断することができる。
その後、制御部330は、判断された発話意図に基づいて応答情報を生成する。上述の例において、制御部330は、EPG情報を参照して○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報(仮に、放送番組に対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つ)を検索することができる。
そして、制御部330は、検索された放送番組の視聴率情報に対するウェブ検索を行うことができる。または、制御部330は、ユーザアカウント情報にマッチングするユーザ選好度情報を判断することができる。
それにより、制御部330は、検索された放送番組に関する情報及び検索された放送番組の視聴率情報を応答情報としてディスプレイ装置100に伝送することができる。または、制御部330は、検索された放送番組に関する情報及びユーザ選好度情報を応答情報としてディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、ユーザの音声に含まれた発話意図がコンテンツ検索に関連するか、または、コンテンツのおすすめに関連するかに応じて、互いに異なるシステム応答を出力することができるようになる。
以下では、図6ないし図12を上述の図2及び図5とともに参照して、本発明の多様な実施形態について説明する。
例えば、図6の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組を検索して”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報を応答情報としてディスプレイ装置100に伝送することができる。
それにより、制御部150は、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組を検索して”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組が放送時間順に並べられた検索リスト410をディスプレイすることができる。この場合、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つを検索リスト410に付加することができる。
このとき、制御部150は、検索リスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、検索リストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、検索リストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、検索リストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
一方、上述の実施形態においては、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索結果をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。
すなわち、制御部330は、EPG情報のみではなく、VODサービス及びディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、ユーザの発話意図に合致するコンテンツを検索し、検索結果をディスプレイ装置100に伝送することもできる。
例えば、図7の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組を検索して”と発話した場合を仮定する。
この場合、制御部330はEPG情報だけでなく、VODサービス及びディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、○○○(出演者の氏名)が出演する番組を検索し、検索結果をディスプレイ装置100に伝送することもできる。
この場合、図7の(b)のように、制御部150は、各サービス別に検索されたコンテンツを区分して検索リストをディスプレイすることができる。
例えば、○○○(出演者の氏名)が出演する放送番組がEPG情報及びディスプレイ装置100に接続されたDVDプレーヤから検索された場合を仮定する。この場合、制御部150は、EPG情報から検索された放送番組を含む検索リスト510とDVDプレーヤから検索されたDVDコンテンツを含む検索リスト520とを一つの画面にディスプレイすることができる。
このように、制御部150は、各サービス別に検索されたコンテンツに対して別途のリストを生成してディスプレイすることができる。この場合、制御部150は、各検索リストに表示されるコンテンツの数より検索されたコンテンツの数が多い場合、各検索リストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、各検索リストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。
このように、ページ切り替えに応じて、残りのコンテンツをディスプレイする過程で、一つのサービスから検索されたコンテンツのうち、未だディスプレイされていないコンテンツは存在するが、別のサービスから検索されたコンテンツが全てディスプレイされた場合、制御部150は、検索されたコンテンツが全てディスプレイされた検索リストを除去し、一つの検索リストを通じて未だディスプレイされていないコンテンツをディスプレイすることができる。
図7のような例において、EPG情報から検索された放送番組は9件であり、DVDプレーヤから検索されたDVDコンテンツは3件であり、各検索リストでページ毎に2件ずつのコンテンツがディスプレイされる場合を仮定する。
この場合、制御部150は、図7の(a)のように、各検索リストの一番目のページ510、520で放送番組及びDVDコンテンツを2件ずつディスプレイすることができる。
その後、次のページをディスプレイするためのユーザ命令が入力されると、制御部150は、図8の(a)のように、各検索リストの二番目のページ530、540に一番目のページ510、520のディスプレイされていなかった2件の放送番組及び1件のDVDコンテンツをディスプレイすることができる。
このとき、制御部150は、検索されたVODコンテンツは、全てディスプレイされたと判断することができる。
そして、次のページをディスプレイするためのユーザ命令が再度入力されると、DVDコンテンツは全てディスプレイされたことから、制御部150は、図8の(b)のように、DVDコンテンツに対する検索リストを除去し、放送番組に対する検索リスト550のみをディスプレイすることができる。この場合、制御部150は、各検索リストを通じてディスプレイすることができた数だけコンテンツをディスプレイすることができる。すなわち、制御部150は、4件の放送番組を一つの放送番組に対する検索リスト550にディスプレイすることができる。
別の例として、図9の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、○○○(出演者の氏名)が出演する放送番組に関する視聴率情報をディスプレイ装置100に伝送することができる。
それにより、制御部150は、図9の(b)のように、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組が視聴率順に並べられたおすすめリスト610をディスプレイすることができる。この場合、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つをおすすめリスト610に付加することができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
別の例として、図10の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、ユーザ選好度情報をディスプレイ装置100に伝送することができる。ここで、ユーザ選好度情報は、ユーザの視聴した頻度数の高い放送番組に対するジャンルを含むことができる。
それにより、制御部150は、図10の(b)のように、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組のうち、視聴者が視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組が並べられたおすすめリスト710をディスプレイすることができる。
例えば、制御部150は、ユーザが視聴した頻度数の高い放送番組のジャンルが“ドラマ”なら、○○○(出演者の氏名)が出演する放送番組のうち、“ドラマ”ジャンルを有する放送番組が並べられたおすすめリスト710をディスプレイすることができる。このとき、制御部150は、ユーザが視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組を含むおすすめリスト710をディスプレイすることができる。このとき、制御部150は、放送時間順に放送番組が並べられるように、おすすめリスト710を生成することもできる。
なお、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つをおすすめリスト710に付加することができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
別の例として、図11の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、ユーザ選好度情報をディスプレイ装置100に伝送することができる。ここで、ユーザ選好度情報は、ユーザが最近視聴したチャネルに関する情報を含むことができる。
それにより、制御部150は、図11の(b)のように、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組のうち、ユーザが最近視聴したチャネルから提供する放送番組を含むおすすめリスト810をディスプレイすることができる。
例えば、ディスプレイ装置100は、ユーザが最近視聴したチャネルが“11番”であるとしたら、○○○(出演者の氏名)が出演する放送番組のうち、“11番”から提供する放送番組を含むおすすめリスト810をディスプレイすることができる。このとき、制御部150は、放送時間順に放送番組が並べられるようにおすすめリスト810を生成することもできる。
なお、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つをおすすめリスト810に付加することができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
一方、上述の図9ないし図11においては、制御部330は、EPG情報を参照してコンテンツを検索するものとして説明したが、それは一例に過ぎない。すなわち、図7のように、EPG情報だけでなく、VODサービスを提供するコンテンツプロバイダーサーバ及びディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、ユーザの発話意図に合致するコンテンツを検索し、検索結果をディスプレイ装置100に伝送することもできる。
なお、上述の図10及び図11では、視聴率情報及びユーザ選好度情報のそれぞれを用いて、おすすめリストを生成するものとして説明したが、それは一例に過ぎない。
すなわち、制御部150は、視聴率情報に基づいておすすめリストを生成し、ユーザ選好度情報を基におすすめリストを生成し、各おすすめリストを一つの画面にディスプレイすることができる。なお、制御部150は、ユーザ選好度情報内の情報を基に生成されたそれぞれのおすすめリストを一つの画面にディスプレイすることができる。
例えば、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照して○○○(出演者の氏名)が出演する放送番組を検索し、検索されは放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、視聴率情報及びユーザ選好度情報をディスプレイ装置100に伝送することができる。
それにより、制御部150は、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、図12の(a)のように、○○○(出演者の氏名)が出演する放送番組が視聴率順に並べられたおすすめリスト910とユーザが視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組を含むおすすめリスト920とを一つの画面にそれぞれディスプレイすることができる。
または、制御部150は、図12の(b)のように、○○○(出演者の氏名)が出演する放送番組が視聴率順に並べられたおすすめリスト910とユーザが最近視聴したチャネルから提供される放送番組を含むおすすめリスト930を一つの画面にそれぞれディスプレイすることができる。
または、制御部150は、図12の(c)のように、ユーザが視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組を含むおすすめリスト920及びユーザが最近視聴したチャネルから提供される放送番組を含むおすすめリスト930を一つの画面にそれぞれディスプレイすることができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
一方、ページ切り替えに応じて、残りのコンテンツをディスプレイする過程で、一つのおすすめリストから提供されるコンテンツのうち、未だディスプレイされていないコンテンツは存在するが、別のおすすめリストから提供されるコンテンツは全てディスプレイされた場合、制御部150は、全てディスプレイされたおすすめリストを除去し、残りのおすすめリストを通じて未だディスプレイされていないコンテンツをディスプレイすることができる。それについては、図8を参照して説明した方式がそのまま適用できることから、具体的な繰り返し説明は省略する。
図13は、本発明の一実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。
まず、ユーザの音声を収集する(S1310)。
その後、ユーザの音声を第1サーバに伝送し、第1サーバからユーザの音声に対応するテキスト情報を受信する(S1320)。第1サーバは、STTエンジンを用いて、ユーザの音声に対応するテキスト情報を生成してディスプレイ装置に伝送することができる。
そして、受信されたテキスト情報を第2サーバに伝送する(S1330)。この場合、第2サーバは、テキスト情報にコンテンツを検索しようとする意図を有するキーワードまたはテキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成してディスプレイ装置に伝送することができる。
それにより、テキスト情報に対応する応答情報が第2サーバから受信されると、応答情報に基づいて、ユーザの音声に含まれた発話意図に応じて差別化されたシステム応答を出力する(S1040)。ここで、発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
発話意図がコンテンツの検索に関連する場合、発話意図に応じて検索されたコンテンツに対する検索リストをシステム応答として出力することができる。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報を含んでよく、ディスプレイ装置は受信されたコンテンツに関する情報に基づいてコンテンツに対する検索リストを生成し、生成された検索リストを出力することができる。このとき、ディスプレイ装置は、検索されたコンテンツが放送時間順に並べられるように検索リストを生成することができる。
なお、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報及び視聴率に関する情報を含んでよい。それにより、ディスプレイ装置は、受信された情報に基づいて、コンテンツに対するおすすめリストを生成し、生成されたおすすめリストを出力することができる。このとき、ディスプレイ装置は、視聴率情報に基づいて検索されたコンテンツが視聴率の高い順に並べられるようにおすすめリストを生成することもできる。
なお、発話意図が前記コンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、ユーザ選好度情報に基づいて選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報を含んでよい。
そのために、応答情報は、ユーザの意図に応じて検索されたコンテンツに関する情報及びユーザ選好度情報を含んでよい。それにより、ディスプレイ装置は、受信された情報に基づいてコンテンツに対するおすすめリストを生成し、生成されたおすすめリストを出力することができる。具体的に、ディスプレイ装置は、検索されたコンテンツのうち、ユーザが視聴した頻度数の高いコンテンツと同一のジャンルを有するコンテンツが含まれるようにおすすめリストを生成することができる。なお、ディスプレイ装置は、検索されたコンテンツのうち、ユーザが最近視聴したチャネルから提供されるコンテンツが含まれるようにおすすめリストを生成することができる。
なお、本発明に係る制御方法を順次に行うプログラムが保存された非一時的な読み取り可能な媒体(Non−transitory computer readable medium)が提供されてよい。
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
なお、ディスプレイ装置及びサーバに対して示す上述のブロック図では、バス(bus)を示していないが、ディスプレイ装置及びサーバで各構成要素間の通信はバスを通じて行われてよい。なお、各デバイスには、上述の多様なステップを行うCPU、マイクロプロセッサ等のようなプロセッサが更に含まれてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
33 制御部
100 ディスプレイ装置
110 出力部
111 ディスプレイ部
112 オーディオ出力部
120 音声収集部
130 第1通信部
140 第2通信部
150 制御部
160 保存部
170 受信部
180 信号処理部
191 リモコン信号受信部
193 入力部
195 インターフェース部
200 第1サーバ
210 通信部
220 制御部
300 第2サーバ
310 通信部
320 保存部
330 制御部
100 ディスプレイ装置
110 出力部
111 ディスプレイ部
112 オーディオ出力部
120 音声収集部
130 第1通信部
140 第2通信部
150 制御部
160 保存部
170 受信部
180 信号処理部
191 リモコン信号受信部
193 入力部
195 インターフェース部
200 第1サーバ
210 通信部
220 制御部
300 第2サーバ
310 通信部
320 保存部
330 制御部
Claims (10)
- ディスプレイ装置において、
出力部と、
ユーザの音声を収集する音声収集部と、
前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信する第1通信部と、
前記受信されたテキスト情報を第2サーバに伝送する第2通信部と、
前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように前記出力部を制御する制御部と
を含み、
前記発話意図は、
コンテンツの検索またはコンテンツのおすすめに関連することを特徴とするディスプレイ装置。 - 第2サーバは、
前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送することを特徴とする請求項1に記載のディスプレイ装置。 - 前記制御部は、
前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力することを特徴とする請求項1に記載のディスプレイ装置。 - 前記制御部は、
前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項1に記載のディスプレイ装置。 - 前記制御部は、
前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項1に記載のディスプレイ装置。 - ディスプレイ装置の制御方法において、
ユーザの音声を収集するステップと、
前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信するステップと、
前記受信されたテキスト情報を第2サーバに伝送するステップと、
前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するステップと
を含み、
前記発話意図は、
コンテンツの検索またはコンテンツのおすすめに関連することを特徴とする制御方法。 - 第2サーバは、
前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送することを特徴とする請求項6に記載の制御方法。 - 前記出力するステップは、
前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力することを特徴とする請求項6に記載の制御方法。 - 前記出力するステップは、
前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項6に記載の制御方法。 - 前記出力するステップは、
前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項6に記載の制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2013-0001804 | 2013-01-07 | ||
KR1020130001804A KR20140089862A (ko) | 2013-01-07 | 2013-01-07 | 디스플레이 장치 및 그의 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014132465A true JP2014132465A (ja) | 2014-07-17 |
Family
ID=49999713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014000948A Pending JP2014132465A (ja) | 2013-01-07 | 2014-01-07 | ディスプレイ装置及びその制御方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20140195244A1 (ja) |
EP (1) | EP2752763A3 (ja) |
JP (1) | JP2014132465A (ja) |
KR (1) | KR20140089862A (ja) |
CN (1) | CN103916687A (ja) |
TW (1) | TW201435856A (ja) |
WO (1) | WO2014107102A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020507861A (ja) * | 2017-02-15 | 2020-03-12 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 検索結果を提供する方法及び装置 |
KR20210075040A (ko) * | 2014-11-12 | 2021-06-22 | 삼성전자주식회사 | 질의 응답을 위한 디스플레이 장치 및 방법 |
Families Citing this family (145)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
KR101912409B1 (ko) * | 2012-01-06 | 2018-10-26 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
EP4138075A1 (en) | 2013-02-07 | 2023-02-22 | Apple Inc. | Voice trigger for a digital assistant |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
EP3008641A1 (en) | 2013-06-09 | 2016-04-20 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
CN106471570B (zh) | 2014-05-30 | 2019-10-01 | 苹果公司 | 多命令单一话语输入方法 |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
KR102147329B1 (ko) * | 2014-06-17 | 2020-08-24 | 엘지전자 주식회사 | 영상 표시 기기 및 그의 동작 방법 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
KR20160023394A (ko) * | 2014-08-22 | 2016-03-03 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
CN104902081B (zh) * | 2015-04-30 | 2017-05-03 | 广东欧珀移动通信有限公司 | 一种飞行模式的控制方法及移动终端 |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
KR102394202B1 (ko) * | 2015-05-29 | 2022-05-04 | 삼성전자주식회사 | 장치 간의 입력 처리 방법 및 이를 구현하는 전자 장치 |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10331312B2 (en) * | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
KR20170035309A (ko) * | 2015-09-22 | 2017-03-30 | 삼성전자주식회사 | 전자 장치 및 이의 컨텐츠 제공 방법 |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
CN105335498A (zh) * | 2015-10-23 | 2016-02-17 | 广东小天才科技有限公司 | 一种基于语音信息进行信息推荐的方法和系统 |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
KR20180024927A (ko) * | 2016-08-31 | 2018-03-08 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어 방법 |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
KR102619661B1 (ko) * | 2016-10-28 | 2023-12-29 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
CN108010523B (zh) * | 2016-11-02 | 2023-05-09 | 松下电器(美国)知识产权公司 | 信息处理方法以及记录介质 |
JP2018082283A (ja) * | 2016-11-15 | 2018-05-24 | 富士通株式会社 | 情報提供装置、情報提供プログラムおよび情報提供方法 |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US11170768B2 (en) * | 2017-04-17 | 2021-11-09 | Samsung Electronics Co., Ltd | Device for performing task corresponding to user utterance |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
CN110720104B (zh) * | 2017-10-09 | 2021-11-19 | 华为技术有限公司 | 一种语音信息处理方法、装置及终端 |
CN107734370B (zh) * | 2017-10-18 | 2020-05-29 | 北京地平线机器人技术研发有限公司 | 信息交互方法、信息交互装置、 电子设备和计算机可读存储介质 |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
CN111742557B (zh) * | 2018-01-08 | 2024-01-19 | Lg电子株式会社 | 显示装置和包括显示装置的系统 |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
KR20200013152A (ko) * | 2018-07-18 | 2020-02-06 | 삼성전자주식회사 | 이전에 대화를 수집한 결과를 기반으로 인공 지능 서비스를 제공하는 전자 장치 및 방법 |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
KR102568626B1 (ko) * | 2018-10-31 | 2023-08-22 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 전자 시스템 |
US11748059B2 (en) | 2018-12-11 | 2023-09-05 | Saturn Licensing Llc | Selecting options by uttered speech |
CN109635093B (zh) * | 2018-12-17 | 2022-05-27 | 北京百度网讯科技有限公司 | 用于生成回复语句的方法和装置 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
CN113366467A (zh) * | 2019-06-26 | 2021-09-07 | 深圳市欢太科技有限公司 | 信息推荐方法、装置、电子设备以及存储介质 |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
KR20220129366A (ko) * | 2021-03-16 | 2022-09-23 | 현대자동차주식회사 | 음성 인식 시스템 및 그 제어 방법 |
TWI777781B (zh) * | 2021-09-23 | 2022-09-11 | 聯寶電子股份有限公司 | 語音控制燈具組 |
KR20240025396A (ko) * | 2022-08-18 | 2024-02-27 | 삼성전자주식회사 | 추천 컨텐츠 리스트를 제공하는 전자 장치 및 그 제어 방법 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6345389B1 (en) * | 1998-10-21 | 2002-02-05 | Opentv, Inc. | Interactive television system and method for converting non-textual information to textual information by a remote server |
KR100305320B1 (ko) * | 1998-10-30 | 2001-11-22 | 전주범 | 음성다중텔레비전에서의음성제어방법 |
US6314398B1 (en) * | 1999-03-01 | 2001-11-06 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method using speech understanding for automatic channel selection in interactive television |
JP3997459B2 (ja) * | 2001-10-02 | 2007-10-24 | 株式会社日立製作所 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
US20050071328A1 (en) * | 2003-09-30 | 2005-03-31 | Lawrence Stephen R. | Personalization of web search |
US20060075429A1 (en) * | 2004-04-30 | 2006-04-06 | Vulcan Inc. | Voice control of television-related information |
US7664746B2 (en) * | 2005-11-15 | 2010-02-16 | Microsoft Corporation | Personalized search and headlines |
US7711732B2 (en) * | 2006-04-21 | 2010-05-04 | Yahoo! Inc. | Determining related terms based on link annotations of documents belonging to search result sets |
US7890499B1 (en) * | 2006-07-28 | 2011-02-15 | Google Inc. | Presentation of search results with common subject matters |
US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8832742B2 (en) * | 2006-10-06 | 2014-09-09 | United Video Properties, Inc. | Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications |
CN101021855B (zh) * | 2006-10-11 | 2010-04-07 | 北京新岸线网络技术有限公司 | 基于内容的视频检索系统 |
US9519715B2 (en) * | 2006-11-02 | 2016-12-13 | Excalibur Ip, Llc | Personalized search |
US8250605B2 (en) * | 2006-12-18 | 2012-08-21 | Verizon Services Corp. | Systems and methods for presentation of preferred program selections |
US7996392B2 (en) * | 2007-06-27 | 2011-08-09 | Oracle International Corporation | Changing ranking algorithms based on customer settings |
US8645390B1 (en) * | 2007-08-31 | 2014-02-04 | Google Inc. | Reordering search query results in accordance with search context specific predicted performance functions |
US9445036B2 (en) * | 2009-06-30 | 2016-09-13 | Rovi Guides, Inc. | Methods and systems for content scheduling across multiple devices |
US20110067059A1 (en) * | 2009-09-15 | 2011-03-17 | At&T Intellectual Property I, L.P. | Media control |
US8358749B2 (en) * | 2009-11-21 | 2013-01-22 | At&T Intellectual Property I, L.P. | System and method to search a media content database based on voice input data |
EP2609750A4 (en) * | 2010-08-26 | 2014-10-08 | Tarik Taleb | SYSTEM AND METHOD FOR CREATING A CUSTOMIZED MULTIMEDIA CONTENT CHANNEL FOR A SOCIAL NETWORK |
US8577915B2 (en) * | 2010-09-10 | 2013-11-05 | Veveo, Inc. | Method of and system for conducting personalized federated search and presentation of results therefrom |
JP5126633B2 (ja) * | 2010-11-24 | 2013-01-23 | 株式会社Jvcケンウッド | アイテム選択装置、アイテム選択方法およびコンピュータプログラム |
JP5771002B2 (ja) * | 2010-12-22 | 2015-08-26 | 株式会社東芝 | 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機 |
KR101804917B1 (ko) * | 2011-05-06 | 2018-01-10 | 엘지전자 주식회사 | 채널 가이드 화면을 제공하는 디스플레이 장치 및 그 제어 방법 |
-
2013
- 2013-01-07 KR KR1020130001804A patent/KR20140089862A/ko not_active Application Discontinuation
-
2014
- 2014-01-03 TW TW103100119A patent/TW201435856A/zh unknown
- 2014-01-06 CN CN201410004898.XA patent/CN103916687A/zh active Pending
- 2014-01-06 EP EP14150231.0A patent/EP2752763A3/en not_active Withdrawn
- 2014-01-07 US US14/149,445 patent/US20140195244A1/en not_active Abandoned
- 2014-01-07 WO PCT/KR2014/000166 patent/WO2014107102A1/en active Application Filing
- 2014-01-07 JP JP2014000948A patent/JP2014132465A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210075040A (ko) * | 2014-11-12 | 2021-06-22 | 삼성전자주식회사 | 질의 응답을 위한 디스플레이 장치 및 방법 |
KR102445927B1 (ko) | 2014-11-12 | 2022-09-22 | 삼성전자주식회사 | 질의 응답을 위한 디스플레이 장치 및 방법 |
KR20220130655A (ko) * | 2014-11-12 | 2022-09-27 | 삼성전자주식회사 | 질의 응답을 위한 디스플레이 장치 및 방법 |
US11817013B2 (en) | 2014-11-12 | 2023-11-14 | Samsung Electronics Co., Ltd. | Display apparatus and method for question and answer |
KR102649208B1 (ko) | 2014-11-12 | 2024-03-20 | 삼성전자주식회사 | 질의 응답을 위한 디스플레이 장치 및 방법 |
JP2020507861A (ja) * | 2017-02-15 | 2020-03-12 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 検索結果を提供する方法及び装置 |
US11669579B2 (en) | 2017-02-15 | 2023-06-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for providing search results |
Also Published As
Publication number | Publication date |
---|---|
KR20140089862A (ko) | 2014-07-16 |
TW201435856A (zh) | 2014-09-16 |
EP2752763A3 (en) | 2015-06-17 |
WO2014107102A1 (en) | 2014-07-10 |
CN103916687A (zh) | 2014-07-09 |
US20140195244A1 (en) | 2014-07-10 |
EP2752763A2 (en) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014132465A (ja) | ディスプレイ装置及びその制御方法 | |
US9520133B2 (en) | Display apparatus and method for controlling the display apparatus | |
US20190333515A1 (en) | Display apparatus, method for controlling the display apparatus, server and method for controlling the server | |
KR101309794B1 (ko) | 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템 | |
KR102030114B1 (ko) | 서버 및 그의 제어 방법 | |
US9230559B2 (en) | Server and method of controlling the same | |
JP2014132464A (ja) | 対話型インターフェース装置及びその制御方法 | |
KR20140093303A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
KR20180014137A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
KR102091006B1 (ko) | 디스플레이 장치 및 그의 제어 방법 | |
KR102182689B1 (ko) | 서버 및 그의 제어 방법 | |
KR102118195B1 (ko) | 서버 및 그의 제어 방법 | |
KR102667446B1 (ko) | 서버 및 그의 제어 방법 | |
KR20160022326A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
KR20170038772A (ko) | 디스플레이 장치 및 그의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20141226 |