JP2014132465A - ディスプレイ装置及びその制御方法 - Google Patents

ディスプレイ装置及びその制御方法 Download PDF

Info

Publication number
JP2014132465A
JP2014132465A JP2014000948A JP2014000948A JP2014132465A JP 2014132465 A JP2014132465 A JP 2014132465A JP 2014000948 A JP2014000948 A JP 2014000948A JP 2014000948 A JP2014000948 A JP 2014000948A JP 2014132465 A JP2014132465 A JP 2014132465A
Authority
JP
Japan
Prior art keywords
content
user
information
voice
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014000948A
Other languages
English (en)
Inventor
Tae-Hwan Cha
泰煥 車
Jie-Chol Kim
裁徹 金
Tae-Je Park
泰濟 朴
Tensei Ri
天成 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014132465A publication Critical patent/JP2014132465A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4826End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

【課題】ユーザの音声に含まれた発話意図がコンテンツ検索またはコンテンツおすすめに関連するか否かに応じて、互いに異なるシステム応答を出力すること。
【解決手段】ディスプレイ装置が開示される。本ディスプレイ装置は、出力部と、ユーザの音声を収集する音声収集部と、ユーザの音声を第1サーバに伝送し、第1サーバからユーザの音声に対応するテキスト情報を受信する第1通信部と、受信されたテキスト情報を第2サーバに伝送する第2通信部と、テキスト情報に対応する応答情報が第2サーバから受信されると、応答情報に基づいて、ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように出力部を制御する制御部とを含み、発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
【選択図】図2

Description

本発明は、ディスプレイ装置及びその制御方法に関し、より詳細には、ユーザの音声に応じて制御されるディスプレイ装置及びその制御方法に関する。
電子技術の発達により、多様な種類のディスプレイ装置が開発及び普及され、ユーザの要求に応じて次第に多様な機能を備えるようになった。特に、テレビの場合、最近では、インターネットと接続されてインターネットサービスまでサポートし、ユーザはテレビを通じて多くのデジタル放送チャネルまで視聴できるようになった。
一方、最近はディスプレイ装置をより便利かつ直観的に制御するために、音声認識を用いた技術が開発されている。特に、テレビの場合、ユーザの音声を認識し、音量調節またはチャネル変更のように、ユーザの音声に対応する機能を行うことができるようになった。
しかし、従来のユーザの音声を認識するディスプレイ装置は、認識された音声に対応する機能を提供するだけで、ユーザとの対話を通じてインタラクティブな情報を提供することができないことにおいて限界が存在していた。
米国特開第2011−0060592号公報
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの音声に含まれた発話意図がコンテンツ検索またはコンテンツおすすめに関連するか否かに応じて、互いに異なるシステム応答を出力できるディスプレイ装置及びその制御方法を提供することにある。
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、出力部と、ユーザの音声を収集する音声収集部と、前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信する第1通信部と、前記受信されたテキスト情報を第2サーバに伝送する第2通信部と、前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように前記出力部を制御する制御部とを含み、前記発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
ここで、第2サーバは、前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送してよい。
なお、前記制御部は、前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力してよい。
そして、前記制御部は、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
なお、前記制御部は、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
一方、本発明の一実施形態に係るディスプレイ装置の制御方法は、ユーザの音声を収集するステップと、前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信するステップと、前記受信されたテキスト情報を第2サーバに伝送するステップと、前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するステップとを含み、前記発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
ここで、第2サーバは、前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送してよい。
なお、前記出力するステップは、前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力してよい。
そして、前記出力するステップは、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
なお、前記出力するステップは、前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力してよい。
以上説明したように、本発明によれば、ディスプレイ装置は発話意図により合致するシステム応答を出力することができ、ユーザの便宜性は増大し、ユーザは対話を通じてよりインタラクティブな情報の提供を受けることができるようになる。
本発明の一実施形態に係る対話型システムを説明するための図である。 本発明の一実施形態に係るディスプレイ装置に対するブロック図である。 図2に示すディスプレイ装置の細部構成を説明するためのブロック図である。 図1に示す第1サーバに対するブロック図である。 図1に示す第2サーバに対するブロック図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るUI画面をディスプレイする方法を説明するための図である。 本発明の一実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図1は、本発明の一実施形態に係る対話型システムを説明するための図である。図1に示すように、対話型システム1000は、ディスプレイ装置100と、第1サーバ200及び第2サーバ300を含む。
ディスプレイ装置100は、ディスプレイ装置100を制御するためのリモコン(図示せず)によって制御されてよい。具体的に、ディスプレイ装置100は、リモコン(図示せず)から受信されたリモコン制御信号に対応する動作を行うことができる。例えば、ディスプレイ装置100が、図1のようなテレビで実現された場合、ディスプレイ装置100は、受信されたリモコン制御信号に応じて、電源オン/オフ、チャネル変更、音量変更等の動作を行うことができる。
なお、ディスプレイ装置100は、ユーザの音声に応じて多様な動作を行うことができる。
具体的に、ディスプレイ装置100は、ユーザの音声に対応する機能を行うか、ユーザの音声に対応するシステム応答を出力することができる。
そのために、ディスプレイ装置100は、収集されたユーザの音声を第1サーバ200に伝送する。第1サーバ200は、ディスプレイ装置100からユーザの音声が受信されると、受信されたユーザの音声をテキスト情報(または、テキスト)に変換し、テキスト情報をディスプレイ装置100に伝送する。
そして、ディスプレイ装置100は、第1サーバ200から受信されたテキスト情報を第2サーバ300に伝送する。第2サーバ300は、ディスプレイ装置100からテキスト情報が受信されると、受信されたテキスト情報に対応する応答情報を生成してディスプレイ装置100に伝送する。
ディスプレイ装置100は、第2サーバ300から受信された応答情報に基づいて、多様な動作を行うことができる。
ここで、応答情報は、ディスプレイ装置100が特定機能を行うための制御命令、ディスプレイ装置100でシステム応答を出力するための制御命令、及び、ディスプレイ装置100から出力されるシステム応答に関する多様な情報のうち、少なくとも一つを含んでよい。
具体的に、ディスプレイ装置100は、ユーザの音声に対応する機能を行うことができる。すなわち、ディスプレイ装置100は、ディスプレイ装置100から提供可能な機能のうち、ユーザの音声に対応する機能を行うことができる。例えば、ディスプレイ装置100は、“○番(チャネル番号)を点けて”というユーザの音声が入力されると、第2サーバ300から受信された制御命令に基づいて、チャネルを○番に変更することができる。そのために、第2サーバ300は、ディスプレイ装置100のチャネルを○番に変更するための制御命令をディスプレイ装置100に伝送することができる。
この場合、ディスプレイ装置100は、当該機能に対応するシステム応答を同時に提供することもできる。すなわち、ディスプレイ装置100は、ユーザの音声に応じて行われた機能に関する情報を音声及びUI画面(テキストやイメージ等)のうち、少なくとも一方の形態で出力することができる。上述の例の場合、ディスプレイ装置100は、変更されたチャネルに関する情報またはチャネル変更が完了していることを示すメッセージを、音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
なお、ディスプレイ装置100は、ユーザの音声に対応するシステム応答を出力することができる。ここで、システム応答は、音声及びUI画面のうち、少なくとも一方の形態で出力されてよい。例えば、ディスプレイ装置100は、特定番組の放送時間を問い合わせるユーザの音声が入力されると、当該番組の放送時間を音声及びUI画面のうち、少なくとも一方で出力することができる。
特に、ディスプレイ装置100は、ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力することができる。ここで、ユーザの意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
具体的に、ディスプレイ装置100は、発話意図がコンテンツの検索に関連する場合、発話意図に応じて検索されたコンテンツに対する検索リストをシステム応答として出力することができる。例えば、“○○○(出演者の氏名)が出演する番組番組を検索して”というユーザの音声が収集された場合、ディスプレイ装置100は、○○○(出演者の氏名)が出演する放送番組に対するリストをシステム応答として出力することができる。
一方、ディスプレイ装置100は、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
例えば、“○○○(出演者の氏名)が出演する番組番組をおすすめして”というユーザの音声が収集された場合、ディスプレイ装置100は、○○○(出演者の氏名)が出演する放送番組が視聴率の高い順に並べられたリストを出力することができる。
なお、ディスプレイ装置100は、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、ユーザ選好度情報を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
例えば、“○○○(出演者の氏名)が出演する番組番組をおすすめして”というユーザの音声が収集された場合、ディスプレイ装置100は、○○○(出演者の氏名)が出演する放送番組のうち、ユーザが最近視聴したチャネルから提供される放送番組に対するリストを出力したり、○○○(出演者の氏名)が出演する放送番組のうち、ユーザが視聴した頻度数の高い放送番組と同一ジャンルの放送番組に対するリストを出力することができる。
そのために、第2サーバ300は、ディスプレイ装置100からシステム応答を出力するための制御命令及びディスプレイ装置100から出力されるシステム応答に関する多様な情報のうち、少なくとも一つをディスプレイ装置100に伝送することができる。
このように、ディスプレイ装置100は、ユーザの音声に含まれた発話意図がコンテンツを検索するためのものか、または、コンテンツのおすすめを受けるためのものかに応じて、互いに異なる形態のシステム応答を出力することができる。それにより、ユーザは、自分の意図に合ったシステム応答の提供を受けることができるようになり、便宜性が向上する。
一方、図1において、ディスプレイ装置100はテレビであるとして示しているが、それは一例に過ぎない。すなわち、ディスプレイ装置100はテレビだけでなく、スマートフォンのような携帯電話、デスクトップパソコン、ノートパソコン、ナビゲーション等のような多様な電子装置で実現されてよい。
なお、図1において、第1サーバ200及び第2サーバ300が別途のサーバで実現されたものとして示しているが、それも一例に過ぎない。すなわち、第1サーバ200と第2サーバ300とを含む一つの対話型サーバで実現されてよい。
図2は、本発明の一実施形態に係るディスプレイ装置に対するブロック図である。図2に示すように、ディスプレイ装置100は、出力部110と、音声収集部120と、第1通信部130と、第2通信部140及び制御部150を含む。
出力部110は、音声及び映像のうち少なくとも一方を出力する。具体的に、出力部110は、音声収集部120を介して収集されたユーザの音声に対応するシステム応答を音声及びグラフィックUIのうち、少なくとも一方を形態で出力してよい。
そのために、出力部110は、ディスプレイ部(図示せず)及びオーディオ出力部(図示せず)を備えてよい。
具体的に、ディスプレイ部(図示せず)は、液晶表示装置(Liquid Crystal Display:LCD)、有機電気発光ダイオード(Organic Light Emitting Display:OLED)またはプラズマ表示パネル(Plasma Display Panel:PDP)等で実現されてよい。ディスプレイ部(図示せず)は、ディスプレイ装置100を介して提供可能な多様なディスプレイ画面を提供することができる。特に、ディスプレイ部(図示せず)は、ユーザの音声に対応するシステム応答を、テキスト、イメージ、アイコン、GUIのうち、少なくとも一つを含むUI画面を構成してディスプレイすることができる。
一方、オーディオ出力部(図示せず)は、ジャック等のような出力ポートまたはスピーカ等で実現され、ユーザの音声に対応するシステム応答を音声形態で出力することができる。
なお、出力部110は、多様なコンテンツを出力することができる。ここで、コンテンツは、放送コンテンツ、VODコンテンツ、DVDコンテンツ等を含んでよい。例えば、ディスプレイ部(図示せず)は、コンテンツを構成する映像を出力し、オーディオ出力部(図示せず)は、コンテンツを構成するオーディオを出力することができる。
音声収集部120は、ユーザの音声を収集する。例えば、音声収集部120は、ユーザの音声を収集するためのマイクで実現され、ディスプレイ装置100に内蔵されて一体型をなすか、ディスプレイ装置100と分離された形態で実現されてよい。分離された形態で実現される場合、音声収集部120は、ユーザが手で握る形態、または食卓やテーブルに置かれる形態で実現されてよく、ディスプレイ装置100と有線または無線ネットワークを通じて接続され、収集されたユーザの音声をディスプレイ装置100に伝送することができる。
一方、音声収集部120は、収集された音声がユーザの音声かを判断し、ユーザの音声からノイズ(例えば、エアコンの音や掃除機の音、音楽の音等)をフィルタリングすることもできる。
例えば、音声収集部120は、アナログ形態のユーザ音声が入力されると、それをサンプリングしてデジタル信号に変換する。そして、音声収集部120は、変換されたデジタル信号のエネルギーを計算し、デジタル信号のエネルギーが予め設定された値以上であるか否かを判断する。
デジタル信号のエネルギーが予め設定された値以上である場合、音声収集部120はデジタル信号からノイズ成分を除去し、第1通信部130に伝達する。このとき、ノイズ成分は、家庭環境で発生し得る突発性雑音として、エアコンの音や掃除機の音、音楽の音等が含まれてよい。一方、デジタル信号のエネルギーが予め設定された値未満である場合、音声収集部120はデジタル信号に特別な処理過程を施さずに、別の入力を待つ。
それにより、ユーザの音声ではない別の音によって全オーディオ処理過程が活性化しないため、不要な電力消耗を防止することができる。
第1通信部130は、第1サーバ(図1の200)と通信を行う。具体的に、第1通信部130は、ユーザの音声を第1サーバ200に伝送し、ユーザの音声に対応するテキスト情報を第1サーバ200から受信してよい。
第2通信部140は、第2サーバ(図1の300)と通信を行う。具体的に、第2通信部140は、受信されたテキスト情報を第2サーバ300に伝送し、テキスト情報に対応する応答情報を第2サーバ300から受信してよい。
そのために、第1通信部130及び第2通信部140は、多様な通信方式を用いて第1サーバ200及び第2サーバ300と通信を行うことができる。
例えば、第1通信部130及び第2通信部140は、有/無線LAN(Local Area Network)、WAN、イーサネット(登録商標)、ブルートゥース(Bluetooth(登録商標))、Zigbee(登録商標)、USB(Universal Serial Bus)、IEEE 1394、Wi−Fi等を用いて、第1サーバ200及び第2サーバ300と通信を行うことができる。そのために、第1通信部130及び第2通信部140は、各通信方式に対応するチップまたは入力ポート等を具備することができる。例えば、有線LAN方式で通信を行う場合、第1通信部130及び第2通信部140は、有線LANカード(図示せず)及び入力ポート(図示せず)を備えてよい。
一方、上述の実施形態では、ディスプレイ装置100が第1サーバ200及び第2サーバ300と通信を行うために、別途の通信部130、140を備えるものとして説明したが、それは一例に過ぎない。すなわち、ディスプレイ装置100は、一つの通信モジュールを通じて第1サーバ200及び第2サーバ300と通信を行うことができることは言うまでもない。
なお、上述の実施形態においては、第1通信部130及び第2通信部140は、第1サーバ200及び第2サーバ300と通信を行うものとして説明したが、それは一例に過ぎない。すなわち、第1通信部130及び第2通信部140は、ウェブサーバ(図示せず)に接続されてウェブブラウジングを行うこともでき、VODサービスを提供するコンテンツプロバイダーサーバに接続され、VODコンテンツを検索することもできる。
制御部150は、ディスプレイ装置100の動作全般を制御する。すなわち、制御部150は、出力部110と、音声収集部120と、第1通信部130及び第2通信部140の動作を制御することができる。制御部150は、CPU(Central Processing Unit)及びディスプレイ装置100を制御するためのモジュール及びデータを保存するROM(Read Only Memory)及びRAM(Random Access Memory)を含むことができおる。
具体的に、制御部150は、音声収集部120を介してユーザの音声を収集し、収集されたユーザの音声を第1サーバ200に伝送するように第1通信部130を制御することができる。そして、制御部150は、ユーザの音声に対応するテキスト情報が第1サーバ200から受信されると、受信されたテキスト情報を第2サーバ300に伝送するように第2通信部140を制御することができる。
一方、制御部150は、テキスト情報に対応する応答情報が第2サーバ300から受信されると、受信された応答情報に基づいて多様な動作を行うことができる。
具体的に、制御部150は、受信された応答情報に基づいて、ユーザの音声に対応する機能を行うことができる。
ここで、応答情報は、ディスプレイ装置100の機能を制御するための制御命令を含んでよい。具体的に、制御命令は、ディスプレイ装置100で実行可能な機能のうち、ユーザの音声に対応する機能を実行するための命令を含んでよい。それにより、制御部150は、第2サーバ300から受信された制御命令に基づいて、ユーザの音声に対応する機能が実行されるように、ディスプレイ装置100の各構成要素を制御することができる。
例えば、テレビで実現されたディスプレイ装置100が“○番(チャネル番号)を点けて”というユーザの音声を収集すると、第2サーバ300は、“○番(チャネル番号)を点けて”の発話意図は、○番(チャネル番号)にチャネル変更を要求したと判断し、判断された発話意図に応じて、○番(チャネル番号)にチャネル変更を行うための制御命令をディスプレイ装置100に伝送することができる。それにより、制御部150は、受信された制御命令に基づいて○番(チャネル番号)をチャネルを変更し、変更されたチャネルを通じて提供されるコンテンツを出力するように制御することができる。
ただ、それは一例に過ぎず、制御部150は、収集されたユーザの音声に応じて、電源オン/オフ、音量調節等、多様な動作が行われるように、ディスプレイ装置100の各構成要素を制御することができる。
なお、制御部150は、受信された応答情報に基づいて、ユーザの音声に対応するシステム応答を出力するように制御することができる。
そのために、応答情報は、ディスプレイ装置100でユーザの音声に対応するシステム応答を出力するための多様な情報を含んでよい。この場合、応答情報は、ディスプレイ装置100でユーザの音声に対応するシステム応答を出力するための制御命令を更に含んでよい。
例えば、第2サーバ300は、ユーザの音声に対してディスプレイ装置100から出力されるシステム応答をテキスト形式で表現し、ディスプレイ装置100に伝送することができる。
それにより、制御部150は、TTS(Text to Speech)エンジンを用いて、テキスト形態の情報を音声に変換して出力部110を介して出力することができる。ここで、TTSエンジンとは、テキストを音声に変換するためのモジュールとして、制御部150は、従来開示されている多様なTTSアルゴリズムを用いてテキスト形態の情報を音声に変換することができる。
なお、制御部150は、テキストが含まれるように、UI画面を構成して出力部110を介して出力することもできる。
例えば、テレビで実現されたディスプレイ装置100が“○○○(放送番組名)は何時から?”というユーザの音声を収集すると、第2サーバ300は“○○○(放送番組名)は何時から?”の発話意図は○○○(放送番組名)に対する放送時間を問い合わせるものと判断し、判断された発話意図に基づいて“お問い合わせの○○○(放送番組名)の放送時間は○時からです”をテキスト形式で表現し、ディスプレイ装置100に伝送することができる。
この場合、制御部150は、テキスト形式で表現された“お問い合わせの○○○(放送番組名)の放送時間は○時からです”を音声に変換して出力部110を介して出力したり、“お問い合わせの○○○(放送番組名)の放送時間は○時からです”というテキストが含まれるようにUI画面を構成して出力部110を介して出力することができる。
なお、応答情報は、制御命令に応じて実行された機能に関連するシステム応答を出力するための多様な情報を含んでよい。この場合、制御部150は、ディスプレイ装置100で実行可能な機能のうち、制御命令に対応する機能を実行し、システム応答を出力するための多様な情報を用いて実行された機能に関連するシステム応答を音声及びUI画面のうち、少なくとも一方の形態で出力するように制御することができる。
例えば、テレビで実現されたディスプレイ装置100が“○番(チャネル番号)を点けて”というユーザの音声を収集すると、第2サーバ300はディスプレイ装置100のチャネルを○番に変更するための制御命令をディスプレイ装置100に伝送することができる。このとき、第2サーバ300は、“○番(チャネル番号)にチャネルを変更しました”をテキスト形態で表現し、ディスプレイ装置100に伝送することができる。
それにより、制御部150は、制御命令に基づいて、出力部110を介して出力される放送チャネルを○番に変更することができる。そして、制御部150は、“○番(チャネル番号)にチャネルを変更しました”をシステム応答として、音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
上述のように、制御部150は、ユーザの音声に対応する機能を実行したり、ユーザの音声に対応するシステム応答を出力するように制御することができる。
一方、ディスプレイ装置100で別途の機能を実行することなく、ユーザの音声に対応するシステム応答を出力する場合は、ユーザの音声がディスプレイ装置100で実行できない機能を実行させようとする場合を更に含んでよい。
例えば、ディスプレイ装置100がテレビ電話機能をサポートしていないテレビで実現された場合を仮定する。この場合、ディスプレイ装置100で“XXXに電話をかけて”というユーザの音声を収集すると、第2サーバ300は、テレビ電話の実行のための制御命令をディスプレイ装置100に伝送することができる。しかし、ディスプレイ装置100においては、当該制御命令に対応する機能がサポートされていないことから、制御部150は、第2サーバ300から受信された制御命令を認識することができなくなる。この場合、制御部150は、“サポートされていない機能です”というシステム応答を出力部110を介して、音声及びUI画面のうち少なくとも一方の形態で出力することができる。
一方、上述の実施形態においては、第2サーバ300は、ディスプレイ装置100でシステム応答を出力するために、テキスト形態の情報をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。
すなわち、第2サーバ300は、ディスプレイ装置100から出力されるシステム応答を構成する音声データそのもの、または、当該システム応答を構成する音声データの一部をディスプレイ装置100に伝送することができる。なお、第2サーバ300は、ディスプレイ装置100に予め保存されたデータを用いて、システム応答を出力するための制御命令をディスプレイ装置100に伝送することができる。
それにより、制御部150は、第2サーバ300から受信される応答情報の形態を考慮し、システム応答を出力するように制御することができる。
具体的に、制御部150は、システム応答を構成する音声データそのもの、または、音声データの一部が受信されると、当該データを出力部110から出力可能な形態に処理し、音声形態で出力することができる。
一方、制御部150は、システム応答を出力するための制御命令が受信される場合、ディスプレイ装置100に予め保存されたデータのうち、制御命令にマッチングするデータを検索し、検索されたデータを音声またはUI画面のうち、少なくとも一方の形態に処理し、出力部110を介して出力することができる。そのために、ディスプレイ装置100は、システム応答を提供するための音声及びUI画面に関連するデータを保存していることができる。
例えば、ディスプレイ装置100は、“チャネル変更が完了しました”または“サポートされていない機能です”のように、完全な文章体のデータを保存していることができる。
または、ディスプレイ装置100は、“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”、または、“<チャネル番号>にチャネルを変更しました”のように、システム応答を構成する一部データを保存していることができる。この場合、システム応答を完成させるための情報は、第2サーバ300から受信されてよい。
例えば、受信部150は、第2サーバ300から受信された放送番組名またはチャネル番号等を用いて当該文章を完成した後、完成した文章を音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
一方、制御部150は、テキスト情報に対応する応答情報が、第2サーバ300から受信されると、応答情報に基づいてユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように出力部110を制御することができる。ここで、ユーザの意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
具体的に、制御部150は、ユーザの発話意図がコンテンツの検索に関連する場合、発話意図に応じて検索されたコンテンツに対する検索リストをシステム応答として出力することができる。
そのために、応答情報は、検索されたコンテンツに関する情報を含んでよい。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツの検索に関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。すなわち、第2サーバ300は、EPG(Electronic Program Guide)情報、VOD(Video on Demand)サービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置100に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。
そして、第2サーバ300は、検索されたコンテンツに関する情報をディスプレイ装置100に伝送することができる。ここで、検索されたコンテンツに関する情報は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つを含んでよい。
この場合、第2サーバ300は、検索されたコンテンツに関する情報を用いて、コンテンツに対する検索リストを出力するための制御命令をディスプレイ装置100に追加して伝送することもできる。
それにより、制御部150は、受信されたコンテンツに関する情報を用いて、コンテンツに対する検索リストを生成し、コンテンツに対する検索リストをUI画面で構成して出力することができる。
別の例として、応答情報は、特定コンテンツを検索し、検索されたコンテンツに対するリストを出力するための制御命令を含むことができる。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツの検索に関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。この場合にも、第2サーバ300は、EPG(Electronic Program Guide)情報、VOD(Video on Demand)サービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置100に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。
そして、第2サーバ300は、検索されたコンテンツと同一のタイトルを有するか、検索されたコンテンツと同一のチャネルで同一の放送時間に放送されるコンテンツを検索して出力するための制御命令を生成してディスプレイ装置100に伝送することができる。
それにより、制御部150は、EPG情報から制御命令に対応するコンテンツを検索したり、VODサービスで制御命令に対応するコンテンツを検索することができる。そのために、制御部150は、コンテンツプロバイダーサーバから提供するVODコンテンツに対するリスト及び各種情報(仮に、VODコンテンツに対するタイトル、サムネール、ジャンル、出演者、制作者等)を受信することができる。なお、制御部150は、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、制御命令に対応するコンテンツを検索することができる。
そして、制御部150は、検索されたコンテンツに対する検索リストを生成し、検索リストをUI画面で構成して出力することができる。
上記のような実施形態において、制御部150は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つが含まれるように検索リストを構成することができる。なお、制御部150は、検索されたコンテンツが放送時間順に並べられるように検索リストを生成することもできる。
一方、制御部150は、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報及び検索されたコンテンツに関する視聴率情報を含んでよい。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツのおすすめに関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。この場合にも、第2サーバ300は、EPG情報、VODサービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。そして、第2サーバ300は、検索されたコンテンツい対する情報、仮に、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つをディスプレイ装置100に伝送することができる。なお、第2サーバ300は、検索されたコンテンツに関する視聴率情報をウェブ検索等を通じて獲得し、獲得した視聴率情報をディスプレイ装置100に伝送することができる。
この場合、第2サーバ300は、検索されたコンテンツに関する情報及び検索されたコンテンツに関する視聴率情報を用いて、おすすめリストを生成して出力するための制御命令をディスプレイ装置100に追加して伝送することもできる。
それにより、制御部150は、受信されたコンテンツに関する情報及び視聴率情報を用いて、コンテンツに対するおすすめリストを生成し、コンテンツに対するおすすめリストをUI画面で構成して出力することができる。
具体的に、制御部150は、視聴率情報に基づいて検索されてコンテンツのうち、視聴率の高い順にコンテンツを並べておすすめリストを生成することができる。なお、制御部150は、視聴率情報に基づいて検索されたコンテンツのうち、視聴率の高い順に予め設定された数のコンテンツを選別し、選別されたコンテンツのみが含まれるように、おすすめリストを生成することもできる。
この場合、制御部150は、検索されたコンテンツに関連する多様な情報をおすすめリストに付加することができる。例えば、制御部150は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つが含まれるようにおすすめリストを構成することができる。
一方、上述の例において、第2サーバ300が視聴率情報を検索してディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。すなわち、第2サーバ300は、視聴率情報をディスプレイ装置100に伝送しなくてよい。
この場合、ディスプレイ装置100は、視聴率情報を予め保存しているか、ウェブ検索を通じて視聴率情報を獲得することができる。
具体的に、制御部150は、第2サーバ300から受信されたコンテンツに関する情報からキーワードを抽出し、抽出されたキーワードを用いて視聴率情報を獲得するためのウェブ検索を行うことができる。例えば、制御部150は、検索されたコンテンツのタイトル、放送時間、チャネル名等をキーワードとして抽出し、抽出されたキーワードをウェブサーバ(図示せず)に伝送し、コンテンツに関する視聴率情報をウェブサーバ(図示せず)から受信することができる。
一方、上述の例においては、第2サーバ300が発話意図に応じて検索されたコンテンツに関する情報をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。すなわち、第2サーバ300は、特定コンテンツを検索し、検索されたコンテンツを視聴率情報を基に出力するための制御命令をディスプレイ装置100に伝送することもできる。
例えば、第2サーバ300は、発話意図に応じて検索されたコンテンツのタイトルと同一のタイトルを有するコンテンツを検索し、検索されたコンテンツを視聴率の高い順に出力するための制御命令でディスプレイ装置100に伝送することができる。この場合、制御部150は、EPG情報等を通じてコンテンツを検索し、検索されたコンテンツが視聴率の高い順に並べられたおすすめリストを生成して出力することもできる。
なお、制御部150は、ユーザの発話意図がコンテンツのおすすめに関連する場合、ユーザの発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報のうち、少なくとも一方を含んでよい。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報及びユーザの選好度情報を含んでよい。
例えば、第2サーバ300は、ユーザの発話意図がコンテンツのおすすめに関連すると判断された場合、発話意図に合致するコンテンツを検索することができる。この場合にも、第2サーバ300は、EPG情報またはVODサービスで発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、発話意図に合致するコンテンツを検索することができる。
そして、第2サーバ300は、検索されたコンテンツに関する情報、例えば、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つをディスプレイ装置100に伝送することができる。
なお、第2サーバ300は、ユーザの選好度情報をディスプレイ装置100に伝送することができる。具体的に、第2サーバ300は、ユーザアカウント別にユーザが視聴したコンテンツに関する情報を保存し、ディスプレイ装置100から受信されたユーザアカウント情報(仮に、ID及びパスワード)に対応するユーザ選好度情報をディスプレイ装置100に伝送することができる。
そのために、制御部150は、ユーザアカウント情報及びユーザ選好情報を第2サーバ300に伝送するように制御することができる。
例えば、制御部150は、予め設定されたイベントが発生すると、ユーザアカウント情報を受信するためのUI画面を出力するように出力部110を制御し、UI画面を通じて入力されたユーザアカウント情報を第2サーバ300に伝送するように第2通信部140を制御することができる。ここで、予め設定されたイベントは、電源オンまたはユーザアカウントを入力するための別途のユーザ命令が入力された場合を含んでよい。
そして、制御部150は、ユーザアカウント情報が入力された状態で、ユーザの視聴するコンテンツに関する多様な情報を第2サーバ300に伝送するように第2通信部140を制御することができる。
例えば、制御部150は、電源オン及びチャネル変更命令が入力される度に、EPG情報に基づいて選局されたチャネルから提供されるコンテンツを判断し、電源オン及びチャネル変更命令が入力された時間、判断されたコンテンツのタイトル、ジャンル、当該コンテンツを提供するチャネル番号、チャネル名、出演者、制作者のうち、少なくとも一つに関する情報を第2サーバ300に伝送することができる。なお、制御部150は、入力端子変更命令が入力される度に、選択された入力端子から受信されるコンテンツを判断し、入力端子変更命令が入力される時間、判断されたコンテンツのタイトル、ジャンル、出演者、制作者のうち、少なくとも一つに関する情報を第2サーバ300に伝送することができる。
それにより、第2サーバ300は、ディスプレイ装置100から受信された情報を用いて、ユーザアカウント情報別にユーザ選好度情報を保存することができる。特に、第2サーバ300は、受信された情報を用いて、ユーザが予め設定された回数以上視聴したコンテンツを視聴頻度数の高いコンテンツと判断し、ユーザが予め設定された時間内に視聴したチャネルをユーザが最近視聴したチャネルと判断し、ユーザ選好度情報を保存することができる。そして、第2サーバ300は、ディスプレイ装置100からユーザアカウント情報が受信されると、ユーザアカウント情報に対応するユーザ選好度情報をディスプレイ装置100に伝送することができる。
一方、第2サーバ300は、検索されたコンテンツに関する情報及びユーザ選好度情報を用いて、おすすめリストを生成して出力するための制御命令をディスプレイ装置100に追加して伝送することもできる。
それにより、制御部150は、受信されたコンテンツに関する情報及びユーザの選好度情報を用いてコンテンツに対するおすすめリストを生成し、コンテンツに対するおすすめリストをUI画面で構成して出力することができる。
ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報を含んでよい。
それにより、制御部150は、検索されたコンテンツのうち、ユーザが視聴した頻度数の高いコンテンツと同一のジャンルを有するコンテンツが含まれるようにおすすめリストを生成することができる。なお、制御部150は、検索されたコンテンツのうち、ユーザが最近視聴したチャネルから提供されるコンテンツが含まれるように、おすすめリストを生成することができる。
この場合、制御部150は、検索されたコンテンツに関連する多様な情報をおすすめリストに付加することができる。例えば、制御部150は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つが含まれるようにおすすめリストを構成することができる。
一方、上述の例において、第2サーバ300がユーザ選好度情報をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。すなわち、第2サーバ300は、ユーザ選好度情報をディスプレイ装置100に伝送しなくてよい。
この場合、ディスプレイ装置100は、ユーザアカウント情報別にユーザ選好度情報を予め保存していてよい。
すなわち、制御部150は、ユーザアカウント情報が入力されると、入力されたアカウント情報に対応するユーザ選好度情報を判断し、判断されたユーザ選好度情報及び第2サーバ300から受信されたコンテンツに関する情報を用いて、おすすめリストを生成することができる。
一方、上述の例においては、第2サーバ300が発話意図に応じて検索されたコンテンツに関する情報をディスプレイ装置100に伝送するものとして説明したが、しれは一例に過ぎない。すなわち、第2サーバ300は、特定コンテンツを検索し、検索されたコンテンツをユーザ選好度情報を基に出力するための制御命令をディスプレイ装置100に伝送することもできる。
例えば、第2サーバ300は、発話意図に応じて検索されたコンテンツのタイトルと同一のタイトルを有するコンテンツを検索し、検索されたコンテンツをユーザ選好度情報を考慮して出力するための制御命令をディスプレイ装置100に伝送することができる。この場合、制御部150は、EPG情報等を通じてコンテンツを検索し、検索されたコンテンツのうち、視聴した頻度数の高いコンテンツと同一のジャンルを有するコンテンツまたはユーザが最近視聴したチャネルから提供されるコンテンツが含まれるようにおすすめリストを生成することもできる。
図3は、図2に示すディスプレイ装置の細部構成を説明するためのブロック図である。図3に示すように、ディスプレイ装置100は、図2に示す構成要素の他に、保存部160と、受信部170と、信号処理部180と、リモコン信号受信部191、入力部193及びインターフェース部195を更に含んでよい。これらの構成要素は、制御部150によって制御されてよい。一方、図3に示す構成要素のうち、図2に示す構成要素と重複する構成要素は、その機能が同一であるため、詳細な説明は省略する。
保存部160は、ディスプレイ装置100を動作させるために必要な各種プログラム等が保存される保存媒体として、メモリやHDD(Hard Disk Drive)等で実現可能である。例えば、保存部160は、制御部150の動作実行のためのプログラムを保存するためのROM、制御部150の動作実行によるデータを一時的に保存するためのRAM等を備えてよい。なお、各種参照データを保存するためのEEPROM(Electrically Erasable and Programmable ROM)等を更に備えてよい。
特に、保存部160は、ユーザアカウント情報別にユーザ選好度情報を保存することができる。ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報を含んでよい。
例えば、制御部150は、電源オン及びチャネル変更命令が入力される度に、EPG情報に基づいて受信部170を介して選局されたチャネルから提供されるコンテンツを判断し、電源オン及びチャネル変更命令が入力された時間、判断されたコンテンツのタイトル、ジャンル、当該コンテンツを提供するチャネル番号、チャネル名のうち、少なくとも一つに関する情報を保存部160に保存することができる。なお、制御部150は、入力端子変更命令が入力される度に、インターフェース部195を介して選択された入力端子から受信されるコンテンツを判断し、入力端子変更命令が入力される時間、判断されたコンテンツのタイトル、ジャンル、当該コンテンツを提供するチャネル番号、チャネル名のうち、少なくとも一つに関する情報を保存部160に保存することができる。
なお、保存部160は、視聴率情報を保存することができる。例えば、制御部150は、ウェブ検索を通じてコンテンツに関する視聴率情報を検索し、検索された視聴率情報を保存部160に保存することができる。
受信部170は、多様なコンテンツを受信する。具体的に、受信部170は、放送ネットワークを用いて放送番組を伝送する放送局またはインターネットを用いて、コンテンツファイルを伝送するウェブサーバからコンテンツを受信することができる。
放送局からコンテンツを受信する実施形態の場合には、受信部170は、チューナ(図示せず)、復調器(図示せず)、等化器(図示せず)等のような構成を含む形態で実現されてよい。一方、ウェブサーバのようなソースからコンテンツを受信する実施形態の場合には、受信部170は、ネットワークインターフェースカード(図示せず)で実現されてよい。
このように、受信部170は、実施形態に応じて多様な形態で実現されてよい。
信号処理部180は、受信部170またはインターフェース部195を介して受信されたコンテンツが、出力部110を介して出力できるようにコンテンツに対する信号処理を行う。
具体的に、信号処理部180は、コンテンツに含まれた映像に対してデコーディング、スケーリング及びフレームレート変換等の動作を行い、ディスプレイ部111から出力可能な形態に変換することができる。なお、信号処理部180は、コンテンツに含まれたオーディオ信号に対してデコーディング等の信号処理を行ってオーディオ出力部112から出力可能な形態に変換することができる。
リモコン信号受信部191は、外部のリモコンから入力されるリモコン制御信号を受信する。制御部150は、リモコン信号受信部191に入力されたリモコン制御信号に基づいて、多様な動作を実行することができる。例えば、制御部150は、リモコン信号受信部191から入力された制御信号に応じて、電源オン/オフ、チャネル変更、音量調節等の動作を実行することができる。
入力部193は、多様なユーザ操作を受信する。制御部150は、入力部193から入力されたユーザ命令に対応する動作を実行することができる。例えば、制御部150は、入力部193で入力されたユーザ命令に応じて、電源オン/オフ、チャネル変更、音量調節等の動作を実行することができる。
そのために、入力部193は、入力パネルで実現されてよい。入力パネルは、タッチパッド(Touch Pad)或いは各種機能キーや数字キー、特殊キー、文字キー等を備えたキーパッド(Key Pad)またはタッチスクリーン(Touch Screen)方式で行われてよい。
インターフェース部195は、外部装置(図示せず)と通信を行う。ここで、外部機器(図示せず)は、多様な電子装置で実現され、ディスプレイ装置100にコンテンツを伝送することができる。
仮に、ディスプレイ装置100がテレビで実現された場合、外部装置(図示せず)は、セットトップボックス、音響機器、ゲーム機、DVDプレーヤ、ブルーレイディスクプレーヤ等のように、ディスプレイ装置100に接続されて機能を実行できる多様な電子装置で実現されてよい。
例えば、インターフェース部195は、HDMI(登録商標)やUSB等の各種の有線通信方式、ブルートゥース、Zigbee等の無線通信方式によって外部機器(図示せず)と通信を行うことができる。そのために、インターフェース部195は、各通信方式に対応するチップまたは入力ポート等を備えてよい。例えば、HDMI(登録商標)通信方式によって外部機器(図示せず)と通信を行う場合、インターフェース部195はHDMI(登録商標)ポートを備えてよい。
一方、制御部150は、インターフェース部195に外部装置(図示せず)が接続されたものと判断される場合、外部装置(図示せず)に保存されたコンテンツに対するリストの伝送を要求し、コンテンツに対するリスト及び各種情報を外部装置(図示せず)から受信するように制御することができる。この場合、制御部150は、コンテンツに対するリスト及び各種情報を第2サーバ300に伝送するように第2通信部140を制御することができる。
図4は、図1に示す第1サーバに対するブロック図である。図4に示すように、第1サーバ200は、通信部210及び制御部220を含む。
通信部210は、ディスプレイ装置100と通信を行う。具体的に、通信部210は、ディスプレイ装置100からユーザの音声を受信し、ユーザの音声に対応するテキスト情報をディスプレイ装置100に伝送することができる。そのために、通信部210は、多様な通信モジュールを含んでよい。
制御部220は、第1サーバ200の動作全般を制御する。特に、制御部220は、ディスプレイ装置100からユーザの音声が受信されると、ユーザの音声に対応するテキスト情報を生成し、それをディスプレイ装置100に伝送するように通信部210を制御する。
具体的に、制御部220は、STT(Speech To Text)エンジンを用いて、ユーザの音声に対応するテキスト情報を生成することができる。ここで、STTエンジンとは、音声信号をテキストに変換するためのモジュールとして、従来開示されている多様なSTTアルゴリズムを用いて音声信号をテキストに変換することができる。
例えば、制御部220は、受信されたユーザの音声内でユーザが発話した音声の開始と終了とを検出して音声区間を判断する。具体的に、制御部220は、受信された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類して、動的プログラミングを通じて音声区間を検出することができる。そして、制御部220は、検出された音声区間内において、音響モデル(Acoustic Model)に基づいて、音声の最小単位である音素を検出して音素データを生成し、生成された音素データにHMM(Hidden Markov Model)確率モデルを適用して、ユーザの音声をテキストに変換することができる。
図5は、図1に示す第2サーバに対するブロック図である。図5に示すように、第2サーバ300は、通信部310と、保存部320及び制御部330を含む。
通信部310は、ディスプレイ装置100と通信を行う。具体的に、通信部310は、ディスプレイ装置100からテキスト情報を受信し、テキスト情報に対応する応答情報をディスプレイ装置100に伝送することができる。そのために、通信部310は、多様な通信モジュールを含んでよい。
なお、通信部310は、ウェブサーバ(図示せず)に接続され、ウェブブラウジングを行うこともできる。すなわち、制御部330は、多様なキーワードを通信部を310を介してウェブサーバ(図示せず)に伝送してウェブブラウジングを行い、ウェブ検索結果を受信することができる。
そのために、保存部320は、ウェブ検索に利用される多様なキーワードを予め保存しているか、制御部330は、ディスプレイ装置100から受信されたテキスト情報からキーワードを抽出することもできる。
例えば、ディスプレイ装置100から受信されたテキストが“○○○(出演者の氏名)が出演する放送番組をおすすめして”の場合を仮定する。この場合、制御部330は、当該テキストから“○○○(出演者の氏名)”及び“放送番組”をキーワードとして抽出し、抽出されたキーワードを通じてウェブ検索を行い、○○○(出演者の氏名)が出演する放送番組に関する視聴率情報をウェブサーバ(図示せず)から受信することができる。
保存部320は、ディスプレイ装置100から受信されたテキスト情報に対応する応答情報を生成するための多様な情報を保存する。
具体的に、保存部320は、サービスドメイン別の対話パターンを保存する。ここで、サービスドメインは、ユーザの発話した音声が属するテーマに応じて、“放送”、“VOD”、“アプリ管理”、“機器制御”、“情報(天気や株式、ニュース等)提供”等で区分されてよい。しかし、それは一例に過ぎず、サービスドメインは、上述のテーマの他にも、多様なテーマに応じて区分されることができることはいうまでもない。
より具体的に、保存部320は、各サービスドメイン別のコーパス(corpus)データベースを備えてよい。ここで、コーパスデータベースとは、例文及びそれに対する回答を保存する形態で実現されてよい。
すなわち、保存部320は、各サービスドメイン別に複数の例文及び各例文に対する回答を保存することができる。なお、保存部320は、例文を解釈するための情報及び例文に対応する回答を各例文ごとにタグ付け(Tagging)して保存することができる。
例えば、放送サービスドメイン内に“○○○(放送番組名)は何時から?”という例文が保存された場合を仮定する。
この場合、保存部320は、“○○○(放送番組名)は何時から?”といった例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(放送番組名)は何時から?”のような例文において、“○○○(放送番組名)”は放送番組を示し、“何時”は放送時間に関するお問い合わせを示し、“から?”は例文のタイプが疑問文であることを示す情報を当該例文にタグ付けして保存することができる。なお、保存部320は、“〜は何時から?”という形式を有する例文の冒頭には放送番組に関連する単語が配置されるという情報を当該例文にタグ付けして保存することができる。ここで、放送番組に関連する単語は、放送番組名、出演者、演出者等が含まれてよい。
なお、保存部320は、“○○○(放送番組名)は何時から?”に対する回答を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(放送番組名)は何時から?”に対する回答として、“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”をタグ付けして保存することができる。
別の例として、放送サービスドメイン内に“○番(チャネル番号)を点けて”という例文が保存された場合を仮定する。
この場合、保存部320は、“○番(チャネル番号)を点けて”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○番(チャネル番号)を点けて”のような例文において、“○番(チャネル番号)”はチャネル番号を示し、“点け”チャネル選局命令を示し、“て”とは例文のタイプが要求文であることを示す情報を当該例文にタグ付けして保存することができる。なお、保存部320は、“〜点けて”という形式を有する例文の冒頭には、放送番組に関連する単語が配置されるという情報を当該例文にタグ付けして保存することができる。ここで、放送番組に関連する単語は、チャネル番号、チャネル名、放送番組名、出演者、演出者等であってよい。
なお、保存部320は、“○番(チャネル番号)を点けて”に対する回答を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○番(チャネル番号)を点けて”に対する回答として、“<チャネル番号>にチャネルを変更しました”をタグ付けして保存することができる。
なお、保存部320は、ディスプレイ装置100を制御するための制御命令を各例文にタグ付けして保存することができる。特に、保存部320は、ディスプレイ装置100を制御するためのユーザの音声に対応する例文にディスプレイ装置100を制御するための制御命令をタグ付けして保存することができる。例えば、保存部320は、“○番(チャネル番号)を点けて”のような例文にディスプレイ装置100のチャネルを○番に変更するための制御命令をタグ付けして保存することができる。ここで、制御命令は、スクリプト形態のシステム命令であってよい。
このように、保存部320は、例文及びそれに対する回答を保存することができる。しかし、上述の例文及びそれに対する回答は一例に過ぎず、保存部320はサービスドメイン別に多様な例文及びそれに対する回答が保存できることは言うまでもない。
制御部330は、第2サーバ300の動作全般を制御する。特に、ディスプレイ装置100からユーザの音声に対応するテキスト情報が受信されると、制御部330は、受信されたテキスト情報に対応する応答情報を生成し、生成された応答情報を通信部310を介してディスプレイ装置100に伝送するように制御することができる。
具体的に、制御部330は、テキスト情報を分析してユーザの音声に含まれた発話意図を判断し、判断された発話意図に対応する応答情報を生成してディスプレイ装置100に伝送するように通信部310を制御することができる。
そのために、制御部330は、受信されたテキスト情報にマッチングする対話パターンが存在するコーパスデータベースを検出し、ユーザの音声が属するサービスドメインを判断することができる。
具体的に、制御部330は、受信されたテキスト情報を各サービスドメイン別に保存された例文と比較し、受信されたテキスト情報にマッチングする例文が属するサービスドメインをユーザの音声が属するサービスドメインとして判断することができる。
例えば、制御部320は、ディスプレイ装置100から“○○○(放送番組名)は何時から?”または“○番(チャネル番号)を点けて”というテキストが受信されると、ディスプレイ装置100で収集したユーザの音声が放送サービスドメインに属すると判断することができる。
一方、制御部330は、受信されたテキスト情報にマッチングする例文が存在しない場合、統計的にユーザの音声が属するドメインを判断することができる。
例えば、ディスプレイ装置100が“○番(チャネル番号)を点けて”を収集し、収集されたユーザの音声に対するテキストを第2サーバ300に伝送した場合を仮定する。この場合、制御部330は、HMM(Hidden Markov Model)、CRF(Condition Random Fields)、SVM(Support Vector Machine)等の分類モデルを使用してユーザの音声が“○番(チャネル番号)を点けて”と統計的に類似すると判断し、“○番(チャネル番号)を点けて”は機器制御サービスドメインに属すると判断することができる。
そして、制御部330は、予め保存された例文と統計的に類似すると判断されたテキスト情報を保存することもできる。この場合、制御部330は、テキスト情報を統計的に類似する例文が属するサービスドメインの更に別の例文として保存することができる。なお、制御部330は、予め保存された例文を参照して、新たに保存される例文を解釈するための情報及びそれに対応する回答を新たに保存される例文にタグ付けして保存することができる。
例えば、“○番(チャネル番号)を点けて下さい”を新たな例文として保存する場合を仮定する。
この場合、制御部330は、“○番(チャネル番号)を点けて”を参照して“○番(チャネル番号)を点けて下さい”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、制御部330は、“○番(チャネル番号)を点けて下さい”のような例文において、“○番(チャネル番号)”はチャネル番号を示し、“点けて”とはチャネル選局命令を示し、“下さい”とは例文のタイプは要求文であることを示す情報を当該例文にタグ付けして保存することができる。なお、保存部320は、“〜に点けて下さい”という形式を有する例文の冒頭には、放送番組に関連する単語が配置されるという情報を当該例文にタグ付けして保存することができる。ここで、放送番組に関連する単語は、チャネル番号、チャネル名、放送番組名、出演者、演出者等であってよい。
なお、保存部320は、“○番(チャネル番号)を点けて下さい”に対する回答を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○番(チャネル番号)を点けて下さい”に対する回答として、“<チャネル番号>にチャネルを変更しました”をタグ付けして保存することができる。
なお、制御部330は、ディスプレイ装置100から受信されたテキスト情報にマッチングする例文が複数個存在し、これらが互いに異なるサービスドメインに属する場合、統計的に分析してユーザの音声の属するサービスドメインとして判断することができる。
具体的に、制御部330は、ディスプレイ装置100から受信されたテキスト情報を構成する単語(または、形態素)が各サービスドメイン内に存在する頻度数に基づいて各単語(または、形態素)に加重値を与えて、与えられた加重値を考慮してユーザの音声の属するサービスドメインとして判断することができる。
例えば、“○○○(放送番組名)を点けて”という例文が放送サービスドメイン及びVODサービスドメインにそれぞれ保存された状態で、“○○○(放送番組名)を点けて”のようなテキストがディスプレイ装置100から受信された場合を仮定する。
この場合、制御部330は、“○○○(放送番組名)を点けて”にマッチングする例文が放送サービスドメイン及びVODサービスドメインに存在すると判断し、“○○○(放送番組名)を点けて”を構成する単語(または、形態素)である“点け”及び“て”が、各サービスドメイン内に存在する頻度数に基づいて、各サービスドメイン別に“点け”及び“て”に加重値を与えることができる。
例えば、制御部330は、放送サービスドメイン内に保存された全例文の中から、“点け”を含む例文の占める割合を放送サービスドメインから“点け”の加重値として算出し、放送サービスドメイン内に保存された全例文の中から“て”を含む例文の占める割合を放送サービスドメインから“て”の加重値を算出することができる。
このような方法で、制御部330は、VODサービスドメイン内に保存された全例文の中から、“点け”を含む例文の占める割合をVODサービスドメインから“点け”の加重値として算出し、VODサービスドメイン内に保存された全例文の中から“て”を含む例文の占める割合をVODサービスドメインから“て”の加重値として算出することができる。
その後、制御部330は、各単語に対して与えられた加重値を演算してユーザの音声の属するサービスドメインを判断することができる。上述の例において、制御部330は、放送サービスドメイン内において、“点け”と“て”のそれぞれに与えられた加重値を互いに乗じた結果と、VODサービスドメイン内において、“点け”と“て”のそれぞれに与えられた加重値を互いに乗じた結果とを比較し、結果値の大きいサービスドメインにユーザの音声が属すると判断することができる。
すなわち、制御部330は、放送サービスドメイン内において与えられた加重値に基づいて算出された結果値が、VODサービスドメイン内において与えられた加重値に基づいて算出された結果値より大きい場合、“○○○(放送番組名)を点けて”は、放送サービスドメインに属すると判断することができる。逆に、制御部330は、VODサービスドメイン内において与えられた加重値に基づいて算出された結果値が、放送サービスドメイン内において与えられた加重値に基づいて算出された結果値より大きい場合、“○○○(放送番組名)を点けて”は、VODサービスドメインに属すると判断することができる。
しかし、それは一例に過ぎず、制御部330は、多様な方式を通じて統計的にユーザの音声の属するサービスドメインを判断することができる。
一方、制御部330は、ユーザの音声の属するサービスドメインに基づいて、ユーザの音声から対話作用(dialogue act)、主作用(main action)及び構成要素(component slot)(または、個体名)を抽出する。
ここで、対話作用は、文章の形態に関連する分類基準として、当該文章が叙述部(Statement)、要求文(Request)または疑問文(Question)であるかを示すものである。
主作用は、当該発話が特定ドメインで対話を通じて望む行為を示す意味的な情報である。例えば、放送サービスドメインで、主作用はテレビ電源オン/オフ、放送番組検索、放送番組時間検索、放送番組予約等を含んでよい。別の例として、機器制御ドメインで、主作用は機器電源オン/オフ、再生、一時停止等を含んでよい。
構成要素は、発話に示される特定ドメインに対する個体情報、すなわち、特定ドメインで意図する行動の意味を具体化するために与えられる情報である。例えば、放送サービスドメインにおいて、構成要素はジャンル、放送番組名、放送時間、チャネル番号、チャネル名、出演者、制作者等を含んでよく、機器制御サービスドメインにおいて構成要素は、外部機器名称、製造会社等を含んでよい。
そして、制御部330は、抽出された対話作用、主作用及び構成要素を用いてユーザの音声に含まれた発話意図を判断し、判断された発話意図に対応する応答情報を生成してディスプレイ装置100に伝送することができる。
ここで、応答情報は、ディスプレイ装置100から出力されるシステム応答がテキスト形式で表現されたものであってよい。それにより、ディスプレイ装置100は、応答情報に基づいてユーザの音声に対応するシステム応答を出力することができる。
そのために、制御部330は、判断された発話意図に対する回答を保存部320から出力し、出力された回答をテキストに変換し、それをディスプレイ装置100に伝送することができる。
なお、応答情報は、ユーザの音声に対応する機能を実行するための制御命令を含んでよい。ここで、制御命令は、ユーザの音声に対応する機能を行うように、ディスプレイ装置100を制御するための制御命令を含んでよい。
そのために、制御部330は、判断されは発話意図に対応する制御命令を生成し、生成された制御命令をディスプレイ装置100に伝送するように制御することができる。
以下では、制御部330がユーザの音声に対応する応答情報を生成するより具体的な方法を例えて説明する。
まず、制御部330は、ユーザの音声とマッチングする例文またはユーザの音声と統計的に類似すると判断された例文にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、ユーザの音声に対応する応答情報を生成してディスプレイ装置100に伝送することができる。
例えば、ディスプレイ装置100からテキスト“○○○(放送番組名)は何時から?”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○○○(放送番組名)は何時から?”にタグ付けされた情報を用いてユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”には例文を解釈するための情報として、“○○○(放送番組名)”は放送番組を示し、“何時”は放送時間に関するお問い合わせを示し、“から?”は例文のタイプが疑問文であることを示す情報がタグ付けされている。
よって、制御部330は、これらの情報を参照してディスプレイ装置100から受信されたテキスト“○○○(放送番組名)は何時から?”の対話作用は疑問文であり、主作用は放送時間に関するお問い合わせであり、構成要素は○○○(放送番組名)であると判断することができる。それにより、制御部330は、ユーザの発話意図は○○○に対する放送時間を問い合わせるものと判断することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答を保存部320から検索し、タグ付けされた回答を用いてシステム応答情報を生成することができる。
すなわち、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答である“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”をユーザの音声に対応する回答として検索する。
この場合、制御部330は、検索された回答に含まれたブランクを完成し、完全なな形の文章を生成することができる。
例えば、制御部330は、“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”のような回答で、ブランク<放送番組名>は放送番組名である“○○○(放送番組名)”を載せることができる。そして、制御部330は、EPG情報を通じて“○○○(放送番組名)”の放送時間を検索し、検索された放送時間を別のブランクである<放送時間>に載せることができる。それにより、制御部330は、“お問い合わせの○○○(放送番組名)の放送時間は土曜日の7時からです”という完全な形の文章をテキスト形式で表現して応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、第2サーバ300から受信された応答情報に基づいて、“お問い合わせの○○○(放送番組名)の放送時間は土曜日の7時からです”を音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
別の例として、ディスプレイ装置100からテキスト“○番(チャネル番号)を点けて”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○番(チャネル番号)を点けて”にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”には、例文を解釈するための情報として、“○番(チャネル番号)”はチャネル番号を示し、“点け”は放送選局命令を示し、“て”は例文のタイプが要求文であることを示す情報がタグ付けされている。よって、制御部330は、これらの情報を参照し、ディスプレイ装置100から受信されたテキスト“○番(チャネル番号)を点けて”の対話作用は要求文であり、主作用は放送選局命令であり、構成要素は○番(チャネル番号)と判断することができる。それにより、制御部330は、ユーザの発話意図は、○番に対する放送選局を要求するものと判断することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”にタグ付けされた回答を保存部320から検索し、タグ付けされた回答を用いて応答情報を生成することができる。
すなわち、制御部330は、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”にタグ付けされた回答である“<チャネル番号>にチャネルを変更しました”をユーザの音声に対応する回答として検索する。
この場合、制御部330は、検索された回答に含まれたブランクを完成し、完全な形の文章を生成することができる。
例えば、制御部330は、“<チャネル番号>にチャネルを変更しました”のような回答で、ブランク<チャネル番号>はチャネル番号である“○番(チャネル番号)”を載せることができる。それにより、制御部330は、“○番にチャネルを変更しました”という完全な形の文章をテキスト形式で表現して応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○番(チャネル番号)を点けて”にタグ付けされた制御命令を保存部320から検索し、タグ付けされた制御命令をディスプレイ装置100に伝送するように制御することができる。すなわち、制御部330は、ディスプレイ装置100のチャネルを○番に変更するための制御命令をディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、第2サーバ300から受信された制御命令に基づいて○番にチャネルを変更し、“○番にチャネルを変更しました”というシステム応答を音声及びUI画面のうち、少なくとも一方の形態で出力することができる。
一方、上述の例において、制御部330が例文にタグ付けされた制御命令に基づいてディスプレイ装置100の機能を実行させるための制御命令を生成するものとして説明したが、それは一例に過ぎない。
すなわち、制御部330は、判断された発話意図に基づいて制御命令を生成し、それをディスプレイ装置100に伝送することができる。例えば、制御部330は、ユーザの発話意図が○番に対する放送選局を要求したと判断された場合、○番にチャネルを変更するための制御命令を生成し、ディスプレイ装置100に伝送することができる。
なお、上述の例において、制御部330は、ディスプレイ装置100の機能を実行するための制御命令伝送時、システム応答を出力するための情報を同時に伝送するものとして説明したが、それは一例に過ぎない。すなわち、制御部330は、ユーザの発話意図に応じて、ディスプレイ装置100の機能を実行するための制御命令のみをディスプレイ装置100に伝送することもできる。
この場合、ディスプレイ装置100は、別途のシステム応答を出力しないか、ディスプレイ装置100内に予め保存されたデータを用いてシステム応答を出力することができる。
一方、制御部330は、ユーザの音声と統計的に類似するものとして、例文にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
例えば、ディスプレイ装置100からテキスト“△△△(放送番組名)は何時から?”が受信された場合を仮定する。
この場合、制御部330は、テキスト“△△△(放送番組名)は何時から?”は、放送サービスドメイン内に保存された例文である“○○○(放送番組名)は何時から?”と統計的に類似すると判断することができる。それにより、制御部330は、放送サービスドメイン内に保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用及び構成要素を抽出し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”には例文を解釈するための情報として、“〜は何時から?”の冒頭には、放送番組に関連する単語が配置されるという情報がタグ付けされている。よって、制御部330は、放送番組に関連する単語である放送番組名、出演者、演出者等のうち、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索する。
そのために、保存部320は、各サービスドメイン別に構成要素に関する情報を保存する個体名辞書またはTIMEX辞書等を含んでよい。
すなわち、制御部330は、個体名辞書またはTIMEX辞書等を参照して、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索し、“△△△(放送番組名)”が放送番組名を表す単語であると判断することができる。
ただ、それは一例に過ぎず、制御部330は、EPG情報等を用いて、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索することもでき、予め保存された例文とCRF(Conditional Random Field)を用いて、“△△△(放送番組名)”がどのような意味を有する単語であるかを検索することもできる。
それにより、制御部330は、ディスプレイ装置100から受信されたテキスト“△△△(放送番組名)は何時から?”の対話作用は疑問文であり、主作用は放送時間に関するお問い合わせであり、構成要素は△△△(放送番組名)であると判断することができる。そして、制御部330は、ユーザの音声に含まれた発話意図は、“△△△”に対する“放送時間”を“問い合わせる”ことと判断することができる。
なお、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答を用いて、“△△△(放送番組名)は何時から?”に関するシステム応答情報を生成し、生成されたシステム応答情報をディスプレイ装置100に伝送することができる。
すなわち、制御部330は、放送サービスドメインに保存された例文である“○○○(放送番組名)は何時から?”にタグ付けされた回答である“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”をユーザの音声に対応する回答として検索する。そして、制御部330は、“お問い合わせの△△△(放送番組名)の放送時間は水曜日の11時からです”という完全な文章をテキスト形式で表現して応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
一方、制御部330は、ディスプレイ装置100からシステム応答を構成するデータを予め保存している場合、当該データをシステム応答として出力するための制御命令をディスプレイ装置100に伝送することもできる。
なお、制御部330は、ディスプレイ装置100でシステム応答を構成するデータの一部を予め保存している場合、完全なシステム応答を出力するための情報のみをディスプレイ装置100に伝送することもできる。
例えば、ディスプレイ装置100に“お問い合わせの<放送番組名>の放送時間は<放送時間>からです”のような回答が予め保存されている場合、制御部330は、ディスプレイ装置100に保存された回答を完全な形の文章で構成するために、ユーザが問い合わせる放送番組名及びその放送時間に関する情報をディスプレイ装置100に伝送するように制御することができる。この場合、制御部330は、ディスプレイ装置100に予め保存された回答を出力するための別途の制御命令をディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、第2サーバ300から受信された情報を予め保存された回答に載せて“お問い合わせの○○○(放送番組名)の放送時間は土曜日の7時からです”を応答メッセージとして出力することができる。
一方、上述の実施形態において、制御部330は例文にタグ付けされた情報を用いて、対話作用、主作用及び構成要素を抽出するものとして説明してきたが、それは一例に過ぎない。すなわち、制御部330は、ユーザの音声からMaxEnt(Maximum Entropy Classfier)を用いて対話作用、主作用を抽出し、CRF(Condition Random Fields)を用いて構成要素を抽出することもできる。
しかし、これらの実施形態に限定されるわけではなく、制御部330は既に公知となった多様な方式を通じてユーザの音声から対話作用、主作用及び構成要素を抽出することもできる。
一方、制御部330は、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができない場合、以前に受信されたユーザの音声を参照して、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができる。
具体的に、制御部330は、以前に受信されたユーザの音声の属するサービスドメインに基づいて、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができない場合、以前に受信されたユーザの音声に参照し、現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができる。
すなわち、制御部330は、現在受信されたユーザの音声をコーパスデータベースに保存された対話パターンと比較して、現在受信されたユーザの音声が対話パターンで、最初のユーザ発話に該当するか否かを判断し、最初のユーザ発話に該当しないと判断されると、以前に受信されたユーザの音声を参照して現在受信されたユーザの音声に含まれたユーザの発話意図を判断することができる。
そのために、保存部320は、各サービスドメインで各例文を階層的に保存することができる。すなわち、保存部320は、各サービスドメインでユーザが最初に発話することができるユーザの音声にマッチングする例文を最上位階層に保存し、ユーザが以後に発話することができるユーザの音声にマッチングする例文を階層的に保存することができる。
例えば、“○○○(放送番組名)は何時から?”というユーザの音声が入力された後、“何時から?”というユーザの音声が入力された場合を仮定する。この場合、制御部330は、“何時から?”というユーザの音声が放送サービスドメイン内で最初にユーザ発話に該当しないと判断されると、以前に受信された“○○○(放送番組名)は何時から?”というユーザ音声に基づいて、“何時から?”の発話意図を判断することができる。
すなわち、制御部330は、構成要素を抽出することができない“何時から?”というユーザ音声の発話意図を判断するために、以前に受信されたユーザ音声に含まれた“○○○(放送番組名)”を用いて、“何時から?”の発話意図を○○○に対する番組の開始時間を問い合わせるものとして判断することができる。
このように、第2サーバ300は、ユーザの発話意図に対応する応答情報を生成してディスプレイ装置100に伝送し、ディスプレイ装置100は第2サーバ300から受信された応答情報に基づいて、ユーザの音声に対応する機能を行うか、ユーザの音声に対応するシステム応答を出力することができる。
一方、ディスプレイ装置100は、ユーザの音声にコンテンツを検索するための発話意図が含まれるか、または、ユーザの音声にコンテンツのおすすめを受けるための発話意図が含まれるかに応じて、互いに異なるシステム応答を出力することができる。
そのために、第2サーバ300は、テキスト情報にコンテンツを検索しようとする意図を有するキーワード、またはコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成してディスプレイ装置100に伝送することができる。
すなわち、保存部320は、ユーザがコンテンツを検索しようとするものか、または、コンテンツのおすすめを受けようとするものかを判断するための情報を、例文を解釈するための情報として保存することができる。
例えば、放送サービスドメイン内に“○○○(出演者の氏名)が出演する放送番組を検索して”という例文が保存された場合を仮定する。
この場合、保存部320は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文において、“○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組検索”は<出演者>が出演する放送番組への問い合わせを示し、“検索”はユーザの発話意図がコンテンツ検索に該当し、“して”は例文のタイプが要求文であることを示す情報を当該例文にタグ付けして保存することができる。
上述の例においては、保存部320が“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文で“検索”は、ユーザの発話意図がコンテンツ検索に該当するという情報を保存するものとして説明したが、それは一例に過ぎない。すなわち、保存部320は、“○○○(出演者の氏名)が出演する放送番組を探して”のような例文で“探し”はユーザの発話意図がコンテンツ検索に該当するという情報を保存することができ、“○○○(出演者の氏名)が出演する放送番組を教えて”のような例文では、“教え”はユーザの発話意図がコンテンツ検索に該当するという情報を保存することができる。
このように、保存部320は、例文にコンテンツ検索に関連する単語が存在する場合、各例文毎に当該情報をタグ付けして保存することができる。
別の例として、放送サービスドメイン内に“○○○(出演者の氏名)が出演する放送番組をおすすめして”という例文が保存された場合を仮定する。
この場合、保存部320は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のような例文を解釈するための情報を当該例文にタグ付けして保存することができる。具体的に、保存部320は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文において、“○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組のおすすめ”は<出演者>が出演する放送番組への問い合わせを示し、“おすすめ”はユーザの発話意図がコンテンツのおすすめに該当し、“して”は例文のタイプが要求文であることを示す情報を当該例文にタグ付けして保存することができる。
上述の例においては、保存部320が“○○○(出演者の氏名)が出演する放送番組をおすすめして”のような例文で“おすすめ”は、ユーザの発話意図がコンテンツのおすすめに該当するという情報を保存するものとして説明したが、それは一例に過ぎない。別の例として、保存部320は、“○○○(出演者の氏名)が出演する放送番組の中で見応えのある番組は?”のような例文で“見応えのある”はユーザの発話意図がコンテンツのおすすめに該当するという情報を保存することができる。
このように、保存部320は、例文にコンテンツのおすすめに関連する単語が存在する場合、各例文毎に当該情報をタグ付けして保存することができる。
一方、制御部330は、ユーザの音声にコンテンツ検索またはコンテンツのおすすめに関連する発話意図が含まれるか否かを判断し、判断された発話意図に対応する応答情報を生成し、ディスプレイ装置100に伝送することができる。
具体的に、制御部330は、ユーザの音声とマッチングする例文またはユーザの音声と統計的に類似すると判断された例文にタグ付けされた情報を用いて、ユーザの音声から対話作用、主作用、構成要素、及びユーザの意図に関連する情報を抽出し、抽出された情報を用いてユーザの音声にコンテンツ検索またはコンテンツのおすすめに関連する発話意図が含まれるか否かを判断することができる。
そして、制御部330は、判断されたユーザの発話意図に対応する応答情報を生成し、生成された応答情報をディスプレイ装置100に伝送することができる。
具体的に、制御部330は、ユーザの発話意図がコンテンツの検索に関連するものと判断された場合、発話意図に合致するコンテンツを検索する。
この場合、制御部330は、EPG情報を用いたり、VODサービスを提供するコンテンツプロバイダーサーバからユーザの発話意図に合致するコンテンツを検索することができる。
なお、制御部330は、ディスプレイ装置100に接続された外部装置(図示せず)からユーザの発話意図に合致するコンテンツを検索することもできる。例えば、ディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツに関する情報がディスプレイ装置100から受信されると、制御部330は、外部装置(図示せず)に保存されたコンテンツのうち、ユーザの発話意図に合致するコンテンツを検索することができる。
そして、制御部330は、検索されたコンテンツに関する情報をディスプレイ装置100に伝送することができる。ここで、検索されたコンテンツに関する情報は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つを含んでよい。
この場合、制御部330は、検索されたコンテンツに関する情報を用いて、コンテンツに対する検索リストを出力するための制御命令をディスプレイ装置100に伝送することもできる。
なお、制御部330は、特定コンテンツを検索し、検索されたコンテンツに対するリストを出力するための制御命令をディスプレイ装置100に伝送することができる。
具体的に、制御部330は、EPG情報、VODサービスでユーザの発話意図に合致するコンテンツを検索したり、ディスプレイ装置100に接続された外部装置(図示せず)でユーザの発話意図に合致するコンテンツを検索することができる。
そして、制御部330は、検索されたコンテンツと同一のタイトルを有するか、検索されたコンテンツと同一のチャネルで同一の放送時間に放送されるコンテンツを検索して出力するための制御命令を生成し、ディスプレイ装置100に伝送することができる。
一方、制御部33は、ユーザの発話意図がコンテンツのおすすめに関連する場合、発話意図に合致するコンテンツを検索し、検索されたコンテンツに関する情報をディスプレイ装置100に伝送することができる。ここで、検索されたコンテンツに関する情報は、コンテンツに対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つを含んでよい。
この場合にも、制御部330は、EPG情報を用いたり、VODサービスでユーザの発話意図に合致するコンテンツを検索することができる。なお、制御部330は、ディスプレイ装置100に接続された外部装置(図示せず)からユーザの発話意図に合致するコンテンツを検索することもできる。
このとき、制御部330は、検索されたコンテンツに関する視聴率情報をディスプレイ装置100に伝送することができる。
そのために、制御部330は、多様なキーワードを用いて、視聴率情報を獲得するためのウェブ検索を行うことができる。例えば、制御部330は、検索されたコンテンツのタイトル、放送時間等をキーワードとして抽出し、抽出されたキーワードをウェブサーバ(図示せず)に伝送し、検索されたコンテンツに関する視聴率情報をウェブサーバ(図示せず)から受信してよい。
または、制御部330は、ユーザ選好度情報をディスプレイ装置100に伝送するように通信部310を制御することができる。そのために、保存部320は、ユーザアカウント別にユーザ選好度情報を予め保存していることができる。制御部330は、保存部320に保存されたユーザ選好度情報のうち、ディスプレイ装置100から受信されたユーザアカウント情報にマッチングするユーザ選好度情報を判断し、判断されたユーザ選好度情報をディスプレイ装置100に伝送することができる。
以下では、制御部330が、ユーザの発話意図がコンテンツ検索に関連するものか、または、コンテンツのおすすめに関連するものかに応じて行う動作を例に挙げて説明を進める。
まず、ディスプレイ装置100から“○○○(出演者の氏名)が出演する放送番組を検索して”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○○○(出演者の氏名)が出演する放送番組を検索して”にタグ付けされた情報を用いて、ユーザの発話意図を判断し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文を解釈するための情報として、 “○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組検索”は<出演者>が出演する放送番組への問い合わせを示し、“検索”はユーザの発話意図がコンテンツ検索に該当し、“して”は例文のタイプが要求文であることを示す情報がタグ付けされている。
それにより、制御部330は、これらの情報を参照し、ディスプレイ装置100から受信されたテキスト“○○○(出演者の氏名)が出演する放送番組を検索して”の対話作用は要求文であり、主作用は<出演者>が出演する放送番組への問い合わせであり、構成要素は○○○(出演者の氏名)であると判断することができる。このとき、制御部330は、例文を解釈するための情報に含まれたブランクを完成することができる。すなわち、制御部330は、<出演者>が出演する放送番組への問い合わせでブランク<出演者>は構成要素と判断された○○○(出演者の氏名)であると判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組を検索して”に含まれた発話意図は○○○(出演者の氏名)が出演する放送番組を要求するものと判断することができる。
なお、制御部330は、例文を解釈するための情報に基づいて、ユーザの発話意図がコンテンツの検索に関連するものか、または、コンテンツのおすすめに関連するものかを判断することができる。
上述の例において、制御部330は、“○○○(出演者の氏名)が出演する放送番組を検索して”のような例文には、発話意図がコンテンツ検索に該当するという情報がタグ付けされていることから、“○○○(出演者の氏名)が出演する放送番組を検索して”のようなユーザの音声には、コンテンツを検索しようとする発話意図が含まれたものと判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組を検索して”のようなユーザの音声はコンテンツ検索に関連し、○○○(出演者の氏名)が出演する放送番組を要求する発話意図が含まれたと判断することができる。
その後、制御部330は、判断された発話意図に基づいて応答情報を生成する。上述の例において、制御部330は、EPG情報を参照して○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報(仮に、放送番組に対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つ)を検索することができる。そして、制御部330は、検索された放送番組に関する情報を応答情報としてディスプレイ装置100に伝送することができる。
別の例として、ディスプレイ装置100から“○○○(出演者の氏名)が出演する放送番組をおすすめして”が受信された場合を仮定する。
この場合、制御部330は、受信されたテキストが放送サービスドメインに属すると判断し、放送サービスドメイン内で受信されたテキストとマッチングする例文である“○○○(出演者の氏名)が出演する放送番組をおすすめして”にタグ付けされた情報を用いて、ユーザの発話意図を判断し、それに対する応答情報を生成することができる。
すなわち、放送サービスドメインに保存された例文である“○○○(出演者の氏名)が出演する放送番組をおすすめして”には例文を解釈するための情報として、“○○○(出演者の氏名)”は出演者の氏名を示し、“出演”、“放送番組検索”は<出演者>が出演する放送番組への問い合わせを示し、“おすすめ”はユーザの発話意図がコンテンツのおすすめに該当し、“して”は例文のタイプが要求文であることを示す情報がタグ付けされている。
それにより、制御部330は、これらの情報を参照し、ディスプレイ装置100から受信されたテキスト“○○○(出演者の氏名)が出演する放送番組をおすすめして”の対話作用は要求文であり、主作用は<出演者>が出演する放送番組への問い合わせであり、構成要素は○○○(出演者の氏名)であると判断することができる。このとき、制御部330は、例文を解釈するための情報に含まれたブランクを完成することができる。すなわち、制御部330は、<出演者>が出演する放送番組への問い合わせでブランク<出演者>は構成要素と判断された○○○(出演者の氏名)であると判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に含まれた発話意図は○○○(出演者の氏名)が出演する放送番組を要求するものと判断することができる。
なお、制御部330は、例文を解釈するための情報に基づいて、ユーザの発話意図がコンテンツの検索に関連するものか、または、コンテンツのおすすめに関連するものかを判断することができる。
上述の例において、制御部330は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のような例文には、発話意図がコンテンツのおすすめに該当するという情報がタグ付けされていることから、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のようなユーザの音声には、コンテンツをおすすめしようとする発話意図が含まれたものと判断することができる。
それにより、制御部330は、“○○○(出演者の氏名)が出演する放送番組をおすすめして”のようなユーザの音声はコンテンツ検索に関連し、○○○(出演者の氏名)が出演する放送番組を要求する発話意図が含まれたと判断することができる。
その後、制御部330は、判断された発話意図に基づいて応答情報を生成する。上述の例において、制御部330は、EPG情報を参照して○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報(仮に、放送番組に対するタイトル、サムネール、放送時間、ジャンル、出演者、制作者、コンテンツが放送されるチャネル番号、チャネル名のうち、少なくとも一つ)を検索することができる。
そして、制御部330は、検索された放送番組の視聴率情報に対するウェブ検索を行うことができる。または、制御部330は、ユーザアカウント情報にマッチングするユーザ選好度情報を判断することができる。
それにより、制御部330は、検索された放送番組に関する情報及び検索された放送番組の視聴率情報を応答情報としてディスプレイ装置100に伝送することができる。または、制御部330は、検索された放送番組に関する情報及びユーザ選好度情報を応答情報としてディスプレイ装置100に伝送することができる。
それにより、ディスプレイ装置100は、ユーザの音声に含まれた発話意図がコンテンツ検索に関連するか、または、コンテンツのおすすめに関連するかに応じて、互いに異なるシステム応答を出力することができるようになる。
以下では、図6ないし図12を上述の図2及び図5とともに参照して、本発明の多様な実施形態について説明する。
例えば、図6の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組を検索して”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報を応答情報としてディスプレイ装置100に伝送することができる。
それにより、制御部150は、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組を検索して”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組が放送時間順に並べられた検索リスト410をディスプレイすることができる。この場合、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つを検索リスト410に付加することができる。
このとき、制御部150は、検索リスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、検索リストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、検索リストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、検索リストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
一方、上述の実施形態においては、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索結果をディスプレイ装置100に伝送するものとして説明したが、それは一例に過ぎない。
すなわち、制御部330は、EPG情報のみではなく、VODサービス及びディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、ユーザの発話意図に合致するコンテンツを検索し、検索結果をディスプレイ装置100に伝送することもできる。
例えば、図7の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組を検索して”と発話した場合を仮定する。
この場合、制御部330はEPG情報だけでなく、VODサービス及びディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、○○○(出演者の氏名)が出演する番組を検索し、検索結果をディスプレイ装置100に伝送することもできる。
この場合、図7の(b)のように、制御部150は、各サービス別に検索されたコンテンツを区分して検索リストをディスプレイすることができる。
例えば、○○○(出演者の氏名)が出演する放送番組がEPG情報及びディスプレイ装置100に接続されたDVDプレーヤから検索された場合を仮定する。この場合、制御部150は、EPG情報から検索された放送番組を含む検索リスト510とDVDプレーヤから検索されたDVDコンテンツを含む検索リスト520とを一つの画面にディスプレイすることができる。
このように、制御部150は、各サービス別に検索されたコンテンツに対して別途のリストを生成してディスプレイすることができる。この場合、制御部150は、各検索リストに表示されるコンテンツの数より検索されたコンテンツの数が多い場合、各検索リストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、各検索リストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。
このように、ページ切り替えに応じて、残りのコンテンツをディスプレイする過程で、一つのサービスから検索されたコンテンツのうち、未だディスプレイされていないコンテンツは存在するが、別のサービスから検索されたコンテンツが全てディスプレイされた場合、制御部150は、検索されたコンテンツが全てディスプレイされた検索リストを除去し、一つの検索リストを通じて未だディスプレイされていないコンテンツをディスプレイすることができる。
図7のような例において、EPG情報から検索された放送番組は9件であり、DVDプレーヤから検索されたDVDコンテンツは3件であり、各検索リストでページ毎に2件ずつのコンテンツがディスプレイされる場合を仮定する。
この場合、制御部150は、図7の(a)のように、各検索リストの一番目のページ510、520で放送番組及びDVDコンテンツを2件ずつディスプレイすることができる。
その後、次のページをディスプレイするためのユーザ命令が入力されると、制御部150は、図8の(a)のように、各検索リストの二番目のページ530、540に一番目のページ510、520のディスプレイされていなかった2件の放送番組及び1件のDVDコンテンツをディスプレイすることができる。
このとき、制御部150は、検索されたVODコンテンツは、全てディスプレイされたと判断することができる。
そして、次のページをディスプレイするためのユーザ命令が再度入力されると、DVDコンテンツは全てディスプレイされたことから、制御部150は、図8の(b)のように、DVDコンテンツに対する検索リストを除去し、放送番組に対する検索リスト550のみをディスプレイすることができる。この場合、制御部150は、各検索リストを通じてディスプレイすることができた数だけコンテンツをディスプレイすることができる。すなわち、制御部150は、4件の放送番組を一つの放送番組に対する検索リスト550にディスプレイすることができる。
別の例として、図9の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、○○○(出演者の氏名)が出演する放送番組に関する視聴率情報をディスプレイ装置100に伝送することができる。
それにより、制御部150は、図9の(b)のように、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組が視聴率順に並べられたおすすめリスト610をディスプレイすることができる。この場合、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つをおすすめリスト610に付加することができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
別の例として、図10の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、ユーザ選好度情報をディスプレイ装置100に伝送することができる。ここで、ユーザ選好度情報は、ユーザの視聴した頻度数の高い放送番組に対するジャンルを含むことができる。
それにより、制御部150は、図10の(b)のように、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組のうち、視聴者が視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組が並べられたおすすめリスト710をディスプレイすることができる。
例えば、制御部150は、ユーザが視聴した頻度数の高い放送番組のジャンルが“ドラマ”なら、○○○(出演者の氏名)が出演する放送番組のうち、“ドラマ”ジャンルを有する放送番組が並べられたおすすめリスト710をディスプレイすることができる。このとき、制御部150は、ユーザが視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組を含むおすすめリスト710をディスプレイすることができる。このとき、制御部150は、放送時間順に放送番組が並べられるように、おすすめリスト710を生成することもできる。
なお、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つをおすすめリスト710に付加することができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
別の例として、図11の(a)のように、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照し、○○○(出演者の氏名)が出演する放送番組を検索し、検索された放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、ユーザ選好度情報をディスプレイ装置100に伝送することができる。ここで、ユーザ選好度情報は、ユーザが最近視聴したチャネルに関する情報を含むことができる。
それにより、制御部150は、図11の(b)のように、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、○○○(出演者の氏名)が出演する放送番組のうち、ユーザが最近視聴したチャネルから提供する放送番組を含むおすすめリスト810をディスプレイすることができる。
例えば、ディスプレイ装置100は、ユーザが最近視聴したチャネルが“11番”であるとしたら、○○○(出演者の氏名)が出演する放送番組のうち、“11番”から提供する放送番組を含むおすすめリスト810をディスプレイすることができる。このとき、制御部150は、放送時間順に放送番組が並べられるようにおすすめリスト810を生成することもできる。
なお、制御部150は、放送番組名、放送時間、放送番組を提供するチャネル名、チャネル番号、出演者、制作者等のうち、少なくとも一つをおすすめリスト810に付加することができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
一方、上述の図9ないし図11においては、制御部330は、EPG情報を参照してコンテンツを検索するものとして説明したが、それは一例に過ぎない。すなわち、図7のように、EPG情報だけでなく、VODサービスを提供するコンテンツプロバイダーサーバ及びディスプレイ装置100に接続された外部装置(図示せず)に保存されたコンテンツのうち、ユーザの発話意図に合致するコンテンツを検索し、検索結果をディスプレイ装置100に伝送することもできる。
なお、上述の図10及び図11では、視聴率情報及びユーザ選好度情報のそれぞれを用いて、おすすめリストを生成するものとして説明したが、それは一例に過ぎない。
すなわち、制御部150は、視聴率情報に基づいておすすめリストを生成し、ユーザ選好度情報を基におすすめリストを生成し、各おすすめリストを一つの画面にディスプレイすることができる。なお、制御部150は、ユーザ選好度情報内の情報を基に生成されたそれぞれのおすすめリストを一つの画面にディスプレイすることができる。
例えば、ユーザが“○○○(出演者の氏名)が出演する放送番組をおすすめして”と発話した場合を仮定する。
この場合、制御部330は、EPG情報を参照して○○○(出演者の氏名)が出演する放送番組を検索し、検索されは放送番組に関する情報をディスプレイ装置100に伝送することができる。このとき、制御部330は、視聴率情報及びユーザ選好度情報をディスプレイ装置100に伝送することができる。
それにより、制御部150は、第2サーバ300から受信された応答情報に基づいて、“○○○(出演者の氏名)が出演する放送番組をおすすめして”に対応するシステム応答を出力することができる。
具体的に、制御部150は、図12の(a)のように、○○○(出演者の氏名)が出演する放送番組が視聴率順に並べられたおすすめリスト910とユーザが視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組を含むおすすめリスト920とを一つの画面にそれぞれディスプレイすることができる。
または、制御部150は、図12の(b)のように、○○○(出演者の氏名)が出演する放送番組が視聴率順に並べられたおすすめリスト910とユーザが最近視聴したチャネルから提供される放送番組を含むおすすめリスト930を一つの画面にそれぞれディスプレイすることができる。
または、制御部150は、図12の(c)のように、ユーザが視聴した頻度数の高い放送番組と同一のジャンルを有する放送番組を含むおすすめリスト920及びユーザが最近視聴したチャネルから提供される放送番組を含むおすすめリスト930を一つの画面にそれぞれディスプレイすることができる。
このとき、制御部150は、おすすめリスト上に予め設定された数のコンテンツが含まれるように制御することができる。それにより、制御部150は、おすすめリストを通じてディスプレイされるコンテンツの数より検索されたコンテンツの数が多い場合、おすすめリストに予め設定された数のコンテンツをディスプレイし、ユーザ命令に応じて、おすすめリストに対するページ切り替えを行い、残りのコンテンツをディスプレイすることができる。そのために、制御部150は、以前のページ及び次のページを選択されるためのGUIをディスプレイすることができる。
一方、ページ切り替えに応じて、残りのコンテンツをディスプレイする過程で、一つのおすすめリストから提供されるコンテンツのうち、未だディスプレイされていないコンテンツは存在するが、別のおすすめリストから提供されるコンテンツは全てディスプレイされた場合、制御部150は、全てディスプレイされたおすすめリストを除去し、残りのおすすめリストを通じて未だディスプレイされていないコンテンツをディスプレイすることができる。それについては、図8を参照して説明した方式がそのまま適用できることから、具体的な繰り返し説明は省略する。
図13は、本発明の一実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。
まず、ユーザの音声を収集する(S1310)。
その後、ユーザの音声を第1サーバに伝送し、第1サーバからユーザの音声に対応するテキスト情報を受信する(S1320)。第1サーバは、STTエンジンを用いて、ユーザの音声に対応するテキスト情報を生成してディスプレイ装置に伝送することができる。
そして、受信されたテキスト情報を第2サーバに伝送する(S1330)。この場合、第2サーバは、テキスト情報にコンテンツを検索しようとする意図を有するキーワードまたはテキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成してディスプレイ装置に伝送することができる。
それにより、テキスト情報に対応する応答情報が第2サーバから受信されると、応答情報に基づいて、ユーザの音声に含まれた発話意図に応じて差別化されたシステム応答を出力する(S1040)。ここで、発話意図は、コンテンツの検索またはコンテンツのおすすめに関連してよい。
発話意図がコンテンツの検索に関連する場合、発話意図に応じて検索されたコンテンツに対する検索リストをシステム応答として出力することができる。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報を含んでよく、ディスプレイ装置は受信されたコンテンツに関する情報に基づいてコンテンツに対する検索リストを生成し、生成された検索リストを出力することができる。このとき、ディスプレイ装置は、検索されたコンテンツが放送時間順に並べられるように検索リストを生成することができる。
なお、発話意図がコンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。
そのために、応答情報は、発話意図に応じて検索されたコンテンツに関する情報及び視聴率に関する情報を含んでよい。それにより、ディスプレイ装置は、受信された情報に基づいて、コンテンツに対するおすすめリストを生成し、生成されたおすすめリストを出力することができる。このとき、ディスプレイ装置は、視聴率情報に基づいて検索されたコンテンツが視聴率の高い順に並べられるようにおすすめリストを生成することもできる。
なお、発話意図が前記コンテンツのおすすめに関連する場合、発話意図に応じて検索されたコンテンツのうち、ユーザ選好度情報に基づいて選別されたコンテンツに対するおすすめリストをシステム応答として出力することができる。ここで、ユーザ選好度情報は、ユーザがコンテンツを視聴した頻度数の高いコンテンツのジャンル及び最近視聴したチャネルに関する情報を含んでよい。
そのために、応答情報は、ユーザの意図に応じて検索されたコンテンツに関する情報及びユーザ選好度情報を含んでよい。それにより、ディスプレイ装置は、受信された情報に基づいてコンテンツに対するおすすめリストを生成し、生成されたおすすめリストを出力することができる。具体的に、ディスプレイ装置は、検索されたコンテンツのうち、ユーザが視聴した頻度数の高いコンテンツと同一のジャンルを有するコンテンツが含まれるようにおすすめリストを生成することができる。なお、ディスプレイ装置は、検索されたコンテンツのうち、ユーザが最近視聴したチャネルから提供されるコンテンツが含まれるようにおすすめリストを生成することができる。
なお、本発明に係る制御方法を順次に行うプログラムが保存された非一時的な読み取り可能な媒体(Non−transitory computer readable medium)が提供されてよい。
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
なお、ディスプレイ装置及びサーバに対して示す上述のブロック図では、バス(bus)を示していないが、ディスプレイ装置及びサーバで各構成要素間の通信はバスを通じて行われてよい。なお、各デバイスには、上述の多様なステップを行うCPU、マイクロプロセッサ等のようなプロセッサが更に含まれてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
33 制御部
100 ディスプレイ装置
110 出力部
111 ディスプレイ部
112 オーディオ出力部
120 音声収集部
130 第1通信部
140 第2通信部
150 制御部
160 保存部
170 受信部
180 信号処理部
191 リモコン信号受信部
193 入力部
195 インターフェース部
200 第1サーバ
210 通信部
220 制御部
300 第2サーバ
310 通信部
320 保存部
330 制御部

Claims (10)

  1. ディスプレイ装置において、
    出力部と、
    ユーザの音声を収集する音声収集部と、
    前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信する第1通信部と、
    前記受信されたテキスト情報を第2サーバに伝送する第2通信部と、
    前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するように前記出力部を制御する制御部と
    を含み、
    前記発話意図は、
    コンテンツの検索またはコンテンツのおすすめに関連することを特徴とするディスプレイ装置。
  2. 第2サーバは、
    前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送することを特徴とする請求項1に記載のディスプレイ装置。
  3. 前記制御部は、
    前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力することを特徴とする請求項1に記載のディスプレイ装置。
  4. 前記制御部は、
    前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項1に記載のディスプレイ装置。
  5. 前記制御部は、
    前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項1に記載のディスプレイ装置。
  6. ディスプレイ装置の制御方法において、
    ユーザの音声を収集するステップと、
    前記ユーザの音声を第1サーバに伝送し、前記第1サーバから前記ユーザの音声に対応するテキスト情報を受信するステップと、
    前記受信されたテキスト情報を第2サーバに伝送するステップと、
    前記テキスト情報に対応する応答情報が前記第2サーバから受信されると、前記応答情報に基づいて、前記ユーザの音声に含まれた発話意図に応じて、差別化されたシステム応答を出力するステップと
    を含み、
    前記発話意図は、
    コンテンツの検索またはコンテンツのおすすめに関連することを特徴とする制御方法。
  7. 第2サーバは、
    前記テキスト情報にコンテンツを検索しようとする意図を有するキーワード、または、前記テキスト情報にコンテンツのおすすめを受けようとする意図を有するキーワードが存在するか否かに応じて、互いに異なる応答情報を生成して前記ディスプレイ装置に伝送することを特徴とする請求項6に記載の制御方法。
  8. 前記出力するステップは、
    前記発話意図が前記コンテンツの検索に関連する場合、前記発話意図に応じて検索されたコンテンツに対する検索リストを前記システム応答として出力することを特徴とする請求項6に記載の制御方法。
  9. 前記出力するステップは、
    前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、視聴率を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項6に記載の制御方法。
  10. 前記出力するステップは、
    前記発話意図が前記コンテンツのおすすめに関連する場合、前記発話意図に応じて検索されたコンテンツのうち、ユーザの選好度情報を基に選別されたコンテンツに対するおすすめリストを前記システム応答として出力することを特徴とする請求項6に記載の制御方法。
JP2014000948A 2013-01-07 2014-01-07 ディスプレイ装置及びその制御方法 Pending JP2014132465A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0001804 2013-01-07
KR1020130001804A KR20140089862A (ko) 2013-01-07 2013-01-07 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
JP2014132465A true JP2014132465A (ja) 2014-07-17

Family

ID=49999713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014000948A Pending JP2014132465A (ja) 2013-01-07 2014-01-07 ディスプレイ装置及びその制御方法

Country Status (7)

Country Link
US (1) US20140195244A1 (ja)
EP (1) EP2752763A3 (ja)
JP (1) JP2014132465A (ja)
KR (1) KR20140089862A (ja)
CN (1) CN103916687A (ja)
TW (1) TW201435856A (ja)
WO (1) WO2014107102A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507861A (ja) * 2017-02-15 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 検索結果を提供する方法及び装置
KR20210075040A (ko) * 2014-11-12 2021-06-22 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
KR101912409B1 (ko) * 2012-01-06 2018-10-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
KR102147329B1 (ko) * 2014-06-17 2020-08-24 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR20160023394A (ko) * 2014-08-22 2016-03-03 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
CN104902081B (zh) * 2015-04-30 2017-05-03 广东欧珀移动通信有限公司 一种飞行模式的控制方法及移动终端
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
KR102394202B1 (ko) * 2015-05-29 2022-05-04 삼성전자주식회사 장치 간의 입력 처리 방법 및 이를 구현하는 전자 장치
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
KR20170035309A (ko) * 2015-09-22 2017-03-30 삼성전자주식회사 전자 장치 및 이의 컨텐츠 제공 방법
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
CN105335498A (zh) * 2015-10-23 2016-02-17 广东小天才科技有限公司 一种基于语音信息进行信息推荐的方法和系统
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
KR20180024927A (ko) * 2016-08-31 2018-03-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
KR102619661B1 (ko) * 2016-10-28 2023-12-29 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
CN108010523B (zh) * 2016-11-02 2023-05-09 松下电器(美国)知识产权公司 信息处理方法以及记录介质
JP2018082283A (ja) * 2016-11-15 2018-05-24 富士通株式会社 情報提供装置、情報提供プログラムおよび情報提供方法
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN110720104B (zh) * 2017-10-09 2021-11-19 华为技术有限公司 一种语音信息处理方法、装置及终端
CN107734370B (zh) * 2017-10-18 2020-05-29 北京地平线机器人技术研发有限公司 信息交互方法、信息交互装置、 电子设备和计算机可读存储介质
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
CN111742557B (zh) * 2018-01-08 2024-01-19 Lg电子株式会社 显示装置和包括显示装置的系统
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
KR20200013152A (ko) * 2018-07-18 2020-02-06 삼성전자주식회사 이전에 대화를 수집한 결과를 기반으로 인공 지능 서비스를 제공하는 전자 장치 및 방법
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR102568626B1 (ko) * 2018-10-31 2023-08-22 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
US11748059B2 (en) 2018-12-11 2023-09-05 Saturn Licensing Llc Selecting options by uttered speech
CN109635093B (zh) * 2018-12-17 2022-05-27 北京百度网讯科技有限公司 用于生成回复语句的方法和装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
CN113366467A (zh) * 2019-06-26 2021-09-07 深圳市欢太科技有限公司 信息推荐方法、装置、电子设备以及存储介质
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220129366A (ko) * 2021-03-16 2022-09-23 현대자동차주식회사 음성 인식 시스템 및 그 제어 방법
TWI777781B (zh) * 2021-09-23 2022-09-11 聯寶電子股份有限公司 語音控制燈具組
KR20240025396A (ko) * 2022-08-18 2024-02-27 삼성전자주식회사 추천 컨텐츠 리스트를 제공하는 전자 장치 및 그 제어 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345389B1 (en) * 1998-10-21 2002-02-05 Opentv, Inc. Interactive television system and method for converting non-textual information to textual information by a remote server
KR100305320B1 (ko) * 1998-10-30 2001-11-22 전주범 음성다중텔레비전에서의음성제어방법
US6314398B1 (en) * 1999-03-01 2001-11-06 Matsushita Electric Industrial Co., Ltd. Apparatus and method using speech understanding for automatic channel selection in interactive television
JP3997459B2 (ja) * 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US20050071328A1 (en) * 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
US7664746B2 (en) * 2005-11-15 2010-02-16 Microsoft Corporation Personalized search and headlines
US7711732B2 (en) * 2006-04-21 2010-05-04 Yahoo! Inc. Determining related terms based on link annotations of documents belonging to search result sets
US7890499B1 (en) * 2006-07-28 2011-02-15 Google Inc. Presentation of search results with common subject matters
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8832742B2 (en) * 2006-10-06 2014-09-09 United Video Properties, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
CN101021855B (zh) * 2006-10-11 2010-04-07 北京新岸线网络技术有限公司 基于内容的视频检索系统
US9519715B2 (en) * 2006-11-02 2016-12-13 Excalibur Ip, Llc Personalized search
US8250605B2 (en) * 2006-12-18 2012-08-21 Verizon Services Corp. Systems and methods for presentation of preferred program selections
US7996392B2 (en) * 2007-06-27 2011-08-09 Oracle International Corporation Changing ranking algorithms based on customer settings
US8645390B1 (en) * 2007-08-31 2014-02-04 Google Inc. Reordering search query results in accordance with search context specific predicted performance functions
US9445036B2 (en) * 2009-06-30 2016-09-13 Rovi Guides, Inc. Methods and systems for content scheduling across multiple devices
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
US8358749B2 (en) * 2009-11-21 2013-01-22 At&T Intellectual Property I, L.P. System and method to search a media content database based on voice input data
EP2609750A4 (en) * 2010-08-26 2014-10-08 Tarik Taleb SYSTEM AND METHOD FOR CREATING A CUSTOMIZED MULTIMEDIA CONTENT CHANNEL FOR A SOCIAL NETWORK
US8577915B2 (en) * 2010-09-10 2013-11-05 Veveo, Inc. Method of and system for conducting personalized federated search and presentation of results therefrom
JP5126633B2 (ja) * 2010-11-24 2013-01-23 株式会社Jvcケンウッド アイテム選択装置、アイテム選択方法およびコンピュータプログラム
JP5771002B2 (ja) * 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
KR101804917B1 (ko) * 2011-05-06 2018-01-10 엘지전자 주식회사 채널 가이드 화면을 제공하는 디스플레이 장치 및 그 제어 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075040A (ko) * 2014-11-12 2021-06-22 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
KR102445927B1 (ko) 2014-11-12 2022-09-22 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
KR20220130655A (ko) * 2014-11-12 2022-09-27 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
US11817013B2 (en) 2014-11-12 2023-11-14 Samsung Electronics Co., Ltd. Display apparatus and method for question and answer
KR102649208B1 (ko) 2014-11-12 2024-03-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
JP2020507861A (ja) * 2017-02-15 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 検索結果を提供する方法及び装置
US11669579B2 (en) 2017-02-15 2023-06-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for providing search results

Also Published As

Publication number Publication date
KR20140089862A (ko) 2014-07-16
TW201435856A (zh) 2014-09-16
EP2752763A3 (en) 2015-06-17
WO2014107102A1 (en) 2014-07-10
CN103916687A (zh) 2014-07-09
US20140195244A1 (en) 2014-07-10
EP2752763A2 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
JP2014132465A (ja) ディスプレイ装置及びその制御方法
US9520133B2 (en) Display apparatus and method for controlling the display apparatus
US20190333515A1 (en) Display apparatus, method for controlling the display apparatus, server and method for controlling the server
KR101309794B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
KR102030114B1 (ko) 서버 및 그의 제어 방법
US9230559B2 (en) Server and method of controlling the same
JP2014132464A (ja) 対話型インターフェース装置及びその制御方法
KR20140093303A (ko) 디스플레이 장치 및 그의 제어 방법
KR20180014137A (ko) 디스플레이 장치 및 그의 제어 방법
KR102091006B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR102182689B1 (ko) 서버 및 그의 제어 방법
KR102118195B1 (ko) 서버 및 그의 제어 방법
KR102667446B1 (ko) 서버 및 그의 제어 방법
KR20160022326A (ko) 디스플레이 장치 및 그의 제어 방법
KR20170038772A (ko) 디스플레이 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226