図1は、本実施形態にかかるコンテンツ検索システムの構成を示すブロック図である。本実施形態にかかるコンテンツ検索システムは、図1に示すように、タブレット端末1と、テレビジョン放送表示装置2と、を有している。
タブレット端末1は、予めインストールされたテレビジョン操作アプリケーションを用いて、入力された音声などの情報を解析し、その解析結果に基づいて、放送番組等のコンテンツの検索を指示する検索指示をテレビジョン放送表示装置2に送信する情報処理装置の一例である。
また、タブレット端末1は、テレビジョン放送表示装置2において検索されたコンテンツの中から表示対象のコンテンツが決定すると、決定したコンテンツの表示を指示する視聴指示を生成して、テレビジョン放送表示装置2に送信する。
テレビジョン放送表示装置2は、タブレット端末1から受信した検索指示に従って、コンテンツの検索を行い、その検索結果をタブレット端末1に送信する。また、テレビジョン放送表示装置2は、タブレット端末1から受信した視聴指示に従って、表示対象のコンテンツを表示する。
図2は、本実施形態にかかるタブレット端末のハードウェア構成の一例を示す図である。本実施形態にかかるタブレット端末1は、図2に示すように、表示部201、マイクロフォン202、スピーカ203、CPU(Central Processing Unit)204、システムコントローラ205、グラフィックスコントローラ206、タッチパネルコントローラ207、加速度センサ208、不揮発性メモリ209、RAM(Random Access Memory)210および通信部211等を備えている。
表示部201は、タッチパネル201aと、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等のディスプレイ201bと、を備えている。タッチパネル201aは、ディスプレイ201b上に配置された透明の座標検出装置である。タッチパネル201aは、ユーザの指によってタッチされたディスプレイ201b上の位置(タッチ位置)を検出する。ディスプレイ201bは、各種情報を表示する。
マイクロフォン202は、ユーザが発話した音声を入力する入力部の一例である。スピーカ203は、ユーザに対して音声を出力する。
CPU204は、タブレット端末1の各部の動作を制御する制御部である。本実施形態では、CPU204は、システムコントローラ205を介してタブレット端末1の各部を制御する。CPU204は、不揮発性メモリ209からRAM210にロードされる、オペレーティングシステム、テレビジョン操作アプリケーションを含む各種アプリケーションプログラムを実行する。RAM210は、タブレット端末1のメインメモリとして機能する。
システムコントローラ205は、不揮発性メモリ209およびRAM210へのアクセスを制御するメモリコントローラとして機能を有している。また、システムコントローラ205は、グラフィックスコントローラ206との通信を実行する機能も有している。
グラフィックスコントローラ206は、ディスプレイ201bを制御する表示コントローラである。タッチパネルコントローラ207は、タッチパネル201aを制御し、ユーザによってタッチされたディスプレイ201b上の位置を示す座標データをタッチパネル201aから取得する。
加速度センサ208は、タブレット端末1の加速度の向きと大きさを検出し、CPU204に出力する。
通信部211は、インターネットなどのネットワーク(図示せず)に接続可能な通信インタフェースである。通信部211は、システムコントローラ205による制御の下、ネットワークに接続された外部装置(例えば、テレビジョン放送表示装置2)との間で各種の情報を授受する。
図3は、本実施形態にかかるタブレット端末の機能構成を示すブロック図である。本実施形態にかかるタブレット端末1は、CPU204が不揮発性メモリ209に記憶されたテレビジョン操作アプリケーションを実行することにより、図3に示すように、入力受付部11、入力タイプ判定部12、新規要求処理部13、追加要求処理部14、変更要求処理部15および応答表示制御部16として機能する。
入力受付部11は、ユーザ入力を受け付ける。本実施形態では、ユーザ入力とは、ユーザが「最初から」ボタンB1(図9A参照)または「条件追加」ボタンB2(図9A参照)を押下した、検索条件R2(図9A参照)を含む変更対象のキーワードを選択した、属性候補情報R3(図9A参照)を選択した、などを表す。
入力タイプ判定部12は、入力受付部11により受け付けたユーザ入力に応じて、ユーザからの指示を判定する。本実施形態では、入力タイプ判定部12は、ユーザ入力に応じて、ユーザからの指示が、新規のコンテンツの検索を指示する新規検索指示、検索条件の追加を指示する条件追加指示および検索条件の一部の変更を指示する条件変更指示のいずれの指示かを判定する。
具体的には、入力タイプ判定部12は、「最初から」ボタンB1(図9A参照)が押下されたことを表すユーザ入力が受け付けられた場合、新規検索指示であると判定する。また、入力タイプ判定部12は、「条件追加」ボタンB2(図9A参照)が押下されたことを表すユーザ入力が受け付けられた場合、条件追加指示であると判定する。また、入力タイプ判定部12は、検索条件R2(図9A参照)が含む変更対象のキーワードを選択した若しくは属性候補情報R3(図9A参照)を選択したことを表すユーザ入力が受け付けられた場合、条件変更指示であると判定する。
新規要求処理部13は、入力タイプ判定部12により新規検索指示であると判定された場合に、新規の検索条件を特定し、特定した新規の検索条件に従ってコンテンツを検索する処理を実行する。
追加要求処理部14は、入力タイプ判定部12により条件追加指示であると判定された場合に、直前の検索処理で使用した検索条件に、新たな検索条件を追加する処理を実行する。
変更要求処理部15は、入力タイプ判定部12により条件変更指示であると判定された場合に、現在コンテンツ検索画面X(図9A参照)に表示されている検索条件の一部を変更する処理を実行する。
応答表示制御部16は、新規要求処理部13、追加要求処理部14および変更要求処理部15における各種処理の実行結果をディスプレイ201bに表示させる。
図4は、本実施形態にかかるタブレット端末が有する新規要求処理部の機能構成を示すブロック図である。図5は、本実施形態にかかるタブレット端末が有する言い換え知識DBのデータ構成を示す図である。図6は、本実施形態にかかるタブレット端末が有する要求解析情報DBのデータ構成を示す図である。新規要求処理部13は、図4に示すように、音声入力受付部131、音声認識部132、意図解析部133、キーワード追加判定部134、解析結果保存部135、検索実行部136および結果生成部137を備えている。図4に示す意図理解知識DB(データベース)138、言い換え知識DB139および要求解析情報DB130は、タブレット端末1が有するRAM210(図2参照)に設けられる。
音声入力受付部131は、マイクロフォン202から入力された音声を受け付ける。本実施形態では、音声入力受付部131が、コンテンツの検索に用いる情報として音声を受け付ける構成について説明するが、これに限定するものではなく、コンテンツの検索に用いる情報を、自然文や手書き等により受け付けることも可能である。
音声認識部132は、音声入力受付部131により受け付けた音声を認識して、テキストに変換する。音声入力受付部131により受け付けた音声を認識する処理は、タブレット端末1が有する音声認識機能を用いて行っても良いし、外部機器が有する音声認識機能を用いて行っても良い。
意図解析部133は、意図理解知識DB138を参照して、音声認識部132により音声から変換されたテキストを解析して、放送番組等のコンテンツの検索に用いるキーワードおよび当該キーワードに対応しコンテンツの検索に用いる一の属性情報を特定する。本実施形態では、キーワードに対応する一の属性情報として特定可能な複数の属性情報(例えば、「ジャンル」、「役名」、「俳優」、「期間」、「期間表現」、「日付表現」、「放送局」、「番組名」、「CS」、「BS」など)が予め設定されている。したがって、意図解析部133は、予め設定された複数の属性情報の中から、テキストから特定したキーワードに対応する一の属性情報を特定する。
例えば、意図解析部133は、音声認識部132により音声から変換されたテキストが「ハリーポッター役の人が出ている映画を探して」の場合、キーワード「ハリーポッター」および属性情報「役名」、キーワード「映画」および属性情報「ジャンル」を特定する。
また、意図解析部133は、予め設定された複数の属性情報の中に当該特定したキーワードに対応する属性情報が複数ある場合、当該複数の属性情報のうちいずれか一つをコンテンツの検索に用いる一の属性情報として特定するとともに、当該一の属性情報以外の属性情報を、特定したキーワードに対応しかつ当該一の属性情報の変更先として選択可能な属性候補情報として特定する。
キーワード追加判定部134は、予め設定された変換ルール503(図5参照)に従って、意図解析部133により特定したキーワードおよび属性情報を、当該特定したキーワードおよび属性情報の代わりにコンテンツの検索に用いる第2のキーワードおよび当該第2のキーワードに対応する属性情報に変換する。本実施形態では、キーワード追加判定部134は、特定した属性情報に基づいて、特定したキーワードをそのままコンテンツの検索条件として用いることができるか否かを判定する。換言すれば、キーワード追加判定部134は、特定したキーワードの代わりにコンテンツの検索に用いる他のキーワードがあるか否か、若しくは言い換えを要するキーワードであるか否かを判定する。そして、キーワード追加判定部134は、特定したキーワードをそのままコンテンツの検索条件として用いることができないと判定した場合、第2のキーワードおよび第2の属性情報に変換する。
本実施形態では、言い換え知識DB139が、図5に示すように、第2のキーワードに変換可能なキーワードに対応する属性情報(元の属性情報)501と、第2のキーワードに対応する属性情報(変換後の属性情報)502と、特定したキーワードを第2のキーワードに変換する際のルール(変換ルール)503と、を対応付けて記憶している。キーワード追加判定部134は、意図解析部133により特定したキーワードに対応する一の属性情報が、言い換え知識DB139に記憶された元の属性情報501のいずれかに該当した場合、特定したキーワードの代わりにコンテンツの検索に用いる他のキーワードがあると判定する。そして、キーワード追加判定部134は、変換ルール503に従って、特定したキーワードの属性情報(元の属性情報501)が、言い換え知識DB139に記憶された変換後の属性情報502になるように、特定したキーワードを第2のキーワードに変換する。
例えば、キーワード追加判定部134は、意図解析部133により特定したキーワード「ハリーポッター」に対応する属性情報「役名」は、言い換え知識DB139の元の属性情報501「役名」に該当するため、変換ルール503に従って、変換後の属性情報502「俳優」になるように、キーワード「ハリーポッター」を第2のキーワード「D.ラドクリフ」に変換する。
本実施形態では、キーワード追加判定部134は、言い換え知識DB139に予め記憶された変換ルール503を用いて、第2のキーワードおよび第2の属性情報に変換しているが、例えばEPG情報やWebの情報から、元の属性情報501(例えば、「役名」)に対応する各キーワード(例えば、「ハリーポッター」)と変換後の属性情報502(例えば、「俳優」)に対応する第2のキーワード(例えば、「D.ラドクリフ」)との対応関係を取得し、取得した対応関係に基づいて、変換ルール503を生成して、生成した変換ルール503に従って、第2のキーワードおよび第2の属性情報に変換しても良い。
解析結果保存部135は、意図解析部133により特定されたキーワード、属性情報および属性候補情報等を含む要求解析情報と、キーワード追加判定部134により変換後の第2のキーワードおよび第2の属性情報等を含む要求解析情報を要求解析情報DB130(図6参照)に記憶させる。要求解析情報DB130は、図6に示すように、意図解析部133より特定されたキーワードまたはキーワード追加判定部134により変換後の第2のキーワード毎に、要求解析情報を記憶している。
要求解析情報は、当該要求解析情報を識別するID601と、意図解析部133により特定した属性情報(またはキーワード追加判定部134により変換後の第2の属性情報)である属性情報602と、意図解析部133により特定した属性候補情報である属性候補情報603と、意図解析部133により特定したキーワード(またはキーワード追加判定部134により変換後の第2のキーワード)であるキーワード604と、当該キーワード604がキーワードか第2のキーワードかを表すフラグ605と、ID601により識別される要求解析情報に関連する要求解析情報のID601を表す関連ID606と、を含んでいる。
本実施形態では、フラグ605は、キーワード604が意図解析部133により特定されたキーワードである場合には「0」を表し、キーワード604がキーワード追加判定部134により変換後の第2のキーワードである場合には「1」を表す。
また、関連ID606は、キーワード604が意図解析部133により特定されたキーワードである場合、当該キーワード604の代わりにコンテンツの検索に用いる第2のキーワードを含む要求解析情報のID601を表す。一方、関連ID606は、キーワード604がキーワード追加判定部134により変換後の第2のキーワードである場合、当該キーワード604を特定する際に用いたキーワード(意図解析部133により特定されたキーワード)を含む要求解析情報のID601を表す。
なお、新規検索指示の場合、解析結果保存部135は、直前に入力された音声に基づいて特定されたキーワード(または第2のキーワード)等を含む要求解析情報が要求解析情報DB130に記憶されている場合、当該要求解析情報を削除して、新たに入力された音声に基づいて特定されたキーワード(または第2のキーワード)等を含む要求解析情報を要求解析情報DB130に記憶させる。
検索実行部136は、意図解析部133により特定したキーワードおよび属性情報を用いたコンテンツの検索をテレビジョン放送表示装置2に対して指示する検索指示部として機能する。検索実行部136は、意図解析部133により特定したキーワードおよび属性情報がキーワード追加判定部134により第2のキーワードおよび第2の属性情報に変換された場合、意図解析部133により特定したキーワードおよび属性情報に代えて、キーワード追加判定部134により変換後の第2のキーワードおよび第2の属性情報を用いたコンテンツの検索をテレビジョン放送表示装置2に対して指示する。
本実施形態では、検索実行部136は、要求解析情報DB130に記憶された要求解析情報が含む情報のうち検索に用いる情報(属性情報602およびキーワード604)をテレビジョン放送表示装置2に送信して、コンテンツの検索を指示する。具体的には、検索実行部136は、要求解析情報DB130に記憶された要求解析情報のフラグ605および関連ID606を参照し、フラグ605が「0」である場合には、当該要求解析情報が含む属性情報602およびキーワード604を送信し、要求解析情報DB130に記憶された要求解析情報のフラグ605が「1」である場合には、関連ID606をID601として含む要求解析情報が含む属性情報602(第2の属性情報)およびキーワード604(第2のキーワード)を送信する。
本実施形態では、検索実行部136は、テレビジョン放送表示装置2に対してコンテンツの検索を指示しているが、テレビジョン放送表示装置2から予めEPG情報を取得しておき、取得したEPG情報の中から、要求解析情報が含むキーワード604および属性情報602を用いてコンテンツを検索しても良い。
結果生成部137は、要求解析情報DB130に記憶された要求解析情報を応答表示制御部16に出力することにより、意図解析部133により特定したキーワード、属性情報および属性候補情報と、キーワード追加判定部134により変換後の第2のキーワードおよび第2の属性情報と、を表示部201に表示させる。本実施形態では、結果生成部137は、第2のキーワードおよび第2の属性情報を表示部201に表示させるが、少なくとも意図解析部133により特定したキーワード、属性情報および属性候補情報を表示部201に表示させれば良い。
また、結果生成部137は、検索実行部136により取得したコンテンツの検索結果を応答表示制御部16に出力することにより、当該検索結果を表示部201に表示させる。
次に、追加要求処理部14の機能構成について説明する。追加要求処理部14の機能構成は、図3に示す新規要求処理部13の機能構成と同様である。ただし、追加要求処理部14においては、検索条件を追加するために入力された音声に基づいて特定されたキーワード等を含む要求解析情報を要求解析情報DB130に記憶させる際に、直前に入力された音声に基づいて特定されたキーワード等を含む要求解析情報を削除しないものとする。
図7は、本実施形態にかかるタブレット端末が有する変更要求処理部の機能構成を示すブロック図である。変更要求処理部15は、図7に示すように、変更入力受付部151、変更処理部152、キーワード追加判定部154、変更保存部155、検索実行部136および結果生成部137を備えている。
変更入力受付部151は、検索条件R2(図9A参照)が含む変更対象のキーワードが選択されたことを表すユーザ入力が受け付けられた場合、マイクロフォン202から入力された音声を受け付ける。一方、変更入力受付部151は、属性候補情報R3(図9A参照)を選択したことを表すユーザ入力が受け付けられた場合、表示部201に表示した属性情報の変更先の属性候補情報の選択を受け付ける。
変更処理部152は、要求解析情報DB130から、選択された変更対象のキーワード(または、選択された属性候補情報)を含む要求解析情報のID601(図6参照)を取得する。例えば、表示部201に表示されたキーワード604「ハリーポッター」が変更対象のキーワードとして選択された場合、変更処理部152は、変更対象のキーワードであるキーワード604「ハリーポッター」を含む要求解析情報のID601「2」を取得する。
変更処理部152は、取得したID601に基づいて、要求解析情報DB130に記憶された要求解析情報のうち、取得したID601を含む要求解析情報(変更対象のキーワード604または選択された属性候補情報603を含む要求解析情報)を特定する。そして、変更処理部152は、属性候補情報が選択された場合、特定した要求解析情報に含まれる属性情報602を、選択された属性候補情報に変更する。これにより、表示部201に表示された属性情報は、属性情報毎に変更が可能となる。
一方、変更処理部152は、変更対象のキーワードが選択された場合、変更入力受付部151により受け付けた音声を認識して、テキストに変換する。次いで、変更処理部152は、変換したテキストを解析して、変更対象のキーワードと置き換えるキーワード候補(以下、変更キーワードとする)および当該変更キーワードに対応する属性情報を特定する。そして、変更処理部152は、特定した変更キーワードによって、特定した要求解析情報に含まれるキーワード604を変更する。これにより、表示部201に表示したキーワードは、キーワード毎に変更が可能となる。なお、変更処理部152は、変更キーワードに対応する属性情報が、特定した要求解析情報に含まれる属性情報602と異なる場合、当該変更キーワードに対応する属性情報によって、特定した要求解析情報に含まれる属性情報602を変更する。
また、変更処理部152は、複数の変更キーワードを特定した場合、特定した複数の変更キーワードのうち、特定した要求解析情報に含まれるキーワード604と異なりかつ当該特定した要求解析情報に含まれる属性情報602と同じ属性情報の変更キーワードを選択する。さらに、変更処理部152は、特定した要求解析情報に含まれるキーワード604と異なりかつ当該要求解析情報に含まれる属性情報602と同じ属性情報の変更キーワードが複数ある場合、当該複数の変更キーワードのうち最後に入力された音声から特定した変更キーワードを選択する。若しくは、変更処理部152は、複数の変更キーワードのうちどの変更キーワードに変更するかの選択を促すメッセージを表示部201に表示しても良い。
また、変更処理部152は、特定した複数の変更キーワードに対応する属性情報のいずれもが特定した要求解析情報に含まれる属性情報602と異なる場合、特定した複数の変更キーワードのうち、特定した要求解析情報に含まれる属性候補情報603と同じ属性情報の変更キーワードを選択する。特定した複数の変更キーワードの中に、特定した要求解析情報に含まれる属性候補情報603と同じ属性情報の変更キーワードが含まれない場合、変更処理部152は、特定した複数の変更キーワードのうち最後に入力された音声から特定した変更キーワードおよび当該変更キーワードに対応する属性情報によって、特定した要求解析情報に含まれる属性情報602およびキーワード604を変更する。
例えば、変更処理部152は、変更対象のキーワード604「ハリーポッター」が選択されかつ変更入力受付部151によって音声「イーサン・ハント」が受け付けられた場合、音声「イーサン・ハント」を認識して、テキストに変換する。次いで、変更処理部152は、変換したテキストを解析して、変更キーワード「イーサン・ハント」および当該変更キーワードに対応する属性情報「役名」を特定する。次いで、変更処理部152は、要求解析情報DB130から、変更対象のキーワード「ハリーポッター」をキーワード604として含む要求解析情報を特定する。そして、変更処理部152は、特定した要求解析情報に含まれる属性情報602「役名」が変更キーワード「イーサン・ハント」に対応する属性情報「役名」と一致しているため、特定した要求解析情報に含まれるキーワード604を、変更キーワード「イーサン・ハント」に変更する。
そして、キーワード追加判定部154は、変更処理部152により特定された変更キーワードおよび属性情報から、言い換え知識DB139を用いて、第2のキーワードおよび第2の属性情報への変換が必要か否かを判定し、変換が必要な場合には、変換ルール503に従って、変更処理部152により特定された変更キーワードおよび属性情報を、第2のキーワードおよび第2の属性情報に変換する。
例えば、キーワード追加判定部154は、変更処理部152によってキーワード604「ハリーポッター」が変更された要求解析情報に関連ID606「3」が含まれている場合、当該関連ID606「3」のID601「3」を含む要求解析情報に含まれる第2のキーワードであるキーワード604「D.ラドクリフ」を削除し、変更処理部152によってキーワード604「ハリーポッター」を変更したキーワード「イーサン・ハント」の代わりにコンテンツの検索に用いる第2のキーワード「T.クルーズ」をキーワード604とする。
また、キーワード追加判定部154は、変更処理部152によって要求解析情報に含まれる属性情報602が変更された要求解析情報に関連ID606が含まれている場合、当該関連ID606のID601を含む要求解析情報に含まれるキーワード604(第2のキーワード)および属性情報602(第2の属性情報)を変更する。
変更保存部155は、変更処理部152またはキーワード追加判定部154によりキーワード604または属性情報602を変更した要求解析情報を、要求解析情報DB130に記憶させる。変更処理部152によってキーワード604「ハリーポッター」が変更された要求解析情報に関連ID606「3」が含まれ、変更キーワードが第2のキーワードに変換が必要のないキーワードである場合には、当該関連ID606「3」をID601「3」として含む要求解析情報を削除する。一方、変更処理部152によってキーワード604「ハリーポッター」が変更された要求解析情報に関連ID606「3」が含まれ、変更キーワードが第2のキーワードに変換する必要があるキーワードである場合には、当該関連ID606「3」をID601「3」として含む要求解析情報を削除し、新たな第2のキーワード「T.クルーズ」および第2の属性情報「俳優」を含む要求解析情報を記憶させる。
本実施形態では、変更処理部152またはキーワード追加判定部154によって要求解析情報に含まれるキーワード604または属性情報602が変更されると、変更前の要求解析情報に含まれるキーワード604または属性情報602は削除されてしまうが、変更前の要求解析情報に含まれるキーワード604または属性情報602を履歴として保存しておき、一つ前のキーワード604または属性情報602に戻す指示に応じて、変更前の要求解析情報に含まれるキーワード604または属性情報602に戻しても良い。
検索実行部136は、属性情報の変更先である属性候補情報が選択された場合、選択された属性候補情報を用いたコンテンツの検索を指示する。
次に、新規要求処理部13によるコンテンツの検索処理の流れについて説明する。図8は、本実施形態にかかるタブレット端末が有する新規要求処理部によるコンテンツの検索処理の流れを示すフローチャートである。図9Aおよび図9Bは、本実施形態にかかるタブレット端末が有する表示部に表示されるコンテンツ検索画面の一例を示す図である。
本実施形態では、応答表示制御部16は、新規要求処理部13によるコンテンツの検索処理に先立って、図9Aに示すように、新規の検索条件の特定に用いる音声の受け付けを指示する「最初から」ボタンB1およびコンテンツの検索結果R1を表示するための検索結果表示領域X1と、新たな検索条件の追加に用いる音声の受け付けを指示する「条件追加」ボタンB2、コンテンツの検索条件R2および属性候補情報R3を表示するための検索条件表示領域X2と、を含むコンテンツ検索画面Xを表示部201に表示する。
音声入力受付部131は、「最初から」ボタンB1(図9A参照)が押下され、入力タイプ判定部12によって新規検索指示であると判定されると、マイクロフォン202から入力された音声(例えば「ハリーポッターの映画が見たい」など)を受け付ける(ステップS801)。
音声認識部132は、意図理解知識DB138を参照して、音声入力受付部131により受け付けた音声を認識して、テキストに変換する(ステップS802)。次に、意図解析部133は、音声認識部132により音声から変換されたテキストを解析して、入力された音声の意図を特定するとともに、コンテンツの検索に用いるキーワードおよび当該キーワードに対応しコンテンツの検索に用いる一の属性情報を特定する(ステップS803)。その際、意図解析部133は、特定したキーワードに対応しかつ特定した一の属性情報とは異なる属性情報がある場合には、当該属性情報を属性候補情報として特定する。
図10は、本実施形態にかかるタブレット端末が有する意図解析部によるテキストの解析結果の一例を示す図である。例えば、「最初から」ボタンB1が押下されて音声「ハリーポッターの映画が見たい」がマイクロフォン202から入力されると、意図解析部133は、音声認識部132により音声から変換されたテキストを解析して、図10に示すテキスト解析結果1000を得る。そして、意図解析部133は、テキスト解析結果1000から、入力された音声の意図1001「”Search-TV”」、コンテンツの検索に用いるキーワード1002「ハリーポッター」、およびキーワード1002に対応する属性情報1003「番組名」を特定する。
図8に戻り、意図解析部133は、入力された音声の意図に基づいて、入力された音声がコンテンツの検索指示かを判定する(ステップS804)。例えば、意図解析部133は、特定した音声の意図が図10に示す意図1001「”Search・TV”」である場合には、コンテンツの検索指示であると判定する。入力された音声がコンテンツの検索指示でないと判定した場合(ステップS804:No)、結果生成部137は、入力された音声がコンテンツの検索指示として判定されなかったことを通知するエラー通知メッセージを生成する(ステップS805)。そして、結果生成部137は、生成したエラー通知メッセージを応答表示制御部16に出力する(ステップS810)。これにより、結果生成部137は、エラー通知メッセージを表示部201に表示させて音声の再入力を促す。
一方、入力された音声がコンテンツの検索指示であると判定した場合(ステップS804:Yes)、キーワード追加判定部134は、意図解析部133により特定されたキーワードが言い換えが必要なキーワードがあるか否かを判定する(ステップS806)。言い換えると、キーワード追加判定部134は、特定したキーワードおよび属性情報の代わりにコンテンツの検索に用いる第2のキーワードおよび第2の属性情報があるか否かを判定する。本実施形態では、キーワード追加判定部134は、意図解析部133により特定されたキーワードに対応する属性情報が、言い換え知識DB139に記憶された元の属性情報501のいずれかに該当した場合には、特定されたキーワードが第2のキーワードに変換可能なキーワードであると判定する。
意図解析部133により特定されたキーワードが言い換えが必要なキーワードであると判定した場合(ステップS806:Yes)、キーワード追加判定部134は、言い換え知識DB139に記憶された変換ルール503に従って、特定したキーワードの属性情報(元の属性情報501)が、言い換え知識DB139に記憶された変換後の属性情報502になるように、特定したキーワードおよび属性情報を、当該特定したキーワードおよび属性情報の代わりにコンテンツの検索に用いる第2のキーワードおよび第2の属性情報に変換する(ステップS807)。キーワード追加判定部134は、ステップS806およびステップS807に示す処理を、言い換えが必要なキーワードが無くなるまで繰り返す。
言い換えが必要なキーワードが無くなると(ステップS806:No)、解析結果保存部135は、意図解析部133により特定したキーワード604、属性情報602、属性候補情報603、ID601およびフラグ605「0」を含む要求解析情報を要求解析情報DB130に保存する(ステップS808)。その際、解析結果保存部135は、意図解析部133により特定したキーワードがキーワード追加判定部134により第2のキーワードが変換されたキーワードである場合、当該第2のキーワード等を含む要求解析情報のID601を表す関連ID606を要求解析情報に含める。また、解析結果保存部135は、キーワード追加判定部134により特定した第2のキーワード(キーワード604)、第2の属性情報(属性情報602)、ID601、フラグ605「1」および関連ID606を含む要求解析情報を要求解析情報DB130に保存する。
次に、検索実行部136は、要求解析情報DB130に記憶された要求解析情報が含むキーワード604および属性情報602をテレビジョン放送表示装置2に送信して、コンテンツの検索を指示する(ステップS809)。例えば、検索実行部136は、要求解析情報DB130に記憶された要求解析情報が含むキーワード604「映画」および属性情報602「ジャンル」、キーワード604「ハリーポッター」および属性情報602「番組名」をテレビジョン放送表示装置2に送信して、コンテンツの検索を指示する。なお、検索実行部136は、要求解析情報DB130に記憶された要求解析情報に含まれるフラグ605が「1」である場合、当該要求解析情報に含まれるキーワード604および属性情報602の代わりに、当該要求解析情報が含む関連ID606をID601として含む要求解析情報に含まれる第2のキーワードであるキーワード604および第2の属性情報である属性情報602をテレビジョン放送表示装置2に送信して、コンテンツの検索を指示する。
最後に、結果生成部137は、要求解析情報DB130に記憶された要求解析情報、および検索実行部136の検索指示に応じてテレビジョン放送表示装置2において実行されたコンテンツの検索結果を応答表示制御部16に出力する(ステップS810)。これにより、要求解析情報に含まれる検索条件(キーワード604および属性情報602)および検索結果が表示されたコンテンツ検索画面Xが表示部201に表示される。
具体的には、図9Aに示すように、音声入力受付部131により音声「ハリーポッターの映画が見たい」が受け付けられた場合、応答表示制御部16は、テレビジョン放送表示装置2において実行されたコンテンツの検索結果を受け取ると、受け取った検索結果R1を検索結果表示領域X1に表示させる。
また、応答表示制御部16は、要求解析情報DB130に記憶された要求解析情報を受け取り、受け取った要求解析情報に属性候補情報603が含まれていない場合には、図9Aに示すように、当該受け取った要求解析情報に含まれるキーワード604「映画」および属性情報602「ジャンル」を検索条件R2として検索条件表示領域X2に表示させる。これにより、タブレット端末1のユーザに対して、キーワード604「映画」を属性情報602「ジャンル」と解釈してコンテンツの検索が実行されたことを報知できる。応答表示制御部16は、キーワード604「映画」と属性情報602「ジャンル」との対応が識別可能な態様で、例えばキーワード604「映画」と属性情報602「ジャンル」とを近接させて表示させる。
さらに、応答表示制御部16は、受け取った要求解析情報に、キーワード604「ハリーポッター」、属性情報602「番組名」および属性候補情報603「役名」が含まれている場合、図9Aに示すように、キーワード604「ハリーポッター」および属性情報602「番組名」を含む検索条件R2とともに、属性候補情報603「役名」を属性候補情報R3として検索条件表示領域X2に表示させる。タブレット端末1のユーザは、検索条件表示領域X2に表示された属性候補情報R3を選択することにより、属性情報の変更を指示する条件変更指示を入力することができる。また、応答表示制御部16は、図9Bに示すように、キーワード604「ハリーポッター」および属性情報602「番組名」を含む検索条件R2とともに、属性候補情報603「役名」を属性候補情報R3として検索条件表示領域X2に表示させ際に、図9Bに示すように、属性候補情報R3(属性候補情報603「役名」)を属性情報602「番組名」の変更先として選択した場合の検索キーワードとして使用される情報「D.ラドクリフ」を補助情報R5として表示しても良い。
図9Aに示すコンテンツ検索画面Xの表示例においては、属性候補情報603を一つだけ表示しているが、応答表示制御部16は、複数の属性候補情報603を表示することも可能である。そして、応答表示制御部16は、複数の属性候補情報603を全て検索条件表示領域X2に配置することができない場合には、プルダウンメニュー等の表示方式で、属性候補情報603の表示を指示するボタン(図示しない)を表示し、当該ボタンが押下された場合に属性候補情報603を検索条件表示領域X2に表示するようにしても良い。または、応答表示制御部16は、属性候補情報603の表示を指示するその他ボタン(図示しない)を検索条件表示領域X2に表示させ、当該その他ボタンが押下された場合に、属性情報の一覧(例えば、「ジャンル」、「役名」、「俳優」、「期間」、「期間表現」、「日付表現」、「放送局」、「番組名」、「CS」、「BS」など)を表示しても良い。
図11は、本実施形態にかかるタブレット端末が有する表示部に表示されるコンテンツ検索画面の一例を示す図である。図11に示すように、音声入力受付部131により音声「ハリーポッター役の人の出ている映画を探して」が受け付けられ、受け取った要求解析情報に、図6の例に示すように、キーワード604「ハリーポッター」、属性情報602「役名」および関連ID606「3」が含まれる場合、応答表示制御部16は、キーワード604「ハリーポッター」および属性情報602「役名」を含む検索条件R2とともに、関連ID606「3」をID601として持つ要求解析情報に含まれるキーワード604「D.ラドクリフ」および属性情報602「俳優」を含む第2検索条件R4を検索条件表示領域X2に表示させる。その際、応答表示制御部16は、キーワード604「ハリーポッター」および属性情報602「役名」を含む検索条件R2の代わりに、キーワード604「D.ラドクリフ」および属性情報602「俳優」を含む第2検索条件R4を用いてコンテンツが検索されたことを表す表示(本実施形態では、符号1101で示す矢印)を表示部201に表示させる。これにより、検索結果表示領域X1に表示された検索結果R1が得られた根拠をユーザが理解しやすくなる。また、ユーザが入力した音声をタブレット端末1がどのように認識したのかが明確になる。
なお、第2検索条件R4は、変更対象のキーワードにはならず、コンテンツの検索に用いる補助的な情報であるため、当該第2検索条件R4の色を検索条件R2とは異なる色に変えるなど表示態様を変更することにより、検索条件R2との違いを明確にしても良い。また、上述したように、第2検索条件R4は、変更対象のキーワードとして選択することはできず、当該第2検索条件R4を変更したい場合には、検索条件R2のキーワードを選択する必要がある。
次に、図12を用いて、追加要求処理部14によるコンテンツの検索条件の追加処理について説明する。図12は、本実施形態にかかるタブレット端末が有する表示部に表示されるコンテンツ検索画面の一例を示す図である。
追加要求処理部14は、図12に示すように、「条件追加」ボタンB2が押下され、入力タイプ判定部12によって条件追加指示であると判定されると、マイクロフォン202から入力された音声(例えば、「先週放送された映画」など)を受け付ける。そして、追加要求処理部14は、新規要求処理部13と同様にして、入力された音声から、キーワード(例えば、「先週」)や当該キーワードに対応する属性情報(例えば、「期間」)を特定する。さらに、追加要求処理部14は、特定したキーワードおよび属性情報を、当該特定したキーワードおよび属性情報の代わりにコンテンツの検索に用いる第2のキーワード(例えば、「5/20−5/26」など)および第2の属性情報(例えば、「期間」)をに変換する。そして、追加要求処理部14は、特定したキーワードおよび属性情報を含む要求解析情報および第2のキーワードおよび第2の属性情報を含む要求解析情報を要求解析情報DB130に追加で保存する。
そして、追加要求処理部14は、図12に示すように、要求解析情報DB130に追加で保存された要求解析情報に含まれるキーワード604(例えば、「先週」)および属性情報602(例えば、「期間」)を含む検索条件R2と、追加で保存された要求解析情報に含まれる第2のキーワードであるキーワード604(例えば、「5/20−5/26」)および第2の属性情報である属性情報602(例えば、「期間」)を含む第2検索条件R4を検索条件表示領域X2に表示させる。また、追加要求処理部14は、キーワード604「先週」および属性情報602「期間」を含む検索条件R2の代わりに、キーワード604「5/20−5/26」および属性情報602「期間」を含む第2検索条件R4を用いてコンテンツが検索されたことを表す表示(本実施形態では、符号1101で示す矢印)を表示部201に表示させる。
次に、図13を用いて、変更要求処理部15による検索条件の変更処理の流れについて説明する。図13は、本実施形態にかかるタブレット端末が有する変更要求処理部による検索条件の変更処理の流れを示すフローチャートである。
変更入力受付部151は、コンテンツ検索画面Xの検索条件表示領域X2に表示された検索条件R2に含まれるキーワードが選択されて、入力タイプ判定部12によって条件変更指示であると判定されると、マイクロフォン202から入力された音声(例えば、「イーサン・ハント」など)を受け付ける(ステップS1301)。また、変更入力受付部151は、コンテンツ検索画面Xの検索条件表示領域X2に表示された属性候補情報R3が選択されて、入力タイプ判定部12によって条件変更指示であると判定されると、属性候補情報R3の中から、属性候補情報の選択を受け付ける。変更処理部152は、条件変更指示であると判定されると、変更内容とともに、選択されたキーワードまたは属性候補情報を含む要求解析情報のID601を取得する。
次いで、変更処理部152は、コンテンツ検索画面Xの検索条件表示領域X2に表示された検索条件R2に含まれるキーワードが選択されたか若しくは属性候補情報R3が選択されたかに基づいて、条件変更指示が属性情報の変更を指示するものであるか否かを判定する(ステップS1302)。属性候補情報R3が選択されて属性情報の変更が指示されたと判定した場合(ステップS1302:Yes)、変更処理部152は、要求解析情報DB130から、取得したID601により識別される要求解析情報を特定し、特定した要求解析情報に含まれる属性情報602を、選択された属性候補情報に変更する(ステップS1303)。
一方、検索条件R2に含まれるキーワードが選択されてキーワードの変更が指示されたと判定した場合(ステップS1302:No)、変更処理部152は、図8に示す音声認識部132によるステップS803と同様にして、入力された音声の意図を特定するとともに(ステップS1304)、キーワードの変更に用いる変更キーワードおよび当該変更キーワードに対応する属性情報を特定する(ステップS1305)。次に、変更処理部152は、要求解析情報DB130から、取得したID601により識別される要求解析情報を特定し、特定した要求解析情報に含まれるキーワード604を、特定した変更キーワードに変更する(ステップS1303)。
キーワード追加判定部154は、変更処理部152によって変更されたキーワード604および属性情報602の代わりにコンテンツの検索に用いる第2のキーワードおよび第2の属性情報があるか否かを判定する(ステップS1306)。そして、キーワード追加判定部154は、変更処理部152により変更されたキーワード604に対応する属性情報602(または変更された属性情報602)が、言い換え知識DB139に記憶された元の属性情報501のいずれかに該当した場合には、第2のキーワードおよび第2の属性情報があると判定する(ステップS1307:Yes)。この場合、キーワード追加判定部154は、変更されたキーワード604および属性情報602を、当該キーワード604および属性情報602の代わりにコンテンツの検索に用いる第2のキーワードおよび第2の属性情報に変換する(ステップS1308)。
変更保存部155は、変更処理部152によりキーワード604および属性情報602の少なくともいずれか一方を変更した要求解析情報、およびキーワード追加判定部154により変換後の第2のキーワードおよび第2の属性情報を含む要求解析情報を、要求解析情報DB130に記憶させる(ステップS1309)。
その際、変更保存部155は、変更処理部152により取得したID601の要求解析情報に関連ID606が含まれかつキーワード追加判定部154により第2のキーワードおよび第2の属性情報に変換された場合には、関連ID606により識別される要求解析情報に含まれるキーワード604および属性情報602に、変換後の第2のキーワードおよび第2の属性情報を含めて要求解析情報DB130に保存する。
また、変更保存部155は、変更処理部152により取得したID601の要求解析情報に関連ID606が含まれずかつキーワード追加判定部154により第2のキーワードおよび第2の属性情報に変換された場合には、第2のキーワードおよび第2の属性情報をキーワード604および属性情報602として含む新たな要求解析情報を生成して要求解析情報DB130に保存し、変更処理部152により取得したID601に該当する要求解析情報の関連ID606に、生成した要求解析情報のID601を記録する。
さらに、変更保存部155は、変更処理部152により取得したID601の要求解析情報に関連ID606が含まれかつキーワード追加判定部153によりキーワード604および属性情報602の代わりにコンテンツの検索に用いる第2のキーワードおよび第2の属性情報がないと判定された場合、関連ID606により識別される要求解析情報を要求解析情報DB130から削除し、変更処理部152により取得したID601の関連ID606に記録されたID601も同様に削除する。
検索結果実行部136は、要求解析情報DB130に記憶された要求解析情報が含む検索用のキーワード604および属性情報602をテレビジョン放送表示装置2に送信して、コンテンツの検索を指示する(ステップS1310)。最後に、結果生成部137は、要求解析情報DB130に記憶された要求解析情報、および検索実行部136の検索指示に応じてテレビジョン放送表示装置2において実行されたコンテンツの検索結果を応答表示制御部16に出力する(ステップS1311)。
次に、図14を用いて、図13のステップS1305に示す変更キーワードの特定処理の流れについて説明する。図14は、本実施形態にかかるタブレット端末が有する変更処理部による変更キーワードを特定する処理の流れを示すフローチャートである。
変更処理部152は、入力された音声から特定した複数のキーワードの中から、要求解析情報DB130に記憶された要求解析情報のうち、取得したID601により識別される要求解析情報以外の要求解析情報に含まれる属性情報602と異なる属性情報に対応するキーワード(以下、有効キーワードという)を選択する(ステップS1401)。その際、変更処理部152は、特定したキーワードのうち、取得したID601により識別される要求解析情報に含まれる属性情報602と同じ属性情報に対応するキーワードについては、有効キーワードとして選択する。
次に、変更処理部152は、有効キーワードが選択されたか否かを判定する(ステップS1402)。有効キーワードが選択されなかった場合(ステップS1402:No)、変更処理部152は、入力された音声からキーワードが特定されなかったことを通知するエラー通知メッセージを生成して応答表示制御部16を介して表示部201に表示させる(ステップS1403)。
一方、有効キーワードが選択された場合(ステップS1402:Yes)、変更処理部152は、選択された有効キーワードが1個か否かを判定する(ステップS1404)。選択された有効キーワードが1個である場合(ステップS1404:Yes)、変更処理部152は、変更前のキーワードに対応する属性情報(取得したID601により識別される要求解析情報が含む属性情報602)と、選択された有効キーワードに対応する一の属性情報または当該属性情報を変更する属性候補情報とが一致するか否かを判定する(ステップS1405)。
変更前のキーワードに対応する属性情報と、有効キーワードに対応する属性情報または属性候補情報とが一致した場合(ステップS1405:Yes)、変更処理部152は、有効キーワードを、取得したID601により識別される要求解析情報が含むキーワード604の変更キーワードとする(ステップS1406)。変更前のキーワード604に対応する属性情報が有効キーワードの属性候補情報と一致した場合、変更処理部152は、有効キーワードに対応する属性情報を属性候補情報とし、変更前のキーワード604に対応する属性情報を有効キーワードの属性情報とする。
一方、変更前のキーワードに対応する属性情報と、有効キーワードに対応する属性情報または属性候補情報とが一致しなかった場合(ステップS1405:No)、変更処理部152は、有効キーワードを変更キーワードとするとともに、有効キーワードに対応する属性情報および属性候補情報を、取得したID601により識別される要求解析情報が含む属性情報602および属性候補情報603とする(ステップS1407)。
また、選択された有効キーワードが複数ある場合(ステップS1404:No)、変更処理部152は、複数の有効キーワードの中から、ユーザが最後に入力した音声したキーワードから順に選択する(ステップS1408)。そして、有効キーワードが選択されると(ステップS1409:Yes)、変更処理部152は、変更前のキーワードに対応する属性情報と、選択した有効キーワードに対応する属性情報または当該属性情報を変更する属性候補情報と一致するか否かを判定する(ステップS1410)。
変更前のキーワードに対応する属性情報と、選択した有効キーワードに対応する属性情報または属性候補情報とが一致した場合(ステップS1410:Yes)、変更処理部152は、選択した有効キーワードを、取得したID601により識別される要求解析情報が含むキーワード604の変更キーワードとする(ステップS1406)。一方、変更前のキーワードに対応する属性情報と、選択した有効キーワードに対応する属性情報または属性候補情報とが一致しなかった場合(ステップS1410:No)、変更処理部152は、ステップS1406において変更キーワードが決まるまで、ステップS1408に戻り、有効キーワードの選択を繰り返す。
そして、有効キーワードが全て選択され、選択する有効キーワードが無くなると(ステップS1409:No)、変更処理部152は、複数の有効キーワードのうち、ユーザが最後に入力した音声から特定したキーワードを変更キーワードとする(ステップS1411)。さらに、変更処理部152は、当該変更キーワードに対応する属性情報および属性候補情報を、取得したID601により識別される要求解析情報が含む属性情報602および属性候補情報とする。
次に、図9Aおよび図15を用いて、コンテンツの検索に用いるキーワードまたは属性情報が変更された場合に、本実施形態にかかるタブレット端末1が有する表示部201に表示されるコンテンツ検索画面Xについて説明する。図15は、本実施形態にかかるタブレット端末が有する表示部に表示されるコンテンツ検索画面の一例を示す図である。
図9Aに示すコンテンツ検索画面Xの検索条件表示領域X2に表示された検索条件R2に含まれるキーワード604「ハリーポッター」が選択されると、変更入力受付部151は、マイクロフォン202から入力された音声を受け付け可能な状態となる。そして、変更入力受付部151により音声「イーサン・ハント」や「やっぱりイーサン・ハントがいい」などが受け付けられると、変更処理部152は、キーワード604「ハリーポッター」の変更に用いる変更キーワードとして「イーサン・ハント」を選択し、選択した変更キーワード「イーサン・ハント」に、取得したID601の要求解析情報に含まれるキーワード604「ハリーポッター」を変更する。
また、キーワード追加判定部154は、変更キーワード「イーサン・ハント」および当該変更キーワードに対応する属性情報「役名」の代わりにコンテンツの検索に用いる第2のキーワード「T.クルーズ」および第2の属性情報「俳優」を特定する。そして、変更保存部155が、特定した第2のキーワード「T.クルーズ」および第2の属性情報「俳優」を含む要求解析情報を要求解析情報DB130に記憶させる。
その後、要求解析情報DB130に記憶された要求解析情報が応答表示制御部16に出力されると、応答表示制御部16は、図15に示すように、キーワード604「イーサン・ハント」および属性情報602「役名」を含む検索条件R2、第2のキーワードであるキーワード604「T.クルーズ」および第2の属性情報である属性情報602「俳優」を含む第2検索条件R4を、検索条件表示領域X2に表示させる。
また、応答表示制御部16は、キーワード604「イーサン・ハント」および属性情報602「役名」を含む検索条件R2の代わりに、キーワード604「T.クルーズ」および属性情報602「俳優」を含む第2検索条件R4を用いてコンテンツが検索されたことを表す表示(本実施形態では、符号1101で示す矢印)を表示部201に表示させる。これにより、検索結果表示領域X1に表示された検索結果R1が得られた根拠をユーザが理解しやすくなる。また、ユーザが入力した音声をタブレット端末1がどのように認識したのかが明確になる。さらに、応答表示制御部16は、キーワード604「T.クルーズ」および属性情報602「俳優」と、キーワード604「映画」および属性情報602「ジャンル」とを用いたコンテンツの検索結果を、検索結果表示領域X1に表示させる。
なお、本実施形態では、音声入力受付部131、音声認識部132、意図解析部133、キーワード追加判定部134、結果生成部137、変更受付部151、変更処理部152、キーワード追加判定部154および応答表示制御部16が、表示制御部として機能する。
このように、本実施形態のタブレット端末1によれば、コンテンツの検索を行うために入力した情報から特定したキーワードの属性情報を変更する場合に、当該特定したキーワードの属性情報が所望の属性情報になるように情報を入力しなおす必要がなくなるので、コンテンツの検索処理の利便性を向上させることができる。
本実施形態のタブレット端末1で実行されるプログラム(テレビジョン操作アプリケーションなど)は、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供することも可能である。
また、本実施形態のタブレット端末1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のタブレット端末1で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のタブレット端末1で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。