JP2007148976A - 関連情報検索装置 - Google Patents

Abstract

【課題】 検索語の候補が多数抽出される場合でも、最適な候補を快適に選択できる環境をユーザに提供できる検索装置の提供する。
【解決手段】 検索語候補抽出部２０は、コンテンツ２２の映像データ及び音声データに基づいて検索語候補を抽出する。キーワード表示制御部２７は抽出された検索語候補を、再生されている映像と共に表示部１７にキーワードとして移動させながら表示する。キーワード選択部２８は、表示制御部２７により表示されたキーワードの１つを選択する。キーワード検索部２９は、選択されたキーワードに関連する情報をデータベースから検索し、その検索結果は表示部２９に表示される。
【選択図】 図２

Description

本発明は、映像及び音声を含むコンテンツから検索語候補を抽出し、それを元に前記コンテンツに関連する情報を検索する検索装置に関する。

テレビジョン受信機（ＴＶ）のコンテンツすなわち番組を視聴中、そこで言及されている情報に関して更に詳しい情報を得たいと思うことは少なくない。現状では、パーソナルコンピュータ（ＰＣ）に向かってキーワードを入力し、インターネット検索をしている。

ＴＶが進化し、インターネット検索とシームレスに結合することが今後予想されるが、その際のボトルネックは「キーワードの入力」である。コンテンツをＰＣではなくＴＶで視聴しているユーザの大多数にとっては、ＰＣのキーボードを使ってのキー入力は、視聴行為からかけ離れたものであるし、画面中に表示されるソフトキーボードの使用などは、それ以上に不快なことと考えられる。

そこで、下記特許文献１のように、コンテンツの映像データあるいは音声データを認識することにより得られる文字データ、所謂メタデータから検索語の候補を自動的に抽出し、ユーザに候補の中から選ばせることで、検索語の入力を簡便に実現する技術が開発されている。
特開１１−１６１６６１号公報

映像データあるいは音声データから検索語の候補を抽出する場合、時間と共に抽出される候補の数は増加していく。検索語の候補が非常に多数となると、抽出された候補を画面上に明確に表示することが困難となる。従って、多数の候補の中から最適と考えられる検索語を選択する作業が煩雑なものとなる。

本発明は、検索語の候補が多数抽出される場合でも、最適な候補を快適に選択できる環境をユーザに提供できる検索装置の提供を目的とする。

複数の検索候補語を画面上に移動させつつ表示し、その中から検索語が選択される。最適な検索語が容易に選択され、同時に見た目に楽しいインタフェースが実現される。

本発明による関連情報検索装置は、映像及び音声を含むコンテンツを再生し、前記映像を表示部に表示させる再生手段と、前記コンテンツの映像データ及び音声データに基づいて、検索語候補を抽出する抽出手段と、前記抽出手段により抽出された検索語候補を、前記再生手段にて再生されている映像と共に、前記表示部にキーワードとして移動させながら表示するキーワード表示手段と、前記表示制御手段により表示されたキーワードの１つを選択する選択手段と、前記選択手段により選択されたキーワードに関連する情報を、データベースから検索する情報検索手段と、前記情報検索手段の検索結果を前記表示部に表示する検索結果表示手段とを具備する。

検索語の候補は、音声、字幕などを元に抽出する。形態素解析、意味クラス解析などの技術を用い、検索語になりそうな語・フレーズを選択的に抽出する。検索語候補は出現時系列に沿って、画面の端に並んで現れては消えてゆく。クリックすると辞書・インタネットなどを用いた検索が開始される。

上記のようなコンテンツ中のシーンに依存する検索語候補のほかに、ＥＰＧ情報から抽出したコンテンツ全体に依存する検索語候補を表示させ、検索させることができる。この場合、表示される検索語候補は、流れても良い(特に候補数が多い場合)し、流れなくても良い。

検索語の候補が多数抽出される場合でも、最適な候補を快適に選択できる環境をユーザに提供できる検索装置が実現される。

以下、図面を参照して本発明の実施の形態を説明する。

図１は本発明が適用される装置の構成例としてＴＶ１００の構成を示すブロック図である。

このＴＶ１００は、チューナ８、ＭＰＥＧ圧縮伸長部９、グラフィック処理部１０、ネットワークアダプタ１１、情報検索装置１２、ＨＤＤ１３、ＣＰＵ１４、メモリ１５、出力制御部１６、表示部１７、スピーカ１８、操作部１９を備えている。

チューナ８には、アンテナで受信された放送信号が入力される。この放送信号には、各番組のコンテンツつまり番組データに相当する映像信号及び音声信号が含まれており、さらにこれら映像信号及び音声信号には、電子番組表作成のためのＥＰＧ情報が多重されている。ＥＰＧ情報は、各番組の内容説明、番組が映画やドラマの場合には出演者、スポーツの場合には選手名、及び映像の解像度などの情報を含む。

チューナ８は、入力された放送信号から特定の番組データを抽出し、該番組データは圧縮伸長部９によって伸長（デコード）される。出力制御部１６は、圧縮伸長部９によって伸長された映像データを、表示部１７の映像表示に適した映像信号に変換する。このように、圧縮伸長部９と出力制御部１６によりコンテンツは再生される。表示部１７は出力制御部１６から提供される映像信号に基づいて映像を表示する。グラフィック処理部１０は、電子番組表や各種設定画面を表示部１７に表示させる際の表示データを提供する。グラフィック処理部１０はこの表示データと、圧縮伸長部９によって伸長された映像データとを合成し、合成された映像は出力制御部１６を介して表示部１７により表示される。また、圧縮伸長部９によって伸長された音声データは、出力制御部１６によりアナログ音声信号に変換され、スピーカ１８により出力される。

デジタル放送の番組をＨＤＤ１３に録画する場合、チューナ８により得られる番組データは、ＨＤＤ１３に適したデータ形式に変換されて録画される。また、アナログ放送の番組をＨＤＤ１３に録画する場合、チューナ８により得られるアナログ放送信号は、Ａ／Ｄ変換され、圧縮／伸長部９により圧縮されて録画される。

メモリ１５は各種制御プログラムを格納するＲＯＭ及びＣＰＵ１４の作業エリアとして使用されるＲＡＭ及び後述のキーワード等の文字を表示する場合に使用されるフレームメモリを含む。操作部１９は、例えばリモートコントローラであり、ユーザからの各種入力操作を受けつけるための様々なキーが設けられている。ネットワークアダプタ１１は、Ｅｔｈｅｒｎｅｔ（登録商標）などの高速データ通信可能な通信ネットワークへのインターフェースを実現する。

番組関連情報検索支援装置（以下情報検索装置という）１２は、表示部１７に表示されているコンテンツから検索語の候補を複数抽出し、それら候補の中から選択された候補に関する関連情報を、ネットワーク上のサーバあるいはＴＶ１００が具備する辞書（図示されず）等のデータベースから検索し、検索結果を表示部１７に表示する。

ここで検索語候補は、コンテンツに含まれる音声データの音声認識に基づく文字データ、映像に含まれる字幕データの文字認識結果、テキストとしてのＥＰＧデータなどから抽出される。このうち、前２者はコンテンツの進行に従って、候補となりうる語・フレーズが変化するもの（第１の型）であるが、最後のＥＰＧデータはコンテンツが決まれば、そのどの部分を視聴しても変化しないもの（第２の型）である。

この情報検索装置は、第１の型、第２の型のどちらのキーワードを表示するかを選択する機能を持つ。第１の型においては、表示すべきキーワードがコンテンツの進行によって変化するので、移動させつつ表示する。第２の型においては、必ずしも移動させなくても良いが、検索語候補が１画面に納まらない場合などは、候補リストをサイクリックに移動させつつ表示することで、使い勝手の良い候補選択画面を実現できる。候補は、画面の下に右から左（横方向）に流れる、あるいは画面左側に下から上（縦方向）に流れる等の表示のバリエーションがあり得る。

以下、本発明に係る情報検索装置１２について詳細に説明する。

図２は、情報検索装置１２の構成例を示すブロック図である。情報検索装置１２は、専用ハードウエア構成あるいはメモリ上のソフトウエア構成のいずれでも実施できる。

ＥＰＧ取得部２１はＥＰＧ情報の取得を行う。ＥＰＧ情報は、デジタル放送の場合はチューナ８により抽出されたＳＩ情報から取得でき、地上アナログ放送の場合は地上アナログ放送用番組表（ＡＤＡＭＳやＧガイド）等からでも同様に取得できる。またＥＰＧ情報は、インターネット等のネットワークからネットワークアダプタ１１を介して取得できる。ＥＰＧ取得部２１は現在受信している番組のＥＰＧ情報に含まれる文字列データ（語・フレーズ）を検索語候補抽出部２０に提供する。

メタデータ取得部２３は、チューナ８から得られる現在放送されているコンテンツの番組データ、またはＨＤＤ１３から得られる録画されたコンテンツの番組データに含まれる音声あるいは字幕を認識し、それらに対応する文字列データを検索語候補抽出部２０に提供する。

図３は検索語候補抽出部２０の動作を示すフローチャートである。検索語候補抽出部２０は、ＥＰＧ取得部２１またはメタデータ取得部２３から提供される文字列データを入力し（ＳＴ１１）、該文字列に対して形態素解析を行う（ＳＴ１２）。この形態素解析により文字列が短いフレーズに分割され、該フレーズと品詞パターンテーブル３０に格納されている各種品詞の単語とのパターンマッチングが行われ、パターンマッチした単語が候補語として抽出される（ＳＴ１４）。

ＥＰＧ取得部２１またはメタデータ取得部２３から、更なるデータが供給される場合（ＳＴ１５のＹＥＳ）、フローはステップＳＴ１１に移行し、ステップＳＴ１１〜ＳＴ１４のステップが繰り返される。このようにして、複数の候補語が抽出される。検索語候補抽出部２０は、メタデータ取得部２３からのデータから抽出した候補語を検索候補リスト１型格納部２４に格納し、ＥＰＣ取得部２１からのデータから抽出した候補語を検索候補リスト２型格納部２５に格納する。

検索語候補抽出部２０により抽出された候補語は、キーワード表示制御部２７により表示部１７に表示される。図４はキーワード表示制御部２７の動作を示すフローチャートである。ここでは、１型及び２型どちらの候補語の表示が指示されていた場合でも、候補リストをサイクリックに移動させつつ表示する場合を説明する。

図２の表示リスト切替設定部３０は、ユーザにより操作部１９を介して、１型及び２型のどちらの検索候補リストを表示すべきかが設定される（デフォルト値は１型となっている）。ユーザから、検索キーワードの表示が指示されると、キーワード表示制御部２７は、表示リスト切替設定部３０を参照して、どちらの検索候補リスト格納部に格納された候補語の表示が指示されているか判断する（ＳＴ２１）。

表示制御部２７は、表示リスト切替設定部３０の設定に応じて、検索候補リスト１型及び２型の一方の検索候補リスト格納部に格納されている候補語（文字コード列）をバッファメモリ２６に格納する（ＳＴ２２、ＳＴ２３）。表示制御部２７はフォント情報を用いて、バッファに格納された候補語リストに対応する文字パターン列を、フレームメモリ１５の所定位置（画面右端に対応する位置）から展開しながら左にシフトする（ＳＴ２４）。ここでは、フレームメモリに展開されたキーワードは、グラフィック制御部１０により番組の映像と合成され、出力制御部１６を介して表示部１７に表示される。

この様子を図５に示す。図５（ａ）では、キーワード列４０の先頭（左端）に「ワールドカップ」３１が表示されている。キーワード列４０は時間と共に左にシフトし、次の図５（ｂ）のシーンでは、キーワード列４０の先頭には「イラン」３２が表示されている。更にキーワード列４０は左シフトされ、図５（ｃ）では、「中国」３３が先頭に表示されている。

図４の説明に戻り、ユーザから表示切替指示がある場合（ＳＴ２５のＹＥＳ）、フローはステップＳＴ２１に戻り、ステップＳＴ２６のようにキーワードの表示終了指示がない場合（ＮＯの場合）は、ステップＳＴ２７に移行する。ステップＳＴ２７では、バッファメモリ２６に格納された検索候補リストに対応するキーワードが全て表示されたか判断される。キーワード全ての表示が完了していない場合は、ステップＳＴ２４に戻り、未表示のキーワードの表示が行われる。

キーワード全ての表示が完了した場合（ＳＴ２７のＹＥＳ）、フローはステップＳＴ２１に移行して、ステップＳＴ２１〜ＳＴ２７の動作を繰り返し、同一のキーワード列を再び左シフトしながら表示する。

キーワード列が左シフトしながら表示されている際に、ユーザは１型及び２型の検索候補リストの変更を、表示リスト切替設定部３０の設定を変更することにより行うことが出来る。このようにユーザから表示切替の指示が入力されると（ＳＴ２５のＹＥＳ）、フローはステップＳＴ２１に移行して、１型及び２型の検索候補リストの変更が行われ、変更された検索候補リストに対応するキーワード列が、前述したように表示部１７にシフトしながら表示される。

次にキーワード選択部２８の動作を説明する。図６はキーワード選択部２８の動作を示すフローチャートである。

表示部１７の画面には、図５（ａ）に示すように、キーワード選択用の位置ＰとしてＰ１が設定されている（表示はされない）。この選択位置Ｐ１をキーワードが通過する際（ＳＴ３１のＹＥＳ）、該キーワードは反転表示される（ＳＴ３２）。このときユーザが操作部１９を用いて決定を指示すると（ＳＴ３３のＹＥＳ）、反転表示中のキーワードが選択され、キーワード検索部２９に転送される（ＳＴ３４）。

この選択位置Ｐは、操作部１９の操作により任意に変更可能である。選択位置Ｐの変更指示が入力されると（ＳＴ３５のＹＥＳ）、キーワード選択部２８は指定された方向へ選択位置Ｐを移動する（ＳＴ３６）。図５（ｂ）は、選択位置ＰがＰ１からＰ２に移動された様子を示す。このように、ユーザの好みに合わせて、任意の位置でキーワードを選択することが出来る。従って、本発明では比較的多数の検索キーワードの候補を明確に表示し、しかも表示の仕方及び選択の仕方がユニークでそれ自体が楽しいものとなる。

次にキーワード検索部２９の動作を説明する。図７はキーワード検索部２９の動作を示すフローチャートである。

キーワード選択部２８から、選択されたキーワードが転送されると（ＳＴ４１）、キーワード検索部２９は、転送されたキーワードをキーとしてネットワーク上のサーバ又は装置自身が具備する辞書（図示されず）等のデータベースを検索して、キーワードの関連情報を取得する（ＳＴ４２）。更にキーワード検索部２９は、取得した関連情報を基に、検索結果一覧表を作成する（ＳＴ４３）。

ユーザから検索結果一覧表の表示指示を入力すると（ＳＴ４４のＹＥＳ）、検索結果一覧表が表示部１７の画面に表示される（ＳＴ４５）。図８は検索結果一覧表の一例を示し、ここでは「ワールドカップ」がキーワードとして選択され、その検索結果の一覧表が示されている。尚、この一覧表において、下線で示されるフレーズを操作部１９を用いて選択すると、該フレーズにリンクされた詳細説明が画面に表示される。このようにして、選択したキーワードに関する目的の情報を詳細に調べることが出来る。

以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。

本発明が適用される装置の構成例としてＴＶ１００の構成を示すブロック図である。 情報検索装置１２の構成例を示すブロック図である。 検索語候補抽出部２０の動作を示すフローチャートである。 キーワード表示制御部２７の動作を示すフローチャートである。 番組の映像内でキーワード列が右から左へシフトされている様子を示す図である。 キーワード選択部２８の動作を示すフローチャートである。 キーワード検索部２９の動作を示すフローチャートである。 検索結果一覧表の一例を示す図である。

符号の説明

２０…検索語候補抽出部、２１…ＥＰＧ取得部、２２…コンテンツ、２３…メタデータ取得部、２４…検索候補リスト１型格納部、２５…検索候補リスト２型格納部、２６…バッファメモリ、２７…キーワード表示制御部、２８…キーワード選択部、２９…キーワード検索部、３０…表示リスト切替設定部。

Claims (7)

1. 映像及び音声を含むコンテンツを再生し、前記映像を表示部に表示させる再生手段と、
   前記コンテンツの映像データ及び音声データに基づいて、検索語候補を抽出する抽出手段と、
   前記抽出手段により抽出された検索語候補を、前記再生手段にて再生されている映像と共に、前記表示部にキーワードとして移動させながら表示するキーワード表示手段と、
   前記表示制御手段により表示されたキーワードの１つを選択する選択手段と、
   前記選択手段により選択されたキーワードに関連する情報を、データベースから検索する情報検索手段と、
   前記情報検索手段の検索結果を前記表示部に表示する検索結果表示手段と、
   を具備することを特徴とする関連情報検索装置。
2. 前記キーワード表示手段は、前記キーワードを横方向あるいは縦方向にシフトさせながら表示することを特徴とする請求項１記載の関連情報検索装置。
3. 放送される番組の番組情報を取得する番組情報取得手段を更に具備し、前記抽出手段は、前記番組情報取得手段にて取得された番組情報から、前記検索語候補を抽出する抽出することを特徴とする請求項１記載の関連情報検索装置。
4. 前記抽出手段は、前記コンテンツの音声の認識あるいは前記映像に含まれる字幕の認識により得られる検索語候補のリストを格納する第１格納手段と、放送される番組の番組情報から得られる検索語候補のリストを格納する第２格納手段とを具備し、
   前記キーワード表示手段は、前記第１格納手段に格納された検索語候補のリストを第１キーワード列として表示する第１表示手段と、前記第２格納手段に格納された検索語候補のリストを第２キーワード列として表示する第２表示手段とを具備し、
   前記第１キーワード列の表示と、前記第２キーワード列の表示とを切替える表示切替手段とを更に具備することを特徴とする請求項２記載の関連情報検索装置。
5. 前記選択手段は、キーワードが所定位置を通過するときに、該キーワードを他の位置とは異なる表示方法で表示し、入力されるキーワード選択指示に応じて、前記異なる表示方法で表示されているキーワードを選択することを特徴とする請求項２記載の関連情報検索装置。
6. 前記所定位置は、位置変更指示に応じて変更可能であることを特徴とする請求項２記載の関連情報検索装置。
7. 映像及び音声を含むコンテンツを再生し、前記映像を表示部に表示させるステップと、
   前記コンテンツの映像及び音声に基づいて、検索語候補を抽出するステップと、
   前記抽出された検索語候補を、前記再生されている映像と共に、前記表示部にキーワードとして移動させながら表示するステップと、
   前記表示されたキーワードの１つを選択するステップと、
   前記選択されたキーワードに関連する情報を、データベースから検索するステップと、
   前記検索の検索結果を前記表示部に表示するステップと、
   を具備することを特徴とする関連情報検索方法。

Images