JP2009157460A

JP2009157460A - 情報提示装置及び方法

Info

Publication number: JP2009157460A
Application number: JP2007332207A
Authority: JP
Inventors: Yasuhide Mori; 靖英森; Masahiro Kato; 雅弘加藤; Masayuki Chikamatsu; 昌幸親松
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-12-25
Filing date: 2007-12-25
Publication date: 2009-07-16

Abstract

【課題】映像コンテンツから検索キーを抽出し、インターネット上の関連情報を検索・表示する際、有効な情報表示が行われるためのキーワード選択、表示頻度の調整、表示部分の選択を行う。
【解決手段】映像データまたは付随データから検索キーを抽出・生成し、それを用いてウェブページ上の関連情報を検索・提示する装置において、事前に、もしくは以前の検索結果を用いて、検索対象となるウェブページを解析し、それを用いて、キーワード選択を行うこと、または、検索のタイミングを調整すること、または、ページの内容と表示情況（サイズ、解像度）の双方を勘案して表示部分の選択を行う情報提示装置とする。
【選択図】図８

Description

本発明は、映像コンテンツ等を表示する装置において、インターネットなどを経由して関連する情報を検索し表示する技術に関する。

インターネットの普及に伴い、映像コンテンツを視聴中に、そのコンテンツに関連した情報をインターネット上で検索し、提示する技術が提案されている。例えば、特許文献１には、受信した放送番組などのコンテンツの表示を行うと共に、そのコンテンツに関連したキーワードを、例えば、番組案内情報であるＥＰＧ（Electric Program Guide）データや、音楽データに付加されたテキストデータから抽出して表示し、表示されたキーワードをユーザが選択してインターネット上のウェブページなどのコンテンツの検索を行い、その検索で探し出されたコンテンツを表示することが示されている。

また、特許文献２には、コンテンツに関連付けた検索を行う際に、検索のためのキーワードを入力させ、その入力キーワードと再生中のコンテンツの再生に関する情報（時間情報など）とを関連付けて検索する技術が示されている。

また、例えば、非特許文献１には、言語処理、情報検索分野で用いられる検索語の選択手法が記載されており、非特許文献２には、文書要約の手法が記載され、画像情報が動画情報である場合、例えば、特許文献３、特許文献４、非特許文献３には、動画特有の高解像度化処理の代表的な手法として、入力された複数の画像フレームを合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす超解像技術が提案されている。
特開２００５−１１５７９０号公報特開２００６−４８６５７号公報特開平８−３３６０４６号公報特開平９−６９７５５号公報徳永健伸著「情報検索と言語処理」東京大学出版会、１９９９年奥村学、難波英嗣著「テキスト自動要約」オーム社２００５年青木伸"複数のデジタル画像データによる超解像処理"、Ricoh TechnicalReport pp.19-25、No.4、NOVEMBER、1998

視聴中のコンテンツに関連した情報を検索、表示させる為に、ユーザがキーワードを入力し、もしくは選択する方法は、映像コンテンツを視聴中に、別途キーワードを入力、あるいは、選択をすることも、ユーザにとって一般には煩わしい動作となる。

したがって、視聴中のコンテンツ提示に同期して、自動で検索を行う方法が適しているが、そのためには、キーワードの自動抽出を行うことが必要となる。従来は、映像データに関連した、番組案内情報、映像に付随した字幕データ等からキーワードを抽出していたが、それらのキーワード情報では、一般に、検索に供して有用なキーワードおよび、かならずしも有用でないキーワードが混在していた。この場合、その中から有用なキーワードを如何に選択するか、という点が課題となる。

また、検索に供するタイミングが適切でないという課題があった。コンテンツの進行状況に応じて、適切な検索情報が提示されることが望ましいが、重要なキーワードは映像コンテンツ中の一部の時間帯に集中する場合が多く、検索や提示を行うためのタイミングの調整が必要である。

さらに、検索結果の情報を提示する場合に、何らかのディスプレイに表示するが、その表示解像度を超えた文字数を提示しても、可読できないため意味がない。例えば、解像度の関係でウェブページの一部を表示せざるを得ない場合、検索結果のどの部分を表示するか調整することが必要である。

上記の課題を解決するため、本発明の情報提示装置は、映像表示手段、映像解析手段、ネットワーク情報検索手段、及び検索結果提示手段を有していて、映像データまたは前記映像データに付随したデータから検索キーを抽出もしくは生成し、前記検索キーを用いてインターネット上の関連した情報を検索し提示する際に、事前に、もしくは、過去に取得したインターネット上の関連した情報を解析する解析手段と、前記解析手段による解析結果を用いて、前記検索キーによる検索及び提示の手順の調整または前記検索の結果の提示内容の調整を行う調整手段を備えていることを特徴とする。

また、本発明の情報提示方法は、映像表示手段、映像解析手段、ネットワーク情報検索手段、及び検索結果提示手段を有し、映像データまたは前記映像データに付随したデータから検索キーを抽出もしくは生成し、前記検索キーを用いてインターネット上の関連した情報を検索し提示する情報提示装置による情報提示方法であって、事前に、もしくは、過去に取得したインターネット上の関連した情報を解析し、前記解析結果を用いて、前記検索キーによる検索及び提示の手順または前記検索の結果の提示内容の調整を行うことを特徴とする。

本発明によれば、映像視聴機器の複雑な操作に馴染めないユーザに対しても映像コンテンツを見ながら有用なウェブページを閲覧するという視聴環境を提供することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の情報提示装置のハードウェアの構成例を示した図である。本実施例では、動画を表示可能な表示部を備えた（内蔵した）機器としてあり、テレビジョン受像機やコンピュータ装置などの各種情報表示装置に適用可能である。ただし、表示部が別体（外付け）であってもよい。表示部を内蔵の装置と、外付けの装置とを総称して情報提示装置とも呼ぶ。

装置の動作を制御する中央制御ユニット（ＣＰＵ）１０１に、ＲＯＭ１０２とＲＡＭ１０３が内部バスラインを介して接続してあり、さらに外部のネットワークと接続するためのネットワークインターフェース１０４を備える。ＣＰＵ１０１は、後述する情報検索処理を実行する制御部として機能し、接続されたＲＯＭ１０２，ＲＡＭ１０３が後述するキーワードリストの記憶部としても機能する。また、情報検索処理を実行させるプログラムが、ＲＯＭ１０２又はＲＡＭ１０３に実装させてあり、そのプログラムに基づいてＣＰＵ１０１が情報検索処理を実行する。ＲＡＭ１０３などの記憶部については、半導体メモリの他に、ハードディスクなどの記憶部を使用しても良く、或いはメモリカードなどの着脱自在の記憶部であってもよい。ハードディスクなどの大容量の記憶部（記録部）を備えた場合には、例えばテレビジョン受像機の場合、放送番組を蓄積する録画機能を備えてもよい。

ネットワークインターフェース（Ｉ／Ｆ）１０４としては、例えば、アナログ電話回線用のアナログモデム、ＩＳＤＮ回線用のモデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ又はモデム、ＬＡＮ（Local Area Network：構内情報通信網）用のアダプタ、無線電話用のアダプタ、無線通信用のアダプタなどが適用可能である。これらの構成のインタフェース１０４を経由して、インターネットに接続できる構成としてある。

また、各種情報や動画の表示制御を行うためのグラフィックコントローラ１０９を備える。このグラフィックコントローラ１０９に映像データを保持するＶＲＡＭ１１０が接続してあり、グラフィックコントローラ１０９の制御で描画された映像を、画面表示部１０８で表示させる。画面表示部１０８としては、液晶表示パネルなどの表示部が使用される。尚、画面表示部１０８には、図示しないチューナが受信した映像信号や外部から入力した映像信号（例えばビデオ再生装置から再生した映像信号）による映像（画像）を表示させることもできる。これらの映像信号による映像と、後述するインターネットのウェブページなどによる映像とは、グラフィックコントローラ１０９の制御で、１つの画面上に同時に表示させることも可能であり、またキーワードなどの文字情報を重ねて表示させる処理も可能である。

また、各種操作キー，操作ボタンなどで構成される操作部１０６と、その操作部１０６の操作を受け付けるユーザインターフェースコントローラ１０５を備え、ユーザインターフェースコントローラ１０５が受け付けた操作データがＣＰＵ１０１に供給される。また、受光部１０７が受光（受信）した赤外線信号を、ユーザインターフェース（Ｉ／Ｆ）１０５で判別する構成としてあり、リモートコントロール装置などからの遠隔制御も可能としてある。

以降の説明では、表示された情報に基づいた検索とその検索結果に基づいた表示を行う部分を中心に説明するため、放送信号を受けるチューナや、デマルチプレックサ（デマックス）や、デコーダなどの、例えば、ＭＰＥＧ形式の映像コンテンツを受信して再生するための基本的な構成の詳細については省略しているが、映像表示機能上必要な機構は実装されている。

図２は、本実施例のブロック図を示したもので、図１で示したハードウェア構成上にプログラムを用いて実装される。映像データまたは映像データの付随データ２０１は、テレビジョン放送や、各種映像格納用メディアに記録された映像データ等である。表示部２０２は上記映像データをはじめ、表示すべきデータを画面表示する。映像解析部２０３は映像およびその付随データを解析することで、検索の元となる検索キー、例えば、キーワード（以下、原キーワードと呼ぶ）２０４を抽出する。その方法については後述する。選択部２０５は、原キーワードを精選し、検索キーワード２０６を生成する。この検索キーワードを用いて、インターネット上データ２０７の検索を行う、解析部２０９は、検索または収集されたインターネットデータを解析することで、ユーザに提示する情報の選択や、選択部２０５のキーワード精選のためのルール作成を行う。

図３は、本実施例の処理手順を示すフローチャートである。まず、ステップＳ３０１にて映像シーンが入力される。本実施例における映像シーンとは、一つの意味の区切りごとに区切られた区間映像でもよいし、一定の時間間隔で機械的に区切られた区間映像でも、時間的に区切られた部分映像であればなんでもよい。

次に、ステップＳ３０２にて、映像データから文書情報が抽出される。その手順は、まず、ステップＳ３０３にて、映像データに字幕データが付属している場合には、字幕データ抽出ステップＳ３０４を行う。ここで、字幕データとは、テレビ放送や配信映像の音声（アナウンスやナレーション、ドラマの台詞など）を文字にし、あるいは、効果音を記号にして画面に表示するために、あらかじめ映像に付加されているデータのことを言う。次に、ステップＳ３０５にて、音声のデータから音声認識の技術を用いて、話し言葉の文書データを生成する。次に、ステップＳ３０６にて、画面中のテロップの文字認識を行うことで、文書データを生成する。ここで、テロップとは、映像中に画像パターンとして重ね表示（インポーズ）された文字データを指す。次に、ステップＳ３０７にて映像中の物体が何であるか物体認識を行う。認識される物体の例としては、人物の顔からの人名抽出、人物の動作、動物、自動車や乗り物、道具、場所他、映像から認識が可能な全てのものが利用可能である。なお、これら、字幕抽出、音声認識、テロップ認識、物体認識の処理は必ずしも全て用いる必要はなく、どれが一つあれば文書データの抽出が可能である。また、以上で述べたもの以外の付随データがあれば、それを用いることを排除するものではない。

以上で抽出された文書情報から、ステップＳ３０８にて原キーワードを抽出する。その方法として、例えば、日本語の場合には、標準的な日本語解析手法である形態素解析を行って、単語の分離と品詞の決定を行い、特定の品詞、例えば固有名詞や名詞などを選択する。日本語以外の場合にもその言語に固有の解析手法を用いて、品詞等を決定することで、原キーワードとする。なお、画像情報を抽出して検索キーとして用いることも可能である。

以上で得られた原キーワードのままでは、検索して有効なキーワードのみとは限らないため、３０９にて、上記の方法で得られたキーワードから、検索向けのキーワード（以後、「検索キーワード」と呼ぶ）を選択する。その方法は、本実施例では、検索対象であるウェブページのデータを解析しておく方法を用いる。具体的には、（１）特定の百科事典サイト等、限られたカテゴリーのページを検索する場合、それらの文書中のキーワード（例えば、百科事典ページの場合は見出し語）を入手し、それらのリストを作成し、該当しない単語を除く、（２）特定の領域ページの本文全文（あるいはなるべく多くのページ）について、上記形態素解析等を用いて単語を抽出し、出現頻度別に整理し、高頻度語を中心に不要語のリストを作成するか、高頻度語および低頻度語を除いた中頻度語のリストを作成し、そのリストに合致する単語のみ選出する方法、などを併用する。また、頻度だけでなく、ある単語が殆どの文書にくまなく出現するか、あるいは、特定の文書に偏って出現するか、偏り度合い等を用いても良い。その他、より詳細については、例えば非特許文献１に記載されているような、言語処理、情報検索分野で用いられる検索語の選択手法を用いることが可能である。

また、上記（１）または（２）のデータ入手にあたっては、過去に行った検索結果をデータとして保存しておいてそれを用いてもよい。また、そのほかの選択処理として、最近検索したキーワードと同じ、あるいはその類義語である場合にそれらを除く処理、あるいは、一文字のカタカナで構成される、二文字で、ひらがなカタカナ各一文字で構成される等、形態素解析等の前処理の失敗が強く疑われる単語の場合にそれを除く処理等も用いることができる。

以上の処理で得られた検索キーワードを用いて、ステップＳ３１０にて実際にウェブページの検索を行う。その際のキーワードの送信は、特定の領域のページごとに決められている特定の書式に従って生成し、検索を行う。検索の結果が得られた後、ステップＳ３１１において表示を行う。表示レイアウトやインタフェースの詳細については後述する。表示が終了した後ステップＳ３１２にて、映像再生が全て終了したかどうか判断し、終了していない場合には次の映像シーンに対して以上の処理を繰返す。

図４は、本実施例における表示画面例を示したものである。映像表示画面４０１は、映像表示領域４０２と、映像表示の一時停止ボタン、停止ボタン、戻るボタン、進むボタン、再生位置コントロールバーなどを備えたテレビ表示操作領域４０３を含む。

ウェブページ表示画面４０４は、ウェブページ表示領域４０５と水平スクロールバー４０６と垂直スクロールバー４０７から構成される。ウェブページ表示画面４０４には上述した手順により抽出したキーワードに基づいて検索されたウェブページを表示する。ウェブページをコントロールするために標準的なブラウザが備えている戻るボタン、進むボタン、更新ボタン、ホームボタンなどはウェブページコントロールボタン群４０８に配置する。

ウェブページアドレス入力領域４０９と検索実行ボタン４１０は標準的なブラウザが備えている機能と同じ機能を持つ。キーワード表示領域４１１には、映像コンテンツの再生時間経過と同期して抽出されたキーワードを、例えば抽出された時刻が新しい順に選択して表示する。キーワード表示領域４１１が表示するキーワードの数は、ユーザが閲覧していてストレスを感じない程度の数を設定する。

本実施例では、前実施例に加えて、検索、及び、表示タイミングの調整を行う方法を用いた情報表示について述べる。前実施例に示した方法によって、映像コンテンツを視聴中に、ウェブページ表示画面に逐次情報が表示されるが、その際のキーワードの出現頻度は一般に一定間隔ではなく、ばらつきがある。すなわち、コンテンツ中の説明的な場面や言葉の多い場面では多く抽出され、逆に景色の描写シーンなどのように言葉の少ない場面では表示が少なくなる傾向がある。前者の多く抽出される場面では、提示された関連情報が頻繁に更新される為、読みきれない情況が生じ、煩雑なインタフェースとなる。また逆に、キーワードの少ない場面では情報表示が少なく、ユーザの飽きを招く。このため、時間間隔はある程度調整することが望ましい。

調整の条件を本実施例では、（１）一回の検索と次の検索の間は一定の時間以上空ける、（２）短い時間帯内では、なるべくキーワードの登場順に検索する、（３）古過ぎるキーワードは後回しにする、（４）新規キーワードが無くなった場合、古いキーワードから出す、とまとめる。

以上の条件から、調整方式の一例として、以下のルールを構成する：
（１）原則は、先入れ先出しのキューに格納し、順に表示する。
（２）最短表示間隔を設定し、その間隔で表示する。
（３）キュー内残存時間間隔を設定し、それより古いものは登場順に別途、後回しスタックに移動させる。
（４）キューが空になったら、（３）の後回しスタックから順に取り出して表示する。
このルールにおいて、（２）の表示最短時間間隔は、ユーザがページを読める時間間隔、例えば１０秒などに設定する。また、（３）のキュー内残存時間は、映像の進行上、古さを感じる可能性が高くなる時間、たとえば３分などに設定する。なお、これらの時間間隔は、コンテンツのジャンルなどによって調整してもよいし、ユーザに指定させてもよい。

図５は本時間調整を加えた実施例の手順を示すフローチャートである。ステップＳ５０１の時間調整・記録・呼戻しが追加され、この手順にて上述の調整を行う。

図６は、以上のルールを基に検索表示時間調整した場合の説明図である。６０１は、調整前の検索キーワードの出現情況を示す線グラフである。右側が後の時間であり、三角形で示したポイントで単語が出現したことを示す。その出現情況は、６０２で示した時間帯での出現頻度は高く、単語１（W1）から単語６（W6）まで短い間隔で出現している。一方、６０３付近の頻度は低く、単語７（W7）が出現しているのみである。次に、６０４で示した横一例の部分は、上述したキューの情況を示す。ただし、簡単の為、出現が起きた時点の表示に限定してある。W1からW6まで出現し、一方で表示が最短表示間隔を待って行われる結果、図示したようなキューの情況となる。また、６０５で示した横一列の部分は、上述した後回しスタックの時間変化示す。これによると、W4およびW6については、表示される前に、キュー内残存時間６０６または６０７を迎えてしまい、後回しスタック６０５に回っている。６０８で示した線上の三角で示した列は、調整後の表示情況を示す。最短表示間隔６０９ごとに、キュー６０４から順に表示され、もしキューが空になった時には、後回しスタック６０５から表示が行われている。その順序は、入力順序どおりではなく、古くなったものは後回しにするという上記の条件を満たしたものになっている。なお、ここに示した例では、キュー、および後回しスタックの両者ともに空になってしまうことはなかったため、最短表示間隔ごとに表示が行われている。もし両者共空になってしまった場合には、原則検索は行われない。あるいは、過去に検索した単語を再び用いる手段を追加しても良い。

以上で述べたルールは一例であり、類似効果が得られるほかの実装方法があれば、それらを用いても良い。たとえば、キューからスタックへの移動を時間ではなく、一定個数以上蓄積すると移動させる、等の方法も可能である。また、ルール中、（３）（４）をやめ、古いものは削除して、表示しないなどの方法も可能である。この場合も、蓄積時間の代わりに蓄積個数で判断してもよい。

本実施例では、上述の手法によって検索されたページについて分析を行う機能を付加した場合について述べる。図７は、本実施例の手順を示すフローチャートである。検索キーワードを選出し（ステップＳ３０９）、インターネットを検索（ステップＳ３１０）するところまでは実施例１と同様である。その後、ステップＳ７０１にて、得られたページが本当に情報が含まれているページかどうかのチェックを行う。例えば、百科事典サイトに検索キーワードを送信した場合、実際の説明が記述されたページが得られたかどうかを、ページの内容を元に判断する。例えば、検索で用いたキーワードが見出し語になかった場合や、語義のあいまい性などの理由で情報ページにたどり着いていない場合には、いずれも特定のフォーマットや言い回しを持つページが表示されることを利用し、正しく情報ページにたどり着いていないことを判別する。また、キーワードによる一般検索ページであれば、エラーを示す定型ページ特有の言い回しがないかどうかを見ることで判定する。

以上の判定の結果、情報ページであれば結果を表示するが、情報ページでなかった場合、７０３で検索カテゴリーを変更して再検索を行う。ここで検索カテゴリーとは、検索対象サイトの種類の違いのことである。代表的な検索カテゴリーとしては、（１）事典（辞典）のサイト、（２）キーワード検索サイト、（３）視聴中の映像コンテンツと関連した情報サイト、等が挙げられる。また、一般に（１）（２）（３）共、それぞれ複数のサイトが存在する。（１）の百科事典サイトの場合、キーワードで直接情報ページの検索を行うことになる。また、（２）のキーワード検索エンジンを用いた方法の場合、検索結果の上位に出たページを表示する。（３）の情報サイトの場合、サイト内を検索する機能を用いる。

これらを組み合わせて上述した再検索を行う。例えば、最初に（１）の特定の百科辞典サイト、次に（２）の特定の一般検索サイト、最後に（３）の情報サイト、の順に検索カテゴリーの変更を行うなどの方法を用いる。

本実施例では、上述の手法によって検索された情報をより見やすく表示する方法について述べる。前述の実施例の方法にて検索されたページを表示する際に、表示画面の解像度やサイズの制約から、ページの全てを一度に表示できることはまれである。そのため、何らかの方法で一部の表示＋スクロールを前提にする必要がある。しかしながら、映像を視聴中のユーザにとってスクロール動作は煩わしいことが多いため、なるべく有用な情報が含まれている部分が、自動で表示されることが望ましい。

また、情報提供ページの特性として、ページの全部が情報提供している本文だけで構成されていることはまれであり、検索結果によらない枠組みや、ロゴ、タイトルバーや各種設定ボタン等（以下、非情報部分）が配置されていることが多い。そのため、一部の表示の際に、ロゴの大写しは必要なく、むしろ本文の部分を表示できれば有用である。
以上のことから、解像度及び画面の大きさから算出した表示可能分にちょうど合致した文字数であり、かつ、情報提供している部分が表示されていることが望ましいことになる。本実施例では、以下の構成と手順で、このような情況になるべく近い情報提示手段を提供する。

図８は、本実施例の構成を示すブロック図である。図２と異なる部分は、解析部に表示品質データ８０１を送ること、および、解析部から表示部に渡されるデータが部分表示データ８０２である点である。ここで、８０１の表示品質データとは、現在関連情報が表示されている画面領域のサイズ、および最大解像度を示す。ここでの最大解像度とは、表示データに応じた高解像度化処理（補間や超解像等）も含め、表示可能な最大の解像度を意味する。これらのデータを用いて、解析部で表示部に渡す部分データを決定する作業を行う。

以下、本実施例の手順を示すフローチャートである図９に従って本実施例の表示部分の調整手順について説明を行う。ステップＳ３０１のインターネット検索までは実施例１と同様である。次に、ステップＳ９０１の表示状態算出にて、上述した表示品質データを算出する。具体的には、ステップＳ９０３にて表示領域のサイズおよび解像度を取得し、最大文字数を算出する処理である。より詳細には、解像度によって、表示可能な最小文字サイズが決定され、最小文字サイズで領域サイズを割ることによって、表示可能なおおよその文字数が決定される。なお、この基準は解像度を最大限に用いた例であり、より視認性のよい表示が必要な場合はその半分の文字数にするなどの基準を設定すればよい。

次に、得られた表示品質データに基づいて、ステップＳ９０２にて表示部分の選択を行う。具体的には、ステップＳ９０５にて取得したウェブページを解析し、上述した非情報部分と情報部分に分ける。次に、ステップＳ９０６にて情報部分の各部分（文や段落など）について、重要度を算出する。その方法は、文書要約の手法などを用いることができる。なお、文書要約の手法については、例えば非特許文献２を参照のこと。

次に、得られた各部分の重要度に基づいて、ステップＳ９０７で表示部分を決定する。その方法は、例えば各分の重要度が算出され、一方で、上述したように、表示文字数が決定されたとして、ページ全体のレイアウト中で、表示可能な領域を切り出した際に、その中に含まれる重要度の合計が最大になる部分を表示する。その決定のためには、表示領域をページ全体に順に走査してみて、エリア内の重要度が最大となるように選べばよい。その際、エリアの境界でひとつの文が分断される場合は、その文の重要度を半分に近似して算出するか、何割の文字がエリア内外それぞれにあるかに比例させて配分してもよい。また、ページの表示領域に応じて一行の文字数が変化し、改行やレイアウトも変動するページの場合には、標準表示幅で表示した場合を想定して算出る。標準表示幅の指定がないページでは、標準値をひとつ決めておく。

以上で決定された表示領域をステップＳ３１１にて表示を行うことは実施例１と同様である。図１０に表示領域決定の概念図を示す。１００１は標準的ページレイアウトに沿って表示されたウェブページ全体である。うち、点線で示された領域１００２が情報領域、それ以外を非情報領域とする。次に、それぞれの文の重要度を算出した結果が１００２の内側に複数記入された数字のようであったとする。今、表示領域のサイズの長方形をいろいろな場所に置いたとき、内部に入る上記重要度の数字の合計が最も大きい領域を算出する。この図の場合、１００３や１００５ではなく、１００４の位置を表示するのが最も重要度の高い領域である。

以上で説明した方法は、ウェブページのレイアウトを変えない方法であったが、ページの編集が許可されるサイトの場合には、情報領域を通常の文章と考え、上述した文書要約の手法を用いて適当な文字数に要約し、それを改めて表示する方法をとってもよい。

表示される関連情報がテキスト情報ではなく、画像情報や映像情報を含む場合についても、表示サイズとの関係で画像領域を含んだ表示可能情報量を決定することが可能である。具体的な方法として、例えば、画像エリアの解像度から、文書何文字分に相当するか算出し、同じ面積あたりの映像対文章の経験的な重要度比を与えて換算することによって、総合的な重要エリアの算出が可能となる。また、表示される関連情報がテキスト情報ではなく、画像情報または映像情報の非文書情報が含まれている場合には、表示画面の解像度とサイズから表示可能画質を決定し、それに合わせた高画質化処理を行う。
上述した高解像度化処理については、動画特有の処理を用いることが可能となる。代表的な手法として、特許文献３、特許文献４、非特許文献３に記載されているように、入力された複数の画像フレームを合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす超解像技術が提案されているので、これらの高画質化処理技術を適用して高画質化処理を行うことができる。

本発明は、テレビ受像機、録画機器、パーソナルコンピュータ、携帯電話、及びそれらの機器上で用いるソフトウェア等、映像コンテンツ視聴環境を提供する装置、およびサービスに広く適用可能である。

図１は本発明の実施例１のハードウェア構成図である。図２は本発明の実施例１の構成を示すブロック図である。図３は本発明の実施例１の手順を示したフローチャートである。図４は本発明の実施例１における表示画面の例である。図５は本発明の実施例２の手順を示したフローチャートである。図６は本発明の実施例２の検索表示時間調整の説明図である。図７は本発明の実施例３の手順を示したフローチャートである。図８は本発明の実施例４の構成を示すブロック図である。図９は本発明の実施例４の手順を示したフローチャートである。図１０は本発明の実施例４の表示領域決定の方法を示した概念図である。

符号の説明

１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０４ネットワークＩ／Ｆ
１０５ユーザＩ／Ｆ
１０６操作部
１０７受光部
１０８画面表示部
１０９グラフィックコントローラ
１１０ＶＲＡＭ
２０１映像データ・付随データ
２０２表示部
２０３映像解析部
２０４原キーワード
２０５選択部
２０６検索キーワード
２０７インターネット上データ
２０８検索・収集結果
２０９解析部
２１０表示データ
４０１映像表示画面
４０２映像表示領域
４０３操作領域
４０４ウェブページ表示画面
４０５ウェブページ表示領域
４０６スクロールバー
４０７スクロールバー
４０８ウェブページコントロールボタン群
４０９アドレス入力領域
４１０検索実行ボタン
４１１キーワード表示領域
６０１線グラフ
６０２単語の出現状況
６０３頻度が低い付近
６０４キューの情況
６０５横一列
６０６キュー内残存時間
６０７キュー内残存時間
６０８線上の三角部分
６０９最短表示間隔
８０１表示品質データ
８０２部分表示データ
１００１ウェブページ全体
１００２情報領域
１００３位置
１００４重要度の高い領域
１００５位置

Claims

映像表示手段、映像解析手段、ネットワーク情報検索手段、及び検索結果提示手段を有し、映像データまたは前記映像データに付随したデータから検索キーを抽出もしくは生成し、前記検索キーを用いてインターネット上の関連した情報を検索し提示する情報提示装置において、事前に、もしくは、過去に取得したインターネット上の関連した情報を解析する解析手段と、前記解析手段による解析結果を用いて、前記検索キーによる検索及び提示の手順の調整または前記検索の結果の提示内容の調整を行う調整手段とを備えていることを特徴とする情報提示装置。
請求項１に記載の情報提示装置において、前記インターネット上の関連した情報の検索と提示を、前記映像データの表示中に並行して逐次行う場合に、前記検索及び提示の頻度の偏りを解消し、前記情報が提示される時間間隔を調整する調整手段を備えていることを特徴とする情報提示装置。
請求項１に記載の情報提示装置において、前記インターネット上の情報の検索結果を解析し、前記関連した情報が記載されているページであるか否かを判定する判定手段を備えていることを特徴とする情報提示装置。
請求項１に記載の情報提示装置において、前記検索の結果を提示する際に、表示画面の解像度とサイズから換算される表示可能文字数、および、検索結果の文字数の双方を比較して、情報が提示可能な量だけ部分的表示を行う表示制御手段を備えていることを特徴とする情報提示装置。
請求項４に記載の情報提示装置において、前記表示制御手段は、前記部分的表示のために、重要文が多く集まっている部分を優先して表示することを特徴とする情報提示装置。
請求項５に記載の情報提示装置において、前記表示制御手段は、前記重要文の選択を行う際に、標準的なページレイアウトにおける表示領域内の重要度の合計を評価して最大となる領域を表示するか、または、要約文書を再構成して表示するかのいずれかの手段を備えていることを特徴とする情報提示装置。
請求項１に記載の情報提示装置において、前記検索の結果を提示する際に、検索情報に画像情報または映像情報の非文書情報が含まれている場合に、表示画面の解像度とサイズから表示可能画質を決定し、それに合わせた高画質化処理を行う手段を備えていることを特徴とする情報提示装置。
映像表示手段、映像解析手段、ネットワーク情報検索手段、及び検索結果提示手段を有し、映像データまたは前記映像データに付随したデータから検索キーを抽出もしくは生成し、前記検索キーを用いてインターネット上の関連した情報を検索し提示する情報提示装置による情報提示方法であって、事前に、もしくは、過去に取得したインターネット上の関連した情報を解析し、前記解析結果を用いて、前記検索キーによる検索及び提示の手順または前記検索の結果の提示内容の調整を行うことを特徴とする情報提示方法。
請求項８に記載の情報提示方法において、前記インターネット上の関連した情報の検索と提示を、前記映像データの表示中に並行して逐次行う場合に、前記検索及び提示の頻度の偏りを解消し、前記情報が提示される時間間隔を調整することを特徴とする情報提示方法。
請求項８に記載の情報提示方法において、前記インターネット上の情報の検索結果を解析し、前記関連した情報が記載されているページであるか否かを判定することを特徴とする情報提示方法。
請求項８に記載の情報提示方法において、前記検索の結果を提示する際に、表示画面の解像度とサイズから換算される表示可能文字数、および、検索結果の文字数の双方を比較して、情報が提示可能な量だけ部分的表示を行うことを特徴とする情報提示方法。
請求項１１に記載の情報提示方法において、前記検索の結果を提示する際に、前記部分的表示のために、重要文が多く集まっている部分を優先して表示することを特徴とする情報提示方法。
請求項１２に記載の情報提示方法において、前記重要文の選択を行う際に、標準的なページレイアウトにおける表示領域内の重要度の合計を評価して最大となる領域を表示するか、または、要約文書を再構成して表示するかのいずれかの表示を行うことを特徴とする情報提示方法。
請求項１に記載の情報提示方法において、前記検索の結果を提示する際に、検索情報に画像情報または映像情報の非文書情報が含まれている場合に、表示画面の解像度とサイズから表示可能画質を決定し、それに合わせた高画質化処理を行うことを特徴とする情報提示方法。