JP2009188886A - 情報処理装置および情報処理装置用のプログラム - Google Patents

Abstract

【課題】テレビジョン放送で提示される各種検索誘導画面中のキーワードを確実に検出するとともに、ウェブサイトに自由にアクセスできるようにする。
【解決手段】変化量抽出部２０４は、最新の入力画像の所定時間前の入力画像に対する画素単位の変化量を算出する。この変化量がしきい値以下となる画素を対象に、文字認識部２０５およびキーワード特定部２０６による処理が実行されて、コマーシャルの検索誘導画面に表示されるキーワードが特定されると、インターネット検索部２０７により、特定されたキーワードを用いた検索が実行される。検索結果保存部２０８は、この検索でヒットした第１位のウェブサイトのＵＲＬとキーワードとが対応づけて保存する。表示制御部２０２によりキーワードの一覧表示画面が表示されたときにキーワードを選択する操作が行われると、対応するウェブサイトへの接続がなされ、そのサイトの画面が表示される。
【選択図】図４

Description

この発明は、テレビジョン放送の視聴およびインターネットの閲覧に必要な機能を具備する情報処理装置、およびこの装置にインストールされるプログラムに関する。たとえば、デジタルテレビジョン放送の受信機能を具備する携帯電話やパーソナルコンピュータ、インターネットに接続する機能を具備するテレビジョン装置などが、上記の情報処理装置に該当する。

インターネットの普及に伴い、最近のコマーシャル放送では、商品名やキャッチコピー等を表した小窓を、「検索」という文字入りのボタンの画像とともに表示した構成の画面が多数見受けられる。この表示は、小窓中の文字列をキーワードとしてインターネットの検索エンジンを検索することにより、コマーシャルに関連のあるウェブサイトにアクセスできることをアピールするものである。以下では、このような表示画面を「検索誘導画面」ということにする。

検索誘導画面およびこれに関連するウェブサイトは、商品等のより詳細な情報を提示したり、なんらかの特典を提供することによって、販促効果、顧客へのサービス、企業イメージ等を高めることを目的とする。またＵＲＬより馴染みやすく、記憶に残りやすい言葉をキーワードに設定することによって、アクセス数を高められるようにしている。

しかし、キーワードの表示は短時間であるため、見逃すことも多い。また、ユーザが、テレビジョン放送の視聴を優先して番組を見続けるうちにキーワードを忘れてしまうこともあるから、ウェブサイトへのアクセスの機会が十分に保障されているとは言い難い。

一方、テレビジョン放送の視聴およびインターネットの閲覧の双方に利用できる情報処理装置に関する従来の発明として、テレビジョン放送の画面に表示されるウェブサイトのアドレス情報（ＵＲＬ）を自動抽出し、抽出されたＵＲＬに接続してその画面を表示するようにしたものがある（たとえば特許文献１，２）。

特許文献１，２には、”ｈｔｔｐ：”などの特定文字列を含む一連の文字列を抽出し、この文字列が示すＵＲＬにアクセスすることが記載されている。さらに、特許文献２には、会社名や商品名などを表す文字列を抽出し、その文字列によりインターネット検索サイトを検索して、ＵＲＬ情報を検索し、アクセスを行うことも記載されている（段落００９１）。

特開平１０−２５７４０１号公報 特開２００４−２３６４１号公報

上記の各特許文献に記載された発明は、特定の文字列を基準にしてＵＲＬを示す文字列を抽出するものであるが、これを応用して「検索」という文字列を抽出し、その前後の任意の文字列を抽出することによって、検索用のキーワードを自動抽出することが可能になると考えられる。これが実現すれば、キーワードを忘れたり、見逃したとしても、検索が可能になるから、コマーシャルに関連するウェブサイトへのアクセスが容易になる。

特許文献１，２には、テレビジョン放送の画面に表示される画像を一定の時間が経過する毎に取り込んで、毎時の画像に対し、上記の文字列抽出処理を実行することが記載されている。しかし、テレビジョン放送の画像の大半は、文字以外の情報を示すものであるため、画像全体に対して文字候補を抽出する処理を行うと、処理に時間がかかり、動画像の表示に追随した速度で文字認識を行うのが困難になる。この結果、検索誘導画面が表示されているのに、キーワードを抽出できなくなるおそれがある。

また、検索誘導画面が表示されたからといって、ユーザが関連サイトの閲覧を希望するとは限らない。特許文献２には、検出したＵＲＬにアクセスし、取得したウェブページをテレビジョン放送の画面とともに表示することが記載されている（段落００７７）が、ウェブページの閲覧を望まないユーザにとって、このような表示はテレビ視聴の妨げになるだけであり、有用な情報提示であるとは考えられない。

一方、特許文献１には、検出したＵＲＬ情報を表示して、直ちにアクセスするかどうかや、そのＵＲＬ情報を登録するか否かをユーザに問い合わせ、ユーザの回答に応じた処理を行うことが記載されている（段落００４５〜００４７）が、テレビジョン放送の視聴中に視聴と関係のない操作を要求するのは、ユーザを煩わせるだけである。したがって、この方法も望ましい方法であるとは考えられない。

この発明は上記の各問題点に着目し、テレビジョン放送で提示される各種検索誘導画面中のキーワードを動画像表示に追随した速度で確実に検出できるようにするとともに、検出されたキーワードを、ユーザが都合や希望に応じて選択することにより、ウェブサイトに自由にアクセスできるようにすることを、目的とする。

この発明による情報処理装置は、画像を表示することが可能な表示部と、テレビジョン放送の電波を受信する受信部と、インターネットに接続するための通信部と、テレビジョン放送の画面表示およびインターネットの画面表示を含む複数の表示態様に対する選択操作を受け付けて、選択された態様の画面を表示部に表示する表示制御手段とを具備する。

さらに、この情報処理装置には、表示部にテレビジョン放送の画面が表示されている状態下で、所定時間前の画像に対する最新の画像の変化量を局所領域毎に抽出する処理を所定の周期をもって実行する変化量抽出手段；変化量抽出手段により抽出された変化量が所定の基準値を下回った領域を対象に、その領域内の画像に含まれる文字を抽出する文字抽出手段；文字抽出手段により文字が抽出されたとき、抽出された各文字を対象に特定の文字列を検索する特定文字列検索手段；特定の文字列が見つかったとき、その文字列の前または後に、当該特定の文字列に位置を合わせて配置される任意の文字列を検索する任意文字列検索手段；任意の文字列が見つかったとき、その文字列を通信部からインターネットの検索エンジンに送信し、検索エンジンによる検索でヒットしたウェブサイトのアドレス情報を取得するアドレス取得手段；の各手段が設けられる。また表示制御手段は、アドレス情報を取得するために検索エンジンに送信された文字列を所定のタイミングで表示部に表示し、この表示に対する呼び出し操作が行われたことに応じて、当該文字列により取得したアドレス情報を通信部に与えて該当するウェブサイトへの接続を行わせ、接続されたウェブサイトの画面を表示部に表示する。

なお、上記の情報処理装置には、選択や呼び出しのための操作を行う必要があるが、この操作は、キーボードやリモコン装置などの外部機器により構成される場合もある。

上記の装置では、種々のキーワードとともに表示される頻度が高い文字列（たとえば「検索」）を特定文字列とすることにより、この特定文字列を指標にキーワードを抽出し、検索エンジンによる検索を実行することができる。

テレビジョン放送では動画像が配信されるため、画面の大部分の場所で画像の大きな変化が認められる。しかし、文字列が表示される場所では、視聴者に文字列を読み取らせるために、ある程度の時間、文字列を静止表示する必要があるから、その表示が行われる間の画像の変化量は、きわめて小さくなると考えられる。

この発明では、上記の点に着目して、所定時間前の画像に対する変化量が所定の基準値を下回った領域を対象に文字抽出処理を実行するので、文字抽出の対象となる領域を、画像中の限られた範囲に絞り込むことができる。よって、動画像の表示速度に追随した速度でキーワードを抽出することが可能になる。

また、上記の情報処理装置では、キーワードを構成する文字列を抽出して検索エンジンによる検索を行うことにより、検索誘導画面に対応するウェブサイトが判明した後も、ユーザが呼び出し操作を行わない限り、ウェブサイトの画面表示が立ち上がることがない。よって、ユーザが望まないタイミングでサイトの画面が表示されて、テレビジョン放送の視聴が妨げられることがない。また、ユーザの呼び出し操作が行われた場合には、先の検索で取得したアドレス情報を用いて対応するウェブサイトに接続し、そのサイトの画面を表示するので、ユーザ自身が検索エンジンを操作する手間をなくすことができる。よってユーザは、表示されたキーワードを選択することによって、すぐにウェブサイトを閲覧することができる。

さらに、上記の情報処理装置では、放送中に示されたキーワードを表示するので、ユーザがキーワードを忘れたとしても、視聴時に興味を持ったキーワードが表示された場合には、それを容易に思い出すことが可能になる。よって、関心をもった検索誘導画面のウェブサイトへのアクセスが困難になるおそれがない。

上記の情報処理装置の好ましい一態様では、表示制御手段は、アドレス取得手段が取得したアドレス情報と当該アドレス情報を取得するために検索エンジンに送信された文字列とを対応づけて蓄積する記憶手段を具備し、この記憶手段に蓄積された情報のうちの少なくとも文字列を含む一覧表示画面を、前記テレビジョン放送の画面表示が終了したこと、又は当該一覧表示画面を呼び出す操作に応じて表示部に表示する。さらに、この一覧表示画面中の所定の情報を選択する操作が行われたとき、選択された情報中のアドレス情報を通信部に出力する。

上記の態様によれば、ユーザは、テレビジョン放送の視聴が終了したとき、又は自身が希望するときに、視聴中に抽出されたキーワードの一覧表示画面により各種キーワードを確認することができる。そして、これらのキーワードの中から興味を持つものを選択することにより、選択したキーワードに、対応するウェブサイトの画面を表示部に呼び出して、確認することができる。

情報処理装置の他の好ましい態様では、文字抽出手段は、変化量抽出手段により抽出された変化量が所定の基準値を下回った領域を対象に、矩形状の輪郭線により囲まれ、かつその輪郭線により囲まれた範囲内の画像データのばらつき度合いが所定値以下となる領域を検索し、該当する領域が見つかったときは、その領域内の画像を対象に文字抽出処理を実行し、該当する領域が見つからなかったときは、文字抽出処理を中止する。
なお、矩形状の輪郭線は完全な矩形を形成するものに限らず、たとえば角部を丸くした形状のものや、短辺が曲線に変形した形状のものも、抽出の対象となる。

テレビジョン放送の画面中に検索用のキーワードを表示する場合には、一般に、背景の色彩や明るさが一様な矩形状の小窓を設定して、その窓内にキーワードを配置する。また、検索ボタンの画像も、単色の矩形状パターン内に「検索」の文字列を配置した構成のものが一般的である。したがって、キーワードや「検索」の背景部分の画像データのばらつき度合いは非常に小さくなると考えられる。一方、字幕スーパーなどのキーワード以外の文字列は、動画像にそのまま重畳されるので、背景部分の画像データのばらつき度合いは大きくなる。

上記の態様によれば、文字列が表示されている画面であっても、検索誘導画面である可能性がない画面を、文字認識の対象から除外し、キーワードや検索ボタンが表示されている可能性が高い領域に対象を絞り込んで文字認識処理を実行することができるので、処理の時間を大幅に短縮することができる。よって、テレビジョン放送の動画像表示にキーワードの抽出処理を追随させるのが、より容易になる。

さらに、この発明は、画像を表示することが可能な表示部と、テレビジョン放送の電波を受信する受信部と、インターネットに接続するための通信部と、テレビジョン放送の画面表示およびインターネットの画面表示を含む複数の表示態様に対する選択操作を受け付け、選択された態様の画面を前記表示部に表示する情報表示手段として機能するコンピュータとを具備する情報処理装置に組み込まれるプログラムを提供する。このプログラムは、上記した変化量抽出手段、文字抽出手段、特定文字列検索手段、任意文字列検索手段、アドレス取得手段の各手段として、コンピュータを動作させるとともに、表示制御手段に、アドレス情報を取得するために検索エンジンに送信された文字列を所定のタイミングで表示部に表示し、この表示に対する呼び出し操作が行われたことに応じて、当該文字列により取得したアドレス情報を通信部に与えて該当するウェブサイトへの接続を行わせ、接続されたウェブサイトの画面を表示部に表示する機能を与えるものである。

上記構成の情報処理装置およびプログラムによれば、ユーザがテレビジョン放送を視聴している間に画面に表示されたインターネット検索用のキーワードを、表示に追随する速度で精度良く抽出し、抽出されたキーワードの中からユーザにより選択されたものについて、対応するウェブサイトの画面を表示することができる。よって、ユーザは、表示されたキーワードを覚えたり、検索の操作を行わなくとも、希望する情報を得ることができ、情報処理装置の利便性や価値が大幅に高められる。

図１は、この発明が適用された携帯電話の電気構成を示す。
この実施例の携帯電話は、通話、インターネットに接続する機能、カメラによる撮影機能のほか、地上デジタルテレビジョン放送を受信して、放送中の番組の表示や音声出力を行う機能を具備する。

具体的に、この携帯電話には、アンテナＡを含むチューナー部１、操作部２、表示部３、モデム４、カメラ５、スピーカ６、テレビ用コントローラ１１、キー入力処理部１２、表示制御回路１３、通信制御回路１４、撮像制御部１５、音声回路１６などが設けられる。

さらに、この実施例の携帯電話には、２つの制御部２１，２２およびビデオＲＡＭ２３が設けられる。各制御部２１，２２（以下、「第１制御部２１」「第２制御部２２」という。）は、それぞれＣＰＵやメモリを含むもので、各種処理に関する制御を分担して実行する。この実施例では、キー入力の受付処理、動作モードの設定、表示部３の表示制御など、主要な処理を第１制御部２１に担当させ、インターネット接続や後記する文字認識に関する画像処理を第２制御部２２に担当させるようにしている。

キー入力処理部１２は、操作部２に対する操作を受け付けて、操作されたキーを示す信号を出力する。第１制御部２１では、この信号を取り込んで操作内容を認識し、操作に応じた処理を実行する。

操作部２においてテレビジョン放送の視聴を選択する操作が行われると、第１制御部２１はこの操作を認識してテレビ用コントローラ１１およびチューナー部１を立ち上げる。テレビ用コントローラ１１は、第１制御部１２からチャンネルの選択指定を受け付けて、チューナー部１の選局動作を制御する。さらにチューナー部１が受信した電波から画像データや音声データを復号する。

上記の動画像データは、表示制御回路１３を介して表示部３に出力され、音声データは音声回路１６を介してスピーカー６に出力される。これにより放送中の動画像が表示部３に表示されるとともに、音声がスピーカ６から出力され、テレビジョン放送の視聴が可能になる。
さらに上記の動画像データはビデオＲＡＭ２３に入力され、所定期間保存される。各制御部２１，２２は、毎時の動画像データをビデオＲＡＭ２３から読み出して、後記する図５，６に示す処理を実行する。

モデム４および通信制御回路１４は、インターネットへの接続に使用される。カメラ５および撮像制御部１５は、撮影モードが選択されたとき、第１制御部２１からのコマンドに応じて起動し、撮影処理を実行する。この撮影により生成された画像データは、第１制御部２１に送信され、その内部メモリに格納される。

上記構成の携帯電話では、テレビジョン放送の視聴が選択されている状態下で、表示部３に図２に示すような検索誘導画面が表示される都度、その画面中のキーワードを検出し、インターネットの検索エンジンを検索する処理を自動的に行うようにしている。
検索誘導画面は、１つのコマーシャル放送の最後に提示されるもので、画面の適所に、小窓１０１が表示されて、その窓内にキーワードが表示され、その隣に、検索ボタンを模した画像１０２（以下、「検索ボタン画像１０２」という。）が表示される。小窓１０１および検索ボタン画像１０２は、いずれも矩形または矩形に近い形状のもので、文字列を除く部分の色彩や明るさがほぼ均一になるように設定されている。また、周囲の動画像が変化しても、小窓１０１や検索ボタン画像１０２は、ユーザが表示内容を確認できるように、１〜２秒程度の時間、静止状態で表示される。

この実施例では、種々の検索誘導画面が表示される都度、その画面中のキーワードにより検索エンジンによる検索を実行するが、テレビジョン放送の画面が表示されている間に、検索結果が表示されることはない。代わりにこの実施例では、検索でヒットしたウェブサイトのうちの第１位のサイト（キーワードに対する適合度が最大になったサイト）のアドレス情報（ＵＲＬ）と検索に用いられたキーワードとを対応づけて蓄積し、テレビジョン放送の視聴モードが終了したとき、またはユーザの選択操作に応じて、蓄積された情報を、図３に示すような一覧表示画面にして表示部３に表示する。

さらに、この実施例では、一覧表示中のキーワードをユーザが自由に選択できるようにしている。また選択が行われると、選択されたキーワードに対応するアドレス情報を用いて、該当するウェブサイトにアクセスし、そのウェブサイトの画面を表示部３に表示するようにしている。

図４は、上記の処理を実行するためのシステム構成を示す。このシステムは、第１制御部２１、第２制御部２２、ビデオＲＡＭ２３，ならびに各制御部２１，２２に組み込まれたプログラムにより構築されたもので、動画像入力部２０１、表示制御部２０２、選択操作受付部２０３、変化量抽出部２０４、文字認識部２０５、キーワード特定部２０６、インターネット検索部２０７、検索結果保存部２０８などが含まれる。

動画像入力部２０１は、ビデオＲＡＭ２３により構成される。第１制御部２１は、表示制御部２０２および選択操作受付部２０３として機能するとともに、テレビジョン放送の画像が表示されている間、変化量抽出部２０４として動画像入力部２０１にアクセスし、図５に示す処理を繰り返し実行する。一方、第２制御部２２は、文字認識部２０５、キーワード特定部２０６、インターネット検索部２０７、および検索結果保存部２０８として、図６に示す処理を実行する。ただし、このように複数の制御部に処理を分担させずに、より性能の高いＣＰＵを具備する単一の制御部に、図４に示す全ての機能を設定してもよい。

以下、図５および図６に基づき、各制御部が実行する処理について説明する。
まず第１制御部２１では、１フレーム分の画像が入力され、動画像入力部２０１に格納される都度（ステップＳ１が「ＹＥＳ」）、その入力画像のｎフレーム前（ｎ＞１）の入力画像に対する変化量を画素毎に算出する処理（ステップＳ２）と、この変化量があらかじめ定めたしきい値以下になる画素を抽出する処理（ステップＳ３）とを実行する。

さらに、ステップＳ３で抽出された画素の数が、あらかじめ定めた値Ｍを上回った場合（ステップＳ４が「ＹＥＳ」）には、抽出した各画素の座標を第２制御部２２に出力する（ステップＳ５）。

なお、ステップＳ２の処理に用いられるフレーム数ｎは、検索誘導画面のキーワードの表示に用いられるフレーム数に基づいて定められる。たとえば、あらかじめ複数の検索誘導画面について、キーワードおよび検索ボタン画像１０２の表示が維持される時間を求め、これらの平均値または最小値に対応する時間に表示される画像の数、またはそれより若干小さい数値をｎとする。

つぎに、図６に示す第２制御部２２の処理では、まず第１制御部２１から出力された座標を入力し（ステップＳ１１）、これらの座標に対応する画素を対象に、文字領域を検出する処理を実行する（ステップＳ１２）。

ステップＳ１２では、文字列が表示されている領域など、ｎフレーム前の画像と同様の表示が行われている領域が、処理対象となる。この実施例では、処理対象の領域内の画像をグレースケール画像に変換し、その変換後の画像を、下記の特許文献１，２に記載された方法に基づいて処理することにより、１つ１つの文字毎に文字領域を特定するようにしている。簡単に説明すると、Ｌｏｇフィルタと呼ばれるエッジ抽出用フィルタを用いて、線状に連結した画素の集合体（連結成分）を抽出した後に、各連結成分の中から、画素数、外接矩形の大きさ、元画像における背景画素との濃度差がそれぞれ所定の基準を満たし、画像の端縁に接していない連結部分を、文字の構成要素（文字成分）として特定する。さらに、各文字成分の輪郭線を折れ線に近似し、折れ線近似された輪郭線に線分ハフ変換を実行することにより、文字領域を特定する。

特開２００５−３０９７７１号公報 特開２００５−３０９７７２号公報

上記の処理により所定数の文字領域が検出された場合（ステップＳ１３が「ＹＥＳ」）には、さらに、文字領域毎に、その領域に表示されている文字を特定してテキストデータに変換し、変換後のテキストデータと文字領域の座標とを対応づける（ステップＳ１４）。この処理は一般的な文字認識の手法（フォントデータを用いたパターンマッチング処理）により行うことができる。

文字認識が終了すると、つぎには、認識された文字の中に「検索」という文字列が含まれていないかどうかを判別する（ステップＳ１５）。この文字列が見つかった場合（ステップＳ１６が「ＹＥＳ」）には、処理中の画像が検索誘導画面を表すものと判断して、キーワードを検出する処理を実行する。

具体的には、図７に示すように、文字列「検索」が表示されている範囲の上下端縁のｙ座標ｙ１，ｙ２を算出し、これらの座標ｙ１，ｙ２により特定される帯状領域内において、「検索」の前後に他の文字列が配置されていないかどうかを判別する（ステップＳ１７，Ｓ１８）。

上記の帯状領域内で文字列が見つかると（ステップＳ１８が「ＹＥＳ」）、見つかった文字列をキーワードとして特定する（ステップＳ１９）。
上記のように、検索誘導画面に含まれている検索ボタン画像１０２を基準にキーワードを検索するので、キーワードを精度良く検出することができる。

この後は、インターネットの検索エンジンに接続し、特定されたキーワードを検索エンジンに出力することにより、そのキーワードによる検索を実行する（ステップＳ２０）。この検索が終了すると、第１番目に抽出されたウェブサイト（キーワードに対する適合度が第１位のもの）のＵＲＬと、検索エンジンに出力したキーワードとを対応づけて、第１制御部２２内のメモリに保存する。

図６の各ステップのうち、Ｓ１１〜Ｓ１４は文字認識部２０５の処理に、Ｓ１５〜Ｓ１９はキーワード特定部２０６の処理に、Ｓ２０はインターネット検索部２０７の処理に、Ｓ２１は検索結果保存部２０８の処理に、それぞれ該当する。これらのステップは、第１制御部２１による図５のステップＳ１〜Ｓ５の処理に追随した速度で実行される。

上記の処理によれば、図５のステップＳ２で用いるフレーム数ｎの値を適切に設定することにより、検索誘導画面が表示される都度、その画面中のキーワードを検出してインターネットによる検索を行い、検索誘導画面に関連するウェブサイトを特定することができる。

なお、図６には示していないが、ステップＳ１９において、一段階前の同ステップで特定されたのと同一のキーワードが特定された場合には、ステップＳ２０，２１をスキップしてもよい。キーワードの表示に用いられるフレーム数が上記のｎより大きい場合には、同じキーワードが複数回続けて抽出される可能性があるからである。また、図５のステップＳ２では、画素単位での変化量を算出したが、これに限らず、複数の画素を含む局所領域毎に変化量を算出してもよい。

さらに、上記の実施例では、一段階前の画像に対する変化量がしきい値以下となる画素にまで処理対象を絞り込んだ後に、図６の処理を開始しているが、検索誘導画面の特徴に着目すれば、さらに処理対象領域を絞り込むことができる。

具体的には、検索誘導画面の小窓１０１や検索ボタン画像１０２は、いずれも矩形または矩形に近い輪郭形状を具備する点に着目して、処理対象の領域の画像のエッジを抽出し、その抽出結果に基づいて矩形状の輪郭線を抽出し、その輪郭線で囲まれている領域内の画像を対象に文字領域の検出処理を実行する。さらに、小窓１０１や検索ボタン画像１０２では、背景部分の色彩や明るさがほぼ均一に設定される点に着目して、上記のエッジにより囲まれている領域内の画像データの分散を求め、この分散が所定値以下であるときのみ、文字領域を検出するようにしてもよい。

このように、小窓１０１や検索ボタン画像１０２の特徴に基づいて処理対象領域を絞り込むようにすれば、字幕スーパーなどの検索誘導画面とは無関係の文字列しか表示されていない場合には、文字領域の検出や文字認識処理を行わずに処理を終了することができる。よって、検索誘導画面とは関係のない画面に対する処理を簡単にすることができ、処理効率をより一層向上できるので、動画像の表示に追随した処理を容易に行うことができる。

上記したとおり、各制御部２１，２２は、テレビジョン放送の動画像が表示部３に表示されている間、それぞれ図５，６の処理を画像の表示に追随した速度で繰り返し実行する。この結果、キーワードとＵＲＬとの組み合わせが所定数蓄積され、テレビジョン放送の画面表示が行われていない状態下で、図３に示した一覧表示画面が表示される。ユーザが、この画面中の所定のキーワードを選択する操作を行うと、表示制御部２０２は、選択されたキーワードに対応するＵＲＬをインターネット検索部２０７に渡す。インターネット検索部２０は、このＵＲＬを用いて該当するウェブサイトに接続し、その画面データを表示制御部２０２に供給する。この処理に応じて、表示部３の画面は、一覧表示画面から選択されたキーワードに対応するウェブサイトの画面表示に切り替えられる。

上記の処理によれば、ユーザは、テレビジョン放送を視聴している間、キーワードの抽出やインターネットによる検索が行われていることを意識せずに番組を楽しんだ後に、適宜、一覧表示画面により各種キーワードを確認することができる。さらに、その中から興味のあるものを選択して、ウェブサイトを閲覧することができるので、ユーザの希望する情報を希望するときに確認することができ、使い勝手を大幅に向上することができる。

なお、テレビジョン放送の画面表示中であっても、視聴の妨げにならない範囲で何らかの情報表示を行うようにしてもよい。たとえば、新たなキーワードが検出された場合には、そのキーワードを、一定の時間、画面の片隅に表示するようにしてもよい。さらに、この表示に対するユーザの選択操作が行われた場合には、選択されたキーワードによるインターネット検索を実行するとともに、ヒットしたウェブサイトの画面により表示を切り替えるようにしてもよい。

また、上記の実施例では、テレビジョン放送の検索誘導画面を対象に、キーワードの抽出やインターネット検索を行ったが、カメラ５によりキーワードや検索ボタン画像を含む静止画像が生成された場合にも、同様の手法を用いて対応するウェブサイトを表示することができる。この場合には、撮影後にインターネット検索を行うモードを設定し、そのモードが選択されたことに応じて、キーワードの抽出およびインターネットの検索を行った後に、速やかにウェブサイトの画面を表示してもよい。

携帯電話の主要構成を示すブロック図である。 検索誘導画面の例を示す説明図である。 検索結果の一覧表示画面の例を示す説明図である。 第１および第２の制御部によるシステム構成を示す機能ブロック図である。 第１制御部の処理手順を示すフローチャートである。 第２制御部の処理手順を示すフローチャートである。 キーワードの検出処理の例を示す説明図である。

符号の説明

１ チューナー部
２ 操作部
３ 表示部
４ モデム
１１ テレビ用コントローラ
１２ キー入力処理部
１３ 表示制御回路
１４ 通信制御回路
２１ 第１制御部
２２ 第２制御部
２３ ビデオＲＡＭ
１０１ キーワード表示用の小窓
１０２ 検索ボタン画像
２０１ 動画像入力部
２０２ 表示制御部
２０３ 選択操作受付部
２０４ 変化量抽出部
２０５ 文字認識部
２０６ キーワード特定部
２０７ インターネット検索部
２０８ 検索結果保存部

Claims (4)

1. 画像を表示することが可能な表示部と、テレビジョン放送の電波を受信する受信部と、インターネットに接続するための通信部と、テレビジョン放送の画面表示およびインターネットの画面表示を含む複数の表示態様に対する選択操作を受け付けて、選択された態様の画面を前記表示部に表示する表示制御手段とを具備する情報処理装置において、
   前記表示部にテレビジョン放送の画面が表示されている状態下で、所定時間前の画像に対する最新の画像の変化量を局所領域毎に抽出する処理を所定の周期をもって実行する変化量抽出手段と、
   前記変化量抽出手段により抽出された変化量が所定の基準値を下回った領域を対象に、その領域内の画像に含まれる文字を抽出する文字抽出手段と、
   前記文字抽出手段により文字が抽出されたとき、抽出された各文字を対象に特定の文字列を検索する特定文字列検索手段と、
   前記特定の文字列が見つかったとき、その文字列の前または後に、当該文字列に位置を合わせて配置される任意の文字列を検索する任意文字列検索手段と、
   前記任意の文字列が見つかったとき、その文字列を前記通信部からインターネットの検索エンジンに送信し、検索エンジンによる検索でヒットしたウェブサイトのアドレス情報を取得するアドレス取得手段とを備え、
   前記表示制御手段は、前記アドレス情報を取得するために検索エンジンに送信された文字列を所定のタイミングで前記表示部に表示し、この表示に対する呼び出し操作が行われたことに応じて、当該文字列により取得したアドレス情報を通信部に与えて該当するウェブサイトへの接続を行わせ、接続されたウェブサイトの画面を前記表示部に表示する情報処理装置。
2. 前記表示制御手段は、前記アドレス取得手段が取得したアドレス情報と当該アドレス情報を取得するために検索エンジンに送信された文字列とを対応づけて蓄積する記憶手段を具備し、この記憶手段に蓄積された情報のうちの少なくとも文字列を含む一覧表示画面を、前記テレビジョン放送の画面表示が終了したこと、又は当該一覧表示画面を呼び出す操作に応じて前記表示部に表示し、この一覧表示画面中の所定の情報を選択する操作が行われたとき、選択された情報中のアドレス情報を通信部に出力する、請求項１に記載された情報処理装置。
3. 前記文字抽出手段は、前記変化量抽出手段により抽出された変化量が所定の基準値を下回った領域を対象に、矩形状の輪郭線により囲まれ、かつその輪郭線により囲まれた範囲内の画像データのばらつき度合いが所定値以下となる領域を検索し、該当する領域が見つかったときは、その領域内の画像を対象に文字抽出処理を実行し、該当する領域が見つからなかったときは、前記文字抽出処理を中止する、請求項１に記載された情報処理装置。
4. 画像を表示することが可能な表示部と、テレビジョン放送の電波を受信する受信部と、インターネットに接続するための通信部と、テレビジョン放送の画面表示およびインターネットの画面表示を含む複数の表示態様に対する選択操作を受け付け、選択された態様の画面を前記表示部に表示する情報表示手段として機能するコンピュータとを具備する情報処理装置に組み込まれるプログラムであって、
   前記表示部にテレビジョン放送の画面が表示されている状態下で、所定時間前の画像に対する最新の画像の変化量を局所領域毎に抽出する処理を所定の周期をもって実行する変化量抽出手段、
   前記変化量抽出手段により抽出された変化量が所定の基準値を下回った領域を対象に、その領域内の画像に含まれる文字を抽出する文字抽出手段、
   前記文字抽出手段により文字が抽出されたとき、抽出された各文字を対象に特定の文字列を検索する特定文字列検索手段、
   前記特定の文字列が見つかったとき、その文字列の前または後に、当該特定の文字列に位置を合わせて配置される任意の文字列を検索する任意文字列検索手段、
   任意の文字列が見つかったとき、その文字列を前記通信部からインターネットの検索エンジンに送信し、検索エンジンによる検索でヒットしたウェブサイトのアドレス情報を取得するアドレス取得手段、
   の各手段として前記コンピュータを機能させるとともに、前記表示制御手段に、前記アドレス情報を取得するために検索エンジンに送信された文字列を所定のタイミングで前記表示部に表示し、この表示に対する呼び出し操作が行われたことに応じて、当該文字列により取得したアドレス情報を通信部に与えて該当するウェブサイトへの接続を行わせ、接続されたウェブサイトの画面を前記表示部に表示する機能を設定する、情報処理装置用のプログラム。

Images