JP2007048212A - 情報提供システム及び情報提供装置 - Google Patents

Abstract

【課題】 画像内或いは実世界上に存在する物体に関連する情報を提供する。
【解決手段】 コンテンツサーバＣＳに関連情報データが格納された関連情報ＤＢ２３と、検索用ＤＢ２２を保有させると共に、クライアント端末ＣＴにおいてユーザが指定した画像領域内に存在するオブジェクトに対応した特徴量データを生成して、コンテンツサーバＣＳに送信し、当該特徴量データとの類似度が所定値以上となる特徴量データに対応した関連情報データをクライアント端末ＣＴに配信する構成を採用している。
【選択図】 図１

Description

本発明は通信端末に対して各種のコンテンツを配信するための技術に関する。

従来、ＷＷＷ（World Wide Web）に代表されるクライアントサーバ型の通信システムにおいてサーバの保有するコンテンツデータを検索するための手法として用いられてきたものに、例えば、キーワード検索と呼ばれるものがある。この検索方法は、予め検索用のキーワードを設定しておき、当該キーワードに基づいてデータ検索を行う手法であるため、画像データのようにテキストを含まないデータを検索する手法として有効なものとなっている。しかしながら、このキーワード検索においては、検索用のキーワードを適切に設定しておかないと、ユーザの所望するコンテンツデータを検索できなくなる可能性があり、また、言葉により定義できない画像の場合、そもそも、検索用キーワードの設定自体が困難となってしまう。そこで、最近では、画像データの特徴量（具体的には画像データに対応した画像の輪郭や色調等の特徴量）を示すデータをデータベース（以下、「ＤＢ」と略称する。）化してサーバに保有させ、クライアント装置から送信された画像データの特徴量と、ＤＢ内のデータを比較することにより、クライアント装置から送信された画像に類似する画像を検索するためのシステムも提案されるに至っている（例えば、特許文献１）。
特開２００３−３０３１８８号公報

ところで、上記従来のシステムにおいては、クライアント装置から送信された画像に類似する画像を提供できるにとどまり、
（ａ）画像内に複数の物体（人物を含む。以下同様）が存在する場合に、各物体に関連する情報（例えば、当該物体が如何なるものであるか等の情報）を提供し、或いは、
（ｂ）実世界上に存在する物体に関連する情報を提供する、
機能は実現されていない。

本願は、以上説明した事情に鑑みてなされたものであり、その課題の一例としては、画像内、或いは、実世界上に存在する物体に関連する情報を提供することが可能な情報提供システム及び情報提供装置を提供することを目的とする。

以上説明した課題を解決するため、本願の一つの観点において、請求項１に記載の情報提供システムは、サーバ装置の保有する各種データを通信端末装置からの要求に応じて配信する情報提供システムであって、前記通信端末装置は、動画像或いは撮像された画像に対応するデータを解析し、当該動画像或いは画像中に存在する物体の特徴量を示す特徴量データを生成する生成手段と、前記物体に関連する各種情報に対応した関連情報データを前記特徴量データに基づいて前記サーバ装置から取得する取得手段と、前記サーバ装置から受信した関連情報データに基づく処理を実行する実行手段と、を備える一方、前記サーバ装置は、実世界上に存在する各種物体に対応した特徴量データと、当該物体に対応した前記関連情報データが対応付けて記録された記録手段と、前記通信端末装置から送信された特徴量データを取得すると共に、当該特徴量データに類似する特徴量データを前記記録手段から検索する検索手段と、前記検索された特徴量データに対応付けられた関連情報データを前記通信端末装置に配信する配信手段と、を備えることを特徴とする。

この情報提供システムによれば、通信端末装置において動画像或いは撮像された画像中に存在する物体に対応する特徴量データが生成され、当該物体に対応する関連情報データがサーバ装置から通信端末装置に配信されることとなるため、画像内、或いは、実世界上に存在する物体に関連する情報を通信端末装置のユーザに提供することが可能となり、もって、通信端末装置のユーザの利便性を向上させることが可能となる。

また、請求項１に記載の構成において、通信端末装置に動画像或いは撮像された画像中の任意の領域を指定するための指定手段を設け、この指定された領域内に存在する物体に対応した特徴量データを通信端末装置の生成手段において生成する構成とすることも可能である（請求項２）。この構成によれば、ユーザは画像中の任意の領域を指定して自身が関連情報データを取得したいと考える物体を指定することが可能となり、もって、ユーザの利便性を更に向上させることが可能となる。

また更に、上記請求項１に記載の構成において、動画像と対応付けられた音声データが存在する場合に、当該音声データの特徴量を示す音声特徴量データを生成する音声特徴量データ生成手段を更に通信端末装置に設けると共に、この音声特徴量データに基づいて関連情報データを検索するための音声関連情報記録手段を更にサーバ装置に設けるようにしても良い（請求項３）。この構成により、画像のみならず、音声をも含むコンテンツについては、画像及び音声の両側面から関連情報データを検索することが可能となる。

更に、請求項１に記載の構成において、通信端末装置に対する関連情報データの配信状況を管理するための配信状況管理手段と、予め定められた複数の関連情報データが配信された場合に、当該定められた全ての関連情報データの配信が完了したことを示す完了データを前記通信端末に配信する配信手段と、を更にサーバ装置に設け、通信端末装置の実行手段において、この完了データに基づく処理を実行する構成とすることも可能である（請求項４）。かかる構成を採用した場合、例えば、通信端末装置に撮像手段を設けることにより（請求項５）、ユーザに所定の物体を撮像させ、当該撮像された物体が所定数以上、所定数貯まった等の状態を管理して、宝探しゲーム等を実現することも可能となる。

更にまた、本願の他の観点において請求項６に記載の情報提供装置は、実世界上に存在する各種物体に対応した画像を解析して得られる特徴量データと、当該物体に関連する各種情報に対応した関連情報データが対応付けて記録された記録手段と、動画像或いは撮像された画像に対応するデータを解析し、当該動画像或いは画像中に存在する物体の特徴量を示す特徴量データを生成する生成手段と、前記生成された特徴量データに類似する特徴量データを前記記録手段から検索する検索手段と、前記検索された特徴量データに対応付けられた関連情報データを前記記録手段から読み出して、当該関連情報データに基づく処理を実行する実行手段と、を備えることを特徴とする。この情報提供装置によれば、請求項１に記載の情報提供システムと同様の作用効果を奏することが可能となる。

本願の各発明によれば、画像内、或いは、実世界上に存在する物体に関連する情報を提供することが可能となる。

［１］第１実施形態
［１．１］第１実施形態の構成
以下、図１を参照しつつ、本願の第１実施形態にかかる情報提供システムＳ（以下、「システムＳ」と略称）の構成について説明する。同図に示すように、このシステムＳは、インターネットや公衆電話網、更には、移動パケット通信網等のネットワークがＰＯＩ（Point Of Interface）を介して相互接続されたネットワークＮＥＴと、コンテンツサーバＣＳと、クライアント端末ＣＴと、このクライアント端末ＣＴに接続されたモニタＭＮと、を有している。このシステムＳは、（ａ）コンテンツサーバＣＳからリアルタイムにて配信される音声及び動画像からなるコンテンツデータ（所謂、ストリーミング型の動画像配信）や（ｂ）地上デジタル放送等の放送波を、クライアント端末ＣＴを用いて受信して放送番組やストリーミング配信されるコンテンツに対応した音声や動画像をモニタＭＮから出力させるためのものとなっている。

ここで、本実施形態に特徴的な事項として、このシステムＳにおいては、モニタＭＮに表示された動画像中においてユーザが指定した領域内に存在する物体に関連する各種情報（例えば、名称や解説テキスト、解説画像、解説音声、三次元画像、関連ＷｅｂページへのリンクＵＲＬ等。以下、「関連情報」という。）に対応した関連情報データをコンテンツサーバＣＳからクライアント端末ＣＴに配信し、クライアント端末ＣＴに接続されたモニタＭＮに当該関連情報を表示する機能が実現されている。一方、かかる機能を実現しようとする場合、如何にしてユーザが画像中において指定した領域内に存在する物体を特定して、当該物体の関連情報を検索するのかが問題となる。そこで、本実施形態にかかるシステムＳにおいては、概略、次のような方法を採用することした。

まず、モニタＭＮに表示中の動画像データからユーザの入力操作に応じて、当該操作時に表示されているフレーム乃至は当該フレームから所定範囲内のフレームに対応した画像データを抽出し、静止画像としてモニタＭＮに表示させる。この静止画像上においてユーザが任意の領域を指定した場合、クライアント端末ＣＴは当該領域内に含まれている各画素の画素値から当該画像領域内に存在する物体に対応した特徴量データ（具体的には当該画像領域内に存在する物体部分の画像の輪郭や色調等の特徴量を示すデータ）を生成して、コンテンツサーバＣＳに送信する。一方、コンテンツサーバＣＳには、各物体を撮像した画像を解析して得られる特徴量データを予めＤＢ化して保有させておくようにする。そして、クライアント端末ＣＴから送信されてきた特徴量データとの類似度が所定値以上となる特徴量データをコンテンツサーバＣＳにおいて検索し、かかる検索の結果、ヒットした特徴量データに対応する物体の関連情報データをクライアント端末ＣＴに配信するのである。この方法を採用することにより動画像中に含まれる任意の物体に関連する各種の情報をユーザに提示することが可能となり、もって、本システムＳを利用するユーザの利便性を飛躍的に向上させることが可能となる。

以下、かかる機能を実現するための各要素について、以下説明する。

（１）クライアント端末ＣＴについて
まず、クライアント端末ＣＴは、ＰＣ（Personal Computer）等の通信装置であり、キーボードやポインティングデバイス等の各種入力デバイスから構成される操作部１１と、通信部１２と、放送受信部１３と、信号処理部１４と、この信号処理部１４内に設けられたバッファメモリ１５と、システム制御部１６と、特徴量抽出部１７と、関連情報処理部１８と、これら各要素間を相互接続するバス１９と、を有している。

これらの要素中、通信部１２は、システム制御部１６とネットワークＮＥＴとの間のデータの授受を仲介する。例えば、コンテンツサーバＣＳからコンテンツデータや関連情報データが配信された場合、通信部１２は、これらコンテンツデータ等を受信して、システム制御部１６に供給する。

放送受信部１３は地上アナログ放送等のアナログ放送用のチューナや地上デジタル放送等のデジタル放送用のチューナを搭載しており、アンテナＡＴを介して放送波を受信し、当該放送波に対応した受信信号を信号処理部１４に供給する。

信号処理部１４は、（ａ）放送受信部１３から供給される受信信号に所定形式の信号処理を施して表示用のデータ（すなわち、モニタＭＮにおいて各フレームに対応した画像を表示させるためのデータ）及び音声出力用データを生成する一方、（ｂ）通信部１２によって受信されたコンテンツデータがシステム制御部１６から供給されると当該コンテンツデータに信号処理を施して表示用データ及び音声出力用データを生成する。そして、信号処理部１４は、当該生成した音声出力用データを音声出力端子Ｔ１を介してモニタＭＮに出力する一方、表示用データについてはバッファメモリ１５上に展開した後、所定のタイミングにてモニタＭＮに転送する。この結果、モニタＭＮにおいて音声が拡声されると共に各フレームに対応した画像が順次表示され、ユーザは放送番組或いはストリーミング配信されるコンテンツを視聴可能な状態となる。

システム制御部１６は、ＣＰＵ（Central Processing Unit）を有する他、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等のメモリを有し、このメモリには、各種の制御情報や制御プログラム、更には、ＷＷＷ（World Wide Web）ブラウザ等の通信プログラムや各種の動画像データを処理するための動画像処理プログラムが記録されている。システム制御部１６は、これらのプログラムをＣＰＵが実行することによりクライアント端末ＣＴの各部を制御する。例えば、システム制御部１６は、上記通信プログラムに基づき、コンテンツサーバＣＳから各種Ｗｅｂページに対応したＨＴＭＬ（HyperText Markup Language）データを取得すると共に、当該ＨＴＭＬデータを信号処理部１４に供給して当該Ｗｅｂページに対応した画像をモニタＭＮに表示させる。また、システム制御部１６は、動画像処理プログラムを実行することにより、＜機能ａ＞ストリーミング配信されるコンテンツデータを取得して信号処理部１４に表示処理等を実行させる一方、＜機能ｂ＞放送受信部１３を制御して放送波を受信させ、信号処理部１４に表示処理等を実行させるようになっている。

更に、本実施形態に特徴的な事項としてシステム制御部１６は、操作部１１に対する入力操作に応じて信号処理部１４を制御し、動画像中の一つのフレームに対応した画像データを抽出させる。この際、システム制御部１６は、当該フレームに対応した動画像データをバッファメモリ１５に保持させると共に、当該フレームに対応した画像の表示状態を継続させる。そして、このフレームに対応した画像がモニタＭＮに表示されている状態において、ユーザが操作部１１に対して、任意の領域を指定する旨の入力操作を行うと、システム制御部１６は、当該入力操作に基づいて特徴量抽出部１７を制御し、特徴量データを生成させる。システム制御部１６は、このようにして生成された特徴量データをコンテンツサーバＣＳ宛に送信することにより、コンテンツサーバＣＳから関連情報データを取得し、当該取得された関連情報データを関連情報処理部１８に供給するようになっている。この結果、関連情報処理部１８において（ａ）モニタＭＮに表示中のフレーム画像に重畳表示させるための画像データや（ｂ）関連情報データに対応した音声データが生成されて信号処理部１４に供給され、当該関連情報データに対応した音声や画像がモニタＭＮから出力されることとなる。なお、特徴量データの送信方法に関しては任意であり、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）或いはＦＴＰ（File Transfer Protocol）のＧＥＴメソッドを用いたリクエストメッセージ（以下、「ＧＥＴ要求」と総称する）に特徴量データを付加して送信するようにしても良い。

次いで、特徴量抽出部１７は、システム制御部１６による制御の下、バッファメモリ１５に記憶されたフレーム画像に対応した画像データを解析することにより、ユーザの指定した領域内に存在する物体に対応した特徴量データを生成する。

例えば、ユーザによって指定された領域内に、人物が含まれている場合がある。この場合、当該人物に対応する特徴量データの生成方法としては、次のような方法が考えられる。
＜方法ａ＞
野球選手のように着用しているユニフォームやヘルメット等（各人物を識別可能な番号（背番号等）が表示されたもの）により、人物を特定可能な場合、指定された領域中においてユニフォーム等に対応した特徴量を算出する。この場合における特徴量データの生成方法は、国際出願ＷＯ０１／０９８３３号と同様の手法を採用することが可能である。また、この手法を採用する場合、予めユニフォームの画像データから特徴量を算出しておき、当該特徴量を示す特徴量データをコンテンツサーバＣＳに保有させておくことが必要となる。
＜方法ｂ＞
俳優のように着用している衣服から人物を特定できない場合は、指定領域内に存在する顔の特徴量を算出する。この場合における特徴量データの生成方法に関しても、国際出願ＷＯ０１／０９８３３号と同様の手法を採用することが可能である。また、この手法を採用する場合、予め人物の顔写真から特徴量を算出しておき、当該特徴量を示す特徴量データをコンテンツサーバＣＳに保有させておくことが必要となる。

なお、実際に装置を構成するにあたっては、例えば、領域指定後に当該指定領域内に存在する物体が、「人物」なのか「物品」なのか、人物の場合には、上記何れの方法により特徴量を算出するのかをユーザに選択させるようにしても良い。

（２）コンテンツサーバＣＳについて
次に、コンテンツサーバＣＳは、ＩＰ（Information Provider）の保有するコンピュータシステムであり、クライアント端末ＣＴから送信されたＧＥＴ要求を受信し、各種のシステムリソースをクライアント端末ＣＴに配信する。このコンテンツサーバＣＳがクライアント端末ＣＴに配信するシステムリソースには、例えば、各種のＷｅｂページに対応したＨＴＭＬデータの他、ストリーミング配信用のコンテンツデータがあり、このコンテンツデータはコンテンツデータＤＢ２１内に格納されている。

また、本実施形態に特徴的な事項として、このコンテンツサーバＣＳはクライアント端末ＣＴから送信されてきた特徴量データに対応する関連情報データを検索してクライアント端末ＣＴに配信する機能を有している。かかる機能を実現するため、本実施形態においてコンテンツサーバＣＳは、検索用ＤＢ２２と、関連情報ＤＢ２３と、を有しており、この関連情報ＤＢ２３内には、実世界上の各種物体（人物を含む）に対応する関連情報データが格納されている。また、検索用ＤＢ２２には、実世界上の各種物体に対応する画像データ及び特徴量データと対応付けて、当該物体に対応した関連情報データの記録アドレスが格納されており、検索用ＤＢ２２を検索することにより、クライアント端末ＣＴから送信された特徴量データに対応する関連情報データを関連情報ＤＢ２３から読み出すことが可能となっている。

より具体的には、関連情報ＤＢ２３に、例えば、（ａ）野球選手の選手名や背番号、打率等の関連情報や（ｂ）俳優の名前や出演番組等の関連情報、に対応した関連情報データが格納されており、検索用ＤＢ２２には、各関連情報データに対応する選手等を検索するためのデータ（例えば、上記＜方法ａ＞を採用する場合、ユニフォームの画像データや特徴量データが、これに相当し、＜方法ｂ＞を採用する場合、人物の顔写真に対応した画像データや特徴量データが、これに想到する。）と各関連情報データの記録アドレスが格納される。この結果、検索用の特徴量データと、関連情報データとの間の紐付けがなされ、クライアント端末ＣＴから送信されてきた特徴量データに対応する関連情報データを一意に特定して配信することが可能となるのである。

なお、検索用ＤＢ２２に格納する特徴量データの形態については任意であり、例えば、上記国際出願ＷＯ０１／０９８３３号と同様のデータ構成を採用することも可能である。

実際にクライアント端末ＣＴに配信する関連情報データを検索する場合、コンテンツサーバＣＳは、検索用ＤＢ２２に格納された特徴量データの中で、クライアント端末ＣＴから送信されてきた特徴量データとの類似度が所定値以上となるものを検索する。なお、この際における具体的な検索方法については任意であり、例えば、画像の輪郭や色調等の各特徴量毎にユークリッド距離を算出して、この算出したユークリッド距離の和を算出し、当該和が所定値以下（すなわち、類似度が所定値以上）となるものを検索するようにしても良い（特開２００３−３０３１８８号）。

このようにして、クライアント端末ＣＴから送信されてきた特徴量データと類似度の高い、特徴量データが抽出されると、コンテンツサーバＣＳは、当該特徴量データと対応付けて格納された記録アドレスに基づいて関連情報ＤＢ２３から関連情報を読み出し、クライアント端末ＣＴに配信する。この結果、クライアント端末ＣＴに接続されたモニタＭＮにおいて、ユーザが指定した画像領域内に含まれる物体に対応する関連情報が表示されることとなる。

［１．２］第１実施形態の動作
次に、図２を参照しつつ、本実施形態にかかるシステムＳの動作について説明する。なお、図２は、本実施形態にかかるシステムＳにおいて実行される処理を示すシーケンスチャートである。

まず、ユーザがクライアント端末ＣＴの操作部１１に対して、上述した動画像処理プログラムを実行する旨の入力操作を行った後、
（操作ａ）コンテンツサーバＣＳからコンテンツデータのストリーミング配信を受ける旨の入力操作を行い、或いは、
（操作ｂ）放送波の受信を開始する旨の入力操作を行う。

すると、クライアント端末ＣＴのシステム制御部１６は、当該入力操作に応じて、次の処理を実行する。
（ａ）上記操作ａがなされた場合、システム制御部１６は、ストリーミング配信の開始を要求するＧＥＴ要求を送信し、当該リクエストに対してコンテンツサーバＣＳから配信されるコンテンツデータを信号処理部１４に供給する。
（ｂ）上記操作ｂがなされた場合、システム制御部１６は、放送受信部１３を制御して放送波の受信を開始させる。

このようにして、信号処理部１４に（ａ）システム制御部１６から供給されるコンテンツデータ、或いは、（ｂ）放送受信部１３から供給される受信信号、が供給される状態となると、信号処理部１４は、当該供給されるコンテンツデータ等に基づいて音声出力用データや各フレームに対応した表示用データを生成する。そして、信号処理部１４は、音声出力用データを音声出力端子Ｔ１を介してモニタＭＮに出力する一方、表示用データに関してはバッファメモリ１５にバッファリングした後、モニタＭＮに供給する状態に移行する。なお、この際、生成する表示用データの形式については任意であり、例えば、ＲＧＢ形式にて生成するようにしても良い。

この状態となると、ストリーミング配信されるコンテンツデータに対応したコンテンツ、或いは、放送番組に対応した動画像及び音声がモニタＭＮから出力される状態となる。そして、コンテンツの視聴中に関連情報を取得したいと考える何らかの物体（例えば、人物や物品）がモニタＭＮに表示され、ユーザがクライアント端末ＣＴの操作部１１に対して所定の入力操作を行う。

すると、システム制御部１６は、当該入力操作に応じて、まず、信号処理部１４を制御して、当該時点、或いは、当該時点から所定範囲内のフレームに対応した表示用データを抽出してバッファメモリ１５に保持させ（ステップＳａ１）、当該表示用データに基づく表示状態を維持させる（ステップＳａ２）。次いで、システム制御部１６は、関連情報処理部１８を制御して（ステップＳａ３）、例えば、「関連情報を得たい物体を含む領域を指定してください」等の文字列や領域指定用のポインタ（例えば、矢印）と共に「決定」なるアイコンを表示させ、ユーザの入力操作を待機する状態となる（ステップＳａ４「ｎｏ」）。

この状態において、ユーザが操作部１１に対して任意の領域を指定する旨の入力操作を行った後、「決定」アイコンを選択する旨の入力操作を行う。すると、システム制御部１６は、ステップＳａ４において「ｙｅｓ」と判定し、当該指定された領域を示す座標値（例えば、四角形の領域であれば、各頂点の座標値）を算出し（ステップＳａ５）、当該座標値を含む制御信号を特徴量抽出部１７に供給する（ステップＳａ６）。

このようにして、システム制御部１６から制御信号が供給されると、特徴量抽出部１７は、バッファメモリ１５に記憶された表示用データから当該制御信号に付加された座標値に基づき当該領域部分のデータを切り出す。そして、当該切り出したデータから、当該領域内に存在する物体の特徴量を算出し、当該特徴量に対応した特徴量データを生成して、システム制御部１６に供給する。そして、システム制御部１６は、当該供給された特徴量データを含むＧＥＴ要求をコンテンツサーバＣＳに送信した後（ステップＳａ７）、データ受信を待機する状態に移行することとなる（ステップＳａ８「ｎｏ」）。

一方、クライアント端末ＣＴから送信されたＧＥＴ要求を受信すると、コンテンツサーバＣＳは、当該ＧＥＴ要求から特徴量データを抽出して（ステップＳａ９）、当該抽出した特徴量データに基づいて検索用ＤＢ２２を検索する（ステップＳａ１０）。この際、コンテンツサーバＣＳは、検索用ＤＢ２２に格納された特徴量データ中においてクライアント端末ＣＴから送信されてきた特徴量データとの類似度が所定値以上となる特徴量データを検索する。

そして、検索用ＤＢ２２の検索が完了した時点で、コンテンツサーバＣＳは、ステップＳａ１０における検索の結果、類似度が所定値以上となる特徴量データがヒットしたか否かを判定する状態となり（ステップＳａ１１）、この判定の結果、「ｎｏ」と判定すると、例えば、「関連情報が存在しません」等の文字列を表示するための画像データをクライアント端末ＣＴに送信して（ステップＳａ１２）、処理を終了する。これに対して、「ｙｅｓ」と判定した場合、コンテンツサーバＣＳは、検索によりヒットした特徴量データと対応付けられた記録アドレスに基づき、関連情報ＤＢ２３から関連情報データを読み出した後（ステップＳａ１３）、当該関連情報データをクライアント端末ＣＴに送信して（ステップＳａ１４）、処理を終了する。

このようにして、コンテンツサーバＣＳから送信されたデータがクライアント端末ＣＴの通信部１２によって受信されると、システム制御部１６は、ステップＳａ７において「ｙｅｓ」と判定し、当該受信されたデータが関連情報データであったか否かを判定する状態となる（ステップＳａ１５）。ここで、コンテンツサーバＣＳから送信されてきたデータがステップＳａ１２において送信された画像データであった場合、システム制御部１６は、この判定において「ｎｏ」と判定し、当該画像データに基づいて表示処理を実行して（ステップＳａ１６）、処理をステップＳａ１８に移行させる。

これに対して、コンテンツサーバＣＳから関連情報データが送信されていた場合、システム制御部１６は、ステップＳａ１５において「ｙｅｓ」と判定し、当該関連情報データを関連情報処理部１８に供給して、関連情報をモニタＭＮから出力させるための処理を実行させた後（ステップＳａ１７）、処理をステップＳａ１８に移行させる。そして、このステップＳａ１８に処理が移行すると、システム制御部１６は、処理を終了するか否かを判定する状態となり、「ｎｏ」と判定すると処理をステップＳａ３にリターンさせる一方、「ｙｅｓ」と判定すると処理を終了する。

一方、システム制御部１６から関連情報データが供給された場合、関連情報処理部１８は、当該関連情報データに基づいて音声データやモニタＭＮに表示中のフレーム画像に重畳して表示させるための表示用データを生成して、信号処理部１４に供給する。この結果、信号処理部１４からモニタＭＮに供給される音声出力用データや表示用データが変化し、当該関連情報データに対応した音声が出力され、或いは、関連情報がフレーム画像に重畳した状態にて表示される状態となる。

この際に、モニタＭＮに表示される画像の一例を図３に示す。同図に示すように、この際、モニタＭＮにはユーザによって指定された領域を示す線と共に、当該線から引き出し線で対応付けられたボックスが表示される。そして、このボックス内に関連情報（名称や解説テキスト、或いは、解説画像や三次元画像）が表示され、ユーザに視認可能な状態とされることとなる。なお、関連情報データの具体的な内容に関しては任意であり、例えば、ボックス内に表示される各テキストに対して、ＨＴＭＬのアンカータグを記述し、関連するＷｅｂページのＵＲＬを記述するようにしても良い。かかる方法を採用した場合、モニタＭＮに表示された関連情報に基づいて、ユーザが所定の入力操作を行うことにより、上記通信プログラムを実行し、当該Ｗｅｂページに対応したＨＴＭＬデータを取得するような利用方法を実現することも可能となる。

このようにして、本実施形態にかかるシステムＳにおいては、コンテンツサーバＣＳに関連情報データが格納された関連情報ＤＢ２３と、検索用ＤＢ２２を保有させると共に、クライアント端末ＣＴにおいてユーザが指定した画像領域内に存在する物体に対応した特徴量データを生成して、コンテンツサーバＣＳに送信し、当該特徴量データとの類似度が所定値以上となる特徴量データに対応した関連情報データをクライアント端末ＣＴに配信する構成を採用している。このため、クライアント端末ＣＴのユーザに対して、動画像中に存在する物体に対応した各種の関連情報を提示することが可能となり、もって、ユーザの利便性を飛躍的に向上させることが可能となる。

なお、上記実施形態においては、クライアント端末ＣＴに放送受信部１３を設けた構成としていたが、コンテンツサーバＣＳからストリーミング配信される動画像データに基づく処理のみを実現しようとする場合には、放送受信部１３を設けることは必ずしも必要とならない。

また、上記実施形態においては、モニタＭＮと、クライアント端末ＣＴとを別体とした構成について説明したが、これらは、一体として構成するようにしても良い。更にまた、クライアント端末ＣＴは、例えば、ＰＤＡ（Personal Digital Assistants）や携帯用電話機等の通信装置でも良く、この場合、当該通信装置に搭載された表示デバイスにより、モニタＭＮの機能を実現するようにしても良く、当該通信装置をモニタＭＮに接続して利用するようにしても良い。

また更に、上記実施形態においては、１台のサーバ（すなわち、コンテンツサーバＣＳ）により関連情報データ等の配信を行う構成を採用していたが、動画データＤＢ２１、検索用ＤＢ２２、関連情報ＤＢ２３を各々異なるサーバに保有させ、上記コンテンツサーバＣＳの有していた機能を分担させるようにしても良い。

［１．３］第１実施形態の変形例
（１）変形例１
上記実施形態においては、コンテンツサーバＣＳに検索用ＤＢ２２及び関連情報ＤＢ２３を保有させる構成を採用していたが、この検索用ＤＢ２２及び関連情報ＤＢ２３に関してはクライアント端末ＣＴに保有させるようにしても良い。この場合、コンテンツサーバＣＳは、コンテンツデータのストリーミング配信のみを実行すれば良く、上記図２に示す処理は、全てクライアント端末ＣＴのシステム制御部１６によって実行されることとなる。また、クライアント端末ＣＴには、検索用ＤＢ２３のみを保有させるようにすることも可能である。この場合、検索用ＤＢ２２に関連情報データの記録アドレスとしてＵＲＬを格納するようにする。そして、検索用ＤＢ２２を検索した結果、ヒットした特徴量データと対応付けられたＵＲＬを含むＧＥＴ要求をクライアント端末ＣＴから送信して、コンテンツサーバＣＳから対応する関連情報データを取得するようにすれば良い。

（２）変形例２
上記第１実施形態においては、動画像中の一つのフレーム画像においてユーザが指定した領域内に存在する物体の関連情報データを取得する構成が採用されていたが、画像のみならず、コンテンツに含まれる音声データに基づいて、関連情報データを取得する構成を採用することも可能である。この場合、コンテンツサーバＣＳには、音声データの特徴量データ（具体的には、当該音声データの離散マルコフモデル）と、関連情報データの記録アドレスを対応付けて記録したＤＢを予め保有させるようにする。そして、例えば、ユーザが操作部１１に対して所定の入力操作を行った場合、クライアント端末ＣＴにおいて所定時間数分の音声データを取得し、当該音声データの特徴量データ（具体的には、当該音声データの離散マルコフモデル）を生成する。このようにして生成した特徴量データをクライアント端末ＣＴからコンテンツサーバＣＳに送信し、コンテンツサーバＣＳにおいて類似度の高い特徴量データを検索し、関連情報データを配信するようにすれば良い。

［２］第２実施形態
次に、図４を参照しつつ本願の第２実施形態について説明する。なお、図４において、上述した図１と同様の要素については同様の符号を付してある。

ここで、上記第１実施形態にかかるシステムＳは、ユーザが動画像中において指定した領域内に存在する物体の関連情報データをクライアント端末ＣＴに配信し、モニタＭＮに表示するためのものであった。これに対して、本実施形態にかかるシステムＳ２は、現実世界に存在する物体を携帯用電話機ＭＰに搭載されたカメラ１０３により撮像し、当該撮像した画像内に存在する物体の関連情報データを携帯用電話機ＭＰに配信するためのものとなっている。

また、本実施形態に特徴的な事項として、このシステムＳ２においては携帯用電話機ＭＰを用いて撮像された画像を用いることにより、宝探しゲームを実現するための機能が実現されている。具体的には、例えば、遊園地等の遊戯施設内に、撮像対象となる物体（例えば、遊技のイメージキャラクタの像等。以下、「撮像対象物」と称する。）を所定数だけ設置する。そして、ユーザが当該遊戯施設内を散策し、撮像対象物を発見した際に、当該撮像対象物を携帯用電話機ＭＰのカメラ１０３により撮像する。そして、この撮像された画像に対応する画像データを特徴量抽出部１７において解析し、撮像対象物に対応した関連情報データ（例えば、当該銅像に対応するキャラクタのイメージデータ）を携帯用電話機ＭＰに配信するのである。一方、ユーザによる関連情報データの獲得状況をコンテンツサーバＣＳにおいて管理し、必要数の関連情報データをユーザが獲得している場合に、当該ユーザに対して各種のプレゼントを贈呈するのである。

かかる機能を実現するため、本実施形態にかかるコンテンツサーバＣＳには、ゲーム進捗状況ＤＢ２０１が設けられている。このゲーム進捗状況ＤＢ２０１は、携帯用電話機ＭＰのユーザが、どの撮像対象物を撮像したのかを管理するためのＤＢとなっており、携帯用電話機ＭＰを一意に特定するための携帯用電話機ＩＤと対応付けて当該携帯用電話機ＭＰのユーザが獲得している関連情報データを特定するための関連情報データＩＤの格納フィールドが設けられている。そして、コンテンツサーバＣＳは、携帯用電話機ＭＰに対して関連情報データが配信される度に、このゲーム進捗状況ＤＢ２０１内に関連情報データＩＤを格納していき、携帯用電話機ＭＰのユーザが撮像した撮像対象物を管理する。

以下、かかる構成を有するシステムＳ２の動作について、図５を参照しつつ説明する。なお、図５は、本実施形態にかかるシステムＳ２において実行される処理を示すシーケンスチャートである。

まず、遊技施設内を散策して撮像対象物を発見した場合、ユーザは携帯用電話機ＭＰのカメラ１０３を用いて当該撮像対象物を撮像することが必要となる。このようにして撮像対象物の撮像が完了し、ユーザが操作部１１に対して所定の入力操作を行うと、システム制御部１０２は、当該入力操作に従って当該撮像された画像データをバッファメモリ１５に展開し（ステップＳｂ１）、制御信号を特徴量抽出部１７に供給して特徴量データの生成を行わせる（ステップＳｂ２）。そして、システム制御部１０２は、特徴量抽出部１７により生成された特徴量データを含むＧＥＴ要求を通信部１０１を介してコンテンツサーバＣＳに送信した後（ステップＳｂ３）、データ受信を待機する状態に移行する（ステップＳｂ４）。

一方、クライアント端末ＣＴから送信されたＧＥＴ要求を受信すると、コンテンツサーバＣＳは、ステップＳｂ５〜ステップＳｂ７において上述した図２ステップＳａ９〜Ｓａ１１と同様の処理を実行し、ステップＳｂ６における検索により携帯用電話機ＭＰから送信された特徴量データとの類似度が所定値以上となる特徴量データがヒットしたか否かを判定する状態となる（ステップＳｂ７）。そして、この判定において「ｎｏ」と判定した場合、コンテンツサーバＣＳは、例えば、「関連情報が存在しません」等の文字列を表示するための画像データを携帯用電話機ＭＰに送信して（ステップＳｂ８）、処理を終了する。これに対して、「ｙｅｓ」と判定した場合、コンテンツサーバＣＳは、関連情報ＤＢ２３から関連情報データを読み出した後（ステップＳｂ９）、当該関連情報データに対応する関連情報データＩＤをゲーム進捗状況ＤＢ２０１に格納し（ステップＳｂ１０）、全ての関連情報データの配信が完了しているか否かを判定する状態となる（ステップＳｂ１１）。

このステップＳｂ１１において「ｎｏ」と判定した場合、コンテンツサーバＣＳは、ステップＳｂ９において読み出した関連情報データのみを配信するのに対して（ステップＳｂ１２）、「ｙｅｓ」と判定した場合、当該関連情報データと共にクーポンデータを配信する（ステップＳｂ１３）。なお、クーポンデータとは、本実施形態における宝探しゲームに成功した旨を示す画像に対応した画像データであり、当該クーポンデータに対応した画像を遊戯施設の係員に提示することによりプレゼントの贈呈が行われるようになっている。

かかる一連の処理を経て配信された関連情報データ等が携帯用電話機ＭＰの通信部１２によって受信されると、システム制御部１０２は、ステップＳｂ４において「ｙｅｓ」と判定し、当該受信されたデータ中に関連情報データが含まれているか否かを判定する状態となる（ステップＳｂ１４）。ここで、コンテンツサーバＣＳから送信されてきたデータがステップＳｂ８において送信された画像データであった場合、システム制御部１０２は、この判定において「ｎｏ」と判定し、当該画像データに基づいて表示処理を実行して（ステップＳｂ１５）、処理を終了する。

これに対して、コンテンツサーバＣＳから配信されたデータに関連情報データが含まれていた場合、システム制御部１０２は、ステップＳｂ１４において「ｙｅｓ」と判定し、当該配信されたデータ内にクーポンデータが含まれているか否かを判定する状態となる（ステップＳｂ１６）。そして、この判定において「ｎｏ」と判定すると、システム制御部１０２は、配信されたデータに含まれる関連情報データを図示せぬメモリ内に記録した後（ステップＳｂ１７）、処理を終了する。これに対して、このステップＳｂ１６にて「ｙｅｓ」と判定すると、システム制御部１０２は、当該配信されたデータに含まれる関連情報データ及びクーポンデータをメモリに記録して（ステップＳｂ１８）、処理を終了する。

かかる一連の処理が行われ、携帯用電話機ＭＰの図示せぬメモリに関連情報データ及びクーポンデータが記録された状態となると、システム制御部１０２は、これらのデータに基づいて関連情報（すなわち、撮像対象物に対応したイメージ画像）や、景品との引き替えように用いられるクーポンの画像を表示部１０４に表示させることが可能な状態となる。

このようにして、本実施形態にかかるシステムＳ２においては、コンテンツサーバＣＳに関連情報ＤＢ２３と検索用ＤＢ２２を保有させ、携帯用電話機ＭＰにおいてカメラ１０３により撮像された画像データから特徴量データを生成して、当該生成した特徴量データに基づいてコンテンツサーバＣＳにおいて関連情報データを検索して、配信する構成が採用されている。このため、実世界上に存在する物体の関連情報をユーザに提示することが可能となり、もって、携帯用電話機ＭＰのユーザの利便性を向上させることが可能となる。

また、かかる構成の下においては、例えば、上述の宝探しゲームのように、各種の利用形態を実現し、コンテンツ配信における新たなサービス提供の態様を実現することが可能となる。

なお、上記実施形態においては、クーポンデータをコンテンツサーバＣＳから携帯用電話機ＭＰに配信する構成が採用されていたが、クーポンデータを配信することなく、関連情報データを携帯用電話機ＭＰの図示せぬメモリに記録すると共に、当該記録された関連情報データを遊戯施設の係員に提示することにより、景品との引き替えを行うようにしても良い。

また、上記実施形態においては、関連情報データとして撮像対象物のイメージデータを配信する構成を採用したが、例えば、撮像された物体の名称等の記述されたＨＴＭＬデータを配信する構成としても良い。

第１実施形態における情報提供システムＳの構成を示すブロック図である。 同実施形態における情報提供システムＳにおいて実行される処理を示すシーケンスチャートである。 同実施形態においてモニタＭＮに表示される画像の一例を示す図である。 第２実施形態における情報提供システムＳ２の構成を示すブロック図である。 同実施形態における情報提供システムＳ２において実行される処理を示すシーケンスチャートである。

符号の説明

Ｓ・・・情報提供システム
ＣＴ・・・クライアント端末
ＣＳ・・・コンテンツサーバ
ＭＰ・・・携帯用電話機

Claims (6)

1. サーバ装置の保有する各種データを通信端末装置からの要求に応じて配信する情報提供システムであって、
   前記通信端末装置は、動画像或いは撮像された画像に対応するデータを解析し、当該動画像或いは画像中に存在する物体の特徴量を示す特徴量データを生成する生成手段と、
   前記物体に関連する各種情報に対応した関連情報データを前記特徴量データに基づいて前記サーバ装置から取得する取得手段と、
   前記サーバ装置から受信した関連情報データに基づく処理を実行する実行手段と、を備える一方、
   前記サーバ装置は、実世界上に存在する各種物体に対応した特徴量データと、当該物体に対応した前記関連情報データが対応付けて記録された記録手段と、
   前記通信端末装置から送信された特徴量データを取得すると共に、当該特徴量データに類似する特徴量データを前記記録手段から検索する検索手段と、
   前記検索された特徴量データに対応付けられた関連情報データを前記通信端末装置に配信する配信手段と、を備えることを特徴とする情報提供システム。
2. 前記通信端末装置は、前記動画像或いは撮像された画像中の任意の領域を指定するための指定手段を更に有し、
   前記生成手段は、当該領域内に存在する前記物体に対応した前記特徴量データを生成することを特徴とする請求項１に記載の情報提供システム。
3. 前記通信端末装置は、前記動画像と対応付けられた音声データが存在する場合に、当該音声データの特徴量を示す音声特徴量データを生成する音声特徴量データ生成手段を更に有する一方、
   前記サーバ装置は、前記音声特徴量データと、対応付けて前記関連情報データが記録された音声関連情報記録手段を更に有し、
   前記通信端末装置の取得手段は、前記生成した音声特徴量データに基づいて前記サーバ装置から前記関連情報データを取得し、
   前記サーバ装置の検索手段は、前記通信端末装置から送信された音声特徴量データに類似する音声特徴量データを前記音声関連情報記録手段から検索することを特徴とする請求項１に記載の情報提供システム。
4. 前記サーバ装置は、前記通信端末装置に対する関連情報データの配信状況を管理するための配信状況管理手段と、
   予め定められた複数の関連情報データが配信された場合に、当該定められた全ての関連情報データの配信が完了したことを示す完了データを前記通信端末に配信する配信手段と、を更に備え、
   前記通信端末装置の実行手段は、前記完了データに基づく処理を実行することを特徴とする請求項１に記載の情報提供システム。
5. 前記通信端末装置は、各種の物体を撮像するための撮像手段を更に備えることを特徴とする請求項４に記載の情報提供システム。
6. 実世界上に存在する各種物体に対応した画像を解析して得られる特徴量データと、当該物体に関連する各種情報に対応した関連情報データが対応付けて記録された記録手段と、
   動画像或いは撮像された画像に対応するデータを解析し、当該動画像或いは画像中に存在する物体の特徴量を示す特徴量データを生成する生成手段と、
   前記生成された特徴量データに類似する特徴量データを前記記録手段から検索する検索手段と、
   前記検索された特徴量データに対応付けられた関連情報データを前記記録手段から読み出して、当該関連情報データに基づく処理を実行する実行手段と、
   を備えることを特徴とする情報提供装置。

Images