JP2013238987A - 情報表示装置、情報入力装置、情報表示プログラム及び情報入力プログラム - Google Patents

Abstract

【課題】画像の位置に応じて異なる情報を表示することができる情報表示装置を提供する。
【解決手段】画像の関連情報を画像の埋め込み情報に関係付けて記憶した記憶手段と、入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、入力画像の領域内において、画像の埋め込み情報を検出する情報検出手段と、検出した埋め込み情報に関係付けられている関連情報を記憶手段から検索する情報検索手段と、検索した検索した関連情報を表示する情報表示手段とを備えた。
【選択図】図１

Description

本発明は、情報表示装置、情報入力装置、情報表示プログラム及び情報入力プログラムに関する。

従来から画像等の情報に対して別の情報を電子透かしとして埋め込んでおき、端末により電子透かしとして埋め込まれた情報を検出し、画像に関連する情報を表示するサービスが検討されている。従来の電子透かしの方法は、次のような方法がある。

特許文献１に記載の方法は、静止画像に電子透かしを埋め込む方法である。この方法は、擬似乱数によって生成された埋め込み系列を画像の直交変換領域（例えばフーリエ変換領域）の実部および虚部に埋め込んでおき、埋め込み系列と検出系列の相関を用いて検出を行うスペクトル拡散型の電子透かしである。また、非特許文献１に記載の方法は、擬似乱数によって生成された埋め込み系列の値を、画像をブロック領域に分割した各位置に対して、二つの周波数成分で埋め込み系列の値を表現するように埋め込みを行うものである。

また、特許文献２に記載の方法は、映像信号に電子透かしを埋め込むものである。特許文献２に記載の方法においては、擬似乱数によって生成された埋め込み系列を時間方向周期信号で変調して映像に重畳しておき、埋め込み系列と検出系列の複素相関を用いて検出を行うことが記載されている。特許文献２に記載されている動画電子透かし技術を用いると、映像のシーン毎に異なる情報を埋め込んでおき、ユーザがカメラを映像にかざしたシーンに応じて、それぞれ異なる関連情報を表示させることができる。

また、電子透かしとは別に、カメラで撮影した画像にどのようなものが映っているのかを識別するための画像認識の手法も用いられている。例えば特許文献３に記載の方法においては、学習画像と入力画像を固有空間上の特徴点に投影して比較することで物体を認識することが記載されている。

また、電子透かしの検出や画像認識に先立ち、カメラで撮影した画像の中で、電子透かし検出の対象とする画像領域を特定するために、画像の中の四辺形領域を検出する手法も用いられている。例えば特許文献４や非特許文献２に記載の方法においては、画像の中からエッジ成分を探索し、辺候補を検出し、それを組み合わせた四辺形候補を検出することで、高速に四辺形を検出することが記載されている。

特開２００３−２１９１４８号公報 国際公開２００７／１０２４０３号公報 特開２０１０−２１１７３２号公報 特許第４０２００９３号公報

中村高雄，片山淳，山室雅司，曽根原登，カメラ付き携帯電話機を用いたアナログ画像からの高速電子透かし検出方式，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８７−Ｄ−ＩＩ，Ｎｏ．１２，ｐｐ．２１４５−２１５５，２００４． 北原，中村，片山，安野，"携帯端末上における幾何補正のためのリアルタイム矩形追跡手法"，電気情報通信学会技術研究報告，ＯＩＳ，オフィスインフォメーションシステム１０６（３５３），ｐｐ．１−６（２００６）

しかしながら、従来の電子透かしの方法では、画像の画面全体（空間的位置全体）でひとつの情報を埋め込むことしかできないという問題がある。従来の電子透かしの方法を用いて、画面の部位ごとに別々に異なる情報を埋め込んだ場合は、検出の性能が低く、コンテンツを再撮影した状況では検出ができないため、ひとつの画面内に複数の物体が存在しても、それぞれに異なる関連情報を表示することができないという問題がある。

図２１は、空間位置に応じた情報表示ができない例を示す図である。図２１に示すように、例えばテレビ番組中に現れたタレントの衣装に関する情報を提供するサービスにおいては、画面全体でひとつの情報しか埋め込むことができず、どのタレントの衣装に関する情報を提示するかを判断することができないため、情報提示後にユーザが選択するといった手間が必要となる。また、画像認識を用いる方法においても、画像に映る位置ごとにそれぞれ認識を行うには、画像を分割して特徴量を抽出しなければならず、認識精度や計算量の問題から、同時に複数の物体を認識することは実現が難しいという問題がある。

本発明は、このような事情に鑑みてなされたもので、画像の位置に応じて異なる情報を表示することができる情報表示装置及び情報表示プログラムと、情報表示装置において表示する情報の登録を行うことができる情報入力装置及び情報入力プログラムを提供することを目的とする。

本発明は、画像上の位置情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶した記憶手段と、入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、前記検出した埋め込み情報に関係付けられている前記画像上の位置情報と、前記関連情報との組を前記記憶手段から検索する情報検索手段と、前記検索した画像上の位置情報に基づく前記画像上の位置に、前記検索した関連情報を表示する情報表示手段とを備えたことを特徴とする。

本発明は、画像上の位置情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶した記憶手段と、前記関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、前記検出した埋め込み情報に関係付けられている前記画像上の位置情報と、前記関連情報のうち、前記照準位置情報に基づく前記照準位置に近い位置情報に関係付けられている前記関連情報を前記記憶手段から検索する情報検索手段と、前記検索した関連情報を表示する情報表示手段とを備えたことを特徴とする。

本発明は、画像上の照準方向情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶した記憶手段と、前記関連情報を表示するべき前記照準方向情報を取得する照準方向取得手段と、入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、前記検出した埋め込み情報に関係付けられている前記画像上の照準方向情報と、前記関連情報のうち、前記取得した照準方向情報に基づく前記照準方向に近い照準情報方向に関係付けられている前記関連情報を前記記憶手段から検索する情報検索手段と、前記検索した関連情報を表示する情報表示手段とを備えたことを特徴とする。

本発明は、画像の関連情報を前記画像中の認識対象の識別情報に関係付けて記憶した記憶手段と、入力画像の中から画像認識対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像認識を行うことにより前記認識対象の前記識別情報を検出する情報検出手段と、前記検出した識別情報に関係付けられている前記関連情報を前記記憶手段から検索する情報検索手段と、前記検索した関連情報を表示する情報表示手段とを備えたことを特徴とする。

本発明は、画像上において関連情報を表示するべき前記画像上の位置を示す照準位置情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶する記憶手段と、前記関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、前記関連情報を入力する関連情報入力手段と、入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、前記検出した画像の埋め込み情報と、前記照準位置情報と、前記入力した関連情報とを関係付けて、前記記憶手段に記憶する情報登録手段とを備えたことを特徴とする。

本発明は、画像上において関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、前記関連情報を入力する関連情報入力手段と、入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、前記検出した画像の埋め込み情報と、前記照準位置情報と、前記入力した関連情報とを関係付けて、外部の装置に対して出力する情報出力手段とを備えたことを特徴とする。

本発明は、画像上において関連情報を表示するべき前記画像上の位置を示す照準位置情報と、前記画像の関連情報とを前記画像中の認識対象の識別情報に関係付けて記憶する記憶手段と、前記関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、前記関連情報を入力する関連情報入力手段と、入力画像の中から画像認識対象となる領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像認識を行うことにより前記認識対象の前記識別情報を検出する情報検出手段と、前記検出した画像の埋め込み情報と、前記照準位置情報と、前記入力した関連情報とを関係付けて、前記記憶手段に記憶する情報登録手段とを備えたことを特徴とする。

本発明は、画像上の位置または前記画像に対する方向を示す照準情報を取得する照準情報取得手段と、入力画像の中から識別情報を検出する領域を検出する領域検出手段と、前記入力画像の前記領域内において、前記画像の識別情報を検出する情報検出手段と、前記検出した画像の識別情報と、前記照準位置または前記照準方向を示す情報と入力情報として出力する情報出力手段とを備えたことを特徴とする。

本発明は、コンピュータを、前記情報表示装置として機能させるための情報表示プログラムである。

本発明は、コンピュータを、前記情報入力装置として機能させるための情報入力プログラムである。

本発明によれば、画像の位置に応じて異なる関連情報を表示することができるという効果が得られる。また、画像の位置に応じて異なる関連情報の登録を容易に行うことができるという効果も得られる。

本発明の第１の実施形態による情報表示装置の構成を示すブロック図である。 図１に示す関連情報記憶部１２のテーブル構造を示す図である。 空間位置の表現の一例を示す説明図である。 図１に示す情報表示装置１の処理動作を示すフローチャートである。 座標変換の一例を示す説明図である。 座標変換の一例を示す説明図である。 情報表示の一例を示す説明図である。 情報表示の一例を示す説明図である。 本発明の第２の実施形態による情報表示装置の構成を示すブロック図である。 図９に示す情報表示装置１の処理動作を示すフローチャートである。 照準座標の一例を示す説明図である。 座標変換の一例を示す説明図である。 本発明の第３の実施形態による情報表示装置の構成を示すブロック図である。 図１３に示す関連情報記憶部３２のテーブル構造を示す図である。 図１３に示す情報表示装置１の処理動作を示すフローチャートである。 本発明の第４の実施形態の情報入力装置２の構成を示すブロック図である。 図１６に示す情報入力装置２の処理動作を示すフローチャートである。 ユーザが選択する対象物を表示する画面の一例を示す説明図である。 ゲームにおける入力手段の一例を示す説明図である。 空間位置に応じた情報表示の一例を示す説明図である。 空間位置に応じた情報表示ができない例を示す図である。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による情報表示装置を説明する。第１の実施形態は、コンテンツ上の位置に応じて異なる情報をユーザに対して提示するものである。図１は同実施形態の構成を示すブロック図である。情報表示装置１は、撮影部１１と、関連情報記憶部１２と、領域検出部１３と、埋め込み情報検出部１４と、情報検索部１５と、座標変換部１６と、情報表示部１７とから構成される。撮影部１１は、カメラ等で構成し、画像を撮影し、撮影画像を出力する。関連情報記憶部１２は、埋め込み情報と画面内の空間位置に対応付けて関連情報を記憶する。領域検出部１３は、撮影画像を入力し、撮影画像の中で埋め込み情報検出の対象とする領域を検出し、対象領域座標を出力する。

埋め込み情報検出部１４は、撮影画像を入力し、撮影画像から埋め込まれている情報を検出し、検出情報を出力する。情報検索部１５は、検出情報を入力し、検出情報に基づき、空間位置と関連情報の対応を検索し、空間位置と、関連情報とを出力する。座標変換部１６は、空間位置と、対象領域座標とを入力し、空間位置を撮影画像上の表示位置に変換し、表示位置を出力する。情報表示部１７は、表示位置と、関連情報とを入力し、関連情報を撮影画像に重畳して表示する。

次に、図２を参照して、図１に示す関連情報記憶部１２のテーブル構造を説明する。図２は、図１に示す関連情報記憶部１２のテーブル構造を示す図である。関連情報記憶部１２には、情報表示装置１を用いた情報表示を行うのに先立って、予め対象とするコンテンツに関連する情報を記憶しておく。このとき、図２に示すように、コンテンツに予め埋め込まれている「埋め込み情報」と、コンテンツの中で関連情報を結び付けたい「空間位置」と、関連付ける「関連情報」とが対応付けられて記憶される。

なお、一つの埋め込み情報に対して、複数の空間位置が対応するように構成してもよい。この例では、埋め込み情報“０００１”に対して、Ｘ座標が２０、Ｙ座標が５０である位置には関連情報「ああああ」を対応付け、Ｘ座標が８０、Ｙ座標が５０である位置には関連情報「いいいい」を対応付けている。また、埋め込み情報“０００２”に対しては、Ｘ座標が５０、Ｙ座標が５０である位置には関連情報「うううう」を対応付けている。

埋め込み情報の表現はここでは番号であらわされる識別子の形式をとったが、コンテンツから検出できる情報形式であれば、これ以外の形式であってもかまわない。例えば、文字列が電子透かしとしてコンテンツに埋め込まれ、これを検出することができるのであれば、文字列を埋め込み情報として記憶していてもかまわない。

また、空間位置の表現は、ここでは、Ｘ座標とＹ座標の組を用いて、例えば、図３（ａ）に示すように、コンテンツの空間座標系が１００×１００の空間で表される場合に、関連情報を対応づけたい空間位置の座標を表現する形式をとったが、コンテンツ上の位置を表現できる情報形式であればこれ以外の形式であってもかまわない。例えば、コンテンツの空間領域を、図３（ｂ）のように、コンテンツの領域をＡ〜Ｄに４分割し、そのＡ〜Ｄの記号で表現するようにしてもよいし、領域を表す４隅の座標で表現するようにしてもよい。映像コンテンツに対する情報表示の場合に、時間方向の位置を合わせて表現するようにしてもかまわない。

関連情報記憶部１２は、情報表示装置１の内部に搭載された記憶領域に予め記憶しておくようにしてもよいし、情報表示装置１とは別なデータベースサーバに情報を記憶しておき、情報表示装置１がネットワークを介して問合せを行うように構成しても構わない。

次に、図４を参照して、図１に示す情報表示装置１の処理動作を説明する。図４は、図１に示す情報表示装置１の処理動作を示すフローチャートである。まず、撮影部１１は、対象となるコンテンツを撮影し、得られた撮影画像を出力する（ステップＳ１）。撮影画像は静止画であってもよいし、動画像であってもかまわない。また、動画像としてキャプチャされた１枚１枚のフレームを扱うようにしてもかまわない。ここでは、カメラを用いて撮影する例を示したが、これ以外の入力手段を用いていてもかまわない。例えば、予め撮影された画像を入力するように構成してもかまわない。この場合は、以降の説明で撮影画像としているものの代わりに、入力された画像を扱うことになることは言うまでもない。

次に、領域検出部１３は、撮影画像から対象のコンテンツ領域を検出する（ステップＳ２）。領域の検出は、例えば特許文献４や非特許文献２に記載の公知の手法を用いて行う。このとき、特許文献４や非特許文献２のように、対象とする四辺形領域を検出することで、撮影画像の中での対象領域の位置を表す対象領域座標を得ることができる。具体的には、例えば、特許文献４のように撮影画像の中から辺候補を検出し、その組み合わせで構成される四辺形の中から最も四辺形らしいものを検出する場合、検出四辺形の四隅点の座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）を得ることができる。ここで、（ｘ１，ｙ１）が左上、（ｘ２，ｙ２）が右上、（ｘ３，ｙ３）が左下、（ｘ４，ｙ４）が右下の隅点の座標であるとする。

ここでは対象領域として四辺形を検出する例を示したが、この他の形状の領域、例えば多角形や円や楕円の形の領域を検出するようにしてもよい。これらの場合は、例えば、多角形の各頂点や、円、楕円の中心、焦点の座標、半径、長径、短径やその角度、扁平率などを用いて対象領域を表現すればよい。

次に、埋め込み情報検出部１４は、撮影画像から電子透かしを検出する（ステップＳ３）。電子透かしの検出は、例えば、非特許文献１や特許文献２に記載の公知の方法を用いて検出を行う。電子透かしの検出の結果、検出情報が得られる。このとき、領域検出部１３で得られた対象領域座標を用いて、撮影画像を射影変換し、コンテンツの対象領域を正規化することで、検出を容易にすることができる。

また、例えば、特許文献１に記載の方法の様な、対象コンテンツの変形に対して耐性のある電子透かし検出方法を用いることで、領域検出部１３で得られた対象領域座標を利用することなしに、電子透かしの検出を行うように構成してもよい。

次に、情報検索部１５は、関連情報記憶部１２に記憶されている情報を検索し、関連情報を得る（ステップＳ４）。関連情報記憶部１２の検索は、埋め込み情報検出によって得られた検出情報をキーにして行い、関連情報記憶部１２に記憶されている埋め込み情報が、検出情報に一致する情報を抽出する。例えば、埋め込み情報検出（ステップＳ３）において、検出情報として「０００１」が得られていた場合に、図２の情報を検索した場合、空間位置（２０，５０）−関連情報「ああああ」と、空間位置（８０，５０）−関連情報「いいいい」との二つの情報が得られる。

また、動画像などのコンテンツを対象にしていて、埋め込み情報が時間方向で変化して、動画像のシーン毎に異なる関連情報を記憶しているような場合に、検出情報が対応する時間よりも少し先の（後の）時間の動画像領域に対応する埋め込み情報に一致する情報項目を、合わせて抽出するようにしてもよい。このように構成することで、電子透かしの検出に時間がかかる場合や、情報検索の処理に時間がかかり、実際の情報表示までの間に遅延がある場合にも、実際の動画像の表示内容に合った関連情報を表示することができる。

また、関連情報記憶部１２を情報表示装置１とは別の情報検索サーバ上に配置するように構成し、情報検索部１５において、情報表示装置１から情報検索サーバに検出情報を送信し、検索結果として関連情報と空間位置を得るように構成してもかまわない。

次に、座標変換部１６は、情報検索により得られた空間位置を領域検出により得られた対象領域座標を用いて変換し、コンテンツの空間位置に対応する、撮影画像上の座標を得、これを表示位置とする（ステップＳ５）。具体的には、次のように変換を行うことができる。

まず、コンテンツの空間位置を撮影画像上の座標に変換するための変換パラメータを計算する。これは、例えば、コンテンツの四隅の座標を、撮影画像上の対象領域座標（対象領域の４隅点の座標）に写す、射影変換行列を計算することで求める。具体例を図５を参照して説明する。撮影画像上で、対象領域座標が、４隅点（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）が得られているとし、コンテンツの空間位置のＸ座標、Ｙ座標がそれぞれ０〜１００で表されているとする。このとき、コンテンツの座標系の４隅点（０，０）（１００，０）（０，１００）（１００，１００）を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）に写す射影変換パラメータは、例えば文献「「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，ＩＳＢＮ４−９０６６６５−４７−０２．」などに記載の射影変換を表す以下の関係式に４つの頂点座標を代入して得られる方程式を解き、行列Ｈを求めることで計算することができる。

但し、〜ｘ（〜はｘの頭に付く、以下同様）は変換前の頂点を表す同次座標、〜ｘ’は変換後の頂点を表す同次座標、Ｈは、射影変換パラメータを表す３×３の行列である。

次に、情報検索により得られた空間位置を、先に得られた射影変換パラメータを用いて撮影画像上の座標に変換する。すなわち、コンテンツ上での相対的な位置で表される空間位置を、撮影画像上の絶対的な座標に変換する。別の言い方をすれば、コンテンツ上での相対的な位置を、撮影部と撮影対象の位置関係によって生じる撮影画像上での相対的な位置に変換するとも言える。

図５では、図２に示す関連情報「ああああ」が対応する空間位置（２０，５０）が、撮影画像上の座標（ｘ_ｐ，ｙ_ｐ）に変換されており、（ｘ_ｐ，ｙ_ｐ）は、先に求めた行列Ｈを用いて、

で求めることができる。

また、例えば、関連情報記憶部１２に記憶されている空間位置が、図３（ｂ）のように領域の記号で記憶されている場合には、前述した処理と同じように変換パラメータを求めた後、次のように変換を行うことで、撮影画像上での対応する領域を得ることができる。

図６に示すように、コンテンツの座標系上の領域Ａの四隅の座標をそれぞれ前述した処理によって得られた変換パラメータを用いて撮影画像上の座標に変換し、変換後の座標を四隅とする四辺形領域が、領域Ａに対応する領域となる。ここでは空間位置の表現例として四辺形の領域を用いて説明したが、多角形や円、その他任意の図形領域であっても、同様に変換を行うことができることは言うまでもない。

次に、情報表示部１７は、座標変換により得られた表示位置に、情報検索により得られた関連情報を対応づけるようにして、元の撮影画像に重畳させて表示する（ステップＳ６）。例えば、各々の関連情報に対応して得られた撮影画像上の表示位置に、関連情報の文字列を重畳表示するようにしてもよいし、図７に示すように、吹き出しを付けるように関連情報を重畳表示するようにしてもよい。また、各表示位置には関連情報が存在することを表すタグを表示し、そのタグをユーザが選択した場合に、関連情報の詳細を表示するようにしてもよい。また、空間位置、表示位置が、図３（ｂ）のように領域で表現されている場合には、対応する領域の中心や重心の座標を求め、これを表示位置とするようにしてもよい。また、元の撮影画像に重畳して表示をした方がユーザの理解度は高いが、元の撮影画像に重畳せず、図８のように、撮影画像の横に位置を合わせて表示するようにしても構わない。

以上のように、第１の実施形態では、検出情報を用いて、検出情報に対応する空間位置と関連情報の対応関係を検索した上で、対象領域座標を用いて空間位置を撮影画像上の表示位置に変換し、表示位置に関連情報を表示することで、画面全体では一つの情報しか埋め込むことのできない状況においても、コンテンツ上の位置に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態による情報表示装置を説明する。第２の実施形態では、ユーザが狙っている撮影画像上の位置に応じて異なる情報をユーザに提示するものである。図９は、本発明の第２の実施形態による情報表示装置の構成を示すブロック図である。情報表示装置１は、撮影部２１と、関連情報記憶部２２と、領域検出部２３と、埋め込み情報検出部２４と、座標変換部２５と、情報検索部２６と、情報表示部２７とから構成される。撮影部２１は、画像を撮影し、撮影画像と、照準座標とを出力する。関連情報記憶部２２は、埋め込み情報と画面内の空間位置に対応付けて関連情報を記憶する。領域検出部２３は、撮影画像を入力し、撮影画像の中で埋め込み情報検出の対象とする領域を検出し、対象領域座標を出力する。埋め込み情報検出部２４は、撮影画像を入力し、撮影画像から埋め込み情報を検出し、検出情報を出力する。

座標変換部２５は、対象領域座標と、照準座標とを入力し、撮影画像上の照準座標を照準位置に変換し、照準位置を出力する。情報検索部２６は、検出情報と、照準位置とを入力し、検出情報と照準位置に基づき、関連情報を検索し、関連情報を出力する。情報表示部２７は、関連情報を入力し、関連情報を表示する。図９に示す情報表示装置１は、図１に示す情報表示装置１とよく似ているが、一部の構成要素の動作が異なっている。なお、図９に示す関連情報記憶部２２に記憶する情報の構成は、図１に示す関連情報記憶部１２に記憶する情報の構成（図２に示すテーブル構造）と同様であるので、ここでは詳細な説明を省略する。

次に、図１０を参照して、図９に示す情報表示装置１の処理動作を説明する。図１０は、図９に示す情報表示装置１の処理動作を示すフローチャートである。まず、撮影部１１は、対象となるコンテンツを撮影し、得られた撮影画像を出力する（ステップＳ１１）。この撮影処理は、図４に示すステップＳ１と類似しているが、撮影画像を出力するのに加えて、照準座標を出力する点が異なっている。ここで照準座標とは、情報表示装置１を利用しているユーザが情報を得たい部位の撮影画像上での座標を表すものである。例えば、単に撮影画像の中心座標を自動的に照準座標とするようにしてもよいし、カメラでの撮影画像をプレビューしているときに、予め定められた照準座標の位置に、図１１に示すように照準画像を重畳表示するようにして、ユーザが照準座標の位置を容易に確認できるようにしてもよい。

また、表示されている画像の中で、ユーザが情報を得たい位置を、ユーザに明示的に指定させるようにしてもよい。これは例えば、タッチパネルディスプレイの様な表示装置を用いて画像を表示しておいて、ユーザが当該位置をタッチもしくはタップするようにしてもよいし、単にマウスのようなポインティング装置を用いて位置を指定するのであってもかまわない。

次に、領域検出部２３は、撮影画像から対象のコンテンツ領域を検出する（ステップＳ１２）。この領域検出は、図４に示す処理動作（ステップＳ２）と同様であるので、ここでは詳細な説明を省略する。続いて、埋め込み情報検出部２４は、撮影画像から電子透かしを検出する（ステップＳ１３）。この埋め込み情報検出は、図４に示す処理動作（ステップＳ３）と同様であるので、ここでは詳細な説明を省略する。

次に、座標変換部２５は、逆向きの変換のパラメータを求め、空間位置に対応する表示位置を求める代わりに、撮影により得られた照準座標に対応するコンテンツの空間座標系の上での照準位置を求める（ステップＳ１４）。具体的には、次のように変換を行う。

まず、撮影画像上の座標をコンテンツの空間座標に変換するための変換パラメータを計算する。これは、図４に示す座標変換処理（ステップＳ５）の場合と逆に、撮影画像上の対象領域座標（対象領域の４隅点の座標）を、コンテンツの四隅の座標に写す、射影変換行列を計算することで求める。図１２にこの処理動作を示す。これは、以下の関係式に頂点座標を代入して得られる方程式を解きＨを求めることで計算できる。

但し、〜ｘは変換前の頂点を表す同次座標、〜ｘ’は変換後の頂点を表す同次座標、Ｈは、射影変換パラメータを表す３×３の行列である。

次に、撮影により得られた照準座標を、先に得られた変換パラメータを用いてコンテンツの座標系上の座標に変換する。すなわち、撮影画像上の絶対的な照準座標を、コンテンツ（領域検出ステップで検出された領域）上での相対的な位置で表される照準位置に変換する。別の言い方をすれば、撮影部と撮影対象の位置関係によって生じる撮影画像上での相対的な位置を、コンテンツ上での相対的な位置に変換するとも言える。図１２に示す例では、撮影画像上の照準座標（ｘ_ｐ，ｙ_ｐ）が、コンテンツ上の照準位置（ξ_ｐ，η_ｐ）に変換さる。

次に、情報検索部２６は、関連情報記憶部２２に記憶されている情報を検索し、関連情報を得る（ステップＳ１５）。関連情報記憶部２２の検索は、埋め込み情報検出により得られた検出情報と、座標変換により得られた照準位置とをキーにして行い、関連情報記憶部２２に記憶されている埋め込み情報が、検出情報に一致し、かつ関連情報記憶部２２に記憶されている空間位置が照準位置に近い情報を抽出する。例えば、埋め込み情報検出において、検出情報として「０００１」が得られていて、座標変換において、照準位置として（３０，３０）が得られているとき、図２に示す情報を検索した場合は、埋め込み情報「０００１」に対応する「ああああ」、「いいいい」の関連情報のうち、空間位置が（３０，３０）により近い（２０，５０）となっている「ああああ」の情報を得る。ここで、空間位置と照準位置の近さの判定は、次の様な方法で行ってもよい。

単に埋め込み情報と検出情報が一致する情報の中で空間位置と照準位置との距離が最も小さいものを選択する。または、各空間位置に対して、所定の距離の閾値Ｌを定めておき、照準位置が空間位置からの距離Ｌ以内に入っているものを抽出する。

また、逆に、照準位置側に距離の閾値Ｌを定めておき、照準位置からの距離がＬ以内に入っている空間位置の情報を抽出するようにしてもよい。適切な距離の範囲内に対応する情報がない場合は、検索結果なしとしてもよい。距離の計算は、二つの座標の類似具合を評価できる値であればどのような距離の定義を用いてもかまわない。例えば、ユークリッド距離であってもよいし、市街地距離であってもよい。

また、照準位置の時間的な変化を考慮し、２の距離の閾値を可変にするようにしてもよい。すなわち、照準位置がある関連情報の空間位置に近づく方向に動いているときと、離れる方向に動いている時とで、許容する距離の閾値Ｌを変更するようにしてもよい。例えば、近づく方向に動いている時よりも離れる方向に動いているときの方がＬが大きくなるようにすることで、手ぶれ等で照準位置がぶれてしまった場合にも、関連情報の表示が頻繁に非表示にならず、安定して表示されるようにすることができる。

また、関連情報記憶部２２に記憶されている空間位置が、図３（ｂ）のように領域の記号で記憶されている場合は、照準位置が対象の領域の中に入っているかどうかを判定し、入っている場合に近いと判定するようにしてもよい。

また、関連情報記憶部２２を情報表示装置１とは別の情報検索サーバ上に配置するように構成し、情報検索部２６において情報表示装置１から情報検索サーバに検出情報と照準位置を送信し、検索結果として関連情報を得るように構成しても構わない。

次に、情報表示部２７は、情報検索により得られた関連情報を表示する（ステップＳ１６）。これは、例えば、元の撮影画像の照準位置に重畳させて表示してもよいし、関連情報記憶部２２に記憶されていた対応する空間位置を撮影画像上の表示位置に変換し、その表示位置に重畳させて表示するようにしてもよい。撮影画像とは別に、関連情報を表示するようにしてもよい。また、照準位置や表示位置には関連情報が存在することを表すタグを表示し、そのタグをユーザが選択した場合に、関連情報の詳細を表示するようにしてもよい。

次に、照準方向の算出処理について説明する。座標変換処理（ステップＳ１４）では、撮影により得られた照準座標に対応するコンテンツの空間座標系の上での照準位置を求めるため、座標の変換パラメータを求めたが、これとは別に、撮影をしている実際の三次元空間上での、コンテンツが表示されている平面に対して撮影部２１が向いている方向、角度を計算で求めることができる。関連情報記憶部２２に空間位置に加えて、撮影方向を合わせて記憶しておき、情報検索部２６において、求めた撮影部２１の方向、角度（照準方向）を照準位置と合わせて用いて、記憶している撮影方向に照準方向が近い情報を検索するようにしてもよい。また、空間位置を用いずに、検出情報と照準方向を用いて情報検索を行い、照準方向によって異なる関連情報を提供するように構成してもかまわない。例えば、コンテンツ画面を右側から覗いた場合と、左側から覗いた場合で、異なる情報を提供したり、異なる処理を行うように構成してもよい。

照準方向の算出は、具体的には、例えば、次のように計算する。文献「ディジタル画像処理，ＣＧ−ＡＲＴＳ協会，ＩＳＢＮ４−９０６６６５−４７−０２．」に記載されているように、一般に三次元空間上での座標とカメラで撮影された撮影画像の座標との間には、以下の関係が成り立つ。

ここで、〜ｍは撮影画像上の同次座標、〜Ｘｗは三次元空間上の同次座標、Ｐは透視投影行列である。

さらに、Ｐはカメラの内部パラメータＡ、外部パラメータＲ，ｔを用いて、

と表せる。

今、実際の三次元空間上で、コンテンツが表示されている平面をＺｗ＝０とし、コンテンツの空間座標系をＸｗ−Ｙｗ平面上にとり、カメラの内部パラメータＡが既知とすれば、領域検出により得られた対象領域座標（対象領域の４隅点）の座標を〜ｍ、コンテンツの空間座標系上の４隅点の座標（例えば（０，０）（１００，０）（０，１００）（１００，１００））をＺｗ＝０である三次元の座標として〜Ｘｗに代入すれば、Ｐの各要素について８本の方程式が得られる。方程式の数が８本であるため、Ｐの全ての要素を求めることはできないが、Ｚｗ＝０であることを利用するとｔの値は求めることができる。ｔは、三次元空間の座標系におけるカメラ座標系の原点の座標を表しており、ｔからコンテンツ上の照準位置を結んだ直線が、コンテンツが表示されている平面（Ｘｗ−Ｙｗ平面）に対してなす角を求めることができ、これは、コンテンツに対してどのような方向から撮影されているかを表す。

また同様に、対象領域座標の座標について、三次元空間の座標系からカメラ座標系に再投影した場合の再投影誤差を最小にするようにＰを推定することで、照準方向や照準位置を含むカメラの姿勢推定を行うようにしてもよい。その場合、領域検出部２３で検出する対象のコンテンツ領域が四辺形以外の領域であって、対象領域座標が４点以外の場合でも照準方向や照準位置を求めることができる。

また例えば、照準方向の算出は、より簡易に次の様な方法を用いても構わない。領域検出部２３で検出する対象のコンテンツ領域が、元々長方形であり、撮影画像上の四辺形領域を検出する様な場合、検出した四辺形の左辺より右辺が長い場合は右側、逆に右辺より左辺が長い場合は左側の照準方向から撮影されているものと判断することができる。また同様に、上辺より下辺が長い場合には下側、逆に下辺より上辺が長い場合は上側の照準方向から撮影されているものと判断することができる。

また例えば、領域検出部２３で検出する対象のコンテンツ領域が、元々円であり、撮影画像上の楕円領域を検出する様な場合、検出した楕円の短径が上下方向にある場合は上もしくは下側、検出した楕円の短径が左右方向にある場合は左もしくは右側の照準方向から撮影されているものと判断することもできる。このように、照準方向の算出を、元のコンテンツ領域の形状と撮影画像から検出された領域の形状の対応関係を用いて判断するようにしてもよい。

以上のように、第２の実施形態では、対象領域座標を用いて照準座標をコンテンツ上の照準位置に変換し、検出情報と照準位置を用いて、対応する関連情報を検索して表示することで、画面全体では一つの情報しか埋め込むことのできない状況においても、ユーザが狙っている撮影画像上の照準座標に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。また、検出情報と照準方向を用いて、対応する関連情報を検索して表示することで、ユーザがコンテンツを狙っている方向に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態による情報表示装置を説明する。第３の実施形態では、電子透かしを用いる代わりに画像認識を用いたものである。図１３は、本発明の第３の実施形態による情報表示装置の構成を示すブロック図である。情報表示装置１は、撮影部３１と、関連情報記憶部３２と、領域検出部３３と、画像認識部３４と、情報検索部３５と、座標変換部３６と、情報表示部３７とから構成される。

撮影部３１は、画像を撮影し、撮影画像を出力する。関連情報記憶部３２は、識別情報と画面内の空間位置に対応付けて関連情報を記憶する。領域検出部３３は、撮影画像を入力し、撮影画像の中で画像認識の対象とする領域を検出し、対象領域座標を出力する。画像認識部３４は、撮影画像を入力し、撮影画像にどのような対象が映っているか認識し、識別情報を出力する。

情報検索部３５は、識別情報を入力し、識別情報に基づき、空間位置と関連情報の対応を検索し、空間位置と、関連情報とを出力する。座標変換部３６は、空間位置と、対象領域座標とを入力し、空間位置を撮影画像上の表示位置に変換し、表示位置を出力する。情報表示部３７は、表示位置と、関連情報とを入力し、関連情報を撮影画像に重畳して表示する。

次に、図１４を参照して、図１３に示す関連情報記憶部３２に記憶する情報の構成を説明する。関連情報記憶部３２に記憶する情報の構成は、図１に示す関連情報記憶部１２に記憶する情報の構成とほぼ同様である。ただし、関連情報記憶部１２では電子透かしとして埋め込まれている埋め込み情報を記憶していた代わりに、関連情報記憶部３２では画像認識の結果得られる「識別情報」を記憶している。

次に、図１５を参照して、図１３に示す情報表示装置１の処理動作を説明する。図１５は、図１３に示す情報表示装置１の処理動作を示すフローチャートである。まず、撮影部３１は、対象となるコンテンツを撮影し、得られた撮影画像を出力する（ステップＳ２１）。次に、領域検出部３３は、撮影画像から対象のコンテンツ領域を検出する（ステップＳ２２）。ステップＳ２１、Ｓ２２の処理動作は、図１に示すステップＳ１、Ｓ２と同様であるので、ここでは詳細な説明を省略する。

次に、画像認識部３４は、撮影画像が予め登録されている画像のうち、いずれの画像であるかを認識し、識別情報を得る（ステップＳ２３）。画像の認識は、どのような方法で行ってもかまわない。例えば、特許文献３に記載の方法を用いて行うことができる。また、画像の認識は、撮影画像全体から行ってもよいが、このとき、領域検出部３３により得られた対象領域座標を用いて、撮影画像を射影変換し、コンテンツの対象領域を正規化した上で画像認識を行うことで、認識をより容易にすることができる。

画像認識の処理は、情報表示装置１の内部で完結して処理するようにしてもよいが、例えば、撮影画像そのものや、撮影画像を対象領域座標を用いて射影変換して正規化した画像、あるいは画像認識部３４において取得した画像の特徴量などを画像認識サーバに送信し、画像認識サーバにおいて予め登録されている特徴量データベースと比較、検索を行うことで、識別情報を得るように構成しても構わない。

また、さらに関連情報記憶部３２が情報検索サーバ上に構成されている場合には、画像認識サーバと情報検索サーバを連携させ、画像認識部３４において情報表示装置１から撮影画像や撮影画像を正規化した画像、あるいは画像の特徴量などをサーバに送信して、サーバ上で画像認識と情報検索とを行って、サーバからは情報検索部３５に対して空間位置と関連情報が返却されるように構成しても構わない。

次に、情報検索部３５は、画像認識により得られた識別情報を用いて検索を行う（ステップＳ２４）。関連情報記憶部３２の検索は、画像認識により得られた識別情報をキーにして行い、関連情報記憶部３２に記憶されている識別情報が、画像認識により得られた識別情報と一致する情報を抽出する。

次に、座標変換部１６は、情報検索により得られた空間位置を領域検出により得られた対象領域座標を用いて変換し、コンテンツの空間位置に対応する、撮影画像上の座標を得、これを表示位置とする（ステップＳ２５）。続いて、情報表示部１７は、座標変換により得られた表示位置に、情報検索により得られた関連情報を対応づけるようにして、元の撮影画像に重畳させて表示する（ステップＳ２６）。ステップＳ２５、Ｓ２６の処理動作は、図１に示すステップＳ５、Ｓ６と同様であるので、ここでは詳細な説明を省略する。

なお、関連情報記憶部３２を情報表示装置１とは別の情報検索サーバ上に配置するように構成してもよい。また、本実施形態では、第１の実施形態の情報表示装置１と同様の構成を画像認識を用いて行う例を説明したが、第２の実施形態の情報表示装置１と同様の構成を画像認識を用いて行うようにしてもよい。この場合は、情報表示装置１の埋め込み情報検出部１４の代わりに画像認識部３４と同様の画像認識手段を用い、検出情報の代わりに識別情報を得て、これを元に座標変換部２５で求めた照準位置や照準方向を用いた情報検索部２６と同様の検索を、検出情報の代わりに識別情報を用いて行うように構成してもよい。

以上のように、本実施形態では、画像認識を行った結果を用いて、識別情報に対応する空間位置と関連情報の対応関係を検索した上で、対象領域座標を用いて空間位置を撮影画像上の表示位置に変換し、表示位置に関連情報を表示することで、画面全体で一つのコンテンツとしてしか認識ができない状況においても、コンテンツ上の位置に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。

また、対象領域座標を用いて照準座標をコンテンツ上の照準位置に変換し、検出情報と照準位置を用いて、対応する関連情報を検索して表示することで、画面全体で一つのコンテンツとしてしか認識ができない状況においても、ユーザが狙っている撮影画像上の照準座標に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。また、検出情報と照準方向を用いて、対応する関連情報を検索して表示することで、ユーザがコンテンツを狙っている方向に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。さらに、画像認識を用いることで、予めコンテンツに電子透かしを埋め込んでおくことのできない運用形態においても、同様の効果を得ることができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態による情報入力装置を説明する。第４の実施形態は、情報表示を行う代わりに情報登録を行うものである。図１６は、本発明の第４の実施形態の情報入力装置２の構成を示すブロック図である。情報入力装置２は、撮影部４１と、関連情報記憶部４２と、領域検出部４３と、埋め込み情報検出部４４と、座標変換部４５と、情報入力部４６と、情報登録部４７から構成される。

撮影部４１は、画像を撮影し、撮影画像と、照準座標とを出力する。関連情報記憶部４２は、埋め込み情報と画面内の空間位置に対応付けた入力情報を記憶する。領域検出部４３は、撮影画像を入力し、撮影画像の中で埋め込み情報検出の対象とする領域を検出し、対象領域座標を出力する。埋め込み情報検出４４部は、撮影画像を入力し、撮影画像から埋め込み情報を検出し、検出情報を出力する。座標変換部４５は、対象領域座標と、照準座標とを入力し、撮影画像上の照準座標を照準位置に変換し、照準位置を出力する。情報入力部４６は、情報を入力し、入力した入力情報を出力する。情報登録部４７は、検出情報と、照準位置とを入力し、検出情報と照準位置と入力情報を対応付けて登録する。関連情報記憶部４２に記憶する情報の構成は、第２の実施形態の関連情報記憶部２２に記憶する情報の構成と同様である。ただし、記憶されている情報は、情報入力装置２を用いて登録される情報を含む。

次に、図１７を参照して、図１６に示す情報入力装置２の処理動作を説明する。図１７は、図１６に示す情報入力装置２の処理動作を示すフローチャートである。図１７に示す、撮影処理（ステップＳ３１）、領域検出処理（ステップＳ３２）、埋め込み情報検出処理（ステップＳ３３）、座標変換処理（ステップＳ３４）は、図１０に示す撮影処理（ステップＳ１１）、領域検出処理（ステップＳ１２）、埋め込み情報検出処理（ステップＳ１３）、座標変換処理（ステップＳ１４）と同様であるので、ここでは詳細な説明を省略する。

情報入力部４６は、指定した照準位置に対応付けてユーザが登録したい情報を入力する（ステップＳ３５）。続いて、情報登録部４７は、埋め込み情報検出処理で検出された検出情報、座標変換部４５により得られた照準位置、情報入力部４６において入力された入力情報とを対応付けて、それぞれ、関連情報記憶部４２に埋め込み情報、空間位置、関連情報として登録する（ステップ３６）。登録された情報は、第１の実施形態や第２の実施形態の情報表示装置１を用いた情報表示に利用してもよい。情報の登録は例えば、専用の情報サーバを用いるようにしてもよいし、また例えば、埋め込み情報と空間位置をｔｗｉｔｔｅｒのハッシュタグで表現するようにして、一つのｔｗｅｅｔとして登録するようにしてもよい。

前述した説明では照準位置を用いるように構成したが、第２の実施形態で説明したように、照準方向を算出し、これを用いて、検出情報と照準方向と入力情報とを対応付けて登録するようにしてもかまわない。照準位置と照準方向の両方を組み合わせて利用してもよいことは言うまでもない。

以上のように、本実施形態では、対象領域座標を用いて照準座標をコンテンツ上の照準位置に変換し、検出情報と照準位置を用いて、入力情報を埋め込み情報と空間位置に対応付けて登録することで、画面全体で一つのコンテンツとしてしか認識ができない状況においても、ユーザが狙っている撮影画像上の照準座標に応じて異なる情報を登録することが可能となり、他の実施形態の情報表示装置と組み合わせて、ユーザにとってより利便性の高い情報交換の手段を提供することができる。また、検出情報と照準方向を用いて、入力情報を埋め込み情報と照準方向に対応付けて登録することで、ユーザがコンテンツを狙っている方向に応じて異なる情報を登録することが可能となり、他の実施形態の情報表示装置と組み合わせて、ユーザにとってより利便性の高い情報交換の手段を提供することができる。また、本実施形態では、第１の実施形態、第２の実施形態と同様に電子透かしを利用した例を示したが、第３の実施形態のように画像認識を用いることで、予めコンテンツに電子透かしを埋め込んでおくことのできない運用形態においても、同様の効果を得ることができる。

なお、第１の実施形態、第２の実施形態、第４の実施形態では電子透かしの埋め込み情報検出部、第３の実施形態では画像認識部を用いる構成を例に説明したが、これは、対象領域に映っているコンテンツがどのようなコンテンツであるかを識別することのできる識別手段であれば、どのような手段を用いてもかまわない。例えば、電子透かしと画像認識を組み合わせて識別を行うようにしてもかまわないし、コンテンツ中に、例えばＱＲコード（登録商標）やバーコードの様なマーカを表示しておき、これを検出することで識別を行うようにしてもかまわない。

また、各実施形態で示した関連情報は文字列以外の情報であってもよい。例えば画像や３Ｄオブジェクトなどであっても構わない。具体的には、例えば、第１の実施形態において、関連情報記憶部１２に関連情報として画像が記憶されている場合に、座標変換により得られた撮影画像上の表示位置に、画像を重畳表示するようにしてもよい。これは例えば、男優が一人だけ映っているＴＶ番組コンテンツを情報表示装置で撮影すると、撮影画像の男優の隣に別な女優やアニメキャラクター画像が重畳表示されるようなＡＲ（拡張現実感）コンテンツを構成することができる。また、関連情報として３Ｄオブジェクトが記憶されていれば、撮影画像のコンテンツの手前に３Ｄオブジェクトが飛び出して表示されるように構成することもできる。また、第２の実施形態において、照準方向に応じて３Ｄオブジェクトの裏側が見える様なコンテンツを構成することもできる。

第４の実施形態では、照準位置を用いて入力情報を登録する構成を例に説明したが、照準位置を識別した上で、情報を登録する代わりに、情報を送信することでユーザインタラクションに使うこともできる。例えば、情報の送信側で検出情報もしくは識別情報と、照準位置と、入力情報とを、それぞれ埋め込み情報もしくは識別情報と、空間位置と、関連情報として他の情報表示装置に送信し、他の情報表示装置では受信した埋め込み情報もしくは識別情報、空間位置とに合わせて、関連情報を表示するように構成してもよい。

また、例えば、第４の実施形態の撮影部４１、領域検出部４３、埋め込み情報検出部４４、座標変換部４５のみから構成されるような情報入力装置を用い、検出情報もしくは識別情報と、照準位置もしくは照準方向とを求め、これらに対して任意の処理を行った上で、処理結果をユーザに提示するように構成してもよい。具体的には例えば、予めコンテンツとして、図１８の選択肢１〜４に示すように、ユーザが選択を行う対象物を表示する様な画面を用意しておき、これをユーザが撮影をして、選択対象を照準に合わせることにより、検出された検出情報もしくは識別情報と、照準位置とから、ユーザがコンテンツ中のどの対象物を選択したかを判断して、それに応じて処理を変更するように構成してもよい。これは、時間で変化していく様な、例えば動画像の様なコンテンツにおいて、画面内に複数の対象物が映っている場合に、対象物を選択させる場合に効果的である。

また、他の具体例として、ゲームやコンピュータにおいて、撮影している対象のコンテンツと座標とを同時に入力できる入力手段として用いてもよい。例えば、図１９のように、ゲームにおいて模型銃を模した、対象のコンテンツに対する照準を指示する入力手段として用いてもよい。この場合、斜めの方向から照準を指定することもできるし、照準方向を算出することで、照準位置に加え、照準を狙っている方向（対象のコンテンツの平面に対する実際の三次元空間上での角度）を指示する入力手段として用いることもできる。また、ここでは情報入力装置の内部で処理を行う例を示したが、検出情報もしくは識別情報と照準位置とをサーバに送信し、サーバ上で処理を行うように構成してもかまわない。

以上説明したように、情報表示装置を用いて情報表示を行うことで、図２０に示すように、画面全体では一つの情報しか埋め込むことのできない状況においても、コンテンツ上の位置に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。また、ユーザが狙っている撮影画像上の照準座標や、照準の角度・方向に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。

また、画面全体で一つのコンテンツとしてしか認識・識別ができない状況においても、コンテンツ上の位置に応じて異なる関連情報をユーザに提示したり、ユーザが狙っている撮影画像上の照準座標や、照準の角度・方向に応じて異なる関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報表示装置を構成することができる。また、画像認識を用いることで、予めコンテンツに電子透かしを埋め込んでおくことのできない運用形態においても、同様の効果を得ることができる。さらに、ユーザが狙っている撮影画像上の照準座標や照準の角度・方向に応じて、コンテンツに関連した情報を登録することや、撮影している対象のコンテンツと座標とを同時に入力して処理を変更することが可能となり、ユーザにとって利便性の高い情報入力装置を構成することができる。

なお、図１、図９、図１３、図１６における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報表示処理、情報入力処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

画像に映っている被写体に関連する情報を表示することが不可欠な用途に適用できる。

１・・・情報表示装置、１１、２１、３１、４１・・・撮影部、１２、２２、３２、４２・・・関連情報記憶部、１３、２３、３３、４３・・・領域検出部、１４、２４、４４・・・埋め込み情報検出部、１５、２６、３５・・・情報検索部、１６、２５、３７、４５・・・座標変換部、１７、２７、３７・・・情報表示部、３４・・・画像認識部、４６・・・情報入力部、４７・・・情報登録部

Claims (10)

1. 画像上の位置情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶した記憶手段と、
   入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、
   前記検出した埋め込み情報に関係付けられている前記画像上の位置情報と、前記関連情報との組を前記記憶手段から検索する情報検索手段と、
   前記検索した画像上の位置情報に基づく前記画像上の位置に、前記検索した関連情報を表示する情報表示手段と
   を備えたことを特徴とする情報表示装置。
2. 画像上の位置情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶した記憶手段と、
   前記関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、
   入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、
   前記検出した埋め込み情報に関係付けられている前記画像上の位置情報と、前記関連情報のうち、前記照準位置情報に基づく前記照準位置に近い位置情報に関係付けられている前記関連情報を前記記憶手段から検索する情報検索手段と、
   前記検索した関連情報を表示する情報表示手段と
   を備えたことを特徴とする情報表示装置。
3. 画像上の照準方向情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶した記憶手段と、
   前記関連情報を表示するべき前記照準方向情報を取得する照準方向取得手段と、
   入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、
   前記検出した埋め込み情報に関係付けられている前記画像上の照準方向情報と、前記関連情報のうち、前記取得した照準方向情報に基づく前記照準方向に近い照準情報方向に関係付けられている前記関連情報を前記記憶手段から検索する情報検索手段と、
   前記検索した関連情報を表示する情報表示手段と
   を備えたことを特徴とする情報表示装置。
4. 画像の関連情報を前記画像中の認識対象の識別情報に関係付けて記憶した記憶手段と、
   入力画像の中から画像認識対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像認識を行うことにより前記認識対象の前記識別情報を検出する情報検出手段と、
   前記検出した識別情報に関係付けられている前記関連情報を前記記憶手段から検索する情報検索手段と、
   前記検索した関連情報を表示する情報表示手段と
   を備えたことを特徴とする情報表示装置。
5. 画像上において関連情報を表示するべき前記画像上の位置を示す照準位置情報と、前記画像の関連情報とを前記画像の埋め込み情報に関係付けて記憶する記憶手段と、
   前記関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、
   前記関連情報を入力する関連情報入力手段と、
   入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、
   前記検出した画像の埋め込み情報と、前記照準位置情報と、前記入力した関連情報とを関係付けて、前記記憶手段に記憶する情報登録手段と
   を備えたことを特徴とする情報入力装置。
6. 画像上において関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、
   前記関連情報を入力する関連情報入力手段と、
   入力画像の中から埋め込み情報検出対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像の埋め込み情報を検出する情報検出手段と、
   前記検出した画像の埋め込み情報と、前記照準位置情報と、前記入力した関連情報とを関係付けて、外部の装置に対して出力する情報出力手段と
   を備えたことを特徴とする情報入力装置。
7. 画像上において関連情報を表示するべき前記画像上の位置を示す照準位置情報と、前記画像の関連情報とを前記画像中の認識対象の識別情報に関係付けて記憶する記憶手段と、
   前記関連情報を表示するべき前記画像上の位置を示す照準位置情報を取得する照準位置取得手段と、
   前記関連情報を入力する関連情報入力手段と、
   入力画像の中から画像認識対象となる領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像認識を行うことにより前記認識対象の前記識別情報を検出する情報検出手段と、
   前記検出した画像の埋め込み情報と、前記照準位置情報と、前記入力した関連情報とを関係付けて、前記記憶手段に記憶する情報登録手段と
   を備えたことを特徴とする情報入力装置。
8. 画像上の位置または前記画像に対する方向を示す照準情報を取得する照準情報取得手段と、
   入力画像の中から識別情報を検出する領域を検出する領域検出手段と、
   前記入力画像の前記領域内において、前記画像の識別情報を検出する情報検出手段と、
   前記検出した画像の識別情報と、前記照準位置または前記照準方向を示す情報と入力情報として出力する情報出力手段と
   を備えたことを特徴とする情報入力装置。
9. コンピュータを、請求項１から４のいずれか１項に記載の情報表示装置として機能させるための情報表示プログラム。
10. コンピュータを、請求項５〜８のいずれか１項に記載の情報入力装置として機能させるための情報入力プログラム。

Images