JP2005182350A - 情報呈示システム、情報呈示装置、及びサーバ - Google Patents

Abstract

【課題】サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムにおいて、最適な応答性を得るような処理バランスを実現すること。
【解決手段】情報呈示端末１０を、カメラ等の画像入力部１１と、該画像入力部１１で入力された画像から特徴部位を抽出する特徴部位抽出部１２と、情報呈示端末の位置姿勢を計算する位置姿勢算出部１３と、出力する重畳情報を生成する情報処理部１４と、該重畳情報を表示するディスプレイ等の出力部１５とから構成し、サーバ２０は、上記情報呈示端末１０の特徴部位抽出部１２の抽出結果として得られた特徴部位から該特徴部位を同定するマーカ／対象物同定部２１と、該マーカ／対象物同定部の同定結果に基づいて関連する情報を検索する関連情報検索部２２とから構成する。
【選択図】 図１

Description

本発明は、情報を提示する情報呈示システム、及びそのような情報提示システムを構成する情報呈示装置とサーバに関する。

従来より、クライアントである情報提示装置からサーバに問い合わせを行って必要な情報を取得し、その取得した情報を情報提示装置で使用者に提示する情報提示システムが各種提案されている（例えば、特許文献１を参照）。
特開平２００１−４３９２号公報

最終段情報をクライアントが処理しないシステムでは、サーバの負荷が大きくなり、応答性の良いシステムを構築することが困難である。

また、同時に、クライアントの全情報有効に活用した、自由度の高いシステムを構築することは難しい。

本発明は、上記の点に鑑みてなされたもので、最適な応答性を得るような処理バランスを実現する情報呈示システム、情報呈示装置、及びサーバを提供することを目的とする。

本発明の情報呈示システムの一態様は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムであって、少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物を同定するマーカ／対象物同定部と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を検索する関連情報検索部と、前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、を具備し、少なくとも、前記画像入力部、前記情報処理部及び前記出力部が前記情報端末側に設けられていることを特徴とする。
また、本発明の情報呈示端末の一態様は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用する情報呈示端末であって、少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物を同定するマーカ／対象物同定部と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を検索する関連情報検索部と、前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、のうち、少なくとも、前記画像入力部、前記情報処理部及び前記出力部を具備することを特徴とする。
また、本発明のサーバの一態様は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用するサーバであって、少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物を同定するマーカ／対象物同定部と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を検索する関連情報検索部と、前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、のうち、少なくとも前記画像入力部、前記情報処理部及び前記出力部を具備する情報呈示端末に、通信回線で接続されたことを特徴とする。
また、本発明の情報呈示システムの他の態様は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムであって、少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物に対応する候補を同定するマーカ／対象物候補同定部と、前記マーカ／対象物候補同定部によって同定された前記マーカまたは対象物の候補に関連する情報を検索する関連情報候補検索部と、前記候補同定部によって同定された「前記マーカまたは対象物の候補」の情報、及び前記関連情報候補検索部によって検索された「前記マーカまたは対象物の候補」に関連する情報を記憶する記憶部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記記憶部に記憶された「前記マーカまたは対象物の候補」の中から前記画像中のマーカまたは対象物に対応する前記マーカまたは対象物を同定するマーカ／対象物同定部と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を、前記記憶部に記憶された「前記マーカまたは対象物の候補」に関連する情報の中から検索する関連情報検索部と、前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、を具備し、少なくとも、前記画像入力部、前記情報処理部及び前記出力部が前記情報端末側に設けられており、かつ、前記候補同定部がサーバ側に設けられていることを特徴とする。
また、本発明の情報呈示端末の他の態様は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用される情報呈示端末であって、少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物に対応する候補を同定するマーカ／対象物候補同定部と、前記マーカ／対象物候補同定部によって同定された前記マーカまたは対象物の候補に関連する情報を検索する関連情報候補検索部と、前記候補同定部によって同定された「前記マーカまたは対象物の候補」の情報、及び前記関連情報候補検索部によって検索された「前記マーカまたは対象物の候補」に関連する情報を記憶する記憶部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記記憶部に記憶された「前記マーカまたは対象物の候補」の中から前記画像中のマーカまたは対象物に対応する前記マーカまたは対象物を同定するマーカ／対象物同定部と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を、前記記憶部に記憶された「前記マーカまたは対象物の候補」に関連する情報の中から検索する関連情報検索部と、前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、のうち、少なくとも前記候補同定部が設けられているサーバと通信回線を介して接続され、かつ、少なくとも前記画像入力部、前記情報処理部及び前記出力部を有することを特徴とする。
また、本発明のサーバの他の態様は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用されるサーバであって、少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物に対応する候補を同定するマーカ／対象物候補同定部と、前記マーカ／対象物候補同定部によって同定された前記マーカまたは対象物の候補に関連する情報を検索する関連情報候補検索部と、前記候補同定部によって同定された「前記マーカまたは対象物の候補」の情報、及び前記関連情報候補検索部によって検索された「前記マーカまたは対象物の候補」に関連する情報を記憶する記憶部と、前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記記憶部に記憶された「前記マーカまたは対象物の候補」の中から前記画像中のマーカまたは対象物に対応する前記マーカまたは対象物を同定するマーカ／対象物同定部と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を、前記記憶部に記憶された「前記マーカまたは対象物の候補」に関連する情報の中から検索する関連情報検索部と、前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、のうち、少なくとも前記画像入力部、前記情報処理部及び前記出力部を有する前記候補同定部が設けられている情報呈示端末に通信回線を介して接続され、かつ、前記候補同定部が設けられていることを特徴とする。

本発明によれば、最適な応答性を得るような処理バランスを実現する情報呈示システム、情報呈示装置、及びサーバを提供することができる。

以下に、本発明を実施するための最良の形態を説明するものであるが、その前に、本明細書中で使用する用語について説明しておく。

第１の特徴部位とは、マーカの幾何学的な情報を取得可能な部分を指す。例えば、アルファベットを囲む四角形の黒枠をマーカとして利用するならば、その黒枠の四隅の頂点や黒枠の線分が該当する。また、登録済みの形状情報、例えば机等既知の設置物の表面形状もこの第１の特徴部位に該当する。

第２の特徴部位とは、マーカを同定する際に利用可能な情報を取得可能な部分を指す。例えば、図３（Ａ）に示すようなアルファベット「Ｍ」を囲む四角形の黒枠をマーカ３２として利用するならば、黒枠に囲まれたアルファベットの画像を含む領域が該当する。また、シンボルとは、図３（Ａ）に示すマーカ３２の場合、キャラクタ「Ｍ」が該当する。

所定の処理とは、入力された情報を加工する一連の処理全般を指し、例えば画像の追加、文字の追加、色の変更、特定方向からのレンダリング画像生成、重畳画像生成等が含まれる。

所定のエリアとは、予備情報を条件として絞り込まれた領域を指し、例えば、予備情報である概略位置情報を中心とする半径１ｋｍの領域や線路の両脇２００ｍの領域、道路の両脇２００ｍの領域、該道路と交差する道路の両脇２００ｍの領域、等が含まれる。

所定の条件とは、使用環境における合理性を基準に設定されるものであって、例えば、情報呈示端末位置からの視野内の構造物等によってマーカが遮蔽されないことや、情報呈示端末位置が地中、海中、空中といった非現実的な状態になっていないことや、情報呈示端末姿勢が通常の使用方法をした場合の姿勢から１８０度回転し、天地反転した状態になっていないこと等が含まれる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は本発明の第１実施形態に係る情報呈示システムの構成を示す図である。

本実施形態に係る情報呈示システムは、情報呈示端末１０とサーバ２０とから構成される。

ここで、情報呈示端末１０は、カメラ等の画像入力部１１と、該画像入力部１１で入力された画像から特徴部位を抽出する特徴部位抽出部１２と、情報呈示端末の位置姿勢を計算する位置姿勢算出部１３と、出力する重畳情報を生成する情報処理部１４と、該重畳情報を表示するディスプレイ等の出力部１５とから構成されている。なお、上記情報呈示端末１０は、例えば携帯電話や通信機能付きＰＤＡの形態で提供されるもので、通信機能により、サーバ２０とデータの送受信が可能である。また、本明細書において、「特徴部位」とは、撮影可能であり、画像から位置の特定が可能な部位のことであり、特徴領域、特徴点、特徴線分を含む。例えば、アルファベットを囲む四角形の黒枠をマーカとして利用するならば、その黒枠の四隅の頂点や黒枠の線分、黒枠に囲まれたアルファベットの画像を特徴部位とすることができる。また、登録済みの形状情報、例えば机等既知の設置物の表面形状も特徴部位として利用できる。

また、サーバ２０は、上記情報呈示端末１０の特徴部位抽出部１２の抽出結果として得られた特徴部位から該特徴部位を同定するマーカ／対象物同定部２１と、該マーカ／対象物同定部の同定結果に基づいて関連する情報を検索する関連情報検索部２２とから構成されている。なお、サーバ２０は通信機能を有しており、情報呈示端末１０とデータの送受信が可能である。

上記マーカ／対象物同定部２１は、図１には図示しないが、同定処理に必要な各種の情報を記憶する記憶部を含む。同定処理に必要な各種の情報とは、例えば特徴領域をテンプレートマッチングする際に利用するテンプレートの画像情報、テンプレートとして登録されたマーカの３次元情報、特徴領域を二次元コードとして復号する際のパラメータ等を含む。また、上記関連情報検索部２２は、図１には図示しないが、マーカと関連付けた各種の情報、例えば、３Ｄオブジェクトの形状データ、動画、静止画、テキスト情報、ＵＲＬ等を記憶する記憶部を含む。

上記位置姿勢算出部１３は、上記特徴部位抽出部１２によって抽出された特徴部位の座標情報と、上記マーカ／対象物同定部２１によって確定されたマーカの座標情報とから、該マーカが定義された空間に対する相対的位置姿勢を算出する。この際、上記特徴部位抽出部１２では、３つ以上の特徴部位が特定されていればよい。なお、特徴部位（マーカの特徴点）の位置姿勢の算出の手法については、例えば、特開２０００−２２７３０９号公報や特開２００１−１２６０５１号公報に記載の方法を利用すれば良い。

次に、このような構成の情報呈示システムにおける情報呈示端末１０及びサーバ２０の動作を、図２のフローチャートを参照して説明する。

まず、画像入力部１１により図３（Ａ）に示すようなマーカ３２を含む画像を撮影する（ステップＳ１０１）。例えば、図３（Ａ）に示すような入力画像３１が得られる。

ここで、特徴部位抽出部１２は、前記入力画像３１からマーカとしての特徴部位を抽出する（ステップＳ１０２）。例えば、マーカ枠の四隅の点や枠内の領域を抽出する。

その後、マーカ／対象物同定部２１では、特徴部位抽出部１２が抽出した特徴部位の同定を行う（ステップＳ１０３）。同定処理とは、例えばマーカ／対象物同定部２１が有するテンプレート群と上記特徴部位とのマッチング処理、上記特徴部位を二次元コードとして復号する処理等を含む。この結果、システムは入力画像３１に含まれているマーカ３２を同定し、マーカ３２の３次元情報を位置姿勢算出部１３に出力する。

次に、位置姿勢算出部１３は、マーカ／対象物同定部２１が出力する３次元情報と特徴部位抽出部１２において抽出した位置姿勢算出のための特徴点情報とから情報呈示端末１０の３次元的な位置及び姿勢を算出する（ステップＳ１０４）。

また、関連情報検索部２２は、マーカ／対象物同定部２１で同定したマーカに基づいて、関連する情報を検索する（ステップＳ１０５）。関連する情報とは、例えば、マーカに対して相対的に配置された３次元オブジェクトやマーカ周辺のアノテーション情報等を含む。

情報処理部１４は、上記位置姿勢算出部１３の算出結果である情報呈示端末１０の３次元的な位置姿勢に基づいて、上記画像入力部１１が撮影した入力画像３１と上記関連情報検索部２２の検索結果である関連情報とを処理する（ステップＳ１０６）。この処理とは、例えば、図４（Ａ）に示すように、関連情報である３次元オブジェクト４１を情報呈示端末１０の３次元的な位置姿勢に基づいて投影変換し、入力画像３１に対して重畳する処理や、図４（Ｂ）に示すように、関連情報である３次元オブジェクトを情報呈示端末１０の３次元的な位置姿勢に基づいて投影変換し、該投影変換結果のうち姿勢成分だけを反映させた３次元オブジェクト４２を入力画像３１近傍に配置する処理等を含む。また、図４（Ｃ）に示すように、関連情報である３次元オブジェクトと情報呈示端末１０の３次元的な位置姿勢とに基づいて投影変換し、該投影変換結果のうち位置成分だけを反映させた配置情報４３を入力画像３１近傍に配置する処理等を含む。

そしてその後、出力部１５は上記情報処理部１４が処理した結果を使用者に対して出力する（ステップＳ１０７）。例えば、上記情報処理部１４の処理結果が入力画像３１と関連情報との重畳画像である場合、これをディスプレイ上に表示する。

ここで、情報呈示端末１０を構成する特徴部位抽出部１２からサーバ２０を構成するマーカ／対象物同定部２１へは、特徴部位として抽出された情報のみが送信される。入力画像３１に対して、該入力画像３１に含まれている特徴部位は小さい領域になる。もしくは少ない情報量で表現することができる。このため、入力画像３１そのものをサーバ２０へ送信する場合よりも、より高速に効率良く情報を伝達できる。

従来技術では一般に、情報呈示端末は、サーバから最終的に出力する形態になった情報、例えば関連情報を重畳済みの画像等を受信し、表示していた。この場合、表示した情報に対するインタラクティブな操作が行われるたびに、情報呈示端末からサーバへ情報の送信を行い、該操作の結果として得られる出力情報、つまり画像をサーバから情報呈示端末へ送信するといった処理が行われることになる。このような処理では、通信遅延やサーバへのアクセス集中等の問題から高い応答性を期待できない。

一方、本システムでは、情報呈示端末１０を構成する情報処理部１４が関連情報検索部２２から受信する情報は、各種の関連情報そのものであり、情報処理部１４にて出力情報となるよう処理する。このため、例えば表示されている関連情報を操作するといった使用者のインタラクティブな操作を情報処理部１４のみで処理することが可能となる。この際には、サーバ２０との通信を行う必要はない。よって、本システムは応答性のよいユーザインターフェースを提供できる。

（実施例１）
上記のような第１実施形態を用いた実施例としては、例えば、カメラ付き携帯電話を用いたコンテンツ表示システムへの利用が考えられる。即ち、情報呈示端末１０が携帯電話であり、該携帯電話に画像入力部１１としてのカメラが接続されている。カメラは図３（Ａ）の入力画像３１のようにマーカ３２の場所周辺を撮影する。

特徴部位抽出部１２は携帯電話上で動作し、上記カメラが撮影した入力画像からマーカの四隅、マーカ枠内のパターンといった特徴部位を抽出する。そして、特徴部位抽出部１２は、携帯電話の通信機能を利用し、抽出した特徴部位を交換局を介してサーバへ送信する。

一般に、携帯電話の通信速度は、いわゆるブロードバンド環境と比較すると極めて低速である。このため、通信遅延やサーバへのアクセス集中等の問題により、上記カメラが撮影した入力画像全体をサーバへ送信した際に高い応答性を実現することは困難である。一方、本システムでは抽出した特徴部位のみをサーバへ送信するので、画像全体に比べて送信量は極めて少ない。よって、携帯電話の通信速度であっても、高速に情報を伝達できる。

また、本システムでは、サーバ２０上でマーカ／対象物同定部２１が動作する。本実施例では、マーカ／対象物同定部２１は図示しない記憶部に蓄えられた登録済みマーカのテンプレートと、上記特徴部位抽出部１２が抽出する特徴部位のひとつであるマーカのパターンとをテンプレートマッチングにより比較し、受信した特徴部位をマーカとして同定する。このような処理を携帯電話上で行うことは、処理速度、記憶容量の観点から現実的ではない。特に、登録済みマーカのテンプレートが膨大な数になった場合、それら全てとの比較を携帯電話上で行うことは極めて困難である。一方、通常、サーバはテンプレートマッチング処理を行うに十分な処理速度、記憶容量を有しており、該処理を高速に行うことが可能である。

本実施例では、マーカに３次元オブジェクトが関連付けられており、携帯電話はサーバから３次元オブジェクトを受信する。情報処理部１４は携帯電話上で動作し、サーバから受信した３次元オブジェクトと位置姿勢算出部１３の結果として得られる携帯電話の３次元的な位置及び姿勢と入力画像３１とを用いて、入力画像３１内に３次元オブジェクトが存在しているよう重畳処理する。

このとき、重畳表示される３次元オブジェクトにアニメーション情報が含まれている場合、最終的な重畳処理を携帯電話上で行っているので、アニメーション処理に際してもサーバとの通信を行う必要がない。また、重畳表示される３次元オブジェクトにリンク等のアクション情報が設定されている場合も同様に、サーバとの通信を行うことなく３次元オブジェクトに設定されたアクションを実行することができる。つまり、単なる画像として重畳する従来システムと異なり、最終的に表示する画像情報及び該画像情報に関連する情報を携帯電話上で処理することで、応答性の良いユーザインターフェースを実現できる。

以上のように、携帯電話とサーバとで適切に処理を分担し、更に最終的な情報処理、つまり関連する情報を融合、重畳する処理を携帯電話上で行うことにより、応答性の良いユーザインターフェースを実現でき、利用しやすいシステムを構築できる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。

本実施形態に係る情報呈示システムにおいては、図５に示すように情報呈示端末１０内に一次同定部１６、一次関連情報検索部１７及び一次情報記憶部１８を備える。

ここで、一次情報記憶部１８は、サーバ２０上で同定された特徴部位の情報及び該特徴部位に関連付けられた情報をサーバ２０から受信し蓄える。同定された特徴部位の情報とは、例えば該当したテンプレートや該テンプレートと対応する登録座標を含む。また、同定された特徴部位に関連付けられた情報とは、例えば該当したテンプレートに関連付けられた３次元オブジェクトやアノテーション情報を含む。

一次同定部１６は、サーバ２０に備えられたマーカ／対象物同定部２１同様、特徴部位抽出部１２の抽出結果として得られた特徴部位から該特徴部位を同定する。この際、一次同定部１６は、該特徴部位を同定するための情報として一次情報記憶部１８に蓄えられた情報を用いる。

一次関連情報検索部１７は、サーバ２０に備えられた関連情報検索部２２同様、一次同定部１６の同定結果に基づいて関連する情報を検索する。この際、一次関連情報検索部１７は、該関連情報を一次情報記憶部１８に蓄えられた情報から検索する。

次に、このような構成の情報呈示システムにおける情報呈示端末１０及びサーバ２０の動作を、図６のフローチャートを参照して説明する。なお、ステップＳ１０１乃至ステップＳ１０７までは、第１実施形態で説明した動作と同一であるので、以下では、本実施形態において追加したステップＳ１０８乃至ステップＳ１１２についてのみ説明する。

即ち、特徴部位抽出部１２は、ステップＳ１０２で抽出した特徴部位の送信先を選択する（ステップＳ１０８）。ここでは、情報呈示端末１０に備えられた一次情報記憶部１８に一次情報が蓄えられているか否かによって、送信先を選択する。つまり、本システムが初めて動作する場合やリセットされた場合には、一次情報記憶部１８には一次情報が蓄えられていないため、送信先をサーバ２０のマーカ／対象物同定部２１とする。一方、本システムの処理が２回目以降の場合には、一次情報記憶部１８には、前回の同定結果として得られる一次情報が蓄えられているため、送信先を情報呈示端末１０内の一次同定部１６とする。

一次同定部１６では、特徴部位抽出部１２が抽出した特徴部位の同定を、一次情報記憶部１８に蓄えられた一次情報を用いて行う（ステップＳ１０９）。例えば、一次情報記憶部１８には、前回同定されたテンプレート情報が蓄えられているので、一次同定部１６は、特徴部位抽出部１２が抽出した特徴部位と該テンプレート情報とのテンプレートマッチング処理を行う。本実施形態では、一次情報は前回同定されたテンプレート情報のみであるため、ステップＳ１０９の処理では同定できない場合がある。よって、同定が成功したか否かをステップＳ１１０で判断する。

一次同定部１６での同定が失敗した場合には、ステップＳ１０３に進んで、一次同定部１６が受けとった特徴部位をサーバ２０のマーカ／対象物同定部２１に送信し、サーバ２０上で同定処理を行う。

これに対して、一次同定部１６での同定が成功した場合には、結果として得られるマーカの３次元情報を位置姿勢算出部１３に出力することで、ステップＳ１０４の処理を行うこととなる。また、同時に、一次関連情報検索部１７は、一次同定部１６で同定したマーカに基づいて、関連する情報を一次情報記憶部１８から検索する（ステップＳ１１１）。ここでは、前回同定されたマーカに関連する情報が一次情報記憶部１８に蓄えられているので、それらを読み出せばよい。

更に、サーバ２０上のマーカ／対象物同定部２１で同定されたマーカの情報及び情報検索部で検索されたマーカに関連する情報を、情報呈示端末１０の一次情報記憶部１８に記憶させる（ステップＳ１１２）。この際に、サーバ２０から情報呈示端末１０へ一次情報の送信が行われる。情報呈示端末１０は、該一次情報を受信し、既に一次情報記憶部１８に蓄えられている一次情報を消去した上で、該一次情報を記憶する。

以上のフローにより、本実施形態では、同じマーカを見ている限りにおいては、２回目以降の処理を情報呈示端末内で行う。その場合、通信遅延等の問題が生じないため、より応答性の良いユーザインターフェースを提供できる。

（実施例２）
上記のような第２実施形態を用いた実施例としては、例えば、カメラ付き携帯電話を用いたコンテンツ表示システムへの利用が考えられる。即ち、情報呈示端末１０が携帯電話であり、該携帯電話に画像入力部１１としてのカメラが接続されている。カメラは図３（Ａ）の入力画像３１のようにマーカ３２の場所周辺を撮影する。

上記実施例１との違いは、携帯電話内に一次同定部１６、一次関連情報検索部１７、一次情報記憶部１８が備えられていることである。

本実施例では、１回目の同定処理はサーバ２０上で行われ、この際に同定したマーカ情報及び該マーカに関連付けられた情報が携帯電話へ送信され、携帯電話内の一次情報記憶部１８に記憶される。使用者が図３（Ａ）乃至図３（Ｃ）に示すように、図３（Ａ）、図３（Ｂ）、図３（Ｃ）と見る位置や姿勢を変化させたとしても２回目以降の処理は携帯電話上で行われるので、応答性良く表示を図７（Ａ）から図７（Ｂ）、図７（Ｃ）へと更新することができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。

本実施形態に係る情報呈示システムにおいては、図８に示すようにサーバ２０のマーカ／対象物同定部２１がテンプレート群選択部２５とマッチング部２６とから構成される。また、情報呈示端末１０は予備情報取得部１９を更に備える。

情報呈示端末１０の予備情報取得部１９は、予備情報を取得し、サーバ２０のテンプレート群選択部２５へ送信する。ここで予備情報とは、情報呈示端末１０の概略的な位置情報や周囲の温度、周囲の音量、情報呈示端末内部のパラメータ等、情報呈示端末１０に関連する各種の情報を含む。

サーバ２０のテンプレート群選択部２５には図示しない記憶部が含まれており、該記憶部にシステムに登録されている全てのマーカのテンプレート情報を蓄えている。上記テンプレート群選択部２５は、予備情報取得部１９から受信した予備情報に基づいて、図示しない記憶部に蓄えられた全てのテンプレート情報から所定のテンプレート情報を少なくとも１つ選択する。ここで、所定のテンプレート情報とは、予備情報を条件として絞り込まれたものを指し、例えば、予備情報が情報呈示端末１０の概略的な位置であった場合、その位置を中心とする半径１ｋｍのエリアに存在するテンプレート情報が該当する。

サーバ２０のマッチング部２６は、テンプレート群選択部２５が選択したテンプレート情報群の範囲で、情報呈示端末１０の特徴部位抽出部１２が抽出する特徴部位を同定する。例えば、上記特徴部位は、テンプレートマッチング処理によって、設定した閾値以上であり、且つ最もテンプレートの類似度が高いマーカに同定される。

このように、予備情報を利用して、予め同定処理の対象となる情報を絞り込むことにより、高速処理が実現できる。例えば、全登録済みマーカから１０％が選択された場合、処理速度は約１０倍になる。このことは、システムが大規模になるほど効果が大きくなる。また、予備情報を利用して、テンプレート情報を選択することにより、同一のテンプレートパターンであっても、予備情報を条件として異なる情報を付与することも可能となる。例えば、図３（Ａ）に示す同一のマーカ３２であっても、予備情報として得られる概略位置情報が東経１３０度と東経１４０度とでは、関連付けられる情報が異なるというシステムが可能になる。この結果、東経１３０度のエリアに設置されたマーカ３２を見たときに得られる情報と、東経１４０度のエリアに設置されたマーカ３２を見たときに得られる情報とは異なる。つまり、限られたマーカパターンであっても、予備情報との組合せによって、膨大な情報呈示が可能となる。

（実施例３）
上記のような第３実施形態を用いた実施例としては、例えば、カメラ付き携帯電話を用いたナビゲーションシステムへの利用が考えられる。即ち、情報呈示端末１０が携帯電話であり、該携帯電話に画像入力部１１としてのカメラが接続されている。カメラは図３（Ａ）の入力画像３１のようにマーカ３２の場所周辺を撮影し、最終的にマーカ３２に関連付けられた矢印や施設情報等のナビゲーション情報を入力画像３１に重畳した状態で表示される。

予備情報取得部１９は携帯電話に取り付けられているＧＰＳシステムである。該ＧＰＳシステムにより、携帯電話の概略位置情報を予備情報としてサーバ２０へ送信することができる。

サーバ２０のテンプレート群選択部２５は、携帯電話のＧＰＳシステムから得られる概略位置情報を中心とする半径１ｋｍのエリア内に存在するテンプレート情報をテンプレート群として選択する。また、概略位置情報が線路付近の場合は、図９（Ａ）に示すように該線路の両脇２００ｍのエリア内に存在するテンプレート情報もテンプレート群として選択する。また、概略位置情報が道路上の場合、図９（Ｂ）に示すように該道路の両脇２００ｍのエリア及び該道路と交差する道路の両脇２００ｍのエリア内に存在するテンプレート情報もテンプレート群として選択する。

このような選択工程を設けることにより、全登録済みマーカの数が膨大な数であったとしても、選択された一部のテンプレート情報とだけマッチング処理をすればよいので、高速にテンプレートマッチングを行うことができる。また、テンプレート選択の際に、線路、道路といった使用者の移動の方向性を考慮したエリア設定を行うことにより、見える可能性の高いテンプレートを確実に選択することができ、選択されなかったことによるマッチングの失敗を避けることができる。

［第４実施形態］
次に、本発明の第４実施形態を説明する。

本実施形態に係る情報呈示システムにおいては、図１０に示すように第４実施形態の情報呈示端末１０は、マーカ／対象物同定部３６、関連情報検索部３７及び情報記憶部３８を更に備える。

一方、サーバ２０は、マーカ／対象物候補同定部４１と関連情報候補検索部４２とを備える。マーカ／対象物候補同定部４１は図示しない記憶部を含み、該記憶部はシステムに登録されている全てのマーカのテンプレート情報を蓄えている。また、関連情報候補検索部４２は図示しない記憶部を含み、該記憶部はシステムに登録されている全てのマーカに関連する情報を蓄えている。

マーカ／対象物候補同定部４１は、情報呈示端末１０の予備情報取得部１９から送信される予備情報に基づいて、マーカ／対象物を同定する際に必要となるマーカのテンプレート情報を、図示しない記憶部に蓄えられた全てのテンプレート情報から所定のテンプレート情報を同定されるマーカの候補として少なくとも１つ選択する。更に、マーカ／対象物候補同定部４１は選択したマーカ候補群の情報を関連情報候補検索部４２に伝えるとともに、情報呈示端末１０の記憶部３８にマーカ候補群の情報を送信する。なお、選択したマーカ候補群が前回と変化しない場合には、情報呈示端末１０にマーカ候補群を送信する必要はない。

関連情報候補検索部４２は、マーカ／対象物候補同定部４１が選択したマーカ候補群の情報に基づいて、該マーカ候補群に関連する情報を、図示しない記憶部に蓄えられた全てのマーカに関連する情報から検索する。更に、関連情報候補検索部４２は検索結果である関連情報群を情報呈示端末１０の記憶部３８に送信する。なお、検索結果が前回と変化しない場合には、情報呈示端末１０に関連情報群を送信する必要はない。

情報呈示端末１０の記憶部３８は、サーバ２０のマーカ／対象物候補同定部４１及び関連情報候補検索部４２から受信したマーカ候補群及び該マーカ候補群に関連する情報を蓄える。

情報呈示端末１０のマーカ／対象物同定部３６は、第１実施形態のマーカ／対象物同定部２１と同様に、特徴部位抽出部１２が抽出した特徴部位をマーカとして同定する。この際、マーカ／対象物同定部３６は記憶部３８に蓄えられたマーカ候補群を用いて同定処理を行う。

情報呈示端末１０の関連情報検索部３７は、第１実施形態の関連情報検索部２２と同様に、マーカ／対象物同定部３６が同定したマーカに関連する情報を検索する。この際、関連情報検索部３７は記憶部３８に蓄えられたマーカ候補群に関連する情報の中から該当する情報を検索する。

本実施形態では、マーカ／対象物同定処理及び関連情報検索処理は情報呈示端末上で行われるため、サーバ２０との通信を必要最小限にすることができる。この結果、高速な応答性を実現できる。

（実施例４）
上記のような第４実施形態を用いた実施例としては、例えば、カメラ付き携帯電話を用いたナビゲーションシステムへの利用が考えられる。即ち、情報呈示端末１０が携帯電話であり、該携帯電話に画像入力部１１としてのカメラが接続されている。カメラは図３（Ａ）の入力画像３１のようにマーカ３２の場所周辺を撮影し、最終的にマーカ３２に関連付けられた矢印や施設情報等のナビゲーション情報を入力画像３１に重畳した状態で表示される。

予備情報取得部１９は、携帯電話に取り付けられているＧＰＳシステムである。該ＧＰＳシステムにより、携帯電話の概略位置情報を予備情報としてサーバ２０へ送信することができる。

サーバ２０のマーカ／対象物候補同定部４１は、携帯電話のＧＰＳシステムから得られる概略位置を含むエリア内に存在するテンプレート情報をマーカ候補群として選択する。なお、このエリアは予めサーバ上で用意してあるものである。このとき、ＧＰＳシステムから得られる概略位置情報が変化していない場合、もしくはマーカ候補群として選択した情報が変化していない場合には、マーカ／対象物候補同定部４１はマーカ候補群を携帯電話の記憶部３８に送信しない。一方、初動作時や選択したマーカ候補群が変化した場合には、該マーカ／対象物候補同定部４１はマーカ候補群を携帯電話の記憶部３８に送信する。

また、サーバ２０の関連情報候補検索部４２は、上記マーカ候補群に関連する情報を検索し、検索結果である関連情報群を携帯電話の記憶部３８に送信する。なお、この場合も検索結果が変化しなければ、関連情報候補検索部４２は関連情報群を携帯電話へ送信しない。

一般に携帯電話の記憶部はサーバ２０と比べて遥かに小さな容量しかないが、本実施例のようにマーカ候補群及び関連情報群を絞り込むことによって、該情報を格納することが可能となる。

このように携帯電話内に情報を格納することにより、マーカ候補群が変化しない限りにおいて、つまり、エリア内を移動している限りにおいて、サーバとの通信を行うことなくナビゲーションを実現でき、応答性の良いナビゲーションシステムを提供できる。

［第５実施形態］
次に、本発明の第５実施形態を説明する。

本実施形態に係る情報呈示システムにおいては、図１１に示すように、情報呈示端末１０の情報処理部１４は検証部１４１と出力情報生成部１４２とから構成される。

検証部１４１は、位置姿勢算出部１３が算出した位置姿勢が所定の検証条件を満足するか否かを検証し、検証条件を満さない場合、その旨を表現する警告情報を出力する。ここで、所定の検証条件とは、例えば、位置姿勢算出部１３が出力する情報呈示端末１０の位置からマーカを撮影した場合、視野内の構造物等によってマーカが遮蔽されないことや、位置姿勢算出部１３が出力する情報呈示端末１０の位置が地中、海中、空中といった非現実的な値になっていないことや、位置姿勢算出部１３が出力する情報呈示端末１０の姿勢が通常の使用方法をした場合の姿勢から１８０度回転し、天地反転した値になっていないこと等、使用環境における合理性を基準に設定されるものである。この場合、必要に応じて、サーバ２０の関連情報検索部２２から受信する関連情報をも利用し、検証を行う。

また、警告情報とは、単に検証条件を満さないことを表現するフラグ情報であってもよいし、どの程度検証条件を満していないかを定量的に表現する量、例えば想定姿勢からのずれ量等であってもよいし、どの検証条件を満さなかったかを表現する情報であってもよい。もちろん、これらを組み合わせたものであってもよい。

出力情報生成部１４２は、第１実施形態で説明した情報処理部１４の機能に加え、検証部１４１が警告情報を出力した場合に、該警告情報に基づいて出力情報を加工する。例えば、出力画像を所定の枠で囲む加工でもよいし、出力画面の一部に警告情報が出力されたことを示すシンボルを加えてもよいし、関連情報検索部２２から受信した関連情報の色を変更してもよいし、該関連情報に警告情報が出力されたことを示すテキストを追加してもよい。もちろん、これらを組み合わせたものであってもよい。

（実施例５）
上記のような第３実施形態を用いた実施例としては、例えば、カメラ付き携帯電話を用いたナビゲーションシステムへの利用が考えられる。即ち、情報呈示端末１０が携帯電話であり、該携帯電話に画像入力部１１としてのカメラが接続されている。カメラは図３（Ａ）の入力画像３１のようにマーカ３２の場所周辺を撮影し、最終的にマーカ３２に関連付けられた矢印や施設情報等のナビゲーション情報を入力画像３１に重畳した状態で表示される。

このとき、画像処理の誤差等の原因により、携帯電話の実際の位置が図１２の携帯電話１７１で示す位置であるにもかかわらず、位置姿勢算出結果が携帯電話１７２で示す位置になってしまう場合がある。この場合、実環境では視野内に存在するビル１７３によってマーカ３２が遮蔽されるため、入力画像３１は得られないはずである。

携帯電話内の検証部１４１は、関連情報として受信したマーカ周辺の３次元オブジェクト形状情報及び配置情報から視野内の３次元空間を再構築し、位置姿勢算出部１３の算出結果として得られた携帯電話の位置姿勢から上記再構築した３次元空間を投影像としてレンダリングする。そして、レンダリングした投影像と実際に撮影した入力画像とを比較することにより、位置姿勢算出部１３の算出結果は検証条件を満していないと判断する。

また、画像処理の誤差等の原因により、携帯電話の実際の位置が図１３の携帯電話１８１で示す位置であるにもかかわらず、位置姿勢算出結果が携帯電話１８２で示す位置になってしまう場合がある。この場合、携帯電話が空中に位置することになり、現実的にはありえない状況である。

このとき、検証部１４１は、位置姿勢算出部１３の算出結果と関連情報として受信したマーカ周辺の３次元オブジェクト情報とから地面と携帯電話との距離、携帯電話の使用者が存在できるような構造物の有無等を検証する。この結果、携帯電話の位置が空中に浮いており、位置姿勢算出部１３の算出結果は検証条件を満していないと判断する。

また、テンプレートマッチングのミス等の原因により、携帯電話の位置姿勢算出結果が図１４（Ａ）の姿勢で撮影したにもかかわらず、図１４（Ｂ）の姿勢になってしまうことがある。

このとき、検証部１４１は、位置姿勢算出部１３の算出結果が標準姿勢の±９０度を越えているか否かを検証し、図１４（Ｂ）の状態は検証条件を満していないと判断する。

このように、検証部１４１が検証条件を満していないと判断した場合、図１５に示すように警告状態であることを伝える画像２０１を表示する。この画面によって、使用者は現在表示されている情報は間違っている可能性が高いことを認識でき、情報伝達の確実性が向上する。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上述の実施形態は、画像入力部１１から静止画が入力されることを前提に記述しているが、動画が入力される場合であっても、上記処理を連続的に実行すればよい。

また、ここまでは、特徴部位抽出部１２、位置姿勢算出部１３は情報呈示端末１０に、関連情報検索部２２はサーバ２０に存在するよう記述しているが、図１６乃至図１９に示すように、各構成要素は情報呈示端末１０及びサーバ２０のどちらに存在していてもよい。

また、図２０に示すように、これらが情報呈示端末１０及びサーバ２０の両方に存在してもよい。この場合、より高速に処理された結果を用いてもよいし、より高速に処理された結果を用いて表示した後、より正確に算出した結果を用いて修正表示してもよい。

また、情報呈示端末１０とサーバ２０との通信回線の種類、状態、またはサーバ２０の負荷状況、または情報呈示端末のハードウェア条件等により、図２０の構成から動的に動作させる構成を選択してもよい。例えば、情報呈示端末１０の電波状態が良好で、高速な通信を実現できる場合には入力画像を全体をサーバに送信し、情報呈示端末１０の特徴部位抽出部を動作させない。一方、該情報呈示端末１０の電波状態が悪く、低速な通信環境の場合には、該情報呈示端末１０の特徴部位抽出部１２で抽出した特徴部位のみをサーバ２０へ送信し、サーバ２０の特徴部位抽出部を動作させない。また、ＰＤＣ通信機能と無線ＬＡＮ通信機能を有する携帯電話であって、高速な無線ＬＡＮが利用できる環境に位置する場合には入力画像を全体をサーバに送信し、携帯電話の特徴部位抽出部を動作させない。一方、低速なＰＤＣ通信機能しか利用できない環境に位置する場合には、該携帯電話の特徴部位抽出部１２で抽出した特徴部位のみをサーバ２０へ送信し、サーバ２０の特徴部位抽出部を動作させない。また、携帯電話に搭載されている記憶容量が多く、処理装置も高速な場合には携帯電話で処理するが、携帯電話内の別のアプリケーションのデータ等により、利用できる記憶容量が少なくなった場合にはサーバで処理するという構成も考えられる。

また、第３実施形態及び第４実施形態では、予備情報取得部１９が情報呈示端末１０内にのみ存在しているが、該予備情報取得部１９は、サーバ２０に存在してもよいし、情報呈示端末１０及びサーバ２０の両方に存在してもよい。例えば、携帯電話の基地局に対する電波強度を利用して概略位置情報を取得する場合やサーバ２０上の時刻を予備情報として利用する場合がこれに該当する。また、実施例３では予備情報取得部１９として携帯電話のＧＰＳシステムを記載したが、他にもＲＦＩＤ読み取りシステム、２次元コード読み取りシステムや使用者自身による入力情報を利用してもよい。

また、第２実施形態では、一次情報記憶部に蓄える情報を前回サーバ２０で同定した情報としているが、情報呈示端末１０の記憶容量が許す限り情報を蓄える形態であってもよい。つまり、前回同定したマーカ及び該マーカに関連した情報のみならず、前回までに同定されたマーカ群及び該マーカ群に関連する情報を蓄えてもよい。この場合、一次関連情報検索部１７は一次情報記憶部１８に蓄えた情報を読み出す動作ではなく、サーバ２０の関連情報検索部２２と同様に検索処理を行う。

また、第３実施形態及び第４実施形態ではマーカ／対象物として同定する際の候補を予め絞り込んでいるが、この絞り込み処理においては図２１（Ａ）乃至図２１（Ｃ）に示すように小エリア２１１の組合せとして選択してもよいし、図２２に示すように想定される進行方向に対して拡大するように選択してもよい。

また、第３実施形態及び第４実施形態では、マーカ／対象物の候補として同定した情報を全て入れ替える必要はなく、前回の選択との差分だけを送受信すれば、より高効率な通信及び処理を行うことができる。例えば、実施例４のように携帯電話にマーカ候補群を送信する際には、前回のマーカ候補群に含まれ、今回のマーカ候補群には含まれなかったマーカ情報を消去するための情報と、今回のマーカ候補群に初めて含まれたマーカ情報とだけを送信すればよい。

また、第５実施形態では、検証部が警告情報を出力した場合、情報呈示端末１０の使用者にのみ警告情報を表示していたが、警告情報呈示方法はこれに限定されるものではない。例えば、警告情報が出力される状態では、マーカの破損や不慮の移動等の可能性もあるので、該マーカの管理者へ警告情報を通知してもよい。

本発明の第１実施形態に係る情報呈示システムの構成を示す図である。 第１実施形態に係る情報呈示システムの動作フローチャートを示す図である。 入力画像を示す図である。 出力例を示す図であり、特に、（Ａ）は重畳表示、（Ｂ）は姿勢だけを反映させた表示、（Ｃ）は位置だけをマップ上に反映させた表示をそれぞれ示している。 本発明の第２実施形態に係る情報呈示システムの構成を示す図である。 第２実施形態に係る情報呈示システムの動作フローチャートを示す図である。 位置姿勢が変化したときの重畳表示の出力例を示す図である。 本発明の第３実施形態に係る情報呈示システムの構成を示す図である。 所定エリアの設定例を示す図であり、特に、（Ａ）は線路を基準エリアを設定した場合、（Ｂ）は道路を基準にエリアを設定した場合をそれぞれ示している。 本発明の第４実施形態に係る情報呈示システムの構成を示す図である。 本発明の第５実施形態に係る情報呈示システムの構成を示す図である。 位置姿勢算出結果が間違った例を説明するための図である。 位置姿勢算出結果が間違った別の例を説明するための図である。 位置姿勢算出結果が間違った更に別の例を説明するための図であり、特に、（Ａ）は通常の撮影姿勢、（Ｂ）は転地が反転した状態の撮影姿勢をそれぞれ示している。 警告表示の例を示す図である。 情報呈示システムの変形例の構成を示す図である。 情報呈示システムの変形例の構成を示す図である。 情報呈示システムの変形例の構成を示す図である。 情報呈示システムの変形例の構成を示す図である。 情報呈示システムの変形例の構成を示す図である。 （Ａ）乃至（Ｃ）はそれぞれエリア選択の例を示す図である。 エリア選択の別の例を示す図である。

符号の説明

１０…情報呈示端末、 １１…画像入力部、 １２…特徴部位抽出部、 １３…位置姿勢算出部、 １４…情報処理部、 １５…出力部、 １６…一次同定部、 １７…一次関連情報検索部、 １８…一次情報記憶部、 １９…予備情報取得部、 ２０…サーバ、 ２１…マーカ／対象物同定部、 ２２…関連情報検索部、 ２５…テンプレート群選択部、 ２６…マッチング部、 ３１…入力画像、 ３２…マーカ、 ３６…マーカ／対象物同定部、 ３７…関連情報検索部、 ３８…記憶部、 ４１…マーカ／対象物候補同定部、 ４２…関連情報候補検索部、 １４１…検証部、 １４２…出力情報生成部、 １７１，１７２，１８１，１８２…携帯電話、 ２０１…警告状態であることを伝える画像、 ２１１…小エリア。

Claims (18)

1. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムであって、
   少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、
   前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、
   前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物を同定するマーカ／対象物同定部と、
   前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を検索する関連情報検索部と、
   前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、
   前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、
   前記情報処理部によって処理された情報を出力する出力部と、
   を具備し、
   少なくとも、前記画像入力部、前記情報処理部及び前記出力部が前記情報端末側に設けられていることを特徴とする情報呈示システム。
2. 少なくとも、前記マーカ／対象物同定部は、前記サーバ側に設けられていることを特徴とする請求項１に記載の情報呈示システム。
3. 前記マーカ／対象物同定部及び前記関連情報検索部は、前記サーバ側に設けられていることを特徴とする請求項１に記載の情報呈示システム。
4. 前記特徴部位抽出部、前記マーカ／対象物同定部及び前記関連情報検索部は、前記サーバ側に設けられていることを特徴とする請求項１に記載の情報呈示システム。
5. 前記特徴部位抽出部、前記マーカ／対象物同定部、前記関連情報検索部及び位置姿勢算出部は、前記サーバ側に設けられていることを特徴とする請求項１に記載の情報呈示システム。
6. 前記マーカ／対象物同定部及び前記関連情報検索部及び前記位置姿勢算出部は、前記サーバ側に設けられていることを特徴とする請求項１に記載の情報呈示システム。
7. 前記マーカ／対象物同定部は、
   記憶されたテンプレートから所定の条件に合致するテンプレート群を選択するテンプレート群選択部と、
   前記テンプレート群の中から前記画像中の前記マーカまたは対象物を同定するマッチング部と、
   を有することを特徴とする請求項１に記載の情報呈示システム。
8. 前記情報呈示端末または前記サーバは、前記情報呈示端末に関する情報を取得する予備情報取得部をさらに有し、
   前記テンプレート群選択部は、前記所定の条件としての前記予備情報に基づいて、記憶されたテンプレートからテンプレート群を選択することを特徴とする請求７に記載の情報呈示システム。
9. 前記予備情報は、前記情報呈示端末が存在する位置または領域に関する情報であることを特徴とする請求項８に記載の情報呈示システム。
10. 前記テンプレート選択部は、前記予備情報として取得された前記情報呈示端末の位置または領域に関する情報に基づいて、当該情報呈示端末の周囲における所定のエリア内に存在する前記マーカまたは対象物に関するテンプレート群を選択することを特徴とする請求項９に記載の情報呈示システム。
11. 前記所定のエリアは、前記情報呈示端末の位置を中心として設定されたものであることを特徴とする請求項１０に記載の情報呈示システム。
12. 前記所定のエリアは、前記情報呈示端末の位置する道路若しくは鉄道または前記情報呈示端末が移動し得る経路に沿って所定の幅で設定されることを特徴とする請求項９に記載の情報呈示システム。
13. 前記情報処理部は、前記位置姿勢算出部の位置姿勢算出結果についてさらに検証を行い、前記位置姿勢算出結果が所定の検証条件を満足しない場合、警告の情報を出力することを特徴とする請求項１に記載の情報呈示システム。
14. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用する情報呈示端末であって、
    少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、
    前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物を同定するマーカ／対象物同定部と、
    前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を検索する関連情報検索部と、
    前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、
    前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、
    前記情報処理部によって処理された情報を出力する出力部と、
    のうち、
    少なくとも、前記画像入力部、前記情報処理部及び前記出力部を具備することを特徴とする情報呈示端末。
15. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用するサーバであって、
    少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、
    前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物を同定するマーカ／対象物同定部と、
    前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を検索する関連情報検索部と、
    前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、
    前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、
    前記情報処理部によって処理された情報を出力する出力部と、
    のうち、
    少なくとも前記画像入力部、前記情報処理部及び前記出力部を具備する情報呈示端末に、通信回線で接続されたサーバ。
16. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムであって、
    少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、
    前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物に対応する候補を同定するマーカ／対象物候補同定部と、
    前記マーカ／対象物候補同定部によって同定された前記マーカまたは対象物の候補に関連する情報を検索する関連情報候補検索部と、
    前記候補同定部によって同定された「前記マーカまたは対象物の候補」の情報、及び前記関連情報候補検索部によって検索された「前記マーカまたは対象物の候補」に関連する情報を記憶する記憶部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記記憶部に記憶された「前記マーカまたは対象物の候補」の中から前記画像中のマーカまたは対象物に対応する前記マーカまたは対象物を同定するマーカ／対象物同定部と、
    前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を、前記記憶部に記憶された「前記マーカまたは対象物の候補」に関連する情報の中から検索する関連情報検索部と、
    前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、
    前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、
    前記情報処理部によって処理された情報を出力する出力部と、
    を具備し、
    少なくとも、前記画像入力部、前記情報処理部及び前記出力部が前記情報端末側に設けられており、かつ、前記候補同定部がサーバ側に設けられていることを特徴とする情報呈示システム。
17. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用される情報呈示端末であって、
    少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、
    前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物に対応する候補を同定するマーカ／対象物候補同定部と、
    前記マーカ／対象物候補同定部によって同定された前記マーカまたは対象物の候補に関連する情報を検索する関連情報候補検索部と、
    前記候補同定部によって同定された「前記マーカまたは対象物の候補」の情報、及び前記関連情報候補検索部によって検索された「前記マーカまたは対象物の候補」に関連する情報を記憶する記憶部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記記憶部に記憶された「前記マーカまたは対象物の候補」の中から前記画像中のマーカまたは対象物に対応する前記マーカまたは対象物を同定するマーカ／対象物同定部と、
    前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を、前記記憶部に記憶された「前記マーカまたは対象物の候補」に関連する情報の中から検索する関連情報検索部と、
    前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、
    前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、
    前記情報処理部によって処理された情報を出力する出力部と、
    のうち、少なくとも前記候補同定部が設けられているサーバと通信回線を介して接続され、かつ、少なくとも前記画像入力部、前記情報処理部及び前記出力部を有することを特徴とする情報呈示端末。
18. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含む情報呈示システムに使用されるサーバであって、
    少なくとも合計３つ以上の幾何学的若しくは色彩的特徴点を含む第１の特徴部位を有するとともに、前記第１の特徴部位との相対的位置が既知であるシンボルを含む第２の特徴部位を有するマーカまたは対象物を撮影装置で撮影し、当該撮影によって得られた画像を入力する画像入力部と、
    前記画像入力部に入力された画像から、少なくとも、前記マーカまたは対象物の前記第１の特徴部位に相当する座標または領域を抽出する特徴部位抽出部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記画像中のマーカまたは対象物に対応する候補を同定するマーカ／対象物候補同定部と、
    前記マーカ／対象物候補同定部によって同定された前記マーカまたは対象物の候補に関連する情報を検索する関連情報候補検索部と、
    前記候補同定部によって同定された「前記マーカまたは対象物の候補」の情報、及び前記関連情報候補検索部によって検索された「前記マーカまたは対象物の候補」に関連する情報を記憶する記憶部と、
    前記特徴部位抽出部によって抽出された座標若しくは領域、及び／または前記第２の特徴部位に含まれる前記シンボルに基づいて、前記記憶部に記憶された「前記マーカまたは対象物の候補」の中から前記画像中のマーカまたは対象物に対応する前記マーカまたは対象物を同定するマーカ／対象物同定部と、
    前記マーカ／対象物同定部によって同定された前記マーカまたは対象物に関連する情報を、前記記憶部に記憶された「前記マーカまたは対象物の候補」に関連する情報の中から検索する関連情報検索部と、
    前記特徴部位抽出部によって抽出された前記第１の特徴部位に相当する座標または領域と、前記マーカ／対象物同定部によって同定された前記マーカまたは対象物の形状情報とに基づいて、前記画像を撮影した時の前記撮影装置の位置姿勢を算出する位置姿勢算出部と、
    前記位置姿勢算出によって算出された前記撮影装置の位置姿勢に基づいて、前記関連情報検索部によって検索された関連情報に対して所定の処理を施す情報処理部と、
    前記情報処理部によって処理された情報を出力する出力部と、
    のうち、少なくとも前記画像入力部、前記情報処理部及び前記出力部を有する前記候補同定部が設けられている情報呈示端末に通信回線を介して接続され、かつ、前記候補同定部が設けられていることを特徴とするサーバ。

Images