JP2013141049A - 世界座標系データベースを利用したサーバ及び端末 - Google Patents

Abstract

【課題】同一フレームに含まれない複数のマーカの相対的な位置・姿勢関係を、補助マーカを用いずに特定する。
【解決手段】特徴点が小グループにまとめられ、連続したフレーム間で追跡されて対応付けが行われる。あるいは、連続したフレーム間での小グループの追跡が、遮蔽やカメラアングルの急な変更などで中断した場合、照合処理を行うことで離れたフレーム間での対応付けがなされる。また、特徴フレームバッファ１０６および特徴ＤＢ１０８から読みだされる任意の２つのフレーム間で小グループの入れ替え度合いの大小に応じて、２種類の対応付けデータが生成され、カメラとマーカの位置・姿勢推定部１０９へ入力される。マーカ識別部１０４からのマーカ識別情報とその座標を特徴点として扱う。位置・姿勢推定部１０９では、対応付けされた小グループ群を仮想的に定義されたマーカとして扱い、カメラ、マーカおよび仮想マーカの位置・姿勢を推定する。
【選択図】図４

Description

本発明は、世界座標系のデータベースを利用したサーバ及び端末に係り、特に、拡張現実感すなわちＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて撮影映像に対象物の関連情報を重ねて情報提供するための実空間の座標情報を生成し、世界座標系のデータベースに蓄積し、蓄積されたこの情報を利用したＡＲ表示を実現するサーバ及び端末に関する。

ＡＲ技術において、現実空間にコンピュータグラフィックス（ＣＧ）で作成された仮想空間のオブジェクト等を正確に重ね合わせるために、現実空間に配置されている対象物の３次元座標を推定することが行われている。ある位置・向きで撮影された端末のカメラ映像（動画）に映るマーカ（指標）の空間座標系と、別の位置・向きで撮影されたカメラ映像に映るマーカの空間座標系が同一なものとしないと、両者のマーカが相互にどのような位置や向きの関係で配置されるのか決定するができない。これを解決する方法として、両者のカメラ映像に共通に含まれるように、補助マーカを用意し、配置することで解決する方法が提案されている（特許文献１）。

スケール(大きさ)と回転に対して不変な特徴量を求めるための特徴点追跡法として、非特許文献１にはＳＩＦＴ特徴量を用いる手法が、非特許文献２にはＳＵＲＦ特徴量を用いる手法が開示されている。

非特許文献３には、世界座標系に対応付けられたマーカと対応付けられていないマーカとを環境内に複数個配置し，それをカメラで取り込み、カメラに対するマーカの相対的な位置を推定する手法が開示されている。

特開２００６−２１４８３２号公報

Lowe, David G. "Object recognition from local scale-invariant features", Proceedings of the International Conference on Computer Vision. 2, pp. 1150-1157, 1999 Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding （CVIU）, Vol. 110, No.3, pp. 346-359, 2008 G. Baratoff, et al., "Interactive Multi-Marker Calibration for Augmented Reality Application," ISMAR 2002, pp.107-116, 2002

ＡＲ技術を用いて、カメラ付き端末を保持するユーザに、対象物やマーカに関連する情報を提供するサービスが開発されつつある。このようなサービスを提供する際、利用者であるユーザが屋外で端末を利用する場合を想定すると、マーカの存在する２つの現実空間の間にマーカのない現実空間が存在することは多々あり、そのような空間に補助マーカが存在するとは限らない。また、マーカのない現実空間に備えて、ユーザに補助マーカを用意させることも現実的ではない。よって、マーカのない現実空間が存在する場合であっても、補助マーカを用いずにＡＲ技術を用いたサービスを提供できる手法が必要である。

また、マーカに関連付いた情報をユーザに提供する場合、ユーザがマーカの検出またはマーカが表現する情報の識別に失敗した場合に、それに関連付いた情報を提供することができない。よって、マーカに関連する情報を提供するサービスのユーザビリティを向上させるために、ユーザがマーカの検出または識別に失敗した場合でもマーカの関連情報を提供する手法が必要である。

先行技術では、マーカの検出またはマーカが表現する情報の識別に失敗した場合に、それに関連付いた情報を提供することについての配慮が十分でなかった。

本発明の目的は、上記の課題を解決し、ユーザがＡＲ技術を用いたユーザビリティの高いサービスを受けられる、世界座標系データベースを利用したサーバ及び端末を提供することにある。

本発明の代表的なものの一例を示すと次の通りである。本発明のサーバは、端末のカメラで撮影された映像を受信する機能と、前記映像を構成する複数の映像フレームについて各映像フレーム内の自然特徴量を抽出し特徴量データベースに蓄積する特徴抽出部と、ＡＲ関連情報を特定するための指標を前記各映像フレームから検出する指標検出部と、検出された前記指標を識別する指標識別部と、前記複数の映像フレームの前記自然特徴量の間の対応付けを行う特徴グループ化対応付け部と、前記カメラと前記指標との相対的な位置および姿勢を推定する位置・姿勢推定部と、前記位置・姿勢が既知の前記指標を基準にして前記映像フレームにおける未知の指標の座標および前記自然特徴量の座標を世界座標系に変換する世界座標系変換部と、変換された前記世界座標系の座標データを蓄積する世界座標系データベースとを備えている。

本発明によると、同一フレームに含まれない複数のマーカの相対的な位置・姿勢関係を、補助マーカを用いずに特定することができる。また、マーカ自体を撮影できなくとも、あるいは、マーカの検出または識別に失敗した場合でも、マーカ周辺を撮影することで、そのマーカの位置・姿勢を推定することができる。

本発明の第１の実施例になる、端末システムおよびサーバシステムの構成例と各端末システムおよびサーバシステムの機能モジュールの一例を示すブロック図。 第１の実施例における、端末システムおよびサーバシステムの処理手順の概要を示したフロー図。 第１の実施例における、屋外の現実空間でのマーカ及びビルと、カメラ位置・向きの撮像範囲の移動状況の関係を表す図。 第１の実施例における、世界座標系データベース作成・更新処理を行うユニットを説明する図。 第１の実施例における特徴量ＤＢ内のデータ構造の例を示す図。 第１の実施例における世界座標系ＤＢ内の、特徴点座標のデータ構造の例を示す図。 世界座標系ＤＢ内のデータ構造の例を示す図。 ビルの横に、マーカに関連する情報として仮想的な３Ｄオブジェクト（ロケット）が配置された例を示す図。 特徴点のグループ化対応付けを行うユニットの処理手順を示すＰＡＤ図。 移動ベクトルと対応付けデータとの関係を説明する模式図。 現実空間にある２つのマーカと、カメラで連続的に撮影された３つの特徴点フレームとの関係を示す図。 自然特徴点群の照合により、異なるフレーム内の２つのマーカの位置を推定して、世界座標系ＤＢを生成する例の説明図。 マーカが視野にありマーカ識別が成功したときに、関連情報の２次元的な重ね合せ表示を行う構成例を示す図。 マーカが視野にありマーカ識別が成功したときに、マーカの関連情報の３次元的な重ね合せ表示をマーカに対して行う構成例を示す図。 視野の近くのマーカの位置・姿勢を推定し、マーカの関連情報や世界座標系ＤＢの座標に対応づけられた情報を、映像と重ね合わせ表示する構成例を示す図。 マーカ識別が成功したときに、撮影映像に無い情報で、かつ、マーカの関連情報や世界座標系ＤＢの座標に対応づけられた情報を、映像と重ね合わせ表示する構成例を示す図。 マーカ識別に失敗した場合に、マーカ周辺の撮影映像を利用してそのマーカの位置・姿勢を推定し、オブジェクトを重ね合せて表示した映像を示す図。 本発明の第２の実施例になる、世界座標系データベース作成および利用を行うシステムを示した機能モジュールの一例を示すブロック図。 本発明の第３の実施例になる、世界座標系データベース作成および利用を行うシステムを示した機能モジュールの一例を示すブロック図。

本発明は、マーカ以外の周囲環境から抽出する自然特徴とマーカを併用し、自然特徴をグループ化し、追跡し、照合することで、複数の映像中に含まれる自然特徴を対応づけて世界座標系データベース構築し、さらに、その情報を利用するサーバ及び端末に特徴がある。自然特徴としては、例えば、スケール不変量であるＳＩＦＴ特徴量やＳＵＲＦ特徴量を用いることができる。

また、本発明は、複数の映像中に含まれる自然特徴の空間座標系を、マーカを基準にすることで世界座標系に変換してデータベースに蓄積する。さらに、マーカの配置も世界座標系において表現し、映像中に含まれるマーカ周辺の自然特徴群と、過去に蓄積された自然特徴とを、世界座標系の座標群において照合することで、マーカの位置・姿勢を推定する。

以下、図を参照しながら、本発明の実施例になる、世界座標系データベース作成および利用を行う端末システムおよびサーバシステムの構成例について詳細に説明する。なお、世界座標系は、ネットワークを介して不特定の端末ユーザやプロバイダが、実世界及びＡＲ空間を表現するために、共通に利用できる座標系であれば良い。以下の説明では、このような共通の座標系として、世界座標系を用いるものとする。本発明で用いる世界座標系は、このような用途に適したものであれば、例えば地球座標系等、他の用語で定義されているものも含まれることは言うまでも無い。

また、本発明では、映像の１つのフレーム内で共通の座標をフレーム内共通座標系、複数のフレーム間で共通する座標をフレーム間共通座標系と定義する。さらに、実世界におけるカメラの位置や姿勢を表すための座標系をカメラ座標と定義する。

本発明の第１の実施例を、図１ないし図１６を参照しながら説明する。
図１に、本発明の第１の実施例になる、世界座標系データベース作成および利用を行う、端末システムおよびサーバシステムの構成例を示す。図１の例では、複数のクライアント端末１１、１２、１３（端末１、端末２、端末Ｎ）がインターネットまたは公衆回線などの通信ネットワーク１４を介して、１つのサーバ１５と接続されている。端末やサーバは、指標に関連した情報を提供するプロバイダ１６とも接続可能である。ここではこのようなサーバ・クライアントの構成が可能なシステム構成を、以下に説明する。また、サーバ・クライアント間の通信データとして映像を送受する場合のシステム構成を示す。なお、サーバ及び端末は、いずれも、少なくとも１つのコンピュータを備えており、プログラムをメモリ上で実行させることにより、所定の機能が実現されるように構成されている。

実世界上の特定の被写体、例えばビル１０や柱等には、実世界のカメラの撮影映像と重ねてＡＲ表示を行うための関連情報を提供する機能を有する指標（マーカ）が設置されている。端末１１、１２、１３には、夫々、少なくとも、動画撮影機能を有するカメラ１０１、表示部１１２、およびＡＲ表示処理機能１３０が搭載されている。ＡＲ表示処理機能１３０は、以下に述べるように、プロバイダ１６から提供される関連情報をカメラの撮影映像と重ねて表示部１１２にＡＲ表示する機能を備えている。サーバ１５には、カメラ１０１から受信した撮影映像を保持する映像バッファ１５０、この撮影映像の自然特徴量を抽出する特徴抽出部１５１（自然特徴抽出部１０２、特徴フレームバッファ１０６）と、この撮影映像から指標（マーカ）の有無を検出する指標検出部１０３と、検出された指標を識別する指標識別部１０４と、検出された指標に関連するＡＲ表示を行うための情報をネット経由でプロバイダ１６から取得する関連情報取得部１０５と、自然特徴が抽出された複数の映像フレームに関してこれらの映像フレーム間の特徴量の対応付けを行う特徴グループ化対応付け部１０７と、抽出された特徴量を保持する特徴量ＤＢ１０８と、カメラと指標の相対的な位置および姿勢を推定する位置・姿勢推定部１５２（カメラとマーカの位置・姿勢推定部１０９、マーカ位置推定部１１６）と、位置・姿勢が既知の指標を基準にして、前記映像フレーム内の未知の指標および自然特徴量の座標（フレーム内共通座標、または、フレーム間共通座標）を、世界座標系の座標に変換する世界座標系変換部１５３（世界座標系へのマッピング部１１３と世界座標系での照合部１１４）と、世界座標系での座標データを蓄積する世界座標系データベース１１５と、カメラ動き補完部１５４（カメラ動き補完部１１０、カメラ座標系への投影部１１７）と重ね合わせ表示処理部１１１と、が搭載される。重ね合わせ表示処理部１１１では、マーカ関連情報と映像バッファ１５０に保持されていた撮影映像とが、タイミング調整しながら重ね合わせ処理され、表示用データとして端末へ送信される。さらに、必要に応じて、地図変換部１５５、地図重ね合わせ部１５６も搭載される。

図２に基づいて、第１の実施例における、端末システムおよびサーバシステムの処理手順の概要を説明する。サーバ１５では、いずれかの端末Ｎのカメラ（動画撮影部）１０１で撮影された映像フレームの保持、更新の処理と、この映像フレームの情報に基づく、世界座標系データベース作成、更新の処理と、この映像フレームの情報にＡＲ表示を行うための関連情報を付加して端末Ｎの表示部に表示するための処理とが、並行して実行される。すなわち、端末Ｎ１３からカメラで撮影した映像がサーバ１５に送信されると、この映像はフレーム単位で映像バッファに保持される。サーバ１５では、この映像についてフレーム毎に自然特徴抽出の処理や指標検出、指標識別の処理がなされる。

そして、これらの処理の結果を利用して、世界座標系データベース作成、更新の処理では、特徴量データベースを作成し、さらに、世界座標系データベースの作成、更新の処理がなされ、その結果が世界座標系データベース１１５に蓄積される。

また、自然特徴抽出の処理や指標検出、指標識別の処理の結果を利用して、ＡＲ表示を行うための関連情報が取得され、カメラの動きを補完したうえで、この関連情報と映像との重ね合わせ処理がなされ、その処理結果が端末Ｎに送信され、これに基づいて、端末Ｎの表示部１１２に自ら撮影した映像と、この映像に関連するＡＲ表示関連情報とが、重ね合わせて端末Ｎの画面に表示される。これらの処理に際しては、特徴量ＤＢ１０８や世界座標系データベース１１５の情報も利用される。

なお、地図変換部１５５はカメラ座標から世界座標系に対応付いた地図上の座標に変換する機能を有し、地図重ね合わせ部１５６は、カメラの位置を地図上に重ねて表示する機能を有する。これにより、ユーザは、風景を撮影するだけで、ユーザ自信の現在地を把握することができるという効果がある。

図３は、端末Ｎのカメラ動画撮影部１０１で撮影された３つの映像フレームと現実空間との関係の一例を示す図である。現実空間として、ここでは屋外の複数のビルとマーカとが示されている。２０２はビル１０Ａに設置されたマーカＡ、２０３〜２０５はカメラ位置・向きを示す。２０１はカメラ位置・向き２０３からの撮像範囲、２０６はカメラ位置・向き２０４からの撮像範囲、２０７はカメラ位置・向き２０５からの撮像範囲、２０８は他のビルＤに設置されたマーカＢを示している。カメラ動画撮影部１０１で撮影された動画、すなわち各々、撮像範囲２０１、撮像範囲２０６、撮像範囲２０７に対応する、各映像フレーム２０９、２１０、２１１のデータは、逐一、サーバ１５に送信される。

［世界座標系データベースの作成・更新処理］
世界座標系データベース作成・更新処理について、図４〜図１２を参照して説明する。最初に、世界座標系データベース作成・更新処理を行うユニットの機能について説明する。図４において、カメラ動画撮影部１０１で撮影された動画の映像フレームから、自然特徴抽出部１０２にて自然特徴が抽出される。特徴フレームバッファ１０６にて、自然特徴量がフレーム毎にまとめられてバッファリングされる。これらフレーム単位のデータは、特徴ＤＢ１０８に蓄積されると同時に、特徴点のグループ化対応付け部１０７へ入力される。

特徴ＤＢ１０８内のデータ構造の一例を、図５に示す。フレーム番号は、映像フレームを示す番号である。画面上の点の座標は、フレーム内共通座標系におけるあるフレームでの特徴点を区別する番号（１，２，３，−）と、画面上での各特徴点の座標Ｘ，Ｙ（２次元）を示すデータ（１０，２０等）で構成される。それが特徴点の数だけフレームごとに格納される。

自然特徴抽出部１０２での、自然特徴の抽出方法として、ＳＩＦＴ特徴量（非特許文献１参照）やＳＵＲＦ特徴量（非特許文献２参照）、その他の公知の方法を用いることができる。いずれもロバストに抽出可能なスケール不変量として得られる。ただし、抽出される特徴量は、画像または映像フレーム中の座標が特定できる情報であれば、点や線分、その他の色・形状等のものでもよい。

特徴点のグループ化対応付け部１０７では、特徴点が小グループにまとめられ、連続したフレーム間で追跡されて対応付けが行われる。あるいは、連続したフレーム間での小グループの追跡が、遮蔽やカメラアングルの急な変更などで中断した場合、照合処理を行うことで離れたフレーム間での小グループ群の対応付けされる。また、特徴フレームバッファ１０６および特徴ＤＢ１０８から読みだされる任意の２つのフレーム間で小グループの入れ替え度合いの大小に応じて、２種類の対応付けデータが生成され、カメラとマーカの位置・推定部１０９へ入力される。マーカ識別部１０４からのマーカ識別情報とその座標を特徴点として扱う。なお、特徴点のグループ化対応付け部１０７については、図９を参照して改めて説明する。

カメラとマーカの位置・推定部１０９では、対応付けデータによって対応付けされた小グループ群を実空間上にはマーカは実在しないが計算上仮想的に定義された仮想マーカとして扱い、カメラの位置・姿勢およびマーカおよび仮想マーカの位置・姿勢を推定する。推定された位置・姿勢を示す座標データは世界座標系へのマッピング部１１３へ入力される。

この推定方法には、例えば非特許文献３に記載の公知の方法を用いることが出来る。

一方、カメラ動画撮影部１０１からの映像フレームは、マーカ検出部１０３へも入力されて、実空間上に設置されたマーカが検出される。さらに、検出されたマーカが表現している情報が、マーカ識別部１０４によって識別される。このマーカはＵＲＬや情報ＩＤなどのリンクやキーワード等を表現することが可能である。

このとき、必要に応じてマーカの関連情報も取得され、世界座標系へのマッピング部１１３へ送付される。すなわち、関連情報取得部１０５で、リンク情報であればリンク先の情報を、キーワード等であればそれを検索キーとして検索した情報をマーカ関連情報として、プロバイダ１６等からネット経由で取得する。関連情報取得部１０５は、システム外部のデータベースやＷｅｂ情報を遂次入手することも可能であるが、その内部にマーカ関連情報のデータベースを保有していてもよい。

また、カメラとマーカの位置・姿勢推定１０９で、フレーム毎の座標系（フレーム内共通座標系）が複数のフレーム間での共通座標系（フレーム間共通座標系）に変換される。取得されたマーカ関連情報が、テキストや画像のデータであれば、３次元的なＣＧオブジェクトに貼り付けられ、あるいは３次元的なＣＧオブジェクトであればサイズのスケールが調整されて、世界座標系へのマッピング部１１３へ送付される。

世界座標系へのマッピング部１１３では、位置と姿勢が世界座標系で既知のマーカを用いて、推定されたマーカおよび仮想マーカの座標を世界座標系へマッピングされる。マーカが既知であるか否かについては、マーカ識別情報を世界座標系ＤＢ１１５で検索し、登録されているか否かで確認する。すなわち、既知のマーカは、マーカ識別情報に対応付けて世界座標系での座標データを世界座標系ＤＢ１１５に登録しておくものとする。

もし、検出されたマーカが既知のマーカであった場合、そのマーカについてカメラとマーカの位置・姿勢推定部１０９で推定された相対的な位置・姿勢情報が、世界座標系として登録された位置・姿勢情報と同一であることが判明する。そのため、その相対的な位置・姿勢情報が世界座標系への位置・姿勢情報へ変換されるような変換処理を、未知のマーカおよび自然特徴に対しても適用することで、世界座標系へのマッピングを実現する。こうして得られた未知のマーカおよび自然特徴の世界座標系での座標データは世界座標系ＤＢ１１５へ登録される。

同様に、自然特徴抽出部１０２、特徴フレームバッファ１０６、特徴点のグループ化対応付け部１０７、カメラとマーカの位置・姿勢推定１０９を経由して世界座標系へのマッピング１１３に入力される自然特徴量のフレーム間の共通座標系（フレーム間共通座標系）も、その座標変換式で、世界座標へ変換し、世界座標系ＤＢ１１５へ格納する。

図６に、世界座標系ＤＢ１１５内の、特徴点座標のデータ構造の一例を示す。この例は、世界座標系が緯度、経度、高さで表現された例である。
特徴度合いとは、特徴点の抽出しやすさの指標で、高いほど確実に抽出しやすいことを示し、特徴点の照合の際の重みとして使われる（SIFT、SURF特徴量を参照）。
照合回数は、その特徴点の（撮影回数−１）と同じ。照合して、成功するたびに照合成功数が増え、特徴点の信頼度が増していく。
特徴点の信頼度＝照合成功数／照合回数
照合の頻度を減らして計算速度を高速化、効率化するような場合に、特徴点の信頼度が高い特徴点が優先的に照合に利用される。
登録日時は、経時変化で変わりうるため（ビルがなくなったとか、印刷がかすれたとか）、情報の古さを比較できる。情報を更新する目安となる。
関連情報ＩＤは、次のテーブルのエントリーを示す。

図７に、世界座標系ＤＢ内のデータ構造の例を示す。このデータ構造は、図８に示した、ビルの横に、関連情報取得部１０５で取得されたマーカに関連する情報として、仮想的な３Ｄオブジェクト（ロケット）が配置された例に対応している。

なお、本発明において、マーカの点は、「マーカ特徴点」、マーカが無い点は、「自然特徴点」、両者合わせて、「特徴点」と定義する。
姿勢方向Ｘ，Ｙ，Ｚは、オブジェクトの配置の基準となる平面に対する法線ベクトルを示す。基準点IDは、その平面に含まれる特徴点の一つを示す。オブジェクトを配置する中心点付近の特徴点を採用する。マーカ構成点ＩＤは、マーカを構成する特徴点を示す。オブジェクトＩＤは、２Ｄや３Ｄのオブジェクトを指し示す。例えば、ＡＲ表示を行うためのロケットの３ＤデータがオブジェクトＩＤの一例である。URLは、プロバイダ等、関連情報IDに対応づけられるその他の情報への参照先を示す。

図８に示したように、マーカＡと関連づけられた道路上の自然特徴点（点ID=５）の位置で、道路の法線方向にＡＲ表示を行うロケットの向きが向けられている。すなわち、図８において、７０１は、マーカＡのマーカ特徴点（点ID=１）、７０２はマーカＡのマーカ特徴点（点ID=２）、７０３は白線の自然特徴点（点ID=５）、７０４は道路、７０５はマーカＡのマーカ特徴点（点ID=３）、７０６はマーカＡ、７０７はマーカＡのマーカ特徴点（点ID=４）、７０８はビル、７０９は道路の法線ベクトル、７１０はＡＲ表示を行う３Ｄオブジェクト（ロケット、オブジェクトID=１）を示している。

世界座標系へのマッピング１１３では、マーカ識別部１０４、特徴点のグループ化対応付け部１０７、カメラとマーカの位置・姿勢推定１０９を経由して、マーカのフレーム間共通座標（１）と識別情報が入力される。世界座標ＤＢ１１５では、マーカの世界座標（２）と識別情報が格納されており、マーカの識別情報が一致したものについて、フレーム間共通座標（１）と世界座標（２）が実は同一のものであるので、フレーム間共通座標（１）から世界座標（２）への座標変換式を作成する。

このようにして、それ以前に世界座標系での座標データが未知のマーカがあっても、既知のマーカとの関係において世界座標系での座標データを確定して登録することによって未知のマーカが既知となる。

次に、図９を参照して特徴点のグループ化対応付け部１０７について説明する。
図９は、特徴点のグループ化対応付けを行うブロックの処理手順を示すＰＡＤ図である。

特徴点のグループ化対応付け部９０１は、以下のステップで処理される。まず初期化処理として、状態を「追跡」にセットする（ステップ９０２）。下記の特徴点フレームバッファ１０６のデータを全て処理するまで繰り返す（ステップ９０３）。ステップ９０５では、特徴点フレームが特徴点フレームバッファ１０６から取得される。ステップ９０６にて、近傍の３点以上の特徴点で小グループを生成し、フレーム内の全ての特徴点を小グループ群にまとめ上げる。ステップ９０７にて、小グループを連続するフレーム間で追跡し、対応付けのための移動ベクトルを算出する。

ステップ９０８では、状態が判定され、状態が「追跡」であれば、次のステップ９０９へ進み、状態が「追跡中断」であれば、ステップ９１０へ進む。ステップ９０９では、ステップ９０７の処理結果を判定して追跡不能を検出した場合、ステップ９１４へ進む。ステップ９１４では、直前のフレームの小グループ群を「保存Ａ」として保存し、ステップ９１５にて状態を「追跡中断」へ遷移させる。次の繰り返し処理にて、ステップ９０８で状態が「追跡中断」であった場合、ステップ９１０へ進む。ステップ９１０では、現在のフレームの小グループ群と保存した小グループ群「保存Ａ」とを照合し、ステップ９１１にて合致と判定した場合、ステップ９１２にて「保存Ａ」からの対応付けを行った移動ベクトルを算出する。ステップ９１３にて、状態を「追跡」へ遷移させる。

ステップ９０４では、用意する特徴点フレームが尽きるまで次の処理を繰り返す。ステップ９１６では、移動ベクトルの連鎖によって連なる特徴点フレームから、２つの特徴点フレームを用意する。特徴点フレームの選び方として、入替率算出が未処理の任意の２つの特徴点フレームのペアを用意することもできるが、組み合わせが膨大になる場合には、マーカ識別部１０４からのマーカ識別情報とその座標を含む複数のフレームと、その間に並ぶフレームからサンプリングして得られるフレームを用意してもよい。ステップ９１７では、特徴点の入替率を算出する。なお、入替率は、用意された1つ目のフレームに存在する特徴点の全数に対する、１つ目のフレームから２つ目のフレームへ移動ベクトルによって対応付かない特徴点の数の比率と定義する。ステップ９１８にて、算出された入替率がＸ％以下の場合、ステップ９１９にて特徴点フレームのペアとその間の移動ベクトルを対応付けデータ出力１として出力する。ステップ９１８にて、Ｘ〜Ｙ％の場合、ステップ９２０にて特徴点フレームのペアとその間の移動ベクトルを対応付けデータ出力２として出力する。なお、ＸおよびＹの値はＸ＜Ｙである。

Ｘの値は、カメラとマーカの位置・姿勢推定部１０９にて、マーカや特徴点の位置・姿勢の推定に使用されることを想定したもので、マーカや特徴点の多くが同じフレームに含まれるような異なる視点のフレームを選び出すために設定する。よって、位置・姿勢の推定精度を高めるために視差が十分にあるが極力多くのマーカや特徴点が共通に含まれるように、Ｘの値は小さく設定される。Ｙの値は、カメラとマーカの位置・姿勢推定部１０９にて、同一フレームに存在しないマーカを含む複数のフレームを、移動ベクトルの連鎖でつなぐための特徴点フレームを選びだすために設定する。間をつなぐ特徴点フレームの枚数が増えると、誤差が蓄積して位置・姿勢の推定精度が低下するため、極力少ない枚数となるように、Ｙの値は大きく設定される。ＸおよびＹの値は選び出される特徴点フレーム数の枚数等に応じて動的に変更してもよい。

ここで、移動ベクトルと対応付けデータとの関係を図１０の模式図を用いて説明する。１００１は、ある特徴点フレームにおける一つの特徴点を示す。１００３は、別の特徴点フレームにおける同じ特徴点を示す。この特徴点は１００１の位置から１００３の位置へ移動したことを示す。上記の移動ベクトルとは、この移動の向きと長さを示す１００２の情報のことである。一方、対応付けデータとは、特徴点フレームを特定する情報と、その特徴点を特定する情報として１００１のような座標情報と、その移動ベクトルで構成される。

以上の手法によれば、複数のマーカが同一フレームに含まれないような撮影状況においても、それらのマーカの相対的な位置・姿勢関係を、補助マーカを用いずに特定することができる。

本発明によれば、それ以前に世界座標系での座標データが未知のマーカがあっても、既知のマーカとの関係において世界座標系での座標データを確定して登録することによって未知のマーカが既知となる。また、現在のカメラの位置・姿勢も世界座標系へマッピングする。

世界座標系ＤＢ作成に基づく、本発明の効果を、図１１、図１２で説明する。ここでは、自然特徴を介して映像中の同一フレーム内に存在しない複数のマーカの位置・姿勢の相互の関係を特定する機能について述べる。

図１１において、カメラ位置・向き２０３のときには、撮像範囲２０１が撮影されており、その際のマーカＡ２０２および自然特徴を示したものが特徴点フレーム２０９である。カメラ位置・向き２０４のときには、撮像範囲２０６が撮影されており、その際の自然特徴を示したものが徴点フレーム２１０である。また、カメラ位置・向き２０５のときには、撮像範囲２００７が撮影されており、その際のマーカＢ２０８および自然特徴を示したものが特徴点フレーム２１１である。現実空間にマーカは２つあるが、カメラのフレーム２０９、２１１内には１つしか見えていない。一方、カメラのフレーム２１０内にはマーカが１つも見えていない。本発明によれば、特徴点フレーム２０９の中ではマーカＡと自然特徴点群（ＦＡとする）との位置・姿勢の関係が特定される。一方、特徴点フレーム２１１の中ではマーカＢと自然特徴点群（ＦＢとする）との位置・姿勢の関係が特定される。そして、それらの間にある特徴点フレーム２１０の中では自然特徴点群ＦＡと自然特徴点群ＦＢとの位置・姿勢の相互の関係が特定される。このようにして、中間の特徴点フレーム２１０を介して、現実空間で離れた位置にある２つのマーカＡ２０２とマーカＢ２０８の位置・姿勢の関係が特定される。

また、図１２は、移動ベクトルと対応付けデータとの関係を説明する模式図である。ここで想定している状況は、図１１の場合と同様、道路前にビルが４棟並んでいる風景である。マーカはＡ，Ｂの２つ（２０２と２０８）あるが、１つの映像として取得出来るフレーム２０１内には１つのマーカＡ２０２しか見えていない。しかも、見えているマーカＡは遠すぎるため、映像中では小さく、マーカ識別ができない。本発明によれば、世界座標系データベース１１５内に、事前に１００３の自然特徴点群とマーカＡ，マーカＢとの位置関係が格納されている。従って、マーカＡ２０２もマーカＢ２０８もマーカ識別できていない場合であっても、自然特徴点群の照合により、マーカＡとマーカＢの位置が推定できるため、そこに関連情報（オブジェクト）を重ねることが出来る。

このように、同一フレームに含まれない複数のマーカの相対的な位置・姿勢関係を、補助マーカを用いずに特定することができる世界座標系データベースを構築することができる。また、マーカ自体を撮影できなくとも、あるいは、マーカの検出または識別に失敗した場合でも、マーカ周辺を撮影することで、そのマーカの位置・姿勢を推定可能な世界座標系データベースを提供することができる。

また、世界座標系データベースが複数の端末利用者によって共有され、繰り返し利用されることにより、サービス利用者がさまざまな位置からマーカやマーカ周辺を撮影してサーバへ登録するたびに、自然特徴による、その場における空間モデルが世界座標系で構築され、多くのサービス利用者が利用するたびにデータが増え、データベースの信頼度が増す。

［関連情報と映像との重ね合わせ処理］
次に、上記世界座標系データベース１１５を利用した、サーバ１５における関連情報とカメラの映像との重ね合わせ処理機能について説明する。この、関連情報と映像との重ね合わせ処理には、以下に述べるように、状況に応じた複数の方式がある。カメラの映像とマーカの関係等に応じていずれか最適の方式が選択される。

まず、カメラのフレーム２０９、２１１のように、マーカが視野にあり、しかも、マーカ識別が成功したときに、カメラ動画と関連情報の２次元的な重ね合せ表示する処理方式の例を、図１３に示す。

カメラ座標系への投影部１１７では、世界座標系へマッピングされたカメラ位置・姿勢およびそこから撮影されているマーカ関連情報の世界座標系での位置・姿勢が分かるため、マーカ関連情報の位置・姿勢をカメラ座標系へ投影変換を行う。マーカ関連情報出力の経路１１８により、関連情報取得部１０５のマーカ関連情報はカメラ動き補完部１１０へ直接入力される。

カメラ動き補完１１０は、カメラの素早い揺れや動きに、マーカ関連情報を追随させるためのものである。例えば、特徴フレームバッファ１０６の２次元的な特徴点にマーカ関連情報の座標を追随させる方法や、６軸の加速度センサを搭載した端末であれば、カメラの姿勢の変化に応じてマーカ関連情報の座標を追随させる方法などを使うことが出来る。

マーカ関連情報は、映像との重ね合せ部１１１で、カメラ動画撮影された映像とタイミング調整しながら重ね合わされ、表示部１１２にて表示される。

この方式では、マーカが視野にありマーカ識別が成功したときに、カメラ動画と関連情報との２次元的な重ね合せ表示が出来る。ただし、映像の３次元構造は不明なので、マーカの情報を２次元的に重ね合せることしかできない。関連情報を、例えば単なるテキスト情報の形で、吹き出しのように表示する際には有用である。

次に、図１４に、カメラのフレーム２０９、２１１のように、マーカが視野にあり、しかも、マーカ識別が成功したときに、さらに、マーカの関連情報の３次元的な重ね合せ表示をマーカに対して行う処理方式の例を示す。マーカの位置・姿勢を推定し、カメラ動き補完１１０に利用するための、カメラとマーカの位置・姿勢推定部１０９が追加されている。カメラ動き補完１１０では、３次元オブジェクトをカメラ座標系での位置・姿勢に変換する。マーカの３次元的な位置と姿勢が分かっているため、関連情報として３次元オブジェクトをマーカの位置と姿勢に合わせて、まるで実際にその場に３次元オブジェクトが置かれているかのように配置することが可能である。なお、カメラとマーカの位置・姿勢推定部１０９に代えて、６軸加速度センサを使ってカメラ動きを検出する方法もある。

３次元オブジェクトは、動くオブジェクト（フィギュアとかアバターとか）であってもよく、その場合の更新された情報がデータフロー１１８を介してカメラ動き補完１１０に供給される。

次に、図１５に、カメラのフレーム２１０のようにマーカが視野に無い場合や、カメラのフレーム２０９、２１１のようにマーカが視野にあるにも拘わらずそれを検出できない場合の処理方式について説明する。これらの場合は、視野近くのマーカの関連情報や世界座標系ＤＢの座標に対応づけられた情報を利用して、映像と重ね合わせ表示する。この例では、マーカ周辺を撮影することで、そのマーカの位置・姿勢を推定し、オブジェクトを重ね合せて映像を表示する。

例えば、マーカの検出または識別に失敗したケース、およびまだカメラ映像中にはマーカ全体が映されていないケースにおいては、世界座標系での照合部１１４にて、カメラ映像からの自然特徴の世界座標系での位置が照合され、マーカ位置推定部１１６にて、その近辺に存在するマーカが特定される。その特定されたマーカの情報を識別されたマーカ情報の代わりに関連情報取得部１０５に入力させる。こうして、マーカが識別できなくとも、あるいは映されていなくとも、マーカ関連情報を出力することができる。

この例では、カメラ動画撮影部１０１、自然特徴抽出部１０２、特徴フレームバッファ１０６と、特徴点のグループ化対応付け部１０７、及びカメラとマーカの位置・姿勢推定部１０９で、フレーム間共通座標系が用いられる。カメラとマーカの位置・姿勢推定部１０９では、特徴フレームを使ってカメラの動きを検出する。この機能に代えて、６軸加速度センサを使ってカメラ動きを検出する方法もある。また、フレーム間共通座標系を用いて、世界座標系データベース１１５での照合を行い、マーカ位置と識別子を取得する機能１１４が追加されている。すなわち、特徴点群を世界座標系で照合し、近辺のマーカ位置と識別子を取得する。また、その照合結果を利用して、カメラフレームでのマーカ位置を推定する機能１１６も追加されている。さらに、３次元オブジェクトをカメラ座標系での位置・姿勢に変換する機能１１７も追加されている。３次元オブジェクトは、動くオブジェクト（フィギュアとかアバターとか）であってもよく、その場合の更新された情報がデータフロー１１８で供給される。

図１６に、マーカ識別に成功したときに、カメラの撮影映像に無い情報で、かつ、マーカの関連情報や世界座標系ＤＢの座標に対応づけられた情報を、映像と重ね合わせて端末に表示する構成例を示す。この例では、マーカ識別結果に基く情報よりも、よりきめ細かい豊富な情報をユーザに提供することができる。

図１７に、マーカ識別に失敗した場合に、マーカ周辺の撮影映像を利用することで、そのマーカの位置・姿勢を推定し、オブジェクトを重ね合せて表示した映像の例を示す。１５０３はフレーム、710はマーカＡ２０２と関連付いたオブジェクト（ロケット）、１５０４はマーカＢ２０８と関連付いた関連情報（文章）である。この例では、マーカＡ２０２の識別に失敗したにも拘わらすマーカＡ２０２に対応するオブジェクト（ロケット）７１０のＡＲ表示がなされている。また、フレーム１５０３には入っていないもののフレーム１５０３の直ぐ近くにあるマーカＢ２０８に関する文章情報１５０４も、フレーム１５０３内に重ねて表示されている。

このように、本実施例によれば、マーカが視野にない、あるいはマーカ識別をしなくても、視野近くのマーカの関連情報や世界座標系ＤＢの座標に対応づけられた情報を、映像と重ね合わせ表示できる。周辺の３次元構造が分かっているため、視野の近くのマーカの関連情報やその他の情報として３次元オブジェクトを３次元空間に合わせて、まるで実際にその場に置かれているかのように配置することが可能である。また、マーカの関連以外の３次元オブジェクトを世界座標系ＤＢの座標に対応付けて格納しておくことで、マーカ以外の空間にも３次元オブジェクトを重ね合せて表示することができる。この点が、世界座標系ＤＢを使う最大のメリットである。

以上述べた実施の形態によれば、複数のマーカが同一フレームに含まれないような撮影状況においても、それらのマーカの相対的な位置・姿勢関係を、補助マーカを用いずに特定することができる。

また、マーカ自体を撮影できなくとも、あるいは、マーカの検出または識別に失敗した場合でも、マーカ周辺を撮影することで、そのマーカの位置・姿勢を推定することができる。そして、実空間の撮影映像におけるマーカの位置・姿勢に合わせた形で、マーカ関連情報である２次元または３次元のＣＧオブジェクトを撮影映像に重ねて表現することができる。

端末のユーザにとっては、マーカ自体を撮影できなくとも、マーカ関連情報やその他の情報について、ＡＲ表示により提供を受けることができ。他方、プロバイダにとっては、マーカをきめ細かく配置していない場合で、端末のユーザがそのマーカの周辺を撮影することでサービスの提供が可能になる利点がある。また、サービス利用者がさまざまな位置からマーカやマーカ周辺を撮影してサーバへ登録する、換言すると、多くのサービス利用者が利用するたびに、世界座標系データベースのデータが増え、データベースの信頼度が一層増し、マーカ関連情報やその他の情報についてのサービスが充実されるという、端末のユーザ及びプロバイダの双方にとっての利点もある。

実施例１のシステム構成例によれば、端末は動画の撮影および表示の処理だけでよいが、通信負荷が高くなる。また、端末の数が多い場合には、サーバ負荷が高くなる。そこで、通信負荷やサーバ負荷を軽減した実施例について述べる。

図１７は、本発明の第２の実施例になる、世界座標系データベース作成および利用を行うシステムを示した機能モジュールの一例を示すブロック図である。本実施例では、サーバ・クライアント間の通信データとして、特徴点データやマーカ関連情報など処理済みのデータを送受するように構成されている。端末には、図１に示した、カメラ１０１と、自然特徴抽出部１０２と、マーカ検出部１０３と、マーカ識別部１０４と、関連情報取得部１０５と、カメラ動き補完部１１０と、映像との重ね合せ部１１１と、表示部１１２と、ＡＲ表示処理機能１３０とが搭載される。サーバには、それ以外の機能部位が搭載される。

以上のシステム構成によれば、映像に対する処理を端末で行うことによって通信データとして映像を送受する必要がなくなるため、実施例１に比較して、端末負荷は高まるが、通信負荷およびサーバ負荷が軽減される。

ここでは、通信負荷およびサーバ負荷をさらに軽減した実施例について述べる。サーバ・クライアント間の通信データとして、マーカ関連情報と推定済みの位置・姿勢情報を送受する場合のシステム構成を示す。端末には、図１における、カメラ動画撮影部１０１と、自然特徴抽出部１０２と、マーカ検出部１０３と、マーカ識別部１０４と、関連情報取得部１０５と、特徴フレームバッファ１０６と、特徴点のグループ化対応付け部１０７と、カメラとマーカの位置・姿勢推定部１０９と、カメラ座標系への投影部１１７と、カメラ動き補完部１１０と、映像との重ね合せ部１１１と、表示部１１２が搭載される。サーバには、それ以外の機能部位が搭載される。サーバは基本的に世界座標系データを扱う部分と、特徴点フレームＤＢを扱う部分が搭載される。

以上のシステム構成によれば、ほとんどの処理を端末で行うため、実施例１、２に比較して、端末負荷は高まるが通信負荷およびサーバ負荷が軽減される。

以上のいずれの実施例のシステム構成においても、サービス利用者がさまざまな位置からマーカやマーカ周辺を撮影してサーバへ登録するたびに、自然特徴による、その場における空間モデルが世界座標系で構築される。

なお、カメラおよび表示部は端末に、世界座標系データを扱う部分はサーバに配置する必要があるが、それ以外の機能を端末やサーバのいずれに持たせるかは、用途、端末やサーバの処理能力等に応じて適宜設定すればよく、上記実施例の配置例に限定されるものではない。

本発明は、例えば、携帯電話やモバイル端末、ヘッドマウントディスプレー等を介して見ている対象物の情報を提供する情報検索サービスおよび対象物の補足情報を提供することによる作業支援システムや等に利用可能である。

１０ ビル、
１１ 端末Ａ、
１２ 端末Ｂ、
１３ 端末Ｎ、
１４ 通信ネットワーク、
１５ サーバ、
１６ プロバイダ、
１０１ カメラ（動画撮影部）、
１０２ 自然特徴抽出部、
１０３ マーカ検出部、
１０４ マーカ識別部、
１０５ 関連情報取得部、
１０６ 特徴フレームバッファ、
１０７ 特徴点のグループ化対応付け部、
１０８ 特徴量ＤＢ、
１０９ カメラとマーカの位置・姿勢推定部、
１１０ カメラ動き補完部、
１１１ 映像との重ね合せ部、
１１２ 表示部、
１１３ 世界座標系へのマッピング部（世界座標系変換部）、
１１４ 世界座標系での照合部、
１１５ 世界座標系データベース（世界座標系ＤＢ）、
１１６ マーカ位置推定部、
１１７ カメラ座標系への投影部、
１１８ マーカ関連情報出力の一経路、
１３０ ＡＲ表示処理機能、
２０１ カメラ位置・向き２０３からの撮像範囲、
２０２ マーカＡ、
２０３ カメラ位置・向き２０３、
２０４ カメラ位置・向き２０４、
２０５ カメラ位置・向き２０５、
２０６ カメラ位置・向き２０４からの撮像範囲、
２０７ カメラ位置・向き２０５からの撮像範囲、
２０８ マーカＢ、
２０９ 撮像範囲２０１の特徴点フレーム、
２１０ 撮像範囲２０６の特徴点フレーム、
２１１ 撮像範囲２０７の特徴点フレーム、
７０１ マーカＡのマーカ特徴点（点ID=1)、
７０２ マーカＡのマーカ特徴点（点ID=2)、
７０３ 白線の自然特徴点（点ID=5)、
７０４ 道路、
７０５ マーカＡのマーカ特徴点（点ID=3)、
７０６ マーカＡ、
７０７ マーカＡのマーカ特徴点（点ID=4)、
７０８ ビル、
７０９ 道路の法線ベクトル、
７１０ ３Ｄオブジェクト（ロケット）（オブジェクトID=1)、
１００１ ある特徴点フレームにおける特徴点、
１００２ 移動ベクトル、
１００３ 別の特徴点フレームにおける特徴点。

Claims (20)

1. 端末のカメラで撮影された映像を受信する機能と、
   前記映像を構成する複数の映像フレームについて、各映像フレーム内の自然特徴量を抽出し、特徴量データベースに蓄積する特徴抽出部と、
   ＡＲ関連情報を特定するための指標を、前記各映像フレームから検出する指標検出部と、
   検出された前記指標を識別する指標識別部と、
   前記複数の映像フレームの前記自然特徴量の間の対応付けを行う特徴グループ化対応付け部と、
   前記カメラと前記指標との相対的な位置および姿勢を推定する位置・姿勢推定部と、
   前記位置・姿勢が既知の前記指標を基準にして、前記映像フレームにおける未知の指標の座標および前記自然特徴量の座標を、世界座標系に変換する世界座標系変換部と、
   変換された前記世界座標系の座標データ及び関連する情報を蓄積する世界座標系データベースとを備えた
   ことを特徴とするサーバ。
2. 請求項１において、
   前記指標は、前記カメラによる実世界の撮影映像と重ねてＡＲ表示を行うための関連情報を提供する機能を有する
   ことを特徴とするサーバ。
3. 請求項１において、
   前記特徴グループ化対応付け部は、
   前記映像フレーム内における３つ以上の前記自然特徴量を小グループ化し、前記自然特徴量の小グループを複数の前記映像フレーム間で追跡することで対応付けを行う
   ことを特徴とするサーバ。
4. 請求項３において、
   前記特徴グループ化対応付け部は、
   前記連続したフレーム間での前記小グループの追跡ができない場合、離れた前記フレーム間での前記小グループ群の照合処理による前記対応付けを行う
   ことを特徴とするサーバ。
5. 請求項３において、
   前記特徴グループ化対応付け部は、
   前記フレームから入れ替わる特徴量の数に応じて、対応付けデータを仕分けして出力する
   ことを特徴とするサーバ。
6. 請求項３において、
   前記位置・姿勢推定部は、前記対応付けデータによって対応付けされた前記小グループ群を実空間上には前記指標は実在しないが計算上仮想的に定義された仮想指標として扱い、前記カメラの位置・姿勢および前記仮想指標の位置・姿勢を推定する
   ことを特徴とするサーバ。
7. 請求項６において、
   前記位置・姿勢推定部は、前記映像の１つのフレーム内で共通するフレーム内共通座標系、または前記複数のフレーム間で共通するフレーム間共通座標系で、前記映像フレーム内の未知の指標および前記自然特徴量の座標を定義する
   ことを特徴とするサーバ。
8. 請求項７において、
   前記世界座標系変換部は、前記フレーム間共通座標系で定義された前記映像フレーム内の未知の指標および前記自然特徴量の座標を、前記世界座標系に変換する座標変換式を有する
   ことを特徴とするサーバ。
9. 請求項６において、
   前記世界座標系変換部は、位置と姿勢が前記世界座標系で既知の指標を用いて、推定された前記仮想指標の位置・姿勢を、前記世界座標系の座標に変換する
   ことを特徴とするサーバ。
10. 請求項９において、
    指標の位置と姿勢が前記世界座標系で既知の２つのフレームを用いて、前記各フレーム内の前記指標及び前記自然特徴量を利用して、前記２つのフレームの間に存在するフレームの前記自然特徴量位置・姿勢を特定する
    ことを特徴とするサーバ。
11. 請求項１において、
    前記端末から受信した新たな前記映像に基づく情報を逐次追加しながら前記世界座標系データベースを更新する
    ことを特徴とするサーバ。
12. 請求項１において、
    検出された前記指標に関連するＡＲ表示を行うための関連情報を取得する関連情報取得部と、
    前記カメラの動きに前記指標の関連情報を追随させるためカメラ動き補完部と、
    前記カメラで撮影された映像と前記指標に関連する関連情報とを重ね合わせ表示するための処理を行う重ね合せ処理部とを備えた
    ことを特徴とするサーバ。
13. 請求項１２において、
    前記カメラで撮影された映像フレームから前記指標が検出または識別されない場合に、前記自然特徴の位置を前記世界座標系データベースで照合し、前記指標位置を推定する位置・姿勢推定部を備え、
    前記重ね合わせ処理部は、前記推定された指標に基づく関連情報を前記カメラで撮影された映像と重ね合わせる
    ことを特徴とするサーバ。
14. 請求項１２において、
    前記カメラで撮影された映像フレームから前記指標が検出された場合に、該指標を前記世界座標系データベースで照合し、前記関連情報に加えて前記世界座標系データベースの情報を前記カメラで撮影された映像と重ね合わせる
    ことを特徴とするサーバ。
15. 請求項１３において、
    前記指標の関連情報を、前記カメラの座標系での位置・姿勢に変換する機能を備えている
    ことを特徴とするサーバ。
16. 請求項１３において、
    前記カメラで撮影された前記映像フレーム外でかつ該の直ぐ近くにある前記指標の関連情報を前記世界座標系データベースで照合し、
    該関連情報を前記カメラで撮影された映像と重ね合わせる
    ことを特徴とするサーバ。
17. 請求項１２において、
    前記カメラ動き補完部は、前記世界座標系へマッピングされた前記カメラ位置・姿勢およびそこから撮影されている前記指標の関連情報の前記世界座標系での位置・姿勢を前記世界座標系データベースで参照し、前記指標の関連情報の位置・姿勢を前記カメラの座標系へ投影変換する
    ことを特徴とするサーバ。
18. 請求項６において、
    前記世界座標系変換部は、位置と姿勢が前記世界座標系で既知の指標を用いて、前記カメラの座標を共通の座標系に変換し、
    前記カメラ座標から前記世界座標系に対応付いた地図上の座標に変換し、
    前記カメラの位置を前記地図上に重ねて表示する
    ことを特徴とするサーバ。
19. ネットワークを介してサーバに接続可能に構成された端末であって、
    前記サーバは、端末のカメラで撮影された映像を構成する複数の複数の映像フレームの自然特徴量の間の対応付けを行う特徴グループ化対応付け部と、特徴量データベースと、前記カメラと指標との相対的な位置および姿勢を推定する位置・姿勢推定部と、前記位置・姿勢が既知の前記指標を基準にして前記映像フレームにおける未知の指標の座標および前記自然特徴量の座標を世界座標系に変換する世界座標系変換部と、変換された前記世界座標系の座標データ及び関連する情報を蓄積する世界座標系データベースとを備えており、
    前記端末は、
    前記カメラで映像を撮影する機能と、
    前記映像を構成する前記複数の映像フレームについて、各映像フレーム内の前記自然特徴量を抽出し、前記サーバの前記特徴量データベースに蓄積する特徴抽出部と、
    ＡＲ関連情報を特定するための前記指標を、前記各映像フレームから検出する指標検出部と、
    検出された前記指標を識別する指標識別部と、
    検出された前記指標に関連するＡＲ表示を行うための関連情報を取得する関連情報取得部と、
    前記映像フレームにおける未知の指標の座標および前記自然特徴量の座標の情報を前記サーバへ送信し、前記サーバの世界座標系変換部で、前記位置・姿勢が既知の前記指標を基準にして、世界座標系に変換し前記世界座標系データベースに蓄積する機能と、
    前記位置・姿勢推定部の処理結果を受けて、前記カメラの動きに前記指標の関連情報を追随させるためカメラ動き補完部と、
    前記サーバの前記位置・姿勢推定部及び前記世界座標系変換部の処理結果を受けて、前記カメラで撮影された映像と前記指標に関連する関連情報とを重ね合わせ表示するための処理を行う重ね合せ処理部と、
    表示部とを備え、
    前記カメラで撮影された映像と前記指標に関連する関連情報とを重ね合わせて前記表示部に表示する
    ことを特徴とする端末。
20. ネットワークを介してサーバに接続可能に構成された端末であって、
    前記サーバは、特徴量データベースと、位置・姿勢が既知の指標を基準にして端末のカメラで撮影された映像を構成する複数の映像フレームにおける未知の指標の座標および自然特徴量の座標を世界座標系に変換する世界座標系変換部と、変換された前記世界座標系の座標データ及び関連する情報を蓄積する世界座標系データベースとを備えており、
    前記端末は、
    前記カメラで映像を撮影する機能と、
    前記映像を構成する前記複数の映像フレームについて、各映像フレーム内の前記自然特徴量を抽出し、前記サーバの前記特徴量データベースに蓄積する特徴抽出部と、
    ＡＲ関連情報を特定するための前記指標を、前記各映像フレームから検出する指標検出部と、
    検出された前記指標を識別する指標識別部と、
    検出された前記指標に関連するＡＲ表示を行うための関連情報を取得する関連情報取得部と、
    前記複数の映像フレームの前記自然特徴量の間の対応付けを行う特徴グループ化対応付け部と、
    前記映像フレームにおける未知の指標の座標および前記自然特徴量の座標の情報を前記サーバへ送信し、前記サーバの世界座標系変換部で、前記位置・姿勢が既知の前記指標を基準にして、世界座標系に変換し前記世界座標系データベースに蓄積する機能と、
    特徴量データベースと、前記カメラと前記指標との相対的な位置および姿勢を推定する位置・姿勢推定部と、
    前記カメラの動きに前記指標の関連情報を追随させるためカメラ動き補完部と、
    前記世界座標系変換部の処理結果を受けて、前記カメラで撮影された映像と前記指標に関連する関連情報とを重ね合わせ表示するための処理を行う重ね合せ処理部と、
    表示部とを備え、
    前記カメラで撮影された映像と前記指標に関連する関連情報とを重ね合わせて前記表示部に表示する
    ことを特徴とする端末。

Images