JP2008052403A - ２次元位置情報がコード化された模様、当該模様を用いた位置同定システム及び方法 - Google Patents

Abstract

【課題】
周囲の景観を乱すことなく、ユーザが特別に意識することがない２次元情報がコード化された模様を提供する。
【解決手段】
複数の図形群を２次元上に配置して形成された模様であって、各図形群は、共通の所定数で所定種類の図形から構成されており、模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能である。
【選択図】図４

Description

本発明は、２次元位置情報がコード化された模様および当該模様を利用した位置同定システム及び方法に関するものである。

近年、現実世界へ情報を重畳表示するAugmented Reality技術やロボットの位置に応じた制御、美術館・博物館のナビゲーション・アノテーション表示など、屋内での位置情報に応じたアプリケーションやサービスの要求が高まっている。屋内ではGPSが利用できないため、これまで様々な手法による位置同定システムが研究されてきた（非特許文献１乃至５、７）。

その一つとして屋内GPS（非特許文献１）やポヒマスセンサ（非特許文献２）などの赤外線や磁場などを用いて通信を行う手法がある。しかし、これらのシステムは高精度なものの、高価なこと、センサの設置やキャリブレーションの手間、ユーザへのセンサ装着の負担などの問題があり、一般的に広く使用されるまでには至っていない。

その一方で、カメラを用いた画像処理による位置同定システムが考案されている。画像処理による数多くの手法の中で、環境中に画像マーカを貼り付け、それらをカメラで映すことにより位置計測を行う手法がある（非特許文献３乃至５）。この手法では環境にはマーカを貼るだけでよく、カメラ1個でリアルタイムに位置の計算ができるため容易にシステムを構築できるという利点がある。しかし、既存の画像マーカによるシステムではARToolkit（非特許文献６）など枠のある、外観の無機質なマーカを用いており設置により周囲の景観を乱してしまう。これらのマーカはデザイン性を考慮しているとは言えず、位置測位システムを使用していることをユーザにどうしても意識させてしまう。また、類似の技術が特許文献１に記載されている。

景観の乱れを配慮し、再帰性反射材と赤外線カメラを用いたシステムも研究されている（非特許文献７）。しかし、再帰性反射材でマーカを作る際の手間や普段は使用しない赤外線カメラという特殊な機器の使用が普及の妨げになると考えられる。
特開２００５−３６５８７ Indoor-GPS’s HP: http://www.indoorgps.com/ Polhemus sensor’s HP: http://www.polhemus.com/ G. Baratoff, A. Neubeck, and H. Regenbrecht, "Interactivemulti-marker calibration for augmented reality applications", ISMAR 2002,pp.107-116, 2002. L. Naimark and E. Foxlin, "Circular data matrix fiducial system androbust image processing for a wearable vision-inertial self-tracker",ISMAR2002, pp.27-36, 2002. 羽原寿和、町田貴史、 清川清、 竹村治雄、"ウェアラブルPC のための画像マーカを用いた広域屋内位置検出機構"、電子情報通信学会技術研究報告、 ITS2003-76、2004. 加藤博一、 Mark Billinghurst、 浅野浩一、 橘啓八郎、 "マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"、 日本VR学会論文誌、Vol.4、 No.4、 pp.607-616, 1999. 中里祐介、神原誠之、 横矢直和、 "不可視マーカを用いたウェアラブルARシステムの実環境における実証実験"、 電子情報通信学会技術研究報告、PRMU2004-135, pp. 7-12, 2004.

本発明の目的は、周囲の景観を乱すことなく、ユーザが特別に意識することがない２次元情報がコード化された模様を提供することにある。

本発明の他の目的は、簡単な構成でありながら、ユーザが無意識的に利用できてユーザや物体の位置を同定することができる、システム及び方法を提供することにある。

本発明が採用した２次元位置情報がコード化された模様は、複数の図形群を２次元上に配置して形成された模様であって、各図形群は所定数の図形からなると共に、各図形は各図形群間で共通の形状を有しており、模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、各ＩＤは、図形群を構成する少なくとも一つの図形の配向、大きさ、色の少なくとも一つを各図形群間で異ならしめることで、画像処理により識別可能である。各図形群が共通の形状の図形を備えることで、複数の図形群を２次元上に配置して形成された模様は意匠として周囲の景観を乱すことがない。本発明に係る２次元位置情報がコード化された模様は、例えば、壁紙、カーペット、タイル等のデザインとして具現化され得る。

一つの態様では、図形群を構成する所定数の図形は、互いに異なる形状を備えた所定数の種類の図形である。各図形群を構成する所定数の図形は同じ形の図形を有していてもよい。例えば、３種類で４個の図形から図形群を構成してもよい。また、図形群を構成する所定数の図形の一部がIDを形成しなくてもよい。また、各図形群に割り当てられた２次元領域内に、IDを構成しない他の図形が含まれていてもよい。

一つの好ましい態様では、各図形群は、少なくとも形状が同一な複数種類の図形から構成されており、図形群を構成する少なくとも一つの図形の配向を各ＩＤ間で異ならしめる。後述する実施例では、模様の作りやすさ等の理由から形状に加えて寸法も同一となっている。画像処理の観点からは、図形の色や大きさを識別するよりは図形の配向を識別することが有利である。すなわち、好ましい態様では、２次元位置情報がコード化された模様は、複数の図形群を２次元上に配置して形成された模様であって、各図形群は、共通の所定数で所定種類の図形から構成されており、模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能である。図形の配向のみによってIDを識別する場合において、デザイン性の向上を目的として、各図形に色を付することは任意である。

一つの好ましい態様では、図形群における各図形の相対的位置関係は、各図形群で共通している。すなわち、例えば、図形群がＡ，Ｂ，Ｃ，Ｄの４つの図形から構成されており、全ての図形群において、Ａ，Ｂ，Ｃ，Ｄがこの順で右回りに配置されているようなことを意味する。さらに好ましい態様では、図形群を構成する所定数の図形の各重心位置間の相対位置は、各ＩＤ間で共通である。

一つの好ましい態様では、各図形の配向は、当該図形を所定の点を中心として所定角度回転させることで変化される。例えば、後述の実施形態では、各図形を１０度ずつ回転させることで識別可能なIDを構成している。この場合回転角度は、１０度に限定されるものではなく、IDの識別を容易にするには角度を大きくしてもよく、あるいは、撮影手段の精度が高ければ角度をさらに小さくしてもよい。また、回転角度は、必ずしも、同じ角度ずつ回転させなくてもよい。さらに好ましい態様では、前記回転中心は、各図形の重心である。

一つの好ましい態様では、各IDは、各図形群を構成する各図形の基準線に対する角度によって特定される。基準線は、一つの好ましい態様では、各図形の重心を結ぶ直線である。また、一つの態様では、各図形の回転角は、各図形の外接矩形の一つの辺と基準線との角度から計算される。

一つの態様では、各図形群を構成する所定数の図形の少なくとも一つの図形が誤り検出図形を構成しており、誤り検出図形を除く図形でIDが表現されている。

典型的な態様では、各図形群は、ｘ方向及びｙ方向（経緯方向）に連続的に配置されている。こうすることでデザイン性に優れた模様を構成することができる。配置の態様は、各図形群が画像処理によってIDとして識別できるような態様である。すなわち、ある図形を含む複数の画像群の認識が行われないようにする必要がある。各図形群がIDとして画像処理により識別可能であれば、各図形群を同じ向きで連続的に配置してもよく、また、各図形群をｘ方向あるいは/およびｙ方向に連続的に所定角度（例えば、１８０度、９０度）回転させて配置してもよい。尚、各図形群は２次元位置情報に関連付けられているので、位置を同定するという点では、必ずしも各図形群を連続状に配置しなくてもよく、デザイン的に許容でき、また、位置同定において支障がなければ、そのような配置（ある２次元位置情報に対応する画像群が存在しない）もあり得る。また、典型的な態様では、一種類の図形群を用いて模様を構成するが、複数種類の図形群（例えば、後述する模様の異なる実施例の図形群）を組み合わせて模様を構成してもよい。

本発明が採用した位置同定システムは、２次元位置情報がコード化された模様と、前記模様から位置情報をデコードするデコード手段と、からなる位置同定システムであって、前記模様は、複数の図形群を２次元上に配置して形成された模様であって、各図形群は、共通の所定数で所定種類の図形から構成されており、模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能であり、前記デコード手段は、前記模様を撮影する撮影手段と、撮影された模様から撮影手段の２次元位置情報および／あるいは３次元位置情報を取得する手段と、を有する。一つの好ましい態様では、位置同定システムは、２次元位置情報がコード化された模様と、前記模様から位置情報をデコードするデコード手段と、からなる位置同定システムであって、前記模様は、複数の図形群を２次元上に配置して形成された模様であって、各図形群は、共通の所定数で所定種類の図形から構成されており、模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能であり、前記デコード手段は、前記模様を撮影する撮影手段と、撮影された模様から撮影手段の２次元位置情報および／あるいは３次元位置情報を取得する手段と、を有する。撮影手段の位置を同定することで、撮影手段との相対的位置関係でユーザや物体（典型的には移動物体）の位置を特定することができる。

一つの態様では、前記２次元位置情報を取得する手段は、撮影された模様から少なくとも一つの図形群を特定する手段と、当該図形群のIDを計算する手段と、を有する。また、各IDは、少なくとも一つの図形の配向を変化させることで識別可能となっているものでは、前記IDを計算する手段は、当該図形群の各図形の基準線に対する角度を計算するものである。

一つの態様では、前記デコード手段は、模様に対して垂直に仕向けられた撮影手段と、模様から撮影手段までの距離を取得する距離取得手段を有し、撮影手段の２次元位置情報（撮影手段が撮影している部分の模様中の少なくとも一つの図形群によって決定される2次元位置情報）及び取得した距離から撮影手段の３次元位置情報を取得する。一つの態様では、撮影手段は模様に対して垂直に仕向けられており、前記距離取得手段は、予め用意した模様からの距離と図形のピクセル数との関係式を備えており、撮影手段によって取得された図形のピクセル数に基づいて距離を計算するものである。

一つの態様では、前記デコード手段は、撮影された画像中の図形の画像座標系における座標データをワールド座標系へ座標変換する手段を備えており、変換後の座標データに基づいてIDを計算する。

一つの態様では、前記デコード手段は、撮影された模様の画像の座標系からワールド座標系への変換行列を備えており、当該変換行列と識別されたIDの２次元位置とを用いて撮影手段の３次元位置を取得する。

本発明が採用した位置同定方法は、２次元位置情報がコード化された模様を用いた位置同定方法であって、前記模様は、複数の図形群を２次元上に配置して形成された模様であって、各図形群は所定数の図形からなると共に、各図形は各図形群間で共通の形状を有しており、模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能であり、前記方法は、撮影手段によって模様を撮影して模様の画像を取得するステップと、取得された模様の画像から少なくとも一つの画像群を認識してIDを識別するステップと、識別されたIDおよび／あるいは取得された模様の画像に基づいて撮影手段の２次元位置情報および／あるいは３次元位置情報を取得するステップと、を有する。

一つの態様では、前記IDを識別するステップは、取得された模様から少なくとも一つの図形群を構成する複数の図形をグループ化して図形群を特定するステップと、特定された図形群のIDを計算するステップと、を有する。一つの好ましい態様では、前記IDを計算するステップは、当該図形群の各図形の基準線に対する角度を計算するものである。一つの態様では、前記方法は、撮影された画像中の図形の画像座標系における座標データをワールド座標系へ座標変換するステップを備えており、変換後の座標データに基づいてIDを計算する。

一つの態様では、前記方法は、撮影された模様の画像の座標系からワールド座標系への変換行列を計算するステップを備えており、当該変換行列と識別されたIDの２次元位置とを用いて撮影手段の３次元位置を取得する。

一つの態様では、前記撮影手段は、模様に対して垂直に仕向けられており、模様から撮影手段までの距離を取得し、撮影手段の２次元位置情報及び取得した距離から撮影手段の３次元位置情報を取得する。

本発明の２次元情報がコード化された模様は、当該模様を壁、床、天井等の表面に付するだけでよく、また、デコード手段としては、模様を撮影する手段（例えば、カメラ付き携帯端末）があればよいので、位置同定システムの設置や利用が容易で安価である。そして、位置情報が部屋のデザインの一部となるので周囲の景観を乱すこともなく、ユーザは特別に意識することなく位置同定システムを利用することができる。

本発明に係るシステムの概念図を図1に示す。本システムにおいて、環境側では天井や壁・床などの部屋の内装に位置情報を埋め込んだ模様を施す。模様中には、模様平面上での2次元の位置を表すコードが埋め込んである。ユーザ側では位置情報の埋め込まれた模様を携帯端末のカメラで映し、画像処理を行うことによってカメラの3次元位置を計算する。環境側では電気を使用しないためコストを大幅に抑えられるとともに、内装のデザインの中に情報が埋め込まれているので設置により周辺の景観を損ねることがない。また、ユーザ側では特別なセンサが必要なくカメラ付き携帯電話やPDAなどをそのまま使用できるために容易にシステムを利用できるという利点がある。

先ず、本発明に係る位置同定システムをカメラは模様に対して垂直であることを前提としたシステムを構築した。位置同定システムは、主に、模様中に位置情報を埋め込むという環境側のシステムの構築と、位置情報が埋め込まれた模様をデコードし、ユーザのカメラの3次元位置を求めるというユーザ側のシステムの構築と、からなる。

環境側のシステムについて説明する。本システムでは、環境側には位置情報がコード化された模様をプリントし、天井や床・壁などに貼るだけでよい。図２のような模様を作成し、システムを構築した。図２の模様では、見た目ではランダムに数種類の図形が並んでいるように見える。しかし実際には、4つの図形を用いて、それぞれの図形の配置場所と回転角度に規則性を与えることで位置情報をコード化している（図３、図４）。模様中には、図４のように模様平面上での位置と1対1に対応しているIDが敷き詰められている。尚、図３乃至図７、図９に示す模様は基本的には図２に示す模様と同じであるが、図２においては、「く」の形の図形(タイプ２)が長く形成されている点に注意されたい。これは、外接矩形を長方形にすることで、各図形の外接矩形の長辺を求めて各図形の配向を決定する場合を考慮したものである。

IDの表現方法を図５に例示する。各IDは4種類の図形の回転角によって表現する。図５に記したようにそれぞれの図形をタイプ1、タイプ2、タイプ3、タイプ4と名付ける。タイプ1からタイプ4までの図形の中心（重心）を結ぶと内角が60度と120度の平行四辺形になっており、タイプ1からタイプ4は順に時計回りに並んでいる。

タイプ1とタイプ2の中心を結んだ線分、またはタイプ3とタイプ4の中心を結んだ線分を基準線(base line)とし、各図形の点線で表した線分とのなす角によってIDを決定する。これらの図形は、それぞれ基準線に対して5、 15、 25、 …、 175度と10度ごとに傾いており、1つの図形につき18種類のIDを表現することができる。

この模様ではタイプ1、タイプ3、タイプ4が点対象の図形なので各図形18種類しかIDを表現できないが、点対象ではない図形を使用することで1つの図形に対して36種類のIDを表現できることになる。本模様ではタイプ4をIDの誤認識を防ぐための誤り検出図形として利用しており、タイプ4の傾きはタイプ1からタイプ3の傾きによって決定される。そのため、3種類の図形でID表現を行っており、合計18³(= 5832)種類のIDを示せることになる。床に1つのIDを20[cm] x 20[cm]のスペースで表示したとすると、233.28[m²]の広さに対応することができる。IDは図５に記してあるように各図形の角度を並べることで表現されており、(タイプ1の傾き(α)、 タイプ2の傾き(β)、 タイプ3の傾き(γ)、 タイプ4の傾き(δ))というように表示する。

このようにコード化されたIDを並べることによって模様を表現していく。模様を表現する際に、本手法では図形の種類を増やすことで、表現できるIDの数を容易に増やすことができる。各図形を１０度ずつ回転させるものでは、1つの図形を追加することにより18倍、2つ追加することにより18²倍というように指数関数的にIDの数を増加することができ、部屋の広さに応じてIDの数を調整することができる。また、IDの大きさや密度、各図形の配置位置を変えることにより用途に応じた様々な模様を作ることもできる。

ユーザ側のシステムについて説明する。ユーザ側のシステムは、デコード手段を有している。デコード手段は、模様の画像を取得する撮影手段と、撮影された模様の画像を画像処理してIDを識別する画像処理手段と、撮影手段の３次元位置を同定する手段と、を有している。撮影手段としては、デジタルカメラやＣＣＤ素子等が例示される。画像処理手段および３次元位置同定手段は、コンピュータから構成することができる。コンピュータとしては汎用コンピュータを用いることができ、典型的には処理部、記憶部、入力部、出力部、表示部を備えている。あるいは、撮影手段（カメラ）が一体化されたコンピュータを用いても良い。例えば、ユーザ側では、カメラ付き携帯端末を使用することができ、カメラ付き携帯端末で撮影された模様の画像を、画像処理手段及び３次元位置同定手段を構成するコンピュータに送信することでシステムを構築できる。このように、ユーザは特別なセンサを携帯する必要性がなく、近年普及してきたカメラ付き携帯電話を使えば多くのものが所有する携帯電話を使って簡単にシステムを利用できる。

プロトタイプとしてCCDカメラとノートPCを用いてシステムを構築し、画像処理によって模様から位置情報をデコードし、カメラの位置を表示するプログラムを作成した。作成したプログラムの流れを図８に示す。大きく分けて7つのステップにより模様から位置情報を計算する。

まず初めにRGBの合計値に閾値を設け、キャプチャされた画像の全ピクセルに対して2値化処理を行う。そして、2値化処理されたそれぞれの領域に対してラベリング処理を行う。ラベリングされた図形は、頂点の数と辺の長さの情報によりタイプ1からタイプ4の図形に分類される。この時どれにも属さないものはタイプ分けされず、以降のステップには使用されない。タイプ分けされたそれぞれの図形は、その後IDを示す図形群の1つとしてグループ化され、グループ化された図形群の基準線と各図形のひとつの辺の角度からIDが計算される。各IDには1対1に対応した2次元の座標値が割り振られているため、求めたIDからカメラの模様平面上の2次元座標を求めることができる。

ID計算が終わった後はカメラに映っている図形の大きさから、あらかじめ計測して求めた計算式を使ってカメラが模様からどれだけ離れているかを計算する。本プログラムでは、タイプ1の図形のピクセル数を使用して、模様からカメラの距離を算出する。最後に、IDから求めた模様平面上の2次元座標値と模様からの距離の値により3次元位置を同定する、という流れになっている。

IDを示す図形群のグループ化の際には、タイプ1からタイプ4を１つずつ選びグループとしてまとめるのであるが、その手順は次の通りである。まず、キャプチャされた映像からタイプ1を見つける。そして、そのタイプ1と隣の図形までの距離の中にあるタイプ2を見つける。同様に、タイプ2から上記の一定距離内にあるタイプ3、タイプ3から一定距離内にあるタイプ4というように探していく。タイプ4が見つかった後、タイプ4から一定距離内にあるタイプ1を探し、それが初めのタイプ1と同じかどうかを確認する。タイプ4から探したタイプ1と最初のタイプ1が同じであれば、タイプ1からタイプ4までが時計周りに並んでいるかどうかをチェックした後、グループとして認識する。グループとして認識されない場合には、タイプ4で他の候補を選び確認する。タイプ4の候補が他になかったら、また、最初と違うタイプ4でもグループとして認識できなかったら、タイプ3の他の候補を選ぶというようにタイプ1を上位、タイプ4を下位として深さ優先探索を行っていく。IDを示す図形群が多数あれば、全ての図形に対してこのアルゴリズムを適用し、全てのIDから得られた値の平均値をカメラの3次元位置とする。キャプチャされた画像とID認識表示の拡大した様子を図7に示す。認識した図形群のタイプ1上にIDを表示している。

本システムの評価をするために、計算された3次元位置の誤差を計測する実験を行った。実験ではまず、カメラと模様の距離の関係式を、実測値を用いることにより求めた。そして、求めた関係式をプログラムに実装し、位置計算を行った。実験時の実際の様子を図９に示す。本実験では環境側において実際の壁に印刷した模様を貼りつけた。カメラは模様に対して垂直に配置してある。印刷した模様中のタイプ1の図形の大きさは16 [mm] x 32
[mm]で、各図形は64 [mm]ごとに離して配置されている。また、図９のようにx軸、y軸、z軸を定義した。ユーザ側ではCCDカメラ(SONY、 DFW-VL500) とラップトップPC (SONY、 VAIO VGN-SZ80PS、CPU: Intel Core Duo (2.16GHz))を用いて実験環境を構築した。実験の際、カメラは模様に垂直になるように配置し、各計測を行った。

カメラの3次元位置を計算するにあたり、模様からカメラの距離を計算するために壁からの距離とカメラに映ったタイプ1のピクセル数の関係を求めた。壁からの距離(d)とタイプ1のピクセル数(p)の関係は、カメラの視野角が一定のため、距離が2倍になるとカメラに映るピクセル数は1/4倍になるというようにpはd^(-2)に比例する。よって、pとdの関係式は式(1)のように表せる。
今回はpの値からdを求めたいので、式(1)を式(2)のように変換する。
kはある1点のサンプルポイントでpとdの実際の値を計測すれば(2)式により求められる。本実験では3箇所のサンプルポイントで計測した。実測した3箇所でのpとdの値を表1に示す。これらの実測値を用いてkの平均値を求め、式(2)を式(3)のように決定した。

式(3)を用いて本手法によって3次元位置を求め、実際の値との誤差を調べた。尚、より正確な計算を行うには、レンズの歪み等を考慮することが望ましいことは当業者にとって容易に理解される。模様と垂直な面での誤差(z軸方向の誤差)を計測する実験と模様と平行な面での誤差(x、y軸方向の誤差)を計測する実験を行った。各計測では、カメラを模様に対して垂直に固定し3次元位置として5フレームの平均をとり、500フレーム分計測した。

カメラを(x [mm], y [mm], z
[mm]) = (0, 0, 1000), (0, 0, 1250), (0, 0, 1500), (0, 0, 1750), (0, 0, 2000),
(0, 0, 2250), (0, 0, 2500)の7点に置いて、計算された位置座標を計測した。カメラと模様の距離が2250 [mm]までの範囲ではx, y軸方向の絶対位置のずれと値のぶれがおよそ60 [mm]以内に収まっている。z方向の誤差はどの点でも20 [mm]以内に収まっている。床に模様を設置することを考えると、人々がカメラを持つ高さは2000
[mm]以内だと考えられるので、60 [mm]以内の誤差で3次元位置を計測できることになる。

部屋の内装に位置を表すコードを埋め込むことにより設置の容易で安価、そして周囲の景観を乱さないことを目的とした屋内位置同定システムを構築した。模様中の図形の回転や配置に規則を持たせることで模様に位置情報をコード化し、それを画像処理によりデコードすることでカメラの位置が求まることを確認した。実験により本手法では、IDを示す図形群を64 [mm]おきに配置した状態で、模様から2000 [mm]内の距離で各軸方向の位置誤差を60 [mm]以内で計算できることが分かった。

上述の本システムではIDを示す図形群に2次元の位置情報を割り振っていて、それがそのままカメラの座標となっている。すなわち、IDに対応するｘ、ｙ座標がそのままカメラのｘ、ｙ座標となっている。また、ピクセル数によってｚ座標を決定している。これに対して、各ID中の図形の配置場所を利用してカメラの傾きを計算できるようにすることで各IDからどれだけ離れているかを計算でき、より誤差の小さいシステムを構築できる。以下説明する。

２次元位置情報がコード化された模様については、上述のシステムと共通である。模様へ情報を埋め込むためには、模様を構成する数種類の図形に着目し、それらの回転角と位置に規則性を持たせる。各図形の回転角により模様平面上の2次元の位置情報と1対1に対応したIDを表現することができ、そのIDを示す図形間の位置関係によりカメラの姿勢を計算することができる。各IDに対応する模様平面上の位置さえ分かっていれば、各図形の配置位置や大きさ・色などを変えることにより様々な模様を作ることが可能になる。

模様については、図２に示す既述の模様を用いる。これらの模様では、4種類の図形を用いて1つのIDを表現している。それぞれの図形の重心の位置はひし形や正方形になるように並べておき、1つのIDごとに各図形の回転角を変化させている。ID表現の様子を図3に示す。図2の模様では1つの図形を誤り検出図形として残りの３つの図形でIDを表現しており、1つの図形につき18種類のIDを表現しているのでこれだけで合計18^３(=5832)個のIDを表現することができる。図形の数を増やすことも可能で一つ増やすごとに18倍ずつ表現できるIDが増える。

模様からの情報のデコードについて説明する。本システムでは、画像処理を行うことで模様から位置情報を取り出す。模様のデコード処理を行う画像処理アルゴリズムを図１０に示す。

まず、キャプチャした画像に対して2値化処理を行い各領域のラベリングを行った後、それぞれの領域に対して図形を種類別に分類するための認識処理を行う。各図形の認識処理は、既存の画像認識手法を用いればよく、頂点の数を元に図形認識を行う手法（頂点がある図形において）、各図形とP型フーリエ記述子との相関を用いて認識を行う手法が例示されるが、各図形を認識できるものであれば他の手法でもよい。

次に、各IDを示す図形群の探索を行いそれらの図形群をグループ化した後、IDを構成する各図形の位置関係からカメラの姿勢を表すアフィン変換行列を計算する。このとき必要となる画面座標系とカメラ座標系間の透視変換行列については、カメラのキャリブレーションをあらかじめ行っておくことで求めておく。

その後、キャプチャした画像中の図形の画像座標系における座標データをワールド座標系へ座標変換する。変換後の幾何関係において各図形を含む最小矩形の長辺の角度から回転角を計算し、IDを求める。

模様平面上の各IDが示す2次元位置とアフィン変換行列からカメラの3次元位置を計算する。1フレームの中に複数のIDが映った際には、全てのIDに対してアフィン変換行列計算以降のアルゴリズムを適用し、計算された3次元位置の平均値をとってそのフレームのカメラの3次元位置とする。

ここで、カメラの３次元の位置計算について説明する。３次元の位置計算には以下の４つの座標系で表された座標値と３つの座標変換行列を用いる。

以下にこれらの関係式を示し、カメラの３次元位置座標の求め方について述べる。
座標変換の関係式より、
と書け、ＰとＴｍｗが既知なためワールド座標と画面座標間の３点以上の対応点からＴｃｍが求まる。
一方、（４）式より、
であるため、Ｔｃｍの逆行列Ｔｃｍ^−１よりマーカからカメラ座標系の位置姿勢を表す行列が求まり、Ｔｍｗ^−１Ｔｃｍ^−１によりワールド座標系からカメラ座標系の位置姿勢を表す行列が求まる。カメラ座標系においてカメラの位置を表す（Ｘｃ，Ｙｃ，Ｚｃ）＝（０，０，０）を代入すればワールド座標系におけるカメラの座標値（Ｘｗ，Ｙｗ，Ｚｗ）が求まる。

模様の他の実施形態について図１１乃至図１４に基づいて説明する。図１１において、４枚の葉から図形群が構成されており、各図形群がIDを構成している。各図形群における葉を回転させて配向を変化させることで、各IDを識別するようになっている。図１２において、４つのアルファベット文字（Ｘ，Ｙ，Ｚ，Ｗ）から図形群が構成されており、各図形群がIDを構成している。各図形群における図形を回転させて配向を変化させることで、各IDを識別するようになっている。図１３において、６個の図形から図形群が構成されており、各図形群がIDを構成している。各図形群における図形を回転させて配向を変化させることで、各IDを識別するようになっている。図１４において、９個の数字の図形から図形群が構成されており、各図形群がIDを構成している。各図形群における数字を回転させて配向を変化させることで、各IDを識別するようになっている。図１３，１４においては、図形群の把握を容易にすることを目的として図形群を囲んで示しているが、実際の模様には囲み線は無い。

複数の図形群の配置構成（並べ方）について図１５乃至図１８に基づいて説明する。各IDを構成する図形群の配置においては、各IDが画像処理によって識別可能であることが必要である。つまり、模様の画像処理において、ある図形を含んで複数通りの図形群の認識が行われないような配置にする必要がある。図１５は、実施例１の模様における図形群の配置を例示するものである。図１５（Ａ）では、各図形群を、ｘ方向に隣接する図形群との間で１８０度回転させるようにして連続状に配置し、ｙ方向には同じ向きで連続状に配置してある。こうすることで、各図形群においてタイプ1、２，３，４の図形が時計回りに並んでいることを認識する場合に、図形認識が複数通り行われてしまうことを防止している。図１５（Ｂ）では、x方向、ｙ方向の両方において各図形群は同じ向きに連続状に配置されている。この場合、タイプ1、２，３，４の図形が時計回りに並んでいることを認識しようとすると図で示すように複数通りの図形群認識が行われ得る。しかしながらこの場合であっても、画像処理手法を変えることで、各図形群を識別することができる。例えば、タイプ１の図形とタイプ２の図形、タイプ２の図形とタイプ３の図形の重心間と結ぶ線分の角度が、タイプ２の図形とタイプ３の図形、タイプ３の図形とタイプ４の図形の重心間を結ぶ線分の角度より大きい条件を画像処理で判定することで、各IDの識別が可能である。

図１６は、実施例２の模様の配置を示す。図１６（Ａ）、（Ｂ）では、図１５（Ａ）と同様に、各図形群を、ｘ方向に隣接する図形群との間で１８０度回転させるようにして連続状に配置し、ｙ方向には同じ向きで連続状に配置することで、各IDが識別可能である。図１６（Ａ）と図１６（Ｂ）とは、前者が各図形の重心を結ぶ線が平行四辺形（菱形）を形成するのに対して、後者では各図形の重心を結ぶ線が正方形を形成している。図１６（Ｃ）、図１６（Ｄ）は、それぞれ、図１６（Ａ）、図１６（Ｂ）をx方向、ｙ方向の両方において各図形群を同じ向きに連続状に配置したものである。図１６（Ｃ）においては、図１５（Ｂ）と同様に、各図形の重心を結ぶ線分の角度から各IDの識別が可能である。図１６（Ｄ）の配置構成では、各IDを識別することはできない。

図１７は実施例４の模様、図１８は実施例５の模様の配置を示す。図１７、図１８では、x方向、ｙ方向の両方において各図形群は同じ向きに連続状に配置されている。一般に、各図形群を構成する図形の数が比較的多いと（例えば５つ以上）、各図形群の配置構成の自由度が大きくなると考えられる。例えば、実施例４の模様において、各図形群を、ｘ方向あるいは/およびｙ方向に隣接する図形群との間で１８０度向きが異なるように配置してもよい。実施例５の模様において、各図形群をｘ方向あるいは/およびｙ方向に連続的に９０度ずつ回転させて配置してもよい。

誤り検出図形について説明する。誤り検出図形は、各図形群を構成する図形の認識誤りを防止するために用いられる。誤り検出図形の角度を決める計算式で求まる値と、誤り検出図形の実際の画像から計算されるIDの値を比べて、両値が合致していたら誤りなしとし、合致していなかったら誤りとする。上述の実施形態では、図形を比較的小さい角度（10度ずつ）で回転させるため、回転角度が誤って計算されることが有り得る。例えば、各図形を30度ずつ回転させることでIDを作るのであれば誤り検出図形の必要性は小さい。

一つの態様例では、誤り検出図形の回転角は 4つの図形の模様で、(タイプ1の回転角を10で割った数*4+タイプ2の回転角を10で割った数*3+タイプ3の回転角を10で割った数*2)を18で割った数の余り*10としている。また、9つ、6つの図形を使った模様では、例えば、誤り検出図形を2つに増やすことも有り得る。どの図形を誤り検出図形とするかは特には限定されないが、一つの態様例では、多角形の模様（第１実施例）では8角形のうちの1つ、葉模様（第２実施例）では丸い葉っぱ、曲線で描かれた模様（第４実施例）では米印みたいな図形、数字模様（第５実施例）では4が、それぞれ誤り検出図形を構成する。

本システムはリアルタイムに動作することが要求される。本アルゴリズムでは、全IDから計算される3次元位置の値の平均をとるため、1つのフレームに映るIDの数が増えるとともに、プログラムの1フレームを処理するための計算量も増えると考えられる。精度を高くするための方法として解像度の高いカメラを利用すること、また焦点距離の長いレンズを用いたカメラを使用し、キャプチャする図形の画素数が模様から遠く離れても多く映るようにすることが望ましい。

実際に本システムはユーザが動いている状態で使われる。カメラが動くことによりキャプチャする画像が乱れ、図形の重心座標や形状把握の誤差により計算される値にも誤差が生じ得る。スピードに対する精度を求める際には、シャッタースピードの短いカメラを用いることが望ましい。

本発明に係る模様は、２次元位置情報がコード化された模様として利用され得る。また、本発明に係る位置同定システムは、好適な例では、屋内位置測位システムとして利用され得る。

本発明の位置同定システムの概略図である。 模様の第１実施例を示す。 図２の模様を構成する各図形群に割り当てられた２次元領域を示す図である。 各図形群に割り当てられた２次元領域とIDとの対応を示す図である。 各図形群により特定されるIDの表現方法を示す図である。 図形群を構成する複数の図形のグループ化を示す図である。 ID認識の様子を示す図である。 模様からカメラの３次元位置を取得するプログラムの流れを示す図である。 実験の用いたシステム構成を示す図である。 模様からカメラの３次元位置を取得するプログラムの流れを示す図である。 模様の第２実施例を示す。 模様の第３実施例を示す。 模様の第４実施例を示す。 模様の第５実施例を示す。 第１実施例の模様の配置構成を示す。 第２実施例の模様の配置構成を示す。 第４実施例の模様の配置構成を示す。 第５実施例の模様の配置構成を示す。

Claims (33)

1. 複数の図形群を２次元上に配置して形成された模様であって、
   各図形群は所定数の図形からなると共に、各図形は各図形群間で共通の形状を有しており、
   模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、
   各ＩＤは、図形群を構成する少なくとも一つの図形の配向、大きさ、色の少なくとも一つを各図形群間で異ならしめることで、画像処理により識別可能である、
   ２次元位置情報がコード化された模様。
2. 図形群を構成する所定数の図形は、互いに異なる形状を備えた所定数の種類の図形である、請求項１に記載の２次元位置情報がコード化された模様。
3. 各図形群は、少なくとも形状が同一な複数種類の図形から構成されており、図形群を構成する少なくとも一つの図形の配向を各ＩＤ間で異ならしめてなる、請求項１、２いずれかに記載の２次元位置情報がコード化された模様。
4. 複数の図形群を２次元上に配置して形成された模様であって、
   各図形群は、共通の所定数で所定種類の図形から構成されており、
   模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、
   各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能である、
   ２次元位置情報がコード化された模様。
5. 図形群における各図形の相対的位置関係は、各図形群で共通している、請求項１乃至４いずれかに記載の２次元位置情報がコード化された模様。
6. 図形群を構成する所定数の図形の各重心位置間の相対位置は、各ＩＤ間で共通である、請求項５に記載の２次元位置情報がコード化された模様。
7. 各図形の配向は、当該図形を所定の点を中心として所定角度回転させることで可変である、請求項１乃至６いずれかに記載の２次元位置情報がコード化された模様。
8. 前記回転中心は、各図形の重心である、請求項７に記載の２次元位置情報がコード化された模様。
9. 各IDは、各図形群を構成する各図形の基準線に対する角度によって特定される、請求項７，８いずれかに記載の２次元位置情報がコード化された模様。
10. 各図形群を構成する所定数の図形の少なくとも一つの図形が誤り検出図形を構成しており、誤り検出図形を除く図形でIDが表現されている、請求項１乃至９いずれかに記載の２次元位置情報がコード化された模様。
11. 各図形群は、ｘ方向及びｙ方向に連続的に配置されている、請求項１乃至１０いずれかに記載の２次元位置情報がコード化された模様。
12. ２次元位置情報がコード化された模様と、前記模様から位置情報をデコードするデコード手段と、からなる位置同定システムであって、
    前記模様は、複数の図形群を２次元上に配置して形成された模様であって、
    各図形群は所定数の図形からなると共に、各図形は各図形群間で共通の形状を有しており、
    模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、
    各ＩＤは、図形群を構成する少なくとも一つの図形の配向、大きさ、色の少なくとも一つを各図形群間で異ならしめることで、画像処理により識別可能であり、
    前記デコード手段は、前記模様を撮影する撮影手段と、撮影された模様から撮影手段の２次元位置情報および／あるいは３次元位置情報を取得する手段と、を有する、
    位置同定システム。
13. 図形群を構成する所定数の図形は、互いに異なる形状を備えた所定数の種類の図形である、請求項１２に記載の位置同定システム。
14. 各図形群は、少なくとも形状が同一な共通の複数種類の図形から構成されており、図形群を構成する少なくとも一つの図形の配向を各ＩＤ間で異ならしめてなる、請求項１２、１３いずれかに記載の位置同定システム。
15. ２次元位置情報がコード化された模様と、前記模様から位置情報をデコードするデコード手段と、からなる位置同定システムであって、
    前記模様は、複数の図形群を２次元上に配置して形成された模様であって、
    各図形群は、共通の所定数で所定種類の図形から構成されており、
    模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、
    各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能であり、
    前記デコード手段は、前記模様を撮影する撮影手段と、撮影された模様から撮影手段の２次元位置情報および／あるいは３次元位置情報を取得する手段と、を有する、
    位置同定システム。
16. 図形群における各図形の相対的位置関係は、各図形群で共通している、請求項１２乃至１５いずれかに記載の位置同定システム。
17. 図形群を構成する所定数の図形の各重心位置間の相対位置は、各ＩＤ間で共通である、請求項１６に記載の位置同定システム。
18. 各図形の配向は、当該図形を所定の点を中心として所定角度回転させることで変化される、請求項１２乃至１７いずれかに記載の位置同定システム。
19. 前記回転中心は、各図形の重心である、請求項１８に記載の位置同定システム。
20. 各IDは、各図形群を構成する各図形の基準線に対する角度によって特定される、請求項１８，１９いずれかに記載の２次元位置情報がコード化された模様。
21. 各図形群を構成する所定数の図形の少なくとも一つの図形が誤り検出図形を構成しており、誤り検出図形を除く図形でIDが表現されている、請求項１２乃至２０いずれかに記載の位置同定システム。
22. 各図形群は、ｘ方向及びｙ方向に連続的に配置されている、請求項１２乃至２１いずれかに記載の位置同定システム。
23. 前記２次元位置情報を取得する手段は、撮影された模様から少なくとも一つの図形群を特定する手段と、当該図形群のIDを計算する手段と、を有する、請求項１２乃至２２いずれかに記載の位置同定システム。
24. 各IDは、少なくとも一つの図形の配向を変化させることで識別可能となっており、前記IDを計算する手段は、当該図形群の各図形の基準線に対する角度を計算するものである、請求項２３に記載の位置同定システム。
25. 前記デコード手段は、模様に対して垂直に仕向けられた撮影手段と、模様から撮影手段までの距離を取得する距離取得手段と、を有し、撮影手段の２次元位置情報及び取得した距離から撮影手段の３次元位置情報を取得する、
    請求項１２乃至２４いずれかに記載の位置同定システム。
26. 前記デコード手段は、撮影された画像中の図形の座標データを、ワールド座標系へ座標変換する手段を備えており、変換後の座標データに基づいてIDを計算する、請求項２３，２４いずれかに記載の位置同定システム。
27. 前記デコード手段は、撮影された模様の画面座標系からワールド座標系への変換行列を備えており、当該変換行列と識別されたIDの２次元位置とを用いて撮影手段の３次元位置を取得する、
    請求項１２乃至２６いずれかに記載の位置同定システム。
28. ２次元位置情報がコード化された模様を用いた位置同定方法であって、
    前記模様は、複数の図形群を２次元上に配置して形成された模様であって、
    各図形群は所定数の図形からなると共に、各図形は各図形群間で共通の形状を有しており、
    模様を形成する各図形群に２次元位置情報を割り当てることで、各図形群は２次元位置情報に対応したＩＤを構成しており、
    各ＩＤは、図形群を構成する少なくとも一つの図形の配向を各図形群間で異ならしめることで、画像処理により識別可能であり、
    前記方法は、
    撮影手段によって模様を撮影して模様の画像を取得するステップと、
    取得された模様の画像から少なくとも一つの画像群を認識してIDを識別するステップと、
    識別されたIDおよび／あるいは取得された模様の画像に基づいて撮影手段の２次元位置情報および／あるいは３次元位置情報を取得するステップと、
    を有する、位置同定方法。
29. 前記IDを識別するステップは、取得された模様から少なくとも一つの図形群を構成する複数の図形をグループ化して図形群を特定するステップと、特定された図形群のIDを計算するステップと、を有する、請求項２８に記載の位置同定方法。
30. 前記IDを計算するステップは、当該図形群の各図形の基準線に対する角度を計算するものである、請求項２９に記載の位置同定方法。
31. 前記方法は、撮影された画像中の図形の座標データを、ワールド座標系へ座標変換するステップを備えており、変換後の座標データに基づいてIDを計算する、請求項２９，３０いずれかに記載の位置同定方法。
32. 前記方法は、撮影された模様の画面座標系からワールド座標系への変換行列を計算するステップを備えており、当該変換行列と識別されたIDの２次元位置とを用いて撮影手段の３次元位置を取得する、
    請求項２８乃至３１いずれかに記載の位置同定方法。
33. 前記撮影手段は、模様に対して垂直に仕向けられており、
    模様から撮影手段までの距離を取得し、撮影手段の２次元位置情報及び取得した距離から撮影手段の３次元位置情報を取得する、
    請求項２９乃至３０いずれかに記載の位置同定システム。