JP2007198811A

JP2007198811A - 位置・方向計測システム

Info

Publication number: JP2007198811A
Application number: JP2006015716A
Authority: JP
Inventors: Yasuji Seko; 保次瀬古; Yoshinori Yamaguchi; 義紀山口; Yasuyuki Saguchi; 泰之佐口
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-01-24
Filing date: 2006-01-24
Publication date: 2007-08-09

Abstract

【課題】撮像装置または撮像モジュールが広範囲に多数個設置された場合でも同心円模様を投影する投影装置の指示位置をリアルタイムで算出することができる位置・方向計測システムを提供する。
【解決手段】この位置・方向計測システムは、同心円模様１を対象物８に投影する投影装置（ポインター）２と、同心円模様１を撮像し同心円模様の法線方向の情報を得る複数の撮像モジュール１−１〜１−７と、各撮像モジュールからの同心円模様の法線方向の情報に基づいて投影装置２の指示位置（指示点）９を算出する演算装置６とを備える。複数の撮像モジュール１−１〜１−７は対象物８の近傍に配置される。
【選択図】図１

Description

本発明は、投影装置より投影された同心円模様を撮像装置で撮像し、この撮像画像に基づいてその位置、方向あるいは指示点を計測する位置・方向計測システムに関する。

従来から、位置計測システムは各種のものが提案されているが、例えば特許文献１に記載されているシステムは、同心円模様を投影する投影装置と、投影装置から投影された同心円模様を撮像する撮像装置と、撮像装置から得られた信号に基づいて対象物に投影された同心円模様の中心位置座標を求める演算装置とを備え、この中心位置座標を対象点の位置座標として計測する。このシステムは例えばポインターや位置情報システムなどに利用することができる。具体的には、例えば、投影装置をポインターとして用いるポインターシステムをコンピュータへの入力インタフェースとして利用することができる。これは、計測したポインターの指示位置（指示点）をパソコン等のコンピュータ画面上にカーソルとして表示し、ポインターの移動に応じてカーソルを移動させることができるようにしたものである。

従来提案されているポインターシステムは同心円模様を投影する投影装置をポインター本体として利用し、撮像装置（カメラ）を投影装置（ポインター）で指示される対象物の近傍に設置している。例えば、ポインターをコンピュータ画面のカーソル移動に適用する場合には、画面側に複数のセンサーを設置し、ユーザーが保持するポインター側に同心円模様の投影装置を設けていた。ポインターの指示点の算出では、複数のカメラをコンピュータに接続し、同心円模様の映像を逐次コンピュータが処理して、各カメラが撮像した同心円模様の方向や間隔を抽出している。
特開２００４−２８９７７号公報

従来の方法では、同心円模様を撮像するカメラを広範囲に設置し、その個数が多数個になった場合、ネットワークを映像情報が流れるために通信速度が遅くなること、そして、送られてきた映像を動画像処理して同心円模様の方向や間隔を抽出するのに時間がかかり、リアルタイムでポインター（投影装置）が指し示した位置を算出できないこと、などの問題があった。

従って本発明の目的は、撮像装置または撮像モジュールが多数個設置された場合でも同心円模様を投影する投影装置の指示位置をリアルタイムで算出することができる位置・方向計測システムを提供することにある。

上記目的は、同心円模様を対象物に投影する投影装置と、前記同心円模様を撮像する複数の撮像装置と、前記複数の撮像装置が撮像した画像から前記同心円模様の法線方向をそれぞれ算出する複数の画像処理装置と、前記複数の画像処理装置により算出した前記同心円模様の法線方向の情報をそれぞれ伝達する複数の通信装置と、前記複数の通信装置から伝達された前記同心円模様の法線方向の情報に基づいて前記投影装置の指示位置を算出する演算装置とを備えた位置・方向計測システムにより、達成される。

ここで、前記撮像装置と前記画像処理装置と前記通信装置とをそれぞれ有する複数の撮像モジュールを備えることができる。また、前記複数の撮像モジュールは前記対象物の近傍に配置することができる。

また、本発明に係る位置・方向計測システムは、同心円模様を対象物に投影する投影装置と、前記同心円模様を撮像する撮像装置、前記撮像装置が撮像した画像から前記同心円模様の接線の傾きおよび間隔を算出する画像処理装置、並びに前記画像処理装置により算出した前記同心円模様の接線の傾きおよび間隔の情報を伝達する通信装置を有する複数の撮像モジュールと、前記複数の撮像モジュールから伝達された前記同心円模様の接線の傾きおよび間隔の情報に基づいて前記投影装置の３次元位置およびその光軸方向角度を算出する演算装置とを備えるものである。ここで、前記算出した投影装置の３次元位置およびその光軸方向角度から得られる前記投影装置の光軸と前記対象物との交点を前記投影装置の指示位置とすることができる。
さらに、本発明に係る位置・方向計測システムは、同心円模様を対象物に投影する投影装置と、前記同心円模様を撮像する撮像装置、前記撮像装置が撮像した画像から前記同心円模様の接線の傾きおよび間隔を算出する画像処理装置、並びに前記画像処理装置により算出した前記同心円模様の接線の傾きおよび間隔の情報を伝達する通信装置を有する複数の撮像モジュールと、前記複数の撮像モジュールから伝達された前記同心円模様の接線の傾きおよび間隔の情報に基づいて前記撮像モジュールの３次元位置とその撮像面法線方向を計測する演算装置とを備えるものである。ここで、３次元位置とその撮像面法線方向が既知である３個以上の前記撮像モジュールが設置されており、新たに設置される撮像モジュールの３次元位置とその撮像面法線方向を、前記投影装置により前記同心円模様を投影することにより計測することができる。

さらに、前記通信装置は、無線により情報を伝達するものとすることができる。前記演算装置は、前記複数の撮影モジュールとの通信順序から前記撮像モジュールの位置を特定することができる。前記演算装置は、前記複数の撮像モジュールから伝達される信号の強度の大きい順に前記撮像モジュールからの情報を利用することができる。前記演算装置は、予め格納された前記撮像モジュールの番号に対応する撮像モジュールの位置情報を参照することができる。前記撮像モジュールは前記模様の法線方向と間隔と撮像信号強度と、前記撮像モジュール自体の位置情報と撮像面法線方向情報を前記演算装置に通信することができる。前記撮像モジュールは前記模様の法線方向と間隔と撮像信号強度と、前記撮像モジュール自体の番号を通信し、前記演算装置は前もって格納しておいた前記番号に対応する前記撮像モジュールの位置情報と撮像面法線方向情報を参照することができる。前記演算装置が計測した前記投影装置の指示位置にＩＤ番号を付与し、前記ＩＤ番号とともに前記投影装置の指示位置に関連する座標の速度および加速度の情報に基いて前記ＩＤ番号を追跡することができる。

本発明によれば、カメラ（撮像装置または撮像モジュール）が多数個設置された場合でも、最も時間のかかる動画像処理を各カメラ側の画像処理装置で実施するので、カメラからコンピューター（演算装置）に通信される通信量が小さくなり、ポインターの指し示す位置を高速にリアルタイムで算出することができる。

図１は、本発明に係る位置・方向計測システムの一例を示す構成図である。この位置・方向計測システムは位置または方向またはその両者を計測するシステムであり、図示のように、同心円模様１を対象物８に投影する投影装置（ポインター）２と、同心円模様１を撮像し同心円模様の法線方向の情報を得る複数の撮像モジュール１−１〜１−７と、各撮像モジュールからの同心円模様の法線方向の情報に基づいて投影装置２の指示位置（指示点）を算出する演算装置６とを備える。ポインター２および撮像モジュール１−１〜１−７の構成例については後述する。演算装置６は、例えばパソコン（ＰＣ）等のコンピュータを用いることができる。演算装置６は、同心円模様の法線方向の情報以外のものを用いることもでき、後述するように、例えば、同心円模様の接線の傾きおよび間隔（ピッチ）の情報に基づいて、投影装置の３次元位置（ｘ，ｙ，ｚ）およびその光軸方向角度（θｘ，θｙ，θｚ）を算出し、このポインター２の３次元位置とその光軸方向角度から得られるポインター２の光軸７と、同心円模様１を投影した対象物（例えばＰＣに接続されたディスプレイ画面）８との交点を指示点９として求めることができる。なお、演算装置６は各撮像モジュールと無線または有線で接続されている。また、演算装置６は必要に応じて対象物としてのディスプレイ画面と無線または有線で接続することができる。

図２は、本発明に係る位置・方向計測システムに用いる撮像モジュールの一例を示す構成図である。撮像モジュール１−１〜１−７はそれぞれ、同心円模様１を撮像する撮像装置（センサー）２２と、撮像装置２２が撮像した画像から同心円模様の法線方向を算出する画像処理装置２３と、画像処理装置により算出した同心円模様の法線方向の情報を演算装置６に伝達する通信装置２４とを有する。撮像装置２２には、図示のように、ポインター２から同心円模様１が投影される。撮像装置２２は、例えばＣＣＤを用いたイメージセンサーを用いることができ、同心円模様１の法線方向２５に間隔ΔＬで投影された複数の同心円模様を撮像する。同心円模様の法線方向２５の算出等については後述する。通信装置２４は、画像処理装置２３で算出した同心円模様の法線方向の情報を演算装置６に伝達する。

演算装置６は、各撮像モジュールからの同心円模様の法線方向の情報に基づいて投影装置２の指示位置（指示点）を算出する。この算出方法の一例を図３に示す。投影装置２の指示点３０は即ち同心円模様の中心であり、図示のように、各撮像モジュール１−１〜１−４における同心円模様３−１〜３−４の法線３１〜３４の交差する点である。少なくとも２つの撮像モジュールでの同心円模様の法線により投影装置２の指示点３０を求めることができる。

このように本発明では、撮像モジュール（カメラ）が多数個設置された場合でも、最も時間のかかる動画像処理を各撮像モジュール側の画像処理装置で実施するので、各撮像モジュールから演算装置に通信される通信量が小さく、ポインターの指し示す位置を高速にリアルタイムで算出することができる。

図４（ａ）は本発明に係る位置計測システムで用いることができるポインターの構成例を示す図であり、（ｂ）はポインターを構成する干渉レンズの一例を示す図である。ポインターは、図４（ａ）に示すように、光源として８５０ｎｍ波長の光を出射する半導体レーザ２ａと、その光を平行光にするコリメータレンズ１ｃと、この平行光を同心円模様（干渉模様）１として照射する光学レンズ（干渉レンズ）１−３とを備える。干渉レンズ１−３は、例えば光軸に窪みのある光軸対象のリング形状レンズを用いる。図４（ｂ）において、レンズ１−３はレンズの断面図を示し、レンズ１−３ｕはレンズを光源方向から見た正面図を示すものである。前面のリング状凸面は、ｃ＝０．３＊（ａ−１．５）＾１．５５の断面を持つ非球面レンズとした。ここで、ｃは光軸であり、ａは光軸に垂直でレンズの半径方向の軸とした。後面の凹レンズは曲率半径−６２ｍｍの球面レンズとした。レンズ直径はΦ６ｍｍで、光軸上のレンズ厚さ３ｍｍ、屈折率１．５１とした。

図４（ａ）において、半導体レーザ２ａから放射された光はコリメータレンズ１ｃを介して前面リング凸面／後面凹面の干渉レンズ１−３に入射する。光軸より上側を通過した光はディスプレイ画面８に光線軌跡２−３−１を経由して照射される。同様に、光軸より下側を通過した光はディスプレイ画面８に光線軌跡２−３−２を経由して照射される。ディスプレイ８の同一点（干渉点）１に到達した光は、同一光源より発せられたレーザ光であるので干渉する。このように、一つの光源から放出されたレーザ光は光軸上平面において仮想的に２点の光源２−１、２−２から放出されたレーザ光であるように、ディスプレイ画面に投影される。本例では、点光源の光をコリメータレンズを用いて平行光とし、これを上記レンズに入射させているが、平行光は、無限遠の光源と考えることができ、この無限遠の光源を上記レンズにより、仮想的に２点の光源としている。

干渉レンズ後面から距離３ｍの設置した光軸に垂直な平面（ディスプレイ画面）に投影される同心円干渉模様は、図５（ａ）、（ｂ）に示すように、その同心円中心から外周部に至るまで、そのピッチが全て０．８１６ｍｍになることがシミュレーション結果から分かった。即ち、光源の光軸と平面が垂直であれば、干渉模様のピッチは平面内ではどこでもほぼ同じになることが判明した。このシミュレーション結果は実際の実験結果からも確認できた。ポインター２の３次元位置（ｘ，ｙ，ｚ）とその光軸方向角度（θｘ，θｙ，θｚ）から得られるポインター２の光軸７と、同心円模様１を投影したディスプレイ画面８との交点を指示点９とする。以下、この指示点の求め方について説明する。

図６は、ポインターから出射される同心円模様を撮像装置（センサー）で検出することによりポインターの３次元位置（ｘ０，ｙ０，ｚ０）とその光軸方向の角度（θｘ、θｙ、θｚ）を算出する方法の一例を説明するための図である。図中、Ｐｓはポインターから投影された多重円錐の内、センサーを通過する一つ円錐がセンサー上に形成した楕円上の任意の一点であり、Ｐ０はその円錐上に存在し、かつＰｓを通過する円の中心位置であり、ＰｒはＰｓ−Ｐ０を意味している。ベクトルＰｒはポインターの光軸（ｃ軸）と垂直になる。下記ではこのような概念に基づいて式を立てている。図示のように、先ず、ポインターを基軸としたローカル座標系（ａ，ｂ，ｃ）とワールド座標系（ｘ，ｙ，ｚ）との関係を示す。ワールド座標の原点Ｏ（０，０，０）に対して、ポインターの座標ＯＬを（ｘ０、ｙ０、ｚ０）とする。ポインターの光軸は図のようにｃ軸とし、これに垂直な軸をａ軸とｂ軸とする。これらａ，ｂ，ｃ軸の単位ベクトルをｅａ，ｅｂ，ｅｃとする。センサー位置座標Ｏｓを（ｘｓ、ｙｓ、ｚｓ）とする。これらは次式で表される。
ea=(a1,a2,a3), eb=(b1,b2,b3), ec=(c1,c2,c3) 式(1)
a12+a22+a32=1, b12+b22+b32=1, c12+c22+c32=1 式(2)

これら２つのベクトルの直交条件は
eb・ec=0 式(3)
また、ベクトルｅａは、ｅｂ，ｅｃと直交することから次式で表される。
ea=eb×ec 式(4)

即ち、ｅａは、ｅｂとｅｃが決まることによって、自動的に決定される。よって、ポインターに関する軸ベクトルとしては、ｅｂとｅｃを求めればよく、式（２）と式（３）から、ｅｂとｅｃに関する３つの方程式があるので、未知数は３個となる。仮にそれをｂ１、ｂ２、ｃ１とする。

ポインターの軸ベクトルの原点ＯＬ（ｘ０，ｙ０，ｚ０）の未知数とあわせると、全体の未知数は６個で、ｘ０，ｙ０，ｚ０，ｂ１，ｂ２，ｃ１となる。
また、ポインターを基点としたローカルな座標系（ａ，ｂ，ｃ）とワールド座標系（ｘ，ｙ，ｚ）との関係は
x=x0+a*a1+b*b1+c*c1
y=y0+a*a2+b*b2+c*c2 式(5)
z=z0+a*a3+b*b3+c*c3
で表される。これを整理すると、

ここで、行列の右肩についている−１は、逆行列を表している。ここで、次式のようにａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｃ１，ｃ２，ｃ３を置き換えなおすと、

ａ，ｂ，ｃは式（９）のように表される。

一方、ポインターから投影される同心円模様により形成される円錐（図１参照）は、ａｂｃ座標系では
a²+b²=r²c² 式(10)
で表される。ここでｒは円錐形状の広がりに関する定数である。
この式（１０）に式（９）を代入し、円錐の式をｘｙｚ座標で表すと式（１１）となる。
{a1*(x-x0) +b1*(y-y0)+c1*(z-z0)}²+{a2*(x-x0) +b2*(y-y0)+c2*(z-z0)}²=r²*{a3*(x-x0) +b3*(y-y0)+c3*(z-z0)}² 式(11)

同心円模様を検出するセンサー面がｘｙ平面上に存在するとし、その位置を（ｘｓ，ｙｓ，０）とすると、式（１１）の楕円がこの位置を通過することから、次式が導かれる。
r²=(a1*(xs-x0)+b1*(ys-y0)+c1*(z0))²+(a2*(xs-x0) +b2*(ys-y0)+c2*(z0))²/(a3*(xs-x0) +b3*(ys-y0)-c3*z0)² 式(12)

また、円錐の式（１１）は整理すると、以下となる。
(a1²+a2²-r²*a3²)(x-x0)²+ (b1²+b2²-r²*b3²)(y-y0)²+(c1²+c2²-r²*c3²)(z-z0)²
+2(a1b1+a2b2-r2*a3b3)(x-x0)(y-y0)+2(b1c1+b2c2-r2*b3c3)(y-y0)(z-z0)
+2(c1a1+c2a2-r2*c3a3)(z-z0)(x-x0)=0 式(13)

この式にセンサ面（ｘｙ平面）であるｚ＝０を代入した楕円式が、センサ面上に形成され、式（１４）で表される。
(a1²+a2²-r²*a3²)(x-x0)²+ (b1²+b2²-r²*b3²)(y-y0)²+2(a1b1+a2b2-r2*a3b3)(x-x0)(y-y0)
-2(c1a1+c2a2-r2*c3a3)z0(x-x0) -2(b1c1+b2c2-r2*b3c3)(y-y0)z0 + (c1²+c2²-r²*c3²)z0² =0 式(14)

係数を簡略化して置き換えると、楕円式（１４）は次式となる。
A(x-x0)²+B(y-y0)²+C(x-x0)(y-y0)＋D(x-x0)+E(y-y0)＋F=0 式(15)
ただし、
A= a1²+a2²-r²*a3²
B= b1²+b2²-r²*b3²
C= 2(a1b1+a2b2-r2*a3b3) 式(16)
D= -2(c1a1+c2a2-r2*c3a3)z0
E= -2(b1c1+b2c2-r2*b3c3)(y-y0)z0
F= (c1²+c2²-r²*c3²)z0²

式（１５）で表される楕円式上の点（ｘｓ，ｙｓ）における接線は次式で表される。
(A(xs-x0)+C(ys-y0)/2+D/2)(x-x0)+(B(ys-y0)+C(xs-x0)/2+E/2)(y-y0)+(D(xs-x0)/2
+E(ys-y0)/2+F)=0 式(17)
簡略化すると、
p(x-x0)+q(y-y0)+u=0 式(18)
ただし、
p = A(xs-x0)+C(ys-y0)/2+D/2
q = B(ys-y0)+C(xs-x0)/2+E/2 式(19)
u = D(xs-x0)/2+E(ys-y0)/2+F

以上により、座標（ｘｓ，ｙｓ）に位置するセンサーに投影される同心円模様の接線が式（１８）で表されることが導出された。この接線に垂直な方向が同心円模様の法線方向となる。実際にセンサーが撮像する同心円模様は、センサーサイズが数ｍｍと小さいことから、ほぼ直線となるので、この接線式がセンサーの撮像画像となる。以上から、接線式（１８）のセンサー位置（ｘｓ，ｙｓ）に実際の値を代入することで、センサーが撮像する同心円模様が得られる。

例えば、センサーを原点に設置した場合には、（ｘｓ，ｙｓ）＝（０，０）として、式（１２）から同心円模様のｒを求め（これをｒ（０，０）などと書くことにする）、そのｒ（０，０）に対応するｒ（０，０）＝ｒ０＊ｎ０なるｎ０を求める。このｎ０は何番目の同心円であるかを示している。
n0=r (xs,ys) /r0 式(20)
この接線の傾きθ０（例えば、図２、図３に記載されているセンサー上の模様がなす角度）は、式（１８）から次式となる。
θ0＝atan(-q/p) 式(21)

次に、上記接線から距離１離れた点（ｘｓ’，ｙｓ’）は接線の傾きに直角な方向にあるので、
xs'=cos(θ0+π/2), ys'=sin(θ0+π/2) 式(22)
と表され、上記と同様に式（１２）からｒを求め、ｒ＝ｒ０＊ｎ１から何番目の同心円であるかを示すｎ１を求める。
n1=r (xs',ys') /r0 式(23)

式（２０）と式（２３）を比べると、距離１隔てた同心円模様がそれぞれ何本目に当たるかが分かるので、その差をΔｎとすると、
Δn＝n0-n1 式(24)
となる。これは言い換えると、距離１の間に存在する同心円模様の本数がΔｎであるので、同心円模様の間隔ΔＬが以下のように求められる。
ΔL=1/Δn 式(25)

以上により、式（２１）から同心円模様の接線の傾きθと、式（２５）から同心円模様の間隔（ピッチ）を導き出すことができた。即ち、センサー１個が検出する同心円模様の接線の傾きθとその間隔ΔＬから、ポインターの３次元位置と角度の未知数に関する２つの式を成立させることができる。したがって、センサーを３個用いることにより、６つの方程式が成立し、未知数ｘ０，ｙ０，ｚ０，ｂ１，ｂ２，ｃ１を算出することができる。即ち、ポインターの３次元位置とその角度に関する全ての未知数を決定することができる。

式（２１）と式（２５）から、解析的に未知数ｘ０，ｙ０，ｚ０，ｂ１，ｂ２，ｃ１を算出することは容易ではないが、この６つの未知数を順次変化させて、式（２１）と式（２５）の値がセンサーの検出値に収束するように数値計算させることは簡単である。ポインターの光軸角度（θｘ、θｙ、θｚ）、すなわちｃ軸がｘ軸、ｙ軸、ｚ軸となす角度はそのベクトルｅｃ＝（ｃ１，ｃ２，ｃ３）から容易に求められ、
ｃｏｓθｘ＝ｃ１，ｃｏｓθｙ＝ｃ２，ｃｏｓθｚ＝ｃ３
となる。

以上のようにして、３個のセンサー（撮像モジュール）が同心円模様の接線方向と間隔を検出することにより、ポインター２の３次元位置とその光軸方向角度をリアルタイムで計測することができる。そして、このポインター２の３次元位置とその光軸方向角度からポインター２の光軸７が得られるので、この光軸７と同心円模様１を投影したディスプレイ画面８との交点を指示点９として、例えばカーソルをディスプレイ画面８上で高精度に表示し、あるいは移動させることができる。

次に、３個のセンサー（撮像モジュール）の隣に、４個目のセンサー（撮像モジュール）を設置した。これは広い範囲にわたってセンサー（撮像モジュール）を多数設置し、投影装置の利用可能な範囲を広げることを目的とする。広い範囲にわたってセンサーを設置する場合に、センサー位置やその撮像面の角度を人間が計測するのは面倒なので、それをセンサー自身の計測機能を利用して計測することで、取り付け操作が簡易になるという効果が出てくる。そのセンサー面の方向は壁面と同じなので既知であるが、その３次元位置は壁面上にあるという情報以外は未知である。壁面を仮にＺ＝０面だとすると、（ｘ，ｙ）が未知となる。このｘ、ｙを簡単に導く方法を以下にのべる。

センサー位置（ｘ、ｙ、ｚ）とすると、式（１２）の導出と同様に、次の関係式を満足する。
r²=(a1*(x-x0)+b1*(y-y0)+c1*(z-z0))²+(a2*(x-x0) +b2*(y-y0)+c2*(z-z0))²/(a3*(x-x0) +b3*(y-y0)-c3*(z-z0))² 式(26)
式（１３）〜式（２５）の手順と全く同様にして、式を展開していくことで、同心円模様の接線の傾きθと、間隔（ピッチ）とｘ、ｙ、ｚとの関係式が得られるので、これらの関係式からｘ，ｙ，ｚを求める。
まず、これら４個のセンサー（撮像モジュール）に同心円模様（干渉模様）が同時に投影されるように、ポインターから同心円模様を投影する。３個のセンサーからは、上記の方法により、ポインターの３次元位置とその光軸方向角度を算出する。同時に４個目のセンサーの未知数はｘ、ｙの２個であるので、ｘ、ｙに関する方程式を２個立てればよい。４個目のセンサーが撮像した同心円模様の接線方向と間隔から、ｘ、ｙに関して２個の方程式を立てることができるので、ｘ、ｙを求めることができる。このようにして、４個目のセンサー（撮像モジュール）の位置を簡易に導出することができる。
この方法を用いて、５個目、６個目と何個センサーを増やしても、その位置を簡易に計測できるので、大きな部屋に多数のセンサー（撮像モジュール）を設置する場合など、最初の３個の位置を測るだけで、後は半自動的にその位置を測定することができた。壁が直角にまがっている場合でも、センサー（撮像モジュール）のセンサー面方向は９０度、位置座標もＹ＝０などに設定することができるので、位置座標の未知数はｘ、ｚなどの２個となり、上記と同様にそれらの未知数を算出することができる。
さらに、任意の位置に任意の角度でセンサー（撮像モジュール）を追加した場合でも、その未知数を解くのに必要な回数だけ、ポインターの位置を変えて同心円模様を投影し方程式を立てれば、未知数を求めることができるので、そのセンサー（撮像モジュール）の位置や角度を計測することができる。このような手段により、センサーモジュールをどんどん追加していっても、その位置や角度を半自動的に計測することができるので、広範囲にしかも任意の角度に自由にセンサ（撮像モジュール）の取り付けを拡張していける効果がある。

本発明において、演算装置は、投影装置の位置や方向を演算する上で必要な前記撮像モジュールの位置を、撮影モジュールとの通信順序から特定する。また、撮像モジュールは同心円模様の法線方向と間隔と撮像信号強度を通信し、演算装置は投影装置の位置や方向を演算する上で、撮像信号強度の大きい順に利用する。さらに、撮像モジュールは同心円模様の法線方向と間隔と撮像信号強度と、撮像モジュール自体の位置情報や撮像面法線方向情報を演算装置に通信する。また、撮像モジュールは同心円模様の法線方向と間隔と撮像信号強度と、撮像モジュール自体の番号を通信し、演算装置は前もって格納しておいた前記番号に対応する前記撮像モジュールの位置情報や撮像面法線方向情報を参照する。これにより、撮像モジュールの数が多くなった場合でも、撮像モジュールの設置位置や角度を瞬時に特定し、投影装置の位置や方向を間違いなく算出することが可能になる効果を有する。一方、撮像モジュールが演算装置に通信する情報にその撮像モジュールの位置とその撮像面の法線方向などを追加することもできる。その場合には、撮像モジュールの通信順序はランダムでよく、通信の自由度があがる。また、演算装置は送られてきた撮像素子の位置と角度情報を利用して、順次、投影装置の位置や方向を算出することができるようになる。演算装置がＩＤ番号などの参照をしないので、計測速度が向上するなどの効果がでる。

次に、ポインターの指示点の位置を追跡する実施例について説明する。上述の方法により、ポインターの３次元位置とその光軸方向角度を求めることができた。この光軸方向と壁面（対象物）との交点をポインターの指示位置とする。この指示位置にＩＤ番号を付与する。次にそのＩＤ番号の指示位置の位置座標（ｘ，ｙ，ｚ）と速度（Ｖｘ，Ｖｙ，Ｖｚ）と加速度（Ａｘ，Ａｙ，Ａｚ）を逐次算出し、これらを演算装置（ＰＣ）に接続された又は内蔵された記憶装置にテーブルとして格納し管理していく。ここで、速度は位置座標の時間的変化なので、連続的に計測した位置座標をその測定時間差で割ることにより算出する。また、加速度は速度の時間的変化なので、上記で算出した速度をその測定時間差で割ることにより算出する。この種のテーブルとして、例えば図７に示すような位置情報管理リストが作成される。例えば、ポインターとセンサー（撮像モジュール）との間に人が歩いてきた場合など、瞬間的にポインターの指示位置（指示点）を計測できなくなり、しばらくしてからまた、指示位置を計測できるようになる。この場合、計測可能となった時に、各ＩＤの位置座標と速度と加速度から計測ができなかった時間を考慮して、位置座標を算出していき、計測が可能となった時に最も近い位置に予測されたＩＤ番号の位置座標を持つものに同じＩＤ番号を付与する。すなわち、ここで算出された位置座標を、「次の予測位置座標」として図７の位置情報管理リストに格納する。これにより、計測不能な場合などでも、各ＩＤの位置を追跡し続けることができる。

このように、本発明では、撮像装置（カメラ）側に同心円模様の方向と間隔を動画像処理して抽出する動画像処理機能を搭載して撮像モジュールとし、カメラ側で同心円模様の方向（接線の傾き）と間隔を抽出する。次に、同心円模様の方向と間隔を演算装置（集中管理コンピュータ）に送信し、このコンピュータがそれらの情報からポインターが指し示した位置（指示位置）を算出するものである。これにより、本発明によれば、撮像装置または撮像モジュールが多数個設置された場合でも同心円模様を投影する投影装置の指示位置をリアルタイムで算出することができる。

本発明は、投影装置より投影された同心円模様を撮像装置で撮像し、この撮像画像に基づいてその位置、方向あるいは指示点を計測する位置・方向計測システムに関するものであり、産業上の利用可能性がある。

本発明に係る位置・方向計測システムの一例を示す構成図である。本発明に係る位置・方向計測システムに用いる撮像モジュールの一例を示す構成図である。同心円模様の法線方向の情報に基づいて投影装置の指示位置を算出する方法の一例を示す図である。（ａ）は本発明に係る位置計測システムで用いることができるポインターの構成例を示す図であり、（ｂ）はポインターを構成する干渉レンズの一例を示す図である。（ａ）、（ｂ）は同心円干渉模様のシミュレーション結果の一例を示す図である。ポインターから出射される同心円模様を撮像装置（センサー）で検出することによりポインターの３次元位置（ｘ０，ｙ０，ｚ０）とその光軸方向の角度（θｘ、θｙ、θｚ）を算出する方法の一例を説明するための図である。記憶装置に格納された位置情報管理リストの一例を示す図である。

符号の説明

１同心円模様
１−１〜１−７撮像モジュール
２投影装置（ポインター）
６演算装置
７光軸
８対象物（ディスプレイ画面）
９指示点
２２撮像装置
２３画像処理装置
２４通信装置

Claims

同心円模様を対象物に投影する投影装置と、前記同心円模様を撮像する複数の撮像装置と、前記複数の撮像装置が撮像した画像から前記同心円模様の法線方向をそれぞれ算出する複数の画像処理装置と、前記複数の画像処理装置により算出した前記同心円模様の法線方向の情報をそれぞれ伝達する複数の通信装置と、前記複数の通信装置から伝達された前記同心円模様の法線方向の情報に基づいて前記投影装置の指示位置を算出する演算装置とを備えたことを特徴とする位置・方向計測システム。
前記撮像装置と前記画像処理装置と前記通信装置とをそれぞれ有する複数の撮像モジュールを備えたことを特徴とする請求項１に記載の位置・方向計測システム。
前記複数の撮像モジュールが前記対象物の近傍に配置されることを特徴とする請求項２に記載の位置・方向計測システム。
同心円模様を対象物に投影する投影装置と、前記同心円模様を撮像する撮像装置、前記撮像装置が撮像した画像から前記同心円模様の接線の傾きおよび間隔を算出する画像処理装置、並びに前記画像処理装置により算出した前記同心円模様の接線の傾きおよび間隔の情報を伝達する通信装置を有する複数の撮像モジュールと、前記複数の撮像モジュールから伝達された前記同心円模様の接線の傾きおよび間隔の情報に基づいて前記投影装置の３次元位置およびその光軸方向角度を算出する演算装置とを備えたことを特徴とする位置・方向計測システム。
前記算出した投影装置の３次元位置およびその光軸方向角度から得られる前記投影装置の光軸と前記対象物との交点を前記投影装置の指示位置とすることを特徴とする請求項４に記載の位置・方向計測システム。
同心円模様を対象物に投影する投影装置と、前記同心円模様を撮像する撮像装置、前記撮像装置が撮像した画像から前記同心円模様の接線の傾きおよび間隔を算出する画像処理装置、並びに前記画像処理装置により算出した前記同心円模様の接線の傾きおよび間隔の情報を伝達する通信装置を有する複数の撮像モジュールと、前記複数の撮像モジュールから伝達された前記同心円模様の接線の傾きおよび間隔の情報に基づいて前記撮像モジュールの３次元位置とその撮像面法線方向を計測する演算装置とを備えたことを特徴とする位置・方向計測システム。
３次元位置とその撮像面法線方向が既知である３個以上の前記撮像モジュールが設置されており、新たに設置される撮像モジュールの３次元位置とその撮像面法線方向を、前記投影装置により前記同心円模様を投影することにより計測することを特徴とする請求項６に記載の位置・方向計測システム。
前記通信装置は、無線により情報を伝達するものであることを特徴とする請求項１〜７のいずれかに記載の位置・方向計測システム。
前記演算装置は、前記複数の撮影モジュールとの通信順序から前記撮像モジュールの位置を特定することを特徴とする請求項２〜７のいずれかに記載の位置・方向計測システム。
前記演算装置は、前記複数の撮像モジュールから伝達される信号の強度の大きい順に前記撮像モジュールからの情報を利用することを特徴とする請求項２〜７のいずれかに記載の位置・方向計測システム。
前記演算装置は、予め格納された前記撮像モジュールの番号に対応する撮像モジュールの位置情報を参照することを特徴とする請求項２〜７のいずれかに記載の位置・方向計測システム。
前記撮像モジュールは前記模様の法線方向と間隔と撮像信号強度と、前記撮像モジュール自体の位置情報と撮像面法線方向情報を前記演算装置に通信することを特徴とする請求項６または７に記載の位置・方向計測システム。
前記撮像モジュールは前記模様の法線方向と間隔と撮像信号強度と、前記撮像モジュール自体の番号を通信し、前記演算装置は前もって格納しておいた前記番号に対応する前記撮像モジュールの位置情報と撮像面法線方向情報を参照することを特徴とする請求項６または７に記載の位置・方向計測システム。
前記演算装置が計測した前記投影装置の指示位置にＩＤ番号を付与し、前記ＩＤ番号とともに前記投影装置の指示位置に関連する座標の速度および加速度の情報に基いて前記ＩＤ番号を追跡することを特徴とする請求項１〜３または５に記載の位置・方向計測システム。