JP2004294138A - 光線方向測定装置および測定方法 - Google Patents
光線方向測定装置および測定方法 Download PDFInfo
- Publication number
- JP2004294138A JP2004294138A JP2003084088A JP2003084088A JP2004294138A JP 2004294138 A JP2004294138 A JP 2004294138A JP 2003084088 A JP2003084088 A JP 2003084088A JP 2003084088 A JP2003084088 A JP 2003084088A JP 2004294138 A JP2004294138 A JP 2004294138A
- Authority
- JP
- Japan
- Prior art keywords
- light beam
- projection
- measuring
- beam direction
- ray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】光線照射装置から照射される複数光線の照射方向を測定する際に、同時に２点以上の投影点を各光線毎に計測する方法では、高い精度で設置した大掛かりな専用装置が必要になる。
【解決手段】複数光線の照射方向を測定するために、照射される各光線を投影する平面スクリーンと、そのスクリーンに投影される投影点の位置を計測する光線投影位置計測手段と、計測された投影位置情報から各光線方向を算出する光線方向算出手段を用意する。光線照射装置を任意の異なる位置および方向に動かし、スクリーンへの投影と投影点の位置の測定を３回以上行う。このときに得られる投影点の位置情報から、光線方向算出手段により各光線の方向が算出される。なおここで各光線方向算出手段では、複数回の光線投影からある組み合わせを選び、それから各光線方向に関する拘束条件を複数求め、それを統合し光線方向を求める。
【選択図】 図１
【解決手段】複数光線の照射方向を測定するために、照射される各光線を投影する平面スクリーンと、そのスクリーンに投影される投影点の位置を計測する光線投影位置計測手段と、計測された投影位置情報から各光線方向を算出する光線方向算出手段を用意する。光線照射装置を任意の異なる位置および方向に動かし、スクリーンへの投影と投影点の位置の測定を３回以上行う。このときに得られる投影点の位置情報から、光線方向算出手段により各光線の方向が算出される。なおここで各光線方向算出手段では、複数回の光線投影からある組み合わせを選び、それから各光線方向に関する拘束条件を複数求め、それを統合し光線方向を求める。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ロボット制御、計測、実写ＣＧ合成などの様々な分野で利用される、光線照射装置の位置や姿勢を測定し、自己位置同定するための光線方向測定装置および光線方向測定方法に関する。
【０００２】
【従来の技術】
特徴点となるマーカを撮影した画面から、カメラの位置や姿勢を推定するカメラの自己位置同定は、ロボット制御、計測、実写ＣＧ合成など、様々な分野で利用される基本技術である。
【０００３】
その基礎となる手法に、透視３点問題と呼ばれるものがある。
カメラの内部パラメータが既知のとき、３つの特徴点の３次元位置とその撮影画面から４次方程式を導き、これを解くことでカメラ位置・姿勢が算出できることが知られている。
【０００４】
特徴点数が３つであることは、この推定を行うための必要十分な観測数であるが、計算を簡略化できる、多次方程式の解を一意に定める、カメラ内部パラメータも同時に求める、あるいは誤差を削減させる、といった目的のため、特徴点数をそれ以上に増やして冗長性を持たせる方法も提案されている［非特許文献１参照］。
【０００５】
これらの原理は、カメラの自己位置同定だけでなく、他のアプリケーションにも適用可能である。
【０００６】
カメラの自己位置同定では、図１１（ａ）に示すように、被写体の３次元位置と、映像から求められる各光軸方向（視点と被写体を結ぶ直線方向：｛ｍ０｝，｛ｍ１｝，｛ｍ２｝）が既知のとき、カメラ１０の位置・姿勢を求めることができる。
【０００７】
これに対して、図３に示すように複数の光線を、照射装置に対してあらかじめ固定された方向に照射する光線照射装置１を考える。
【０００８】
この光線照射装置１を任意の位置・方向に動かし、ここから照射される光線（光線照射方向ベクトル：｛ｍ１｝、｛ｍ２｝、｛ｍ３｝、｛ｍ４｝）をある場所に投影させる。この投影点の３次元位置を何らかの手段で計測すれば、図１１（ｂ）に示すように、得られる情報と、その幾何学的拘束は図１１（ａ）とまったく同じ条件となり、カメラ１０の自己位置同定と同様の方法で、照射装置１２の位置・姿勢を求めることができる。
【０００９】
その具体例として照射装置をＶＲ（バーチャルリアリティー）における３次元位置姿勢センサに適用しようという試みがされている［非特許文献２参照］。
【００１０】
図２（ｂ）にアプリケーション実現例を示す。
【００１１】
超大画面スクリーンに向かった体験者は、このデバイス（光線照射装置７）をスクリーン２に向かって自由に動かすことで、位置と姿勢の合計６パラメータをシステムに対して入力することができる。
【００１２】
例えばこのデバイス７を体験者の頭部に取り付け、また光線として非可視光を用いることで、体験者の視点位置や視線方向を自動的に検知し、それによって表示する映像を動的に変化させる、といったＶＲアプリケーションへの適用が想定される。
【００１３】
大型ディスプレイにおけるポインティングデバイスとしてこの原理を用いる手法が下記特許文献１において開示されている
さて、以上述べたアプリケーションでは図３に示すように、照射装置１から照射される各光線の相対方向があらかじめ分かっていなければならないため、その測定方法が問題となる。
【００１４】
その最も分かり易い方法が、図４に示す方法である。
【００１５】
平行な面など、互いの位置関係が既知な２つの投影面（９、９１）を設定し、これに投影される２つの投影点（例えば｛ｐ１｝、｛ｐ’１｝）の位置を測定し両者を結ぶことで光線の方向を求めることができる。しかしこの方法では、２つの投影点が同一の座標系の値として読み取れるように、高い精度で２つの投影面（９、９’）を設置した大掛かりな装置が必要となり、装置そのもののキャリブレーションも要求される。
【００１６】
【非特許文献１】Ｌ． Ｑｕａｎ ａｎｄ Ｚ． Ｌａｎ，“Ｌｉｎｅａｒ Ｎ ≧ ４−ｐｏｉｎｔ ｐｏｓｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ，” Ｐｒｏｃ． ＩＣＣＶ， ｐｐ． ７７８−７８２， １９９８
【非特許文献２】鈴木尚亨、高橋裕樹、中嶋正之、“大型ＶＲシステムのための能動型３次元位置センサＡＭＵＳＥ”、日本ＶＲ学会誌、Ｖｏｌ． ４、Ｎｏ． ３、ｐｐ． ５１１−５２０、１９９９
【特許文献１】特開２００３−３６１４２号公報
【発明が解決しようとする課題】
光線照射装置１から照射される各光線の相対方向を測定する方法としては図４に示した光線方向測定装置のように、平行なスクリーン面など、互いの位置関係が既知な２つの投影面を設定し、これに投影される２つの投影点の位置を同一の座標系の値として読み取り、この値から方向を求める方法が考えられる。しかしこの方法では、２回の投影を厳密な関係の下に行うために高い精度で設置した大掛かりな装置が必要となる。さらに、装置そのものの高度なキャリブレーションも要求される。
【００１７】
そこで本発明では、このような大掛かりな装置を必要としない光線方向測定手段を実現する。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、同時に複数の方向に光線を照射する光線照射手段と、該光線照射手段によって照射される各光線を投影する平面スクリーンと、該平面スクリーンに投影された各光線の投影位置を計測する光線投影位置計測手段と、該光線投影位置計測手段で計測された各光線の投影位置情報から各光線方向を算出する光線方向算出手段を構成する。
【００１９】
【発明の実施の形態】
本発明の実施例の構成を図１に示す。
【００２０】
図からわかるように、光線照射手段１によって照射される各光線を投影する平面スクリーン２と、その平面スクリーン２に投影された各光線の投影位置を計測する光線投影位置計測手段３と、
計測された各光線の投影位置情報から各光線方向を算出する光線方向算出手段４から構成される。
【００２１】
光線照射装置１は図３に示すように、同時に複数の方向に光線を照射し、照射される光線の数が４本以上で、各光線の照射方向が固定されている（各光線の相対方向は未知）。
【００２２】
平面スクリーン２は、光線照射手段１によって照射される各光線が投影される。
【００２３】
光線投影位置計測手段３は、平面スクリーン２に投影された各光線の投影位置を複数台のカメラ（５１，５２，５３，５４）で撮影した画像情報から各光線の投影位置情報（各投影点の３次元座標値）を計測する。
【００２４】
光線投影位置計測手段３の実施例として、図１に示す平面スクリーン２を４台のカメラで撮影するときの状況を図１２に示す。
【００２５】
図１２において、カメラ（５１）〜カメラ（５４）は平面スクリーン２を撮像するカメラで、このカメラはスクリーンの表示画面が撮像できる表面に設置される。また透過式スクリーンの場合はスクリーンの裏側が撮像できる場所でもよい。
【００２６】
各々のカメラはスクリーン２の一部を撮像しているが、各カメラの撮像領域を統合すると画像表示領域全体を余すことなく撮像できる位置に配置されている。もちろんこれらのカメラが撮像する領域は互いに重複していても良い。
【００２７】
なおこのときスクリーン２の位置と、投影点計測用の各カメラ間のキャリブレーションをあらかじめ行っておき、その関係を不動とすることで、各投影点は３次元座標値として読み取ることができる。
【００２８】
これにより光線投影位置計測手段３は、平面スクリーン２上に投影された光線照射装置１の各光線の投影点（｛ｐ１｝、｛ｐ２｝、｛ｐ３｝、｛ｐ４｝）位置を３次元位置データとして測定し、各光線の投影点の座標情報として出力する。
【００２９】
光線方向算出手段４は、該光線投影位置計測手段３で計測された各光線の投影点位置情報から各光線方向を算出する。
【００３０】
次に、光線照射装置１の各光線方向を算出する手順を図５に示す。
【００３１】
従来の技術で説明したアプリケーションシステムを用いることで、図５ａにおいて任意の場所｛ｂ（１）｝から光線を照射させたときの各光線の投影点（｛ｐ１（１）｝、｛ｐ２（１）｝、｛ｐ３（１）｝、｛ｐ４（１）｝）を測定することができる。
【００３２】
もちろんこのときは照射装置１のそれぞれの光線方向が分かっていないので、照射点｛ｂ（１）｝の位置や姿勢を求めることはできないし、またこの投影点の情報だけから光線方向を推定することもできない。しかしながら、照射装置１を別の任意の位置に動かし、同様の測定を複数回行えば、（図５（ｂ）、図５（ｃ）、・・・・、図５（ｄ））、それぞれで得られる投影点（｛ｐ１（１）｝、｛ｐ２（１）｝、・・・、｛ｐ１（２）｝、・・・、｛ｐ４（２）｝、｛ｐ１（Ｎ）｝、・・・、｛ｐ４（Ｎ）｝）の位置情報から幾何学的な拘束条件を用いて、照射装置から照射される各光線の方向が算出でき、また同時に、各照射時の照射装置の位置・姿勢を求めることができる。
【００３３】
なおここで、各照射点、投影点の位置情報｛ｂ｝、｛ｐｉ｝はともに、ワールド座標系で表現された３次元位置を示す３−Ｄベクトルであらわされる。
【００３４】
第１回の測定（図５（ａ））と第２回の測定（図５（ｂ））の組み合わせを例に具体的な計算方法を説明する。
【００３５】
図５（ａ）、（ｂ）に示したとおり、第１回の測定と第２回の測定では、照射装置１の位置、姿勢は異なっているが、同一の投影面（平面スクリーン２）に対して投影している。この関係は、図６に示すように、照射装置１の位置・姿勢を同一のものとし、異なる投影面｛Π（１）｝、｛Π（２）｝に対して投影するのと等価である。
【００３６】
なおここで、図５における各測定回の照射装置の位置・姿勢の相対関係は未知なので、図６における各平面の位置と法線方向の相対関係も未知となる。
【００３７】
ここで、座標系について考える。図５では、各測定においてすべて同じ投影面を用いるため、各投影点（｛ｐ１（１）｝、｛ｐ２（１）｝、・・・、｛ｐ１（２）｝、・・・、｛ｐ４（２）｝、｛ｐ１（Ｎ）｝、・・・、｛ｐ４（Ｎ）｝）の位置情報は同じ座標系（ワールド座標系）であらわせられる。これに対して図６では、第２回の測定時に照射装置と投影面を移動・回転させることとなるので、投影点座標値｛ｐ´ｉ｝をあらわす座標系の座標原点、座標軸ともに、同様の移動・回転をさせることとなる。すなわち図６では、各投影点は第１回の測定で用いられる座標値｛ｂ｝、｛ｐｉ｝と第２回の測定で用いられる座標値｛ｂ´｝、｛ｐ´ｉ｝は異なる座標系で表されるものと解釈しなければならない（ただし、照射点｛ｂ（１）｝と｛ｂ（２）｝の位置情報｛ｂ｝、｛ｂ´｝は空間内で同じ点を示していることに注意する）。そこで、第１回の測定で用いられる座標系を｛Ｕ（１）｝座標系、第２回の測定で用いられる座標を｛Ｕ（２）｝座標系、以下、｛Ｕ（３）｝座標系、｛Ｕ（Ｎ）｝座標系と呼ぶことにする。
【００３８】
図６における２つの投影面への投影点の関係を式であらわす。
第１回の測定における、照射装置の位置を｛ｂ｝、光線｛ｍｉ｝の平面１（Π（１））への投影点を｛ｐｉ｝とし、それぞれ｛Ｕ（１）｝座標系で表される３次元ベクトルとする。同様に第２回の測定における、照射装置の位置を｛ｂ´｝、光線｛ｍｉ｝の平面２（｛Π（２）｝）への投影点を｛ｐ´ｉ｝とし、それぞれ｛Ｕ（２）｝座標系で表される３次元ベクトルとする。それぞれの関係は
【００３９】
【数１】
【００４０】
【数２】
【００４１】
と表すことができる。
【００４２】
この数式（１）数式（２）から
【００４３】
【数３】
【００４４】
【数４】
【００４５】
が得られる。
【００４６】
以上の条件より、数式（３）、数式（４）（ｉ＝１，２，・・・，Ｉ）における既知パラメータ｛ｐｉ｝、｛ｐ´ｉ｝から、未知パラメータ｛ｍｉ｝、｛α´ｉ｝、｛Ｒ´｝、｛ｂ｝、｛ｂ´｝を推定する。数式（３）（４）より｛ｍｉ｝を消去すると
【００４７】
【数５】
【００４８】
が得られる。
【００４９】
なおここで、測定方法の定義より、各投影点｛ｐｉ｝、｛ｐ´ｉ｝ はそれぞれ同一の平面上にある。そこで数式（５）をこの条件を考慮したものに書き換える。
【００５０】
いま、図６における２つの平面｛Π（１）｝、｛Π（２）｝を、それぞれ法線ベクトル｛ｈ｝、｛ｈ´｝と、各座標原点から平面までの距離｛ｄ｝、｛ｄ´｝で表すことにする。平面上に存在する３つ以上の点（｛ｐ１（１）｝、｛ｐ２（１）｝、｛ｐ３（１）｝、｛ｐ４（１）｝）、（｛ｐ１（２）｝、｛ｐ２（２）｝、｛ｐ３（２）｝、｛ｐ４（２）｝）の３次元位置がそれぞれ既知なので、各平面のパラメータ｛ｈ｝、｛ｄ｝、｛ｈ´｝、｛ｄ´｝はそこから一意に算出可能である。なお、｛ｈ｝、｛ｄ｝は｛Ｕ（１）｝座標系で、｛ｈ´｝、｛ｄ´｝は｛Ｕ（２）｝座標系で表されたものである。
【００５１】
平面｛Π（１）｝上に存在する任意の点｛ｐｉ｝と、平面｛Π（２）｝に存在する任意の点｛ｐ´ｉ｝の満たすべき数式は
【００５２】
【数６】
【００５３】
【数７】
【００５４】
である。これらの式で、（・，・）はベクトルの内積を示す。
【００５５】
数式（６）（７）を数式（５）に代入して
【００５６】
【数８】
【００５７】
ここで、
【００５８】
【数８１】
【００５９】
で表されるテンソル積の関係を用いると、数式（８）は
【００６０】
【数８２】
【００６１】
と書き換えられ、これより
【００６２】
【数９】
【００６３】
と置いたときに｛ｐｉ｝と｛ｐ´ｉ｝の関係を
【００６４】
【数１０】
【００６５】
の形式で表すことができる。
【００６６】
この数式（１０）を本問題における基本方程式と定義する。
【００６７】
数式（１０）における変換行列｛Ａ´｝を、観測パラメータより求めていくことにする。数式（１０）では両辺にスカラー倍の自由度があるので、
【００６８】
【数１０１】
【００６９】
とおくことができる。これより、
【００７０】
【数１０２】
【００７１】
として数式（１０）に代入すると、
【００７２】
【数１１】
【００７３】
なる２式が得られる。未知パラメータ（｛ａｉｊ｝）の数は８つなので、４組（ｉ＝１，２，３，４）の数式（１０）より行列｛Ａ´｝は一意に求まる。
【００７４】
ある光軸ｉが２つの異なる平面上に投影され、それぞれ個別の座標系による座標表現で、｛ｐ｝、｛ｐ´ｉ｝として観測されたとき、｛ｐｉ｝と｛ｐ´ｉ｝の関係が数式（１０）の基本方程式で表されることがわかった。また、そこで用いられる未知パラメータ｛Ａ´｝が、４組（ｉ＝１、２、３、４）の観測点｛ｐ１｝、｛ｐ２｝、｛ｐ３｝、｛ｐ４｝、｛ｐ´１｝、｛ｐ´２｝、｛ｐ´３｝、｛ｐ´４｝から求めることができることがわかった。
【００７５】
数式（３）（４）における｛ｍｉ｝（ｉ＝１、２、・・・，Ｉ）を求めるには、｛Ａ´｝を分解することにより数式（５）における未知パラメータ｛ｂ｝、｛ｂ´｝、｛Ｒ´｝を求める必要がある。
【００７６】
｛Ａ´｝は前述のように実質的に８つのパラメータで表現され、これに対して、｛ｂ｝、｛ｂ´｝、｛Ｒ´｝には合計９つのパラメータがある。
【００７７】
図５に示すように観測回数を増やし、例えば３回の観測を行うと、第１回の観測と第２回の観測、および、第１回の観測と第３回の観測、の組み合わせにより、２つの変換行列、｛Ａ´｝、｛Ａ´´｝が得られる。よってここでの拘束パラメータ数は、８×２＝１６に増える。これに対して未知パラメータは、｛ｂ｝、｛ｂ´｝、｛Ｒ´｝に｛ｂ｝、｛ｂ´´｝、｛Ｒ´´｝が加わるが、ここで｛ｂ｝は共通なので結局、｛ｂ｝、｛ｂ´｝、｛Ｒ´｝、｛ｂ´´｝、｛Ｒ´´｝の合計１５となる。これにより未知パラメータ数は拘束数より少なくなるので、それぞれの未知パラメータを求めることができる。
【００７８】
まず第１回の観測と第２回の観測の組み合わせによる変換行列｛Ａ´｝において、未知パラメータ｛ｂ｝、｛ｂ´｝、｛Ｒ´｝のなかの｛ｂ｝が取るべき値に関する条件（｛ｂ｝に関する条件式）を求める。
【００７９】
いま、ある光線方向｛ｍｖ｝を考える。この光線は、平面｛Π（１）｝上のある無限遠の位置に投影され、また、同時に平面｛Π（２）｝上のある無限遠の位置に投影されるものとする。このような光線｛ｍｖ｝の条件は、図７に示すように光線方向が平面｛Π（１）｝と平面｛Π（２）｝の交線方向｛ｌ｝に等しくなる場合のみ成り立つ。
【００８０】
以上の条件を満たす方向｛ｍｖ｝を実際に求める。
【００８１】
平面上の無限遠点を、方向を示す単位ベクトル｛ｃ｝で表現すると、実際の無限遠点は
【００８２】
【数１１１】
【００８３】
となるが、数式（１０）におけるホモグラフイーでは、定数倍の自由度があり、２平面間の変換も問題なく行えるので、投影点を考える上でスケール定数｛ｚ｝については省略することができる。
【００８４】
このような考えから、光線｛ｍｖ｝の平面｛Π（１）｝上の無限遠投影点と、平面｛Π（２）｝上の無限遠投影点を、それぞれ単位方向ベクトル｛ｐｖ｝、｛ｐ´ｖ｝と表現する。
図７に示すように｛ｐｖ｝、｛ｐ´ｖ｝は方向｛ｍｖ｝、すなわち２平面の交線｛ｌ｝の方向を表すことになる。なお｛ｐｖ｝、｛ｐ´ｖ｝はそれぞれ別の座標系（｛Ｕ（１）｝、｛Ｕ（２）｝座標系）で表現されていることに注意する。
【００８５】
このような条件を満たす｛ｐｖ｝、｛ｐ´ｖ｝を求めると、平面｛Π（２）｝の法線が｛ｈ´｝だから、平面｛Π（２）｝の無限遠方向｛ｐ´ｖ｝は、
【００８６】
【数１２】
【００８７】
を満たす。
【００８８】
同様に、平面｛Π（１）｝の法線が｛ｈ｝であるから｛ｐｖ｝は、（｛ｈ｝，｛ｐｖ｝）＝０を満たす。
数式（１０）より｛ｐｖ｝と｛ｐ´ｖ｝の関係は
【００８９】
【数１２１】
【００９０】
だから、
【００９１】
【数１３】
【００９２】
を満たす。
【００９３】
数式（１２）、数式（１３）より｛ｐ´ｖ｝は
【００９４】
【数１４】
【００９５】
によって求まる。なおここで ｎｏｒｍａｌｉｚｅ［・］はベクトルのノルムが１となるような正規化操作を、×はベクトルの外積を表す。
【００９６】
以上より、２平面の交線方向が、｛Ｕ（２）｝座標系によって表されるベクトル｛ｐ´ｖ｝として求まった。
【００９７】
次に図８に示すように｛ｐ´ｖ｝（交線｛ｌ｝の方向）に直交し、平面｛Π（２）｝上の無限遠点に投影する光線方向を｛ｎｖ｝とする。この無限遠投影点を｛ｑ´ｖ｝と表す。
【００９８】
平面｛Π（２）｝の法線が｛ｈ´｝だから、
【００９９】
【数１５】
【０１００】
である。よって｛ｑ´ｖ｝は｛ｐ´ｖ｝と｛ｈ´｝の両方に直交することになる。｛ｐ´ｖ｝は数式（１４）で求められるので、
【０１０１】
【数１６】
【０１０２】
となる。
【０１０３】
光線｛ｎｖ｝が平面｛Π（１）｝上に投影する点を｛ｑｖ｝とおく。数式（１０）より
【０１０４】
【数１６１】
【０１０５】
となる。ここで｛ｑｖ｝は無限遠点ではないので、単位ベクトルではなく、平面｛Π（１）｝上の実際の点として求める必要がある。よってスケール係数を特定する必要がある。平面の式より（｛ｈ｝，｛ｑｖ｝）＝｛ｄ｝だから、
【０１０６】
【数１７】
【０１０７】
となる。
【０１０８】
以上より、｛ｑｖ｝が特定された。図８に示すように照射位置｛ｂ｝から｛ｑｖ｝に向かう方向（｛ｑｖ｝−｛ｂ｝）は｛ｌ｝（＝｛ｐｖ｝）に直交する。よって、｛ｂ｝は点｛ｑｖ｝を通り、｛ｌ｝に直交する平面｛Π（ｑ）｝上になければならないことが分かる。
【０１０９】
次に図９に示すように、平面｛Π（２）｝上の無限遠点に投影点を投影する２つの光線｛ｕｑｖ｝，｛ｕｖ｝を考えて、さらに条件を絞り込んでいくことにする。なお｛ｕｑｖ｝は前述点｛ｑｖ｝に投影点を投影する光線とする。
【０１１０】
２つの光線の平面｛Π（１）｝上の投影点｛ｑｖ｝，｛ｃｖ｝と照射点｛ｂ｝のつくる角度｛θ｝は、それらの光線が平面｛Π（２）｝上に投影する点｛ｑ´ｖ｝、｛ｃ´ｖ｝と照射点｛ｂ´｝がつくる角度｛θ´｝となることに注意する。
【０１１１】
図９からわかるように、光線｛ｕｖ｝が、平面｛Π（１）｝に投影する点｛ｃｖ｝は、｛ｑｖ｝をとおり方向｛ｌ｝（＝｛ｐｖ｝）に平行な直線｛Ｌ｝上にあることから、この点を
【０１１２】
【数１８】
【０１１３】
と表すことができる。同じ光線｛ｕｖ｝が平面｛Π（２）｝上に投影する無限遠点｛ｃ´ｖ｝は数式（１０）より
【０１１４】
【数１９】
【０１１５】
である。
【０１１６】
ここで、数式（１２１）かつ｜｛ｐｖ｝｜＝１だから
【０１１７】
【数１９１】
【０１１８】
であり、また数式（１７）より
【０１１９】
【数１９２】
【０１２０】
だから、これを数式（１９）に代入すると
【０１２１】
【数２０】
【０１２２】
となる。
【０１２３】
さて、ここで、照射装置から投影点｛ｑｖ｝に向かう光線｛ｕｑｖ｝、すなわち数式（１８）において、｛λ｝＝０とおいた場合の光線と、数式（１８）において｛λ｝＝０以外の場合での光線｛ｕｖ｝のつくる角度｛θ｝に着目する。
【０１２４】
照射位置｛ｂ｝から｛ｑｖ｝までの距離は｜｛ｂ｝−｛ｑｖ｝｜だから
【０１２５】
【数２１】
【０１２６】
となる。
【０１２７】
一方、これらの２つの光線は平面｛Π（２）｝上の無限遠点に投影されるが、それらを｛ｑ´ｖ｝、｛ｃ´ｖ｝と方向ベクトルであらわし、これらがつくる角度｛θ´｝をもとめると、
【０１２８】
【数２２】
【０１２９】
となる。｛θ｝＝｛θ´｝となるので、数式（２１）と数式（２２）をひとつにまとめて、数式（２０）を代入すると、
【０１３０】
【数２３】
【０１３１】
が得られる。
【０１３２】
任意の｛λ｝について数式（２３）が満たされるためには
【０１３３】
【数２３１】
【０１３４】
でなければならない。これは照射位置｛ｂ｝と点｛ｑｖ｝との距離｛ｒ｝が常に、
【０１３５】
【数２４】
【０１３６】
すなわち点｛ｑｖ｝を中心とした半径｛ｒ｝の球上に｛ｂ｝が存在しなければならないことを示している。
【０１３７】
なおここで｛ｐ´ｖ｝、｛ｑ´ｖ｝、｛ｑｖ｝はそれぞれ数式（１４）（１６）（１７）より求められるものである。
【０１３８】
以上をまとめると、照射位置ｂは図１０（ａ）に示すように、平面｛Π（ｑ）｝上の、点｛ｑｖ｝を中心とする半径｛ｒ｝の円｛Ω（１）｝上に存在しなければいけないことがわかった。
【０１３９】
以上、ホモグラフィー｛Ａ´｝が与えられたときに照射位置｛ｂ｝が取るべき条件について考えてきたので、上記の結論は｛ｂ｝の位置に関する必要条件ということができる。証明は省略するが、これは十分条件にもなっている。
【０１４０】
以上より、任意の２つの平面｛Π（１）｝、｛Π（２）｝に光線を照射したとき、それぞれの投影位置から互いの変換行列｛Ａ´｝が得られ、その際に、照射位置｛ｂ｝が空間内のある円｛Ω（１）｝に存在することが必要十分条件となることがわかった。
しかしながら、これだけでは｛ｂ｝を一意に特定できず、目的となる光軸方向｛ｍｉ｝を求めることができない。
【０１４１】
そこで、もう一つの平面｛Π（３）｝を考えることにする。この第３の平面｛Π（３）｝と、第１の平面｛Π（１）｝の組み合わせにより、別の変換行列｛Ａ´´｝を得ることができ、これから｛Ａ´｝のときと全く同じように、図１０（ｂ）に示すように照射位置ｂの存在する円｛Ω（２）｝を求めることができる。
【０１４２】
円｛Ω（１）｝、円｛Ω（２）｝のどちらも平面｛Π（１）｝を表す座標系、すなわち｛Ｕ｝座標系によって表現されているので、図１０（ｃ）に示すように、この２つの円が交わる点を直接計算すればこれが照射位置｛ｂ｝の存在点となる。
【０１４３】
ここにおいて、目的となる光軸方向｛ｍｉ｝を一意に算出することが可能になった。具体的には｛ｂ｝を数式（５）に代入し、順次未知パラメータを求めていった後にこれを数式（３）に代入すれば計算される。
【０１４４】
なお２つの円はそれぞれ平面｛Π（１）｝に直交する平面上にあり、その中心も平面｛Π（１）｝上にあるので、どちらの円も３次元空間内で平面｛Π（１）｝を中心とした面対称の位置にある。よって、その交点も平面｛Π（１）｝の表側と裏側の２つ存在するが、どちらを考えても平面｛Π（１）｝との相対的な関係は変わらない。
【０１４５】
以上の計算は、例えば図１４に示した自動計算装置（３００）によって実現される。自動計算装置は、データ転送を行うシステムバス（３３０）、あらかじめ決められたプログラムやその時の状況に応じて、各種演算処理を行うＣＰＵ等の中央演算装置（３４０）、プログラムや数値データを保存するメモリ等の主記憶装置（３５０）、同じくプログラムや数値データを保存するハードディスク等の外部記憶装置（３６０）から構成される。本装置には光線方向算出プログラム（３８５）が記録されており、このプログラムがいったん主記憶装置（３５０）に読み出された後に、光線投影位置計測手段から入力される各投影点の位置情報を用いて計算を行い、各光線方向を算出し、外部記憶装置（３６０）に計算結果（３９０）を記録する。
【０１４６】
以上述べてきた本発明の実施例における処理の手順を図１４に示す。任意の位置、方向に光線照射装置を動かす（１５１０）。次に平面スクリーンに光線を照射する（１５２０）。次に平面スクリーン上の投影点位置を計測する（１５３０）。これを任意の回数（ただし３回以上）繰り返す。次に光線方向を算出する。光線方向算出部（１５４０）では、複数回の投影からある組み合わせを選びそれから得られた投影点位置情報から各光線に関する拘束上件を求め（１５５０）、これを異なる組み合わせで複数回行い、その結果得られる複数の拘束条件を統合し、光線方向を求める（１５６０）。
【０１４７】
以上の手順をとることで、複数光線の照射方向が算出される。
【０１４８】
【発明の効果】
本発明によれば、１つのスクリーンを用いて測定が行われるため、高精度・大掛かりな専用装置を用意することなく、光線照射装置の光線方向を測定することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例の形態を示す構成図
【図２】カメラの自己位置同定を用いた３次元位置姿勢センサ（ａ）と光線照射装置を用いた３次元位置姿勢センサ（ｂ）
【図３】光線照射装置と各光線の方向
【図４】２つの投影点の絶対位置測定による光線方向推定方向
【図５】光線方向測定方法（ａ）（ｂ）（ｃ）（ｄ）
【図６】２回の測定における光線照射装置の位置および姿勢を一致させた場合の各投影平面の関係
【図７】ある照射光線｛ｍｖ｝の２平面｛Π（１）｝、｛Π（２）｝上の無限遠点に向かったときの、無限遠方向を示すベクトル｛ｐｖ｝、｛ｐ´ｖ｝と｛ｍｖ｝の関係
【図８】ベクトル｛ｌ｝、点｛ｑｖ｝と｛ｂ｝の存在する平面｛Π（ｑ）｝の関係
【図９】平面｛Π（２）｝上の無限遠点方向に投影点を持つ２つの光線｛ｕｑｖ｝、｛ｕｖ｝のつくる角度｛θ｝と各投影点の関係
【図１０】（ａ）は｛ｂ｝の存在する円｛Ω（１）｝、（ｂ）は｛ｂ｝の存在する円｛Ω（２）｝、（ｃ）は３つの平面｛Π（１）｝、｛Π（２）｝、｛Π（３）｝を用いて｛ｂ｝を一意に決定していく過程。
【図１１】（ａ）カメラの自己位置推定方法と（ｂ）光線照射装置の位置・姿勢推定方法
【図１２】平面スクリーン２を４台のカメラで撮影するときの状況
【図１３】光線方向算出手段を実現する装置構成例
【図１４】実施例における処理手順
【符号の説明】
１．光線照射装置
２．平面スクリーン
３．光線投影位置計測手段
４．光線方向算出手段
５１．〜５４．光線投影位置計測撮影用カメラ
６．マーカ撮影カメラ
７．光線照射装置
９．９１．平行な平面スクリーン
１０．カメラ
１１．平面スクリーン
１２．光線照射装置
１３．平面スクリーン
【発明の属する技術分野】
本発明は、ロボット制御、計測、実写ＣＧ合成などの様々な分野で利用される、光線照射装置の位置や姿勢を測定し、自己位置同定するための光線方向測定装置および光線方向測定方法に関する。
【０００２】
【従来の技術】
特徴点となるマーカを撮影した画面から、カメラの位置や姿勢を推定するカメラの自己位置同定は、ロボット制御、計測、実写ＣＧ合成など、様々な分野で利用される基本技術である。
【０００３】
その基礎となる手法に、透視３点問題と呼ばれるものがある。
カメラの内部パラメータが既知のとき、３つの特徴点の３次元位置とその撮影画面から４次方程式を導き、これを解くことでカメラ位置・姿勢が算出できることが知られている。
【０００４】
特徴点数が３つであることは、この推定を行うための必要十分な観測数であるが、計算を簡略化できる、多次方程式の解を一意に定める、カメラ内部パラメータも同時に求める、あるいは誤差を削減させる、といった目的のため、特徴点数をそれ以上に増やして冗長性を持たせる方法も提案されている［非特許文献１参照］。
【０００５】
これらの原理は、カメラの自己位置同定だけでなく、他のアプリケーションにも適用可能である。
【０００６】
カメラの自己位置同定では、図１１（ａ）に示すように、被写体の３次元位置と、映像から求められる各光軸方向（視点と被写体を結ぶ直線方向：｛ｍ０｝，｛ｍ１｝，｛ｍ２｝）が既知のとき、カメラ１０の位置・姿勢を求めることができる。
【０００７】
これに対して、図３に示すように複数の光線を、照射装置に対してあらかじめ固定された方向に照射する光線照射装置１を考える。
【０００８】
この光線照射装置１を任意の位置・方向に動かし、ここから照射される光線（光線照射方向ベクトル：｛ｍ１｝、｛ｍ２｝、｛ｍ３｝、｛ｍ４｝）をある場所に投影させる。この投影点の３次元位置を何らかの手段で計測すれば、図１１（ｂ）に示すように、得られる情報と、その幾何学的拘束は図１１（ａ）とまったく同じ条件となり、カメラ１０の自己位置同定と同様の方法で、照射装置１２の位置・姿勢を求めることができる。
【０００９】
その具体例として照射装置をＶＲ（バーチャルリアリティー）における３次元位置姿勢センサに適用しようという試みがされている［非特許文献２参照］。
【００１０】
図２（ｂ）にアプリケーション実現例を示す。
【００１１】
超大画面スクリーンに向かった体験者は、このデバイス（光線照射装置７）をスクリーン２に向かって自由に動かすことで、位置と姿勢の合計６パラメータをシステムに対して入力することができる。
【００１２】
例えばこのデバイス７を体験者の頭部に取り付け、また光線として非可視光を用いることで、体験者の視点位置や視線方向を自動的に検知し、それによって表示する映像を動的に変化させる、といったＶＲアプリケーションへの適用が想定される。
【００１３】
大型ディスプレイにおけるポインティングデバイスとしてこの原理を用いる手法が下記特許文献１において開示されている
さて、以上述べたアプリケーションでは図３に示すように、照射装置１から照射される各光線の相対方向があらかじめ分かっていなければならないため、その測定方法が問題となる。
【００１４】
その最も分かり易い方法が、図４に示す方法である。
【００１５】
平行な面など、互いの位置関係が既知な２つの投影面（９、９１）を設定し、これに投影される２つの投影点（例えば｛ｐ１｝、｛ｐ’１｝）の位置を測定し両者を結ぶことで光線の方向を求めることができる。しかしこの方法では、２つの投影点が同一の座標系の値として読み取れるように、高い精度で２つの投影面（９、９’）を設置した大掛かりな装置が必要となり、装置そのもののキャリブレーションも要求される。
【００１６】
【非特許文献１】Ｌ． Ｑｕａｎ ａｎｄ Ｚ． Ｌａｎ，“Ｌｉｎｅａｒ Ｎ ≧ ４−ｐｏｉｎｔ ｐｏｓｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ，” Ｐｒｏｃ． ＩＣＣＶ， ｐｐ． ７７８−７８２， １９９８
【非特許文献２】鈴木尚亨、高橋裕樹、中嶋正之、“大型ＶＲシステムのための能動型３次元位置センサＡＭＵＳＥ”、日本ＶＲ学会誌、Ｖｏｌ． ４、Ｎｏ． ３、ｐｐ． ５１１−５２０、１９９９
【特許文献１】特開２００３−３６１４２号公報
【発明が解決しようとする課題】
光線照射装置１から照射される各光線の相対方向を測定する方法としては図４に示した光線方向測定装置のように、平行なスクリーン面など、互いの位置関係が既知な２つの投影面を設定し、これに投影される２つの投影点の位置を同一の座標系の値として読み取り、この値から方向を求める方法が考えられる。しかしこの方法では、２回の投影を厳密な関係の下に行うために高い精度で設置した大掛かりな装置が必要となる。さらに、装置そのものの高度なキャリブレーションも要求される。
【００１７】
そこで本発明では、このような大掛かりな装置を必要としない光線方向測定手段を実現する。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、同時に複数の方向に光線を照射する光線照射手段と、該光線照射手段によって照射される各光線を投影する平面スクリーンと、該平面スクリーンに投影された各光線の投影位置を計測する光線投影位置計測手段と、該光線投影位置計測手段で計測された各光線の投影位置情報から各光線方向を算出する光線方向算出手段を構成する。
【００１９】
【発明の実施の形態】
本発明の実施例の構成を図１に示す。
【００２０】
図からわかるように、光線照射手段１によって照射される各光線を投影する平面スクリーン２と、その平面スクリーン２に投影された各光線の投影位置を計測する光線投影位置計測手段３と、
計測された各光線の投影位置情報から各光線方向を算出する光線方向算出手段４から構成される。
【００２１】
光線照射装置１は図３に示すように、同時に複数の方向に光線を照射し、照射される光線の数が４本以上で、各光線の照射方向が固定されている（各光線の相対方向は未知）。
【００２２】
平面スクリーン２は、光線照射手段１によって照射される各光線が投影される。
【００２３】
光線投影位置計測手段３は、平面スクリーン２に投影された各光線の投影位置を複数台のカメラ（５１，５２，５３，５４）で撮影した画像情報から各光線の投影位置情報（各投影点の３次元座標値）を計測する。
【００２４】
光線投影位置計測手段３の実施例として、図１に示す平面スクリーン２を４台のカメラで撮影するときの状況を図１２に示す。
【００２５】
図１２において、カメラ（５１）〜カメラ（５４）は平面スクリーン２を撮像するカメラで、このカメラはスクリーンの表示画面が撮像できる表面に設置される。また透過式スクリーンの場合はスクリーンの裏側が撮像できる場所でもよい。
【００２６】
各々のカメラはスクリーン２の一部を撮像しているが、各カメラの撮像領域を統合すると画像表示領域全体を余すことなく撮像できる位置に配置されている。もちろんこれらのカメラが撮像する領域は互いに重複していても良い。
【００２７】
なおこのときスクリーン２の位置と、投影点計測用の各カメラ間のキャリブレーションをあらかじめ行っておき、その関係を不動とすることで、各投影点は３次元座標値として読み取ることができる。
【００２８】
これにより光線投影位置計測手段３は、平面スクリーン２上に投影された光線照射装置１の各光線の投影点（｛ｐ１｝、｛ｐ２｝、｛ｐ３｝、｛ｐ４｝）位置を３次元位置データとして測定し、各光線の投影点の座標情報として出力する。
【００２９】
光線方向算出手段４は、該光線投影位置計測手段３で計測された各光線の投影点位置情報から各光線方向を算出する。
【００３０】
次に、光線照射装置１の各光線方向を算出する手順を図５に示す。
【００３１】
従来の技術で説明したアプリケーションシステムを用いることで、図５ａにおいて任意の場所｛ｂ（１）｝から光線を照射させたときの各光線の投影点（｛ｐ１（１）｝、｛ｐ２（１）｝、｛ｐ３（１）｝、｛ｐ４（１）｝）を測定することができる。
【００３２】
もちろんこのときは照射装置１のそれぞれの光線方向が分かっていないので、照射点｛ｂ（１）｝の位置や姿勢を求めることはできないし、またこの投影点の情報だけから光線方向を推定することもできない。しかしながら、照射装置１を別の任意の位置に動かし、同様の測定を複数回行えば、（図５（ｂ）、図５（ｃ）、・・・・、図５（ｄ））、それぞれで得られる投影点（｛ｐ１（１）｝、｛ｐ２（１）｝、・・・、｛ｐ１（２）｝、・・・、｛ｐ４（２）｝、｛ｐ１（Ｎ）｝、・・・、｛ｐ４（Ｎ）｝）の位置情報から幾何学的な拘束条件を用いて、照射装置から照射される各光線の方向が算出でき、また同時に、各照射時の照射装置の位置・姿勢を求めることができる。
【００３３】
なおここで、各照射点、投影点の位置情報｛ｂ｝、｛ｐｉ｝はともに、ワールド座標系で表現された３次元位置を示す３−Ｄベクトルであらわされる。
【００３４】
第１回の測定（図５（ａ））と第２回の測定（図５（ｂ））の組み合わせを例に具体的な計算方法を説明する。
【００３５】
図５（ａ）、（ｂ）に示したとおり、第１回の測定と第２回の測定では、照射装置１の位置、姿勢は異なっているが、同一の投影面（平面スクリーン２）に対して投影している。この関係は、図６に示すように、照射装置１の位置・姿勢を同一のものとし、異なる投影面｛Π（１）｝、｛Π（２）｝に対して投影するのと等価である。
【００３６】
なおここで、図５における各測定回の照射装置の位置・姿勢の相対関係は未知なので、図６における各平面の位置と法線方向の相対関係も未知となる。
【００３７】
ここで、座標系について考える。図５では、各測定においてすべて同じ投影面を用いるため、各投影点（｛ｐ１（１）｝、｛ｐ２（１）｝、・・・、｛ｐ１（２）｝、・・・、｛ｐ４（２）｝、｛ｐ１（Ｎ）｝、・・・、｛ｐ４（Ｎ）｝）の位置情報は同じ座標系（ワールド座標系）であらわせられる。これに対して図６では、第２回の測定時に照射装置と投影面を移動・回転させることとなるので、投影点座標値｛ｐ´ｉ｝をあらわす座標系の座標原点、座標軸ともに、同様の移動・回転をさせることとなる。すなわち図６では、各投影点は第１回の測定で用いられる座標値｛ｂ｝、｛ｐｉ｝と第２回の測定で用いられる座標値｛ｂ´｝、｛ｐ´ｉ｝は異なる座標系で表されるものと解釈しなければならない（ただし、照射点｛ｂ（１）｝と｛ｂ（２）｝の位置情報｛ｂ｝、｛ｂ´｝は空間内で同じ点を示していることに注意する）。そこで、第１回の測定で用いられる座標系を｛Ｕ（１）｝座標系、第２回の測定で用いられる座標を｛Ｕ（２）｝座標系、以下、｛Ｕ（３）｝座標系、｛Ｕ（Ｎ）｝座標系と呼ぶことにする。
【００３８】
図６における２つの投影面への投影点の関係を式であらわす。
第１回の測定における、照射装置の位置を｛ｂ｝、光線｛ｍｉ｝の平面１（Π（１））への投影点を｛ｐｉ｝とし、それぞれ｛Ｕ（１）｝座標系で表される３次元ベクトルとする。同様に第２回の測定における、照射装置の位置を｛ｂ´｝、光線｛ｍｉ｝の平面２（｛Π（２）｝）への投影点を｛ｐ´ｉ｝とし、それぞれ｛Ｕ（２）｝座標系で表される３次元ベクトルとする。それぞれの関係は
【００３９】
【数１】
【数２】
と表すことができる。
【００４２】
この数式（１）数式（２）から
【００４３】
【数３】
【数４】
が得られる。
【００４６】
以上の条件より、数式（３）、数式（４）（ｉ＝１，２，・・・，Ｉ）における既知パラメータ｛ｐｉ｝、｛ｐ´ｉ｝から、未知パラメータ｛ｍｉ｝、｛α´ｉ｝、｛Ｒ´｝、｛ｂ｝、｛ｂ´｝を推定する。数式（３）（４）より｛ｍｉ｝を消去すると
【００４７】
【数５】
が得られる。
【００４９】
なおここで、測定方法の定義より、各投影点｛ｐｉ｝、｛ｐ´ｉ｝ はそれぞれ同一の平面上にある。そこで数式（５）をこの条件を考慮したものに書き換える。
【００５０】
いま、図６における２つの平面｛Π（１）｝、｛Π（２）｝を、それぞれ法線ベクトル｛ｈ｝、｛ｈ´｝と、各座標原点から平面までの距離｛ｄ｝、｛ｄ´｝で表すことにする。平面上に存在する３つ以上の点（｛ｐ１（１）｝、｛ｐ２（１）｝、｛ｐ３（１）｝、｛ｐ４（１）｝）、（｛ｐ１（２）｝、｛ｐ２（２）｝、｛ｐ３（２）｝、｛ｐ４（２）｝）の３次元位置がそれぞれ既知なので、各平面のパラメータ｛ｈ｝、｛ｄ｝、｛ｈ´｝、｛ｄ´｝はそこから一意に算出可能である。なお、｛ｈ｝、｛ｄ｝は｛Ｕ（１）｝座標系で、｛ｈ´｝、｛ｄ´｝は｛Ｕ（２）｝座標系で表されたものである。
【００５１】
平面｛Π（１）｝上に存在する任意の点｛ｐｉ｝と、平面｛Π（２）｝に存在する任意の点｛ｐ´ｉ｝の満たすべき数式は
【００５２】
【数６】
【数７】
である。これらの式で、（・，・）はベクトルの内積を示す。
【００５５】
数式（６）（７）を数式（５）に代入して
【００５６】
【数８】
ここで、
【００５８】
【数８１】
で表されるテンソル積の関係を用いると、数式（８）は
【００６０】
【数８２】
と書き換えられ、これより
【００６２】
【数９】
と置いたときに｛ｐｉ｝と｛ｐ´ｉ｝の関係を
【００６４】
【数１０】
の形式で表すことができる。
【００６６】
この数式（１０）を本問題における基本方程式と定義する。
【００６７】
数式（１０）における変換行列｛Ａ´｝を、観測パラメータより求めていくことにする。数式（１０）では両辺にスカラー倍の自由度があるので、
【００６８】
【数１０１】
とおくことができる。これより、
【００７０】
【数１０２】
として数式（１０）に代入すると、
【００７２】
【数１１】
なる２式が得られる。未知パラメータ（｛ａｉｊ｝）の数は８つなので、４組（ｉ＝１，２，３，４）の数式（１０）より行列｛Ａ´｝は一意に求まる。
【００７４】
ある光軸ｉが２つの異なる平面上に投影され、それぞれ個別の座標系による座標表現で、｛ｐ｝、｛ｐ´ｉ｝として観測されたとき、｛ｐｉ｝と｛ｐ´ｉ｝の関係が数式（１０）の基本方程式で表されることがわかった。また、そこで用いられる未知パラメータ｛Ａ´｝が、４組（ｉ＝１、２、３、４）の観測点｛ｐ１｝、｛ｐ２｝、｛ｐ３｝、｛ｐ４｝、｛ｐ´１｝、｛ｐ´２｝、｛ｐ´３｝、｛ｐ´４｝から求めることができることがわかった。
【００７５】
数式（３）（４）における｛ｍｉ｝（ｉ＝１、２、・・・，Ｉ）を求めるには、｛Ａ´｝を分解することにより数式（５）における未知パラメータ｛ｂ｝、｛ｂ´｝、｛Ｒ´｝を求める必要がある。
【００７６】
｛Ａ´｝は前述のように実質的に８つのパラメータで表現され、これに対して、｛ｂ｝、｛ｂ´｝、｛Ｒ´｝には合計９つのパラメータがある。
【００７７】
図５に示すように観測回数を増やし、例えば３回の観測を行うと、第１回の観測と第２回の観測、および、第１回の観測と第３回の観測、の組み合わせにより、２つの変換行列、｛Ａ´｝、｛Ａ´´｝が得られる。よってここでの拘束パラメータ数は、８×２＝１６に増える。これに対して未知パラメータは、｛ｂ｝、｛ｂ´｝、｛Ｒ´｝に｛ｂ｝、｛ｂ´´｝、｛Ｒ´´｝が加わるが、ここで｛ｂ｝は共通なので結局、｛ｂ｝、｛ｂ´｝、｛Ｒ´｝、｛ｂ´´｝、｛Ｒ´´｝の合計１５となる。これにより未知パラメータ数は拘束数より少なくなるので、それぞれの未知パラメータを求めることができる。
【００７８】
まず第１回の観測と第２回の観測の組み合わせによる変換行列｛Ａ´｝において、未知パラメータ｛ｂ｝、｛ｂ´｝、｛Ｒ´｝のなかの｛ｂ｝が取るべき値に関する条件（｛ｂ｝に関する条件式）を求める。
【００７９】
いま、ある光線方向｛ｍｖ｝を考える。この光線は、平面｛Π（１）｝上のある無限遠の位置に投影され、また、同時に平面｛Π（２）｝上のある無限遠の位置に投影されるものとする。このような光線｛ｍｖ｝の条件は、図７に示すように光線方向が平面｛Π（１）｝と平面｛Π（２）｝の交線方向｛ｌ｝に等しくなる場合のみ成り立つ。
【００８０】
以上の条件を満たす方向｛ｍｖ｝を実際に求める。
【００８１】
平面上の無限遠点を、方向を示す単位ベクトル｛ｃ｝で表現すると、実際の無限遠点は
【００８２】
【数１１１】
となるが、数式（１０）におけるホモグラフイーでは、定数倍の自由度があり、２平面間の変換も問題なく行えるので、投影点を考える上でスケール定数｛ｚ｝については省略することができる。
【００８４】
このような考えから、光線｛ｍｖ｝の平面｛Π（１）｝上の無限遠投影点と、平面｛Π（２）｝上の無限遠投影点を、それぞれ単位方向ベクトル｛ｐｖ｝、｛ｐ´ｖ｝と表現する。
図７に示すように｛ｐｖ｝、｛ｐ´ｖ｝は方向｛ｍｖ｝、すなわち２平面の交線｛ｌ｝の方向を表すことになる。なお｛ｐｖ｝、｛ｐ´ｖ｝はそれぞれ別の座標系（｛Ｕ（１）｝、｛Ｕ（２）｝座標系）で表現されていることに注意する。
【００８５】
このような条件を満たす｛ｐｖ｝、｛ｐ´ｖ｝を求めると、平面｛Π（２）｝の法線が｛ｈ´｝だから、平面｛Π（２）｝の無限遠方向｛ｐ´ｖ｝は、
【００８６】
【数１２】
を満たす。
【００８８】
同様に、平面｛Π（１）｝の法線が｛ｈ｝であるから｛ｐｖ｝は、（｛ｈ｝，｛ｐｖ｝）＝０を満たす。
数式（１０）より｛ｐｖ｝と｛ｐ´ｖ｝の関係は
【００８９】
【数１２１】
だから、
【００９１】
【数１３】
を満たす。
【００９３】
数式（１２）、数式（１３）より｛ｐ´ｖ｝は
【００９４】
【数１４】
によって求まる。なおここで ｎｏｒｍａｌｉｚｅ［・］はベクトルのノルムが１となるような正規化操作を、×はベクトルの外積を表す。
【００９６】
以上より、２平面の交線方向が、｛Ｕ（２）｝座標系によって表されるベクトル｛ｐ´ｖ｝として求まった。
【００９７】
次に図８に示すように｛ｐ´ｖ｝（交線｛ｌ｝の方向）に直交し、平面｛Π（２）｝上の無限遠点に投影する光線方向を｛ｎｖ｝とする。この無限遠投影点を｛ｑ´ｖ｝と表す。
【００９８】
平面｛Π（２）｝の法線が｛ｈ´｝だから、
【００９９】
【数１５】
である。よって｛ｑ´ｖ｝は｛ｐ´ｖ｝と｛ｈ´｝の両方に直交することになる。｛ｐ´ｖ｝は数式（１４）で求められるので、
【０１０１】
【数１６】
となる。
【０１０３】
光線｛ｎｖ｝が平面｛Π（１）｝上に投影する点を｛ｑｖ｝とおく。数式（１０）より
【０１０４】
【数１６１】
となる。ここで｛ｑｖ｝は無限遠点ではないので、単位ベクトルではなく、平面｛Π（１）｝上の実際の点として求める必要がある。よってスケール係数を特定する必要がある。平面の式より（｛ｈ｝，｛ｑｖ｝）＝｛ｄ｝だから、
【０１０６】
【数１７】
となる。
【０１０８】
以上より、｛ｑｖ｝が特定された。図８に示すように照射位置｛ｂ｝から｛ｑｖ｝に向かう方向（｛ｑｖ｝−｛ｂ｝）は｛ｌ｝（＝｛ｐｖ｝）に直交する。よって、｛ｂ｝は点｛ｑｖ｝を通り、｛ｌ｝に直交する平面｛Π（ｑ）｝上になければならないことが分かる。
【０１０９】
次に図９に示すように、平面｛Π（２）｝上の無限遠点に投影点を投影する２つの光線｛ｕｑｖ｝，｛ｕｖ｝を考えて、さらに条件を絞り込んでいくことにする。なお｛ｕｑｖ｝は前述点｛ｑｖ｝に投影点を投影する光線とする。
【０１１０】
２つの光線の平面｛Π（１）｝上の投影点｛ｑｖ｝，｛ｃｖ｝と照射点｛ｂ｝のつくる角度｛θ｝は、それらの光線が平面｛Π（２）｝上に投影する点｛ｑ´ｖ｝、｛ｃ´ｖ｝と照射点｛ｂ´｝がつくる角度｛θ´｝となることに注意する。
【０１１１】
図９からわかるように、光線｛ｕｖ｝が、平面｛Π（１）｝に投影する点｛ｃｖ｝は、｛ｑｖ｝をとおり方向｛ｌ｝（＝｛ｐｖ｝）に平行な直線｛Ｌ｝上にあることから、この点を
【０１１２】
【数１８】
と表すことができる。同じ光線｛ｕｖ｝が平面｛Π（２）｝上に投影する無限遠点｛ｃ´ｖ｝は数式（１０）より
【０１１４】
【数１９】
である。
【０１１６】
ここで、数式（１２１）かつ｜｛ｐｖ｝｜＝１だから
【０１１７】
【数１９１】
であり、また数式（１７）より
【０１１９】
【数１９２】
だから、これを数式（１９）に代入すると
【０１２１】
【数２０】
となる。
【０１２３】
さて、ここで、照射装置から投影点｛ｑｖ｝に向かう光線｛ｕｑｖ｝、すなわち数式（１８）において、｛λ｝＝０とおいた場合の光線と、数式（１８）において｛λ｝＝０以外の場合での光線｛ｕｖ｝のつくる角度｛θ｝に着目する。
【０１２４】
照射位置｛ｂ｝から｛ｑｖ｝までの距離は｜｛ｂ｝−｛ｑｖ｝｜だから
【０１２５】
【数２１】
となる。
【０１２７】
一方、これらの２つの光線は平面｛Π（２）｝上の無限遠点に投影されるが、それらを｛ｑ´ｖ｝、｛ｃ´ｖ｝と方向ベクトルであらわし、これらがつくる角度｛θ´｝をもとめると、
【０１２８】
【数２２】
となる。｛θ｝＝｛θ´｝となるので、数式（２１）と数式（２２）をひとつにまとめて、数式（２０）を代入すると、
【０１３０】
【数２３】
が得られる。
【０１３２】
任意の｛λ｝について数式（２３）が満たされるためには
【０１３３】
【数２３１】
でなければならない。これは照射位置｛ｂ｝と点｛ｑｖ｝との距離｛ｒ｝が常に、
【０１３５】
【数２４】
すなわち点｛ｑｖ｝を中心とした半径｛ｒ｝の球上に｛ｂ｝が存在しなければならないことを示している。
【０１３７】
なおここで｛ｐ´ｖ｝、｛ｑ´ｖ｝、｛ｑｖ｝はそれぞれ数式（１４）（１６）（１７）より求められるものである。
【０１３８】
以上をまとめると、照射位置ｂは図１０（ａ）に示すように、平面｛Π（ｑ）｝上の、点｛ｑｖ｝を中心とする半径｛ｒ｝の円｛Ω（１）｝上に存在しなければいけないことがわかった。
【０１３９】
以上、ホモグラフィー｛Ａ´｝が与えられたときに照射位置｛ｂ｝が取るべき条件について考えてきたので、上記の結論は｛ｂ｝の位置に関する必要条件ということができる。証明は省略するが、これは十分条件にもなっている。
【０１４０】
以上より、任意の２つの平面｛Π（１）｝、｛Π（２）｝に光線を照射したとき、それぞれの投影位置から互いの変換行列｛Ａ´｝が得られ、その際に、照射位置｛ｂ｝が空間内のある円｛Ω（１）｝に存在することが必要十分条件となることがわかった。
しかしながら、これだけでは｛ｂ｝を一意に特定できず、目的となる光軸方向｛ｍｉ｝を求めることができない。
【０１４１】
そこで、もう一つの平面｛Π（３）｝を考えることにする。この第３の平面｛Π（３）｝と、第１の平面｛Π（１）｝の組み合わせにより、別の変換行列｛Ａ´´｝を得ることができ、これから｛Ａ´｝のときと全く同じように、図１０（ｂ）に示すように照射位置ｂの存在する円｛Ω（２）｝を求めることができる。
【０１４２】
円｛Ω（１）｝、円｛Ω（２）｝のどちらも平面｛Π（１）｝を表す座標系、すなわち｛Ｕ｝座標系によって表現されているので、図１０（ｃ）に示すように、この２つの円が交わる点を直接計算すればこれが照射位置｛ｂ｝の存在点となる。
【０１４３】
ここにおいて、目的となる光軸方向｛ｍｉ｝を一意に算出することが可能になった。具体的には｛ｂ｝を数式（５）に代入し、順次未知パラメータを求めていった後にこれを数式（３）に代入すれば計算される。
【０１４４】
なお２つの円はそれぞれ平面｛Π（１）｝に直交する平面上にあり、その中心も平面｛Π（１）｝上にあるので、どちらの円も３次元空間内で平面｛Π（１）｝を中心とした面対称の位置にある。よって、その交点も平面｛Π（１）｝の表側と裏側の２つ存在するが、どちらを考えても平面｛Π（１）｝との相対的な関係は変わらない。
【０１４５】
以上の計算は、例えば図１４に示した自動計算装置（３００）によって実現される。自動計算装置は、データ転送を行うシステムバス（３３０）、あらかじめ決められたプログラムやその時の状況に応じて、各種演算処理を行うＣＰＵ等の中央演算装置（３４０）、プログラムや数値データを保存するメモリ等の主記憶装置（３５０）、同じくプログラムや数値データを保存するハードディスク等の外部記憶装置（３６０）から構成される。本装置には光線方向算出プログラム（３８５）が記録されており、このプログラムがいったん主記憶装置（３５０）に読み出された後に、光線投影位置計測手段から入力される各投影点の位置情報を用いて計算を行い、各光線方向を算出し、外部記憶装置（３６０）に計算結果（３９０）を記録する。
【０１４６】
以上述べてきた本発明の実施例における処理の手順を図１４に示す。任意の位置、方向に光線照射装置を動かす（１５１０）。次に平面スクリーンに光線を照射する（１５２０）。次に平面スクリーン上の投影点位置を計測する（１５３０）。これを任意の回数（ただし３回以上）繰り返す。次に光線方向を算出する。光線方向算出部（１５４０）では、複数回の投影からある組み合わせを選びそれから得られた投影点位置情報から各光線に関する拘束上件を求め（１５５０）、これを異なる組み合わせで複数回行い、その結果得られる複数の拘束条件を統合し、光線方向を求める（１５６０）。
【０１４７】
以上の手順をとることで、複数光線の照射方向が算出される。
【０１４８】
【発明の効果】
本発明によれば、１つのスクリーンを用いて測定が行われるため、高精度・大掛かりな専用装置を用意することなく、光線照射装置の光線方向を測定することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例の形態を示す構成図
【図２】カメラの自己位置同定を用いた３次元位置姿勢センサ（ａ）と光線照射装置を用いた３次元位置姿勢センサ（ｂ）
【図３】光線照射装置と各光線の方向
【図４】２つの投影点の絶対位置測定による光線方向推定方向
【図５】光線方向測定方法（ａ）（ｂ）（ｃ）（ｄ）
【図６】２回の測定における光線照射装置の位置および姿勢を一致させた場合の各投影平面の関係
【図７】ある照射光線｛ｍｖ｝の２平面｛Π（１）｝、｛Π（２）｝上の無限遠点に向かったときの、無限遠方向を示すベクトル｛ｐｖ｝、｛ｐ´ｖ｝と｛ｍｖ｝の関係
【図８】ベクトル｛ｌ｝、点｛ｑｖ｝と｛ｂ｝の存在する平面｛Π（ｑ）｝の関係
【図９】平面｛Π（２）｝上の無限遠点方向に投影点を持つ２つの光線｛ｕｑｖ｝、｛ｕｖ｝のつくる角度｛θ｝と各投影点の関係
【図１０】（ａ）は｛ｂ｝の存在する円｛Ω（１）｝、（ｂ）は｛ｂ｝の存在する円｛Ω（２）｝、（ｃ）は３つの平面｛Π（１）｝、｛Π（２）｝、｛Π（３）｝を用いて｛ｂ｝を一意に決定していく過程。
【図１１】（ａ）カメラの自己位置推定方法と（ｂ）光線照射装置の位置・姿勢推定方法
【図１２】平面スクリーン２を４台のカメラで撮影するときの状況
【図１３】光線方向算出手段を実現する装置構成例
【図１４】実施例における処理手順
【符号の説明】
１．光線照射装置
２．平面スクリーン
３．光線投影位置計測手段
４．光線方向算出手段
５１．〜５４．光線投影位置計測撮影用カメラ
６．マーカ撮影カメラ
７．光線照射装置
９．９１．平行な平面スクリーン
１０．カメラ
１１．平面スクリーン
１２．光線照射装置
１３．平面スクリーン
Claims (4)
- 同時に複数の方向に光線を照射する光線照射手段の各光線方向を測定するための光線方向測定装置において、
該光線方向測定装置は、該光線照射手段によって照射される各光線を投影する平面スクリーンと、
該平面スクリーンに投影された各光線の投影位置を計測する光線投影位置計測手段と、
該光線投影位置計測手段で計測された各光線の投影位置情報から各光線方向を算出する光線方向算出手段から構成されることを特徴とする。 - 同時に複数の方向に光線を照射する光線照射手段の、各光線方向を測定するための光線方向測定方法に関し、
該光線方向測定方法は、該光線照射手段によって照射される各光線を平面スクリーンに投影するステップと、
該平面スクリーンに投影された各光線の投影位置を計測するステップと、
計測された各光線の投影位置情報から各光線方向を算出するステップからなることを特徴とする。 - 請求項２記載の光線方向測定方法において、
各光線を平面スクリーンに投影するステップでは、該光線照射手段を任意の位置および任意の方向に移動させ、複数回投影を行うことを特徴とする。 - 請求項２又は請求項３記載の光線方向測定方法において、該各光線方向を算出するステップは、
複数回の投影からある組み合わせを選びそれから得られた位置情報から各光線方向に関する拘束条件を求めるステップと、該拘束条件を求めるステップを異なる組み合わせの投影を選び複数回行うステップと、その結果得られる複数の拘束条件を統合し光線方向を求めるステップからなることを特徴とする。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003084088A JP4155071B2 (ja) | 2003-03-26 | 2003-03-26 | 光線方向測定装置および測定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003084088A JP4155071B2 (ja) | 2003-03-26 | 2003-03-26 | 光線方向測定装置および測定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004294138A true JP2004294138A (ja) | 2004-10-21 |
| JP4155071B2 JP4155071B2 (ja) | 2008-09-24 |
Family
ID=33399322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003084088A Expired - Lifetime JP4155071B2 (ja) | 2003-03-26 | 2003-03-26 | 光線方向測定装置および測定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4155071B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007261463A (ja) * | 2006-03-29 | 2007-10-11 | Clarion Co Ltd | 車載カメラのキャリブレーションシステム |
| EP2797313A1 (en) * | 2013-04-26 | 2014-10-29 | Elvesjö, John | Computer graphics presentation system and method |
| CN111417885A (zh) * | 2017-11-07 | 2020-07-14 | 大众汽车有限公司 | 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车 |
-
2003
- 2003-03-26 JP JP2003084088A patent/JP4155071B2/ja not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007261463A (ja) * | 2006-03-29 | 2007-10-11 | Clarion Co Ltd | 車載カメラのキャリブレーションシステム |
| EP2797313A1 (en) * | 2013-04-26 | 2014-10-29 | Elvesjö, John | Computer graphics presentation system and method |
| WO2014174109A1 (en) * | 2013-04-26 | 2014-10-30 | Elvesjö John | Computer graphics presentation system and method |
| CN105359061A (zh) * | 2013-04-26 | 2016-02-24 | J·埃尔韦舍 | 计算机图形显示系统及方法 |
| US9978179B2 (en) | 2013-04-26 | 2018-05-22 | John Elvesjö | Computer graphics presentation systems and methods |
| US10134197B2 (en) | 2013-04-26 | 2018-11-20 | The Incredible Machine Of Sweden Ab | Computer graphics presentation systems and methods |
| CN111417885A (zh) * | 2017-11-07 | 2020-07-14 | 大众汽车有限公司 | 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4155071B2 (ja) | 2008-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vasconcelos et al. | A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder | |
| JP4599184B2 (ja) | 指標配置計測方法、指標配置計測装置 | |
| Zhang | Camera calibration with one-dimensional objects | |
| Pagani et al. | Structure from motion using full spherical panoramic cameras | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| JP5746477B2 (ja) | モデル生成装置、３次元計測装置、それらの制御方法及びプログラム | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| JP2013539147A5 (ja) | ||
| US20150116691A1 (en) | Indoor surveying apparatus and method | |
| KR20130138247A (ko) | 신속 3ｄ 모델링 | |
| JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
| JP7151879B2 (ja) | カメラ校正装置、カメラ校正方法、及びプログラム | |
| US20210374978A1 (en) | Capturing environmental scans using anchor objects for registration | |
| CN113744340A (zh) | 用轴向视点偏移的非中心相机模型校准相机并计算点投影 | |
| Schneider et al. | Bundle adjustment for multi-camera systems with points at infinity | |
| Owens et al. | MSG-cal: Multi-sensor graph-based calibration | |
| Borghese et al. | Calibrating a video camera pair with a rigid bar | |
| JP2017096813A (ja) | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| Angladon et al. | The toulouse vanishing points dataset | |
| Kukelova et al. | Hand-eye calibration without hand orientation measurement using minimal solution | |
| Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
| JP4155071B2 (ja) | 光線方向測定装置および測定方法 | |
| Liu et al. | Globally optimal consensus maximization for relative pose estimation with known gravity direction | |
| Castanheiro et al. | Modeling Hyperhemispherical Points and Calibrating a Dual-Fish-Eye System for Close-Range Applications | |
| JP2005275789A (ja) | 三次元構造抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050916 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4155071 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |