JP2004171414A

JP2004171414A - Device, method, and program for inputting three-dimensional position and attitude, and medium recording the program

Info

Publication number: JP2004171414A
Application number: JP2002338538A
Authority: JP
Inventors: Kouichi Katou; 晃市加藤; Kenichi Arakawa; 賢一荒川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-21
Filing date: 2002-11-21
Publication date: 2004-06-17

Abstract

<P>PROBLEM TO BE SOLVED: To provide a three-dimensional position and attitude input device which is stabilized without being affected by a magnetic field, temperature, etc., does not need large installation space, and is independent of the kinds of a display. <P>SOLUTION: The input device comprises an image acquisition part 201 for acquiring images photographed by a camera 101, a display brightness control part 207 for setting the area of an optional position and an optional shape on a display 103 and displaying the area while changing brightness, an area detection processing part 203 for detecting the brightness changing area from image data, comparing the coordinate information of the area on the display with coordinate information on a detected visual field of the camera, and selecting the combination of two or more corresponding two-dimensional coordinates, and a position and attitude calculating part 205 for calculating the three-dimensional position and attitude of the camera facing the display from the selected corresponding point information. The calculated three-dimensional position and attitude information is sequentially inputted to an OS and an application. The display brightness control part 207 performs the optimum control of the brightness changing area in accordance with the visual field of the camera. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、各種情報処理装置あるいはアミューズメント機器等の計算機ユニットに空間的位置および姿勢を入力する時に必要となる３次元位置姿勢入力装置、３次元位置姿勢入力方法、その方法を実現するプログラムおよびそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年のコンピュータの処理速度向上、ＣＧ（コンピュータグラフィックス）技術の発展にともない、３次元的な入力を伴うアブリケーションが急増している。特に、家庭用エンタテーメント機器、ＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）を代表とするインターネット上でのアブリケーションにおける３次元入力デバイスの需要増加は顕著である。また、ＣＧ作成、ＣＡＤ（ｃｏｍｐｕｔｅｒａｉｄｅｄｄｅｓｉｇｎ）システムの現場では、その入力デバイスとしてマウス、タブレット等を用いることが多い。位置・姿勢入力を可能とするデバイスには、磁場計測方式、光学式ステレオ方式、音響方式、ジョイスティック方式等のものが市販されている。磁場計測方式および音響方式はともに送信、受信を伴う機器を利用して所望の座標計測を行うものである。また、ジョイスティック方式は精密かつメカニカルな可動部を備え、その可動部の動作情報を３次元位置情報に変換するものである。光学式ステレオ方式は、複数のテレビカメラを用いて、テレビカメラから得られる視差情報より３次元位置情報を得るものである。
【０００３】
また、３個以上の受光素子とディスプレイユニットを用いて、各受光素子の位置と姿勢を求めることで３次元位置情報を得る装置も提案されている（特許文献１、特許文献２）。この提案の装置は廉価なレンズ、少数の受光素子により３次元計測が可能という利点を有している。またこの提案のものは光学的に３次元計測を行うため、磁界、温度等の影響を受けずに安定した３次元入力をすることができるという利点も有している。
【０００４】
また、カメラからの入力情報からそのカメラの３次元位置姿勢を算出する方法としては、非特許文献１、非特許文献２等が知られている。
【０００５】
【特許文献１】
特許第３２９９４４１号公報（特開平９−３２５００７号公報）
【０００６】
【特許文献２】
特開２００１−１７５４０５号公報
【０００７】
【非特許文献１】
加藤晃市他“能動的図形更新によるカメラキャリブレーション”電子情報通信学会、信学技報、ＰＲＵ９４−１１２（１９９５−０１）、３９〜４６頁
【０００８】
【非特許文献２】
出口光一郎“射影幾何学によるＰｎＰカメラ問題の統一的解法”情報処理学会「コンピュータビジョン’９０ビジョンと環境理解シンポジウム」論文集、Ｖｏｌ．９０ｐｐ４１−５０、１９９０
【０００９】
【発明が解決しようとする課題】
しかしながら、上記のような３次元入力装置として従来から市販されているものは、磁場計測方式の装置では、空間中の磁湯変動を計測するために、金属部品、電子機器、地磁気の影響を受けるという点がある。また、音響方式の装置は、音波の位相あるいは到達時間を計測するため、気圧、温度の影響を受けるという点がある。また両者とも発信装置および受信装置を必要とし、装置規模が大がかりとなる。さらに、ジョイスティック方式では並行移動と回転運動を独立して行わなくてはならず、直観的な３次元入力には適さない。また、３個以上の受光素子とディスプレイユニットを用いて受光素子の位置と姿勢を求める装置は、何らかの走査によって描画されるディスプレイ装置を前提としているため、液晶ディスプレイ、プラズマディスプレイ等へは適用できないという点がある。
【００１０】
本発明は、上述のような従来技術の課題に鑑みてなされたもので、その目的は、磁界、温度等の影響を受けずに安定し、設置スペースをあまり必要とせず、かつディスプレイの種類を問わない直観的な３次元位置姿勢入力装置、３次元位置姿勢入力方法、その方法を実現するプログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明の３次元位置姿勢入力装置は、計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を入力する装置であって、前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得手段と、前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御手段と、前記画像取得手段から得た画像から前記明度変化領域を検出する画像解析手段と、表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析手段によって検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出手段と、前記対応点検出手段により得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算手段と、前記位置姿勢演算手段で算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力手段とを具備することを特徴とする。
【００１２】
ここで、前記センサ装置は、ＣＣＤカメラ、カメラ付き携帯電話、および家庭用ＶＴＲカメラの少なくともいずれか１つであることを特徴とすることができる。
【００１３】
また、前記表示明度制御手段は、前記任意位置、前記任意形状の明度変化領域を前記センサ装置の視野に応じて最適制御することを特徴とすることができる。
【００１４】
また、前記表示明度制御手段により前記最適制御される任意位置、任意形状の明度変化領域は、前記センサ装置の視野内の矩形領域であることを特徴とすることができる。
【００１５】
また、前記表示明度制御手段により最適制御される前記矩形領域は、前記センサ装置の視野内に４頂角が観測可能な位置及び大きさとすることを特徴とすることができる。
【００１６】
上記目的を達成するために、本発明の３次元位置姿勢入力方法は、計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を入力する方法であって、前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得ステップと、前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御ステップと、前記画像取得ステップで得た画像から前記明度変化領域を検出する画像解析ステップと、表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析ステップで検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出ステップと、前記対応点検出ステップで得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算ステップと、前記位置姿勢演算ステップで算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力ステップとを有することを特徴とする。
【００１７】
上記目的を達成するために、本発明のプログラムは、計算機ユニットに接続されたディスプレイに映し出された２次元画像を撮影するセンサ装置の３次元位置姿勢を該計算機ユニットに入力するための、コンピュータにより読み取り実行可能なプログラムであって、該プログラムは、前記センサ装置によって撮影された画像を取得して前記計算機ユニットに入力可能な画像取得ステップと、前記ディスプレイに対し任意位置、任意形状にて明度変化領域を設定し、設定した該領域を明度変化させて表示させる表示明度制御ステップと、前記画像取得ステップで得た画像から前記明度変化領域を検出する画像解析ステップと、表示した前記明度変化領域の前記ディスプレイ上での座標情報と前記画像解析ステップで検出された前記センサ装置の視野上での座標情報とを比較し、該比較結果に基づき、対応する複数の２次元座標の組み合わせを対応点情報として選定する対応点検出ステップと、前記対応点検出ステップで得られた前記対応点情報から、前記ディスプレイに対する前記センサ装置の３次元位置姿勢を算出する位置姿勢演算ステップと、前記位置姿勢演算ステップで算出された前記センサ装置の３次元位置姿勢情報を前記計算機ユニットに逐次入力する位置姿勢情報入力ステップとを有することを特徴とする。
【００１８】
上記目的を達成するために、本発明のプログラムを記録した媒体は、上記プログラムをコンピュータにより読み取り可能に記録したことを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２０】
図１は、本発明の一実施形態である３次元位置姿勢入力システムの概略構成を示す。図１中、１０１はビデオカメラ、１０３はデイスプレイ、２００は３次元位置姿勢入力装置の機能を有する計算機である。カメラ１０１をディスプレイ１０３に対面させ、ディスプレイ１０３に対するカメラの位置、回転等の３次元位置姿勢情報を計算機２００の本体に入力する。
【００２１】
図２に上記３次元位置姿勢入力システムの詳細構成を示す。本システムは、ビデオカメラ１０１、ディスプレイ１０３、計算機２００から構成され、計算機２００はその内部に、画像取得部２０１、領域検出処理部２０３、位置姿勢演算部２０５、および表示明度制御部２０７を有する。なお、これら画像取得部２０１、領域検出処理部２０３、位置姿勢演算部２０５、および表示明度制御部２０７は計算機２００に対して独立した専用ユニットであってもよい。
【００２２】
ビデオカメラ１０１によって観測された画像の２次元情報は、画像取得部２０１を介して領域検出処理部２０３に送信される。
【００２３】
領域検出処理部２０３では、その画像情報からビデオカメラ１０１のカメラ視野内の明度変化領域を検出し、その検出結果から明度を制御する領域を設定し、かつその明度変化領域の対応点の座標検出処理を行う。その設定した明度を制御する領域の座標情報は領域検出処理部２０３から表示明度制御部２０７へ送信され、その検出された対応点の座標情報は、領域検出処理部２０３から位置姿勢演算部２０５へ送信される。
【００２４】
表示明度制御部２０７では、領域検出処理部２０３から送られてきた明度を制御する座標情報を入力情報としてディスプレイ１０３の明度制御を行う。
【００２５】
位置姿勢演算部２０５では、領域検出処理部２０３から送られてきた対応点の座標情報によりカメラ１０１の位置姿勢を算出し、算出した位置姿勢の座標情報を計算機２００内部のＯＳ（オペレーションシステム）あるいはアブリケーションに送信する。
【００２６】
図３のフローチャートは上記の領域検出処理部２０３と位置姿勢演算部２０５の処理フローの内容を示す。領域検出処理部２０３では、画像取得部２０１から送信されてくるカメラ１０１によって観測された画像を入力情報として、以下に記載の流れに従った処理を行う。（なお：以下に記載の変数Ｎ，Ｍ，Ｌ，Ｐ，Ｘｓ，Ｙｓの初期値は０とする。）
ステップ３０１：画像取得部２０１から画像を受信して、その画像ＩＤをＮとしてその画像を内部メモリに格納する。
ステップ３０２：明度変化領域スタート位置の座標を（Ｘｓ，Ｙｓ）とし、領域幅Ｗとして明度変更のコマンドを表示明度制御部２０７へ送信する。
ステップ３０３：Ｎに１を加える。
ステップ３０４：Ｎが１以下の場合、ステップ３０１へ戻り、それ以外はステップ３０５へ移行する。
ステップ３０５：Ｎに０を代入する。
ステップ３０６：画像ＩＤ（Ｎ＝）：０及び１の画像の差分処理を行う。
ステップ３０７：ステップ３０６にて生成された差分画像を閾値ｔｈで二値化処理を行い、明度変化領域の面積Ｓを算出する。閾値ｔｈは予め設定されているものとする。
ステップ３０８：面積Ｓが一定の規定値Ｓａ以下であれば、ステップ３０９へ移行し、それ以外はステップ３１５へ移行する。
ステップ３０９：後述（図５）の頂点検出処理を行い、各頂点の重心座標を検出する。
ステップ３１０：Ｐに１を加える。
ステップ３１１：Ｐが４以下の場合はステップ３０９へ戻り、それ以外はステップ３１２へ移行する。
ステップ３１２：Ｐに０を代入する。
ステップ３１３：対応点検出が４点全て検出された場合は、ステップ３１４へ移行し、それ以外はステップ３１５へ移行する。
ステップ３１４：検出された４点の重心座標及びステップ３０９において設定されたディスプレイ１０３上での明度変化領域の座標の組から（図５で詳述する）、ディスプレイに対するカメラ１０１の位置姿勢を算出する。その算出結果はＯＳあるいはアブリケーションに送信し、ステップ３０９へ戻る。
ステップ３１５：Ｍが１よりも大きい場合はステップ３１７へ移行し、それ以外はステップ３１６へ移行する。
ステップ３１６：ＸｓにＸｓ＋Ｗとし代入する。ここで、Ｗは予め設定されているものとする。
ステップ３１７：Ｌが０より大きい場合はステップ３１８へ移行し、それ以外はステップ３１９へ移行する。
ステップ３１８：Ｌに１を代入する。ステップ３０１へ戻る。
ステップ３１９：ＹｓにＹｓ＋Ｗとし代入する。
ステップ３２０：Ｌに０を代入、ＭにＭ＋１として代入する。
ステップ３２１：Ｍが２より大きい場合はステップ３２２へ移行し、それ以外はステップ３０１へ戻る。
ステップ３２２：Ｍに０を代入する。
ステップ３２３：ＷにＷ／２として代入する。ステップ３０１に戻る。
【００２７】
また、ステップ３１４におけるカメラ１０１の位置姿勢の算出処理では、非特許文献１、非特許文献２等に示されているような周知の演算手法でカメラの３次元位置及び姿勢を計算し出力する。
【００２８】
図４は図３のステップ３０１−３０８、ステップ３１５−３２３のフローによって制御されるディスプレイの表示状態及び差分処理によって検出される明度変化領域を示す。図４の（Ａ）は（Ｘｓ，Ｙｓ）をスタート位置とした領域幅Ｗの明度変化領域を示し、図４の（Ｂ）は（Ｘｓ＋Ｗ，Ｙｓ）をスタート位置とした領域幅Ｗの明度変化領域を示し、図４の（Ｃ）は（Ｘｓ，Ｙｓ＋Ｗ）をスタート位置とした領域幅Ｗの明度変化領域を示し、図４の（Ｄ）は（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ）をスタート位置とした領域幅Ｗの明度変化領域を示す。
【００２９】
さらに、図４の（Ｅ）はカメラ１０１によってディスプレイ１０３を観測した場合の画像の一例を示し、図４の（Ｆ）は前述の図３中のステップ３０６−３０７の処理によって生成された差分領域を示す。
【００３０】
図４の（Ｆ）の図中の白領域の面積Ｓを図３中のステップ３０７で算出し、図３中のステップ３０８以降に処理を移す。図３中のステップ３０１−３０８、ステップ３１５−３２３では、算出した変化領域の面積Ｓが予め設定された検出規定面積Ｓａ以下となるまで、図４の（Ａ）−（Ｄ）の明度変化領域４０１−４０４の移動及び領域幅Ｗの縮小を繰り返す。算出した明度変化領域の面積Ｓが検出規定面積Ｓａ以下となった場合には、図３中のステップ３０９−３１４の対応点検出処理に移行する。（なお、Ｓａはセンサ装置であるカメラ１０１の視野内にすべて納まるような面積とする。）
【００３１】
図５のフローチャートは図３中のステップ３０９における対応点検出処理の詳細を示す。具体的には以下のステップによって処理を行う。
ステップ５０１：Ｐ＝０であればステップ５０２へ移行し、それ以外はステップ５０３へ移行する。
ステップ５０２：中心座標（Ｘｓ，Ｙｓ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０３：Ｐ＝１であればステップ５０４へ移行し、それ以外はステップ５０５へ移行する。
ステップ５０４：中心座標（Ｘｓ，Ｙｓ＋Ｗ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０５：Ｐ＝２であればステップ５０６へ移行し、それ以外はステップ５０７へ移行する。
ステップ５０６：中心座標（Ｘｓ＋Ｗ，Ｙｓ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０７：Ｐ＝３であればステップ５０８へ移行し、それ以外はステップ５０９へ移行する。
ステップ５０８：中心座標（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ）半径Ｒの明度変化領域設定して、ステップ５０９へ移行する。
ステップ５０９：画像ＩＤ：（Ｎ＝）０及びステップ５０２，５０４，５０６，５０８にて生成され観測された画像との差分処理を行う。
ステップ５１０：ステップ５０９によって生成された差分画像を閾値ｔｈで二値化処理を行い変化領域の重心座標を算出する。ここで、閾値ｔｈは予め設定されているものとする。
【００３２】
図６は図５のステップ５０２，５０４，５０６，５０８のフローによって制御されるディスプレイの状態及び差分処理によって検出される各々の明度変化領域を示す。図６の（Ａ）は中心座標（Ｘｓ，Ｙｓ）半径Ｒの明度変化領域設定時のカメラ観測画像、図６の（Ｂ）は中心座標（Ｘｓ，Ｙｓ＋Ｗ）半径Ｒの明度変化設定時のカメラ観測画像、図６の（Ｃ）は中心座標（Ｘｓ＋Ｗ，Ｙｓ）半径Ｒの明度変化領域設定時のカメラ観測画像、図６の（Ｄ）は中心座標（Ｘｓ＋Ｗ，Ｙｓ＋Ｗ）半径Ｒの明度変化領域設定時のカメラ観測画像を示す。
【００３３】
また、図６の（Ｅ）−（Ｈ）は図６の（Ａ）−（Ｄ）で観測されたカメラ観測画像を、ステップ５０９の処理によって生成された差分領域を示す。上記のステップ５１０において図６の（Ｅ）−（Ｈ）中の白領域（白丸）の重心位置を算出し、図３中のステップ３１０に処理を移す。以上の処理を図３中のステップ３０９−３１１で４回繰り返し、カメラ視野内に収まる矩形領域４頂点のカメラ画像面上での座標
Ｐ_ｃｎ＝（Ｘ_ｃｎ，Ｙ_ｃｎ，ｆ）
［但し、ｎ＝１，２，３，４］
を得る。ここでｆは、カメラ焦点距離であり、予め計測しておくものとする。
【００３４】
図５のステップ５０２，５０４，５０６，５０８の処理によって明度変化を行った座標をＰ_ｄ１＝（Ｘ_ｓ，Ｙ_ｓ，０），Ｐ_ｄ２＝（Ｘ_ｓ，Ｙ_ｓ＋Ｗ，０），Ｐ_ｄ３＝（Ｘ_ｓ＋Ｗ，Ｙ_ｓ，０），Ｐ_ｄ４＝（Ｘ_ｓ＋Ｗ，Ｙ_ｓ＋Ｗ，０）とすると、以下の関係式（１）が成立する。
【００３５】
【数１】

【００３６】
４組のＰ_ｃｎ，Ｐ_ｄｎから上式（１）のａ_ｍｎ，ｔ_ｎ［ｍ，ｎ＝１，２，３，４］が線形方程式の解として得られる。図７に位置及び姿勢に関するパラメータを図示する。図７中に示すように、位置に関して（Ｘ，Ｙ，Ｚ）＝（ｔ_１，ｔ_２，ｔ_３）、姿勢に関して、ａ_ｍｎ＝Ｒ_ｍｎ（θ，φ，Ψ）［ｍ，ｎ＝１，２，３，４］が計算されることとなる。ここで（θ，φ，Ψ）及びｔ_ｎは、カメラ１０１のディスプレイ１０３に対する回転及び位置に相当し、本発明の目的である６自由度の位置姿勢を算出することが可能となる。
【００３７】
（他の実施の形態）
上述した本発明の実施形態では、ディスプレイ上に矩形領域及び円領域を明度変化させて表示し、その明度変化領域の位置座標を求めたが、ディスプレイ上に描かれる図形は３角形、楕円、或いは、そのほかの多角形、線分であってもよい。
【００３８】
また、本発明は専用のユニット構成だけでなく、パーソナルコンピュータのような汎用のコンピュータとプログラムによっても実現でき、そのプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、汎用の計算機ユニットとセンサ装置を用い、そのセンサ装置として一般的なＣＣＤカメラ、カメラ付き携帯電話、家庭用ＶＴＲカメラ等を利用するのみで３次元位置姿勢入力装置を実現するようにしたので，設置スペースをあまり必要とせず、さらに磁界、温度等の影響を受けずに安定して直感的な位置姿勢入力を行える効果を奏する。
【００４０】
また、本発明によれば、表示明度制御手段において設定される任意位置、任意形状の明度変化領域をセンサ装置の視野に応じて最適に制御するようにしたので、ＣＲＴ等の走査を伴うディスプレイのみでなく、液晶ディスプレイや、プラズマディスプレイ等のディスプレイへの適用が可能となる３次元位置姿勢入力装置を提供することができる効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態における３次元位置姿勢入力システムの概略外観を示す斜視図である。
【図２】図１の計算機内のシステム構成を示すブロック図である。
【図３】図２の計算機内の領域検出処理部と位置姿勢演算部の処理動作の流れを示すフローチャートである。
【図４】本発明の一実施形態における矩形領域変更処理の領域制御例を示す正面図である。
【図５】本発明の一実施形態における対応点検出の頂点検出処理の流れを示すフローチャートである。
【図６】図５における頂点検出処理での領域制御の一例を示す模式図である。
【図７】本発明の一実施形態における位置姿勢に関するパラメータを示す説明図である。
【符号の説明】
１０１カメラ（ビデオカメラ）
１０３ディスプレイ
２００計算機
２０１画像取得部
２０３領域検出処理部
２０５位置姿勢演算部
２０７表示明度制御部
４０１−４０４明度変化領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a three-dimensional position / posture input device, a three-dimensional position / posture input method required when inputting a spatial position and a posture to a computer unit such as various information processing apparatuses or amusement equipment, a program for realizing the method, and a program for realizing the method. The present invention relates to a recording medium on which a program is recorded.
[0002]
[Prior art]
With the recent improvement in computer processing speed and the development of CG (computer graphics) technology, the number of applications involving three-dimensional input has been rapidly increasing. In particular, there is a remarkable increase in demand for a three-dimensional input device in an application on the Internet typified by a home entertainment device and a VRML (Virtual Reality Modeling Language). In the field of CG creation and CAD (computer aided design) systems, a mouse, tablet, or the like is often used as an input device. Devices capable of inputting position and orientation include a magnetic field measurement system, an optical stereo system, an acoustic system, a joystick system, and the like. Both the magnetic field measurement method and the acoustic method perform desired coordinate measurement using a device that involves transmission and reception. The joystick system has a precise and mechanical movable part, and converts operation information of the movable part into three-dimensional position information. The optical stereo system uses a plurality of television cameras to obtain three-dimensional position information from parallax information obtained from the television cameras.
[0003]
Further, an apparatus has been proposed in which three or more light receiving elements and a display unit are used to obtain the position and orientation of each light receiving element to obtain three-dimensional position information (Patent Documents 1 and 2). The proposed device has the advantage that three-dimensional measurement can be performed with an inexpensive lens and a small number of light receiving elements. In addition, since this proposal optically performs three-dimensional measurement, it has an advantage that stable three-dimensional input can be performed without being affected by a magnetic field, temperature, or the like.
[0004]
Non-Patent Literature 1, Non-Patent Literature 2, and the like are known as methods for calculating a three-dimensional position and orientation of a camera from input information from the camera.
[0005]
[Patent Document 1]
Japanese Patent No. 3299441 (Japanese Unexamined Patent Publication No. 9-325007)
[0006]
[Patent Document 2]
JP 2001-175405 A
[Non-patent document 1]
Akira Kato et al. "Camera Calibration by Active Graphic Update" IEICE, IEICE Technical Report, PRU94-112 (1995-01), pp. 39-46.
[Non-patent document 2]
Koichiro Deguchi, "Unified Solution of PnP Camera Problem by Projective Geometry", Proc. Of Information Processing Society of Japan, "Computer Vision '90 Vision and Environmental Understanding Symposium," Vol. 90 pp41-50, 1990
[0009]
[Problems to be solved by the invention]
However, conventional three-dimensional input devices such as those described above are affected by metal components, electronic devices, and terrestrial magnetism in a magnetic field measurement type device in order to measure fluctuations in a magnetic bath in space. There is a point. In addition, since the acoustic system measures the phase or the arrival time of the sound wave, it is affected by the atmospheric pressure and the temperature. In addition, both require a transmitting device and a receiving device, and the device scale becomes large. Furthermore, in the joystick method, parallel movement and rotational movement must be performed independently, which is not suitable for intuitive three-dimensional input. In addition, since a device that obtains the position and orientation of a light receiving element using three or more light receiving elements and a display unit is based on a display device that is rendered by some kind of scanning, it cannot be applied to a liquid crystal display, a plasma display, and the like. There are points.
[0010]
The present invention has been made in view of the above-mentioned problems of the related art, and has as its object to be stable without being affected by a magnetic field, temperature, etc., to require little installation space, and to reduce the type of display. It is an object of the present invention to provide an intuitive three-dimensional position and orientation input device, a three-dimensional position and orientation input method, a program for realizing the method, and a recording medium on which the program is recorded.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a three-dimensional position and orientation input device according to the present invention is a device for inputting a three-dimensional position and orientation of a sensor device that captures a two-dimensional image projected on a display connected to a computer unit. Image acquisition means capable of acquiring an image taken by the sensor device and inputting the acquired image to the computer unit; and setting a brightness change area at an arbitrary position and an arbitrary shape with respect to the display, and setting the set area to a brightness change. Display brightness control means for displaying and displaying the image, image analysis means for detecting the brightness change area from the image obtained from the image acquisition means, coordinate information of the displayed brightness change area on the display, and the image analysis means Is compared with the coordinate information on the visual field of the sensor device detected by the sensor device, and based on the comparison result, a combination of a plurality of corresponding two-dimensional coordinates is obtained. Corresponding point detecting means for selecting the corresponding point information; position and orientation calculating means for calculating a three-dimensional position and orientation of the sensor device with respect to the display from the corresponding point information obtained by the corresponding point detecting means; Position and orientation information input means for sequentially inputting the three-dimensional position and orientation information of the sensor device calculated by the attitude calculation means to the computer unit.
[0012]
Here, the sensor device may be at least one of a CCD camera, a mobile phone with a camera, and a home VTR camera.
[0013]
Further, the display brightness control means may optimally control the brightness change area of the arbitrary position and the shape of the arbitrary shape according to a field of view of the sensor device.
[0014]
Further, the brightness change area of any position and any shape controlled optimally by the display brightness control means may be a rectangular area in the field of view of the sensor device.
[0015]
The rectangular area optimally controlled by the display brightness control means may have a position and a size at which four vertex angles can be observed in the field of view of the sensor device.
[0016]
In order to achieve the above object, a three-dimensional position and orientation input method according to the present invention is a method for inputting a three-dimensional position and orientation of a sensor device that captures a two-dimensional image projected on a display connected to a computer unit. Obtaining an image captured by the sensor device and inputting the image to the computer unit; setting a brightness change area at an arbitrary position and an arbitrary shape with respect to the display; A display brightness control step of causing the image to be displayed, an image analysis step of detecting the brightness change area from the image obtained in the image acquisition step, coordinate information of the displayed brightness change area on the display, and the image analysis step Is compared with the coordinate information in the field of view of the sensor device detected in the above, and based on the comparison result, a plurality of two-dimensional A corresponding point detection step of selecting a combination of the corresponding points as corresponding point information, and a position and orientation calculation step of calculating a three-dimensional position and orientation of the sensor device with respect to the display from the corresponding point information obtained in the corresponding point detection step, A position and orientation information input step of sequentially inputting the three-dimensional position and orientation information of the sensor device calculated in the position and orientation calculation step to the computer unit.
[0017]
In order to achieve the above object, a program according to the present invention comprises a computer for inputting a three-dimensional position and orientation of a sensor device that captures a two-dimensional image projected on a display connected to a computer unit to the computer unit. An image acquisition step capable of acquiring an image photographed by the sensor device and inputting the acquired image to the computer unit; and changing a brightness at an arbitrary position and an arbitrary shape with respect to the display. A display brightness control step of setting an area and displaying the set area by changing the brightness, an image analysis step of detecting the brightness change area from the image obtained in the image acquisition step, and a display brightness change area The coordinate information on the display and the sensor device detected in the image analysis step. A corresponding point detecting step of comparing coordinate information on Nogami and selecting a combination of a plurality of corresponding two-dimensional coordinates as corresponding point information based on the comparison result; and the corresponding point obtained in the corresponding point detecting step. A position and orientation calculation step for calculating a three-dimensional position and orientation of the sensor device with respect to the display from information, and a position for sequentially inputting the three-dimensional position and orientation information of the sensor device calculated in the position and orientation calculation step to the computer unit And a posture information input step.
[0018]
In order to achieve the above object, a medium on which the program of the present invention is recorded is characterized in that the program is recorded so as to be readable by a computer.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0020]
FIG. 1 shows a schematic configuration of a three-dimensional position and orientation input system according to an embodiment of the present invention. In FIG. 1, 101 is a video camera, 103 is a display, and 200 is a computer having a function of a three-dimensional position and orientation input device. The camera 101 faces the display 103, and three-dimensional position and orientation information such as the position and rotation of the camera with respect to the display 103 is input to the main body of the computer 200.
[0021]
FIG. 2 shows a detailed configuration of the three-dimensional position and orientation input system. This system includes a video camera 101, a display 103, and a computer 200. The computer 200 has an image acquisition unit 201, an area detection processing unit 203, a position and orientation calculation unit 205, and a display brightness control unit 207 therein. Note that the image acquisition unit 201, the area detection processing unit 203, the position and orientation calculation unit 205, and the display brightness control unit 207 may be dedicated units independent of the computer 200.
[0022]
The two-dimensional information of the image observed by the video camera 101 is transmitted to the area detection processing unit 203 via the image acquisition unit 201.
[0023]
The area detection processing unit 203 detects a brightness change area in the camera field of view of the video camera 101 from the image information, sets an area for controlling brightness based on the detection result, and detects coordinates of a corresponding point of the brightness change area. Perform processing. The coordinate information of the region for controlling the set brightness is transmitted from the region detection processing unit 203 to the display brightness control unit 207, and the coordinate information of the detected corresponding point is transmitted from the region detection processing unit 203 to the position / posture calculation unit 205. Sent.
[0024]
The display brightness control unit 207 controls the brightness of the display 103 using the coordinate information for controlling the brightness transmitted from the area detection processing unit 203 as input information.
[0025]
The position / posture calculation unit 205 calculates the position / posture of the camera 101 based on the coordinate information of the corresponding point sent from the area detection processing unit 203, and outputs the calculated position / posture coordinate information to the OS (operation system) inside the computer 200 or Submit to the publication.
[0026]
The flowchart of FIG. 3 shows the contents of the processing flow of the area detection processing unit 203 and the position and orientation calculation unit 205 described above. The area detection processing unit 203 performs processing according to the flow described below using the image observed by the camera 101 transmitted from the image acquisition unit 201 as input information. (Note: Initial values of variables N, M, L, P, Xs, and Ys described below are set to 0.)
Step 301: An image is received from the image acquisition unit 201, and the image ID is set to N and the image is stored in the internal memory.
Step 302: The coordinates of the start position of the brightness change area are set to (Xs, Ys), and a brightness change command is transmitted to the display brightness control unit 207 as the area width W.
Step 303: Add 1 to N.
Step 304: If N is 1 or less, return to step 301; otherwise, proceed to step 305.
Step 305: Substitute 0 for N.
Step 306: Image ID (N =): Difference processing of the images of 0 and 1 is performed.
Step 307: Binary processing is performed on the difference image generated in Step 306 by using the threshold th, and the area S of the brightness change area is calculated. The threshold th is set in advance.
Step 308: If the area S is equal to or smaller than the predetermined value Sa, the process proceeds to step 309; otherwise, the process proceeds to step 315.
Step 309: A vertex detection process described later (FIG. 5) is performed to detect the barycentric coordinates of each vertex.
Step 310: Add 1 to P.
Step 311: If P is 4 or less, return to step 309; otherwise return to step 312.
Step 312: Substitute 0 for P.
Step 313: If all four corresponding points have been detected, the process proceeds to step 314; otherwise, the process proceeds to step 315.
Step 314: The position and orientation of the camera 101 with respect to the display are calculated from the set of the barycentric coordinates of the four detected points and the coordinates of the brightness change area on the display 103 set in step 309 (described in detail in FIG. 5). . The calculation result is transmitted to the OS or the publication, and the process returns to step 309.
Step 315: If M is greater than 1, the process proceeds to step 317; otherwise, the process proceeds to step 316.
Step 316: Xs + W is substituted for Xs. Here, it is assumed that W is set in advance.
Step 317: When L is larger than 0, the process proceeds to Step 318, and otherwise, the process proceeds to Step 319.
Step 318: Assign 1 to L. Return to step 301.
Step 319: Ys + W is substituted for Ys.
Step 320: Assign 0 to L and assign M + 1 to M.
Step 321: If M is larger than 2, go to Step 322; otherwise, go back to Step 301.
Step 322: Assign 0 to M.
Step 323: Substitute W for W / 2. It returns to step 301.
[0027]
In addition, in the calculation process of the position and orientation of the camera 101 in step 314, the three-dimensional position and orientation of the camera are calculated and output by a well-known calculation method as shown in

Non-Patent Documents

1 and 2.
[0028]
FIG. 4 shows the display state of the display controlled by the flow of steps 301 to 308 and steps 315 to 323 in FIG. 3 and the brightness change area detected by the difference processing. FIG. 4A shows a brightness change area of the area width W starting at (Xs, Ys), and FIG. 4B shows a brightness change of the area width W starting at (Xs + W, Ys). FIG. 4C shows a brightness change area of the area width W starting from (Xs, Ys + W), and FIG. 4D shows an area width starting from (Xs + W, Ys + W). 5 shows a lightness change region of W.
[0029]
FIG. 4E shows an example of an image when the display 103 is observed by the camera 101, and FIG. 4F shows the difference area generated by the processing of steps 306 to 307 in FIG. Is shown.
[0030]
The area S of the white region in FIG. 4F is calculated in step 307 in FIG. 3, and the process proceeds to step 308 and subsequent steps in FIG. In steps 301 to 308 and steps 315 to 323 in FIG. 3, until the calculated area S of the change area becomes equal to or smaller than the predetermined detection specified area Sa, the brightness change areas of (A) to (D) in FIG. The movement of 401 to 404 and the reduction of the area width W are repeated. When the calculated area S of the brightness change area is equal to or smaller than the specified detection area Sa, the processing shifts to the corresponding point detection processing in steps 309 to 314 in FIG. (Note that Sa is an area that can be entirely contained within the field of view of the camera 101 as the sensor device.)
[0031]
The flowchart in FIG. 5 shows details of the corresponding point detection processing in step 309 in FIG. Specifically, the processing is performed by the following steps.
Step 501: If P = 0, proceed to step 502; otherwise, proceed to step 503.
Step 502: Set a brightness change area of the radius R of the center coordinates (Xs, Ys), and proceed to Step 509.
Step 503: If P = 1, proceed to step 504; otherwise proceed to step 505.
Step 504: Set the brightness change area of the center coordinate (Xs, Ys + W) radius R, and proceed to step 509.
Step 505: If P = 2, proceed to step 506; otherwise proceed to step 507.
Step 506: Set the brightness change area of the radius R of the center coordinates (Xs + W, Ys) and proceed to Step 509.
Step 507: If P = 3, go to step 508; otherwise go to step 509.
Step 508: Set the brightness change area of the radius R of the center coordinates (Xs + W, Ys + W) and proceed to Step 509.
Step 509: Image ID: (N =) 0 and difference processing with the images generated and observed in

steps

502, 504, 506, and 508 are performed.
Step 510: The difference image generated in Step 509 is subjected to a binarization process using the threshold th to calculate the barycentric coordinates of the change area. Here, it is assumed that the threshold th is set in advance.
[0032]
FIG. 6 shows the state of the display controlled by the flow of

steps

502, 504, 506, and 508 in FIG. 5 and the respective brightness change areas detected by the difference processing. FIG. 6A shows a camera observation image at the time of setting the brightness change area of the center coordinate (Xs, Ys) radius R, and FIG. 6B shows the camera at the time of setting the brightness change of the center coordinate (Xs, Ys + W) radius R. The observed image, FIG. 6C is a camera observation image at the time of setting the brightness change area of the center coordinate (Xs + W, Ys) radius R, and FIG. 6D is the brightness change area of the center coordinate (Xs + W, Ys + W) radius R. The camera observation image at the time of setting is shown.
[0033]
6 (E)-(H) show difference regions generated by the processing of step 509 from the camera observation images observed in (A)-(D) of FIG. In the above step 510, the position of the center of gravity of the white area (white circle) in (E)-(H) in FIG. 6 is calculated, and the process proceeds to step 310 in FIG. The above processing is repeated four times in steps 309-311 in FIG. 3, and the coordinates P _cn = (X _cn , Y _cn , f) on the camera image plane of the four vertices of the rectangular area that fits within the camera field of view.
[However, n = 1, 2, 3, 4]
Get. Here, f is the focal length of the camera and is measured in advance.
[0034]
P _d1 = (X _s , Y _s , 0), P _d2 = (X _s , Y _s + W, 0), P _d3 are the coordinates at which the brightness was changed by the processing of

steps

502, 504, 506, and 508 in FIG. = (X _s + W, Y _s , 0), P _d4 = (X _s + W, Y _s + W, 0), the following relational expression (1) holds.
[0035]
(Equation 1)

[0036]
From the four sets of P _cn and P _dn , a _mn and t _n [m, n = 1, 2, 3, 4] of the above equation (1) are obtained as solutions of the linear equations. FIG. 7 illustrates parameters relating to the position and the posture. As shown in FIG. 7, (X, Y, Z) = (t ₁ , t ₂ , t ₃ ) for the position and a _mn = R _mn (θ, φ, Ψ) [m, n = 1 for the posture , 2,3,4] will be calculated. Here, (θ, φ, Ψ) and t _n correspond to the rotation and the position of the camera 101 with respect to the display 103, and the position and orientation with six degrees of freedom, which is the object of the present invention, can be calculated.
[0037]
(Other embodiments)
In the above-described embodiment of the present invention, the rectangular area and the circular area are displayed on the display with the brightness changed, and the position coordinates of the brightness changing area are obtained. However, the figure drawn on the display is a triangle, an ellipse, or , Or other polygons or line segments.
[0038]
Further, the present invention can be realized not only by a dedicated unit configuration but also by a general-purpose computer such as a personal computer and a program, and the program can be recorded on a recording medium or provided through a network.
[0039]
【The invention's effect】
As described above, according to the present invention, a general-purpose computer unit and a sensor device are used, and only a general CCD camera, a mobile phone with a camera, a home VTR camera, or the like is used as the sensor device, and the three-dimensional position is determined. Since the posture input device is realized, there is an effect that a stable and intuitive position / posture input can be performed without requiring much installation space and without being affected by a magnetic field, temperature, or the like.
[0040]
Further, according to the present invention, the brightness change area having an arbitrary position and an arbitrary shape set by the display brightness control means is optimally controlled according to the field of view of the sensor device. In addition, there is an effect that it is possible to provide a three-dimensional position and orientation input device that can be applied to displays such as a liquid crystal display and a plasma display.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a schematic external appearance of a three-dimensional position and orientation input system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a system configuration in the computer shown in FIG.
FIG. 3 is a flowchart showing a flow of processing operations of an area detection processing unit and a position and orientation calculation unit in the computer shown in FIG. 2;
FIG. 4 is a front view showing an example of area control of a rectangular area changing process according to an embodiment of the present invention.
FIG. 5 is a flowchart illustrating a flow of a vertex detection process of corresponding point detection according to an embodiment of the present invention.
FIG. 6 is a schematic diagram showing an example of area control in the vertex detection processing in FIG.
FIG. 7 is an explanatory diagram showing parameters relating to a position and orientation according to an embodiment of the present invention.
[Explanation of symbols]
101 Camera (Video Camera)
103 display 200 computer 201 image acquisition unit 203 area detection processing unit 205 position and orientation calculation unit 207 display brightness control unit 401-404 brightness change area

Claims

A device for inputting a three-dimensional position and orientation of a sensor device that captures a two-dimensional image projected on a display connected to a computer unit,
Image acquisition means capable of acquiring an image captured by the sensor device and inputting the image to the computer unit,
A display brightness control means for setting a brightness change area at an arbitrary position and an arbitrary shape with respect to the display, and changing the set brightness to display the area;
Image analysis means for detecting the brightness change area from the image obtained from the image acquisition means,
The coordinate information on the display of the displayed brightness change area is compared with the coordinate information on the visual field of the sensor device detected by the image analysis means, and a plurality of two-dimensional images corresponding to the plurality of two-dimensional information are determined based on the comparison result. Corresponding point detecting means for selecting a combination of coordinates as corresponding point information;
Position and orientation calculation means for calculating a three-dimensional position and orientation of the sensor device with respect to the display from the corresponding point information obtained by the corresponding point detection means;
And a position and orientation information input unit for sequentially inputting the three-dimensional position and orientation information of the sensor device calculated by the position and orientation calculation unit to the computer unit.

The three-dimensional position and orientation input device according to claim 1, wherein the sensor device is at least one of a CCD camera, a camera-equipped mobile phone, and a home VTR camera.

3. The three-dimensional position and orientation input device according to claim 1, wherein the display brightness control unit optimally controls the brightness change area of the arbitrary position and the shape of the arbitrary shape according to a field of view of the sensor device. 4.

The three-dimensional position / posture input device according to claim 3, wherein the brightness change area having an arbitrary position and an arbitrary shape, which is optimally controlled by the display brightness control unit, is a rectangular area in a field of view of the sensor device. .

5. The three-dimensional position and orientation input according to claim 4, wherein the rectangular area optimally controlled by the display brightness control unit has a position and a size at which a 4-vertex angle can be observed in a field of view of the sensor device. apparatus.

A method for inputting a three-dimensional position and orientation of a sensor device that captures a two-dimensional image projected on a display connected to a computer unit,
An image acquisition step of acquiring an image taken by the sensor device and inputting the image to the computer unit,
A display brightness control step of setting a brightness change area at an arbitrary position and an arbitrary shape with respect to the display, changing the brightness of the set area, and displaying the changed area.
An image analysis step of detecting the brightness change area from the image obtained in the image acquisition step,
The coordinate information on the display of the displayed brightness change area is compared with the coordinate information on the visual field of the sensor device detected in the image analysis step. Based on the comparison result, a plurality of corresponding two-dimensional A corresponding point detecting step of selecting a combination of coordinates as corresponding point information;
A position and orientation calculation step of calculating a three-dimensional position and orientation of the sensor device with respect to the display from the corresponding point information obtained in the corresponding point detection step;
A position and orientation information inputting step of sequentially inputting the three-dimensional position and orientation information of the sensor device calculated in the position and orientation calculation step to the computer unit.

The three-dimensional position and orientation input method according to claim 6, wherein the sensor device is at least one of a CCD camera, a camera-equipped mobile phone, and a home VTR camera.

The three-dimensional position / posture input method according to claim 6 or 7, wherein in the display brightness control step, the arbitrary position and the brightness change area of the arbitrary shape are optimally controlled according to a field of view of the sensor device.

9. The three-dimensional position / posture input method according to claim 8, wherein the brightness change area having an arbitrary position and an arbitrary shape, which is optimally controlled in the display brightness control step, is a rectangular area in a field of view of the sensor device. .

The three-dimensional position / posture input according to claim 9, wherein the rectangular area optimally controlled in the display brightness control step has a position and a size at which a four-vertex angle can be observed in a field of view of the sensor device. Method.

A computer-readable program for inputting a three-dimensional position and orientation of a sensor device that captures a two-dimensional image projected on a display connected to the computer unit to the computer unit, wherein the program is:
An image acquisition step of acquiring an image taken by the sensor device and inputting the image to the computer unit,
A display brightness control step of setting a brightness change area at an arbitrary position and an arbitrary shape with respect to the display, changing the brightness of the set area, and displaying the changed area.
An image analysis step of detecting the brightness change area from the image obtained in the image acquisition step,
The coordinate information on the display of the displayed brightness change area is compared with the coordinate information on the visual field of the sensor device detected in the image analysis step. Based on the comparison result, a plurality of corresponding two-dimensional A corresponding point detecting step of selecting a combination of coordinates as corresponding point information;
A position and orientation calculation step of calculating a three-dimensional position and orientation of the sensor device with respect to the display from the corresponding point information obtained in the corresponding point detection step;
A position and orientation information inputting step of sequentially inputting the three-dimensional position and orientation information of the sensor device calculated in the position and orientation calculation step to the computer unit.

The program according to claim 11, wherein the sensor device is at least one of a CCD camera, a camera-equipped mobile phone, and a home VTR camera.

13. The program according to claim 11, wherein in the display brightness control step, the brightness change area of the arbitrary position and the shape of the arbitrary shape is optimally controlled according to a field of view of the sensor device.

14. The program according to claim 13, wherein the brightness change area of any position and any shape that is optimally controlled in the display brightness control step is a rectangular area in a field of view of the sensor device.

15. The program according to claim 14, wherein the rectangular area optimally controlled in the display brightness control step has a position and a size at which four vertex angles can be observed in a field of view of the sensor device.

16. A medium recording a program, wherein the program according to claim 11 is recorded so as to be readable by a computer.