JP2004152032A - Solid with three-dimensional attitude input condition designating function, three-dimensional attitude input method and device and its program and recording medium with its program recorded - Google Patents
Solid with three-dimensional attitude input condition designating function, three-dimensional attitude input method and device and its program and recording medium with its program recorded Download PDFInfo
- Publication number
- JP2004152032A JP2004152032A JP2002316828A JP2002316828A JP2004152032A JP 2004152032 A JP2004152032 A JP 2004152032A JP 2002316828 A JP2002316828 A JP 2002316828A JP 2002316828 A JP2002316828 A JP 2002316828A JP 2004152032 A JP2004152032 A JP 2004152032A
- Authority
- JP
- Japan
- Prior art keywords
- solid
- rotationally symmetric
- posture
- dimensional
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は3次元姿勢入力用立体、3次元姿勢入力方法、および装置に関する。
【0002】
【従来の技術】
3次元マウスとして応用可能な技術として、特許文献1に3次元位置・姿勢計測装置が開示されている。
【0003】
【特許文献1】
特許第3299441号公報
【0004】
【発明が解決しようとする課題】
しかし、特許文献1の技術では、CRTの利用が必須であり、ディスプレイとして液晶ディスプレイなどを使用している場合には適用不可能であった。
【0005】
本発明の目的は、立体の3次元姿勢に併せて、状態の入力を行なうことができる3次元姿勢入力用状態指定機能付立体を提供することにある。
【0006】
本発明の他の目的は、上記3次元姿勢入力用状態指定機能付立体を用いて物体の3次元姿勢および状態を入力する方法、装置、プログラム、および記録媒体を提供することにある。
【0007】
【課題を解決するための手段】
本発明は、表面に図形が描かれた、姿勢が変動する立体を撮影し、画像上でのその立体の輪郭や図形の見えパターンからその立体の空間上での姿勢を計測するシステムにおいて、その立体にスペクトル分布S1の発光部位を設けたうえで、スペクトル分布S1のフィルターF1およびS1とは異なるスペクトル分布S2のフィルターF2による画像を撮影し、フィルターF2による画像を用いて姿勢の計測を行い、一方、フィルターF1による画像における発光または色変化部位近傍の輝度分布に基づき、発光または色変化部位の発光または色の状態を調べることで、状態(モード)の指定を入力する。
【0008】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0009】
図1〜12は、表面にドットが設けられた、位置および姿勢が変動する球を撮影し、画像上でのその輪郭やドットの見えパターンからその球の空間上での位置および姿勢を計測するシステムにおいて、状態(モード)指定機能の一種であるクリック機能の実現する3次元姿勢入力用状態指定機能付立体を示す図である。
【0010】
図1は本発明の3次元姿勢入力用状態指定機能付立体の第1の例で、間接照明型クリック機能付姿勢入力用球を示している。この球1は中空で、外表面には3個の孔1a,1b,1cがあけられ、これら孔1a,1b,1cの近くに点滅可能な青色LED(470nm)3aと緑色LED(630nm)3bが配置されている。球1の外面は赤塗装(つや消し)されている。電源2のスイッチ2aを押すと、青色LED3aまたは緑色LED3bが点灯する。この球1は積分球と同等の構造になっているため、点灯した際には青色光または緑色光が孔1a,1b,1cを通って外部に拡散的に照射される。これにより、この球1は3種類の状態(モード)を表すことができる。
【0011】
図2は本発明の3次元姿勢入力用状態指定機能付立体の第2の例で、間接照明型クリック機能付姿勢入力用球を示している。この球1は図1の球1と同様の構造で外面は赤塗装(つや消し)されているが、青色LED3aの正面に、照射される直接光を防ぐために、拡散板3cが設けられている。
【0012】
図3は本発明の3次元姿勢入力用状態指定機能付立体の第3の例で、直接照明型クリック機能付位置・姿勢入力装置用球を示している。この球1の孔1a,1b,1cの部位に、透明アクリル製のボディ4aで、側面が白塗装(つや消し)され、透明な拡散面4bを有し、青色LED4cを内蔵した光源ユニット4が配置されている。電源2のスイッチ2aを押すと、青色LED4cが点灯し、透明アクリルボディ4aが光ガイドとなって、青色光が透明な拡散面4bから孔1a,1b,1cを経て拡散的に照射される。なお、球1の外面は赤塗装(つや消し)されている。
【0013】
図4は本発明の3次元姿勢入力用状態指定機能付立体の第4の例で、機械式クリック機能付姿勢入力用球を示している。この球1は孔1a,1b,1cの部位に信号ユニット5が配置されており、外面は図1から図3の球と同じく赤塗装(つや消し)であるが、内面は黒塗装(つや消し)となっている。信号ユニット5はハウジング5aと、ハウジング5aに配置されたピストン5bと、ピストン5bを図左向きに常時付勢するスプリング5cとからなり、ピストン5bの端面5dは青塗装(つや消し)で、ピストン5bは球1の外側に設けられたピストン7によってワイヤー6を介してスプリング5cのばね力に抗して移動するようになっている。通常はスプリング5cによって信号ユニット5のピストン5bの端面5dの青色塗装面が球1の表面に露出しているため、孔1a,1b,1cの部位には青色が確認される。把持部位のピストン7を操作すると、信号ユニット5のピストン5bの端面5dの青色塗装面が球1内に埋没するため、孔1a,1b,1cの部位には黒色が確認される。
【0014】
図5は本発明の3次元姿勢入力用状態指定機能付立体の第5の例で、カラー液晶型クリック機能付姿勢入力用球を示している。この球1の孔1a,1b,1c内にはカラー液晶8が配置され、電源2内には液晶コントローラ2cが配置されている。この球1は図4の球1と同様に、内面が黒塗装(つや消し)となっている。外面は図1から図4の球1と同じく赤塗装(つや消し)となっている。スイッチ2aの操作によりカラー液晶8の色や表示パターンが変化する。
【0015】
図6は本発明の3次元姿勢入力用状態指定機能付立体の第6の例で、機械式クリック機能付姿勢入力用球を示している。立体1の孔1a、1b、1cに、拡散面9aが透明な光ファイバー9の端部が挿入されている。球1の外側には筒状の支持体10が取付けられ、支持体10の貫通孔10aから突出したピン11aが側面に固定され、端部に笠状パレット11bを支持した支持棒11の一部が支持体10に挿入されている。笠状パレット11bの端面には円形の青塗装(つや消し)部分があり、その他の部分は黒塗装(つや消し)となっている。支持棒11のレバー11aを真上の位置にした状態では、光ファイバー9の端面に笠状パレット11bの黒塗装部位があるため、孔1a、1b,1c部位には黒色が確認される。レバー11aを斜めの位置にした状態では、光ファイバー9の端面9aに笠状パレット11bの青塗装部位があるため、孔1a,1b、1c部位には青色が確認される。
【0016】
図7は本発明の3次元姿勢入力用状態指定機能付立体の第7の例で、直接照明型クリック機能付姿勢入力用円板を示している。円板12の円板部12aの中心に設けられた筒状体12b内に青色LED3aが配置され、筒状体12bの開口端には拡散板12cが設置されている。本例では図2に示した球1と同一の原理で照明が点灯する。斜めからでも点灯状態を確認できるように、拡散板12cが備えてある。なお、この円板12は後述の図48に示す立体103と外観は同じで、第1の回転対称12d、第2の回転対称図形12eを有している。
【0017】
図8は3次元姿勢入力用状態指定機能付立体の第8の例で、機械式クリック機能付位置・姿勢入力装置用円板を示している。本例は図4に示した球1と同一の原理で動作する。
【0018】
図9は3次元姿勢入力用状態指定機能付立体の第9の例で、カラー液晶型クリック機能付入力装置用円板を示している。本例は図5に示した球1と同一の原理で動作する。
【0019】
図10は、球外面の反射率のスペクトル分布と内部光源および塗装面のスペクトル分布を示している。光源は青色発光ダイオード、塗装面は青色であり、球外面は赤色で塗装されている場合の輝度、反射率を示している。
【0020】
図11は、3次元姿勢入力用状態指定機能付立体の第10の例で、クリック機能付位置姿勢入力装置用立体の例を示している。球1は孔が4つある球である。
【0021】
図12は、3次元姿勢入力用状態指定機能付立体の第11の例で、クリック機能付位置姿勢入力用立体の他の例を示している。図12(a)の例は立方体で、孔が4つあけられている。図12(b)の例は球で、文字Aの斜棒の部分が塗装され、文字Aの横棒の部分は孔になっている。
【0022】
図13はシステムの概要である。立体1の中心位置と立体1を撮影しているカラーカメラ13の位置とはともに空間に固定されており、立体1はその姿勢のみが変動する。立体1として球または円板を用いた場合には位置を変化させ、これを検出することも可能である。
【0023】
図14は、十分に微小な間隔でその姿勢を変えながら撮影した球1の画像と姿勢を表すクオータニオン(姿勢)とを関連づける姿勢検出用テンプレートを示している。
【0024】
図15は、球の画像の孔付近における画像信号パターンを説明するための図である。内部光源をオンにした場合とオフにした場合のおのおのについて、カメラ画像信号から分離した青色チャンネル画像と赤色チャンネル画像とをそれぞれ表示してある。青色チャンネル画像において、内部光源をオンにしたときには孔領域は球表面領域より輝度が高くなっており、オフにしたときには低くなっている。赤色チャンネル画像においては、内部光源のオン/オフとは無関係に、孔領域は球表面領域より輝度が低くなっている。したがって、赤色チャンネル画像において孔位置を検出し、青色チャンネル画像において孔領域と球表面領域との輝度を比較することで内部光源のオン/オフ状態を検知するようにすれば、クリックの機能を実現することができる。
【0025】
図16は、発光輝度の連続的なコントロールにより連続値の指定を可能にする方法を説明するための図である。図15の場合とは、青色チャンネル画像において孔領域の輝度を絶対値で測定する点が異なり、この絶対値により連続値を指定する。
【0026】
図17は、時系列的な発光パターンのコントロールにより多値の指定を可能にする方法を説明するための図である。256種類の発光パターンにより、青色チャンネル画像における孔領域の輝度パターンを、値0〜255に対応させている。
【0027】
次に、3次元姿勢入力用状態指定機能付立体1の3次元姿勢および状態を入力する装置について説明する。なお、以下で説明する立体は前述した立体1または12の構造を有して、立体の状態も入力できるようになっている。
【0028】
[第1の実施形態]
図18は本発明の3次元姿勢入力用状態指定機能付立体の第12の例と第1の実施形態の3次元姿勢入力装置のブロック図である。
【0029】
3次元姿勢検出装置23は軸姿勢算出部31と立体姿勢算出部32と状態検出部33から構成され、3次元姿勢入力用状態指定機能付立体21(以下、立体21と称す)をカメラ22で撮像した画像から立体21の姿勢および状態を算出する。
【0030】
本実施形態では、立体21の重心Cをカメラ22の光軸上の所定の位置に固定することによって、撮像画像上における立体21の重心の位置が既知であることを前提としている。
【0031】
3次元姿勢検出装置23は、立体21をカメラ22で撮像して得られた画像から、まず、軸姿勢算出部31によって、立体21の表面に描かれた図形の位置に基づき、表面と立体21の軸とが交わる点(すなわち、極)の位置を検出し、立体21の軸の姿勢を算出し、次に、立体姿勢算出部32によって、図形と予め用意しておいたテンプレート画像群との比較、あるいは、図形の色情報に基づき、立体21の姿勢を算出する。そして状態検出部33によって撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体21の指定された状態を検出する。
【0032】
以下、本実施形態では、3次元姿勢入力用状態指定機能付立体21の第12の例として、1個の非回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体21の姿勢および状態を入力する方法を説明する。
【0033】
図19(a)は立体21の例、図19(b)は立体21の表面上の図形の配置を説明するための図である。図19(b)において、Lは楕円体の軸であり、Pは楕円体の表面と軸Lとが交わる点、すなわち、楕円体の極である。非回転対称図形(この例では文字「A」)は、図19(a)のように、その重心Gが極Pの位置に一致するように楕円体の表面に描かれている。
【0034】
図20および図21は図形のテンプレート画像の計算機による作成方法を説明するための図である。
【0035】
図20において、CVは無限遠に配置してある仮想カメラ、Oは計算機内の仮想空間の原点、Xは水平方向の軸、Yは垂直方向の軸、Zは仮想カメラCVの光軸、SVは図形(この例では文字「A」)を配置した仮想平面、Gは仮想平面SV上の点であり図形の重心である。仮想平面SVは線分OGに垂直であり、距離OGは仮想楕円体の長半径に等しいとする。また、点GはYZ平面上にあるとし、線分OGと軸Zとのなす角度をθ1とする。ここで、仮想平面SVとYZ平面との交線をTとすると、この直線Tは点Gを通り線分OGに垂直となっている。そこで、仮想平面SVが線分OGを軸として回転した際の偏角を直線Tを基準とした角度で表わすこととし、これをθ2とする。なお、説明のため、図20では図形をその輪郭のみで示している。
【0036】
図21は仮想平面SV上の図形(この例では文字「A」)をXY平面に射影して得られた仮想カメラCVの画像である。GTは重心Gの画像上での位置である。テンプレート画像は、この仮想カメラCVの画像を、図形を含み、かつGTを中心とする矩形領域で切り出した部分画像にガウシアンフィルタ等によるぼかし処理を施して作成する。
【0037】
図22は作成されたテンプレート画像群が配置されたテーブルである。図20で示した仮想空間SVにおいて、角度θ1については例えば0度から90度までの1度刻みとし、角度θ2については例えば0度から359度までの1度刻みとし、これらの角度θ1,θ2のすべての組み合わせに対して仮想カメラCVの画像を算出し、それぞれに対応するテンプレート画像を作成し、テーブルに配置しておく。
【0038】
図23は楕円体の軸Lの実空間における姿勢と極Pの撮像画像上における位置との関係を説明するための図である。図23(a)は楕円体の斜視図であり、図23(b)はこの楕円体をカメラ22で撮影した画像である。図23(a)において、Cは楕円体の中心、Xは水平方向の軸、Yは垂直方向の軸、Zはカメラ22の光軸、B1は極Pと軸Zを含む平面と軸Yとのなす角度、B2は軸Lと軸Zとのなす角度、Dは極Pと軸Zとの距離である。図23(b)において、CSは楕円体の中心Cの撮像画像上での位置、PSは極Pの撮像画像上での位置、B1は直線CSPSが垂直方向から時計回りになす角度、DSはCSとPS間の距離である。また、PSの撮像画像上での座標を(u,v)、Pの実空間における座標を(x,y,z)とする。ここで、撮像画像上での楕円体の重心位置CSが既知であることから、これを撮像画像上での原点、また、カメラの撮像倍率をαとし、
u=αx, v=αy, DS=αD
の関係が成り立つとする。ここで、実空間における点CとP間の距離をDCPとすると、以下の関係が成り立つ。
【0039】
【数1】
【0040】
なお、これらの関係は、DCP、すなわち実空間におけるCと対象点Pとの間の距離さえ既知であれば、対象点Pが楕円体の極以外の任意の点であっても、対象点Pと直線CPの姿勢との関係として成立する。
【0041】
図24は撮像画像から楕円体の部分を切り出した部分画像を示している。図24(a)は濃淡画像であり、図24(b)は同画像を2値化した画像である。説明のため、図24(b)では図形をその輪郭のみで示している。図24(b)において、PSは極Pの撮像画像上での位置であり、これは撮像画像上での図形の重心に一致している。
【0042】
図25は立体21の姿勢および状態を入力する手順を示すフローチャートである。
1.撮像画像を2値化した画像(図24(b))から図形の重心を求め、その位置をPSとする(ステップ41)。
2.式(1)を用いて、軸Lの姿勢すなわち角度B1およびB2を求める(ステップ42)。
3.2で得られた角度B2に最も近い角度を図22に示したテーブルの角度θ1欄から選択し、マッチング処理に用いるテンプレート画像群の列を決定する(ステップ43)。
4.撮像画像(図24(a))をCSの周りに角度−B1だけ回転させた濃淡画像を得る(ステップ44)。
5.3で決定された列に含まれる全てのテンプレート画像(図22の例では360個)と4で得られた濃淡画像との正規化相関手法等によるマッチング処理を点PSの回転後の点の近傍において逐次行う(ステップ45)。
6.5で得られたマッチングの度合い(スコア)が最大となるテンプレート画像を見つけ、そのテンプレート画像に対応する角度θ2を求め、これを立体21の軸Lの周りの回転方向の姿勢を表わす角度B3とする(ステップ46)。
7.以上により得られた角度B1、B2、およびB3を立体21の姿勢とする(ステップ47)。
8.最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づいて立体21の指定された状態を検出する(ステップ48)。
【0043】
図26に上記と同様の手順で姿勢および状態を入力することができる立体21の第13の例として、1個の非回転対称図形が表面に描かれた正四角台形錐体を示す。図26(a)は立体21の例、図26(b)は立体21の表面上の図形の配置を説明するための図である。図26(b)において、Lは正四角台形錐体の軸であり、Pは正四角台形錐体の表面と軸Lとが交わる点である。非回転対称図形(この例では文字「A」)は、図26(a)のように、その重心GがPの位置に一致するように正四角台形錐体の表面に描かれている。
【0044】
図27に上記と同様の手順で姿勢および状態を入力することができる立体21の第14の例として、1個の非回転対称図形が表面に描かれた正四角台形錐の殻状体を示す。図27(a)は立体21の例、図27(b)は立体21の表面上の図形の配置を説明するための図である。図27(b)において、Lは正四角台形錐殻状体の軸であり、Pは正四角台形錐殻状体の表面と軸Lとが交わる点である。非回転対称図形(この例では文字「A」)は、図27(a)のように、その重心GがPの位置に一致するように正四角台形錐殻状体の表面に描かれている。
【0045】
図28に上記と同様の手順で姿勢を検出することができる立体21の第15の例として、1個の非回転対称図形が表面に描かれた準正多面体を示す。非回転対称図形(この例では文字「A」)は、図28のように、その重心Gが準正多面体の1つの面の重心の位置に一致するように準正多面体の表面に描かれている。
【0046】
図29に上記と同様の手順で姿勢を検出することができる立体21の第16の例として、1個の非回転対称図形が表面に描かれた正多面体を示す。非回転対称図形(この例では文字「A」)は、図29のように、その重心Gが正多面体の1つの面の重心の位置に一致するように正多面体の表面に描かれている。
【0047】
[第2の実施形態]
本実施形態では、3次元姿勢検出用立体21の第17の例として、2種類の大きさの4個の回転対称図形と3個の非回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体21の姿勢を求める方法を説明する。
【0048】
図30は立体21の表面上の図形の配置を説明するための図である。わかり易くするため、図30では楕円体面上の図形を平面的に表現している。図30(a)は上面図であり、図30(b)は側面図である。楕円体の極Pの位置に大きいドットが、極Pを中心とした回転対称の位置Q1、Q2、Q3に小さいドットがそれぞれ描かれている。また、Q1、Q2、Q3に描かれた各ドットからPに描かれたドットに向かう方向を姿勢の基準として、Pに描かれたドットとQ1、Q2、Q3に描かれた3個のドットとの各中点にそれぞれ異なる3個の図形が描かれている。
【0049】
図31は立体21に描かれた各ドットの3次元的な位置関係を説明するための図である。図31(a)において、Pは楕円体の極であり、大きいドットの位置である。Qi(i=1,2,3)は各小さいドットの位置、Cは楕円体の重心、DPQは実空間上でのPとQi間の距離、DQQは実空間上でのQiとQj間の距離、DCQは実空間上でのCとQi間の距離である。図33(b)において、Miは点P、QiおよびCを含む平面上の点であり、線分PQiの垂直二等分線が楕円体の表面と交わる点である。
【0050】
図32(a)および(b)は、それぞれ大きいドットおよび小さいドットを検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【0051】
図33は互いに異なる3種類の図形を検出するためのテンプレート画像群が配置されたテーブルである。各テンプレート画像は第1の実施形態で説明した方法で作成してある。
【0052】
図34は撮像画像から楕円体の部分を切り出した部分画像を示している。図34(a)は濃淡画像であり、図34(b)は楕円体の姿勢を求める手順を説明するための図である。説明のため、図34(b)では各ドットをその輪郭のみで示している。図34(b)において、PSは極Pの撮像画像上での位置であり、これは撮像画像上での大きいドットの位置に一致している。また、QSi(i=1,2,3)はそれぞれQiの撮像画像上での位置、MSiはMiの撮像画像上での位置である。
【0053】
図35は立体21の姿勢を求める手順を示すフローチャートである。
1.大きいドットを検出するためのテンプレート画像(図32(a))と濃淡画像(図32(a))との正規化相関手法等によるマッチング処理を行い、マッチングスコアが最大となる撮像画像上での大きいドットの位置を求め、その位置をPSとする(ステップ51)。
2.小さいドットを検出するためのテンプレート画像(図32(b))と濃淡画像(図34(a))との正規化相関手法等によるマッチング処理を行い、マッチングスコアが最大となる撮像画像上での小さいドットの位置QSiを求める(ステップ52)。
3.1で求められたPSから、式(1)、式(2)を用いて、軸Lの姿勢すなわち角度B1、B2、および点Pの実空間上での位置を求める(ステップ53)。
4.2で求められたQSiから、式(1)、式(2)を用いて、直線CQiの姿勢すなわち角度BQi1、BQi2、および点Qiの実空間上での位置を求める(ステップ54)。ただし、式(1)、式(2)において、DCPの代わりにDCQを用いることとする。
5.点Pおよび点Qiの実空間上での位置から、図31(b)の関係を用いて、点Miの位置と直線CMiの姿勢すなわち角度BMi1およびBMi2を求める(ステップ55)。
6.式(2)を用いて、点Miの撮像画像上での位置MSiを求める(ステップ56)。ただし、式(2)において、DCPの代わりに、CとMi間の距離を用いることとする。
7.5で得られた角度BMi2に最も近い角度を図33に示したテーブルの角度θ1欄から選択し、マッチング処理に用いる3種類のテンプレート画像群の列を決定する(ステップ57)。
8.撮像画像(図32(a))をCSの周りで角度−BMi1だけ回転させた濃淡画像を得る(ステップ58)。
9.7で決定された列に含まれる3種類の全てのテンプレート画像(図31の例では1080個)と8で得られた濃淡画像との正規化相関手法等によるマッチング処理を点MSiの回転後の点の近傍において逐次行う(ステップ59)。
10.9で得られたマッチングの度合い(スコア)が最大となるテンプレート画像を見つけ、対象としている図形が3種類の図形のうちの何れであるかを特定することにより、対象とした小さいドットQiがQ1、Q2、Q3の何れであるかを特定する(ステップ60)。
11.特定されたQiに基づき、立体21の軸Lの周りの回転方向の姿勢を表わす角度B3を算出する。すなわち、特定されたQiを軸Zの周りで角度−B1だけ回転させ、さらに軸Xの周りで角度−B2だけ回転させた点の軸Zの周りの偏角を求め、これをB3とする(ステップ61)。
12.以上により得られた角度B1、B2、およびB3を立体21の姿勢とする(ステップ62)。
13.最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体21の指定された状態を検出する(ステップ63)。
【0054】
[第3の実施形態]
本実施形態では、3次元姿勢検出用立体21の第18の例として、同一の大きさの4個の回転対称図形と3個の非回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体21の姿勢を求める方法を説明する。第2の実施形態とは、楕円体の極Pの位置に描かれたドットとその周囲に描かれたドットとの判別方法のみが異なるので、この判別方法のみを説明する。
【0055】
図36は立体21の表面上の図形の配置を説明するための図である。わかり易くするため、図36では楕円体面上の図形を平面的に表現している。図36(a)は上面図であり、図36(b)は側面図である。楕円体の極Pの位置および極Pを中心とした回転対称の位置Q1、Q2、Q3に全て同一の大きさのドットが描かれている。また、Q1、Q2、Q3に描かれた各ドットからPに描かれたドットに向かう方向を姿勢の基準として、Pの描かれたドットとQ1、Q2、Q3に描かれた3個のドットとの各中点にそれぞれ異なる3個の図形が描かれている。さらに、立体21に描かれた各ドットの3次元的な位置関係は図31と同様であるとする。ただし、本実施形態では、DPQとDQQとが十分異なるように各ドットの位置を設定しておく。
【0056】
図37はドットを検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【0057】
図38は撮像画像から楕円体の部分を切り出した部分画像を示している。図40(a)は濃淡画像であり、図38(b)は楕円体の姿勢を求める手順を説明するための図である。説明のため、図38(b)では各ドットをその輪郭のみで示している。図38(b)において、PSは極Pの撮像画像上での位置、QSi(i=1,2,3)はそれぞれQiの撮像画像上での位置である。
【0058】
図39は立体21のPに描かれたドットとQ1、Q2、Q3に描かれたドットのうちの1つを判別する手順を示すフローチャートである。
1.ドットを検出するためのテンプレート画像(図37)と濃淡画像(図38(a))との正規化相関手法等によるマッチング処理を行い、各ドットについて、マッチングスコアが最大となる撮像画像上での位置を全て求める(ステップ71)。
2.求められた各点について、式(1)、式(2)を用いて、実空間上での位置を算出する(ステップ72)。ただし、式(1)、式(2)において、DCPの代わりに全てDCQを用いることとする。本実施形態では、DPQとDQQとが十分異なるため、このような近似を用いても各ドットを正しく判別することができる。
3.求められた点が2個以下の場合は処理を中止する(ステップ73)。
4.求められた点が3個以上の場合、これらの中から2個を選ぶ全ての組合わせについて、選んだ2個の点間の実空間における距離を求め、この距離と立体21における既知のDQQとの差の絶対値が所定の閾値より大きくなる1組を選定する(ステップ74)。
5.選定された組の2個の点をP1、P2、それ以外の任意の点をQiとし、P1とQi間の距離を求める(ステップ75)。その際、P1、P2の実空間上での位置として、DCPにCとP間の距離を代入した式(1)、式(2)により算出したものを用いる。
6.5で求められたP1とQi間の距離と立体21における既知のDPQとの差の絶対値が、所定の閾値より小さければP1をPに描かれたドットとし、そうでなければP2をPに描かれたドットとする(ステップ76)。
【0059】
以下、第2の実施形態における手順3以降を実行すればよい。
【0060】
図40に上記と同様の手順で姿勢を検出することができる立体21の第19の例として、第14の例の立体におけるドットに代えて円が表面に描かれた楕円体を示す。わかり易くするため、図40では楕円体面上の図形を平面的に表現している。図40(a)は上面図であり、図40(b)は側面図である。楕円体の極Pの位置および極Pを中心とした回転対称の位置Q1、Q2、Q3に全て同一の大きさの円が描かれている。また、Q1、Q2、Q3に描かれた各円からPに描かれた円に向かう方向を姿勢の基準として、Pに描かれた円とQ1、Q2、Q3に描かれた3個の円との各中点にそれぞれ異なる3個の図形が描かれている。さらに、立体21に描かれた各円の3次元的な位置関係は図31と同様であるとする。ただし、DPQとDQQとが十分異なるように各円の位置を設定しておく。
【0061】
図41は円を検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【0062】
図42に上記と同様の手順で姿勢を検出することができる立体21の第20の例として、同一の大きさの4個の回転対称図形と3個の非回転対称図形が表面に描かれた正六角台形錐体を示す。わかり易くするため、図42では正六角台形錐体面上の図形を平面的に表現している。図42(a)は上面図であり、図42(b)は側面図である。Lは正六角台形錐体の軸であり、Pは軸Lと上底面とが交わる点である。Pの位置および1個おきの側面の左右の中央で、かつPから等距離の位置Q1、Q2、Q3に全て同一の大きさのドットが描かれている。また、Q1、Q2、Q3に描かれた各ドットからPに描かれたドットに向かう方向を姿勢の基準として、Pに描かれたドットとQ1、Q2、Q3に描かれた3個のドットとの各中点にそれぞれ異なる3個の図形が描かれている。ただし、PとQi間の距離DPQとQiとQj間の距離DQQとが十分異なるように各ドットの位置を設定しておく。
【0063】
図43に上記と同様の手順で姿勢を検出することができる立体21の第10の例として、同一の大きさの4個の回転対称図形と3個の非回転対称図形が表面に描かれた放物面体を示す。わかり易くするため、図43では放物面体の表面上の図形を平面的に表現している。図43(a)は上面図であり、図43(b)は側面図である。Lは放物面体の軸であり、Pは軸Lと放物面体の表面とが交わる点、すなわち、放物面体の極である。放物面体の極Pの位置および極Pを中心とした回転対称の位置Q1、Q2、Q3に全て同一の大きさのドットが描かれている。また、Q1、Q2、Q3に描かれた各ドットからPに描かれたドットに向かう方向を姿勢の基準として、Pに描かれたドットとQ1、Q2、Q3に描かれた3個のドットとの各中点にそれぞれ異なる3個の図形が描かれている。ただし、PとQi間の距離DPQとQiとQj間の距離DQQとが十分異なるように各ドットの位置を設定しておく。
【0064】
[第4の実施形態]
本実施形態では、3次元姿勢検出用立体21の第22の例として、同一の大きさでかつ互いに異なる色の4個の回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体21の姿勢を求める方法を説明する。
【0065】
図44は立体21の表面上の図形の配置を説明するための図である。わかり易くするため、図44では楕円体面上の図形を平面的に表現している。図46(a)は上面図であり、図44(b)は側面図である。楕円体の極Pの位置に黒のドットが、極Pを中心とした回転対称の位置Q1、Q2、Q3にそれぞれ赤、緑、青のドットが描かれている。また、立体21に描かれた各ドットの3次元的な位置関係は図31と同様であるとする。さらに、ドットを検出するためのテンプレート画像は図37と同様である。
【0066】
図45は撮像画像から楕円体の部分を切り出した部分画像を示している。図45(a)は濃淡画像であり、図45(b)はカラー画像である。PSは極Pの撮像画像上での位置、QSi(i=1,2,3)はそれぞれQiの撮像画像上での位置である。
【0067】
図46は立体21の姿勢および状態を求める手順を示すフローチャートである。
1.ドットを検出するためのテンプレート画像(図37)と濃淡画像(図45(a))との正規化相関手法等によるマッチング処理を行い、各ドットについて、マッチングスコアが最大となる撮像画像上での位置を全て求める(ステップ81)。
2.求められた各点におけるカラー画像(図45(b))の色情報から各ドットを判別する(ステップ82)。
3.2で判別されたPSから、式(1)を用いて、軸Lの姿勢すなわち角度B1およびB2を求める(ステップ83)。
4.Qi(Q1、Q2、Q3のいずれか)に描かれた1個のドットについて、式(1)、式(2)を用いて、実空間上での位置を求める(ステップ84)。ただし、式(1)、式(2)において、DCPの代わりにDCQを用いることとする。
5.4で求められたQiに基づき、立体21の軸Lの周りの回転方向の姿勢を表わす角度B3を算出する(ステップ85)。すなわち、求められたQiを軸Zの周りで角度−B1だけ回転させ、さらに軸Xの周りで角度−B2だけ回転させた点の軸Zの周りの偏角を求め、これをB3とする。
6.以上により得られた角度B1、B2、およびB3を立体21の姿勢とする(ステップ86)。
7.最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体21の指定された状態を検出する(ステップ87)。
【0068】
以上の実施形態で説明した、立体の姿勢を求める方法では、各々のマッチング処理において、立体表面に描かれた図形の一部分である比較的小さなサイズの図形を用いるので、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いればよく、テンプレート画像の記憶容量およびマッチング処理の計算コストを小さく抑えることができる。
【0069】
[第5の実施形態]
図47は本発明の第5の実施形態の3次元姿勢入力装置を示した図である。
【0070】
3次元姿勢入力装置103は位置算出部131と図形検出部132と姿勢算出部33と状態検出部34から構成され、3次元姿勢入力用立体(以下、立体と称す)101をカメラ102で撮像して得られた撮像画像から、立体101の3次元位置、姿勢、および状態を検出する。
【0071】
図48は立体101の第23の例を示す図、図49はその各部の位置関係を示す図である。
【0072】
立体101は、表面に縁211を有する薄い円板(半径r)からなる主要部101と、これに細い構造体を介して支持されている同一サイズで、同一色の2個のドット状の第1、第2の回転対称図形221、231からなっている。第1の回転対称図形221は中心が主要部201の回転対称軸上にあり、かつ主要部201の表面を含む平面と平行な、該表面から距離h離れた平面上にある。第2の回転対称図形231は主要部201を含む平面上で、主要部201の領域外で、主要部201の回転対称軸から距離g離れた位置にある。回転対称図形221および231は、サイズを小さくするほど、高精度にその位置検出ができ、また、立体101全体とのサイズ差が大きくなるため、高精度に立体101の3次元姿勢を算出できる。したがって、撮像画像上での識別可能な最小のサイズとすることが望ましい。
【0073】
本実施形態では、立体101の位置は、撮像画像上において、主要部201の表面の縁211が楕円に近似できる程度にカメラ102から離れているとする。また、本実施形態では、立体101の傾きは、撮像画像上において、回転対称図形221が主要部201の表面の縁211の外部に出ない範囲内であるとする。
【0074】
3次元位置・姿勢検出装置103は、まず、位置算出部131によって、撮像画像上における立体101の主要部201の輪郭から、立体101の位置を算出し、次に、図形検出部132によって、撮像画像上における回転対称図形221、231の位置を検出し、さらに、姿勢算出部133によって、立体101の主要部201の回転対称軸の向きおよび該回転対称軸周りの回転角度、すなわち立体101の姿勢を算出する。最後に、状態検出部134によって、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づいて立体101の指定された状態を検出する。
【0075】
以下、本実施形態で、この立体101を用い、その撮像画像から立体101の3次元位置および姿勢を求める方法を説明する。
【0076】
図50はカメラ102のレンズの光学中心Cを原点とし、レンズの光軸をZ軸とする、カメラ102を基準とした実空間での座標系において、位置(x,y,z)に立体101が置かれている様子を示した図である。Xは実空間での水平方向の軸、Yは実空間での垂直方向の軸である。立体101は図48に示したものと同一のデザインである。カメラ102については、撮像画像の光学的歪みを補正することにより、レンズ歪等のない理想的なカメラとして扱うことができる。
【0077】
図51はドット状の図形221、231を検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【0078】
図52(a)は立体101の撮像画像、図52(b)は前記撮像画像における立体1の主要部201の輪郭211およびドット状の各回転対称図形221、231の検出結果を示す図である。uは画像の水平方向の軸、vは画像の垂直方向の軸である。図53(b)において、211sは検出した立体1の主要部201の縁211にフィットさせて得られた輪郭を表わす楕円、221sは検出されたドット状の円板221の位置、231sは検出されたドット状の円板231の位置である。ここで、撮像画像上の点を座標(u,v)で表すと、楕円211sは次式によって表すことができる。
【0079】
【数2】
【0080】
図53は撮像画像上でのドット状の図形の位置221s、231sと実空間での座標系XYZにおけるドット状の回転対称図形の位置との幾何的関係を示す図である。104は式(1)によって表される楕円211sに対応する円の中心、すなわち立体101の主要部201の表面の中心の実空間における位置である。105は前記円を含む平面、すなわち立体101の主要部201の表面およびその縁211を含む平面である。106は104を中心とする半径hの球である。107は221sに対応する点、すなわち回転対称図形221の実空間における位置、108は231sに対応する点、すなわち回転対称図形231の実空間における位置である。Cはカメラ102のレンズの光学中心である。位置107は、位置221sとレンズ中心Cとを結ぶ直線と球106との交点である。また、位置108は、位置231sとレンズ中心Cとを結ぶ直線と平面105との交点である。
【0081】
図53で示した立体101の主要部201の表面の中心の実空間における位置104および主要部201の表面およびその縁211を含む平面105は、式(1)の各係数α、β、γ、δ、ε、およびζを用いて、以下の方法によって求めることができる(例えば、文献 Kenichi Kanatani, ”Geometric Computation for Machine Vision”, P.228 を参照)。
【0082】
まず、次式で表されるマトリックスQを作り、Qの固有値λ1、λ2、λ3、および、これら固有値に対応する単位固有ベクトルn1、n2、n3を計算する。ここで、固有値はλ3<0<λ1≦λ2となるように選ぶ。
【0083】
【数3】
【0084】
ただし、fは図53におけるuv平面とレンズの光学中心Cとの距離であり、また、κはdetQ=−1となるように選ぶ。
【0085】
次に、上記で得られたQの固有値λ1、λ2、λ3、および単位固有ベクトルn1、n2、n3を用いて、次式によって、平面105の法線ベクトルn、および平面5とレンズの光学中心Cとの距離dを計算する。
【0086】
【数4】
【0087】
ただし、rは主要部201の面の縁211の半径である。平面105は、この法線ベクトルnおよび距離dにより求められる。
【0088】
さらに、上記で得られたQの逆行列Q−1、および法線ベクトルnを用いて、次式によって、レンズの光学中心Cを始点とする位置ベクトルmを計算する。
【0089】
【数5】
【0090】
位置104は、この位置ベクトルmと平面105との交点として求められる。
【0091】
図54は立体101の3次元位置および姿勢を求める手順を示すフローチャートである。
1.撮像画像(図52(a))において、ハフ変換等を用いて、立体101の主要部101の輪郭111にフィットさせた楕円111sを検出し、式(1)における各係数α、β、γ、δ、ε、およびζを求める(ステップ301)。
2.1で求められたα、β、γ、δ、ε、およびζから、式(1)〜式(5)で示した方法により、立体101の主要部201の表面およびその縁211を含む平面105の法線ベクトルおよび主要部101の表面の中心の位置104を求め、さらに平面105を求める(ステップ302)。
3.ドット状の図形を検出するためのテンプレート画像(図51)と撮像画像(図52(a))との正規化相関手法等によるマッチング処理を行い、マッチングスコアが極大となる撮像画像上でのドット状の図形の位置を検出する(ステップ303)。
4.3で検出された位置の各々と楕円211sとの位置関係から各位置が回転対称図形221および回転対称図形231のいずれに対応しているかを判別する(ステップ304)。すなわち、検出された位置のうち楕円211sの内側のものを221s、外側のものを231sとする。
5.図53に示した幾何的関係から、位置107および位置108を求める(ステップ305)。
6.位置104および位置107から、立体101の主要部201の回転対称軸の向きを求め、位置104および位置108から、立体101の該回転対称軸周りの回転角度を求める(ステップ306)。
7.2で求められた位置104を立体101の3次元位置とし、6で求められた立体101の主要部201の回転対称軸の向きおよび該回転対称軸周りの回転角度を立体1の3次元姿勢とする(ステップ307)。
8.最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づいて立体101の指定された状態を検出する(ステップ308)。
【0092】
[第6の実施形態]
第5の実施形態では、立体101に設けた第1および第2の回転対象図形221、231が同一の色であり、立体101の傾きは、撮像画像上において、図形121が主要部201の縁211の外部に出ない範囲内であるとした。
【0093】
これに対し、本実施形態では、立体101に設けた第1および第2の回転対象図形を互いに異なる色とし、立体101の傾きの制限をなくすものである。
【0094】
図55は立体101の一例である。この立体101は、表面に縁212を有する薄いリングである主要部202と、これに細い構造体を介して支持されている同一サイズで互いに異なる色の2個のドット状の図形222および232が描かれた円板とから構成されている。ここでは、図形222が赤、図形232が青でそれぞれ描かれているとする。図形222および232のサイズについては、第5の実施形態と同様、撮像画像上で識別可能な最小のサイズとすることが望ましい。
【0095】
本実施形態における3次元位置および姿勢の検出方法は、検出されたドット状の図形222、232の位置の各々が2個のドット状の図形222、232のいずれに対応しているかを判別する手順のみが、第5の実施形態と異なっている。そのため、本実施形態の方法も、第5の実施形態と同様、図50ないし図53を用いて説明する。ただし、本実施形態においては、図52に相当する撮像画像が色情報を有するカラー画像であるとする。
【0096】
図56は立体101の3次元位置および姿勢を求める手順を示すフローチャートである。
1.撮像画像(図52(a))において、ハフ変換等を用いて、立体101の主要部102の輪郭にフィットさせた楕円212sを検出し、式(1)における各係数α、β、γ、δ、ε、およびζを求める(ステップ401)。ただし、ここでは撮像画像の濃淡情報のみ使用する。
2.1で求められたα、β、γ、δ、ε、およびζから、式(3)〜式(7)で示した方法により、立体101の主要部202の表面およびその縁212を含む平面105の法線ベクトルおよび主要部202の表面の中心の位置104を求め、さらに平面105を求める(ステップ402)。
3.ドット状の図形を検出するためのテンプレート画像(図51)と撮像画像(図52(a))との正規化相関手法等によるマッチング処理を行い、マッチングスコアが極大となる撮像画像上でのドット状の図形の位置を検出する(ステップ403)。ただし、ここでは撮像画像の濃淡情報のみ使用する。
4.3で検出された位置の各々における撮像画像(図52(a))の色情報から各位置が図形222および図形232のいずれに対応しているかを判別する(ステップ404)。すなわち、検出された位置の画素が赤の色情報を有していればその位置を222s、青の色情報を有していればその位置を232sとする。
5.図53に示した幾何的関係から位置107と位置108を求める(ステップ405)。
6.位置104および位置107から立体101の主要部102の回転対称軸の向きを求め、位置104および位置108から、立体101の該回転対称軸周りの回転角度を求める(ステップ406)。
7.3で求められた位置104を立体101の3次元位置とし、5で求められた立体101の主要部202の回転対称軸の向き、および該回転対称軸周りの回転角度を立体101の3次元姿勢とする(ステップ407)。
8.撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体101の指定された情報を検出する(ステップ408)。
【0097】
図57ないし図59は第5または第6の実施形態で示した手順で3次元位置および姿勢を検出することができる立体101のその他の例を示している。ただし、立体101に設けた第1および第2の回転対象図形が同一の色の場合には、第5の実施形態で示した手順が適用でき、立体101に設けた第1および第2の回転対象図形が互いに異なる色の場合には、第5および第6の実施形態で示した手順が適用できる。
【0098】
図57に示す立体は、リングである主要部203と、これに細い構造体を介して支持されている同一サイズの2個の小球223、233とから構成されている。
【0099】
図58に示す立体は、円板である主要部204と、これに支持されており、かつ表面の一部にそれぞれ同一サイズのドット状の図形224、234が描かれた棒状および板状の構造体とから構成されている。
【0100】
図59に示す立体は、リング状の主要部205と、これに支持されており、かつ表面の一部にそれぞれ同一サイズのドット状の図形225、235が描かれた筒状および板状の構造体とから構成されている。
【0101】
以上説明したように、本実施形態の立体の3次元位置、姿勢、および状態を求める方法では、立体の主要部を円板もしくはリングにしたので、位置の算出と姿勢の算出とを分離でき、高精度を確保しつつ、計算コストを抑えることができる。また、立体の一部に描かれた比較的小さなサイズの図形を用いるので、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いればよく、マッチング処理におけるテンプレート画像の記憶容量および計算コストを小さく抑えることができる。その結果、高精度を確保しつつ、全体の計算コストを大幅に抑えることができる。
【0102】
なお、以上の実施形態では、立体101の2個の回転対称図形として、同一サイズ、同一形状の図形である例を示した。しかし、これらの図形を検出する際に必要となるテンプレート画像を変えることにより、2個の回転対称図形は、互いに異なるサイズ、異なる形状(例えば、ドット状の図形と円状の図形など)であっても、本発明は同様の効果を奏することができる。
【0103】
〔第7の実施形態〕
図60は本発明の3次元姿勢入力用状態指定機能付立体の第27の例と3次元姿勢入力装置を示す図、図61は立体511の画像を示す図である。
【0104】
立体511は、表面の少なくとも一部分が球面であり、立体511の球面には「A」の文字が描かれている。
【0105】
3次元位置・姿勢検出装置513は位置算出部513aと姿勢算出部513bと状態検出部513cからなる。位置算出部513aは、立体511をカメラ512で撮影して得られた画像(図61(a))に二値化処理を施すことで立体511の輪郭画像(図61(b))を得、その輪郭画像上での立体の輪郭の位置と大きさとから立体511の実空間での位置x,y,zを算出する。姿勢算出部513bは、輪郭画像(図61(b))をもとに立体511(図61(a))上での立体部位を切り出し、その画像(図61(c))と図形の種々の姿勢に対応する図形の全体または部分のテンプレート画像群とを比較することにより立体511の姿勢θ,φ,ψを算出する。状態検出部513cは撮像画像の孔の位置における色情報および輝度が少なくとも一方に基づき立体511の指定された位置を検出する。
【0106】
図62は立体511の例を示している。この立体511では球面に内接する正五角形と正六角形とから構成される準正多面体の3個の頂点が該球面と接する点の位置に全て同じサイズのドットが、また該準多面体の中心と該準多面体の面の重心とを結ぶ直線が該球面と交わる点の位置に1個の文字が、それぞれ設けられている。これらのドットは、サイズを小さくするほど、高精度にその位置検出ができ、また、立体511とのサイズ差が大きくなるため、高精度に立体の3次元姿勢を算出できる。したがって、撮像画像上で識別可能となる最小のサイズとすることが望ましい。
【0107】
図63は、レンズの光学中心Cを原点とし、レンズの光軸をZ軸とするカメラ512を基準とする実空間での座標系において、位置(x,y,z)に立体511が置かれている様子を示した図である。立体511は、図62に示したものと同一のデザインである。カメラ512については、撮像画像の光学的歪みを補正することにより、レンズ歪等のない理想的なカメラとして扱うことができる。
【0108】
図64は立体511を撮像した画像を示している。uは画像の水平方向の軸、vは画像の垂直方向の軸である。図において、514は、検出した立体のエッジに楕円をフィットさせて得られた輪郭である。ξは、輪郭の重心と画像原点とを結ぶ直線がu軸となす角である。dは輪郭の重心と画像原点との距離である。bは輪郭楕円の長径である。
【0109】
図65は、撮像画像上でのドットの位置Psと実空間でのドットの位置Pとの幾何的関係を示す図である。図において、点Pは、撮像画像上でのドットの位置Psとレンズの光学中心Cとを結ぶ直線が立体511の球面と交わる点である。
【0110】
図66は、撮像画像上で検出された3個のドットの位置(図66(a))と、これらドットの位置を基にして計算により作成された3枚の文字用テンプレートを示す図(図66(b))である。ここで、ドットが図の位置となるような球の姿勢は3通りに限られる。それら3通りの姿勢の全てについて、例えば以下のような方法でテンプレートを作成する。
【0111】
図67および図68は図形のテンプレートの計算機による作成方法を説明するための図である。図67において、CVは無限遠に配置してある仮想カメラである。Oは計算機内の仮想空間の原点、Xは水平方向の軸、Yは垂直方向の軸、Zは仮想カメラCVの光軸である。Rは軸Z上の点であり、距離ORは仮想球の半径に等しい。線分OGは線分ORを軸Zから角度Q1だけ回転させた線分である。SVはGを通り線分OGに垂直な仮想平面である。Gを通る直線Tは、軸Yと軸Zとを含む平面上にあり、線分OGに垂直である。角度Q2は仮想平面SVが線分OGを軸として回転した際の、直線Tからの偏角である。なお、図形はその重心がGに一致するように仮想平面SV上に配置してある。説明のために、図形については輪郭のみを示してある。
【0112】
図68は仮想平面SV上に配置した図形をXY平面に射影して得られた仮想カメラCVの画像である。GTはGの画像上での位置である。テンプレートは、この仮想カメラCVの画像を図形を含みかつ位置GTを中心とする矩形領域で切り出した部分画像にガウシアンフィルタ等によるぼかし処理を施して作成する。
【0113】
図69は、図62の立体511を撮像した画像から、図60の装置によって、実空間での立体511の位置・姿勢を算出、状態を検出する方法を示すフローチャートである。なお、立体511の球面部の半径は既知であるとする。
1.立体511を撮像した画像の光学的歪みを補正し、補正画像を得る(ステップ531)。
2.補正画像において、ハフ変換等を用いて球の輪郭である楕円を検出し、図64で示した楕円のパラメータ(ξ,d,b)を算出する(ステップ532)。
3.図63で示した立体511の位置(x,y,z)と図64で示した楕円のパラメータ(ξ,d,b)との間には、球の半径が既知であるため、固定した1対1の対応関係がある。この対応関係を表わす方程式をNewton−Raphson法等を用いて解くことにより、(ξ,d,b)から(x,y,z)を算出する(ステップ533)。
4.補正画像において、1個のドット図形用のテンプレートを用いたパターンマッチング処理により比較し、3個のドットの画像上での位置を各々独立に検出し、図65に示した幾何的関係を用いて3個のドットの実空間での位置を算出する。算出された3個のドットの位置と立体511の位置(x,y,z)とを基に、立体511の姿勢を算出する(ステップ534)。ただし、3個のドットの位置を基にした場合、得られる立体511の姿勢は3通りあるため、それら3通りの姿勢の全てを算出し、これらを立体511の姿勢の候補とする。立体511の姿勢の算出方法は次の通りである。立体511のモデルとして、表面に3個のドットを有する球を考え、図65に示す実空間での各ドットの位置をそれぞれP1、P2、P3とする。各ドットは球に固定されているので、球の姿勢が変化すると、各位置P1、P2、P3も変化する。算出された3個のドットの位置をQ1、Q2、Q3として、
【0114】
【数6】
を最小にする球の姿勢を求め、これを立体511の姿勢とする。ただし、
【0115】
【外1】
はそれぞれP1とQ1、P2とQ2、P3とQ3の距離である。
5.算出された3通りの姿勢の全てについて、図67および図68で説明した方法等により、文字の部分を切り出したテンプレートを3個作成する。ドットと文字との位置関係は既知であり、この関係から補正画像上での文字の位置(重心位置)を求めることができるため、この位置を基準として、これら3個のテンプレートを用いたパターンマッチング処理を逐次行う。得られた各テンプレートと補正画像とのマッチングの程度を比較し、最も評価の高いテンプレートに対応する姿勢を選択し、これを立体511の正確な姿勢とする(ステップ535)。
【0116】
〔第8の実施形態〕
図70は、立体511の球面上に設けられる図形の例である。球面に内接する正二十面体の2個の頂点が該球面と接する点の位置に互いに異なる図形が、該正二十面体の中心と該正二十面体の面の重心とを結ぶ直線が該球面と交わる点の位置に4個のドットが、それぞれ設けられている。これらのドットは、第2の実施形態と同様、撮像画像上で識別可能な最小のサイズとすることが望ましい。図78(a)において図形は「O」と「ハ」に似た図形であり、図70(b)において図形は、「コ」と「ハ」に似た図形である。なお、図では平面的に示してある。
【0117】
本実施形態の立体においても、第2の実施形態と同様の装置により3次元位置・姿勢を検出することができる。本実施形態によれば、文字の代わりに単純な図形を用いているため、さらなる計算コストの低減、処理の高速化が図れる。
【0118】
なお、第7および第8の実施形態においても、立体511として、内部に赤外線光源を備えた半透明の立体を用い、カメラ512として、赤外線通過フィルタを備える等の方法により赤外線像を撮像可能なカメラを用いてもよい。こうすることにより、撮像画像上で立体511の部位を切り出す際に、環境光の影響を少なくし、立体511の輪郭を鮮明にすることができる。
【0119】
また、第7および第8の実施形態では、立体211の球面に内接する正多面体もしくは準正多面体の頂点の位置に3ないし4個の同じサイズのドットを設け、該多面体の中心と該多面体の面の重心とを結ぶ直線が球面と交わる点の位置に1ないし2個の互いに異なる図形を設けた例、および、ドットと互いに異なる図形との位置関係をこれとは逆にした例を示した。しかし、これらのドットの代わりに円など他の回転対称図形を用いてもよく、また、これら回転対称図形のサイズは必ずしも全て同じでなくてもよく、個数は5個以上であっても、画像上に撮像されていれば2個だけであってもよい。さらに、回転対称図形と互いに異なる図形との位置関係は、既知であれば、必ずしも上記実施形態で示した関係でなくてもよい。
【0120】
なお、以上説明した3次元位置、姿勢、状態入力方法は専用のハードウェアにより実現されるもの以外に、以上説明した方法を実行するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、CD−ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【0121】
【発明の効果】
以上説明したように、本発明によれば、下記の効果がある。
1.立体の3次元姿勢および状態を少ない計算コストで検出・入力することができ、3次元マウスとして応用できる。
2.立体が球または円板の場合には、立体の3次元位置をも少ない計算コストで検出・入力することができる。
【図面の簡単な説明】
【図1】本発明の3次元装置入力用状態指定機能付立体の第1の例を示す図である。
【図2】本発明の3次元装置入力用状態指定機能付立体の第2の例を示す図である。
【図3】本発明の3次元装置入力用状態指定機能付立体の第3の例を示す図である。
【図4】本発明の3次元装置入力用状態指定機能付立体の第4の例を示す図である。
【図5】本発明の3次元装置入力用状態指定機能付立体の第5の例を示す図である。
【図6】本発明の3次元装置入力用状態指定機能付立体の第6の例を示す図である。
【図7】本発明の3次元装置入力用状態指定機能付立体の第7の例を示す図である。
【図8】本発明の3次元装置入力用状態指定機能付立体の第8の例を示す図である。
【図9】本発明の3次元装置入力用状態指定機能付立体の第9の例を示す図である。
【図10】球外面の反射率のスペクトル分布と内部光源および塗装面のスペクトル分布を示す図である。
【図11】本発明の3次元装置入力用状態指定機能付立体の第10の例を示す図である。
【図12】本発明の3次元装置入力用状態指定機能付立体の第11の例を示す図である。
【図13】システムの概要を示す図である。
【図14】球の画像と姿勢を表すクオータニオンとを関連づける姿勢検出用テンプレートを示す図である。
【図15】球の画像の孔付近における画像信号パターンを説明するための図である。
【図16】発光輝度の連続的な制御により連続値の指定を可能にする方法を説明するための図である。
【図17】時系列的な発光パターンと多値の指定を示す図である。
【図18】本発明の3次元姿勢検出用立体の第12の例と第1の実施形態の3次元姿勢入力装置のブロック図である。
【図19】立体21の例と、立体21の表面上の図形の配置を説明するための図である。
【図20】図形のテンプレート画像の計算機による作成方法を説明するための図である。
【図21】仮想平面SV上の図形をXY平面に投影して得られた仮想カメラCVの画像を示す図である。
【図22】作成されたテンプレート画像群が配置されたテーブルを示す図である。
【図23】楕円体の軸Lと実空間における姿勢と極Pの撮像画像上における位置の関係を説明するための図である。
【図24】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図25】第1の実施形態における、立体21の姿勢を求める手順を示すフローチャートである。
【図26】本発明の3次元装置入力用状態指定機能付立体の第13の例を示す図である。
【図27】本発明の3次元装置入力用状態指定機能付立体の第14の例を示す図である。
【図28】本発明の3次元装置入力用状態指定機能付立体の第15の例を示す図である。
【図29】本発明の3次元装置入力用状態指定機能付立体の第16の例を示す図である。
【図30】本発明の3次元装置入力用状態指定機能付立体の第17の例の表面上の図形の配置を説明するための図である。
【図31】立体21に描かれた各ドットの3次元的な位置関係を説明するための図である。
【図32】大きいドット、小さいドットを検出するためのテンプレート画像を示す図である。
【図33】互いに異なる3種類の図形を検出するためのテンプレート画像群が配置されたテーブルを示す図である。
【図34】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図35】第2の実施形態の3次元姿勢入力装置における立体21の姿勢を求める手順を示すフローチャートである。
【図36】立体21の第18の例の表面上の図形の配置を説明するための図である。
【図37】ドットを検出するためのテンプレート画像を示す図である。
【図38】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図39】第3の実施形態の3次元姿勢入力装置における立体21の姿勢を求める手順を示すフローチャートである。
【図40】本発明の3次元装置入力用状態指定機能付立体の第19の例を示す図である。
【図41】円を検出するためのテンプレート画像を示す図である。
【図42】本発明の3次元装置入力用状態指定機能付立体の第20の例を示す図である。
【図43】本発明の3次元装置入力用状態指定機能付立体の第21の例を示す図である。
【図44】本発明の3次元装置入力用状態指定機能付立体の第22の例の表面上の図形の配置を説明するための図である。
【図45】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図46】第4の実施形態の3次元姿勢入力装置における立体21の姿勢を求める手順を示すフローチャートである。
【図47】本発明の第5の実施形態の3次元姿勢入力装置の構成を示す図である。
【図48】本発明の3次元装置入力用状態指定機能付立体101の第23の例を示す図である。
【図49】図48に示す立体101における主要部101と回転対称図形121、131との位置関係を示す図である。
【図50】カメラ102のレンズの光学中心Cを原点とし、レンズの光軸をZ軸とする、カメラ102を基準とした実空間での座標系において、立体101が置かれている様子を示す図である。
【図51】ドット状の図形を検出するためのテンプレート画像を示す図である。
【図52】立体101の撮像画像(同図(a))と、撮像画像における立体101の主要部201の輪郭および各ドット状の図形の検出結果を示す図である。
【図53】撮像画像上でのドット上の図形の位置と実空間での座標系におけるドット状の図形221、231との幾何的関係を示す図である。
【図54】図48に示す立体101の3次元位置および姿勢を求める手順を示すフローチャートである。
【図55】図48に示す立体101の第2の例を示す図である。
【図56】図55に示す立体101の3次元位置および姿勢を求める手順を示すフローチャートである。
【図57】立体101の第3の例を示す図である。
【図58】立体1の第4の例を示す図である。
【図59】立体101の第5の例を示す図である。
【図60】本発明の第7の実施形態の3次元姿勢入力装置の構成図である。
【図61】図60中のカメラ212で得られた画像(同図(a))、3次元姿勢入力装置で得られる画像(同図(b)(c))を示す図である。
【図62】立体211の例を示す図である。
【図63】カメラ212を基準とする実空間での座標系において立体211が置かれている様子を示す図である。
【図64】立体211を撮像した画像を示す図である。
【図65】撮像画像上でのドットの位置Pと実空間でのドット位置pとの幾何学的関係を示す図である。
【図66】撮像画像上で検出された3個のドットの位置と、これらドットの位置により作成された3枚の文字用テンプレートを示す図である。
【図67】計算機を用いた、図形テンプレートの作成方法を説明するための図である。
【図68】計算機で算出された、仮想カメラの画像を示す図である。
【図69】第7の実施形態における、立体211の位置・姿勢を算出する処理を示すフローチャートである。
【図70】立体211の球面上に設けられる図形の例を示す図である。
【符号の説明】
1 球
1a,1b,1c 孔
2 電源
2a スイッチ
2b 液晶コントローラ
3a 青色LED
3b 緑色LED
3c 拡散板
4 光源ユニット
4a ボディ
4b 拡散面
4c 青色LED
5 信号ユニット
5a ハウジング
5b ピストン
5c スプリング
5d 端面
6 ワイヤー
7 スライダー
8 カラー液晶
9 光ファイバー
9a 拡散面
10 支持体
10a 貫通穴
11 支持棒
11a レバー
11b 笠状パレット
12 円板
12a 円板部
12b 筒状体
12c 拡散板
13 カラーカメラ
21 3次元姿勢入力用立体
22 カメラ
23 3次元姿勢入力装置
31 軸姿勢算出部
32 立体姿勢算出部
33 状態検出部
41〜48,51〜63,71〜76,81〜87 ステップ
101 3次元位置・姿勢入力用立体
102 カメラ
103 3次元位置・姿勢検出装置
104 楕円211sに対応する円の中心
105 円を含む平面
106 中心104の球
107 図形221の実空間の位置
108 位置131sとレンズ中心Cとを結ぶ直線と平面105の交点
131 位置算出部
132 図形検出部
133 姿勢算出部
134 状態検出部
201,202,203 主要部
211 縁
221,222,223 第1の回転対称図形
231,232,233 第2の回転対称図形
211s 縁111にフィットされて得られた輪郭を表わす円
221s 検出されたドット状の円板221の位置
231s 検出されたドット状の円板231の位置
301〜308,401〜408 ステップ
511 立体
512 カメラ
513 3次元位置・姿勢検出装置
513a 位置算出部
513b 姿勢算出部
513c 状態検出部
514 輪郭
531〜636 ステップ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional posture input solid and a three-dimensional posture input method and apparatus.
[0002]
[Prior art]
As a technique that can be applied as a three-dimensional mouse,
[0003]
[Patent Document 1]
Japanese Patent No. 3299441
[0004]
[Problems to be solved by the invention]
However, in the technique of
[0005]
An object of the present invention is to provide a solid with a three-dimensional posture input state designation function capable of inputting a state together with the three-dimensional posture of the solid.
[0006]
Another object of the present invention is to provide a method, an apparatus, a program, and a recording medium for inputting a three-dimensional posture and state of an object using the three-dimensional posture input state specifying function-added solid.
[0007]
[Means for Solving the Problems]
The present invention is a system for photographing a solid whose figure is drawn on the surface and whose posture changes, and measuring the posture in the space of the solid from the outline of the solid on the image and the appearance pattern of the figure. After providing the light emission part of the spectral distribution S1 on the three-dimensional image, the image of the filter F2 of the spectral distribution S2 different from the filters F1 and S1 of the spectral distribution S1 is taken, the posture is measured using the image of the filter F2, On the other hand, the state (mode) designation is input by examining the light emission or color state of the light emission or color change part based on the luminance distribution in the vicinity of the light emission or color change part in the image by the filter F1.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0009]
FIGS. 1-12 image | photograph the ball | bowl with the position and attitude | position which the dot was provided in the surface, and measure the position and attitude | position in the space of the ball | bowl from the outline and the appearance pattern of a dot on an image. It is a figure which shows the solid with a state designation | designated function for 3D attitude | position input which the click function which is a kind of state (mode) designation | designated function implement | achieves in a system.
[0010]
FIG. 1 shows a first example of a solid with a state designating function for three-dimensional posture input according to the present invention, and shows a posture input ball with an indirect illumination click function. The
[0011]
FIG. 2 shows a second example of a solid with a state designation function for 3D posture input according to the present invention, and shows a posture input ball with an indirect illumination click function. The
[0012]
FIG. 3 shows a third example of a solid with a state designation function for three-dimensional posture input according to the present invention, and shows a ball for a position / posture input device with a direct illumination click function. A light source unit 4 having a transparent diffusing surface 4b with a transparent diffusing surface 4b and a built-in blue LED 4c is disposed in the
[0013]
FIG. 4 shows a fourth example of a three-dimensional posture input state specifying function solid according to the present invention, and shows a posture input ball with a mechanical click function. The
[0014]
FIG. 5 shows a fifth example of the three-dimensional posture input state specifying function solid according to the present invention, and shows a color liquid crystal type click input posture sphere with a click function. A
[0015]
FIG. 6 shows a sixth example of a solid with a state designation function for three-dimensional posture input according to the present invention, and shows a posture input ball with a mechanical click function. End portions of the optical fiber 9 having a
[0016]
FIG. 7 shows a seventh example of a solid with a state designation function for three-dimensional posture input according to the present invention, and shows a posture input disc with a direct illumination type click function. A
[0017]
FIG. 8 shows an eighth example of a solid with a state designation function for three-dimensional posture input, and shows a position / posture input device disc with a mechanical click function. This example operates on the same principle as the
[0018]
FIG. 9 shows a ninth example of a solid with a state designation function for three-dimensional posture input, and shows a disk for an input device with a color liquid crystal type click function. This example operates on the same principle as the
[0019]
FIG. 10 shows the spectral distribution of the reflectance of the outer surface of the sphere and the spectral distribution of the internal light source and the painted surface. The light source is a blue light emitting diode, the painted surface is blue, and the outer surface of the sphere shows the luminance and reflectance when painted in red.
[0020]
FIG. 11 shows a tenth example of the three-dimensional posture input state specifying function-added solid, and shows an example of the click function-added position / posture input device solid. The
[0021]
FIG. 12 shows an eleventh example of the three-dimensional posture input state specifying function-added solid, and shows another example of the position / posture input solid with click function. The example of FIG. 12A is a cube and has four holes. The example of FIG. 12 (b) is a sphere, where the slanted bar portion of the letter A is painted, and the horizontal bar portion of the letter A is a hole.
[0022]
FIG. 13 is an overview of the system. Both the center position of the solid 1 and the position of the
[0023]
FIG. 14 shows a posture detection template that associates an image of the
[0024]
FIG. 15 is a diagram for explaining an image signal pattern in the vicinity of a hole in a sphere image. A blue channel image and a red channel image separated from the camera image signal are displayed for each of when the internal light source is turned on and when it is turned off. In the blue channel image, the hole area has a higher luminance than the spherical surface area when the internal light source is turned on, and is lower when the internal light source is turned off. In the red channel image, the brightness of the hole region is lower than that of the spherical surface region regardless of whether the internal light source is turned on or off. Therefore, if the position of the hole is detected in the red channel image and the on / off state of the internal light source is detected by comparing the brightness of the hole area and the spherical surface area in the blue channel image, the click function is realized. can do.
[0025]
FIG. 16 is a diagram for explaining a method of enabling specification of a continuous value by continuous control of light emission luminance. 15 differs from the case of FIG. 15 in that the luminance of the hole region is measured as an absolute value in the blue channel image, and a continuous value is designated by this absolute value.
[0026]
FIG. 17 is a diagram for explaining a method of enabling multi-value designation by controlling the light emission pattern in time series. With the 256 types of light emission patterns, the luminance pattern of the hole area in the blue channel image is associated with a value of 0-255.
[0027]
Next, a device for inputting the three-dimensional posture and state of the three-dimensional posture input state-added three-
[0028]
[First Embodiment]
FIG. 18 is a block diagram of a twelfth example of a three-dimensional posture input state specifying function-equipped solid of the present invention and the three-dimensional posture input device of the first embodiment.
[0029]
The three-dimensional attitude detection device 23 includes an axis
[0030]
In the present embodiment, it is assumed that the position of the center of gravity of the solid 21 on the captured image is known by fixing the center of gravity C of the solid 21 at a predetermined position on the optical axis of the camera 22.
[0031]
The three-dimensional posture detection device 23 first detects the surface and the solid 21 from the image obtained by capturing the solid 21 with the camera 22 based on the position of the figure drawn on the surface of the solid 21 by the shaft
[0032]
Hereinafter, in the present embodiment, as a twelfth example of the three-dimensional posture input state specifying function solid 21, a known ellipsoid having one non-rotationally symmetric figure drawn on the surface is used. A method of inputting 21 postures and states will be described.
[0033]
FIG. 19A is an example of the solid 21, and FIG. 19B is a diagram for explaining the arrangement of figures on the surface of the solid 21. In FIG. 19B, L is the axis of the ellipsoid, and P is the point where the surface of the ellipsoid and the axis L intersect, that is, the ellipsoid pole. The non-rotationally symmetric figure (in this example, the letter “A”) is drawn on the surface of the ellipsoid so that the center of gravity G coincides with the position of the pole P as shown in FIG.
[0034]
20 and 21 are diagrams for explaining a method of creating a graphic template image by a computer.
[0035]
In FIG. 20, C V Is a virtual camera located at infinity, O is the origin of the virtual space in the computer, X is a horizontal axis, Y is a vertical axis, and Z is a virtual camera C V Optical axis of S V Is a virtual plane on which a figure (the letter “A” in this example) is placed, and G is a virtual plane S V It is the upper point and the center of gravity of the figure. Virtual plane S V Is perpendicular to the line segment OG, and the distance OG is equal to the major radius of the virtual ellipsoid. The point G is on the YZ plane, and the angle between the line segment OG and the axis Z is θ 1 And Here, the virtual plane S V If the intersecting line between Y and the YZ plane is T, the straight line T passes through the point G and is perpendicular to the line segment OG. Therefore, the virtual plane S V Is expressed as an angle with reference to the straight line T when θ is rotated about the line segment OG. 2 And For the sake of explanation, FIG. 20 shows only the outline of the figure.
[0036]
FIG. 21 shows a virtual plane S V A virtual camera C obtained by projecting the above figure (in this example, the letter “A”) onto the XY plane V It is an image. G T Is the position of the center of gravity G on the image. The template image is the virtual camera C V Image, including graphics, and G T A partial image cut out in a rectangular area centered at is subjected to blurring processing using a Gaussian filter or the like.
[0037]
FIG. 22 is a table in which created template image groups are arranged. Virtual space S shown in FIG. V At an angle θ 1 For example, in steps of 1 degree from 0 degree to 90 degrees, the angle θ 2 For example, in steps of 1 degree from 0 degree to 359 degrees, these angles θ 1 , Θ 2 Virtual camera C for all combinations of V Are calculated, template images corresponding to the images are created, and arranged in a table.
[0038]
FIG. 23 is a diagram for explaining the relationship between the posture of the ellipsoidal axis L in the real space and the position of the pole P on the captured image. FIG. 23A is a perspective view of an ellipsoid, and FIG. 23B is an image obtained by photographing the ellipsoid with the camera 22. In FIG. 23A, C is the center of the ellipsoid, X is the horizontal axis, Y is the vertical axis, Z is the optical axis of the camera 22, and B 1 Is the angle between the plane containing the pole P and the axis Z and the axis Y, B 2 Is the angle between the axis L and the axis Z, and D is the distance between the pole P and the axis Z. In FIG. 23B, C S Is the position on the captured image of the center C of the ellipsoid, P S Is the position of the pole P on the captured image, B 1 Is straight line C S P S The angle that D makes clockwise from the vertical direction, D S Is C S And P S Is the distance between. P S Let (u, v) be the coordinates on the captured image and (x, y, z) be the coordinates of P in real space. Here, the center of gravity C of the ellipsoid on the captured image S Is known, so this is the origin on the captured image, and the imaging magnification of the camera is α,
u = αx, v = αy, D S = ΑD
The relationship is established. Where the distance between points C and P in real space is D CP Then, the following relationship holds.
[0039]
[Expression 1]
[0040]
These relationships are expressed as D CP That is, if the distance between C and the target point P in the real space is known, the relationship between the target point P and the posture of the straight line CP even if the target point P is an arbitrary point other than the pole of the ellipsoid. It is established as.
[0041]
FIG. 24 shows a partial image obtained by cutting out an ellipsoidal part from the captured image. FIG. 24A is a grayscale image, and FIG. 24B is an image obtained by binarizing the image. For the sake of explanation, FIG. 24B shows the figure only by its outline. In FIG. 24B, P S Is the position of the pole P on the captured image, which coincides with the center of gravity of the figure on the captured image.
[0042]
FIG. 25 is a flowchart showing a procedure for inputting the posture and state of the solid 21.
1. The center of gravity of the figure is obtained from the binarized image (FIG. 24B), and the position is set to P S (Step 41).
2. Using equation (1), the attitude of the axis L, that is, the angle B 1 And B 2 Is obtained (step 42).
Angle B obtained in 3.2 2 Is the angle θ of the table shown in FIG. 1 A column of template images to be used for matching processing is selected from the column (step 43).
4). The captured image (FIG. 24A) is represented by C S Around the angle -B 1 A grayscale image that has been rotated only by this amount is obtained (step 44).
Matching processing by a normalized correlation method or the like between all template images (360 in the example of FIG. 22) included in the column determined in 5.3 and the grayscale image obtained in 4 is performed at point P. S Are sequentially performed in the vicinity of the point after the rotation (step 45).
A template image having the maximum matching degree (score) obtained in 6.5 is found, and an angle θ corresponding to the template image is found. 2 , And this is an angle B representing the orientation of the solid body 21 around the axis L in the rotational direction. 3 (Step 46).
7). The angle B obtained by the above 1 , B 2 And B 3 Is the posture of the solid 21 (step 47).
8). Finally, the designated state of the solid 21 is detected based on at least one of color information and luminance information at the position of the hole in the captured image (step 48).
[0043]
FIG. 26 shows a regular quadrangular trapezoidal cone with one non-rotationally symmetric figure drawn on the surface as a thirteenth example of the solid 21 in which the posture and state can be input in the same procedure as described above. FIG. 26A is an example of the solid 21 and FIG. 26B is a diagram for explaining the arrangement of figures on the surface of the solid 21. In FIG. 26B, L is the axis of the regular square trapezoidal cone, and P is the point where the surface of the regular square trapezoidal cone and the axis L intersect. The non-rotationally symmetric figure (in this example, the letter “A”) is drawn on the surface of the regular quadrangular trapezoidal cone so that the center of gravity G coincides with the position P as shown in FIG.
[0044]
FIG. 27 shows a shell of a regular quadrangular trapezoidal cone with one non-rotationally symmetric figure drawn on the surface as a fourteenth example of the solid 21 in which the posture and state can be input in the same procedure as described above. . FIG. 27A is an example of the solid 21, and FIG. 27B is a diagram for explaining the arrangement of figures on the surface of the solid 21. In FIG. 27 (b), L is the axis of the regular quadrangular trapezoidal shell, and P is the point where the surface of the regular quadrangular trapezoidal shell and the axis L intersect. The non-rotationally symmetric figure (in this example, the letter “A”) is drawn on the surface of the regular quadrangular trapezoidal cone-shaped body so that the center of gravity G coincides with the position P as shown in FIG. .
[0045]
FIG. 28 shows a quasi-regular polyhedron in which one non-rotationally symmetric figure is drawn on the surface as a fifteenth example of the solid 21 whose posture can be detected by the same procedure as described above. As shown in FIG. 28, the non-rotationally symmetric figure (the letter “A” in this example) is drawn on the surface of the quasi-regular polyhedron so that the center of gravity G coincides with the position of the centroid of one surface of the quasi-regular polyhedron. Yes.
[0046]
FIG. 29 shows a regular polyhedron in which one non-rotationally symmetric figure is drawn on the surface as a sixteenth example of the solid 21 whose posture can be detected by the same procedure as described above. As shown in FIG. 29, the non-rotationally symmetric figure (character “A” in this example) is drawn on the surface of the regular polyhedron such that the center of gravity G coincides with the position of the center of gravity of one surface of the regular polyhedron.
[0047]
[Second Embodiment]
In the present embodiment, as a seventeenth example of the three-dimensional posture detecting solid 21, a known ellipsoid in which four rotationally symmetric figures of two different sizes and three non-rotary symmetric figures are drawn on the surface is used. A method for obtaining the posture of the solid 21 from the captured image will be described.
[0048]
FIG. 30 is a diagram for explaining the arrangement of figures on the surface of the solid 21. In order to make it easy to understand, in FIG. 30, the figure on the ellipsoidal surface is represented in a plane. FIG. 30A is a top view, and FIG. 30B is a side view. A large dot at the position of the ellipsoid pole P is a rotationally symmetric position Q about the pole P. 1 , Q 2 , Q 3 Small dots are drawn on each. Q 1 , Q 2 , Q 3 The dots drawn in P and Q, with the direction from each dot drawn in P to the dot drawn in P as a reference for posture 1 , Q 2 , Q 3 Three different figures are drawn at the midpoints of the three dots drawn in FIG.
[0049]
FIG. 31 is a diagram for explaining the three-dimensional positional relationship between the dots drawn on the solid 21. In FIG. 31A, P is an ellipsoidal pole and is the position of a large dot. Q i (I = 1, 2, 3) is the position of each small dot, C is the center of gravity of the ellipsoid, D PQ Is P and Q in real space i Distance between, D QQ Q in real space i And Q j Distance between, D CQ Is C and Q in real space i Is the distance between. In FIG. 33 (b), M i Are points P and Q i And a point on the plane including C, and the line segment PQ i Is the point where the perpendicular bisector intersects the surface of the ellipsoid.
[0050]
FIGS. 32A and 32B are template images for detecting large dots and small dots, respectively, and are actually created by performing blurring processing using a Gaussian filter or the like.
[0051]
FIG. 33 is a table in which template image groups for detecting three different types of graphics are arranged. Each template image is created by the method described in the first embodiment.
[0052]
FIG. 34 shows a partial image obtained by cutting out an ellipsoidal part from the captured image. FIG. 34 (a) is a grayscale image, and FIG. 34 (b) is a diagram for explaining a procedure for obtaining an ellipsoidal posture. For the sake of explanation, in FIG. 34 (b), each dot is shown only by its outline. In FIG. 34 (b), P S Is the position of the pole P on the captured image, which corresponds to the position of the large dot on the captured image. Q Si (I = 1, 2, 3) is Q i Position on the captured image, M Si Is M i The position on the captured image.
[0053]
FIG. 35 is a flowchart showing a procedure for obtaining the posture of the solid 21.
1. A matching process using a normalized correlation method or the like between the template image (FIG. 32A) and the grayscale image (FIG. 32A) for detecting a large dot is performed, and the captured image with the maximum matching score is displayed. Find the position of the large dot and set the position to P S (Step 51).
2. Matching processing by a normalized correlation method or the like between the template image (FIG. 32 (b)) and the grayscale image (FIG. 34 (a)) for detecting small dots is performed on the captured image that maximizes the matching score. Small dot position Q Si Is obtained (step 52).
P found in 3.1 S From Equation (1) and Equation (2), the attitude of the axis L, that is, the angle B 1 , B 2 And the position of the point P in the real space is obtained (step 53).
Q found in 4.2 Si From equation (1) and equation (2), straight line CQ i Posture or angle B Qi1 , B Qi2 And point Q i Is obtained in real space (step 54). However, in Formula (1) and Formula (2), D CP Instead of D CQ Will be used.
5). Point P and point Q i From the position in the real space, using the relationship of FIG. i Position and straight line CM i Posture or angle B Mi1 And B Mi2 Is obtained (step 55).
6). Using equation (2), the point M i Position M on the captured image Si Is obtained (step 56). However, in Formula (2), D CP Instead of C and M i The distance between them will be used.
Angle B obtained at 7.5 Mi2 Is the angle θ of the table shown in FIG. 1 A column of three types of template images to be selected from the column and used for matching processing is determined (step 57).
8). The captured image (FIG. 32 (a)) is represented by C. S Angle -B around Mi1 A grayscale image that has been rotated only by this amount is obtained (step 58).
Matching processing using a normalized correlation method or the like between all three types of template images (1080 in the example of FIG. 31) included in the column determined in 9.7 and the grayscale image obtained in 8 is performed at point M. Si Are sequentially performed in the vicinity of the point after rotation (step 59).
Find the template image that maximizes the degree of matching (score) obtained in 10.9, and specify which of the three types of the target graphic is the target small dot Q i Is Q 1 , Q 2 , Q 3 (Step 60).
11. Q identified i Based on the angle B representing the orientation in the rotational direction around the axis L of the solid 21 3 Is calculated. That is, the identified Q i The angle around axis Z -B 1 Only an angle -B around axis X 2 The declination around the axis Z of the point rotated only by 3 (Step 61).
12 The angle B obtained by the above 1 , B 2 And B 3 Is the posture of the solid 21 (step 62).
13. Finally, the designated state of the solid 21 is detected based on at least one of the color information and the luminance information at the position of the hole in the captured image (step 63).
[0054]
[Third Embodiment]
In the present embodiment, as an eighteenth example of the three-dimensional posture detection solid 21, a known ellipsoid having four rotationally symmetric figures and three non-rotationally symmetric figures of the same size drawn on the surface is used. A method for obtaining the posture of the solid 21 from the captured image will be described. The second embodiment is different from the second embodiment only in the method of discriminating between the dot drawn at the position of the ellipsoid pole P and the dots drawn around it, and only this discrimination method will be described.
[0055]
FIG. 36 is a diagram for explaining the arrangement of figures on the surface of the solid 21. For easy understanding, in FIG. 36, the figure on the ellipsoidal surface is represented in a plane. FIG. 36A is a top view, and FIG. 36B is a side view. Position of ellipsoid pole P and rotationally symmetric position Q about pole P 1 , Q 2 , Q 3 Are all drawn with the same size dot. Q 1 , Q 2 , Q 3 Using the direction from each dot drawn in P to the dot drawn in P as a reference for posture, the dot drawn in P and Q 1 , Q 2 , Q 3 Three different figures are drawn at the midpoints of the three dots drawn in FIG. Furthermore, it is assumed that the three-dimensional positional relationship between the dots drawn on the solid 21 is the same as that in FIG. However, in this embodiment, D PQ And D QQ The position of each dot is set so that is sufficiently different.
[0056]
FIG. 37 shows a template image for detecting dots, which is actually created by performing a blurring process using a Gaussian filter or the like.
[0057]
FIG. 38 shows a partial image obtained by cutting out an ellipsoidal part from the captured image. FIG. 40A is a grayscale image, and FIG. 38B is a diagram for explaining the procedure for obtaining the ellipsoidal posture. For the sake of explanation, in FIG. 38 (b), each dot is shown only by its outline. In FIG. 38 (b), P S Is the position of the pole P on the captured image, Q Si (I = 1, 2, 3) is Q i The position on the captured image.
[0058]
FIG. 39 shows dots and Q drawn on P of the solid 21. 1 , Q 2 ,
1. Matching processing using a normalized correlation method or the like between the template image for detecting dots (FIG. 37) and the grayscale image (FIG. 38 (a)) is performed. All positions are obtained (step 71).
2. For each obtained point, the position in the real space is calculated using Expression (1) and Expression (2) (Step 72). However, in Formula (1) and Formula (2), D CP D instead of all CQ Will be used. In this embodiment, D PQ And D QQ Are sufficiently different from each other, each dot can be correctly identified even using such an approximation.
3. If the number of obtained points is two or less, the processing is stopped (step 73).
4). When the number of obtained points is three or more, the distance in the real space between the two selected points is obtained for all combinations for selecting two of these points, and this distance and the known D in the solid 21 are obtained. QQ A set in which the absolute value of the difference between the two is larger than a predetermined threshold value is selected (step 74).
5). The two points of the selected set are P 1 , P 2 , Q any other point i And P 1 And Q i The distance between them is obtained (step 75). At that time, P 1 , P 2 As the position in real space, D CP The values calculated by the equations (1) and (2) in which the distance between C and P is substituted into are used.
P found in 6.5 1 And Q i Distance between and known D in solid 21 PQ If the absolute value of the difference is smaller than a predetermined threshold, P 1 Is the dot drawn on P, otherwise P 2 Is a dot drawn on P (step 76).
[0059]
Hereinafter,
[0060]
FIG. 40 shows an ellipsoid in which a circle is drawn on the surface in place of the dots in the solid of the fourteenth example as a nineteenth example of the solid 21 whose posture can be detected in the same procedure as described above. For easy understanding, in FIG. 40, the figure on the ellipsoidal surface is represented in a plane. 40A is a top view, and FIG. 40B is a side view. Position of ellipsoid pole P and rotationally symmetric position Q about pole P 1 , Q 2 , Q 3 Are all drawn the same size circle. Q 1 , Q 2 , Q 3 The direction drawn from each circle drawn in P to the circle drawn in P is the posture reference, and the circle drawn in P and Q 1 , Q 2 , Q 3 Three different figures are drawn at the respective midpoints of the three circles drawn in (1). Furthermore, it is assumed that the three-dimensional positional relationship between the circles drawn on the solid 21 is the same as in FIG. However, D PQ And D QQ The position of each circle is set so that and are sufficiently different.
[0061]
FIG. 41 shows a template image for detecting a circle, which is actually created by performing a blurring process using a Gaussian filter or the like.
[0062]
As a twentieth example of the solid 21 whose posture can be detected in the same procedure as described above in FIG. 42, four rotationally symmetric figures and three non-rotary symmetric figures of the same size are drawn on the surface. A regular hexagonal trapezoidal cone is shown. In order to make it easy to understand, in FIG. 42, the figure on the regular hexagonal trapezoidal cone surface is represented in a plane. FIG. 42 (a) is a top view and FIG. 42 (b) is a side view. L is an axis of a regular hexagonal trapezoidal cone, and P is a point where the axis L intersects with the upper bottom surface. Position Q at the center of the left and right sides of every other side and at the same distance from P 1 , Q 2 , Q 3 Are all drawn with the same size dot. Q 1 , Q 2 , Q 3 The dots drawn in P and Q, with the direction from each dot drawn in P to the dot drawn in P as a reference for posture 1 , Q 2 , Q 3 Three different figures are drawn at the midpoints of the three dots drawn in FIG. However, P and Q i Distance D between PQ And Q i And Q j Distance D between QQ The position of each dot is set so that is sufficiently different.
[0063]
In FIG. 43, four rotationally symmetric figures and three non-rotationally symmetric figures of the same size are drawn on the surface as a tenth example of the solid 21 whose posture can be detected by the same procedure as described above. Indicates a paraboloid. In order to make it easy to understand, in FIG. 43, the figure on the surface of the paraboloid is expressed planarly. 43A is a top view, and FIG. 43B is a side view. L is the axis of the paraboloid, and P is the point where the axis L and the surface of the paraboloid intersect, that is, the pole of the paraboloid. The position of the paraboloid pole P and the rotationally symmetric position Q about the pole P 1 , Q 2 , Q 3 Are all drawn with the same size dot. Q 1 , Q 2 , Q 3 The dots drawn in P and Q, with the direction from each dot drawn in P to the dot drawn in P as a reference for posture 1 , Q 2 , Q 3 Three different figures are drawn at the midpoints of the three dots drawn in FIG. However, P and Q i Distance D between PQ And Q i And Q j Distance D between QQ The position of each dot is set so that is sufficiently different.
[0064]
[Fourth Embodiment]
In the present embodiment, as a twenty-second example of the three-dimensional posture detection solid 21, a known ellipsoid having four rotationally symmetric figures of the same size and different colors drawn on the surface is used. A method for obtaining the posture of the solid 21 from the image will be described.
[0065]
FIG. 44 is a diagram for explaining the arrangement of figures on the surface of the solid 21. For easy understanding, the figure on the ellipsoidal surface is represented in a planar manner in FIG. FIG. 46A is a top view and FIG. 44B is a side view. A black dot at the position of the pole P of the ellipsoid is a rotationally symmetric position Q about the pole P. 1 , Q 2 , Q 3 Each has red, green and blue dots. Further, the three-dimensional positional relationship between the dots drawn on the solid 21 is the same as that shown in FIG. Further, a template image for detecting dots is the same as that shown in FIG.
[0066]
FIG. 45 shows a partial image obtained by cutting out an ellipsoidal part from the captured image. FIG. 45A is a gray image, and FIG. 45B is a color image. P S Is the position of the pole P on the captured image, Q Si (I = 1, 2, 3) is Q i The position on the captured image.
[0067]
FIG. 46 is a flowchart showing a procedure for obtaining the posture and state of the solid 21.
1. Matching processing using a normalized correlation method or the like between the template image for detecting dots (FIG. 37) and the grayscale image (FIG. 45 (a)) is performed. All positions are obtained (step 81).
2. Each dot is discriminated from the color information of the obtained color image (FIG. 45B) at each point (step 82).
P determined in 3.2 S From equation (1), the attitude of the axis L, that is, the angle B 1 And B 2 Is obtained (step 83).
4). Q i (Q 1 , Q 2 , Q 3 With respect to one dot drawn in any one of (1), the position in the real space is obtained using the equations (1) and (2) (step 84). However, in Formula (1) and Formula (2), D CP Instead of D CQ Will be used.
Q found in 5.4 i Based on the angle B representing the orientation in the rotational direction around the axis L of the solid 21 3 Is calculated (step 85). That is, the calculated Q i The angle around axis Z -B 1 Only an angle -B around axis X 2 The declination around the axis Z of the point rotated only by 3 And
6). The angle B obtained by the above 1 , B 2 And B 3 Is the posture of the solid 21 (step 86).
7). Finally, the designated state of the solid 21 is detected based on at least one of the color information and the luminance information at the position of the hole in the captured image (step 87).
[0068]
In the method for obtaining the posture of a solid described in the above embodiment, each matching process uses a relatively small size figure that is a part of the figure drawn on the surface of the solid. A template image corresponding only to the region may be used, and the storage capacity of the template image and the calculation cost of the matching process can be reduced.
[0069]
[Fifth Embodiment]
FIG. 47 is a diagram showing a three-dimensional posture input apparatus according to the fifth embodiment of the present invention.
[0070]
The three-dimensional posture input device 103 includes a
[0071]
FIG. 48 is a diagram showing a twenty-third example of the solid 101, and FIG. 49 is a diagram showing the positional relationship of each part.
[0072]
The three-
[0073]
In the present embodiment, it is assumed that the position of the solid 101 is far from the
[0074]
In the three-dimensional position / posture detection apparatus 103, first, the
[0075]
Hereinafter, in the present embodiment, a method of obtaining the three-dimensional position and orientation of the solid 101 from the captured image using the solid 101 will be described.
[0076]
FIG. 50 illustrates a solid 101 at a position (x, y, z) in a coordinate system in real space with the optical center C of the lens of the
[0077]
FIG. 51 is a template image for detecting the dot-like figures 221 and 231 and is actually created by performing a blurring process using a Gaussian filter or the like.
[0078]
FIG. 52A is a captured image of the solid 101, and FIG. 52B is a diagram illustrating detection results of the
[0079]
[Expression 2]
[0080]
FIG. 53 is a diagram showing a geometric relationship between
[0081]
The
[0082]
First, a matrix Q represented by the following equation is created, and an eigenvalue λ of Q 1 , Λ 2 , Λ 3 , And unit eigenvectors n corresponding to these eigenvalues 1 , N 2 , N 3 Calculate Where the eigenvalue is λ 3 <0 <λ 1 ≦ λ 2 Choose to be.
[0083]
[Equation 3]
[0084]
Here, f is the distance between the uv plane in FIG. 53 and the optical center C of the lens, and κ is selected so that detQ = −1.
[0085]
Next, the eigenvalue λ of Q obtained above 1 , Λ 2 , Λ 3 , And unit eigenvector n 1 , N 2 , N 3 Is used to calculate the normal vector n of the
[0086]
[Expression 4]
[0087]
However, r is the radius of the
[0088]
Furthermore, the inverse matrix Q of Q obtained above. -1 , And a normal vector n, a position vector m starting from the optical center C of the lens is calculated by the following equation.
[0089]
[Equation 5]
[0090]
The
[0091]
FIG. 54 is a flowchart showing a procedure for obtaining the three-dimensional position and orientation of the solid 101.
1. In the captured image (FIG. 52A), an ellipse 111s fitted to the contour 111 of the
From the α, β, γ, δ, ε, and ζ determined in 2.1, the surface of the
3. Matching is performed by a normalized correlation method or the like between a template image (FIG. 51) and a captured image (FIG. 52 (a)) for detecting a dot-shaped figure, and dots on the captured image where the matching score is maximized The position of the figure is detected (step 303).
Whether each position corresponds to the rotationally symmetric figure 221 or the rotationally symmetric figure 231 is determined from the positional relationship between each of the positions detected in 4.3 and the
5). The
6). From the
The
8). Finally, the designated state of the solid 101 is detected based on at least one of the color information and the luminance information at the position of the hole in the captured image (step 308).
[0092]
[Sixth Embodiment]
In the fifth embodiment, the first and second rotation target figures 221 and 231 provided on the solid 101 are the same color, and the inclination of the solid 101 is the edge of the
[0093]
On the other hand, in the present embodiment, the first and second rotation target figures provided on the solid 101 are different from each other, and the restriction on the inclination of the solid 101 is eliminated.
[0094]
FIG. 55 shows an example of the solid 101. This solid 101 has a
[0095]
The three-dimensional position and orientation detection method in this embodiment is a procedure for determining which of the two dot-shaped figures 222 and 232 corresponds to each of the detected positions of the dot-shaped figures 222 and 232. Only the fifth embodiment is different. Therefore, the method according to this embodiment will be described with reference to FIGS. 50 to 53 as in the fifth embodiment. However, in the present embodiment, it is assumed that the captured image corresponding to FIG. 52 is a color image having color information.
[0096]
FIG. 56 is a flowchart showing a procedure for obtaining the three-dimensional position and orientation of the solid 101.
1. In the captured image (FIG. 52A), an ellipse 212s fitted to the outline of the
From the α, β, γ, δ, ε, and ζ obtained in 2.1, the surface of the
3. Matching is performed by a normalized correlation method or the like between a template image (FIG. 51) and a captured image (FIG. 52 (a)) for detecting a dot-shaped figure, and dots on the captured image where the matching score is maximized The position of the figure is detected (step 403). However, only the shading information of the captured image is used here.
It is determined from the color information of the captured image (FIG. 52A) at each of the positions detected in 4.3 whether each position corresponds to the graphic 222 or the graphic 232 (step 404). That is, if the pixel at the detected position has red color information, the position is 222 s, and if the pixel has blue color information, the position is 232 s.
5). The
6). The direction of the rotational symmetry axis of the
The
8). The designated information of the solid 101 is detected based on at least one of color information and luminance information at the position of the hole in the captured image (step 408).
[0097]
57 to 59 show other examples of the three-
[0098]
The solid body shown in FIG. 57 is composed of a
[0099]
The solid shown in FIG. 58 is a rod-like and plate-like structure in which a main part 204 that is a disk and a dot-like figure 224, 234 of the same size are drawn on a part of the surface thereof. It is composed of the body.
[0100]
The solid body shown in FIG. 59 has a cylindrical and plate-like structure in which a ring-shaped main portion 205 is supported, and dot-shaped figures 225 and 235 of the same size are drawn on a part of the surface. It is composed of the body.
[0101]
As described above, in the method for obtaining the three-dimensional position, posture, and state of the solid according to the present embodiment, since the main part of the solid is a disk or a ring, the calculation of the position and the calculation of the posture can be separated. Calculation costs can be reduced while ensuring high accuracy. Further, since a relatively small size graphic drawn on a part of a solid is used, it is sufficient to use a template image corresponding only to the area of the graphic, not the entire solid, and the storage capacity and calculation cost of the template image in the matching process Can be kept small. As a result, it is possible to greatly reduce the overall calculation cost while ensuring high accuracy.
[0102]
In the above embodiment, an example in which the two rotationally symmetric figures of the solid 101 are figures having the same size and the same shape has been described. However, by changing the template image required to detect these figures, the two rotationally symmetric figures have different sizes and different shapes (for example, dot-like figures and circular figures). However, the present invention can achieve the same effect.
[0103]
[Seventh Embodiment]
FIG. 60 is a diagram showing a three-dimensional posture input apparatus according to a twenty-seventh example of a three-dimensional posture input state designation function three-dimensional posture input device of the present invention, and FIG. 61 is a diagram showing a three-dimensional 511 image.
[0104]
The solid 511 has at least a part of its surface spherical, and the letter “A” is drawn on the spherical surface of the solid 511.
[0105]
The three-dimensional position /
[0106]
FIG. 62 shows an example of a solid 511. In this solid 511, dots of the same size are located at the points where the three vertices of a quasi-polyhedron composed of a regular pentagon and a regular hexagon inscribed in a sphere contact the sphere, and the center of the quasi-polyhedron and One character is provided at each point where a straight line connecting the center of gravity of the surface of the quasi-polyhedron intersects the spherical surface. The position of these dots can be detected with higher accuracy as the size is reduced, and the size difference from the solid 511 is increased, so that the three-dimensional posture of the solid can be calculated with high accuracy. Therefore, it is desirable that the minimum size is identifiable on the captured image.
[0107]
In FIG. 63, a solid 511 is placed at a position (x, y, z) in a coordinate system in a real space based on the
[0108]
FIG. 64 shows an image obtained by capturing the solid 511. u is the horizontal axis of the image, and v is the vertical axis of the image. In the figure,
[0109]
FIG. 65 shows the dot position P on the captured image. s It is a figure which shows the geometrical relationship with the position P of a dot in real space. In the figure, the point P is the dot position P on the captured image. s And a straight line connecting the optical center C of the lens and the spherical surface of the solid 511.
[0110]
FIG. 66 is a diagram showing the positions of three dots detected on the captured image (FIG. 66 (a)) and three character templates created by calculation based on the positions of these dots (FIG. 66). 66 (b)). Here, the posture of the sphere such that the dot is positioned in the figure is limited to three. For all of these three postures, templates are created by the following method, for example.
[0111]
67 and 68 are diagrams for explaining a method of creating a graphic template by a computer. In FIG. 67, C V Is a virtual camera located at infinity. O is the origin of the virtual space in the computer, X is the horizontal axis, Y is the vertical axis, and Z is the virtual camera C V Is the optical axis. R is a point on the axis Z, and the distance OR is equal to the radius of the phantom sphere. Line segment OG is an angle Q from line Z to line segment OR 1 Is a line segment rotated only by S V Is a virtual plane passing through G and perpendicular to the line segment OG. A straight line T passing through G is on a plane including the axis Y and the axis Z, and is perpendicular to the line segment OG. Angle Q 2 Is the virtual plane S V Is the declination from the straight line T when rotated about the line segment OG. It should be noted that the figure has a virtual plane S so that its center of gravity matches G. V Located above. For illustration purposes, only the outline is shown for the graphic.
[0112]
FIG. 68 shows a virtual plane S. V Virtual camera C obtained by projecting the graphic placed above onto the XY plane V It is an image. G T Is the position of G on the image. The template is this virtual camera C V The image contains a figure and the position G T A partial image cut out in a rectangular area centered at is subjected to blurring processing using a Gaussian filter or the like.
[0113]
FIG. 69 is a flowchart illustrating a method for detecting the state by calculating the position / posture of the solid 511 in the real space from the image obtained by capturing the solid 511 of FIG. 62 using the apparatus of FIG. It is assumed that the radius of the spherical portion of the solid 511 is known.
1. The optical distortion of the image obtained by imaging the solid 511 is corrected to obtain a corrected image (step 531).
2. In the corrected image, an ellipse that is the outline of the sphere is detected using Hough transform or the like, and the ellipse parameters (ξ, d, b) shown in FIG. 64 are calculated (step 532).
3. Since the radius of the sphere is known between the position (x, y, z) of the solid 511 shown in FIG. 63 and the parameters (ξ, d, b) of the ellipse shown in FIG. There is a one-to-one correspondence. (X, y, z) is calculated from (ξ, d, b) by solving an equation representing this correspondence using the Newton-Raphson method or the like (step 533).
4). In the corrected image, comparison is performed by pattern matching processing using a template for one dot figure, and the positions of the three dots on the image are detected independently, and the geometric relationship shown in FIG. 65 is used. The position of the three dots in the real space is calculated. Based on the calculated positions of the three dots and the position (x, y, z) of the solid 511, the attitude of the solid 511 is calculated (step 534). However, when the positions of the three dots are used, there are three postures of the obtained solid 511. Therefore, all of these three postures are calculated and set as candidates for the posture of the solid 511. The calculation method of the posture of the solid 511 is as follows. As a model of the solid 511, a sphere having three dots on the surface is considered, and the positions of the dots in the real space shown in FIG. 65 are P1, P2, and P3, respectively. Since each dot is fixed to the sphere, when the attitude of the sphere changes, the positions P1, P2, and P3 also change. The calculated positions of the three dots are Q1, Q2, and Q3.
[0114]
[Formula 6]
Is determined as a posture of the solid 511. However,
[0115]
[Outside 1]
Are distances between P1 and Q1, P2 and Q2, and P3 and Q3, respectively.
5). For all three calculated postures, three templates are created by cutting out the character portion by the method described with reference to FIGS. 67 and 68. Since the positional relationship between the dot and the character is known, the position of the character (center of gravity position) on the corrected image can be obtained from this relationship. Therefore, pattern matching using these three templates with this position as a reference. Processing is performed sequentially. The degree of matching between the obtained templates and the corrected image is compared, and the posture corresponding to the template having the highest evaluation is selected, and this is set as the accurate posture of the solid 511 (step 535).
[0116]
[Eighth Embodiment]
FIG. 70 is an example of a figure provided on the spherical surface of the solid 511. Different figures at the positions of the two vertices of the regular icosahedron inscribed in the spherical surface touch the spherical surface, and a straight line connecting the center of the regular icosahedron and the center of gravity of the surface of the regular icosahedron Four dots are respectively provided at the positions of the points that intersect the spherical surface. As in the second embodiment, it is desirable that these dots have a minimum size that can be identified on the captured image. In FIG. 78A, the graphic is a graphic similar to “O” and “C”, and in FIG. 70B, the graphic is a graphic similar to “C” and “C”. In the figure, it is shown in a plan view.
[0117]
Also in the solid according to the present embodiment, the three-dimensional position / orientation can be detected by the same device as in the second embodiment. According to this embodiment, since simple figures are used instead of characters, the calculation cost can be further reduced and the processing speed can be increased.
[0118]
In the seventh and eighth embodiments as well, it is possible to capture an infrared image by a method such as using a translucent solid body provided with an infrared light source as the
[0119]
In the seventh and eighth embodiments, 3 to 4 dots of the same size are provided at the vertex positions of a regular polyhedron or a quasi-regular polyhedron inscribed in the spherical surface of the solid 211, and the center of the polyhedron and the polyhedron of the polyhedron An example in which one or two different graphics are provided at the position where the straight line connecting the center of gravity of the surface intersects the spherical surface, and an example in which the positional relationship between the dots and the different graphics is reversed are shown. . However, other rotationally symmetric figures such as circles may be used in place of these dots, and the sizes of these rotationally symmetric figures are not necessarily the same. If two images are captured above, only two may be used. Furthermore, the positional relationship between the rotationally symmetric graphic and the graphic different from each other is not necessarily the relationship shown in the above embodiment as long as it is known.
[0120]
In addition to the above-described three-dimensional position, posture, and state input method implemented by dedicated hardware, a program for executing the above-described method is recorded on a computer-readable recording medium. The program recorded on the recording medium may be read by a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in the computer system. Furthermore, a computer-readable recording medium is a server that dynamically holds a program (transmission medium or transmission wave) for a short period of time, as in the case of transmitting a program via the Internet, and a server in that case. Some of them hold programs for a certain period of time, such as volatile memory inside computer systems.
[0121]
【The invention's effect】
As described above, the present invention has the following effects.
1. A three-dimensional posture and state of a solid can be detected and input at a low calculation cost, and can be applied as a three-dimensional mouse.
2. When the solid is a sphere or a disk, the three-dimensional position of the solid can be detected and input with a small calculation cost.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first example of a solid with a state designation function for 3D device input according to the present invention.
FIG. 2 is a diagram showing a second example of a solid with a state designation function for 3D device input according to the present invention.
FIG. 3 is a diagram illustrating a third example of a solid with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 4 is a diagram showing a fourth example of a solid with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 5 is a diagram showing a fifth example of a solid with a state designation function for inputting a three-dimensional device according to the present invention;
FIG. 6 is a diagram illustrating a sixth example of a solid with a state designation function for inputting a three-dimensional device according to the present invention;
FIG. 7 is a diagram showing a seventh example of a solid with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 8 is a diagram illustrating an eighth example of a solid with a state designation function for inputting a three-dimensional device according to the present invention;
FIG. 9 is a diagram showing a ninth example of a solid with a state designation function for inputting a three-dimensional device according to the present invention;
FIG. 10 is a diagram showing the spectral distribution of the reflectance of the outer surface of the sphere and the spectral distribution of the internal light source and the painted surface.
FIG. 11 is a diagram illustrating a tenth example of the three-dimensional device input state specifying function-added solid according to the present invention;
FIG. 12 is a diagram showing an eleventh example of the three-dimensional device input state specifying function-added solid according to the present invention;
FIG. 13 is a diagram showing an outline of a system.
FIG. 14 is a diagram showing a posture detection template for associating a sphere image with a quaternion representing a posture.
FIG. 15 is a diagram for explaining an image signal pattern in the vicinity of a hole in a sphere image;
FIG. 16 is a diagram for explaining a method of enabling specification of a continuous value by continuous control of light emission luminance.
FIG. 17 is a diagram showing a time-series light emission pattern and multi-value designation.
FIG. 18 is a block diagram of a twelfth example of a three-dimensional posture detection solid according to the present invention and a three-dimensional posture input apparatus according to the first embodiment;
FIG. 19 is a diagram for explaining an example of a solid 21 and an arrangement of figures on the surface of the solid 21;
FIG. 20 is a diagram for explaining a method of creating a graphic template image by a computer.
FIG. 21 is a virtual plane S V Virtual camera C obtained by projecting the above figure onto the XY plane V FIG.
FIG. 22 is a diagram showing a table in which created template image groups are arranged.
FIG. 23 is a diagram for explaining the relationship between an ellipsoid axis L, a posture in real space, and a position of a pole P on a captured image;
FIG. 24 is a diagram illustrating a partial image obtained by cutting out an ellipsoidal part from a captured image.
FIG. 25 is a flowchart showing a procedure for obtaining the posture of the solid in the first embodiment.
FIG. 26 is a diagram illustrating a thirteenth example of a three-dimensional device with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 27 is a diagram illustrating a fourteenth example of a three-dimensional device with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 28 is a diagram illustrating a fifteenth example of the three-dimensional device input state specifying function-added three-dimensional object according to the present invention.
FIG. 29 is a diagram illustrating a sixteenth example of a three-dimensional device with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 30 is a diagram for explaining the arrangement of figures on the surface of a seventeenth example of a three-dimensional device with state designation function for three-dimensional device input according to the present invention;
FIG. 31 is a diagram for explaining a three-dimensional positional relationship between dots drawn on a solid 21;
FIG. 32 is a diagram showing a template image for detecting large dots and small dots.
FIG. 33 is a diagram showing a table in which template image groups for detecting three different types of graphics are arranged.
FIG. 34 is a diagram illustrating a partial image obtained by cutting out an ellipsoidal part from a captured image.
FIG. 35 is a flowchart illustrating a procedure for obtaining a posture of a solid 21 in the three-dimensional posture input apparatus according to the second embodiment.
FIG. 36 is a diagram for explaining the arrangement of figures on the surface of the 18th example of the solid 21;
FIG. 37 is a diagram showing a template image for detecting dots.
FIG. 38 is a diagram illustrating a partial image obtained by cutting out an ellipsoidal part from a captured image.
FIG. 39 is a flowchart illustrating a procedure for obtaining a posture of a solid 21 in the three-dimensional posture input apparatus according to the third embodiment.
FIG. 40 is a diagram illustrating a nineteenth example of a three-dimensional device with a state specification function for inputting a three-dimensional device according to the present invention.
FIG. 41 is a diagram showing a template image for detecting a circle.
FIG. 42 is a diagram illustrating a twentieth example of a solid with a state specifying function for inputting a three-dimensional device according to the present invention.
FIG. 43 is a diagram illustrating a twenty-first example of a three-dimensional device with a state designation function for inputting a three-dimensional device according to the present invention.
FIG. 44 is a diagram for explaining the arrangement of figures on the surface of a twenty-second example of a three-dimensional apparatus with state designation function for three-dimensional device input according to the present invention;
FIG. 45 is a diagram illustrating a partial image obtained by cutting out an ellipsoidal part from a captured image.
FIG. 46 is a flowchart illustrating a procedure for obtaining the posture of the solid 21 in the three-dimensional posture input apparatus according to the fourth embodiment.
FIG. 47 is a diagram showing a configuration of a three-dimensional posture input apparatus according to a fifth embodiment of the present invention.
FIG. 48 is a diagram illustrating a twenty-third example of the three-dimensional device with state specification function-added solid 101 according to the present invention.
49 is a diagram showing a positional relationship between a
50 shows how a solid 101 is placed in a coordinate system in real space with the
FIG. 51 is a diagram showing a template image for detecting a dot-like figure.
52 is a diagram illustrating a captured image of the solid 101 (FIG. 52A) and the detection result of the outline of the
FIG. 53 is a diagram showing a geometric relationship between the position of a figure on a dot on a captured image and the dot-like figures 221 and 231 in the coordinate system in the real space.
54 is a flowchart showing a procedure for obtaining a three-dimensional position and posture of the solid 101 shown in FIG. 48. FIG.
55 is a diagram showing a second example of the solid 101 shown in FIG. 48. FIG.
FIG. 56 is a flowchart showing a procedure for obtaining a three-dimensional position and orientation of the solid 101 shown in FIG. 55;
FIG. 57 is a diagram showing a third example of the solid 101. FIG.
58 is a diagram illustrating a fourth example of the solid 1. FIG.
FIG. 59 is a diagram illustrating a fifth example of the solid 101. FIG.
FIG. 60 is a configuration diagram of a three-dimensional posture input device according to a seventh embodiment of the present invention.
61 is a diagram showing an image obtained by the
62 is a diagram illustrating an example of a solid 211. FIG.
FIG. 63 is a diagram illustrating a state in which a solid 211 is placed in a coordinate system in real space with the
FIG. 64 is a diagram illustrating an image obtained by capturing a solid 211;
FIG. 65 is a diagram showing a geometric relationship between a dot position P on a captured image and a dot position p in real space;
FIG. 66 is a diagram showing the positions of three dots detected on a captured image and three character templates created based on the positions of these dots.
FIG. 67 is a diagram for explaining a graphic template creation method using a computer;
FIG. 68 is a diagram illustrating an image of a virtual camera calculated by a computer.
FIG. 69 is a flowchart showing processing for calculating the position and orientation of a solid 211 in the seventh embodiment.
FIG. 70 is a diagram showing an example of a figure provided on the spherical surface of the solid 211;
[Explanation of symbols]
1 ball
1a, 1b, 1c hole
2 Power supply
2a switch
2b LCD controller
3a Blue LED
3b Green LED
3c diffusion plate
4 Light source unit
4a body
4b Diffusion surface
4c Blue LED
5 Signal unit
5a housing
5b Piston
5c spring
5d end face
6 wires
7 Slider
8 Color LCD
9 Optical fiber
9a Diffusion surface
10 Support
10a Through hole
11 Support rod
11a lever
11b Shade-shaped pallet
12 disc
12a Disc part
12b Tubular body
12c Diffusion plate
13 Color camera
21 Solid for 3D posture input
22 Camera
23 3D posture input device
31 axis posture calculation unit
32 Solid posture calculation unit
33 State detector
41-48, 51-63, 71-76, 81-87 steps
101 Solid for 3D position / posture input
102 camera
103 3D Position / Attitude Detection Device
104 Circle center corresponding to ellipse 211s
105 plane including circle
107 Real space position of figure 221
108 The intersection of the
131 Position calculator
132 Figure detector
133 Attitude calculation unit
134 State detection unit
201, 202, 203 Main part
211
221, 222, 223 First rotationally symmetric figure
231, 232, 233 Second rotationally symmetric figure
211s Circle representing the contour obtained by fitting to the edge 111
221s The position of the detected dot-shaped
231s The position of the detected dot-shaped
301-308, 401-408 steps
511 solid
512 camera
513 3D position / attitude detection device
513a Position calculation unit
513b Posture calculation unit
513c state detection unit
514 contour
531 to 636 steps
Claims (35)
内部には、所定のスペクトル分布で発光する点滅可能な1個の光源または互いに異なるスペクトル分布で発光する点滅可能な2個以上の光源を備え、
外表面には、前記光源で発光した光が通過する1個以上の孔を備え、
内表面が前記光源のスペクトル分布を包含するスペクトル分布の反射特性を有し、外表面が前記内部光源のスペクトル分布のいずれとも異なるスペクトル分布の反射特性を有する、
3次元姿勢入力用状態指定機能付立体。By inputting a captured image to a three-dimensional posture input device, the three-dimensional posture and state can be input,
Inside, one flashable light source that emits light with a predetermined spectral distribution or two or more flashable light sources that emit light with different spectral distributions,
The outer surface has one or more holes through which light emitted from the light source passes,
The inner surface has a spectral distribution reflection characteristic that includes the spectral distribution of the light source, and the outer surface has a spectral distribution reflection characteristic that is different from any of the spectral distributions of the inner light source.
Solid with state designation function for 3D posture input.
内部には、所定のスペクトル分布の反射特性を有する移動可能な1個の反射面または互いに異なるスペクトル分布の反射特性を有する移動可能な2個以上の反射面を備え、
外表面には、前記反射面で反射した信号が通過する1個以上の孔を備え、
外表面が前記反射面のスペクトル分布のいずれとも異なるスペクトル分布の反射特性を有する、
3次元姿勢入力用状態指定機能付立体。By inputting a captured image to a three-dimensional posture input device, the three-dimensional posture and state can be input,
Inside, a movable reflecting surface having reflection characteristics of a predetermined spectral distribution or two or more movable reflecting surfaces having reflection characteristics of different spectral distributions are provided,
The outer surface has one or more holes through which the signal reflected by the reflecting surface passes,
The outer surface has a reflection characteristic of a spectral distribution different from any of the spectral distributions of the reflective surface;
Solid with state designation function for 3D posture input.
内部には、反射特性を所定のスペクトル分布に制御可能な1個以上の反射面を備え、
外表面には、前記反射面で反射した光が通過する1個以上の孔を備え、
外表面が前記反射面のスペクトル分布のいずれとも異なるスペクトル分布の反射特性を有する、
3次元姿勢入力用状態指定機能付立体。By inputting a captured image to a three-dimensional posture input device, the three-dimensional posture and state can be input,
Inside, it has one or more reflective surfaces whose reflection characteristics can be controlled to a predetermined spectral distribution,
The outer surface has one or more holes through which the light reflected by the reflecting surface passes,
The outer surface has a reflection characteristic of a spectral distribution different from any of the spectral distributions of the reflective surface;
Solid with state designation function for 3D posture input.
請求項1から3のいずれかに記載の3次元姿勢入力用状態指定機能付立体。An outer surface of the rotationally symmetric body including at least a part that is a rotationally symmetric body and including a figure disposed at a position where the outer surface of the rotationally symmetric body and the axis of the rotationally symmetric body intersect. Have
The solid with a state designation function for inputting a three-dimensional posture according to any one of claims 1 to 3.
請求項4に記載の3次元姿勢入力装置用状態指定機能付立体。The figure arranged at the position where the outer surface of the rotationally symmetric body and the axis of the rotationally symmetric body intersect is a non-rotational symmetric figure.
The solid with a state designation function for the three-dimensional posture input device according to claim 4.
請求項4に記載の3次元姿勢入力用状態指定機能付立体。The figure that looks different depending on the posture is arranged at a rotationally symmetric figure arranged at a position where the surface of the rotationally symmetric body and the axis of the rotationally symmetric body intersect, and a point-symmetrical position around the rotationally symmetric figure. Including two or more rotationally symmetric figures,
The solid with a state designating function for three-dimensional posture input according to claim 4.
請求項6に記載の3次元姿勢入力用状態指定機能付立体。The figure different in appearance depending on the posture further includes a mutually different figure paired with the rotationally symmetric figure arranged at the point-symmetrical position, respectively.
The solid with a state designation function for inputting a three-dimensional posture according to claim 6.
請求項6に記載の3次元姿勢入力用状態指定機能付立体。The rotationally symmetric figures arranged at the point-symmetrical positions are different colors from each other.
The solid with a state designation function for inputting a three-dimensional posture according to claim 6.
請求項4から8のいずれかに記載の3次元姿勢入力用状態指定機能付立体。The rotationally symmetric body is one of an ellipsoid, a cuboid, a rotationally symmetric trapezoidal cone, a regular polyhedron, a quasi-regular polyhedron, and a shell-like body thereof.
A three-dimensional body with a state designation function for inputting a three-dimensional posture according to any one of claims 4 to 8.
外表面には、中心が前記主要部の回転対称軸上にあり、かつ前記主要部を含まない前記主要部と平行な平面上に配置された第1の回転対称図形と、
前記主要部を含む平面上で、かつ前記主要部の縁に囲まれた領域の外に配置された第2の回転対称図形を有する部材とを有する、
請求項1から3のいずれかに記載の3次元姿勢入力用状態指定機能付立体。It has a disc-shaped or ring-shaped main part,
A first rotationally symmetric figure arranged on a plane parallel to the main part, the center of which is on the rotational symmetry axis of the main part and does not include the main part;
A member having a second rotationally symmetric figure disposed on a plane including the main part and outside a region surrounded by an edge of the main part.
The solid with a state designation function for inputting a three-dimensional posture according to any one of claims 1 to 3.
請求項10に記載の3次元姿勢入力用状態指定機能付立体。The first and second rotationally symmetric figures have the same size and the same shape,
The solid with a state designation function for inputting a three-dimensional posture according to claim 10.
請求項10に記載の3次元姿勢入力用状態指定機能付立体。The first and second rotationally symmetric figures are different colors;
The solid with a state designation function for inputting a three-dimensional posture according to claim 10.
請求項1から3のいずれかに記載の3次元姿勢入力用状態指定機能付立体。At least a portion of the outer surface is a spherical surface, and has a figure on the spherical surface that looks different depending on the posture,
The solid with a state designation function for inputting a three-dimensional posture according to any one of claims 1 to 3.
請求項13に記載の3次元姿勢入力用状態指定機能付立体。The figure includes two or more rotationally symmetric figures and one or more different figures different from the rotationally symmetric figures.
The solid with a state designation function for inputting a three-dimensional posture according to claim 13.
請求項14に記載の3次元姿勢入力用状態指定機能付立体。The two or more rotationally symmetric figures are all the same.
The solid with a state designation function for inputting a three-dimensional posture according to claim 14.
前記互いに異なる図形を該多面体の中心と該多面体の面の重心とを結ぶ直線が前記球面と交わる点の位置に有する、
請求項14または15に記載の3次元姿勢入力用状態指定機能付立体。Having the rotationally symmetric figure at the position of the vertex of a regular polyhedron or a quasi-regular polyhedron inscribed in the spherical surface;
The straight line connecting the different figure to the center of the polyhedron and the center of gravity of the surface of the polyhedron is located at a point where the spherical surface intersects.
The solid with a state designating function for three-dimensional posture input according to claim 14 or 15.
前記回転対称図形を該多面体の中心と該多面体の面の重心とを結ぶ直線が前記球面と交わる点の位置に有する、
請求項14または15に記載の3次元姿勢入力用状態指定機能付立体。Having a figure different from each other at a vertex of a regular polyhedron or a quasi-regular polyhedron inscribed in the spherical surface;
The rotationally symmetric figure has a straight line connecting the center of the polyhedron and the center of gravity of the surface of the polyhedron at the point where the spherical surface intersects.
The solid with a state designating function for three-dimensional posture input according to claim 14 or 15.
前記撮像画像から前記回転対称体の外表面と該回転対称体の軸とが交わる位置を検出し、該軸の姿勢を算出する軸姿勢算出段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形のテンプレート画像群とを比較することにより前記立体の姿勢を算出する立体姿勢算出段階と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
3次元姿勢入力方法。A method for inputting a three-dimensional posture and a state of a three-dimensional posture from a three-dimensional posture-input state specifying function-added three-dimensional captured image according to any one of claims 4 to 9,
An axis orientation calculation step of detecting a position where an outer surface of the rotationally symmetric body and an axis of the rotationally symmetric body intersect from the captured image, and calculating an orientation of the axis;
A three-dimensional posture calculating step of calculating the three-dimensional posture by comparing the captured image and a template image group of the figure corresponding to various postures of the three-dimensional shape;
State detection means for detecting a specified state of the solid based on at least one of color information and luminance information at the position of the hole of the captured image;
3D posture input method.
前記立体姿勢算出段階は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する段階とを有する、
請求項18に記載の3次元姿勢入力方法。The solid is a rotationally symmetric figure arranged at a position where an outer surface of the rotationally symmetric body and an axis of the rotationally symmetric body intersect, and two or more arranged at point-symmetrical positions around the rotationally symmetric figure A rotationally symmetrical figure and a rotationally symmetrical figure arranged at the point-symmetrical position and a pair of mutually different figures,
The solid posture calculation step includes:
Calculating the three-dimensional posture candidate by comparing the captured image and a template image group of rotationally symmetric figures arranged at the point-symmetrical positions corresponding to the various postures of the solid;
Selecting the exact posture of the solid from the candidates by comparing the captured image and the template images of different figures corresponding to the various postures of the solid,
The three-dimensional posture input method according to claim 18.
前記立体姿勢算出段階は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する段階と、
前記撮像画像の前記点対称の位置に配置された回転対称図形のいずれかの位置における色情報に基づき前記候補の中から前記立体の正確な姿勢を選択する段階とを有する、
請求項18に記載の3次元姿勢入力方法。The solid is a rotationally symmetric figure arranged at a position where an outer surface of the rotationally symmetric body and an axis of the rotationally symmetric body intersect, and two or more arranged at point-symmetrical positions around the rotationally symmetric figure And rotationally symmetric figures of different colors,
The solid posture calculation step includes:
Calculating the three-dimensional posture candidate by comparing the captured image and a template image group of rotationally symmetric figures arranged at the point-symmetrical positions corresponding to the various postures of the solid;
Selecting an accurate posture of the solid from the candidates based on color information at any position of a rotationally symmetric figure arranged at the point-symmetric position of the captured image,
The three-dimensional posture input method according to claim 18.
前記撮像画像において前記主要部の輪郭を検出し、前記輪郭から前記立体の3次元位置を求める位置算出段階と、
前記撮像画像において前記第1の回転対称図形および前記第2の回転対称図形の位置を検出および判別する図形検出段階と、
前記位置算出段階で求められた前記立体の3次元位置と前記図形検出段階で検出された前記第1の回転対称図形および前記第2の回転対称図形の位置に基づき前記立体の3次元姿勢を算出する姿勢算出段階と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立方体の指定された状態を検出する状態検出段階とを有する、
3次元姿勢入力方法。A method for inputting a three-dimensional posture and a state of a three-dimensional posture from a captured image of a three-dimensional posture input state designation function according to any one of claims 10 to 12,
A position calculating step of detecting a contour of the main part in the captured image and obtaining a three-dimensional position of the solid from the contour;
A graphic detection stage for detecting and determining the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic in the captured image;
The three-dimensional posture of the solid is calculated based on the three-dimensional position of the solid obtained in the position calculating step and the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic detected in the graphic detecting step. Posture calculation stage to perform,
A state detection step of detecting a designated state of the cube based on at least one of color information and luminance information at the position of the hole of the captured image.
3D posture input method.
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第1の段階と、
前記第1の段階で検出された位置の各々と前記輪郭との位置関係から各位置が前記第1の回転対称図形および前記第2の回転対称図形のいずれに対応しているかを判別する第2の段階とを有する、
請求項21に記載の3次元姿勢入力方法。The figure detection step includes:
A first stage of detecting a position of the rotationally symmetric figure on the captured image by comparing the captured image and a template image of the rotationally symmetric figure;
Determining whether each position corresponds to the first rotationally symmetric graphic or the second rotationally symmetric graphic from the positional relationship between each of the positions detected in the first stage and the contour; And having a stage of
The three-dimensional posture input method according to claim 21.
前記図形検出段階は、
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第1の段階と、
前記第1の段階で検出された位置の各々における撮像画像の色情報から各位置が前記第1の回転対称図形および前記第2の回転対称図形のいずれに対応しているかを判別する第2の段階とを有する、
請求項21に記載の3次元姿勢入力方法。The first and second rotationally symmetric figures of the solid are different colors;
The figure detection step includes:
A first stage of detecting a position of the rotationally symmetric figure on the captured image by comparing the captured image and a template image of the rotationally symmetric figure;
Determining whether each position corresponds to the first rotationally symmetric graphic or the second rotationally symmetric graphic from the color information of the captured image at each of the positions detected in the first stage; Having a stage,
The three-dimensional posture input method according to claim 21.
前記撮像画像から前記立体の輪郭画像を得、前記輪郭画像から前記立体の3次元位置を算出する位置算出段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形の全体または部分のテンプレート画像群とを比較することにより前記立体の姿勢を算出する姿勢算出段階と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
3次元姿勢入力方法。A method for inputting a three-dimensional posture and a state of a solid from a three-dimensional captured image with a state designation function for inputting a three-dimensional posture according to any one of claims 13 to 17,
Obtaining a three-dimensional contour image from the captured image, and calculating a three-dimensional position of the solid from the contour image;
A posture calculation step of calculating the posture of the solid by comparing the captured image and a template image group of the whole or a part of the figure corresponding to various postures of the solid;
State detection means for detecting a specified state of the solid based on at least one of color information and luminance information at the position of the hole of the captured image;
3D posture input method.
前記姿勢算出段階は、
前記撮像画像と前記立体の種々の姿勢に対応する前記2個以上の回転対称図形のテンプレート画像とを比較することにより前記立体の姿勢の候補を算出する段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する段階とを有する、
請求項24に記載の3次元姿勢入力方法。The solid has two or more rotationally symmetric figures on the spherical surface and one or more different figures different from the rotationally symmetric figures,
The posture calculating step includes:
Calculating the three-dimensional posture candidates by comparing the captured image and the two or more rotationally symmetric template images corresponding to the various postures of the solid;
Selecting the exact posture of the solid from the candidates by comparing the captured image and the template images of different figures corresponding to the various postures of the solid,
The three-dimensional posture input method according to claim 24.
前記撮像画像から前記回転対称体の表面と該回転対称体の軸とが交わる位置を検出し、該軸の姿勢を算出する軸姿勢算出手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形のテンプレート画像群とを比較することにより前記立体の姿勢を算出する立体姿勢算出手段、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
3次元姿勢入力装置。A device for inputting a three-dimensional posture and a state of a three-dimensional posture by inputting a three-dimensional captured image with a state designation function for three-dimensional posture input according to any one of claims 4 to 9,
An axis attitude calculating means for detecting a position where the surface of the rotationally symmetric body and the axis of the rotationally symmetric body intersect from the captured image, and calculating an attitude of the axis;
A three-dimensional posture calculating means for calculating the three-dimensional posture by comparing the captured image and a template image group of the figure corresponding to various postures of the three-dimensional object;
State detection means for detecting a specified state of the solid based on at least one of color information and luminance information at the position of the hole of the captured image;
3D posture input device.
前記立体姿勢算出手段は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する手段とを有する、
請求項26に記載の3次元姿勢入力装置。The solid is a rotationally symmetric figure arranged at a position where an outer surface of the rotationally symmetric body and an axis of the rotationally symmetric body intersect, and two or more arranged at point-symmetrical positions around the rotationally symmetric figure A rotationally symmetrical figure and a rotationally symmetrical figure arranged at the point-symmetrical position and a pair of mutually different figures,
The solid posture calculating means includes
Means for calculating candidates for the three-dimensional posture by comparing the captured image with a template image group of rotationally symmetric figures arranged at the point-symmetrical positions corresponding to the various postures of the three-dimensional object;
Means for selecting an accurate posture of the solid from the candidates by comparing the captured image and the template images of different figures corresponding to the various postures of the solid;
The three-dimensional posture input device according to claim 26.
前記立体姿勢算出手段は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する手段と、
前記撮像画像の前記点対称の位置に配置された回転対称図形のいずれかの位置における色情報に基づき前記候補の中から前記立体の正確な姿勢を選択する手段とを有する、
請求項26に記載の3次元姿勢入力装置。The solid is a rotationally symmetric figure arranged at a position where an outer surface of the rotationally symmetric body and an axis of the rotationally symmetric body intersect, and two or more arranged at point-symmetrical positions around the rotationally symmetric figure And rotationally symmetric figures of different colors,
The solid posture calculating means includes
Means for calculating candidates for the three-dimensional posture by comparing the captured image with a template image group of rotationally symmetric figures arranged at the point-symmetrical positions corresponding to the various postures of the three-dimensional object;
Means for selecting an accurate posture of the solid from the candidates based on color information at any position of a rotationally symmetric figure arranged at the point-symmetric position of the captured image;
The three-dimensional posture input device according to claim 26.
前記撮像画像において前記主要部の輪郭を検出し、前記輪郭から前記立体の3次元位置を求める位置算出手段と、
前記撮像画像において前記第1の回転対称図形および前記第2の回転対称図形の位置を検出および判別する図形検出手段と、
前記位置算出手段で求められた前記立体の3次元位置と前記図形検出手段で検出された前記第1の回転対称図形および前記第2の回転対称図形の位置に基づき前記立体の3次元姿勢を算出する姿勢算出手段と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
3次元姿勢入力装置。A device for inputting a three-dimensional posture and a state of a three-dimensional posture by inputting a three-dimensional captured image with a state designation function for three-dimensional posture input according to any one of claims 10 to 12,
Position calculating means for detecting the outline of the main part in the captured image and obtaining the three-dimensional position of the solid from the outline;
Graphic detection means for detecting and determining the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic in the captured image;
The three-dimensional posture of the solid is calculated based on the three-dimensional position of the solid obtained by the position calculating means and the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic detected by the graphic detecting means. Attitude calculating means for performing,
State detection means for detecting a specified state of the solid based on at least one of color information and luminance information at the position of the hole of the captured image;
3D posture input device.
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第1の手段と、
前記第1の手段で検出された位置の各々と前記輪郭との位置関係から各位置が前記第1の回転対称図形および前記第2の回転対称図形のいずれに対応しているかを判別する第2の手段とを有する、
請求項29に記載の3次元姿勢入力装置。The graphic detection means includes
A first means for detecting a position of the rotationally symmetric figure on the captured image by comparing the captured image with a template image of the rotationally symmetric figure;
Determining whether each position corresponds to the first rotationally symmetric figure or the second rotationally symmetric figure from the positional relationship between each of the positions detected by the first means and the contour; Having the means of
The three-dimensional posture input device according to claim 29.
前記図形検出手段は、
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第1の手段と、
前記第1の手段で検出された位置の各々における撮像画像の色情報から各位置が前記第1の回転対称図形および前記第2の回転対称図形のいずれに対応しているかを判別する第2の手段とを有する、
請求項29に記載の3次元姿勢入力装置。The first and second rotationally symmetric figures of the solid are different colors;
The graphic detection means includes
A first means for detecting a position of the rotationally symmetric figure on the captured image by comparing the captured image with a template image of the rotationally symmetric figure;
A second determining unit determines whether each position corresponds to the first rotationally symmetric graphic or the second rotationally symmetric graphic from the color information of the captured image at each of the positions detected by the first means. Having means,
The three-dimensional posture input device according to claim 29.
前記撮像画像から前記立体の輪郭画像を得、前記輪郭画像から前記立体の3次元位置を算出する位置算出手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形の全体または部分のテンプレート画像群とを比較することにより前記立体の姿勢を算出する姿勢算出手段と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
3次元姿勢入力装置。An apparatus for inputting a three-dimensional posture and state of a solid by inputting a three-dimensional captured image with a state designation function for three-dimensional posture input according to any one of claims 13 to 17,
Position calculation means for obtaining the three-dimensional position of the solid from the contour image, obtaining the three-dimensional outline image from the captured image;
Posture calculation means for calculating the posture of the solid by comparing the captured image with a template image group of the whole or a part of the figure corresponding to various postures of the solid;
State detection means for detecting a specified state of the solid based on at least one of color information and luminance information at the position of the hole of the captured image;
3D posture input device.
前記姿勢算出手段は、
前記撮像画像と前記立体の種々の姿勢に対応する前記2個以上の回転対称図形のテンプレート画像とを比較することにより前記立体の姿勢の候補を算出する手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する手段とを有する、
請求項32に記載の3次元姿勢入力装置。The solid has two or more rotationally symmetric figures on the spherical surface and one or more different figures different from the rotationally symmetric figures,
The posture calculating means includes
Means for calculating a candidate for the three-dimensional posture by comparing the captured image with a template image of the two or more rotationally symmetric figures corresponding to various postures of the three-dimensional object;
Means for selecting an accurate posture of the solid from the candidates by comparing the captured image and the template images of different figures corresponding to the various postures of the solid;
The three-dimensional posture input device according to claim 32.
コンピューターで読取り可能な記録媒体。A three-dimensional posture input program for causing a computer to execute the three-dimensional posture input method according to any one of claims 18 to 25 is recorded.
A computer-readable recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002316828A JP2004152032A (en) | 2002-10-30 | 2002-10-30 | Solid with three-dimensional attitude input condition designating function, three-dimensional attitude input method and device and its program and recording medium with its program recorded |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002316828A JP2004152032A (en) | 2002-10-30 | 2002-10-30 | Solid with three-dimensional attitude input condition designating function, three-dimensional attitude input method and device and its program and recording medium with its program recorded |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004152032A true JP2004152032A (en) | 2004-05-27 |
Family
ID=32460420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002316828A Pending JP2004152032A (en) | 2002-10-30 | 2002-10-30 | Solid with three-dimensional attitude input condition designating function, three-dimensional attitude input method and device and its program and recording medium with its program recorded |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004152032A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302279A (en) * | 2005-04-21 | 2006-11-02 | Avago Technologies General Ip (Singapore) Private Ltd | Orientation determination using cordless device |
JP2007286932A (en) * | 2006-04-18 | 2007-11-01 | Sharp Corp | Image recognition input device |
JP2010509582A (en) * | 2006-11-10 | 2010-03-25 | インテリジェント・アース・リミテッド | Object position and localization detection system |
JP2010118028A (en) * | 2008-11-14 | 2010-05-27 | Sony Computer Entertainment Inc | Information processing system |
JP2012003332A (en) * | 2010-06-14 | 2012-01-05 | Sony Computer Entertainment Inc | Information processor and information processing system |
JP2012177596A (en) * | 2011-02-25 | 2012-09-13 | Jfe Steel Corp | Holder for calibration and method for calibrating photo cutting type shape measuring instrument |
JP2014186740A (en) * | 2014-04-30 | 2014-10-02 | Sony Computer Entertainment Inc | Operation device |
-
2002
- 2002-10-30 JP JP2002316828A patent/JP2004152032A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302279A (en) * | 2005-04-21 | 2006-11-02 | Avago Technologies General Ip (Singapore) Private Ltd | Orientation determination using cordless device |
JP2007286932A (en) * | 2006-04-18 | 2007-11-01 | Sharp Corp | Image recognition input device |
JP2010509582A (en) * | 2006-11-10 | 2010-03-25 | インテリジェント・アース・リミテッド | Object position and localization detection system |
JP2010118028A (en) * | 2008-11-14 | 2010-05-27 | Sony Computer Entertainment Inc | Information processing system |
JP2012003332A (en) * | 2010-06-14 | 2012-01-05 | Sony Computer Entertainment Inc | Information processor and information processing system |
JP2012177596A (en) * | 2011-02-25 | 2012-09-13 | Jfe Steel Corp | Holder for calibration and method for calibrating photo cutting type shape measuring instrument |
JP2014186740A (en) * | 2014-04-30 | 2014-10-02 | Sony Computer Entertainment Inc | Operation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9432655B2 (en) | Three-dimensional scanner based on contours from shadow images | |
Thompson et al. | Visual perception from a computer graphics perspective | |
US8139059B2 (en) | Object illumination in a virtual environment | |
KR101320134B1 (en) | Method and device for the real time imbedding of virtual objects in an image stream using data from a real scene represented by said images | |
JP5325992B2 (en) | Determining the position and movement of the controller attached to the ball | |
JP2023512058A (en) | System and method for posture detection and measurement | |
CN104766270B (en) | One kind is based on fish-eye actual situation illumination fusion method | |
US20050227217A1 (en) | Template matching on interactive surface | |
US20210232858A1 (en) | Methods and systems for training an object detection algorithm using synthetic images | |
US20090091710A1 (en) | Interactive projector system and method | |
JP2010521733A (en) | Land recognition landmark for mobile robot, and position recognition apparatus and method using the same | |
US20180088676A1 (en) | Gesture interface | |
JPH11513483A (en) | Method and apparatus for determining position and orientation | |
JP2001283224A (en) | Face collating method, recording medium stored with the collating method and face collator | |
WO2003005303A2 (en) | System and method for discovering and categorizing attributes of a digital image | |
JP2005291824A (en) | Flying behavior measuring apparatus of flying object, and flying behavior measuring method of flying object | |
JP2010526295A (en) | Scanning 3D objects using a video camera and TV monitor | |
US20200372723A1 (en) | Method for influencing virtual objects of augmented reality | |
WO2019003383A1 (en) | Information processing device and method for specifying quality of material | |
JP2004152032A (en) | Solid with three-dimensional attitude input condition designating function, three-dimensional attitude input method and device and its program and recording medium with its program recorded | |
Mikawa et al. | Dynamic projection mapping for robust sphere posture tracking using uniform/biased circumferential markers | |
JP4056891B2 (en) | Three-dimensional position / attitude detection device, method, program, and recording medium | |
JP5308765B2 (en) | Lighting device | |
Mikawa et al. | Projection mapping system to a widely dynamic sphere with circumferential markers | |
Diaz et al. | Multimodal sensing interface for haptic interaction |