JP2013050947A - 物体姿勢推定方法、物体姿勢推定装置、物体推定姿勢精緻化方法、およびコンピューター可読媒体 - Google Patents
物体姿勢推定方法、物体姿勢推定装置、物体推定姿勢精緻化方法、およびコンピューター可読媒体 Download PDFInfo
- Publication number
- JP2013050947A JP2013050947A JP2012162378A JP2012162378A JP2013050947A JP 2013050947 A JP2013050947 A JP 2013050947A JP 2012162378 A JP2012162378 A JP 2012162378A JP 2012162378 A JP2012162378 A JP 2012162378A JP 2013050947 A JP2013050947 A JP 2013050947A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pose
- input image
- posture
- posture estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000003874 inverse correlation nuclear magnetic resonance spectroscopy Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000010587 benign idiopathic neonatal seizures Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
Abstract
【解決手段】物体を包含する画像を入力し、入力画像の2値マスクを作成、入力画像の2値マスクからシングレットのセットを抽出する。各シングレットは、入力画像内の物体の内側および外側輪郭内にある点を表す、抽出することと、シングレットのセットを連結し、デュプレックス行列として表されるメッシュにし、候補姿勢のセットを作るべく2つのデュプレックス行列を比較するこし、物体姿勢推定値によって、入力画像から物体の姿勢が推定され、次に、物体姿勢推定が記憶される。物体の推定姿勢は、カメラのパラメーターの入力、物体のモデルを物体の仮想画像に投影、初期姿勢パラメーターを新しい姿勢パラメーターに更新、エネルギー関数の最小化によって精緻化される。
【選択図】図2
Description
本発明は、ロボットが訓練されて、物体を、ロボットの搭載カメラから見える通りのその姿勢にかかわらず認識することができるよう、2次元画像(例えばカメラ画像)から3次元(three−dimensional、3D)物体の姿勢を推定することに関する。
1つの態様は、物体の複数の画像の各々における視像を、物体のためのCADモデルを用いて生成することを含む。
別の態様は、物体の複数の画像の各々における視像を、カメラを備えたロボットを用いて生成することを含む。
別の態様は、物体の内側および外側輪郭を抽出することを含む。
1つの態様では、本発明は、エネルギー関数におけるエネルギー値を最小化するべく姿勢推定値を反復的に計算する。
別の態様は、姿勢推定値を反復的に計算するために速度スクリューを計算する。
別の態様は、OpenGL、DirectX、レイトレーシングなど等のレンダリングアプリケーションプログラミングインタフェース(application programming interface、API)を用いて物体のモデル輪郭曲線を仮想画像に投影する。
図2を参照すると、方法200における最初のステップは画像を入力することである(ステップ210)。入力画像は、カメラ(取り込み機構)112を操作するロボット116によって生成され得る。入力画像が1つの物体を包含しているならば、このとき、それは好ましくは画像エリアの少なくとも10%を占めなければならない。画面内に1つを超える物体があるならば、対象となっている物体は好ましくは画像(画面)内の他のいずれの物体よりも少なくとも2倍は大きくなければならない。入力画像は、例えば、RAM104またはハードディスク160内に記憶されている物体のCADモデルであることもできる。好ましい実施形態では、以下において記載されるように、物体の複数の画像が入力され、解析される。複数の画像の各々は好ましくは、他の画像の各々に示される視像とは異なる、物体の視像を包含する。これらの複数の画像は、CADモデル、および/またはカメラを操作するロボット116を用いて生成され得る。
本発明の物体位置特定(ステップ212)および物体抽出(ステップ214)段階は、画像または画面内に存在する物体を検出し、そのバウンディングボックスを計算する。物体抽出段階は物体の内側輪郭および外側輪郭の両方を抽出する。これらのステップ/段階は図3においてより詳細に示される。
活動計算ステップの間、画像310はサイズSxSのブロックに分割される。Sは画素の数である。例として、Sは8である。ただし、特定の環境に従って、異なる値が選択され得る。この設定パラメーターSは本願明細書においてACTIVITY.SCALEと呼ばれる。次に、本ステップは各ブロックについての標準偏差および平均強度を計算し、2つの行列、標準(std)および平均(ave)、として出力を返す。
本ステップでは、本発明は行列stdの要素を閾値と比較し、閾値を超える要素を特定する。閾値は特定の環境のために選択され得る。例えば、これは色の閾値であり得よう。色深度を表すために8ビットが用いられるならば、このとき、閾値は0と255との間のどこかに設定されよう。理解されるように、活動的エリア選択ステップは、無地の背景と対照的にカラー物体に対応する画素ブロックを特定する。選択された活動閾値を超えると特定された要素は活動マップに入れられる。
領域解析ステップ316は、前のステップ314において作られた活動マップに対するブロブ解析を遂行する。本ステップにおいて用いられるパラメーターは、OBJECTS.SIZE.MIN(デフォルト値は0.001)およびOBJECTS.SIZE.MAX(デフォルト値は0.1)によって制御されるサイズ、ならびに候補領域の数OBJECTS.COUNT(デフォルト値は8)である。これらの設定パラメーターを画素からブロックに変換するために、サイズ制限はまずACTIVITY.SCALEの2乗で除される。領域解析ステップは各物体のためのバウンディングボックス、ならびにその1次および2次平均および面積を返す。
閾値計算ステップ318は、各領域のための境界ブロックの内容を前景と背景とに分けるための最適閾値を求める。この手順は、領域毎に個別になされる以下の段階を通じて実行される。ここで、Iは、領域のための境界ブロックのうちの1つに入るすべての点のセットである。
2.Iの平均としてtを計算する。
3.tの値を用いてIを閾値処理し、I+およびI-を作る。
4.I+の平均としてt+を計算する。
5.I-の平均としてt-を計算する。
6.(t++t-)/2としてt*を計算する。
7.tとt*との間の差が1未満であれば、このときは、tを閾値として返し、さもなければ、t=t*と設定し、3に行く。
本段階において計算された閾値(OSMX_THRESHOLD)は後のステップにおいて用いられる。
内部検出ステップ320は境界マップを用い、内部マップを構築する。この手順は、すべてゼロの内部マップより開始し、領域毎に、そのバウンディングボックス内の各ブロックについて以下の操作を遂行する。
1.ブロックが境界マップ内になく且つ、ブロックについての平均が、(OE_INVERSEがどのように設定されているかに依存して)OE_THRESHOLDを上回りまたは下回り且つ、このブロックが境界マップ内に少なくとも1つの4連結隣接ブロックを有するならば、このときは、このブロックを内部マップ内に標識する。
境界マップが内部マップを包囲しないということがあり得る。その結果、次に記載される物体抽出段階の性質により、抽出された物体内に、望ましくない「くぼみ」が出現する場合がある。この問題を解決するために、境界閉塞ステップ322は、各領域のバウンディングボックス内で以下の操作を遂行することによって各領域のための境界マップを閉塞する。
1.ブロックが境界マップ内にもまたは内部マップ内にもなく且つ、それが内部マップ内に少なくとも1つの4連結隣接ブロックを有するならば、このときは、このブロックを境界マップ内に標識する。
物体抽出ステップ324は、境界マップおよび内部マップに基づき物体を抽出する。この手順は各物体についてそれ自身のバウンディングボックス内で以下の操作を遂行する。
1.このブロックが内部マップ内に標識されているならば、このときは、それに対応するすべての画素を物体に属するものとして設定する。
2.このブロックが境界マップ内に標識されているならば、このときは、ブロックについての平均が、(OE_INVERSEがどのように設定されているかに依存して)OE_THRESHOLDを上回るまたは下回るならば、それに対応するすべての画素を物体に属するものとして設定する。
デュプレット作成は、実際の画像が用いられる、本発明における最後のステップである。本段階の後では、作業はデュプレット行列ならびに他の特徴点およびベクトルに対してなされる。
輪郭追跡は、物体抽出段階によって返されたすべての輪郭を追跡する手順である。本段階において収集される情報はシングレット検出手順において用いられる。本発明においては、特定のアルゴリズムに限定されない任意の周知の輪郭追跡アルゴリズムが用いられ得る。利用されてよい輪郭追跡アルゴリズムの例としては矩形追跡、ムーア近傍、放射状走査が挙げられる。好ましい実施形態では、Theo Pavlidisのアルゴリズムが用いられる。
本段階は、特定の環境のために選択され得る2つのパラメーターTRACE_WINDOWおよびSINGLET_DISTANCEに依存する。これらの両パラメーターのためのデフォルト値は12画素である。TRACE_WINDOWの2倍よりも長いすべての輪郭について、以下の手順が輪郭上の点毎に実行される。
1.輪郭上の点の周りのTRACE_WINDOWの点についての平均のXおよびY座標を求める。
2.輪郭上の点を、TRACE_WINDOWだけ左および右に離れた2つの点に連結する。
3.2つの角度を求め、それらを入射角度および出射角度と呼ぶ。
4.入射角度および出射角度を表す2つのベクトルの内積を求める。この内積の符号を変更し、それを曲率と呼ぶ。
5.この点がその周りのSINGLET_DISTANCEの点群内の最大曲率を有するならば、その点をシングレットとして標識する。
6.各シングレットについてのXおよびY座標を、入射および出射角度ならびにそれらに対応する曲率とともに記憶する。
デュプレット作成は、検出されたシングレットを組み合わせてデュプレットにする手順である。デュプレットを作成するプロセスは以下のステップを包含する。
1.その(i、j)要素がi番目とj番目のシングレットの間の距離を包含する行列Dを作る。
2.最小閾値未満であるかまたは最大閾値を上回るDの要素をすべてNAN(Not a Number(非数)、初期化されていない変数を示す特定記号)として変更する。最小閾値および最大閾値は、DISTANCE.MIN(デフォルト値は0.01)およびDISTANCE.MAX(デフォルト値は0.25)に画像の最小寸法を乗じられたものとしてそれぞれ計算される。
3.すべてゼロのSx1配列を作り、それをdegと呼ぶ。deg(s)はs番目のシングレットに連結されるシングレットの数を包含することになる。
4.DがNANしか包含しなくなるか、またはシングレットのための最大数が指定されている場合には該最大に達するまで、Dをスキャンする。
5.Dの最小の要素を見いだす。それを(s1,s2)と呼ぶ。deg(s1)およびdeg(s2)の両方をインクリメントする。deg(s1)またはdeg(s2)のどちらかが最大度数DEGREE(デフォルトは10)よりも大きくなれば、このときは、該シングレットに対応する行および列内のすべての要素をNANとして設定する。例えば、deg(s1)がDEGREEよりも大きくなれば、このときは、すべてのsについてD(s、s1)およびD(s1、s)をNANに設定する。
6.対(s1、s2)について、それらを一緒に連結する角度ならびにそれらを連結する線の長さを計算し、それらをそれぞれ角度および距離と呼ぶ。両シングレットの一時的複製の入射および出射角度から角度を減じる。これで、デュプレットは<角度,距離,s1.入射,s1.出射,s2.入射,s2.出射>として表されることになる。
7.デュプレット行列を返す。
デュプレット比較は、2つのデュプレット行列内の項目を比較し、一致のリスト、および従って候補姿勢の第1のリストを作るプロセスである。2つのデュプレット行列はD1およびD2であるとして、プロセスは以下のように遂行される。
|d1.s1.入射−d2.s1.入射|<THRESHOLD
|d1.s1.出射−d2.s1.出射|<THRESHOLD
|d1.s2.入射−d2.s2.入射|<THRESHOLD
|d1.s2.出射−d2.s2.出射|<THRESHOLD
ここで、THRESHOLDは設定変数DUPLETS.THRESHOLDによって決められる。
これらの条件が満たされれば、このときは、候補姿勢(d1.長さ/d2.長さ,d1.角度−d2.角度)を候補のリストに追加する。さらに、2つのシングレットおよび両デュプレットのXおよびY座標に注目する。この候補を「直」としてタグ付けする。
|d1.s1.入射−d2.s2.入射|<THRESHOLD
|d1.s1.出射−d2.s2.出射|<THRESHOLD
|d1.s2.入射−d2.s1.入射|<THRESHOLD
|d1.s2.出射−d2.s1.出射|<THRESHOLD
この場合、d1.角度−d2.角度−パイと記録されることになる角度を除き、同様の候補姿勢がリストに追加されることになる。この候補は「逆」としてタグ付けされることになる。
候補クラスター化(図2、ステップ220)
候補クラスター化は、デュプレット比較を通じて作られた姿勢候補を取り入れ、候補の大きなセットによって各々表される限られた数の姿勢を推定するプロセスである。本手順は、いずれも以下において記載される2つの段階、スケール−角度クラスター化、およびX−Yクラスター化、を包含する。
本段階の目的は、デュプレット比較を通じて作る候補姿勢に基づき候補(スケール,角度)対のリストを作ることである。
SおよびAは、候補スケールおよび角度を持つ2つの1xNであるとする。スケール−角度クラスター化手順は以下のようになされる。
1.Sの値の底BASEの対数を計算することによってS_Lを作る。
2.AおよびS_Lのヒストグラムを独立に作る。各ヒストグラムはBINSのビンを包含することになる。Aについてのヒストグラムは−パイないしパイのレンジに及ぶことになる。S_Lは、SCALE.MINおよびSCALE.MAXのレンジ内で、どちらも底BASEで解析されることになる。
3.どちらのヒストグラム上の点も、もしそれがその右側のDの点よりも高く且つその左側のDの点よりも高いかまたはそれに等しければ、「ピーク」として標識する。
4.各ヒストグラムについてC1個の最高ピークを独立に選択する。
5.すべてのスケール候補をすべての角度候補と交差させ、スケール−角度候補のリストを作る。このリストをX−Yクラスター化段階に渡す。各スケール−角度候補について、この対を生じさせた一致デュプレット内のシングレットの位置も送る。
6.各スケール−角度候補についての信頼性を、それを表すデュプレット一致の対の数を2つのデュプレット行列内のデュプレットの数の最小で除したものとして計算する。
7.スケール−角度候補の数がC2を超えるならば、このときは、最高の信頼性を有するC2個のものを取る。
スケール−角度クラスター化段階の出力は(スケール,角度)候補のセットである。X−Yクラスター化段階は、各(スケール,角度)候補について以下のように、候補に平行移動情報を加えるプロセスである。
1.この候補についてのシングレット位置を、軸系の中心が画像の中心に移動するように改変する。このプロセスは2つのデュプレット行列について独立に実行されることになる。
2.クエリシングレット位置を角度によって回転させる。
3.クエリシングレットをスケールによってスケーリングする。
4.クエリと参照との間のシングレット位置についてのXおよびYにおける差を独立に求める。これらをdxおよびdy配列と呼ぶ。
5.本段階においては、dx−dy対は、スケール−角度対に対して実行されるものと同様の2次元クラスター化アルゴリズムを受けることができるか、またはより迅速な演算が続いて行われることができる。
6.dxおよびdyの平均を独立に求め、この情報をスケール−角度対に付加し、かくして、姿勢候補(角度,スケール,dx,dy,信頼性)を作る。この姿勢候補についての信頼性はスケール−角度対についての信頼性に等しいままとなることになる。
7.設定パラメーターによって要求される場合には、以下において記載されるように、重複調査を遂行する。
8.信頼性の最高値に対応するC2個の候補を取り、それらを次の段階に報告する。
重複の考慮はOVERLAPが非負である場合のみ機能する。重複の考慮は以下のようになされる。
1.(角度,スケール,dx,dy,信頼性)情報に従い参照バウンディングボックスを変換する。回転され、スケーリングされ、移動されたバウンディングボックスを覆う最小の矩形を見いだす。
2.改変された、参照のバウンディングボックス、およびクエリのバウンディングボックスを両方とも覆う最小の矩形を見いだす。この矩形の面積をAと呼ぶ。
3.もし、min(A1,A2)/AがOVERLAP未満であれば、この候補を不適当として標識する。ここで、A1およびA2は、参照の改変されたバウンディングボックスの面積、およびクエリの面積である。
4.不適当として標識された候補をリストから削除する。
輪郭デュプレットデータベース(Contour−Duplets Database、CDDB)ファイルは、各々仰角および方位角に付随するデュプレット行列のリストを包含する。CDDBファイルを生成するために、上述のアルゴリズムは訓練用画像(図2、224)に対してデュプレット作成を遂行することになり、次に、結果として生じる、仰角−方位角表示を各々伴うデュプレット行列をCDDB222内に記憶することになる。これらのサンプルは視像と呼ばれる。
CDDBファイルは実際には、訓練用画像に関する詳細を包含するファイルを伴う。これらの詳細は様々な視覚化を作るために必要なものであり、アルゴリズムの通常の演算には必要とされない。
クエリが実行されると、手順はデータベース内の視像毎に繰り返される。アルゴリズムの最終出力は、最高の対応する信頼性値を有する、CDDBC.SEARCH.CANDIDATES.TOTALの数の候補である。次に、各候補を作った視像の角度表示が各候補に付加され、かくして姿勢の(仰角、方位角、角度、スケール、dx、dy、信頼性)表示を作る。以上に概説された物体検出ステップの結果は、姿勢推定値である、姿勢のこれらの表示であり、メモリー、例えばRAM104またはハードディスク160、内に記憶される。これらの姿勢推定値は次に、製品の組み立ての際の物体/部品のロボット認識において用いられ得る。
様々な視覚化が作られ得る。これらの視覚化の2つがモデルビューおよびオーバーレイである。モデルビューとは、スケール、角度、および平行移動も反映するように改変された一致訓練用画像の画像である。オーバーレイとは、クエリ画像上のモデルビューのオーバーレイである。
現在、訓練手順は、様々なパラメーターによって支配される通りの、様々な姿勢をとる対象となっている物体を示す画像を必要とする。これらの画像を作る実用的且つより簡便な方法が、物体の3D視像を作る3次元視覚化ツールであるサンプルシミュレーター228を用いるものである。
上述されたように、本発明の方法の異なる部分は異なる設定パラメーターを用いる。これらのパラメーターのいくつかの例示的な(デフォルト)値が上述の記載において与えられている。しかし、これらの値はユーザーによって特定の環境に合うように設定され得る。設定ユーティリティーは、これらのパラメーターのための適切な値を求め、それにより、ユーザーからの直感的入力を用いるのは最小限にしてそれらを設定する対話型ツールである。
本発明のカメラ投影モデルはピンホールカメラモデルに基づく。ピンホールカメラはカメラ機能の最も単純で理想的なモデルである。それは無限小の穴を有し、そこを通って光が入り、該穴と向かい合うカメラ表面上に倒立像を形成する。図4に示されるように、透視投影は3次元物体の、2次元画像平面上への投影である。実際には、画像の焦点をカメラの焦点面上に合わせるためにレンズを用いなければならない。焦点面は、画像平面に平行である1つの特定の平面である。ピンホールカメラ座標はワールド座標に合わせられるとすると、単純な幾何学は以下を示す。
ここで、(xw,yw,zw)は3Dワールド座標における物体の点であり、(xim,yim)は2D画像平面座標における点である。
ここで、Fは焦点距離であり、SxおよびSyは、焦点にあるセンサー平面から画像または画素座標への、xおよびy方向におけるスケーリング係数である。SxおよびSyスケーリング係数はCCDセンサーのセルの幅および高さ、ならびに分解能に比例する。我々は、モデルスケーリング係数λxおよびλyを得るようにカメラを較正することができる。
ここで、(x0,y0)は画像または画素座標におけるカメラ座標の原点の投影である。
画像ヤコビ行列は、作業空間内の或る物体の速度と、作業空間の観察される画像内で起きる対応する変化との間の関係に基づいて構築されなければならない。
式を組み合わせ、代数を解く。
これらの式は画像ヤコビ行列形式で書かれることができる。
モデルを画像上に投影するために、本発明は好ましくは、既存のハードウェアを用いて高速レンダリングおよび隠線消去を実行することができるOpenGLを用いる。加えて、OpenGLは各画素における深さ情報を記憶することができる。この情報を用いて、各輪郭点に対応する3D点は計算される。図5はOpenGL投影および正規化デバイス座標(NDC)を示す。好ましい実施形態ではOpenGLが用いられるが、本発明はこのレンダリングアプリケーションプログラミングインタフェース(API)に限定されるものではなく、DirectX、レイトレーシングなど等の他のレンダリングAPIが利用されてもよい。
式(3)および(14)を用いると、OpenGL仮想カメラの、実カメラモデルへの対応を求めることができる。
本発明では、OpenGLは、モデルを投影するためにのみ用いられる。すべての式はデフォルトでは実カメラモデルを用いて導出される。
本発明の姿勢精緻化方法はエネルギーベースのコスト関数を最小化する。コスト関数は、3D姿勢(6DoF)を用いるモデル投影が画像内の対象となっている物体と合致するよう、最小値を有するように定義される。
ここで、I(x,y)は入力画像であり、T(x,y)は所与の3D姿勢を有するモデル投影の2値マスク画像である。
OpenGLは、物体モデルを2D仮想画像に投影することによって2値マスク画像の高速レンダリングを実行することができる。
inf{F1(C)+F2(C)}≒0≒F1(C0)+F2(C0)
ここで、wjは特徴一致についての重みであり、それは一致信頼性またはスコアであってよく、π(Pj)=(uj,vj)Tはモデル特徴点の、Pi=(Xi obj,Yi obj,Zi obj)から所与の3D姿勢を有する画像への投影を示すことである。‖ ‖は画像座標におけるユークリッド距離であってよい。
ここで、ηは、EcとEmatchとの間のエネルギーのバランスをとる重み関数である。
我々はEcおよびEmatchの両方についての勾配流を導出することになるが、最初の実行では、η=0として、Ecのエネルギーを用いるだけである。
勾配降下法に従い、エネルギーEは最小値に近づくことが期待される。
まずEcの偏微分を導出する
第2および第3項については、それらがゼロであることを証明することができる。
2値マスクT(x,y)の画像は所与の3D姿勢およびカメラパラメーターについてのモデルの投影である。
一致エネルギーは、画像座標における、入力画像内の特徴点と投影仮想画像内の、特徴点との間の距離一致した特徴点を測るコスト関数である。
我々の実装では、エネルギー関数を最小化するためにガウス・ニュートン法を用いた。ガウス−ニュートンアルゴリズムは2乗和の最小値を求める。
eおよびJは、ec、ηematchならびにJcおよびηJmatchをそれぞれ連結することによって得られる。
物体座標からカメラ座標への変換は、変換による表示であってよい。
時刻tにおける或る固定フレーム(物体座標)とカメラフレームとの間の相対変位を示すためにg(t)=(R(t),T(t))を用いることにする。カメラが時刻t1,t2...tmにおいてそれぞれロケーションg(t1),g(t2)...g(tm)にあるならば、このとき、同じ点pの座標はそれに応じてX(ti)=g(ti)X0,i=1...mとして与えられる。
X(t2)=g(t2,t1)X(t1) (39)
X(t3)=g(t3,t2)X(t2)=g(t3,t2)g(t2,t1)X(t1) (40)
X(t3)=g(t3,t1)X(t1) (41)
g(t3,t1)=g(t3,t2)g(t2,t1) (42)
g(tn,t1)=g(tn,tn-1)g(tn-1,t1) (43)
姿勢推定はエネルギー関数の最適化または最小化としてモデル化される。反復的に姿勢更新は計算され、エネルギーを最小化することになる。以下は、上述された方法の例示的な実行である。
ステップ1:画像、モデル、カメラパラメーターを入力する。
ステップ2:初期姿勢パラメーターを得る。
ステップ3:与えられた姿勢パラメーターを用いてOpenGLによってモデルを仮想画像に投影する。2値マスク画像T(x,y)および対応する深さ情報/マップが得られる。
ステップ4:姿勢を反復的に更新するために速度スクリューを計算する。(i)式(18)によって物体の内部および外部の平均値を計算する。(ii)2値マスクから輪郭Cを得、深さ情報を用いて3D輪郭点を得る。(iii)輪郭点についての、xおよびy方向における勾配∇T(x,y)を計算する。(iv)式(26)を用いて画像ヤコビ行列を計算する。(v)式(27)を用いて勾配流を計算し、ガウス・ニュートン法を用いて式(35)によって制御入力(速度スクリュー)を得る。
ステップ5:式(45)によって、制御入力(速度スクリュー)および所与のステップサイズを用いて相対変位を計算する。
ステップ6:式(46)および(47)によって姿勢パラメーターを更新する。
ステップ7:もし、姿勢パラメーターの変化が非常に小さいか、または最大反復数に達すれば、終了に行き、さもなければステップ3に戻る。
ステップ8:終了。
Claims (20)
- 入力画像から物体の姿勢を推定して記憶する物体姿勢推定方法であって、
物体を包含する画像を入力することと、
前記入力画像の2値マスクを作成することと、
前記入力画像の前記2値マスクからシングレットのセットを抽出することであって、各シングレットは、前記入力画像内の前記物体の内側および外側輪郭内にある点を表す、抽出することと、
シングレットの前記セットを連結して、デュプレックス行列として表されるメッシュにすることと、
候補姿勢のセットを作るべく2つのデュプレックス行列を比較することと、
物体姿勢推定値を作り、前記物体姿勢推定値を記憶することと、
を含む、物体姿勢推定方法。 - 前記物体の複数の画像を入力することをさらに含み、各画像は、前記複数の画像の互いにおける視像とは異なる、前記物体の視像を包含する、請求項1に記載の物体姿勢推定方法。
- 前記物体の前記複数の画像の各々における前記視像を、前記物体のためのCADモデルを用いて生成することをさらに含む、請求項2に記載の物体姿勢推定方法。
- 前記物体の前記複数の画像の各々における前記視像を、カメラを備えたロボットを用いて生成することをさらに含む、請求項2に記載の物体姿勢推定方法。
- 前記入力画像内の前記物体を検出し、前記物体のバウンディングボックスを計算することをさらに含む、請求項1に記載の物体姿勢推定方法。
- 前記物体の内側および外側輪郭を抽出することをさらに含む、請求項1に記載の物体姿勢推定方法。
- 前記姿勢推定値をエネルギー関数の最適化としてモデル化することによって前記物体姿勢推定値を精緻化することをさらに含む、請求項1に記載の物体姿勢推定方法。
- 前記エネルギー関数におけるエネルギー値を最小化するべく姿勢推定値を反復的に計算することをさらに含む、請求項7に記載の物体姿勢推定方法。
- 前記姿勢推定値を反復的に計算するために速度スクリューを計算することをさらに含む、請求項8に記載の物体姿勢推定方法。
- レンダリングアプリケーションプログラミングインタフェース(application programming interface、API)を用いて前記物体のモデル輪郭曲線を仮想画像に投影することをさらに含む、請求項7に記載の物体姿勢推定方法。
- 入力画像から物体の姿勢を推定して記憶する物体姿勢推定装置であって、
プロセッサーであって、
物体を包含する入力画像を受信すること、
前記入力画像の2値マスクを作成すること、
前記入力画像の前記2値マスクからシングレットのセットを抽出することであって、各シングレットは、前記入力画像内の前記物体の内側および外側輪郭内にある点を表す、抽出すること、
シングレットの前記セットを連結して、デュプレックス行列として表されるメッシュにすること、
候補姿勢のセットを作るべく2つのデュプレックス行列を比較すること、ならびに
物体姿勢推定値を作ること、
を行うプロセッサーと、
前記物体姿勢推定値を記憶するメモリーと、
を含む、物体姿勢推定装置。 - 前記プロセッサーは前記物体の複数の画像を受信し、各画像は、前記複数の画像の互いにおける視像とは異なる、前記物体の視像を包含する、請求項11に記載の物体姿勢推定装置。
- 前記物体のためのCADモデルを記憶するストレージをさらに含み、前記プロセッサーは、前記物体のための前記CADモデルを用いて前記物体の前記複数の画像の各々における前記視像を生成する、請求項12に記載の物体姿勢推定装置。
- 前記物体の前記複数の画像の各々における前記視像を生成するカメラを備えたロボットをさらに含む、請求項12に記載の物体姿勢推定装置。
- 物体の推定姿勢を精緻化する物体姿勢推定精緻化方法であって、
推定姿勢をとる物体の画像、前記物体のモデル、および前記推定姿勢をとる前記物体の前記画像を撮るために用いられるカメラのパラメーターを入力することと、
2値マスク画像および画像深さ情報を得るべく、前記カメラの前記パラメーターおよび初期姿勢パラメーターを用いて前記物体の前記モデルを前記物体の仮想画像に投影することと、
前記2値マスク画像および画像深さ情報を用いて前記初期姿勢パラメーターを新しい姿勢パラメーターに更新し、エネルギー関数を最小化するべくまたは反復の最大数に達するまで前記新しい姿勢パラメーターを反復的に更新することと、
を含む、物体姿勢推定精緻化方法。 - コスト関数を用いて前記物体の内部および外部の平均値を計算することと、
前記2値マスク画像から前記物体の輪郭Cを計算し、前記画像深さ情報を用いて3D輪郭点を計算することと、
をさらに含む、請求項15に記載の物体推定姿勢精緻化方法。 - 前記輪郭点についての、xおよびy方向における勾配∇T(x,y)を計算することと、
画像ヤコビ行列を計算することと、
ガウス・ニュートン法を用いて勾配流および速度スクリューを計算することと、
をさらに含む、請求項16に記載の物体推定姿勢精緻化方法。 - 前記速度スクリューおよび所与のステップワイズを用いて相対変位を計算すること
をさらに含む、請求項17に記載の物体推定姿勢精緻化方法。 - 前記推定姿勢をとる前記物体の前記画像は、
前記物体を包含する画像を入力することと、
前記入力画像の2値マスクを作成することと、
前記入力画像の前記2値マスクからシングレットのセットを抽出することであって、各シングレットは、前記入力画像内の前記物体の内側および外側輪郭内にある点を表す、抽出することと、
シングレットの前記セットを連結して、デュプレックス行列として表されるメッシュにすることと、
候補姿勢のセットを作るべく2つのデュプレックス行列を比較することと、
物体姿勢推定値を作ることと、
によって形成される、請求項15に記載の物体推定姿勢精緻化方法。 - 1つ以上の有形の非一時的コンピューター可読媒体であって、プロセッサーによって実行されると請求項1に記載の物体姿勢推定方法に従い入力画像から物体の姿勢を推定するコンピューター可読命令をその上に有する、コンピューター可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/220,851 US8467596B2 (en) | 2011-08-30 | 2011-08-30 | Method and apparatus for object pose estimation |
US13/220,851 | 2011-08-30 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013050947A true JP2013050947A (ja) | 2013-03-14 |
JP2013050947A5 JP2013050947A5 (ja) | 2015-08-20 |
JP6011102B2 JP6011102B2 (ja) | 2016-10-19 |
Family
ID=47743794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012162378A Active JP6011102B2 (ja) | 2011-08-30 | 2012-07-23 | 物体姿勢推定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8467596B2 (ja) |
JP (1) | JP6011102B2 (ja) |
CN (1) | CN103150544A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3226208A1 (en) | 2016-03-29 | 2017-10-04 | Seiko Epson Corporation | Information processing device and computer program |
US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
US10402657B2 (en) | 2016-11-15 | 2019-09-03 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm |
US10410089B2 (en) | 2018-01-19 | 2019-09-10 | Seiko Epson Corporation | Training assistance using synthetic images |
CN110377148A (zh) * | 2018-04-12 | 2019-10-25 | 精工爱普生株式会社 | 计算机可读介质、训练对象检测算法的方法及训练设备 |
US10552665B2 (en) | 2017-12-12 | 2020-02-04 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm using synthetic images |
US10621751B2 (en) | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
US10634918B2 (en) | 2018-09-06 | 2020-04-28 | Seiko Epson Corporation | Internal edge verification |
US10672143B2 (en) | 2016-04-04 | 2020-06-02 | Seiko Epson Corporation | Image processing method for generating training data |
US10769437B2 (en) | 2018-04-10 | 2020-09-08 | Seiko Epson Corporation | Adaptive sampling of training views |
US10970425B2 (en) | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US9123144B2 (en) | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
US8908913B2 (en) * | 2011-12-19 | 2014-12-09 | Mitsubishi Electric Research Laboratories, Inc. | Voting-based pose estimation for 3D sensors |
JP6187584B2 (ja) * | 2012-05-14 | 2017-08-30 | オムロン株式会社 | マシンビジョンシステムのための最小コントラストを保証するための方法および装置 |
JP6323993B2 (ja) * | 2012-08-28 | 2018-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
US10572774B2 (en) * | 2012-12-06 | 2020-02-25 | Toyota Motor Engineering & Manufacturing North America. Inc. | Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US8970709B2 (en) * | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
US9852512B2 (en) | 2013-03-13 | 2017-12-26 | Electronic Scripting Products, Inc. | Reduced homography based on structural redundancy of conditioned motion |
US9754377B2 (en) * | 2014-08-15 | 2017-09-05 | Illinois Institute Of Technology | Multi-resolution depth estimation using modified census transform for advanced driver assistance systems |
GB2532494A (en) * | 2014-11-21 | 2016-05-25 | The Chancellor Masters And Scholars Of The Univ Of Oxford | Localising portable apparatus |
KR101785441B1 (ko) * | 2015-03-16 | 2017-10-16 | 주식회사 르메디 | 개량된 피펫 팁 |
KR101724338B1 (ko) * | 2015-09-15 | 2017-04-07 | 전자부품연구원 | 강인한 영역 분리 방법 및 이를 적용한 시스템 |
US9969082B1 (en) * | 2016-01-05 | 2018-05-15 | Boston Dynamics, Inc. | Robotic systems and methods for task scoring and selection |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
CN109863365B (zh) * | 2016-10-21 | 2021-05-07 | Abb瑞士股份有限公司 | 从容器中拾取对象的方法、电子设备和系统 |
US10373369B2 (en) * | 2017-03-16 | 2019-08-06 | Qualcomm Technologies, Inc. | Three-dimensional pose estimation of symmetrical objects |
CN109559271B (zh) * | 2017-09-26 | 2023-02-28 | 富士通株式会社 | 对深度图像进行优化的方法和装置 |
CN107943458B (zh) * | 2017-11-20 | 2020-07-24 | 上海木木聚枞机器人科技有限公司 | 一种机器人开发系统 |
CN108304762B (zh) * | 2017-11-30 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 一种人体姿态匹配方法及其设备、存储介质、终端 |
CN108564616B (zh) * | 2018-03-15 | 2020-09-01 | 中国科学院自动化研究所 | 快速鲁棒的rgb-d室内三维场景重建方法 |
US11314220B2 (en) * | 2018-04-26 | 2022-04-26 | Liberty Reach Inc. | Non-contact method and system for controlling an industrial automation machine |
CN109345504A (zh) * | 2018-08-07 | 2019-02-15 | 浙江大学 | 一种使用边界框约束的自底向上的多人姿态估计方法 |
CN109190537B (zh) * | 2018-08-23 | 2020-09-29 | 浙江工商大学 | 一种基于掩码感知深度强化学习的多人物姿态估计方法 |
CN109344750B (zh) * | 2018-09-20 | 2021-10-22 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
US11295532B2 (en) | 2018-11-15 | 2022-04-05 | Samsung Electronics Co., Ltd. | Method and apparatus for aligning 3D model |
CN111402191B (zh) * | 2018-12-28 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 一种目标检测方法、装置、计算设备及介质 |
CN110276805A (zh) * | 2019-06-28 | 2019-09-24 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
KR102149105B1 (ko) * | 2019-09-18 | 2020-08-27 | 세종대학교산학협력단 | 혼합현실 기반 3차원 스케치 장치 및 방법 |
JP2023512058A (ja) * | 2020-01-29 | 2023-03-23 | イントリンジック イノベーション エルエルシー | 姿勢の検出および測定のためのシステムおよび方法 |
CN112894815B (zh) * | 2021-01-25 | 2022-09-27 | 西安工业大学 | 视觉伺服机械臂物品抓取最佳位姿检测方法 |
US11770495B2 (en) * | 2021-08-13 | 2023-09-26 | GM Global Technology Operations LLC | Generating virtual images based on captured image data |
CN114083545B (zh) * | 2022-01-24 | 2022-07-01 | 之江实验室 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011138490A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Research Laboratories Inc | シーンにおける物体の姿勢を求めるための方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016539B1 (en) * | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
US7003134B1 (en) * | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
JP4865557B2 (ja) | 2003-08-15 | 2012-02-01 | スカーペ テクノロジーズ アクティーゼルスカブ | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム |
US8467904B2 (en) * | 2005-12-22 | 2013-06-18 | Honda Motor Co., Ltd. | Reconstruction, retargetting, tracking, and estimation of pose of articulated systems |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
WO2009047335A1 (en) | 2007-10-12 | 2009-04-16 | Mvtec Software Gmbh | Computer vision cad models |
CN102136139B (zh) * | 2010-01-22 | 2016-01-27 | 三星电子株式会社 | 目标姿态分析装置及其目标姿态分析方法 |
-
2011
- 2011-08-30 US US13/220,851 patent/US8467596B2/en active Active
-
2012
- 2012-07-23 JP JP2012162378A patent/JP6011102B2/ja active Active
- 2012-08-07 CN CN2012102796647A patent/CN103150544A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011138490A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Research Laboratories Inc | シーンにおける物体の姿勢を求めるための方法 |
Non-Patent Citations (1)
Title |
---|
JPN6016016361; Bjorn Johansson,Anders Moe: 'Patch-duplets for object recognition and pose estimation' IEEE proceedings of the 2nd Canadian Conference on Computer and Robot Vision , 200505, p9-16, IEEE * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366276B2 (en) | 2016-03-29 | 2019-07-30 | Seiko Epson Corporation | Information processing device and computer program |
EP3226208A1 (en) | 2016-03-29 | 2017-10-04 | Seiko Epson Corporation | Information processing device and computer program |
US10672143B2 (en) | 2016-04-04 | 2020-06-02 | Seiko Epson Corporation | Image processing method for generating training data |
US10402657B2 (en) | 2016-11-15 | 2019-09-03 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm |
US10621751B2 (en) | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
US11557134B2 (en) | 2017-12-12 | 2023-01-17 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm using synthetic images |
US10552665B2 (en) | 2017-12-12 | 2020-02-04 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm using synthetic images |
US10902239B2 (en) | 2017-12-12 | 2021-01-26 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm using synthetic images |
US10970425B2 (en) | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
US10410089B2 (en) | 2018-01-19 | 2019-09-10 | Seiko Epson Corporation | Training assistance using synthetic images |
US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
US10769437B2 (en) | 2018-04-10 | 2020-09-08 | Seiko Epson Corporation | Adaptive sampling of training views |
US10878285B2 (en) | 2018-04-12 | 2020-12-29 | Seiko Epson Corporation | Methods and systems for shape based training for an object detection algorithm |
CN110377148A (zh) * | 2018-04-12 | 2019-10-25 | 精工爱普生株式会社 | 计算机可读介质、训练对象检测算法的方法及训练设备 |
CN110377148B (zh) * | 2018-04-12 | 2023-05-12 | 精工爱普生株式会社 | 计算机可读介质、训练对象检测算法的方法及训练设备 |
US10634918B2 (en) | 2018-09-06 | 2020-04-28 | Seiko Epson Corporation | Internal edge verification |
Also Published As
Publication number | Publication date |
---|---|
CN103150544A (zh) | 2013-06-12 |
JP6011102B2 (ja) | 2016-10-19 |
US20130051626A1 (en) | 2013-02-28 |
US8467596B2 (en) | 2013-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6011102B2 (ja) | 物体姿勢推定方法 | |
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
CN108369741B (zh) | 用于配准数据的方法和系统 | |
US8860760B2 (en) | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene | |
JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
EP3401815A1 (en) | Determining an architectural layout | |
JP2011198349A (ja) | 情報処理方法及びその装置 | |
WO2020152927A1 (ja) | 学習用データ生成方法、学習用データ生成装置、および、推論処理方法 | |
EP3185212B1 (en) | Dynamic particle filter parameterization | |
WO2021114776A1 (en) | Object detection method, object detection device, terminal device, and medium | |
CN112287730A (zh) | 姿态识别方法、装置、系统、存储介质及设备 | |
JP2018173882A (ja) | 情報処理装置、方法、及びプログラム | |
JP2012113438A (ja) | 姿勢推定装置および姿勢推定プログラム | |
JP6016242B2 (ja) | 視点推定装置及びその分類器学習方法 | |
CN113052907A (zh) | 一种动态环境移动机器人的定位方法 | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
Jin et al. | DOPE++: 6D pose estimation algorithm for weakly textured objects based on deep neural networks | |
WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
CN114494857A (zh) | 一种基于机器视觉的室内目标物识别和测距方法 | |
KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
CN115482285A (zh) | 图像对齐方法、装置、设备及存储介质 | |
KR102382883B1 (ko) | 3차원 손 자세 인식 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150706 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160609 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160613 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6011102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |