JP2010231780A - 鏡面反射物体の3d姿勢を推定する方法 - Google Patents
鏡面反射物体の3d姿勢を推定する方法 Download PDFInfo
- Publication number
- JP2010231780A JP2010231780A JP2010049344A JP2010049344A JP2010231780A JP 2010231780 A JP2010231780 A JP 2010231780A JP 2010049344 A JP2010049344 A JP 2010049344A JP 2010049344 A JP2010049344 A JP 2010049344A JP 2010231780 A JP2010231780 A JP 2010231780A
- Authority
- JP
- Japan
- Prior art keywords
- image
- specular
- pose
- cost function
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】方法が、環境内の3D鏡面反射物体の3D姿勢を推定する。前処理ステップにおいて、物体の3Dモデル及び該物体の姿勢のセットを使用して2D基準画像対のセットを生成する。各基準画像対は姿勢のうちの1つに関連付けられる。次に、物体の2D入力画像対を取得する。2D入力画像対内の特徴と各2D基準画像対内の特徴とを、概算コスト関数を使用して比較することによって物体の大まかな3D姿勢を推定する。概算推定値を、精密コスト関数を使用して精緻化する。
【選択図】図1
Description
3次元(3D)姿勢推定は、物体のロケーション(並進)及び角度配向を求める。一般的な姿勢推定方法は、2Dテクスチャ画像及び3D距離画像のような幾つかの手掛りに依存する。テクスチャ画像に基づく方法は、テクスチャが環境の変動に対し不変であると仮定する。しかしながら、この仮定は、激しい照度の変化又は陰影が存在する場合には真でない。これらの方法によって鏡面反射性の物体を扱うことができない。
図1に示すように、物体の3D姿勢を推定する前に、球体の鏡状物体を配置することによって、環境102の一対の環境マップEL及びES111を取得する(110)。これらのマップはそれぞれ、たとえば約1/4秒及び1/60秒の長時間露光及び短時間露光を有する。同じ長時間露光及び短時間露光において、入力画像IL及びIS131を取得する(130)。
基準鏡面反射画像の生成
物体の3Dモデル121及び一対の環境マップIL及びIS111から、物体の可能性のある姿勢に対応する多数の所定の姿勢122に関して基準画像125が生成される。
通常、鏡面反射画像はハイライト画素と非ハイライト画素とを含む。ハイライト画素は、ランプ又は窓のような高強度の入射光を有する光源に対応する。したがって、画素値は通常飽和している。
第2項C2()は全鏡面反射画素を考察する。
大まかな姿勢推定のための全体方法は以下の通りである。まず、基準鏡面反射画像125が生成される。可能性のある姿勢122毎に、最適並進パラメータが得られる。滑降シンプレックス法のための初期点として、入力画像の任意の3つの端点が使用される。制御パラメータλが0から1に変更される。これは、並進が、ハイライト画素のみを使用して大まかに最適化され、また、その後、全鏡面反射画素の考察もすることによって精緻化されることを意味する。並進最適化の後、多くの並進最適化姿勢及びそれらに関連付けられるコスト値が存在する。最小コスト値は、最適回転パラメータ
大まかな姿勢141を推定した(140)後、姿勢パラメータを継続して最適化することによって、該姿勢パラメータをさらに精緻化する(150)ことができる。並進姿勢は大まかな姿勢推定における滑降シンプレックス法によって既に継続して最適化されているため、以下のコスト関数149を使用して回転姿勢のみを精緻化すればよい。
図2は、オプティカルフローがマッチングのための特徴として使用される方法を示す。通常、オプティカルフローは、カメラと環境との間の相対的な動きによって生じる、環境内の明示的な動きのパターンである。この実施形態では、オプティカルフローは、環境の動きによって引き起こされると想定される。既知の方向、たとえばカメラ103の観察方向を中心とした環境の定義済みの小さな回転によって2つの入力画像を生成する(210)。次に、これらの2つの画像間の鏡面反射フローを求めて、各画素に関する2D変位ベクトルを含む入力鏡面反射画像I231を得る。ブロックマッチング法を使用して鏡面反射フローを求める。
基準鏡面反射フローの生成
大まかな姿勢推定240のために、上述したようにロケーション(0,0,Z0)及び様々な姿勢122に関して2つの鏡面反射画像を生成する(220)が、今回は、わずかに、たとえば±5度回転している色分けされた環境マップを使用する。色分けされた環境によって、2つの画像間の正確な画素の対応を求めることが可能になる。結果としてのオプティカルフロー画像を使用して基準画像R225を生成する。
基準画像225を取得された(230)入力鏡面反射フロー画像I231と比較し、コスト関数239を最小化することによって大まかな3D姿勢241を推定する(240)。
動き分割は、各画素に関して非ゼロ鏡面反射フローが存在するか否かを指示する二値画像として定義される。DI及びDRは入力画像I231及び基準鏡面反射フロー画像R225の動き分割から構築される距離変換画像を表すものとする。コスト関数C1()は以下となる。
式(6)における第2コスト項C2()は、入力画像I(u,v)231を並進された基準画像R225と比較することによって構築される。実際の用途におけるノイズが多くテクスチャのない領域に起因して、入力画像は多くの異常値を含む。異常値画素は、画像内の他の(異常値でない(inlier))画素と整合しない画素である。したがって、差分二乗和(SSD)のような単純なマッチングコストは良好に機能しない。そうではなく、コスト関数は異常値でない画素の数に基づく。
鏡面反射フローに基づく手法は、鏡面反射強度に基づく手法と同じ全体方法を使用する。基準画像225は、モデル121及び可能性のある姿勢122を使用して生成される。滑降シンプレックス法を使用して基準画像毎に最適な並進が推定される。ここで、制御パラメータは0〜1で変動する。次に、全ての並進最適化された姿勢が比較されて、最適な回転が求められる。
大まかな姿勢241を推定した(240)後、コスト関数249を最小化することによって回転姿勢パラメータを継続して精緻化する(250)。
Claims (22)
- 環境内の3D物体の3D姿勢を推定する方法であって、該物体は鏡面反射表面を有し、該方法はプロセッサによって実施され、該方法は、
前記物体の3Dモデル及び該物体の姿勢のセットを使用して2D基準画像対のセットを生成するステップであって、各該基準画像対は前記姿勢のうちの1つに関連付けられる、生成するステップと、
前記物体の2D入力画像対を取得するステップと、
前記2D入力画像対内の特徴と各前記2D基準画像対内の特徴とを、概算コスト関数を使用して比較することによって、前記物体の大まかな3D姿勢を推定するステップと、
前記大まかな3D姿勢及び精密コスト関数を使用して前記物体の精密な3D姿勢を推定するステップと、
を含む、方法。 - 前記3D姿勢は、3D並進ベクトル(X,Y,Z)及び配向に関する3Dオイラー角(μ,φ,σ)によって定義される、請求項1に記載の方法。
- 前記オイラー角は、約25000個の姿勢に関して均一に且つ高密度でサンプリングされる、請求項2に記載の方法。
- 前記特徴は鏡面反射強度である、請求項1に記載の方法。
- 前記基準鏡面反射強度は、鏡の双方向反射分布関数を使用することによって生成される、請求項4に記載の方法。
- 前記方法は、
前記物体を有しない前記環境内に鏡状球体を配置すること、
前記環境の環境画像対を取得すること、及び
前記環境内の照度をモデリングする2Dプレノプティック関数を使用して前記環境画像対から環境マップを構築することであって、前記基準画像対のセットは該環境マップから生成される、構築すること、
をさらに含む、請求項4に記載の方法。 - 前記画像対は短時間S露光画像及び長時間L露光画像を含み、前記長時間露光は前記短時間露光の約15倍である、請求項4に記載の方法。
- 前記短時間露光は約1/60秒であり、前記長時間露光は約1/4秒である、請求項7に記載の方法。
- C1()に対してハイライト画素が使用され、該ハイライト画素は、二値化処理を行って対応する二値画像を作成することによって求められ、前記方法は、
前記二値画像及び距離変換から、対応する基準距離画像DR及び入力距離画像DIを構築することをさらに含む、請求項10に記載の方法。 - 前記特徴は鏡面反射フローである、請求項1に記載の方法。
- 前記鏡面反射フローは、前記2D画像を取得するカメラの所定の観察方向を中心とした前記環境の回転に起因する、請求項15に記載の方法。
- 前記鏡面反射フローは、ブロックマッチング及び色分けされた環境マップを使用して求められる、請求項15に記載の方法。
- 前記回転は約±5度である、請求項16に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/412,452 | 2009-03-27 | ||
US12/412,452 US8217961B2 (en) | 2009-03-27 | 2009-03-27 | Method for estimating 3D pose of specular objects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010231780A true JP2010231780A (ja) | 2010-10-14 |
JP5484133B2 JP5484133B2 (ja) | 2014-05-07 |
Family
ID=42269465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010049344A Expired - Fee Related JP5484133B2 (ja) | 2009-03-27 | 2010-03-05 | 鏡面反射物体の3d姿勢を推定する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8217961B2 (ja) |
EP (1) | EP2234064B1 (ja) |
JP (1) | JP5484133B2 (ja) |
AT (1) | ATE532152T1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015132981A1 (ja) * | 2014-03-03 | 2015-09-11 | 三菱電機株式会社 | 位置測定装置及び位置測定方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8437537B2 (en) * | 2009-03-27 | 2013-05-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for estimating 3D pose of specular objects |
JP5839971B2 (ja) * | 2010-12-14 | 2016-01-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN103177269B (zh) * | 2011-12-23 | 2017-12-15 | 北京三星通信技术研究有限公司 | 用于估计对象姿态的设备和方法 |
US9142018B2 (en) * | 2012-01-17 | 2015-09-22 | Sunnybrook Health Sciences Centre | Method for three-dimensional localization of an object from a two-dimensional medical image |
US8913825B2 (en) * | 2012-07-16 | 2014-12-16 | Mitsubishi Electric Research Laboratories, Inc. | Specular edge extraction using multi-flash imaging |
JP5740370B2 (ja) | 2012-09-04 | 2015-06-24 | 株式会社東芝 | 領域特定装置、方法、及びプログラム |
JP6126437B2 (ja) | 2013-03-29 | 2017-05-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
EP3391330B1 (en) * | 2015-12-16 | 2020-02-05 | InterDigital CE Patent Holdings | Method and device for refocusing at least one plenoptic video |
CN111311632B (zh) * | 2018-12-11 | 2023-12-01 | 深圳市优必选科技有限公司 | 一种物体位姿跟踪方法、装置及设备 |
CN111127547A (zh) * | 2019-12-17 | 2020-05-08 | 北京迈格威科技有限公司 | 定位方法、装置、机器人及存储介质 |
CN112747671B (zh) * | 2020-12-10 | 2022-12-09 | 杭州先临天远三维检测技术有限公司 | 三维检测系统和三维检测方法 |
WO2022241574A1 (en) * | 2021-05-20 | 2022-11-24 | Eigen Innovations Inc. | Texture mapping to polygonal models for industrial inspections |
WO2024059953A1 (en) * | 2022-09-23 | 2024-03-28 | Eigen Innovations Inc. | Inspection camera deployment solution |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003203220A (ja) * | 2002-01-07 | 2003-07-18 | Canon Inc | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
JP2008269572A (ja) * | 2007-04-23 | 2008-11-06 | Mitsubishi Electric Research Laboratories Inc | レンジ画像から物体の姿勢を求める方法及びシステム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5870486A (en) * | 1991-12-11 | 1999-02-09 | Texas Instruments Incorporated | Method of inferring sensor attitude through multi-feature tracking |
EP1039417B1 (en) * | 1999-03-19 | 2006-12-20 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for the processing of images based on morphable models |
US6975750B2 (en) * | 2000-12-01 | 2005-12-13 | Microsoft Corp. | System and method for face recognition using synthesized training images |
JP4573085B2 (ja) * | 2001-08-10 | 2010-11-04 | 日本電気株式会社 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
US7756325B2 (en) * | 2005-06-20 | 2010-07-13 | University Of Basel | Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object |
US7536030B2 (en) * | 2005-11-30 | 2009-05-19 | Microsoft Corporation | Real-time Bayesian 3D pose tracking |
US7844106B2 (en) | 2007-04-23 | 2010-11-30 | Mitsubishi Electric Research Laboratories, Inc | Method and system for determining poses of objects from range images using adaptive sampling of pose spaces |
US8437537B2 (en) * | 2009-03-27 | 2013-05-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for estimating 3D pose of specular objects |
-
2009
- 2009-03-27 US US12/412,452 patent/US8217961B2/en not_active Expired - Fee Related
-
2010
- 2010-03-05 JP JP2010049344A patent/JP5484133B2/ja not_active Expired - Fee Related
- 2010-03-25 EP EP10003180A patent/EP2234064B1/en not_active Not-in-force
- 2010-03-25 AT AT10003180T patent/ATE532152T1/de active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003203220A (ja) * | 2002-01-07 | 2003-07-18 | Canon Inc | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
JP2008269572A (ja) * | 2007-04-23 | 2008-11-06 | Mitsubishi Electric Research Laboratories Inc | レンジ画像から物体の姿勢を求める方法及びシステム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015132981A1 (ja) * | 2014-03-03 | 2015-09-11 | 三菱電機株式会社 | 位置測定装置及び位置測定方法 |
JP6067175B2 (ja) * | 2014-03-03 | 2017-01-25 | 三菱電機株式会社 | 位置測定装置及び位置測定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5484133B2 (ja) | 2014-05-07 |
ATE532152T1 (de) | 2011-11-15 |
EP2234064B1 (en) | 2011-11-02 |
US20100245355A1 (en) | 2010-09-30 |
US8217961B2 (en) | 2012-07-10 |
EP2234064A1 (en) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5484133B2 (ja) | 鏡面反射物体の3d姿勢を推定する方法 | |
US8437537B2 (en) | Method and system for estimating 3D pose of specular objects | |
KR101974651B1 (ko) | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 | |
Lysenkov et al. | Recognition and pose estimation of rigid transparent objects with a kinect sensor | |
JP5455873B2 (ja) | シーンにおける物体の姿勢を求めるための方法 | |
CN110880185A (zh) | 基于条纹投影的高精度动态实时360度全方位点云获取方法 | |
JP5043023B2 (ja) | 画像処理方法および装置 | |
US20190188871A1 (en) | Alignment of captured images by fusing colour and geometrical information | |
KR20220132617A (ko) | 포즈 검출 및 측정을 위한 시스템들 및 방법들 | |
Choe et al. | Exploiting shading cues in kinect ir images for geometry refinement | |
JP2005115946A (ja) | Helmholtz相互画像ペアを用いた表面再構成及びレジストレーション | |
JP2009288235A (ja) | 物体の姿勢を求める方法及び装置 | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
Zhu et al. | Video-based outdoor human reconstruction | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
Mecca et al. | Luces: A dataset for near-field point light source photometric stereo | |
Park et al. | Surface light field fusion | |
JP5441752B2 (ja) | 環境内の3d物体の3d姿勢を推定する方法及び装置 | |
Liao et al. | Indoor scene reconstruction using near-light photometric stereo | |
Chang et al. | 3d pose estimation and segmentation using specular cues | |
JP6806160B2 (ja) | 3次元運動評価装置、3次元運動評価方法、及びプログラム | |
Yang et al. | Next-best-view prediction for active stereo cameras and highly reflective objects | |
Kim et al. | Joint estimation of depth, reflectance and illumination for depth refinement | |
Gan et al. | Multi-view photometric stereo using surface deformation | |
Li et al. | 3D reconstruction based on Kinect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5484133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |