JP2015526692A - 奥行きセンサベース反射物体の形状取得方法及び装置 - Google Patents
奥行きセンサベース反射物体の形状取得方法及び装置 Download PDFInfo
- Publication number
- JP2015526692A JP2015526692A JP2015511361A JP2015511361A JP2015526692A JP 2015526692 A JP2015526692 A JP 2015526692A JP 2015511361 A JP2015511361 A JP 2015511361A JP 2015511361 A JP2015511361 A JP 2015511361A JP 2015526692 A JP2015526692 A JP 2015526692A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image
- value
- depth value
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000002131 composite material Substances 0.000 claims abstract description 107
- 230000002093 peripheral effect Effects 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims description 19
- 230000001419 dependent effect Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 229920006395 saturated elastomer Polymers 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims 1
- 239000000463 material Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
IVIは視点独立画素で、IVDは視点依存画素であってもよい。pは奥行き値、αは値が大きくなるほど滑らかな表面を示し、値が小さくなるほど粗い表面を示す材の表面粗さ、ρSは視点依存反射係数であり、一実施形態によれば、反射係数、ρdは視点独立反射係数であり、一実施形態によれば、乱反射係数を示してもよい。ここで、αは数式(1)で使用した記号αと異なる意味で用いられてもよい。
1510:合成画像入力部
1520:合成画像較正部
1530:合成画像エラー検出部
1540:合成画像補正部
Claims (24)
- 反射物体の形状を取得する方法であって、
奥行き画像及びIR強度画像のうち少なくとも1つを含む合成画像が入力されるステップと、
前記合成画像を較正(キャリブレーション)するステップと、
前記較正された合成画像からエラー領域を検出するステップと、
前記合成画像の較正に基づいて前記エラー領域の損失した奥行き値を補正するステップと、
を含む反射物体の形状を取得する方法。 - 前記エラー領域の損失した奥行き値を補正するステップは、
前記合成画像から視点独立画素と視点依存画素とを分離して前記合成画像を前記視点独立画素と前記視点依存画素との合計で表すステップと、
前記視点独立画素と前記視点依存画素に各々他の反射モデルを適用するステップと、
を含む、請求項1に記載の反射物体の形状を取得する方法。 - 前記合成画像を較正するステップは、
格子パターンから抽出した特徴点の間のマッチングによってカメラ較正を行うステップを含む、請求項1又は2に記載の反射物体の形状を取得する方法。 - 前記合成画像は、
M個の視点画像であり、Mは2以上の自然数であり、
前記較正された合成画像からエラー領域を検出するステップは、
前記合成画像から3DポイントのM個の奥行き値に対する分布図を算出するステップを含む、請求項1乃至3のいずれか一項に記載の反射物体の形状を取得する方法。 - 前記合成画像から3DポイントのM個の奥行き値に対する分布図を算出するステップは、
前記3Dポイント周辺の隣の3Dポイントで観測されたM個の奥行き値に対する分布図を算出するステップを含む、請求項4に記載の反射物体の形状を取得する方法。 - 前記較正された合成画像からエラー領域を検出するステップは、
前記分布図で多重ピークが存在する3Dポイントを検出して前記3Dポイントをエラー領域に決定するステップを含む、請求項4又は5に記載の反射物体の形状を取得する方法。 - 前記分布図は、
K平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングによって算出され、
前記エラー領域の損失した奥行き値を補正するステップは、
前記K平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングに係る複数のクラスタから主要クラスタを決定するステップと、
前記主要クラスタ内のサンプルの任意の値、平均値、加重和または中央値を用いて前記3Dポイントの奥行き値を決定するステップと、
前記決定された奥行き値で前記損失した値を置換えるステップと、
を含む、請求項4乃至6のいずれか一項に記載の反射物体の形状を取得する方法。 - 前記K平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングに係る複数のクラスタから主要クラスタを決定するステップは、
複数のクラスタ中の内部に属したサンプルの数が多く、バリエイションが少ないクラスタを主要クラスタに決定するステップを含む、請求項7に記載の反射物体の形状を取得する方法。 - 反射物体の形状を取得する方法において、
奥行き画像が入力されるステップと、
前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップと、
前記推定に基づいて前記損失した奥行き値を補正するステップと、
を含む反射物体の形状を取得する方法。 - 前記奥行き画像は、
前記損失した奥行き値を含む地点を中心とする領域で定義されるローカル領域を含む、請求項9に記載の反射物体の形状を取得する方法。 - 前記奥行き画像は、
飽和形態で値が出力される現象が生じた奥行き画像である、請求項9又は10に記載の反射物体の形状を取得する方法。 - 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
前記ローカル領域の平均に対して前記損失した奥行き値の類似性を保つように前記損失した奥行き値を推定するステップを含む、請求項9乃至11のいずれか一項に記載の反射物体の形状を取得する方法。 - 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
前記損失した奥行き値が周辺画素との関係で連続性を保つように前記損失した奥行き値を推定するステップを含む、請求項9乃至11のいずれか一項に記載の反射物体の形状を取得する方法。 - 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
前記損失した奥行き値が前記奥行き画像内のパターンに対して周期性を保つように前記損失した奥行き値を推定するステップを含む、請求項9乃至11のいずれか一項に記載の反射物体の形状を取得する方法。 - 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
ローカル領域の平均に対して前記損失した奥行き値の類似性、周辺画素との関係で連続性及び前記奥行き画像内のパターンの周期性を保つように前記損失した奥行き値を推定するステップと、
前記類似性、前記連続性、及び前記周期性に対して各々重みを付与して全体のコストが最も少ない値に前記損失した奥行き値を決定するステップと、
を含む、請求項9乃至11のいずれか一項に記載の反射物体の形状を取得する方法。 - 奥行き画像及びIR強度画像のうち少なくとも1つを含む合成画像が入力される合成画像入力部と、
前記合成画像を較正する合成画像較正部と、
前記較正された合成画像からエラー領域を検出する合成画像エラー検出部と、
前記合成画像較正部による前記合成画像の較正に基づいて前記エラー領域の損失した奥行き値を補正する合成画像補正部と、
を含む反射物体の形状を取得する装置。 - 前記合成画像は、
M個の視点画像であり、Mは2以上の自然数であり
前記合成画像エラー検出部は、
前記合成画像から3DポイントのM個の奥行き値及び前記3Dポイント周辺の隣の3Dポイントで観測されたM個の奥行き値に対する分布図を算出する合成画像分布図算出部を含む、請求項16に記載の反射物体の形状を取得する装置。 - 前記合成画像分布図算出部は、
K平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングによって前記分布図を算出し、
前記合成画像補正部は、
前記K平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングに係る複数のクラスタ中の内部に属したサンプルの数が多く、バリエイションが少ないクラスタを主要クラスタに決定する主要クラスタ決定部と、
前記主要クラスタ内のサンプルの任意の値、平均、加重和または中央値を用いて前記3Dポイントの奥行き値を決定する合成値決定部と、
前記決定された奥行き値で前記損失した値を置換える合成値置換部と、
を含む、請求項17に記載の反射物体の形状を取得する装置。 - 奥行き画像が入力される単一視点奥行き画像入力部と、
前記奥行き画像でローカル領域内の周辺値との関連性を基に損失した奥行き値を推定する単一視点奥行き値推定部と、
前記単一視点奥行き値推定部の前記推定に基づいて前記損失した奥行き値を補正する単一視点奥行き値補正部と、
を含む反射物体の形状を取得する装置。 - 前記単一視点奥行き値推定部は、
ローカル領域の平均に対して前記損失した奥行き値の類似性、周辺画素との関係で連続性及び前記奥行き画像内のパターンに対して周期性を保つように前記損失した奥行き値を推定し、
ここで前記装置は、
前記類似性、前記連続性、及び前記周期性に対して各々重みを付与して全体のコストが最も少ない値に前記損失した奥行き値を決定する単一視点奥行き値決定部をさらに含む、請求項19に記載の反射物体の形状を取得する装置。 - 少なくとも1つ以上のプロセッサ実行部を制御するプロセッサと、
奥行き画像で置換えられる奥行き値を決定する奥行き値推定部と、
周辺奥行き値に基づいて取得された値を奥行き値に変える奥行き値補正部と、
を含む3D奥行き検出カメラ。 - 多視点のIR強度画像及び奥行き画像のうち少なくとも1つを含む合成画像の入力を受信するステップと、
前記多視点の特徴点をマッチングすることによって合成画像を較正されたステップと、
前記較正された合成画像でエラー領域を検出するステップと、
前記合成画像の較正に基づいて決定されたエラー領域に対応する地点の視点から取得された奥行き値を用いて前記エラー領域の損失した奥行き値を補正するステップと、
を含む反射物体の形状を取得する方法。 - 請求項22の方法を実行する少なくとも1つのプロセッサを制御するコンピュータ読み出し可能コードを含む非一時的な格納媒体。
- 少なくとも1つのプロセッサ実行部を制御するプロセッサと、
前記合成画像を較正された合成画像較正部と、
前記合成画像の較正に基づいて視点で置換えられる奥行き値を検出する合成画像エラー検出部と、
前記合成画像の他の視点で置換えられる奥行き値に対応する各地点から地点の奥行き値を測定する合成画像測定部と、
前記合成画像測定部によって測定された地点の奥行き値に基づいて置換えられる前記奥行き値を補正する合成画像エラー補正部と、
を含む合成画像で奥行き値を復元する装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0122345 | 2012-10-31 | ||
KR1020120122345A KR101913321B1 (ko) | 2012-05-10 | 2012-10-31 | 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 |
PCT/KR2013/004008 WO2013168996A1 (en) | 2012-05-10 | 2013-05-08 | Method and apparatus for acquiring geometry of specular object based on depth sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015526692A true JP2015526692A (ja) | 2015-09-10 |
JP6250035B2 JP6250035B2 (ja) | 2017-12-20 |
Family
ID=49534546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015511361A Active JP6250035B2 (ja) | 2012-10-31 | 2013-05-08 | 奥行きセンサベース反射物体の形状取得方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6250035B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016133396A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
WO2021010067A1 (ja) * | 2019-07-17 | 2021-01-21 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US11348335B2 (en) * | 2018-04-05 | 2022-05-31 | Efficiency Matrix Pty Ltd | Computer implemented structural thermal audit systems and methods |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6326510A (ja) * | 1986-07-19 | 1988-02-04 | Fujitsu Ltd | 実装部品検査装置 |
JPH1023311A (ja) * | 1996-07-05 | 1998-01-23 | Canon Inc | 画像情報入力方法及び装置 |
JP2009288235A (ja) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Research Laboratories Inc | 物体の姿勢を求める方法及び装置 |
US20110254923A1 (en) * | 2010-04-19 | 2011-10-20 | Samsung Electronics Co., Ltd. | Image processing apparatus, method and computer-readable medium |
US20110310376A1 (en) * | 2009-11-13 | 2011-12-22 | Samsung Electronics Co., Ltd. | Apparatus and method to correct image |
JP2012002615A (ja) * | 2010-06-16 | 2012-01-05 | Ihi Corp | アンバランス量測定方法と装置 |
-
2013
- 2013-05-08 JP JP2015511361A patent/JP6250035B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6326510A (ja) * | 1986-07-19 | 1988-02-04 | Fujitsu Ltd | 実装部品検査装置 |
JPH1023311A (ja) * | 1996-07-05 | 1998-01-23 | Canon Inc | 画像情報入力方法及び装置 |
JP2009288235A (ja) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Research Laboratories Inc | 物体の姿勢を求める方法及び装置 |
US20110310376A1 (en) * | 2009-11-13 | 2011-12-22 | Samsung Electronics Co., Ltd. | Apparatus and method to correct image |
US20110254923A1 (en) * | 2010-04-19 | 2011-10-20 | Samsung Electronics Co., Ltd. | Image processing apparatus, method and computer-readable medium |
JP2012002615A (ja) * | 2010-06-16 | 2012-01-05 | Ihi Corp | アンバランス量測定方法と装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016133396A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
US11348335B2 (en) * | 2018-04-05 | 2022-05-31 | Efficiency Matrix Pty Ltd | Computer implemented structural thermal audit systems and methods |
WO2021010067A1 (ja) * | 2019-07-17 | 2021-01-21 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6250035B2 (ja) | 2017-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101913321B1 (ko) | 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 | |
CN109477710B (zh) | 基于点的结构化光系统的反射率图估计 | |
TWI536318B (zh) | 深度測量之品質提升 | |
EP2072947B1 (en) | Image processing device and image processing method | |
JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
US8988317B1 (en) | Depth determination for light field images | |
EP2071280B1 (en) | Normal information generating device and normal information generating method | |
US11375165B2 (en) | Image calibration for projected images | |
WO2016181687A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
EP3594617B1 (en) | Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program | |
KR20130099735A (ko) | 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법 | |
US20220215509A1 (en) | Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering | |
KR20170035844A (ko) | 타임 오브 플라이트 데이터를 비닝하는 방법 | |
JP6250035B2 (ja) | 奥行きセンサベース反射物体の形状取得方法及び装置 | |
Schramm et al. | Data fusion for 3D thermal imaging using depth and stereo camera for robust self-localization | |
US10134136B2 (en) | Image processing apparatus and image processing method | |
JP2019100969A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
Vaida et al. | Automatic extrinsic calibration of LIDAR and monocular camera images | |
US20230419524A1 (en) | Apparatus and method for processing a depth map | |
US11195290B2 (en) | Apparatus and method for encoding in structured depth camera system | |
JP2010107224A (ja) | 位置特定装置及び異動建物検出装置 | |
Sun et al. | Stripes extraction technique of projection pattern in frequency domain for 3D shape measurement based pattern projection technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6250035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |