JP2011242183A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2011242183A JP2011242183A JP2010112753A JP2010112753A JP2011242183A JP 2011242183 A JP2011242183 A JP 2011242183A JP 2010112753 A JP2010112753 A JP 2010112753A JP 2010112753 A JP2010112753 A JP 2010112753A JP 2011242183 A JP2011242183 A JP 2011242183A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- dimensional
- image
- correspondence
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
【解決手段】画像処理装置10と、カメラ28と、プロジェクタ24と、プロジェクタ26とで、3次元空間中に存在する物体30の2次元画像を撮影し、撮影された2次元画像から物体の3次元形状を復元している。プロジェクタ24は物体30に対して横方向のパターンを照射し、プロジェクタ26は物体30に対して縦方向のパターンを照射している。そして、これらのパターンが物体30で反射したパターン光をカメラ28で撮影することで2次元画像を取得し、この2次元画像から画像処理装置10により3次元画像を復元している。
【選択図】図1
Description
図1を参照して、本発明の実施の形態に係る画像処理装置10の構成を説明する。図1(A)は本形態による装置全体の一例を示す図であり、図1(B)は画像処理装置10の構成を示す図である。
上記構成の画像処理装置10を用いて2次元画像に映し出された物体の3次元形状を復元する方法を以下に説明する。
パターン平面pを
次に、デブルーイン系列を用いた精度向上に関して説明する。上記したように、線型連立方程式から、検出された曲線を含むパターン平面の3次元位置を一意に決定できる。しかし、実際には、画像処理における誤差の影響で誤った線およびグリッドポイントが検出された場合、得られる解に誤差が生じることが生じる。そこで本形態では、デブルーイン系列によって曲線に付けられた周期的な線IDを利用して、解の誤差を修正する。本形態ではカメラとプロジェクタは校正済みであると仮定しているため、プロジェクターから投影されるパターン平面のパラメータと、それぞれの平面のデブルーイン系列の線IDは既知である。このとき、可能な解はこれらの平面に対して面の位置と線IDが一致するものに限られる。この原理を利用して解の修正を行う。具体的には、上記で得られた検出された曲線についての解の周辺で、投影パターンのIDが一致するものと対応させ、各交点の条件である式(5)が成立しているかどうかを調べる。この条件は、実際には2枚の平面の交線をカメラに投影したものと、検出されたグリッドポイントとの画像上での距離が0であることを表す。そこで、これらの距離を各グリッドポイントについて求め、それらの二乗和を求め、それが小さい解を選べば良い。
本形態では、上記した本形態の画像処理装置および画像処理方法を用いた実験結果を説明する。
(方法A):グリッドポイントから得られる拘束のみの利用
(方法B):グリッドポイントと隣接情報の拘束の利用
(方法C):グリッドポイントと隣接情報の拘束に加え、線IDを用いた解修正の利用
復元した点データを2つの平面に当てはめ、面当てはめの二乗平均平方根誤差(root mean square error、 RMSE)と2面間の角度を評価した。実験環境においてカメラから観測対象までの距離は1.6mであった。
12 画像処理部
12A 第1計算部
12B 第2計算部
12C 第3計算部
14 制御部
16 入力部
18 記憶部
20 表示部
22 操作部
24 プロジェクタ
26 プロジェクタ
28 カメラ
30 物体
Claims (12)
- 2次元画像から3次元形状を復元する画像処理装置であり、
前記2次元画像は、3次元空間に存在する物体に対して第1パターンを投光する第1投光手段と、前記第1パターンと前記物体の表面で交わる第2パターンを前記物体に対して投光する第2投光手段と、前記物体で反射した前記第1パターン光および前記第2パターン光を撮影して2次元画像を得る撮影手段とで取得され、
前記2次元画像にて前記物体に投影された前記第1パターンである第1曲線と、前記2次元画像にて前記物体に投影された前記第2パターンである第2曲線とを検出し、前記第1曲線と前記第2曲線との交点の座標である交点座標を算出する第1計算部と、
前記交点座標、前記第1投光手段および前記第2投光手段のパラメータ、および前記撮影手段のパラメータから、前記第1曲線と前記第1パターンとの対応である第1対応および、前記第2曲線と前記第2パターンとの対応である第2対応を決定する第2計算部と、
前記第1対応、前記第2対応又はその両方から、第1パターン光および前記第2パターン光が照射された部分の前記物体の3次元座標を算出することで、前記3次元形状を復元する第3計算部と、
を備えることを特徴とする画像処理装置。 - 前記第1投光手段および前記第2投光手段が、複数の線分の画像である第1パターン画像および第2パターン画像を3次元空間に投影する装置であることを特徴とする請求項1に記載の画像処理装置。
- 前記第3計算部では、前記交点座標、前記第1投光手段および前記第2投光手段のパラメータから得られる第1線形方程式を解くことで、前記3次元形状を算出することを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記第3計算部では、前記第1計算部で検出された前記交点座標を制約として、前記各対応を決定する組み合わせ最適化問題として解くことで、前記3次元形状を算出することを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記第1投光手段の軸と前記第2投光手段の軸とが、3次元空間中で交わらないことを特徴とする請求項1から請求項4の何れかに記載の画像処理装置。
- 前記第1パターンあるいは前記第2パターンが3次元空間中で通過する平面の集合が、双対空間中で等間隔に並ぶという第1条件が満たされるように、
前記第1投光手段および前記第2投光手段を配置することを特徴とする請求項1から請求項5の何れかに記載の画像処理装置。 - 前記第1条件が、前記第1投光手段の正面と前記撮影手段から前記第1投光手段への方向ベクトルとが直角になると共に、前記第2投光手段の正面と前記撮影手段から前記第2投光手段への方向ベクトルが直角になる状態で、前記2次元画像を取得することで満たされることを特徴とする請求項6に記載の画像処理装置。
- 前記第1パターンまたは前記第2パターンには、個々の前記パターンを幾つかのクラスに識別可能な識別情報が付与されており、
前記第3計算部では、前記識別情報と前記第1パターンまたは前記第2パターンのクラスが一致するという制約条件が用いられることを特徴とする請求項1から請求項7の何れかに記載の画像処理装置。 - 前記第1パターンまたは前記第2パターンに含まれるパターンの色を、2色以上とすることにより前記識別情報を持たせることを特徴とする請求項8に記載の画像処理装置。
- 前記第2計算部では、隣接する前記第1パターン同士または隣接する前記第2パターン同士の関係式を用いて前記第1対応あるいは前記第2対応、あるいはその両方を求めることを特徴とする請求項1から請求項9の何れかに記載の画像処理装置。
- 2次元画像から3次元形状を復元する画像処理方法であり、
前記2次元画像は、3次元空間に存在する物体に対して第1パターンを投光する第1投光手段と、前記第1パターンと前記物体の表面で交わる第2パターンを前記物体に対して投光する第2投光手段と、前記物体で反射した前記第1パターン光および前記第2パターン光を撮影して2次元画像を得る撮影手段とで取得され、
前記2次元画像にて前記物体に投影された前記第1パターンである第1曲線と、前記2次元画像にて前記物体に投影された前記第2パターンである第2曲線とを検出し、前記第1曲線と前記第2曲線との交点の座標である交点座標を算出する第1ステップと、
前記交点座標、前記第1投光手段および前記第2投光手段のパラメータ、および前記撮影手段のパラメータから、前記第1曲線と前記第1パターンとの対応である第1対応および、前記第2曲線と前記第2パターンとの対応である第2対応を決定する第2ステップと、
前記第1対応、前記第2対応又はその両方から、第1パターン光および前記第2パターン光が照射された部分の前記物体の3次元座標を算出することで、前記3次元形状を復元する第3ステップと、
を備えることを特徴とする画像処理方法。 - 2次元画像から3次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記2次元画像は、3次元空間に存在する物体に対して第1パターンを投光する第1投光手段と、前記第1パターンと前記物体の表面で交わる第2パターンを前記物体に対して投光する第2投光手段と、前記物体で反射した前記第1パターン光および前記第2パターン光を撮影して2次元画像を得る撮影手段とで取得され、
前記2次元画像にて前記物体に投影された前記第1パターンである第1曲線と、前記2次元画像にて前記物体に投影された前記第2パターンである第2曲線とを検出し、前記第1曲線と前記第2曲線との交点の座標である交点座標を算出する第1機能と、
前記交点座標、前記第1投光手段および前記第2投光手段のパラメータ、および前記撮影手段のパラメータから、前記第1曲線と前記第1パターンとの対応である第1対応および、前記第2曲線と前記第2パターンとの対応である第2対応を決定する第2機能と、
前記第1対応、前記第2対応又はその両方から、第1パターン光および前記第2パターン光が照射された部分の前記物体の3次元座標を算出することで、前記3次元形状を復元する第3機能と、
を実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010112753A JP2011242183A (ja) | 2010-05-17 | 2010-05-17 | 画像処理装置、画像処理方法およびプログラム |
PCT/JP2011/002561 WO2011145285A1 (ja) | 2010-05-17 | 2011-05-09 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010112753A JP2011242183A (ja) | 2010-05-17 | 2010-05-17 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011242183A true JP2011242183A (ja) | 2011-12-01 |
Family
ID=44991408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010112753A Pending JP2011242183A (ja) | 2010-05-17 | 2010-05-17 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011242183A (ja) |
WO (1) | WO2011145285A1 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013024608A (ja) * | 2011-07-15 | 2013-02-04 | Technodream 21 Co Ltd | 3次元形状の取得装置、処理方法およびプログラム |
JP2013205278A (ja) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | 測位用マーカおよび撮像装置の位置・姿勢推定システム |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
JP2014055813A (ja) * | 2012-09-11 | 2014-03-27 | Keyence Corp | 形状測定装置、形状測定方法および形状測定プログラム |
KR101479734B1 (ko) * | 2013-07-26 | 2015-01-06 | 전자부품연구원 | 구조광 패턴 기반의 3차원 형상 측정 시스템 |
KR20150018026A (ko) * | 2013-08-08 | 2015-02-23 | 엘지전자 주식회사 | 3차원 카메라 |
US9441958B2 (en) | 2013-08-12 | 2016-09-13 | Ricoh Company, Ltd. | Device, method, and non-transitory computer-readable recording medium to calculate a parameter for calibration |
JP2017017698A (ja) * | 2015-06-26 | 2017-01-19 | 国立大学法人 鹿児島大学 | 投影システム、投影方法、パターン生成方法及びプログラム |
WO2018139237A1 (ja) * | 2017-01-25 | 2018-08-02 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
JP2020112485A (ja) * | 2019-01-15 | 2020-07-27 | 株式会社小松製作所 | 形状測定装置、形状測定システム、及び形状測定方法 |
WO2021157196A1 (ja) * | 2020-02-04 | 2021-08-12 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータプログラム |
JP2022511257A (ja) * | 2018-10-02 | 2022-01-31 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 格子光パターンを使用する奥行き検知 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860490A4 (en) * | 2012-06-12 | 2016-03-02 | Shima Seiki Mfg | THREE-DIMENSIONAL MEASURING APPARATUS AND THREE-DIMENSIONAL MEASURING METHOD |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61175511A (ja) * | 1985-01-31 | 1986-08-07 | Goro Matsumoto | 立体形状測定装置 |
JP2009300277A (ja) * | 2008-06-13 | 2009-12-24 | Saitama Univ | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63109308A (ja) * | 1986-10-27 | 1988-05-14 | Sharp Corp | チツプ部品の装着検査装置 |
-
2010
- 2010-05-17 JP JP2010112753A patent/JP2011242183A/ja active Pending
-
2011
- 2011-05-09 WO PCT/JP2011/002561 patent/WO2011145285A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61175511A (ja) * | 1985-01-31 | 1986-08-07 | Goro Matsumoto | 立体形状測定装置 |
JP2009300277A (ja) * | 2008-06-13 | 2009-12-24 | Saitama Univ | 画像処理装置、画像処理方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
JPN6009034774; 川崎洋、古川亮: '複数レーザ平面の自己校正による三次元再構成' 電子情報通信学会論文誌 D Vol.J90-D,No.8, 20070801, p.1848-1857, 社団法人電子情報通信学会 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013024608A (ja) * | 2011-07-15 | 2013-02-04 | Technodream 21 Co Ltd | 3次元形状の取得装置、処理方法およびプログラム |
JP2013205278A (ja) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | 測位用マーカおよび撮像装置の位置・姿勢推定システム |
US9633439B2 (en) | 2012-07-30 | 2017-04-25 | National Institute Of Advanced Industrial Science And Technology | Image processing system, and image processing method |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
CN104541127A (zh) * | 2012-07-30 | 2015-04-22 | 独立行政法人产业技术综合研究所 | 图像处理系统以及图像处理方法 |
JPWO2014020823A1 (ja) * | 2012-07-30 | 2016-07-21 | 国立研究開発法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
JP2014055813A (ja) * | 2012-09-11 | 2014-03-27 | Keyence Corp | 形状測定装置、形状測定方法および形状測定プログラム |
KR101479734B1 (ko) * | 2013-07-26 | 2015-01-06 | 전자부품연구원 | 구조광 패턴 기반의 3차원 형상 측정 시스템 |
KR20150018026A (ko) * | 2013-08-08 | 2015-02-23 | 엘지전자 주식회사 | 3차원 카메라 |
KR102085705B1 (ko) | 2013-08-08 | 2020-03-06 | 엘지전자 주식회사 | 3차원 카메라 |
US9441958B2 (en) | 2013-08-12 | 2016-09-13 | Ricoh Company, Ltd. | Device, method, and non-transitory computer-readable recording medium to calculate a parameter for calibration |
JP2017017698A (ja) * | 2015-06-26 | 2017-01-19 | 国立大学法人 鹿児島大学 | 投影システム、投影方法、パターン生成方法及びプログラム |
WO2018139237A1 (ja) * | 2017-01-25 | 2018-08-02 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
JPWO2018139237A1 (ja) * | 2017-01-25 | 2019-07-04 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
CN110214262A (zh) * | 2017-01-25 | 2019-09-06 | 国立研究开发法人产业技术综合研究所 | 图像处理方法 |
US11076093B2 (en) | 2017-01-25 | 2021-07-27 | National Institute Of Advanced Industrial Science And Technology | Image processing method |
JP2022511257A (ja) * | 2018-10-02 | 2022-01-31 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 格子光パターンを使用する奥行き検知 |
JP2020112485A (ja) * | 2019-01-15 | 2020-07-27 | 株式会社小松製作所 | 形状測定装置、形状測定システム、及び形状測定方法 |
JP7187330B2 (ja) | 2019-01-15 | 2022-12-12 | 株式会社小松製作所 | 形状測定装置、形状測定システム、及び形状測定方法 |
WO2021157196A1 (ja) * | 2020-02-04 | 2021-08-12 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2011145285A1 (ja) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011145285A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
Zhang | Camera calibration with one-dimensional objects | |
JP5029618B2 (ja) | パターン投影法による3次元形状計測装置、方法およびプログラム | |
US8452081B2 (en) | Forming 3D models using multiple images | |
US8447099B2 (en) | Forming 3D models using two images | |
JP5317169B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
US20130106833A1 (en) | Method and apparatus for optical tracking of 3d pose using complex markers | |
JP6097903B2 (ja) | 3次元形状の取得装置、処理方法およびプログラム | |
Furukawa et al. | One-shot entire shape acquisition method using multiple projectors and cameras | |
da Silveira et al. | Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications | |
JP6285686B2 (ja) | 視差画像生成装置 | |
Coudrin et al. | An innovative hand-held vision-based digitizing system for 3D modelling | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
CN105096314A (zh) | 基于二值网格模板的结构光动态场景深度获取方法 | |
US20200041262A1 (en) | Method for performing calibration by using measured data without assumed calibration model and three-dimensional scanner calibration system for performing same | |
Zhao et al. | Geometrical-analysis-based algorithm for stereo matching of single-lens binocular and multi-ocular stereovision system | |
JP6671589B2 (ja) | 3次元計測システム、3次元計測方法及び3次元計測プログラム | |
Tran et al. | Accurate RGB-D camera based on structured light techniques | |
Bender et al. | A Hand-held Laser Scanner based on Multi-camera Stereo-matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130517 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130517 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130711 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130711 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20141010 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141217 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150526 |