JP2016170122A - 計測装置 - Google Patents
計測装置 Download PDFInfo
- Publication number
- JP2016170122A JP2016170122A JP2015051294A JP2015051294A JP2016170122A JP 2016170122 A JP2016170122 A JP 2016170122A JP 2015051294 A JP2015051294 A JP 2015051294A JP 2015051294 A JP2015051294 A JP 2015051294A JP 2016170122 A JP2016170122 A JP 2016170122A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelength region
- wavelength
- light
- test object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 238000005286 illumination Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000000926 separation method Methods 0.000 claims abstract description 12
- 230000004075 alteration Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 22
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000003595 spectral effect Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 4
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】被検物の形状を高精度に計測する計測装置を提供する。
【解決手段】計測装置は、照明部1,2と撮像部3と処理部4とを備える。照明部は、パターン形状を有する第1波長領域の第1光で被検物5を照明し、第1波長領域とは異なる第2波長領域の第2光で被検物を同時に照明する。撮像部は、軸上色収差を有する結像光学系6と、被検物の第1波長領域の像と被検物の第2波長領域の像とを分離する波長分離フィルタ8と、2つの像を撮影する撮像素子7とを含む。処理部は、撮像部から出力された被検物の第1波長領域の第1画像および第2波長領域の第2画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、デコンボリューション処理された一方の画像と、第1画像および第2画像のうちデコンボリューション処理されなかった他方の画像とを用いて、形状の情報を取得する。
【選択図】図3
【解決手段】計測装置は、照明部1,2と撮像部3と処理部4とを備える。照明部は、パターン形状を有する第1波長領域の第1光で被検物5を照明し、第1波長領域とは異なる第2波長領域の第2光で被検物を同時に照明する。撮像部は、軸上色収差を有する結像光学系6と、被検物の第1波長領域の像と被検物の第2波長領域の像とを分離する波長分離フィルタ8と、2つの像を撮影する撮像素子7とを含む。処理部は、撮像部から出力された被検物の第1波長領域の第1画像および第2波長領域の第2画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、デコンボリューション処理された一方の画像と、第1画像および第2画像のうちデコンボリューション処理されなかった他方の画像とを用いて、形状の情報を取得する。
【選択図】図3
Description
本発明は、被検物の形状を計測する計測装置に関する。
近年、工業製品の組立のようなこれまで人間が行ってきた複雑なタスクをロボットが行うようになりつつある。ロボットは、ハンド等のエンドエフェクタによって部品を把持して組立を行う。ロボットによりこのような組立を実現するためには、把持対象部品(ワーク)の位置姿勢を計測することが必要となる。特許文献1には、濃淡画像から得られる計測情報(エッジデータ)と、距離画像から得られる計測情報(距離点群データ)を同時に利用したモデルフィッティングによりワークの位置姿勢を計測する方法が開示されている。特許文献1の計測方法では、濃淡画像上の誤差と距離画像上の誤差がそれぞれ別々の確率分布に従うものとして、最尤推定によって同時利用して位置姿勢を推定する。そのため、高精度かつ初期条件が悪い場合でもより安定的に位置姿勢を推定することが可能となる。
組立工程を高速化するためにロボットを移動させながらワークの位置姿勢を計測する場合、濃淡画像と距離画像の視野ずれを保証するために濃淡画像と距離画像を同時計測しなければならない。この課題を解決する方法として、特許文献2で開示された方法が知られている。特許文献2の計測方法では、波長が異なる濃淡画像用照明部と距離画像用照明部によりワークを同時に照明し、波長分離プリズムによりそれぞれの波長に分割した後、濃淡画像用センサと距離画像用センサを用いて両画像を同時に撮像する。
しかしながら、特許文献2で開示された計測方法では、濃淡画像用と距離画像用でそれぞれセンサが必要となるため、以下のような問題点があった。
(1)複数のセンサを必要とするのでコストが増加する。
(2)複数のセンサを配置する必要があるので計測装置のサイズが大型化する。
(3)濃淡画像と距離画像を別々のセンサで計測するので、センサ間のアライメント誤差や発熱などの温度変動に対する精度安定性に課題がある。
(1)複数のセンサを必要とするのでコストが増加する。
(2)複数のセンサを配置する必要があるので計測装置のサイズが大型化する。
(3)濃淡画像と距離画像を別々のセンサで計測するので、センサ間のアライメント誤差や発熱などの温度変動に対する精度安定性に課題がある。
上記問題を解決するために、カラーカメラを用いて一つのカメラで濃淡画像と距離画像を同時計測してワークの位置姿勢を計測する方法が考えられる。カラーカメラは各画素表面に形成されたカラーフィルタによって分光が可能である。よって、濃淡画像の取得と距離画像の取得に異なる波長を適用する。例えば、濃淡画像の取得に650nmの波長を、距離画像の取得に500nmの波長をそれぞれ使用するアクティブステレオ法を適用する。距離画像の取得に500nmの波長を使用することで、青(450nm)に感度を持つ画素と緑(550nm)に感度を持つ画素の両方の画素で距離画像としてパターン投影画像が取得できる。
一つのカラーカメラを用いて濃淡画像と距離画像を同時に取得する場合、カラーカメラ上のカラーフィルタによる分光特性が重要となる。図1にカラーカメラ上のカラーフィルタの各波長の分光感度の例を示す。それぞれのフィルタの分光感度は広帯域な特性を持つため、単一波長の光束を考えるとRGBのいずれかの画素で検出されるわけでは無く、異なる感度でそれぞれの画素で検出されることになる。一般的にはカラーカメラ上のカラーフィルタ厚は厚膜化することが困難である。このため、光線入射角度が大きくなるにつれ分光性能を向上させることが困難となる。通常、カラーカメラ上に入射する光束は収束光となっているため、光束内光線は部分的にある入射角度を持つ。このように、濃淡画像とパターン投影画像を異なる波長で撮像しても分光感度に応じて双方の画像が混ざり合って検出されてしまうことになる。濃淡画像とパターン画像の双方の画像が混じり合うことをクロストークという。
濃淡画像と距離画像が混在しクロストークが発生すると、パターンをエッジと誤って認識することで計測精度に影響が生じる。図2に濃淡画像とパターン投影画像が混在しクロストークが発生した概略図を示す。図2の(A)の実線は赤波長に対応した画素で取得した理想的な濃淡画像の断面図を示す。この画像に対してエッジ検出処理を行うことで図中の□で示した正しいエッジ位置が求まる。一方、図2の(B)の点線は、赤波長に対応した画素で濃淡画像と距離画像のクロストークが生じた画像の断面図を示す。この画像に対してエッジ検出処理を行うと濃淡画像に上に距離画像が写り込むことで、複数の誤ったエッジが認識されてしまう(図2中の○で示した位置)。このため、誤ったエッジ位置がモデルフィッティング時に影響し大きな位置姿勢誤差が生じてしまう。
本発明は、被検物の形状を高精度に計測する計測装置を提供することを目的とする。
本発明は、被検物の形状を計測する計測装置であって、パターン形状を有する第1波長領域の第1光で前記被検物を照明し、前記第1波長領域とは異なる第2波長領域の第2光で前記被検物を同時に照明する照明部と、前記第1波長領域と前記第2波長領域との間で軸上色収差を有する結像光学系と、前記被検物の前記第1波長領域の像と前記被検物の前記第2波長領域の像とを分離する波長分離フィルタと、前記2つの像を撮影する撮像素子とを含む撮像部と、前記撮像部から出力された前記被検物の前記第1波長領域の第1画像および前記第2波長領域の第2画像を処理する処理部と、を備え、前記処理部は、前記第1画像および前記第2画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、該デコンボリューション処理された一方の画像と、前記第1画像および前記第2画像のうちデコンボリューション処理されなかった他方の画像とを用いて、前記形状の情報を取得することを特徴とする。
本発明によれば、被検物の形状を高精度に計測する計測装置を提供することができる。
以下に、本発明の計測装置の実施形態を添付の図面に基づいて詳細に説明する。図3は、本発明の被検物の三次元形状および二次元形状を計測し、被検物の位置姿勢を計測する計測装置を示す。図3で示される通り、計測装置は、三次元形状画像(距離画像、第1画像)用の照明部(第1照明部)1、二次元形状画像(濃淡画像、第2画像)用の照明部(第2照明部)2、撮像部3、処理部4を含む。本実施形態では、距離画像用の照明部と濃淡画像用の照明部とを別々に構成した。しかし、波長分離フィルタを用いて距離画像用の照明部と濃淡画像用の照明部とを一つの照明部に構成することもできる。
計測装置は、撮像部3により三次元形状画像(距離画像)と二次元形状画像(濃淡画像)を同時に撮像し、処理部4により二つの画像を利用してモデルフィッティングすることにより、ワーク(被検物)5の位置姿勢を計測する。なお、モデルフィッティングは、事前に作成されたワーク5のCADモデルに対して行うものであり、ワーク5の三次元形状が既知であることを前提とする。
以下に、距離画像の取得と濃淡画像の取得の概要をそれぞれ述べる。まず、距離画像の取得について説明する。距離画像は、被検物の表面上の点の三次元情報を示すパターン投影画像であり、各画素が奥行きの情報をもつ。距離画像の取得では、第1照明部1からパターン形状を有する第1波長領域の第1光でワーク5を照明し、第1光により照明されたワーク5の第1波長領域の像を、第1照明部1と異なる方向から撮像部3により撮影する。処理部4は、撮像部3から出力されたワーク5の第1波長領域の画像(第1画像)から三角測量の原理に基づいて距離情報(三次元形状の情報)を算出する。本実施形態では、ワーク5に投影されるパターンは、一枚の第1波長領域の画像(第1画像)から距離情報を算出できるパターンとする。
第1照明部1の照明光学系10は、光源9から射出された光束でマスク11を均一に照明する。マスク11は、ワーク5に投影するパターン形状を描画したものであり、例えば、ガラス基板をクロムメッキすることによりパターン形状が形成されている。第1光のパターン形状は、計測方式により様々である。第1光のパターン形状は、例えば、ドットやスリット(ライン)である。第1光のパターン形状がドットである場合、第1光は、単一のドットであっても、ラインパターンのライン上に座標が識別可能な複数のドットが配置されたドットラインパターンであってもよい。また、第1光のパターン形状がラインである場合、第1光は、1つのラインからなるスリット光であっても、ラインの識別のために個々のライン幅を変化させたライン幅変調パターンであってもよい。投影光学系12は、マスク11に描画されたパターン形状の像をワーク5上に結像させる。なお、本実施形態では、第1照明部1内に固定されたマスク11を用いてパターン形状の第1光を投影する方法に関して述べた。しかし、本発明はこれに限定されるものではなく、デジタルミラーデバイス(DMD)を用いたプロジェクタや液晶プロジェクタを用いてパターンを投影しても構わない。また、DMDを切り替えたパターンを変えながら計測しても構わない。
続いて、第1波長領域とは異なる第2波長領域の第2光で照明して濃淡画像(第2画像)を取得することについて説明する。濃淡画像は、撮像部(カメラ)3で撮像したグレースケール画像であり、本実施形態では、濃淡画像から物体の輪郭や稜線に相当するエッジを検出し、エッジを画像特徴として位置姿勢の算出に用いる。濃淡画像を取得するために、濃淡画像用の第2照明部2により均一に照明されたワーク5を、撮像部3により撮像する。第2照明部2は、複数の光源13をリング状に配列したリング照明となっており、リング照明によりワーク5を均一に照明し影が極力できないようにすることが可能となっている。なお、照明部2による照明は、リング照明に限定されるものではなく、同軸落射照明やドーム照明等を採用しても構わない。処理部4は、取得された濃淡画像に対してエッジ検出処理を行うことによってワーク5のエッジを算出する。エッジ検出アルゴリズムは、Canny法やその他様々な方法があるが、本発明ではどの方式でも構わない。
撮像部3の説明を行う。撮像部3は、距離画像と濃淡画像を同時に撮像する。撮像部3は、結像光学系6とイメージセンサー(撮像素子)7と波長分離フィルタ8とを含む。結像光学系6は、ワーク5に投影されたパターンをイメージセンサー7に結像するための光学系である。本実施形態では、第2照明部2と第1照明部1は、互いに異なる2つの波長領域でワーク5を照明し、撮像部3は、イメージセンサー7の各画素に青・緑・赤のいずれかの一つの色を割り当てる波長分離フィルタ8を備える。したがって、本実施形態の撮像部3は、距離画像と濃淡画像を波長領域で分離し、2つの波長領域の画素の画像と1つの波長領域の画素の画像に分離する。つまり、距離画像と濃淡画像の2つの画像をカラーイメージセンサー7の波長分割機能を用いて一つのイメージセンサー7で同時に取得する。イメージセンサー7は、距離画像を撮像するための素子であり、例えば、CMOSセンサ、CCDセンサなどを用いることができる。
イメージセンサー7はカラーイメージセンサーであり、波長分離フィルタ8が、各画素に対して、青・緑・赤のいずれかの一つの色を割り当てる。波長分離フィルタ8として、例えば、図4に示すベイヤ配列型のカラーフィルタを使用する。ベイヤ配列型のカラーフィルタは、青:緑:赤の比率が1:2:1の図4で示されるような配列をもつ。図4において、Bは青の波長帯の光、Gは緑の波長帯の光、Rは赤の波長帯の光を透過することを示す。本発明はこれに限定されるものではなく、他の画素配置でも構わない。例えば、カラーフィルタは各画素に対して青、赤のいずれか一つの色を割り当て、青:赤が1:1の配列であっても構わない。
距離画像と濃淡画像を同時に計測するために、2つの画像をB・G・Rの3つの波長の画素に割り当てる必要がある。情報量をできるだけ欠損させないためには、パターン投影画像と濃淡画像との一方に2つの波長の画素、他方に残り一つの波長の画素を割り当てることができる。本実施形態では、パターン投影画像の撮像に青波長と緑波長対応の画素を用い、濃淡画像の撮像に赤波長対応の画素を用いる。
青波長と緑波長対応の画素のみを用いて画像を取得した場合、撮像画像(距離画像算出用のパターン投影画像)は、図5で示されたような赤波長対応の画素が欠落した画像として取得される。一方、赤波長対応の画素のみを用いて画像を取得した場合、撮像画像(濃淡画像)は、図6で示されたような青波長と緑波長対応の画素が欠落した画像として取得される。そのため、本実施形態においては、欠落個所を周辺の画素の輝度値を用いて補間処理(デモザイキング処理)することにより元の解像度と同等の画像を生成する。それぞれの画像から位置姿勢を計算する手法は、従来例と同様に実施可能である。
本発明のポイントは、結像光学系6に第1波長領域と第2波長領域との間で軸上色収差を持つ光学系を適用し、濃淡画像を取得する波長の焦点位置またはその近傍にカラーイメージセンサー7を配置することである。この結果、距離画像は、結像光学系6の軸上色収差に起因してデフォーカスが大きなすなわちぼけた画像として取得される。濃淡画像と距離画像が混在しクロストークが発生した概略図を図7に示す。図7の(A)の実線は、図2の(A)の実線と同じく、濃淡画像と距離画像のクロストークが無い場合の濃淡画像の断面を示す。図7の(B)の点線は、濃淡画像と距離画像のクロストークが生じた場合の濃淡画像の断面を示す。図2の(B)の点線に対して、図7の(B)の点線は、距離画像が焦点位置からずれているため、ぼけた像として写り込んでいる。
図7の(B)で示される画像に対してエッジ検出処理を行うとき、閾値判定を行うことで正しいエッジ位置のみの検出が可能となる。ここで、閾値判定とは、例えば、取得した濃淡画像に微分フィルタをかけた場合の極値の位置がエッジ位置に相当するが、この極値に閾値を設定して閾値以下の極値はエッジとみなさない判定を行うことである。図8に図2と図7の各々の画像に微分フィルタをかけた像の断面図を示す。図8の(A)は、図2、図7の(A)の実線の画像を微分処理した画像の図である。微分処理された画像の極値とエッジ位置が一致しているのが分かる。
図7の(B)で示される画像に対してエッジ検出処理を行うとき、閾値判定を行うことで正しいエッジ位置のみの検出が可能となる。ここで、閾値判定とは、例えば、取得した濃淡画像に微分フィルタをかけた場合の極値の位置がエッジ位置に相当するが、この極値に閾値を設定して閾値以下の極値はエッジとみなさない判定を行うことである。図8に図2と図7の各々の画像に微分フィルタをかけた像の断面図を示す。図8の(A)は、図2、図7の(A)の実線の画像を微分処理した画像の図である。微分処理された画像の極値とエッジ位置が一致しているのが分かる。
図8の(B)は、図2の(B)の点線の画像を微分処理した画像の図である。微分処理された画像には、正しいエッジ位置部分以外にも写り込んだ距離画像のパターン像に起因して極値が発生している。図8の(C)は、図7の(B)の点線の画像を微分処理した画像の図である。図8の(B)の画像と比較して図8の(C)の画像は、正しいエッジ位置で画像微分の極値が発生している一方で、距離画像起因の偽エッジ位置では距離画像がぼけているので、偽エッジ位置でも極値をもつものの、極値は非常に小さくなる。よって、閾値判定でよって容易に偽エッジの判断が可能となる。なお、図8の(B)の距離画像起因の偽エッジを除くために極値の閾値をあまりに大きく設定すると、正しいエッジ位置まで除かれてしまう。
距離画像は、焦点位置から外れたカラーイメージセンサー7により取得されるため、ぼけた画像となる。このぼけた距離画像に関しては、処理部4において像回復を行ことでシャープな像を得る。像回復とは例えばデコンボリューション処理を行うことである。デコンボリューション処理の例として、取得した距離画像をフーリエ変換し各周波数に回復処理を行い、逆フーリエ変換を行う手法がある。また、単純にデコンボリューションフィルタをかける手法や、エッジ回復フィルタをかける手法もある。しかし、デコンボリューション処理は、特にこれらの手法に限定するものではない。
計測装置においては、位置計測精度を保証する被写界深度の範囲がある。このことから、本実施形態では、例えば、結像光学系6の持つ軸上色収差が次式1を満たすようにする。ここで、ΔFは結像光学系6の第1光と第2光の焦点位置の差、つまり、第1波長領域と第2波長領域との間の軸上色収差である。DOFは、計測装置が保障する被写界深度、βは結像光学系6の近軸倍率を表す。
ΔF>DOF×β2・・・・(1)
結像光学系6の持つ軸上色収差ΔFが式1の関係を満たすことで、濃淡画像の被写界深度の範囲から、距離画像の画像コントラストが最も高くなる焦点位置が外れることになる。また、距離画像は周期構造を有するパターンの像とすることができる。距離画像が周期的なパターン画像の場合、焦点からずれぼけると均一強度になる。よって、濃淡画像に写り込みぼけた距離画像は、均一強度となり、偽エッジになりにくくなる。一方、距離画像が非周期的なパターン像の場合、焦点からずれるとパターン密度が高いところは強度が高く、パターン密度が低いところは強度が低くなる。したがって、距離画像が非周期的なパターン像の場合には、強度ムラが偽エッジとなりうる場合がある。
ΔF>DOF×β2・・・・(1)
結像光学系6の持つ軸上色収差ΔFが式1の関係を満たすことで、濃淡画像の被写界深度の範囲から、距離画像の画像コントラストが最も高くなる焦点位置が外れることになる。また、距離画像は周期構造を有するパターンの像とすることができる。距離画像が周期的なパターン画像の場合、焦点からずれぼけると均一強度になる。よって、濃淡画像に写り込みぼけた距離画像は、均一強度となり、偽エッジになりにくくなる。一方、距離画像が非周期的なパターン像の場合、焦点からずれるとパターン密度が高いところは強度が高く、パターン密度が低いところは強度が低くなる。したがって、距離画像が非周期的なパターン像の場合には、強度ムラが偽エッジとなりうる場合がある。
更に、実際には、カラーフィルタの分光特性に起因して距離画像に濃淡画像が写り込んでしまう。この対策として、距離画像の像回復を行う場合、距離画像の特定の周波数成分のみを回復することができる。ここでの特定の周波数成分は距離画像のパターンのもつ基本周波数でありパターンピッチ相当の周波数のことである。このように、軸上色収差を持つ結像光学系6を適用し濃淡画像と距離画像とが異なる焦点位置となるように構成することで、カラーイメージセンサー7のカラーフィルタの分光特性に起因したエッジ検出の誤差の低減が可能となる。
本実施形態では、距離画像をデフォーカスが大きくなるようにした。しかし、距離画像ではなく濃淡画像の方をデフォーカスが大きくなるようにして2つの画像のクロストークを低減させることもできる。
1:第1照明部。2:第2照明部。3:撮像部。4:処理部。5:ワーク(被検物)。6:結像光学系。7:イメージセンサー(撮像素子)。8:カラーフィルタ(波長分離フィルタ)。
Claims (12)
- 被検物の形状を計測する計測装置であって、
パターン形状を有する第1波長領域の第1光で前記被検物を照明し、前記第1波長領域とは異なる第2波長領域の第2光で前記被検物を同時に照明する照明部と、
前記第1波長領域と前記第2波長領域との間で軸上色収差を有する結像光学系と、前記被検物の前記第1波長領域の像と前記被検物の前記第2波長領域の像とを分離する波長分離フィルタと、前記2つの像を撮影する撮像素子とを含む撮像部と、
前記撮像部から出力された前記被検物の前記第1波長領域の第1画像および前記第2波長領域の第2画像を処理する処理部と、
を備え、
前記処理部は、前記第1画像および前記第2画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、該デコンボリューション処理された一方の画像と、前記第1画像および前記第2画像のうちデコンボリューション処理されなかった他方の画像とを用いて、前記形状の情報を取得することを特徴とする計測装置。 - 前記結像光学系の軸上色収差をΔFとし、前記計測装置の被写界深度をDOFとし、前記結像光学系の近軸倍率をβとするとき、ΔFは、ΔF>DOF×β2の関係を満たすことを特徴とする請求項1に記載の計測装置。
- 前記照明部は、前記第1光で前記被検物を照明する第1照明部と、前記第2光で前記被検物を照明する第2照明部と、を含むことを特徴とする請求項1または2のいずれか1項に記載の計測装置。
- 前記撮像素子は、前記結像光学系の前記第1波長領域の焦点位置からの距離が前記結像光学系の前記第2波長領域の焦点位置からの距離よりも大きいように配置され、
前記処理部は、前記第1画像をデコンボリューション処理し、デコンボリューション処理された前記第1画像を用いて前記被検物の三次元形状の情報を取得し、デコンボリューション処理されなかった前記第2画像を用いて前記被検物の二次元形状の情報を取得することを特徴とすることを特徴とする請求項1ないし3のいずれか1項に記載の計測装置。 - 前記撮像素子は、前記結像光学系の前記第2波長領域の焦点位置に配置されることを特徴とする請求項4に記載の計測装置。
- 前記処理部は、前記第2画像を微分処理し、微分処理された前記第2画像を用いて前記二次元形状の情報を取得することを特徴とすることを特徴とする請求項4または5に記載の計測装置。
- 前記パターン形状は、周期構造を有することを特徴とする請求項4ないし6のいずれか1項に記載の計測装置。
- 前記処理部は、前記第1画像における前記パターン形状の周波数成分をデコンボリューション処理することを特徴とする請求項7に記載の計測装置。
- 前記第2照明部は、前記被検物をリング照明、同軸落射照明またはドーム照明することを特徴とする請求項3に記載の計測装置。
- 前記第1波長領域の光は、青の波長帯および緑の波長帯の光を含み、前記第2波長領域の光は、赤の波長帯の光を含み、波長分離フィルタは、ベイヤ配列型のカラーフィルタであることを特徴とする請求項1ないし9のいずれか1項に記載の計測装置。
- 前記処理部は、前記一方の画像をフーリエ変換し、該フーリエ変換された画像を周波数ごとに回復処理し、該回復処理された画像を逆フーリエ変換することによってデコンボリューション処理することを特徴とする請求項1ないし10のいずれか1項に記載の計測装置。
- 前記処理部は、デコンボリューションフィルタまたは前記一方の画像のエッジを回復するフィルタを含むことを特徴とする請求項1ないし10のいずれか1項に記載の計測装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015051294A JP2016170122A (ja) | 2015-03-13 | 2015-03-13 | 計測装置 |
US15/059,484 US20160267668A1 (en) | 2015-03-13 | 2016-03-03 | Measurement apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015051294A JP2016170122A (ja) | 2015-03-13 | 2015-03-13 | 計測装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016170122A true JP2016170122A (ja) | 2016-09-23 |
Family
ID=56888621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015051294A Pending JP2016170122A (ja) | 2015-03-13 | 2015-03-13 | 計測装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160267668A1 (ja) |
JP (1) | JP2016170122A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021018081A (ja) * | 2019-07-17 | 2021-02-15 | 株式会社リコー | 撮像装置、計測装置、及び、計測方法 |
JP2021018079A (ja) * | 2019-07-17 | 2021-02-15 | 株式会社リコー | 撮像装置、計測装置、及び、計測方法 |
US20210156809A1 (en) * | 2017-07-10 | 2021-05-27 | Carl Zeiss Smt Gmbh | Inspection device for masks for semiconductor lithography and method |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6478725B2 (ja) * | 2015-03-09 | 2019-03-06 | キヤノン株式会社 | 計測装置及びロボット |
JP2017110975A (ja) * | 2015-12-15 | 2017-06-22 | キヤノン株式会社 | 計測装置、システム、計測方法、決定方法及びプログラム |
JP6677522B2 (ja) * | 2016-02-15 | 2020-04-08 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
US10872418B2 (en) * | 2016-10-11 | 2020-12-22 | Kabushiki Kaisha Toshiba | Edge detection device, an edge detection method, and an object holding device |
CN108965690B (zh) | 2017-05-17 | 2021-02-26 | 欧姆龙株式会社 | 图像处理系统、图像处理装置及计算机可读存储介质 |
JP7097168B2 (ja) * | 2017-10-17 | 2022-07-07 | 株式会社キーエンス | 拡大観察装置 |
CN108168464B (zh) * | 2018-02-09 | 2019-12-13 | 东南大学 | 针对条纹投影三维测量系统离焦现象的相位误差校正方法 |
US20230034727A1 (en) * | 2021-07-29 | 2023-02-02 | Rakuten Group, Inc. | Blur-robust image segmentation |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983509B1 (en) * | 2007-05-31 | 2011-07-19 | Hewlett-Packard Development Company, L.P. | Estimating a point spread function of an image capture device |
JP5393318B2 (ja) * | 2009-07-28 | 2014-01-22 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
US9979941B2 (en) * | 2011-01-14 | 2018-05-22 | Sony Corporation | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating |
US9279661B2 (en) * | 2011-07-08 | 2016-03-08 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
JP5818586B2 (ja) * | 2011-08-31 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
DE102012106584B4 (de) * | 2012-07-20 | 2021-01-07 | Carl Zeiss Ag | Verfahren und Vorrichtung zur Bildrekonstruktion |
US20140043469A1 (en) * | 2012-08-07 | 2014-02-13 | Carl Zeiss Industrielle Messtechnik Gmbh | Chromatic sensor and method |
US20140043610A1 (en) * | 2012-08-07 | 2014-02-13 | Carl Zeiss Industrielle Messtechnik Gmbh | Apparatus for inspecting a measurement object with triangulation sensor |
-
2015
- 2015-03-13 JP JP2015051294A patent/JP2016170122A/ja active Pending
-
2016
- 2016-03-03 US US15/059,484 patent/US20160267668A1/en not_active Abandoned
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210156809A1 (en) * | 2017-07-10 | 2021-05-27 | Carl Zeiss Smt Gmbh | Inspection device for masks for semiconductor lithography and method |
US11867642B2 (en) * | 2017-07-10 | 2024-01-09 | Carl Zeiss Smt Gmbh | Inspection device for masks for semiconductor lithography and method |
JP2021018081A (ja) * | 2019-07-17 | 2021-02-15 | 株式会社リコー | 撮像装置、計測装置、及び、計測方法 |
JP2021018079A (ja) * | 2019-07-17 | 2021-02-15 | 株式会社リコー | 撮像装置、計測装置、及び、計測方法 |
Also Published As
Publication number | Publication date |
---|---|
US20160267668A1 (en) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016170122A (ja) | 計測装置 | |
JP6478725B2 (ja) | 計測装置及びロボット | |
US9518931B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium and recording device | |
US10788318B2 (en) | Three-dimensional shape measurement apparatus | |
EP3081900B1 (en) | Measurement devices and methods for measuring the shape of an object to be measured, and method of manufacturing an article | |
US9074879B2 (en) | Information processing apparatus and information processing method | |
JP6478713B2 (ja) | 計測装置および計測方法 | |
JP6468802B2 (ja) | 三次元計測装置、三次元計測方法及びプログラム | |
EP3540372A1 (en) | Three-dimensional shape measurement apparatus | |
JP2016161351A (ja) | 計測装置 | |
US10731971B1 (en) | Method of measuring 3D profile | |
US20190301855A1 (en) | Parallax detection device, distance detection device, robot device, parallax detection method, and distance detection method | |
US10060733B2 (en) | Measuring apparatus | |
JP2008145121A (ja) | 三次元形状測定装置 | |
JP2017173259A (ja) | 計測装置、システム及び物品の製造方法 | |
US20160273913A1 (en) | Measurement apparatus | |
JP2008275392A (ja) | 3次元形状計測方法および装置 | |
JP2020129187A (ja) | 外形認識装置、外形認識システム及び外形認識方法 | |
JP6611872B2 (ja) | 計測装置 | |
WO2020039920A1 (ja) | 画像処理システム、画像処理方法およびプログラム | |
JPS62239116A (ja) | 焦点位置検出方法及び装置 | |
JP2017032449A (ja) | 計測装置および計測方法 | |
JP2016080598A (ja) | 座標検出装置、検査装置、及び座標検出方法 | |
JP2016136088A (ja) | 距離測定装置 | |
JP2007256245A (ja) | 外観検査装置 |