JP2017020873A - 被計測物の形状を計測する計測装置 - Google Patents

被計測物の形状を計測する計測装置 Download PDF

Info

Publication number
JP2017020873A
JP2017020873A JP2015138157A JP2015138157A JP2017020873A JP 2017020873 A JP2017020873 A JP 2017020873A JP 2015138157 A JP2015138157 A JP 2015138157A JP 2015138157 A JP2015138157 A JP 2015138157A JP 2017020873 A JP2017020873 A JP 2017020873A
Authority
JP
Japan
Prior art keywords
light
image
light source
pattern
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015138157A
Other languages
English (en)
Inventor
強 北村
Tsutomu Kitamura
強 北村
晃宏 畑田
Akihiro Hatada
晃宏 畑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015138157A priority Critical patent/JP2017020873A/ja
Priority to US15/202,966 priority patent/US10223575B2/en
Publication of JP2017020873A publication Critical patent/JP2017020873A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • G06V2201/121Acquisition of 3D measurements of objects using special illumination
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)

Abstract

【課題】被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の面粗さによる計測誤差を低減する形状計測装置を提供する。【解決手段】第1光源110からの光と第2光源111からの光とを合波する合波部120と、第1光源110からの光を用いてパターン光を形成する形成部140と、合波された光を被計測物に投影する投影光学系150と、パターン光が投影された被計測物を撮像して第1画像を取得する撮像部と、第1画像に基づいて被計測物の形状の情報を求める処理部と、を有し、投影光学系150は、第1光源110からの光の投影と第2光源111からの光の投影とを行う共通の光学系であり、撮像部は、投影光学系150を介して第2光源111からの光で照明された被計測物を撮像して第2画像を取得し、処理部は、第2画像を用いて第1画像を補正し、補正された画像に基づいて被計測物の形状の情報を求める形状計測装置。【選択図】図3

Description

本発明は、被計測物の形状を計測する計測装置に関する。
被計測物の形状を計測する技術の1つとして、光学式の計測装置が知られている。光学式の計測装置には様々な方式が存在し、その方式の1つにパターン投影法と称される方式がある。パターン投影法では、所定のパターンを被計測物に投影して、撮像部で撮像し、撮像画像におけるパターンを検出して、三角測量の原理から各画素位置における距離情報を算出することで、被計測物の形状を求めている。
本計測法においては、撮像された画像における受光光量(画素値)の空間分布情報に基づき、投影されたパターンの各ラインの座標の検出を行う。しかし、受光光量の空間分布情報は、被計測物の表面の模様などによる反射率分布、又は、被計測物の表面の微細形状による反射率分布などの影響が含まれたデータである。これらにより、パターンの座標の検出において検出誤差が発生する、又は、検出自体が不可能となる場合が存在し、結果として、算出される被計測物の形状の情報は精度が低いものとなる。
これに対し、特許文献1では、液晶シャッタを用いてパターン光を投影し、投影時の画像(以下、パターン投影画像)を取得した後、該液晶シャッタを用いて均一照明光で被計測物を照射して、均一照明光で照射時の画像(以下、均一照明画像)を取得している。そして、均一照明画像のデータを補正用データとして、被計測物の表面の反射率分布による影響をパターン投影画像から除去する補正を行う。
また、特許文献2では、偏光方向が互いに90度異なるパターン光と均一照明光とを被計測物に照射し、各偏光方向に対応した各撮像部で、パターン投影画像と均一照明画像とを取得した後、それらの差分画像から距離情報を求める画像処理を行っている。この方法においては、パターン投影画像と均一照明画像とは同じタイミングで取得され、被計測物の表面の反射率分布による影響をパターン投影画像から除去する補正を行う。
特開平3−289505号公報 特開2002−213931号公報
特許文献1に記載の計測方法では、パターン投影画像と均一照明画像とは異なるタイミングで取得される。計測装置の用途を考えた場合、被計測物と計測装置の撮像部とのどちらか又は両方が移動しつつ距離情報を取得する場合が考えられる。この場合、各タイミングでそれらの相対位置関係は変化し、パターン投影画像と均一照明画像は違う視点で撮影された画像となる。その場合、互いに異なる視点の画像で補正を行うと誤差が生じる。
特許文献2に記載の計測方法では、偏光方向が互いに90度異なる偏光光を用いることで、パターン投影画像と均一照明画像とは同じタイミングで取得される。しかし、被計測物の表面には、微細形状(面粗さ)により局所的な角度ばらつきが存在しており、その局所的な角度ばらつきによって、被計測物の表面の反射率分布は偏光方向で異なる。入射角度に対する入射光の反射率は偏光方向によって異なるためである。したがって、互いに異なる反射率分布の情報を含む画像で補正を行うと誤差が生じる。
そこで、本発明は、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の面粗さによる計測誤差を低減して、被計測物の形状を計測することを目的とする。
上記課題を解決する本発明の一側面としての計測装置は、被計測物の形状を計測する計測装置であって、第1波長の光を発する第1光源と、前記第1波長とは異なる第2波長の光を発する第2光源と、前記第1光源からの光と前記第2光源からの光とを合波する合波部と、前記第1光源からの光を用いてパターン光を形成する形成部と、合波された前記第1光源からの光と前記第2光源からの光とを前記被計測物に投影する投影光学系と、前記形成部及び前記投影光学系により前記パターン光が投影された前記被計測物を撮像して、前記被計測物で反射された前記パターン光による前記被計測物の第1画像を取得する撮像部と、前記第1画像に基づいて前記被計測物の形状の情報を求める処理部と、を有し、前記投影光学系は、前記第1光源からの光の投影と前記第2光源からの光の投影とを行う共通の光学系であり、前記撮像部は、前記投影光学系を介して前記第2光源からの光で照明された前記被計測物を撮像して、前記被計測物で反射された前記第2光源からの光による前記被計測物の第2画像を取得し、前記処理部は、前記第2画像を用いて前記第1画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする計測装置。
本発明によれば、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の面粗さによる計測誤差を低減して、被計測物の形状を計測することができる。
第1実施形態における計測装置の概略構成を示した図である。 第1実施形態における計測のフローチャートである。 投影部の概略構成を示した図である。 被計測物の表面に照射された光の反射の様子を示す図である。 被計測面の角度に対する反射率を示す図である。 主光線の進行方向が異なり、被計測物の表面に照射された光の反射の様子を示す図である。 開口数が異なり、被計測物の表面に照射された光の反射の様子を示す図である。 計測装置とロボットを含むシステムを示す図である。
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
[実施形態1]
図1は、本発明の一側面としての計測装置20の構成を示す概略図である。計測装置20は、パターン投影法を用いて、被計測物210(物体)の形状(例えば、3次元形状、2次元形状、位置及び姿勢など)を計測する。被計測物210は、例えば、金属部品、光学部材などである。図1に示すように、計測装置20は、投影部10と、撮像部220と、処理部200とを有する。計測装置100は、パターン投影法を用いて、被計測物の形状(例えば、3次元形状、2次元形状、位置及び姿勢等)を計測する。具体的には、距離画像と均一照明画像を取得し、二つの画像を利用してモデルフィッティングすることにより、被計測物の位置姿勢を計測する。ここで、距離画像とは、被計測物の表面上の点の三次元情報を示し、各画素が奥行きの情報をもつ画像であり、均一照明画像とは、均一照明された被計測物を撮像して得られる画像である。尚、モデルフィッティングは、事前に作成された被計測物のCADモデルに対して行うものであり、被計測物の三次元形状が既知であることを前提とする。
図2に計測方法のフローチャートを示す。まず、投影部10は、所定のパターン光を被計測物210に投影する(S10)。図3に、投影部10の概略図を示す。投影部10は、2種の光源を有する。1つはパターン投影画像を取得するための第1光源110であり、もう一つは均一照明画像を取得するための第2光源111である。これらの光源は異なる波長であって、無偏光の光を発する。以下では第1光源110から出射される光(実線)の第1波長をλ1、第2光源111から出射される光(破線)の第2波長をλ2とする。両光源から放たれた光はハーフミラー120(合波部)に入射する。ここで、ハーフミラー120は2つの光源から放たれた光が同一光軸に重なる(合波される)ように設けられる。つまり、ハーフミラー120により、第1光源110からの光の光路と第2光源111からの光の光路が同軸上に配置される。本実施形態ではパターン投影用の第1光源からの光はハーフミラー120を透過し、均一照明用の第2光源からの光はハーフミラーで反射されるものとして図示している。投影部10は、所定のパターン光を被計測物に投影すると同時に、第2光源111からの均一照明光を被計測物210に照明する(S14)。
ハーフミラー120を透過したあるいは反射された2つの光はレンズ系130を通り、パターン光形成部140に入射する。パターン光形成部140はパターン投影光のみがパターン光を形成(生成)するように機能するよう設計されている。パターン投影光のパターンの形態は計測方式により様々である。本実施形態では、投影部10と撮像部220を含むユニットを備えたロボットアームを移動させながら、被計測物の位置姿勢を計測することを想定した装置である。ここで、ロボットアーム(把持部)は、被計測物210を把持して移動させたり回転させたりする。そのため、被計測物に投影するパターン光は、一枚のパターン投影画像から距離画像を算出できるパターン光である事が望ましい。複数枚の撮像画像から距離画像を算出する計測方式では、ロボットアームの移動により各撮像画像の視野ずれが生じてしまい、高精度に距離画像を算出できないからである。一枚のパターン投影画像から距離画像を算出できるパターンとしては、例えば、明部と暗部を含むラインパターンのライン上に座標が識別可能なドットが配置されたドットラインパターンが挙げられる。また、ラインの識別のために個々のライン幅を変化させたライン幅変調パターンも挙げられる。例えば、ドットラインパターンを被計測物に投影して、ドットの位置関係に基づいて投影パターンと撮像画像の対応づけを行う事で、一枚の撮像画像から距離画像を算出することができる。尚、投影パターンとして上記の例に限らず、一枚のパターン投影画像から距離画像を算出できるものであれば良い。
パターン光形成部140の実現方法として以下のようなものが考えられる。特定の波長のみを透過あるいは反射させる誘電体多層膜を有した波長選択性のフィルタが一般的に知られている。これに対し、例えばパターン投影光の波長であるλ1の光のみを通さない誘電多層膜を想定した場合、この誘電多層膜を基盤上に形成する際にエッチングにより明部パターンに該当する部分の誘電多層膜を除去する。そうすることで、波長λ1を有するパターン投影光のみがパターン光を形成し、波長λ2を有する光は均一な光強度分布の照明光として出射されることとなる。
投影光学系150は、パターン光形成部140により形成されたパターン光を像面(被照明面)160に結像するための結像光学系である。パターン光形成部140の位置は、投影光学系150を介して、像面160に対して共役な位置となっている。投影光学系150は、パターン光の投影と第2光源からの光の投影とを行う共通の光学系である。この光学系は、レンズ群やミラーなどで構成され、例えば、1つの結像関係を有する結像光学系である。前述の通り、第1光源110から出射される光(実線)と、第2光源111から出射される光(破線)との2種の光の主光線は同一光軸で重なっており、投影光学系150を出射する双方の光は共通の瞳面の絞りの開口部を通過する。結果として、投影光学系150を出射する2種の光の主光線の進行方向は一致しており、開口数も等しい。なお、主光線は瞳面の中心(絞りの開口部の中心)を通る光線である。開口数は投影光学系150の瞳面に配置された絞りの開口径により定まる。開口数(NA)は、nを屈折率、軸上光線の最大入射角(光軸との角度)をθとすると、NA=n×sinθで定義される。また、パターン投影光の明部の光と、波長λ2を有する均一照明光とは、同じ光強度となるように調整されている。以下では2つの光のこの関係を配光特性が等しいと称する。つまり、投影光学系150からのパターン光の明部の光と第2光源からの光とは、開口数及び光強度が同じで主光線が同じ方向の光を有する。
投影光学系から投影された光が、被計測物の表面(被計測面)に照射された際の反射の様子を図4に示す。投影光学系から投影された光の光強度分布I1は、中心光線を原点として、一様とする。投影光学系から投影された光は角度広がりを有するため、被計測物の表面構造に対する光の入射角は光線内で差異が生じる。一方、図5に一様な材質で出来た被計測面の角度に対する、各波長の光による反射率を計測した結果を示す。ここで、反射率とは、ある方向から被計測面へ入射した光の光量と、入射光が被計測面で反射され、ある方向に反射される光の光量と、の比である。例えば、被計測面への入射光の光量と、撮像部のある方向に反射されて撮像部で受光される光の光量との比としても表せる。反射率は被計測面の角度に依存していることがわかる。よって、前述の入射光線内の入射角の差異は、反射光における光強度分布の変化の原因となる。そのため、反射光における光強度分布I2は、図4に示すように、中心光線を原点として、均一ではない。
撮像部220は、光学系と撮像素子を含み、被計測物を撮像して画像を取得する。光学系は、被計測物で反射された光を撮像素子に結像するための結像光学系である。撮像素子は、被計測物を撮像するための複数の画素を含むイメージセンサであって、例えば、CMOSセンサやCCDセンサなどで構成されている。撮像素子で得られる各画素の受光量(画素値)は、画素に入射する光量の時間積分値となる。撮像部220は、パターン光が投影された被計測物を撮像して、被計測物で反射されたパターン光による被計測物の画像、所謂、パターン投影画像(第1画像)を取得する(S11)。また、波長λ2を有する均一な照明光で照明された被計測物を撮像して、被計測物で反射された照明光による被計測物の均一照明画像(第2画像)を取得する(S15)。これら2つの光の照射、撮像は同期して(同じタイミングで)行われる。
処理部200は、撮像部220で取得された画像に基づいて、被計測物の形状を求める。処理部200は、一般的なコンピュータで構成されており、情報処理装置として機能する。処理部200は、CPU、MPU、DSPやFPGAなどの演算装置で構成されており、DRAMなどの記憶装置を有する。処理部200は、制御部201と、画像記憶部(メモリ)202と、画像処理部203と、距離情報算出部205と、反射率情報記憶部204とを含む。制御部201は、投影部10や撮像部220の動作を制御する。具体的には、パターン光の投影と、波長λ2を有する均一な照明光とが、被計測物210へ照射され、制御部201の指令により撮像部220により撮像される。これら2つの光の照射、撮像は同じタイミングで行われるように制御される。同じタイミングで行うことによって、被計測物と撮像部の相対位置が変化する場合においても、パターン投影画像と均一照明画像とを同一の視点から取得することができる。
画像記憶部202は、撮像部220で取得された画像を記憶する。撮像部220は、カラーフィルタ等の波長分離の構成が備えられており、パターン投影画像と均一照明画像を同時に分離して取得可能である。こうして同時撮影されたパターン投影画像と均一照明画像のデータは画像記憶部202に記憶される。
図5に示すように被計測面の角度によって反射率が異なり、パターン投影画像内の輝度(画素値)分布は、被計測面の微細形状(面粗さ)等による反射率分布の影響が含まれる。これにより、パターン投影画像内のパターンの座標の検出において検出誤差が発生する、又は、検出自体が不可能となる場合が存在し、結果として、算出される被計測物の形状の情報は精度が低いものとなる。そこで、画像処理部203は、第2光源からの光で照明された被計測物を撮像部で撮像して得られる、被計測物で反射された第2光源からの光による被計測物の第2画像、を用いて第1画像を補正する(S12)。具体的には、画像処理部203は、被計測物における第1波長λ1の光の反射率と第2波長λ2の光の反射率との反射率比に関する情報を取得する。そして、反射率比に関する情報を用いて第2画像の画素値を第1波長における画素値に変換し、変換後の画像の画素値を用いて第1画像を補正する。
具体的な反射率の情報の例として、図5に示す、ある被検材質に対する波長間の反射率の情報が挙げられる。図5によると、双方の波長において反射率は被計測面の角度により大きく変化しているものの、2波長間の反射率比は被計測面の角度依存性が小さい。したがって、被計測面の角度が不明な状態にあっても、波長λ2の光で撮影された均一照明画像の輝度分布を2波長間の反射率比で除することで、波長λ1の光で撮影された場合の均一照明画像の輝度分布に換算可能である。上記の換算によって、波長λ1に換算された均一照明による画像の輝度分布は、波長λ1のパターン光による画像の輝度分布と同様になる。そのため、画像処理部203は、パターン投影画像の輝度分布から、上記換算により求めた波長λ1の光で撮影された場合の均一照明画像の輝度分布を減算する画像補正を行う。また、画像補正は除算でも良い。そうすることで、パターン投影画像に存在する被計測物の微細形状に起因する輝度の影響(誤差)を低減することが出来る。
ここで、反射率情報は、予め反射率情報記憶部204に記憶されていても良いし、パターン投影光を用いた距離計測を行う前に実際の反射率計測を行う事で取得しても良い。反射率計測を行う場合には、パターン光形成部140の切替などによりパターン生成機能を除き、波長λ1の光と波長λ2の光を含む光で均一に被計測物を照明して画像を得ることで計測が可能である。
補正されたパターン投影画像のデータは距離情報算出部205に送信される。距離情報算出部205は、画像処理部203で補正された画像に基づいて被計測物の形状の情報を求める(S13)。具体的には、補正された画像におけるパターン光のピーク、エッジやドット(検出対象とする位置)を検出してパターンの座標、即ち、画像におけるパターン光の位置を求める。そして、検出対象とする位置(座標)の情報とドットから識別した各ラインの指標を用いて、三角測量の原理から、各画素位置における被計測物の距離画像(3次元情報)を算出する。ここで算出される距離情報は、被計測物の微細形状に起因する計測誤差が低減された高精度な距離情報となる。
また、処理部200は、取得した均一照明画像を用いて、エッジ検出処理によりエッジを算出し(S16)、S13とS16の算出結果を用いて、被計測物の位置姿勢を求める(S17)こともできる。具体的には、距離画像と均一照明画像を取得し、二つの画像を利用してモデルフィッティングすることにより、被計測物の位置姿勢を計測する。尚、モデルフィッティングは、事前に作成された被計測物のCADモデルに対して行うものであり、被計測物の三次元形状が既知であることを前提とする。
本実施形態の計測装置20は、図8のように、ロボットアーム300に備え付けられていることを想定している。そのため、支持台350に置かれた被計測物210の位置姿勢を計測装置20が求めたら、ロボットアーム300の制御部310は、その位置姿勢の計測結果を用いてロボットアーム300を制御する。具体的には、ロボットアーム300が被計測物210を移動させたり回転させたり、把持動作を行ったりする。制御部310は、CPUなどの演算装置やメモリなどの記憶装置を有する。また、計測装置20により計測された計測データや得られた画像をディスプレイなどの表示部320に表示してもよい。
以上述べた本実施形態によれば、均一照明画像を用いてパターン投影画像を容易に高精度に補正することできる。したがって、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の微細形状による計測誤差を低減することができ、より高精度に被計測物の形状の情報を求めることができる。
ここで、比較例として、図6に主光線の進行方向が異なる2つの光が被計測物の表面に照射された際の反射の様子を示す。2つの光の開口数及び入射光の強度分布は同じものとし、図6では一方の光に関する光路、強度分布I3を実線で、もう一方の光に関する光路、強度分布I4を点線で示している。主光線の進行方向の差異により2つの光の被計測物の表面への入射角及び反射率は光束全体で異なるものとなる。例えば、一方の光を被計測物の表面に対し5度〜10度の入射角で照射し、もう一方の光を被計測物の表面に対し10度〜15度で照射した際に、その反射率分布は図6のように異なる。一方の光が被計測物の表面で反射された光強度分布はI3´であり、もう一方の光が被計測物の表面で反射された光強度分布はI4´である。結果として、撮像部で検出される受光量分布も2つの光で異なる。よって、ある照明光によって撮像された画像に対し、主光線の進行方向が異なる照明光によって撮像された画像の光量補正を精度よく行う事は不可能である。
また、図7に、開口数の異なる2つの光が被計測物の表面に照射された際の反射の様子を示す。2つの光の主光線の進行方向及び入射光の強度分布は同じものとし、図では一方の光に関する光路、強度分布I5を実線で、もう一方の光に関する光路、強度分布I6を点線で示している。開口数の差異により2つの光の被計測物の表面への入射角及び反射率は光束全体で異なるものとなる。例えば一方の光を被計測物の表面に対し5度〜10度の入射角で照射し、もう一方の光を被計測物の表面に対し3度〜12度で照射した際にその反射率分布が異なることは図7から明らかである。一方の光が被計測物の表面で反射された光強度分布はI5´であり、もう一方の光が被計測物の表面で反射された光強度分布はI6´である。結果として、撮像部で検出される受光量分布も2つの光で異なる。よって、ある照明光によって撮像された画像に対し、開口数の異なる照明光を用いて撮像された画像の光量補正を精度よく行う事は不可能である。また、被計測面に投影(照明)される光強度分布の異なる2つの光を被計測物の表面に照射して撮像された画像に関して、一方の照明光により取得された画像をもう一方の照明光により取得された画像を用いて精度の良い補正をする事は不可能な事も同様である。
よって、精度に優れた画像補正を行うためには、主光線の進行方向、開口数、光強度が一致している事、すなわち、配光特性が等しいことが必要となる。配光特性が等しい2つの光を被計測物の表面に照射した場合、光束全体の被計測物の表面に対する入射角分布及び反射率分布は等しくなる。結果として、撮像部で検出される受光量分布も2つの光で等しいものであるので、2つの画像を用いて微細形状による撮像部での受光量の影響が精度良く補正出来る。
パターン投影光、均一照明を用いた計測に関し、特許文献2のように双方の光の偏光方向差が90度の場合を考える。計測対象物によっては偏光方向の違いによって反射率差を有するものが存在する。これらの物体を偏光方向の異なる光によって撮影し、その差分から画像補正を行おうとした場合、偏光方向差により発生した反射率差により補正精度は低いものとなる。また、被計測物の微細形状により発生する入射角の傾きにより被計測面内の場所によって偏光状態には様々な変化が生じる。これにより、撮像される画像にもう一方の画像のクロストーク成分が発生する為、補正精度の低下が発生する。
上記本実施形態によれば、波長が異なり配光特性の一致したパターン投影光と均一照明光により計測対象物を照射、撮影し得られた、パターン投影画像を均一照明画像を用いて画像補正するものである。この場合、前述のような偏光方向、配光特性が異なる事に起因する補正精度低下は発生しない。2つの光の受光量差に影響するのは波長による反射率差のみである。この波長差による反射率差の影響は上記のプロセスで低減される。以上により、精度の高い形状の情報が算出可能となる。
[第2実施形態]
次に本発明の第2の実施形態を説明する。パターン光形成部140は波長選択機能を有する微細構造体をパターンに合わせ選択的に配置することでも実現される。微細構造体の例としてはフォトニック結晶がある。フォトニック結晶は、入射光の波長以下の周期で屈折率が変化する微細構造体を有しており、特定の波長の光のみに対し周期的な屈折率変化と共鳴して反射あるいは透過を起こす事が可能である。フォトニック結晶は、基板上の感光剤に電子線でパターンを描画し、現像、エッチング工程をへて形成される。例えば、透過性を有する基盤上に、パターン投影光のパターン暗部に該当する部分にのみパターン投影光の波長λ1を選択的に反射する微細構造を設けることで、波長λ1のパターン投影光と波長λ2の均一照明光を得ることが可能である。この微細構造体を有するパターン光形成部140を用い、第一の実施形態と同じプロセスで計測を行えば精度の高い形状情報が算出可能である。
以上、本発明の実施形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。上記の実施形態を組み合わせた形態としてもよい。上記実施形態では、パターン光形成部140より光源側において、第1光源からの光と第2光源からの光をハーフミラー120で合波したが、これに限らず、パターン光形成部140より被照明面側で両光源からの光を合波してもよい。この場合、パターン光形成部140に波長によって透過率が異なる材料を設ける必要はない。また、パターン光形成部140を投影光学系150の直後又は内部に設けても良い。また、第1光源110と第2光源111が発する光を無偏光としたが、これに限らず、偏光方向が同じ直線偏光光としてもよく、偏光状態が同じ偏光光であればよい。また、本計測装置は、撮像部を備えた複数台のロボットアームを用いて計測を行う計測装置や、固定された支持部材に撮像部を備えた計測装置にも適用が可能である。また、計測装置20は、ロボットアーム以外にも、固定された支持構造物に取り付けられていても良い。また、当該計測装置によって計測された被計測物の形状データを用いて、被計測物の加工、変形や組立などの処理を行って、光学部品や装置ユニットなどの物品を生産することもできる。

Claims (13)

  1. 被計測物の形状を計測する計測装置であって、
    第1波長の光を発する第1光源と、
    前記第1波長とは異なる第2波長の光を発する第2光源と、
    前記第1光源からの光と前記第2光源からの光とを合波する合波部と、
    前記第1光源からの光を用いてパターン光を形成する形成部と、
    合波された前記第1光源からの光と前記第2光源からの光とを前記被計測物に投影する投影光学系と、
    前記形成部及び前記投影光学系により前記パターン光が投影された前記被計測物を撮像して、前記被計測物で反射された前記パターン光による前記被計測物の第1画像を取得する撮像部と、
    前記第1画像に基づいて前記被計測物の形状の情報を求める処理部と、を有し、
    前記投影光学系は、前記第1光源からの光の投影と前記第2光源からの光の投影とを行う共通の光学系であり、
    前記撮像部は、前記投影光学系を介して前記第2光源からの光で照明された前記被計測物を撮像して、前記被計測物で反射された前記第2光源からの光による前記被計測物の第2画像を取得し、
    前記処理部は、前記第2画像を用いて前記第1画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする計測装置。
  2. 前記パターン光と前記第2光源からの光は、前記投影光学系の絞りの開口を通過して前記被計測物に投影される、ことを特徴とする請求項1に記載の計測装置。
  3. 前記投影光学系からの前記パターン光の明部の光と前記第2光源からの光とは、光強度が同じで主光線が同じ方向の光を有する、ことを特徴とする請求項1又は2に記載の計測装置。
  4. 前記第1光源からの光の光路と前記第2光源からの光の光路とは前記合波部により同軸上に配置される、ことを特徴とする請求項1乃至3の何れか1項に記載の計測装置。
  5. 前記処理部は、前記被計測物における前記第1波長の光の反射率と前記第2波長の光の反射率との反射率比に関する情報を取得し、
    前記処理部は、前記反射率比に関する情報を用いて前記第2画像の画素値を前記第1波長における画素値に変換し、変換後の画像の画素値を用いて前記第1画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする請求項1乃至4の何れか1項に記載の計測装置。
  6. 前記合波部により合波された前記第1光源からの光と前記第2光源からの光とが前記形成部に入射し、
    前記形成部は、前記第1波長の光と前記第2波長の光とで透過率が異なるパターンを有する、ことを特徴とする請求項1乃至5の何れか1項に記載の計測装置。
  7. 前記形成部のパターンは、誘電体多層膜のパターンを有する、ことを特徴とする請求項6に記載の計測装置。
  8. 前記形成部のパターンは、入射光の波長以下の周期で屈折率が変化する微細構造体を有する、ことを特徴とする請求項6に記載の計測装置。
  9. 前記微細構造体は、フォトニック結晶を有する、ことを特徴とする請求項8に記載の計測装置。
  10. 前記撮像部は、前記被計測物で反射された前記パターン光による前記被計測物の撮像と、前記被計測物で反射された前記第2光源からの光による前記被計測物の撮像を同期して行うことを特徴とする請求項1乃至9の何れか1項に記載の計測装置。
  11. 前記第1光源からの光の偏光状態と、前記第2光源からの光の偏光状態と、が同じである、ことを特徴とする請求項1乃至10の何れか1項に記載の計測装置。
  12. 物体を把持して移動させるシステムであって、
    前記物体の形状を計測する、請求項1乃至11の何れか1項に記載の計測装置と、
    前記物体を把持する把持部と、
    前記把持部を制御する制御部と、を有し、
    前記制御部は、前記計測装置による前記物体の計測結果を用いて前記把持部を制御する、ことを特徴とするシステム。
  13. 物品の生産方法であって、
    請求項1乃至11の何れか1項に記載の計測装置を用いて被計測物の形状を計測する工程と、
    前記計測装置による前記被計測物の計測結果を用いて前記被計測物を処理することにより、物品を生産する工程と、を有することを特徴とする生産方法。
JP2015138157A 2015-07-09 2015-07-09 被計測物の形状を計測する計測装置 Pending JP2017020873A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015138157A JP2017020873A (ja) 2015-07-09 2015-07-09 被計測物の形状を計測する計測装置
US15/202,966 US10223575B2 (en) 2015-07-09 2016-07-06 Measurement apparatus for measuring shape of object, system and method for producing article

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015138157A JP2017020873A (ja) 2015-07-09 2015-07-09 被計測物の形状を計測する計測装置

Publications (1)

Publication Number Publication Date
JP2017020873A true JP2017020873A (ja) 2017-01-26

Family

ID=57730014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015138157A Pending JP2017020873A (ja) 2015-07-09 2015-07-09 被計測物の形状を計測する計測装置

Country Status (2)

Country Link
US (1) US10223575B2 (ja)
JP (1) JP2017020873A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019100852A (ja) * 2017-12-01 2019-06-24 オムロン株式会社 画像処理システム、及び画像処理方法
JP2020101377A (ja) * 2018-12-20 2020-07-02 三星電子株式会社Samsung Electronics Co.,Ltd. 3次元情報算出装置、3次元計測装置、3次元情報算出方法及び3次元情報算出プログラム
KR20210061285A (ko) * 2019-11-18 2021-05-27 단국대학교 산학협력단 다파장 광원 기반 3차원 영상의 보정방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101620427B1 (ko) * 2014-10-14 2016-05-12 엘지전자 주식회사 로봇 청소기의 제어방법
US10726569B2 (en) * 2017-05-16 2020-07-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
JP7257162B2 (ja) * 2019-02-08 2023-04-13 株式会社キーエンス 検査装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03289505A (ja) * 1990-04-06 1991-12-19 Nippondenso Co Ltd 3次元形状測定装置
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd 3次元形状計測装置および3次元形状計測方法
JP4548385B2 (ja) * 2006-05-10 2010-09-22 株式会社ニコン 表面検査装置
WO2010006081A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR101092422B1 (ko) * 2010-01-14 2011-12-09 경북대학교 산학협력단 광학식 표면 형상 측정 장치
JP5975685B2 (ja) * 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP6454489B2 (ja) * 2014-07-10 2019-01-16 オリンパス株式会社 観察システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019100852A (ja) * 2017-12-01 2019-06-24 オムロン株式会社 画像処理システム、及び画像処理方法
JP2020101377A (ja) * 2018-12-20 2020-07-02 三星電子株式会社Samsung Electronics Co.,Ltd. 3次元情報算出装置、3次元計測装置、3次元情報算出方法及び3次元情報算出プログラム
KR20210061285A (ko) * 2019-11-18 2021-05-27 단국대학교 산학협력단 다파장 광원 기반 3차원 영상의 보정방법
KR102484708B1 (ko) * 2019-11-18 2023-01-05 단국대학교 산학협력단 다파장 광원 기반 3차원 영상의 보정방법

Also Published As

Publication number Publication date
US10223575B2 (en) 2019-03-05
US20170008169A1 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
JP2017020873A (ja) 被計測物の形状を計測する計測装置
US9628779B2 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
JP5356402B2 (ja) 表面形状測定システム及びそれを用いた測定方法
JP2002213931A (ja) 3次元形状計測装置および3次元形状計測方法
JP6532325B2 (ja) 被計測物の形状を計測する計測装置
JP6478713B2 (ja) 計測装置および計測方法
JP2008096439A (ja) 物体の3次元座標を判定するための方法および装置
TWI567364B (zh) 結構光產生裝置、量測系統及其方法
EP3524929B1 (en) Projection system
JP2015021904A5 (ja)
KR20120038072A (ko) 측정장치 및 이의 보정방법
JP5122729B2 (ja) 3次元形状測定方法
JP2018116032A (ja) 被計測物の形状を計測する計測装置
JP2010181247A (ja) 形状測定装置及び形状測定方法
KR100982051B1 (ko) Dmd를 이용한 모아레 측정 장치
JP2010078339A (ja) 3次元形状計測装置および方法並びにプログラム
JP2010014505A (ja) 三次元形状測定装置及び三次元形状測定方法
US10060733B2 (en) Measuring apparatus
JP2017040583A (ja) 計測装置、リソグラフィ装置、および物品の製造方法
KR101333299B1 (ko) 투영격자의 진폭을 적용한 3차원 형상 측정장치 및 방법
KR20100011185A (ko) Dmd를 이용한 모아레 측정 장치
KR20130022415A (ko) 측정장치 및 이의 보정방법
JP2017049179A5 (ja) 計測装置および取得方法
JP6597467B2 (ja) 顔向き計測装置
JP6611872B2 (ja) 計測装置