JP2004125652A - ３次元計測装置及び３次元計測方法 - Google Patents
３次元計測装置及び３次元計測方法 Download PDFInfo
- Publication number
- JP2004125652A JP2004125652A JP2002290979A JP2002290979A JP2004125652A JP 2004125652 A JP2004125652 A JP 2004125652A JP 2002290979 A JP2002290979 A JP 2002290979A JP 2002290979 A JP2002290979 A JP 2002290979A JP 2004125652 A JP2004125652 A JP 2004125652A
- Authority
- JP
- Japan
- Prior art keywords
- axis direction
- grating
- moving
- grid
- lattice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】計測に悪影響を及ぼす空間周波数の高調波成分の除去と、計測時間の短縮を同時に可能にする３次元計測装置を提供する。
【解決手段】Ｙ軸方向に延びるスリットを一定ピッチｐで配列した格子３と、格子３の面を被計測物体７に対して実質的に水平に保ち、Ｘ軸方向とＺ軸方向に同時に移動させる格子位置制御部４と、平行光を出射する照射部３０と、モアレ縞の画像を取り込む受光部３１とを備えるモアレ計測装置である。格子３を被計測物体７に対して斜め方向に動かしながら、モアレ計測することで、計測に悪影響を及ぼす空間周波数の高調波成分の除去と、計測時間の短縮を同時に適えることが出来る。
【選択図】 図１
【解決手段】Ｙ軸方向に延びるスリットを一定ピッチｐで配列した格子３と、格子３の面を被計測物体７に対して実質的に水平に保ち、Ｘ軸方向とＺ軸方向に同時に移動させる格子位置制御部４と、平行光を出射する照射部３０と、モアレ縞の画像を取り込む受光部３１とを備えるモアレ計測装置である。格子３を被計測物体７に対して斜め方向に動かしながら、モアレ計測することで、計測に悪影響を及ぼす空間周波数の高調波成分の除去と、計測時間の短縮を同時に適えることが出来る。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、被計測物体の表面を計測する３次元計測装置及び３次元計測方法に関する。
【０００２】
【従来の技術】
一般的な工業部品等の非接触の３次元計測装置として、安価、且つ高精度な計測結果を得られる光切断法が最も頻繁に使用されている。しかし、光切断法は２次元的な走査を行うために、撮像時間が長くなる。そのため、生体のような被計測物体を固定することが難しい計測には向かない。また、光切断法の装置は目に対して有害なレーザ光線を使用するため、美容分野において主な計測部位となる生体顔面部に使用するには問題がある。そこで、生体に対して無害な白色光源を用いて高速、且つ高精度に計測を行えるモアレトポグラフィが注目されている。モアレトポグラフィは、モアレ縞によって対象物体の等高線画像を得る非接触の３次元計測法である。
【０００３】
モアレトポグラフィには、モアレ縞を利用した位相シフト法（縞走査法）がある。モアレ縞は規則的な模様を重ねる、又は、標本化することで３次元計測をすることが出来る。例えば、直線格子の影が対象物に投影されると、格子線の影は物体の形状に応じて変形する。物体上の影と直線格子を重ね合わせることで、影と直線格子との干渉によるモアレ縞が観測される。光学系を適宜配置することにより、モアレ縞は物体の等高線に対応した画像となる。
【０００４】
３次元計測技術としてのモアレトポグラフィは、工学、医学、歯学及びファッション関係等の分野で利用されている。モアレトポグラフィによる形状計測には、大別して二つの方法がある。被計測物体の直前に格子を置き、格子の影と直前に置いた格子によりモアレ縞を発生させる方法（格子照射型）と、モアレ格子を被計測物体に投射し、被計測物体の形状により変化した格子の像を、結像レンズにより同じピッチの格子上に結像してモアレ縞を発生させる方法（格子投射型）である。格子照射型は、数１０μｍ程度から数ｃｍの凹凸までの計測に適用される。また、格子投射型は、比較的大きな凹凸（数ｍｍ〜数ｃｍ）の被計測物体を計測するときに適用される。
【０００５】
従来の３次元計測は、位相シフト法による計測において、位相導出を行う際の位相連結の問題を逆正接関数により解決している。（例えば、特許文献１参照。）。また、モアレ縞を形成する格子からの反射を格子の角度を調整し、且つ偏向子を回転することにより、被測定物体からの反射光と基板からの反射回折光を区別して測定しているものもある（例えば、特許文献２参照。）。
【０００６】
【特許文献１】
特開２００１−１２４５３４公報
【０００７】
【特許文献２】
特開平７−３３２９５６号公報
【０００８】
【発明が解決しようとする課題】
３次元計測をモアレトポグラフィで位相シフト法を適用して行う場合、位相シフト法は高さ成分であるモアレ縞と共に、空間周波数の高い参照格子、変形格子及び格子の２倍の高調波を持つ空間周波数成分が複合される。高調波成分が複合されると計測誤差を生じる原因となる。計測誤差を小さくするためには、従来、イメージセンサの画素を格子よりも十分大きくするか、モアレ画像をぼかして撮像し、空間周波数が高い格子成分を低減してきた。しかし、その結果、横分解能（水平分解能）が悪くなる問題があった。
【０００９】
また、３次元計測を行うときに位相シフト法をモアレトポグラフィに適用する場合は、格子と物体の距離をモアレ等高線縞間隔に対して規定された分だけ移動させて静止させた後に画像を複数枚取り込む必要があり（ステップ型位相シフト法）、計測に長時間を要する問題があった。
【００１０】
更に、３次元計測にモアレトポグラフィを適用する場合は、ピングリッドアレイ（ＰＧＡ）等の半導体パッケージが有する微細構造の高さを測定しようとすると、被計測物体に格子の影が写りこみ計測がうまくいかない問題があった。
【００１１】
本発明は上記課題を解決するためになされたものであって、３次元計測で、計測に悪影響を及ぼす高調波成分の除去し、計測時間の短縮を可能とする３次元計測装置及び３次元計測方法を提供することを目的とする。
【００１２】
また、微細な高さ方向の構造を有する被計測物体を正確に測定できる３次元計測装置及び３次元計測方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の特徴は、（イ）Ｙ軸方向に延びるスリットを一定のピッチでＸ−Ｙ平面に配列した格子と、（ロ）格子の面を実質的に水平に保ち、被計測物体に対して格子をＸ軸方向に移動させ、且つ格子をＸ−Ｙ平面に直交するＺ軸方向に移動させる格子位置制御部と、（ハ）格子に平行光を出射する照射部と、（ニ）格子を介して被計測物体のモアレ縞の画像を取り込む受光部と、（ホ）格子位置制御部の動作を制御し、且つ受光部に取り込まれた画像を３次元計測データに変換する制御システムとを備える３次元計測装置であることを要旨とする。なお、Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する座標系である。
【００１４】
本発明の第１の特徴によれば、計測に悪影響を及ぼす空間周波数の高調波成分の除去し、計測時間の短縮を可能とする３次元計測装置を提供することが出来る。また、被計測物体が微細な構造の高さ有する場合も、格子の影による測定不可能な点を無くすことを可能とする３次元計測装置を提供することが出来る。
【００１５】
本発明の第２の特徴は、（イ）Ｙ軸方向に延びるスリットを一定のピッチでＸ−Ｙ平面に配列した格子の面を実質的に水平に保ち、被計測物体に対してＸ軸方向に移動させ、且つＸ−Ｙ平面に直交するＺ軸方向に移動させるステップと、（ロ）格子に平行光を出射するステップと、（ハ）格子を介して形成された被計測物体のモアレ縞の画像を取り込むステップと、（ニ）画像を３次元計測データに変換するステップとを含む３次元計測方法であることを要旨とする。
【００１６】
本発明の第２の特徴によれば、計測に悪影響を及ぼす空間周波数の高調波成分の除去し、計測時間の短縮を可能とする３次元計測方法を提供することが出来る。また、被計測物体が微細な構造の高さ有する場合も、格子の影による測定不可能な点を無くすことを可能とする３次元計測方法を提供することが出来る。
【００１７】
【発明の実施の形態】
以下に図面を参照して、本発明の実施の形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なる。したがって、具体的な厚みや寸法は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１８】
本発明の実施の形態に係る３次元計測装置は、図１及び図４に示すように、格子３と、格子３をＸ軸方向に移動させ、且つ格子３をＸ−Ｙ平面に直交するＺ軸方向に移動させる格子位置制御部４と、格子３に平行光を出射する照射部３０と、格子３を介して被計測物体７のモアレ縞の画像を取り込む受光部３１と、制御システム４３とを備える。格子３は、Ｙ軸方向に延びるスリットを一定のピッチｐでＸ−Ｙ平面に配列している。格子位置制御部４は、格子３の面を実質的に水平に保ち、被計測物体７に対して格子３をＸ軸方向とＺ軸方向に移動させる。制御システム４３は、格子位置制御部４の動作を制御し、且つ受光部３１に取り込まれた画像を３次元計測データに変換する。
【００１９】
照射部３０は、蛍光灯等の線光源である光源１と、光源１から出射した照明光を平行光に変換するシリンドリカルレンズ等の第１のレンズ２とを備える。
【００２０】
受光部３１は、格子３を通って被計測物体７の被計測面で反射した格子の像と格子３との重ね合わせにより形成されるモアレ縞の画像を集光するテレセントリックレンズ等の第２のレンズ５と、モアレ縞の画像を取り込むイメージセンサ６とを備える。
【００２１】
格子位置制御部４は、移動機構４１と、この移動機構４１を駆動する駆動部４２とを備え、制御システム４３から制御信号等を供給され位置移動を制御される。即ち、制御システム４３は、駆動部４２に制御信号等を供給し、移動機構４１の動作を制御する。移動機構４１は、図２に示すように、格子３の位置をＸ軸に沿って移動するＸ軸ステージ４１ａと、このＸ軸ステージ４１ａを搭載し、格子３の位置をＺ軸に沿って移動するＺ軸ステージ４１ｂを備える。
【００２２】
次に、本発明の実施の形態に係る３次元計測装置及び３次元計測方法により、空間周波数の高調波成分を除去することが可能であることを、図３を用いて説明する。
【００２３】
まず、光源１ａ，１ｂの光強度を１とする。格子３の透過率分布Ｔ（ｘ）は、ｘをＸ軸方向の座標、ｐを格子３のスリットのピッチとして、
Ｔ（ｘ）＝（１／２）｛１＋ｃｏｓ（２πｘ／ｐ）｝ ・・・・・（１）
で表される。式（１）は、格子３の透過率分布Ｔ（ｘ）の最小を０、最大を１とした関数である。
【００２４】
光源１ａが発した光が被計測物体７の計測面に到達する光強度の分布Ｉ１（ｘ）は、θを光源１ａから照射される入射光と格子３とのなす角、ｈをモアレ縞の形成箇所と格子３との距離とすると、
Ｉ１（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈｔａｎθ））｝ ・・・・・（２）
で表される。（２）式において、光強度の分布Ｉ１（ｘ）は、ｔａｎθ＝Ａとすると、
Ｉ１（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈＡ））｝ ・・・・・（３）
で表される。
【００２５】
次に、光源１ｂが発した光が被計測物体７の観測面に到達する光強度の分布Ｉ２（ｘ）は、φを光源１ｂから照射される入射光と格子３とのなす角とすると、
Ｉ２（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈｔａｎφ））｝ ・・・・・（４）
で表される。（３）式において、光強度の分布Ｉ２（ｘ）は、ｔａｎφ＝Ｂとすると、
Ｉ２（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈＢ））｝ ・・・・・（５）
で表される。
【００２６】
被計測物体７の上方に光源１ａ，１ｂにより照射され出来る光強度の分布Ｉｍ（ｘ）は、式（３）と式（５）を加算することで求められる。しかし、モアレ縞での計測の場合、光源１ａ，１ｂのどちらか一方がイメージセンサ等の観測装置である。すなわち、格子３を２回透過した光が１つしかないことになるので乗算となる。したがって、式（３）と式（５）を乗算すると次式が得られる。
【００２７】
【数１】
式（６）の右辺第１項は、定数となるので、バイアス成分を表す。式（６）の右辺第２項は、光源１ａから照射された光により被計測物体７に落とされた影と同じ格子３の空間周波数成分である。式（６）の右辺第３項は、右辺第２項と同様に光源１ｂから照射された光により被計測物体７に落とされた影と同じ格子３の空間周波数成分である。式（６）の右辺第４項は、格子３の２倍の空間周波数成分、すなわち、空間周波数の高調波成分である。式（６）の右辺第５項は、モアレ縞の成分であり、格子３の空間周波数成分を持たない。
【００２８】
本発明の実施の形態に係る３次元計測方法では、格子３をＸ軸方向とＺ軸方向に移動させるので、格子３の移動分を考慮しなくてはならない。そこで、格子３がｔ秒間にＸ軸方向に動く距離をα（ｔ）、Ｚ軸方向に動く距離をβ（ｔ）とする。α（ｔ）とβ（ｔ）を式（６）に代入すると、光強度の分布Ｉｍ（Ｘ，ｔ）は、
【数２】
で表される。
【００２９】
格子３は、Ｘ軸方向とＺ軸方向にそれぞれ一定の速度で移動するので、β（ｔ）＝ｋα（ｔ）の関係が成り立つ。そこで、β（ｔ）＝ｋα（ｔ）を式（５）に代入すると、光強度の分布Ｉｍ（Ｘ，ｔ）は、
【数３】
本発明の実施の形態に係るモアレ計測方法は、正反射モアレなので
Ｂ＝−Ａ ・・・・・（９）
の関係が成り立つ。また、Ｔ秒間に格子３がＸ軸方向にｎ周期移動したとすると、格子３がＸ軸方向に動く距離α（ｔ）は、
α（ｔ）＝（ｎｐ／Ｔ）ｔ ・・・・・（１０）
で表される。格子３はＺ軸方向にも同時に動いているので、Ｔ秒間にＺ軸方向にモアレ縞の縞間隔の１／４（位相のπ／２）を移動したとすると、格子３がＺ軸方向に動く距離β（ｔ）は、
β（ｔ）＝ｋα（ｔ）＝（ｐ／８ＡＴ）ｔ ・・・・・（１１）
で表される。
【００３０】
そこで、式（９），（１０），（１１）を式（８）に代入して積分すると、
【数４】
で表される。そして、式（１２）を解くと、
【数５】
右辺第１項 ［（１／４）（ｔ／Ｔ）］ ・・・・・（１３）
右辺第２項 ［−４｛ｓｉｎ（−（１／４）π（８ｎ＋１）ｔ／Ｔ＋２π（ｘ−ｈＡ）／ｐ）／（８ｎ＋１）π｝］・・・・・（１４）
右辺第３項 ［−４｛ｓｉｎ（−（１／４）π（８ｎ−１）ｔ／Ｔ＋２π（ｘ−ｈＡ）／ｐ）／（８ｎ−１）π｝］・・・・・（１５）
右辺第４項 ［−（１／８）ｓｉｎ（（−４πｎｔ／Ｔ）＋４πｘ／ｐ）／πｎ］ ・・・・・（１６）
右辺第５項 ［ｓｉｎ（（１／２）πｔ／Ｔ−４πＡｈ／ｐ）／π］ ・・・・・（１７）
が得られる。
【００３１】
本発明の実施の形態に係るモアレ計測方法は、１フレーム毎の観測装置のシャッタースピード（シャッター開放時間）をＴ秒とし、Ｔ秒間毎に１フレームずつ取り込み８Ｔで８フレーム分を取り込む。取り込まれた８個のフレームは、それぞれＩｓ０，・・・・・Ｉｓ７とする。つまり、式（１３）〜式（１７）の積分区間は、第１フレーム強度Ｉｓｏの場合に０〜Ｔ，第２フレーム強度Ｉｓ１の場合にＴ〜２Ｔ，第３フレーム強度Ｉｓ２の場合に２Ｔ〜３Ｔ，第４フレーム強度Ｉｓ３の場合に３Ｔ〜４Ｔ，第５フレーム強度Ｉｓ４の場合に４Ｔ〜５Ｔ，第６フレーム強度Ｉｓ５の場合に５Ｔ〜６Ｔ，第７フレーム強度Ｉｓ６の場合に６Ｔ〜７Ｔ，第８フレーム強度Ｉｓ７の場合に７Ｔ〜８Ｔとなる。そして、次の処理は、Ｉｓ０＋Ｉｓ４ ，Ｉｓ１＋Ｉｓ５，Ｉｓ２＋Ｉｓ６，Ｉｓ３＋Ｉｓ７の加算を行う。例えば、Ｉｓ０＋Ｉｓ４は、式（１３）〜式（１７）より、
【数６】
で表される。
【００３２】
式（１８）が示す右辺第２項において、１項と３項，２項と４項はそれぞれ位相がπずれた状態なので加算すると０になる。式（１９）が示す右辺第３項も同様に０になる。式（２０）が示す右辺第４項において、１項と２項及び３項と４項は相殺されて加算前に０になる。式（２１）が示す右辺第５項において、１項と３項は２πずれており、２項と４項も同様に２πずれているため２倍の信号となる。よって格子３及び格子３の２倍の空間周波数成分は消去され、モアレ縞の成分のみ残りＩｓ０＋Ｉｓ４は、第１バケット
Ｉ０＝Ｉｓ０＋Ｉｓ４＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋１／４π）＋（１／２） ・・・・・（２２）
で表される。
【００３３】
以下同様の処理により、第２バケットＩ１＝Ｉｓ１＋Ｉｓ５、第３バケットＩ２＝Ｉｓ２＋Ｉｓ６、第４バケットＩ３＝Ｉｓ３＋Ｉｓ７を示すと、
Ｉ１＝Ｉｓ１＋Ｉｓ５＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋３／４π）＋（１／２） ・・・・・（２３）
Ｉ２＝Ｉｓ２＋Ｉｓ６＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋５／４π）＋（１／２） ・・・・・（２４）
Ｉ３＝Ｉｓ３＋Ｉｓ７＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋７／４π）＋（１／２） ・・・・・（２５）
となり、それぞれ順にモアレ縞の位相がπ／２ずつシフトされた成分だけになる。
【００３４】
格子３のシフト条件は、式（１０），（１１）より、
ｋ＝β（ｔ）／α（ｔ） ＝１／（８Ａｎ）＝１／（８ｎｔａｎθ） ＝ｔａｎω ・・・・・（２６）
ω＝ｔａｎ−１｛１／（８ｎｔａｎθ）｝ ・・・・・（２７）
が得られる。式（２７）より、格子３の基準軸（Ｘ軸）に対する移動方向ωは、ピッチｐに依存せず、格子３への平行光の入射角度θにより決定される。つまり、平行光の格子３への入射角度が一定なら、ピッチｐの異なる格子３を用いる場合でも、ピッチｐに依存しないので、位相シフトの作動方向ωを調整する必要がなく、モアレ縞の成分のみを得ることが出来る。
【００３５】
モアレ縞の位相ψは、第１バケットＩ０〜第４バケットＩ３を用いて、
ψ＝ｔａｎ−１｛（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２）｝ ・・・・・（２８）
で表される。
【００３６】
したがって、格子３がＸ軸方向とＺ軸方向にそれぞれ一定の速度で移動すると、式（２２）〜式（２５）で示したように、格子３とその空間周波数の高調波成分を除去出来、モアレ縞の成分のみを表すことが出来る。したがって、格子３をＸ軸方向とＺ軸方向にそれぞれ一定の速度で移動させ、格子３がＺ軸方向にモアレ縞の位相のπ／２移動する毎にモアレ縞の画像を取り込む。所謂、積分型の位相シフト法がモアレ縞の画像取り込み手段に用いることが可能となり、３次元計測の計測時間の短縮を促すことになる。
【００３７】
上記した３次元計測装置及び３次元計測方法の証明においては、計測が短時間に行われるために、位相量をＺ軸方向にπ／２ずつ変化させる積分型４枚法位相シフトを用いて示した。但し、本発明の実施の形態に係る３次元計測方法は、積分型４枚法位相シフトに限らない。３次元計測方法が高速計測を必要としなければ、位相シフト量が２πの１／ｑ（ｑは０以外）であれば応用可能である。
【００３８】
図１に示す３次元計測装置の制御システム４３を、より具体的に図４に示す。制御システム４３は、画像処理部１２と、画像処理部１２に接続された制御装置１３を備える。光源１には、光源１の光強度を調整する光源駆動回路８が接続されている。Ｘ軸ステージ４１ａとＺ軸ステージ４１ｂは、これらを駆動させるステップモータ等の駆動部（ステージコントローラ）４２が接続されている。図示を省略しているが、Ｘ軸ステージ４１ａとＺ軸ステージ４１ｂの移動位置は、例えばレーザ干渉計等により測定され、制御装置１３にフィードバックされる。或いは位置変化に伴うインダクタンスを測定し電磁制御して、位置制御しても良い。図１に示したイメージセンサ６は、例えば、モアレ縞の画像を取り込むカメラ６ａに内蔵されている。被計測物体７は、平行移動するベルトコンベア等の移動手段２０に載置される。
【００３９】
画像処理部１２は、出力側が制御ボード１１に接続し、入力側が画像取り込みボード１０にそれぞれ接続されたマイクロプロセッサ若しくはパーソナルコンピュータである。画像処理部１２は、横分解能を求めるための横分解能計測手段（モジュール）及び等高線の縞間隔Δｈを求めるためのΔｈ計測手段（モジュール）を備える。また、画像処理部１２は、位相アンラップ法の設定手段（モジュール）、位相アンラップ開始点の設定手段（モジュール）、平均化回数の設定手段（モジュール）、計測面の傾きを補正するための任意の領域の設定手段（モジュール）、被計測物体７が存在しない場所を自動的に検出してその場所のデータを削除する設定手段（不良点抽出設定手段）、及び、不良点を抽出するためのしきい値設定手段（モジュール）等を備える。これらの計測手段及び設定手段に基づき、画像処理部１２は、計測したモアレ縞の画像から、被計測物体７の３次元の画像データを取得、且つ保存する機能を備える。
【００４０】
制御装置１３は、入力側が画像処理部１２に、出力側が光源駆動回路８、駆動部４２、カメラ６ａ及び移動手段２０にそれぞれ接続された制御ボード１１と、入力側がカメラ６ａに、出力側が画像処理部１２にそれぞれ接続された画像取り込みボード１０とを備える。
【００４１】
式（２２）〜式（２５）で得られるモアレ縞の成分は、２π単位であるため、位相計算をすると２π単位で不連続になる。そのため、「位相アンラップ」により、周りの位相データから連続になるように２πｎ（ｎは０でない整数）が加算、又は、減算されて位相を繋ぎ合わせる補正を行う。「位相アンラップの開始点」は、位相計算を最初に行う箇所である。そこで、被計測物体７がないところを計測の開始点とすると、モアレ縞が存在しないので、位相アンラップを行うことが出来ない。被計測物体７があるところ（モアレ縞が存在する座標）、つまり、式（２２）で表されるモアレ縞の成分が存在する箇所を計測の開始点として指定することにより、破綻のない位相アンラップを行える。また、式（２２）〜式（２５）で得られるモアレ縞の成分がノイズの大きな画像である場合、計測誤差が大きくなる。そこで、同じ位相でのモアレ縞の画像を複数回取り込み平均化することで計測誤差が起こりにくいようにする。その平均するときの画像取り込み回数の設定が「平均化回数の設定」である。
【００４２】
図４を参照しながら、本発明の実施の形態に係る３次元計測方法を図５のフローチャートにより説明する。
【００４３】
（イ）まず、ステップＳ１０１において、３次元計測に用いる格子３や被計測物体７等を用意し、被計測物体７を移動手段２０に載置する。ここで、画像処理部１２から制御信号ＣＳが出力され、制御装置１３内の制御ボード１１に入力される。そして、制御ボード１１からシフト信号ＳＳが出力され、移動手段２０に入力される。入力されたシフト信号ＳＳによって、移動手段２０に載置された被計測物体７がモアレ縞の計測を行うのに好適な箇所まで移動される。
【００４４】
（ロ）次に、ステップＳ１０２において、制御ボード１１から輝度信号ＬＣが出力され、光源駆動回路８に入力される。輝度信号ＬＣは、光源１から出射される光の光強度を調整するための信号である。被計測物体７の個々に違う反射率を考慮し、光源１から出射される光が、輝度信号ＬＣにより最適な光強度に調整される。
【００４５】
（ハ）次に、ステップＳ１０３において、３次元計測を行う計測環境が画像処理部１２に設定される。即ち、画像処理部１２は、位相アンラップ法の設定、位相アンラップ開始点の設定、平均化回数の設定、計測面の傾きを補正するための任意の領域の設定、被計測物体７が存在しない場所を自動的に検出してその場所のデータを削除する設定（不良点抽出設定）、及び、不良点を抽出するためのしきい値設定等を行う。
【００４６】
（ニ）次に、ステップＳ１０４において、光源１から照射光が出射され、第１のレンズに入射する。第１のレンズ２に入射した光は、平行光となり格子３に入射する。格子３に照射された平行光の内、格子３の遮光部に遮られなかった平行光によって、被計測物体７の表面に明暗のパターンが形成される。これをカメラ６ａ側から格子３を通して観察すると、格子３の光透過部のパターンと被計測物体７の表面の明のパターンとが干渉してモアレ縞ができる。
【００４７】
（ホ）次に、ステップＳ１０５において、制御ボード１１からシャッター信号ＦＣが出力され、カメラ６ａに入力される。カメラ６ａにシャッター信号ＦＣが出力されると、カメラ６ａのシャッターが開き、第２のレンズ５で集光された被計測物体７の表面の明暗のパターンと格子３のパターンとが干渉したモアレ縞の画像が取り込まれる。一方、制御ボード１１からステージ制御信号ＰＳが出力され、駆動部４２に入力される。ステージ制御信号ＰＳを入力された駆動部４２は、Ｘ軸ステージ４１ａとＺ軸ステージ４１ｂをそれぞれ制御し、駆動することが出来る。そこで、積分型４枚法位相シフトを用いるために、シャッター信号ＦＣとステージ制御信号ＰＳの出力タイミングを合わせて、格子３がＺ軸方向にモアレ縞の位相のπ／２、Ｘ軸方向に格子３のスリットのピッチｐのｎ倍（ｎは０を除く整数）移動される毎の一定時間の間で連続的にモアレ縞の画像を１フレーム取り込む。
【００４８】
（ヘ）次に、ステップＳ１０６において、格子３がＺ軸方向にモアレ縞の位相の４π分移動（８フレーム取り込み）したか否かが判断される。格子３がＺ軸方向に４π分移動していなかったらステップＳ１０５に戻り、モアレ縞の画像の取り込みが繰り返される。
【００４９】
（チ）次に、ステップＳ１０７において、モアレ縞の画像はカメラ６ａから画像アナログ信号ＧＡとして出力され、画像取り込みボード１０に入力される。画像アナログ信号ＧＡは、画像取り込みボード１０でデジタル信号化され、画像デジタル信号ＧＤとして出力され、画像処理部１２に入力される。入力された画像デジタル信号ＧＤは、画像処理部１２内の補助記憶装置に保存される。
【００５０】
（リ）次に、ステップＳ１０８において、画像デジタル信号ＧＤは、ステップＳ１０２で画像処理部１２に施した設定を基に解析され、３次元計測データに変換される。
【００５１】
（ヌ）最後に、ステップＳ１０９において、ステップＳ１０８で得られた３次元計測データが画像処理部１２の補助記憶装置に保存される。
【００５２】
本発明の実施の形態に係る３次元計測装置及び３次元計測方法によれば、格子３の連続した動作の中で画像を取り込むことが出来るので３次元計測に費やす時間を短縮することが出来る。即ち、格子３と被計測物体７の距離をモアレ縞の間隔に対して規定された分だけ移動させて静止した後に画像を複数枚取り込む必要がない。
【００５３】
本発明の実施の形態に係る３次元計測装置及び３次元計測方法によれば、計測誤差を出し、且つ、横分解能も悪くする格子３及び格子３の２倍の周波数（高調波）成分が除去することが出来る。
【００５４】
また、本発明の実施の形態に係る３次元計測装置及び３次元計測方法によれば、ＰＧＡのピン等の微細な高さの構造を有する非測定物体の場合でも、格子３の影が邪魔になることなく正確な且つ精密な測定が出来る。
【００５５】
（その他の実施の形態）
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす記述及び図面はこの発明を限定するものであると理解するべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかになるはずである。
【００５６】
図５のフローチャートにおいて、３次元計測を行う計測環境を画像処理部１２に設定するのは、計測前に示しているが、計測中に計算結果を画像処理部１２の出力画面で確認しながら設定することも可能である。
【００５７】
更に、図６に示す格子位置制御部４０ａは、Ｚ軸方向に格子３を移動させるために格子３を固定する面に傾斜を有する補助部２１ａを備えることが図１，図２，図４に示す格子位置制御部４と異なる。その他は図１，図４に示した実施の形態と同様であるので重複した記載は省略する。補助部２１ａの格子３を固定する面が傾斜を有することによって、Ｘ軸ステージ４１ａを図６の右方に移動させると、格子３は被計測物体７に対して斜め上方に移動する。また、Ｘ軸ステージ４１ａを図６の左方に移動させると、格子３は被計測物体７に対して斜め下方に移動する。すなわち、格子３は図１〜図３に示すＺ軸ステージ４１ｂがなくてもＺ軸方向に移動することになり、Ｚ軸ステージ４１ｂを有するのと同等の効果を得ることが出来る。
【００５８】
尚、格子３を固定する補助部の形状は１つの種類に限られず、例えば、図７に示すように、補助部２１ｂの傾斜が図６で示した補助部２１ａと逆であっても構わない。更に、図７に示すように補助部２１ｂを固定するＸ軸ステージ４１ａを傾けることで、格子３が被計測物体７に対して平行になるようにするのが好ましい。
【００５９】
この様に、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【００６０】
【発明の効果】
本発明の３次元計測装置及び３次元計測方法によれば、悪影響を及ぼす空間周波数の高調波成分の除去と、計測時間の短縮を同時に可能である。
【００６１】
また、本発明の３次元計測装置及び３次元計測方法によれば、微細な高さ方向の構造を有する被計測物体を正確に測定できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る３次元計測装置を示す概念図である。
【図２】本発明の実施の形態に係る３次元計測装置の格子の移動機構（２軸）を示す模式的な断面図である。
【図３】本発明の実施の形態に係る３次元計測方法が空間周波数の高調波成分を除去出来ることを説明するための図である。
【図４】本発明の実施の形態に係る３次元計測装置の具体的な概略図である。
【図５】本発明の実施の形態に係る３次元計測装置を用いた３次元計測方法のフローチャートである。
【図６】本発明のその他の実施の形態に係る３次元計測装置の格子の移動機構（１軸）を示すの模式的な断面図（その１）である。
【図７】本発明のその他の実施の形態に係る３次元計測装置の格子の移動機構（１軸）を示すの模式的な断面図（その２）である。
【符号の説明】
１，１ａ，１ｂ 光源
２ 第１のレンズ
３ 格子
４ 格子位置制御部
５ 第２のレンズ
６ イメージセンサ
６ａ カメラ
７，７ａ 被計測物体
８ 光源駆動回路
１０ 画像取り込みボード
１１ 制御ボート
１２ 画像処理部
１３ 制御装置
２０ 移動手段
２１ａ，２１ｂ 補助部
２２ 信号処理ボード
３０ 照射部
３１ 受光部
４０ａ 格子位置制御部
４１ 移動機構
４１ａ Ｘ軸ステージ
４１ｂ Ｚ軸ステージ
４２ 駆動部
４３ 制御システム
【発明の属する技術分野】
本発明は、被計測物体の表面を計測する３次元計測装置及び３次元計測方法に関する。
【０００２】
【従来の技術】
一般的な工業部品等の非接触の３次元計測装置として、安価、且つ高精度な計測結果を得られる光切断法が最も頻繁に使用されている。しかし、光切断法は２次元的な走査を行うために、撮像時間が長くなる。そのため、生体のような被計測物体を固定することが難しい計測には向かない。また、光切断法の装置は目に対して有害なレーザ光線を使用するため、美容分野において主な計測部位となる生体顔面部に使用するには問題がある。そこで、生体に対して無害な白色光源を用いて高速、且つ高精度に計測を行えるモアレトポグラフィが注目されている。モアレトポグラフィは、モアレ縞によって対象物体の等高線画像を得る非接触の３次元計測法である。
【０００３】
モアレトポグラフィには、モアレ縞を利用した位相シフト法（縞走査法）がある。モアレ縞は規則的な模様を重ねる、又は、標本化することで３次元計測をすることが出来る。例えば、直線格子の影が対象物に投影されると、格子線の影は物体の形状に応じて変形する。物体上の影と直線格子を重ね合わせることで、影と直線格子との干渉によるモアレ縞が観測される。光学系を適宜配置することにより、モアレ縞は物体の等高線に対応した画像となる。
【０００４】
３次元計測技術としてのモアレトポグラフィは、工学、医学、歯学及びファッション関係等の分野で利用されている。モアレトポグラフィによる形状計測には、大別して二つの方法がある。被計測物体の直前に格子を置き、格子の影と直前に置いた格子によりモアレ縞を発生させる方法（格子照射型）と、モアレ格子を被計測物体に投射し、被計測物体の形状により変化した格子の像を、結像レンズにより同じピッチの格子上に結像してモアレ縞を発生させる方法（格子投射型）である。格子照射型は、数１０μｍ程度から数ｃｍの凹凸までの計測に適用される。また、格子投射型は、比較的大きな凹凸（数ｍｍ〜数ｃｍ）の被計測物体を計測するときに適用される。
【０００５】
従来の３次元計測は、位相シフト法による計測において、位相導出を行う際の位相連結の問題を逆正接関数により解決している。（例えば、特許文献１参照。）。また、モアレ縞を形成する格子からの反射を格子の角度を調整し、且つ偏向子を回転することにより、被測定物体からの反射光と基板からの反射回折光を区別して測定しているものもある（例えば、特許文献２参照。）。
【０００６】
【特許文献１】
特開２００１−１２４５３４公報
【０００７】
【特許文献２】
特開平７−３３２９５６号公報
【０００８】
【発明が解決しようとする課題】
３次元計測をモアレトポグラフィで位相シフト法を適用して行う場合、位相シフト法は高さ成分であるモアレ縞と共に、空間周波数の高い参照格子、変形格子及び格子の２倍の高調波を持つ空間周波数成分が複合される。高調波成分が複合されると計測誤差を生じる原因となる。計測誤差を小さくするためには、従来、イメージセンサの画素を格子よりも十分大きくするか、モアレ画像をぼかして撮像し、空間周波数が高い格子成分を低減してきた。しかし、その結果、横分解能（水平分解能）が悪くなる問題があった。
【０００９】
また、３次元計測を行うときに位相シフト法をモアレトポグラフィに適用する場合は、格子と物体の距離をモアレ等高線縞間隔に対して規定された分だけ移動させて静止させた後に画像を複数枚取り込む必要があり（ステップ型位相シフト法）、計測に長時間を要する問題があった。
【００１０】
更に、３次元計測にモアレトポグラフィを適用する場合は、ピングリッドアレイ（ＰＧＡ）等の半導体パッケージが有する微細構造の高さを測定しようとすると、被計測物体に格子の影が写りこみ計測がうまくいかない問題があった。
【００１１】
本発明は上記課題を解決するためになされたものであって、３次元計測で、計測に悪影響を及ぼす高調波成分の除去し、計測時間の短縮を可能とする３次元計測装置及び３次元計測方法を提供することを目的とする。
【００１２】
また、微細な高さ方向の構造を有する被計測物体を正確に測定できる３次元計測装置及び３次元計測方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の特徴は、（イ）Ｙ軸方向に延びるスリットを一定のピッチでＸ−Ｙ平面に配列した格子と、（ロ）格子の面を実質的に水平に保ち、被計測物体に対して格子をＸ軸方向に移動させ、且つ格子をＸ−Ｙ平面に直交するＺ軸方向に移動させる格子位置制御部と、（ハ）格子に平行光を出射する照射部と、（ニ）格子を介して被計測物体のモアレ縞の画像を取り込む受光部と、（ホ）格子位置制御部の動作を制御し、且つ受光部に取り込まれた画像を３次元計測データに変換する制御システムとを備える３次元計測装置であることを要旨とする。なお、Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する座標系である。
【００１４】
本発明の第１の特徴によれば、計測に悪影響を及ぼす空間周波数の高調波成分の除去し、計測時間の短縮を可能とする３次元計測装置を提供することが出来る。また、被計測物体が微細な構造の高さ有する場合も、格子の影による測定不可能な点を無くすことを可能とする３次元計測装置を提供することが出来る。
【００１５】
本発明の第２の特徴は、（イ）Ｙ軸方向に延びるスリットを一定のピッチでＸ−Ｙ平面に配列した格子の面を実質的に水平に保ち、被計測物体に対してＸ軸方向に移動させ、且つＸ−Ｙ平面に直交するＺ軸方向に移動させるステップと、（ロ）格子に平行光を出射するステップと、（ハ）格子を介して形成された被計測物体のモアレ縞の画像を取り込むステップと、（ニ）画像を３次元計測データに変換するステップとを含む３次元計測方法であることを要旨とする。
【００１６】
本発明の第２の特徴によれば、計測に悪影響を及ぼす空間周波数の高調波成分の除去し、計測時間の短縮を可能とする３次元計測方法を提供することが出来る。また、被計測物体が微細な構造の高さ有する場合も、格子の影による測定不可能な点を無くすことを可能とする３次元計測方法を提供することが出来る。
【００１７】
【発明の実施の形態】
以下に図面を参照して、本発明の実施の形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なる。したがって、具体的な厚みや寸法は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１８】
本発明の実施の形態に係る３次元計測装置は、図１及び図４に示すように、格子３と、格子３をＸ軸方向に移動させ、且つ格子３をＸ−Ｙ平面に直交するＺ軸方向に移動させる格子位置制御部４と、格子３に平行光を出射する照射部３０と、格子３を介して被計測物体７のモアレ縞の画像を取り込む受光部３１と、制御システム４３とを備える。格子３は、Ｙ軸方向に延びるスリットを一定のピッチｐでＸ−Ｙ平面に配列している。格子位置制御部４は、格子３の面を実質的に水平に保ち、被計測物体７に対して格子３をＸ軸方向とＺ軸方向に移動させる。制御システム４３は、格子位置制御部４の動作を制御し、且つ受光部３１に取り込まれた画像を３次元計測データに変換する。
【００１９】
照射部３０は、蛍光灯等の線光源である光源１と、光源１から出射した照明光を平行光に変換するシリンドリカルレンズ等の第１のレンズ２とを備える。
【００２０】
受光部３１は、格子３を通って被計測物体７の被計測面で反射した格子の像と格子３との重ね合わせにより形成されるモアレ縞の画像を集光するテレセントリックレンズ等の第２のレンズ５と、モアレ縞の画像を取り込むイメージセンサ６とを備える。
【００２１】
格子位置制御部４は、移動機構４１と、この移動機構４１を駆動する駆動部４２とを備え、制御システム４３から制御信号等を供給され位置移動を制御される。即ち、制御システム４３は、駆動部４２に制御信号等を供給し、移動機構４１の動作を制御する。移動機構４１は、図２に示すように、格子３の位置をＸ軸に沿って移動するＸ軸ステージ４１ａと、このＸ軸ステージ４１ａを搭載し、格子３の位置をＺ軸に沿って移動するＺ軸ステージ４１ｂを備える。
【００２２】
次に、本発明の実施の形態に係る３次元計測装置及び３次元計測方法により、空間周波数の高調波成分を除去することが可能であることを、図３を用いて説明する。
【００２３】
まず、光源１ａ，１ｂの光強度を１とする。格子３の透過率分布Ｔ（ｘ）は、ｘをＸ軸方向の座標、ｐを格子３のスリットのピッチとして、
Ｔ（ｘ）＝（１／２）｛１＋ｃｏｓ（２πｘ／ｐ）｝ ・・・・・（１）
で表される。式（１）は、格子３の透過率分布Ｔ（ｘ）の最小を０、最大を１とした関数である。
【００２４】
光源１ａが発した光が被計測物体７の計測面に到達する光強度の分布Ｉ１（ｘ）は、θを光源１ａから照射される入射光と格子３とのなす角、ｈをモアレ縞の形成箇所と格子３との距離とすると、
Ｉ１（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈｔａｎθ））｝ ・・・・・（２）
で表される。（２）式において、光強度の分布Ｉ１（ｘ）は、ｔａｎθ＝Ａとすると、
Ｉ１（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈＡ））｝ ・・・・・（３）
で表される。
【００２５】
次に、光源１ｂが発した光が被計測物体７の観測面に到達する光強度の分布Ｉ２（ｘ）は、φを光源１ｂから照射される入射光と格子３とのなす角とすると、
Ｉ２（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈｔａｎφ））｝ ・・・・・（４）
で表される。（３）式において、光強度の分布Ｉ２（ｘ）は、ｔａｎφ＝Ｂとすると、
Ｉ２（ｘ）＝（１／２）｛１＋ｃｏｓ（（２π／ｐ）（ｘ−ｈＢ））｝ ・・・・・（５）
で表される。
【００２６】
被計測物体７の上方に光源１ａ，１ｂにより照射され出来る光強度の分布Ｉｍ（ｘ）は、式（３）と式（５）を加算することで求められる。しかし、モアレ縞での計測の場合、光源１ａ，１ｂのどちらか一方がイメージセンサ等の観測装置である。すなわち、格子３を２回透過した光が１つしかないことになるので乗算となる。したがって、式（３）と式（５）を乗算すると次式が得られる。
【００２７】
【数１】
【００２８】
本発明の実施の形態に係る３次元計測方法では、格子３をＸ軸方向とＺ軸方向に移動させるので、格子３の移動分を考慮しなくてはならない。そこで、格子３がｔ秒間にＸ軸方向に動く距離をα（ｔ）、Ｚ軸方向に動く距離をβ（ｔ）とする。α（ｔ）とβ（ｔ）を式（６）に代入すると、光強度の分布Ｉｍ（Ｘ，ｔ）は、
【数２】
【００２９】
格子３は、Ｘ軸方向とＺ軸方向にそれぞれ一定の速度で移動するので、β（ｔ）＝ｋα（ｔ）の関係が成り立つ。そこで、β（ｔ）＝ｋα（ｔ）を式（５）に代入すると、光強度の分布Ｉｍ（Ｘ，ｔ）は、
【数３】
Ｂ＝−Ａ ・・・・・（９）
の関係が成り立つ。また、Ｔ秒間に格子３がＸ軸方向にｎ周期移動したとすると、格子３がＸ軸方向に動く距離α（ｔ）は、
α（ｔ）＝（ｎｐ／Ｔ）ｔ ・・・・・（１０）
で表される。格子３はＺ軸方向にも同時に動いているので、Ｔ秒間にＺ軸方向にモアレ縞の縞間隔の１／４（位相のπ／２）を移動したとすると、格子３がＺ軸方向に動く距離β（ｔ）は、
β（ｔ）＝ｋα（ｔ）＝（ｐ／８ＡＴ）ｔ ・・・・・（１１）
で表される。
【００３０】
そこで、式（９），（１０），（１１）を式（８）に代入して積分すると、
【数４】
【数５】
右辺第１項 ［（１／４）（ｔ／Ｔ）］ ・・・・・（１３）
右辺第２項 ［−４｛ｓｉｎ（−（１／４）π（８ｎ＋１）ｔ／Ｔ＋２π（ｘ−ｈＡ）／ｐ）／（８ｎ＋１）π｝］・・・・・（１４）
右辺第３項 ［−４｛ｓｉｎ（−（１／４）π（８ｎ−１）ｔ／Ｔ＋２π（ｘ−ｈＡ）／ｐ）／（８ｎ−１）π｝］・・・・・（１５）
右辺第４項 ［−（１／８）ｓｉｎ（（−４πｎｔ／Ｔ）＋４πｘ／ｐ）／πｎ］ ・・・・・（１６）
右辺第５項 ［ｓｉｎ（（１／２）πｔ／Ｔ−４πＡｈ／ｐ）／π］ ・・・・・（１７）
が得られる。
【００３１】
本発明の実施の形態に係るモアレ計測方法は、１フレーム毎の観測装置のシャッタースピード（シャッター開放時間）をＴ秒とし、Ｔ秒間毎に１フレームずつ取り込み８Ｔで８フレーム分を取り込む。取り込まれた８個のフレームは、それぞれＩｓ０，・・・・・Ｉｓ７とする。つまり、式（１３）〜式（１７）の積分区間は、第１フレーム強度Ｉｓｏの場合に０〜Ｔ，第２フレーム強度Ｉｓ１の場合にＴ〜２Ｔ，第３フレーム強度Ｉｓ２の場合に２Ｔ〜３Ｔ，第４フレーム強度Ｉｓ３の場合に３Ｔ〜４Ｔ，第５フレーム強度Ｉｓ４の場合に４Ｔ〜５Ｔ，第６フレーム強度Ｉｓ５の場合に５Ｔ〜６Ｔ，第７フレーム強度Ｉｓ６の場合に６Ｔ〜７Ｔ，第８フレーム強度Ｉｓ７の場合に７Ｔ〜８Ｔとなる。そして、次の処理は、Ｉｓ０＋Ｉｓ４ ，Ｉｓ１＋Ｉｓ５，Ｉｓ２＋Ｉｓ６，Ｉｓ３＋Ｉｓ７の加算を行う。例えば、Ｉｓ０＋Ｉｓ４は、式（１３）〜式（１７）より、
【数６】
【００３２】
式（１８）が示す右辺第２項において、１項と３項，２項と４項はそれぞれ位相がπずれた状態なので加算すると０になる。式（１９）が示す右辺第３項も同様に０になる。式（２０）が示す右辺第４項において、１項と２項及び３項と４項は相殺されて加算前に０になる。式（２１）が示す右辺第５項において、１項と３項は２πずれており、２項と４項も同様に２πずれているため２倍の信号となる。よって格子３及び格子３の２倍の空間周波数成分は消去され、モアレ縞の成分のみ残りＩｓ０＋Ｉｓ４は、第１バケット
Ｉ０＝Ｉｓ０＋Ｉｓ４＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋１／４π）＋（１／２） ・・・・・（２２）
で表される。
【００３３】
以下同様の処理により、第２バケットＩ１＝Ｉｓ１＋Ｉｓ５、第３バケットＩ２＝Ｉｓ２＋Ｉｓ６、第４バケットＩ３＝Ｉｓ３＋Ｉｓ７を示すと、
Ｉ１＝Ｉｓ１＋Ｉｓ５＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋３／４π）＋（１／２） ・・・・・（２３）
Ｉ２＝Ｉｓ２＋Ｉｓ６＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋５／４π）＋（１／２） ・・・・・（２４）
Ｉ３＝Ｉｓ３＋Ｉｓ７＝（√２／π）ｃｏｓ（−４πＡｈ／ｐ＋７／４π）＋（１／２） ・・・・・（２５）
となり、それぞれ順にモアレ縞の位相がπ／２ずつシフトされた成分だけになる。
【００３４】
格子３のシフト条件は、式（１０），（１１）より、
ｋ＝β（ｔ）／α（ｔ） ＝１／（８Ａｎ）＝１／（８ｎｔａｎθ） ＝ｔａｎω ・・・・・（２６）
ω＝ｔａｎ−１｛１／（８ｎｔａｎθ）｝ ・・・・・（２７）
が得られる。式（２７）より、格子３の基準軸（Ｘ軸）に対する移動方向ωは、ピッチｐに依存せず、格子３への平行光の入射角度θにより決定される。つまり、平行光の格子３への入射角度が一定なら、ピッチｐの異なる格子３を用いる場合でも、ピッチｐに依存しないので、位相シフトの作動方向ωを調整する必要がなく、モアレ縞の成分のみを得ることが出来る。
【００３５】
モアレ縞の位相ψは、第１バケットＩ０〜第４バケットＩ３を用いて、
ψ＝ｔａｎ−１｛（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２）｝ ・・・・・（２８）
で表される。
【００３６】
したがって、格子３がＸ軸方向とＺ軸方向にそれぞれ一定の速度で移動すると、式（２２）〜式（２５）で示したように、格子３とその空間周波数の高調波成分を除去出来、モアレ縞の成分のみを表すことが出来る。したがって、格子３をＸ軸方向とＺ軸方向にそれぞれ一定の速度で移動させ、格子３がＺ軸方向にモアレ縞の位相のπ／２移動する毎にモアレ縞の画像を取り込む。所謂、積分型の位相シフト法がモアレ縞の画像取り込み手段に用いることが可能となり、３次元計測の計測時間の短縮を促すことになる。
【００３７】
上記した３次元計測装置及び３次元計測方法の証明においては、計測が短時間に行われるために、位相量をＺ軸方向にπ／２ずつ変化させる積分型４枚法位相シフトを用いて示した。但し、本発明の実施の形態に係る３次元計測方法は、積分型４枚法位相シフトに限らない。３次元計測方法が高速計測を必要としなければ、位相シフト量が２πの１／ｑ（ｑは０以外）であれば応用可能である。
【００３８】
図１に示す３次元計測装置の制御システム４３を、より具体的に図４に示す。制御システム４３は、画像処理部１２と、画像処理部１２に接続された制御装置１３を備える。光源１には、光源１の光強度を調整する光源駆動回路８が接続されている。Ｘ軸ステージ４１ａとＺ軸ステージ４１ｂは、これらを駆動させるステップモータ等の駆動部（ステージコントローラ）４２が接続されている。図示を省略しているが、Ｘ軸ステージ４１ａとＺ軸ステージ４１ｂの移動位置は、例えばレーザ干渉計等により測定され、制御装置１３にフィードバックされる。或いは位置変化に伴うインダクタンスを測定し電磁制御して、位置制御しても良い。図１に示したイメージセンサ６は、例えば、モアレ縞の画像を取り込むカメラ６ａに内蔵されている。被計測物体７は、平行移動するベルトコンベア等の移動手段２０に載置される。
【００３９】
画像処理部１２は、出力側が制御ボード１１に接続し、入力側が画像取り込みボード１０にそれぞれ接続されたマイクロプロセッサ若しくはパーソナルコンピュータである。画像処理部１２は、横分解能を求めるための横分解能計測手段（モジュール）及び等高線の縞間隔Δｈを求めるためのΔｈ計測手段（モジュール）を備える。また、画像処理部１２は、位相アンラップ法の設定手段（モジュール）、位相アンラップ開始点の設定手段（モジュール）、平均化回数の設定手段（モジュール）、計測面の傾きを補正するための任意の領域の設定手段（モジュール）、被計測物体７が存在しない場所を自動的に検出してその場所のデータを削除する設定手段（不良点抽出設定手段）、及び、不良点を抽出するためのしきい値設定手段（モジュール）等を備える。これらの計測手段及び設定手段に基づき、画像処理部１２は、計測したモアレ縞の画像から、被計測物体７の３次元の画像データを取得、且つ保存する機能を備える。
【００４０】
制御装置１３は、入力側が画像処理部１２に、出力側が光源駆動回路８、駆動部４２、カメラ６ａ及び移動手段２０にそれぞれ接続された制御ボード１１と、入力側がカメラ６ａに、出力側が画像処理部１２にそれぞれ接続された画像取り込みボード１０とを備える。
【００４１】
式（２２）〜式（２５）で得られるモアレ縞の成分は、２π単位であるため、位相計算をすると２π単位で不連続になる。そのため、「位相アンラップ」により、周りの位相データから連続になるように２πｎ（ｎは０でない整数）が加算、又は、減算されて位相を繋ぎ合わせる補正を行う。「位相アンラップの開始点」は、位相計算を最初に行う箇所である。そこで、被計測物体７がないところを計測の開始点とすると、モアレ縞が存在しないので、位相アンラップを行うことが出来ない。被計測物体７があるところ（モアレ縞が存在する座標）、つまり、式（２２）で表されるモアレ縞の成分が存在する箇所を計測の開始点として指定することにより、破綻のない位相アンラップを行える。また、式（２２）〜式（２５）で得られるモアレ縞の成分がノイズの大きな画像である場合、計測誤差が大きくなる。そこで、同じ位相でのモアレ縞の画像を複数回取り込み平均化することで計測誤差が起こりにくいようにする。その平均するときの画像取り込み回数の設定が「平均化回数の設定」である。
【００４２】
図４を参照しながら、本発明の実施の形態に係る３次元計測方法を図５のフローチャートにより説明する。
【００４３】
（イ）まず、ステップＳ１０１において、３次元計測に用いる格子３や被計測物体７等を用意し、被計測物体７を移動手段２０に載置する。ここで、画像処理部１２から制御信号ＣＳが出力され、制御装置１３内の制御ボード１１に入力される。そして、制御ボード１１からシフト信号ＳＳが出力され、移動手段２０に入力される。入力されたシフト信号ＳＳによって、移動手段２０に載置された被計測物体７がモアレ縞の計測を行うのに好適な箇所まで移動される。
【００４４】
（ロ）次に、ステップＳ１０２において、制御ボード１１から輝度信号ＬＣが出力され、光源駆動回路８に入力される。輝度信号ＬＣは、光源１から出射される光の光強度を調整するための信号である。被計測物体７の個々に違う反射率を考慮し、光源１から出射される光が、輝度信号ＬＣにより最適な光強度に調整される。
【００４５】
（ハ）次に、ステップＳ１０３において、３次元計測を行う計測環境が画像処理部１２に設定される。即ち、画像処理部１２は、位相アンラップ法の設定、位相アンラップ開始点の設定、平均化回数の設定、計測面の傾きを補正するための任意の領域の設定、被計測物体７が存在しない場所を自動的に検出してその場所のデータを削除する設定（不良点抽出設定）、及び、不良点を抽出するためのしきい値設定等を行う。
【００４６】
（ニ）次に、ステップＳ１０４において、光源１から照射光が出射され、第１のレンズに入射する。第１のレンズ２に入射した光は、平行光となり格子３に入射する。格子３に照射された平行光の内、格子３の遮光部に遮られなかった平行光によって、被計測物体７の表面に明暗のパターンが形成される。これをカメラ６ａ側から格子３を通して観察すると、格子３の光透過部のパターンと被計測物体７の表面の明のパターンとが干渉してモアレ縞ができる。
【００４７】
（ホ）次に、ステップＳ１０５において、制御ボード１１からシャッター信号ＦＣが出力され、カメラ６ａに入力される。カメラ６ａにシャッター信号ＦＣが出力されると、カメラ６ａのシャッターが開き、第２のレンズ５で集光された被計測物体７の表面の明暗のパターンと格子３のパターンとが干渉したモアレ縞の画像が取り込まれる。一方、制御ボード１１からステージ制御信号ＰＳが出力され、駆動部４２に入力される。ステージ制御信号ＰＳを入力された駆動部４２は、Ｘ軸ステージ４１ａとＺ軸ステージ４１ｂをそれぞれ制御し、駆動することが出来る。そこで、積分型４枚法位相シフトを用いるために、シャッター信号ＦＣとステージ制御信号ＰＳの出力タイミングを合わせて、格子３がＺ軸方向にモアレ縞の位相のπ／２、Ｘ軸方向に格子３のスリットのピッチｐのｎ倍（ｎは０を除く整数）移動される毎の一定時間の間で連続的にモアレ縞の画像を１フレーム取り込む。
【００４８】
（ヘ）次に、ステップＳ１０６において、格子３がＺ軸方向にモアレ縞の位相の４π分移動（８フレーム取り込み）したか否かが判断される。格子３がＺ軸方向に４π分移動していなかったらステップＳ１０５に戻り、モアレ縞の画像の取り込みが繰り返される。
【００４９】
（チ）次に、ステップＳ１０７において、モアレ縞の画像はカメラ６ａから画像アナログ信号ＧＡとして出力され、画像取り込みボード１０に入力される。画像アナログ信号ＧＡは、画像取り込みボード１０でデジタル信号化され、画像デジタル信号ＧＤとして出力され、画像処理部１２に入力される。入力された画像デジタル信号ＧＤは、画像処理部１２内の補助記憶装置に保存される。
【００５０】
（リ）次に、ステップＳ１０８において、画像デジタル信号ＧＤは、ステップＳ１０２で画像処理部１２に施した設定を基に解析され、３次元計測データに変換される。
【００５１】
（ヌ）最後に、ステップＳ１０９において、ステップＳ１０８で得られた３次元計測データが画像処理部１２の補助記憶装置に保存される。
【００５２】
本発明の実施の形態に係る３次元計測装置及び３次元計測方法によれば、格子３の連続した動作の中で画像を取り込むことが出来るので３次元計測に費やす時間を短縮することが出来る。即ち、格子３と被計測物体７の距離をモアレ縞の間隔に対して規定された分だけ移動させて静止した後に画像を複数枚取り込む必要がない。
【００５３】
本発明の実施の形態に係る３次元計測装置及び３次元計測方法によれば、計測誤差を出し、且つ、横分解能も悪くする格子３及び格子３の２倍の周波数（高調波）成分が除去することが出来る。
【００５４】
また、本発明の実施の形態に係る３次元計測装置及び３次元計測方法によれば、ＰＧＡのピン等の微細な高さの構造を有する非測定物体の場合でも、格子３の影が邪魔になることなく正確な且つ精密な測定が出来る。
【００５５】
（その他の実施の形態）
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす記述及び図面はこの発明を限定するものであると理解するべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかになるはずである。
【００５６】
図５のフローチャートにおいて、３次元計測を行う計測環境を画像処理部１２に設定するのは、計測前に示しているが、計測中に計算結果を画像処理部１２の出力画面で確認しながら設定することも可能である。
【００５７】
更に、図６に示す格子位置制御部４０ａは、Ｚ軸方向に格子３を移動させるために格子３を固定する面に傾斜を有する補助部２１ａを備えることが図１，図２，図４に示す格子位置制御部４と異なる。その他は図１，図４に示した実施の形態と同様であるので重複した記載は省略する。補助部２１ａの格子３を固定する面が傾斜を有することによって、Ｘ軸ステージ４１ａを図６の右方に移動させると、格子３は被計測物体７に対して斜め上方に移動する。また、Ｘ軸ステージ４１ａを図６の左方に移動させると、格子３は被計測物体７に対して斜め下方に移動する。すなわち、格子３は図１〜図３に示すＺ軸ステージ４１ｂがなくてもＺ軸方向に移動することになり、Ｚ軸ステージ４１ｂを有するのと同等の効果を得ることが出来る。
【００５８】
尚、格子３を固定する補助部の形状は１つの種類に限られず、例えば、図７に示すように、補助部２１ｂの傾斜が図６で示した補助部２１ａと逆であっても構わない。更に、図７に示すように補助部２１ｂを固定するＸ軸ステージ４１ａを傾けることで、格子３が被計測物体７に対して平行になるようにするのが好ましい。
【００５９】
この様に、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【００６０】
【発明の効果】
本発明の３次元計測装置及び３次元計測方法によれば、悪影響を及ぼす空間周波数の高調波成分の除去と、計測時間の短縮を同時に可能である。
【００６１】
また、本発明の３次元計測装置及び３次元計測方法によれば、微細な高さ方向の構造を有する被計測物体を正確に測定できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る３次元計測装置を示す概念図である。
【図２】本発明の実施の形態に係る３次元計測装置の格子の移動機構（２軸）を示す模式的な断面図である。
【図３】本発明の実施の形態に係る３次元計測方法が空間周波数の高調波成分を除去出来ることを説明するための図である。
【図４】本発明の実施の形態に係る３次元計測装置の具体的な概略図である。
【図５】本発明の実施の形態に係る３次元計測装置を用いた３次元計測方法のフローチャートである。
【図６】本発明のその他の実施の形態に係る３次元計測装置の格子の移動機構（１軸）を示すの模式的な断面図（その１）である。
【図７】本発明のその他の実施の形態に係る３次元計測装置の格子の移動機構（１軸）を示すの模式的な断面図（その２）である。
【符号の説明】
１，１ａ，１ｂ 光源
２ 第１のレンズ
３ 格子
４ 格子位置制御部
５ 第２のレンズ
６ イメージセンサ
６ａ カメラ
７，７ａ 被計測物体
８ 光源駆動回路
１０ 画像取り込みボード
１１ 制御ボート
１２ 画像処理部
１３ 制御装置
２０ 移動手段
２１ａ，２１ｂ 補助部
２２ 信号処理ボード
３０ 照射部
３１ 受光部
４０ａ 格子位置制御部
４１ 移動機構
４１ａ Ｘ軸ステージ
４１ｂ Ｚ軸ステージ
４２ 駆動部
４３ 制御システム
Claims (7)
- Ｙ軸方向に延びるスリットを一定のピッチでＸ−Ｙ平面に配列した格子と、
前記格子の面を実質的に水平に保ち、被計測物体に対して前記格子をＸ軸方向に移動させ、且つ前記格子をＸ−Ｙ平面に直交するＺ軸方向に移動させる格子位置制御部と、
前記格子に平行光を出射する照射部と、
前記格子を介して前記被計測物体のモアレ縞の画像を取り込む受光部と、
前記格子位置制御部の動作を制御し、且つ前記受光部に取り込まれた前記画像を３次元計測データに変換する制御システム
とを備えることを特徴とする３次元計測装置。 - 前記格子位置制御部は前記格子をＺ軸方向に移動させるＺ軸ステージと、
前記Ｚ軸ステージが前記格子を前記モアレ縞の位相のπ／２相当分移動させる間に、前記格子をＸ軸方向へ前記ピッチの整数倍分移動させるＸ軸ステージ
とを備えることを特徴とする請求項１に記載の３次元計測装置。 - ｔ秒間に前記格子をＺ軸方向へ移動させる距離をβ（ｔ）、前記格子をＸ軸方向へ移動させる距離をα（ｔ）、前記格子がＸ軸方向に前記ピッチのｎ倍移動、前記平行光の前記格子への入射角をθとして、
β（ｔ）＝α（ｔ）／（８ｎｔａｎθ）
の関係を満足することを特徴とする請求項１又は２に記載の３次元計測装置。 - Ｙ軸方向に延びるスリットを一定のピッチでＸ−Ｙ平面に配列した格子の面を実質的に水平に保ち、被計測物体に対してＸ軸方向に移動させ、且つＸ−Ｙ平面に直交するＺ軸方向に移動させるステップと、
前記格子に平行光を出射するステップと、
前記格子を介して形成された前記被計測物体のモアレ縞の画像を取り込むステップと、
前記画像を３次元計測データに変換するステップ
とを含むことを特徴とする３次元計測方法。 - 前記Ｘ軸方向とＺ軸方向に移動させるステップは、Ｚ軸方向に前記モアレ縞の位相のπ／２相当分移動させる間に、Ｘ軸方向に前記ピッチの整数倍分移動させることを特徴とする請求項４に記載の３次元計測方法。
- 前記Ｘ軸方向とＺ軸方向に移動させるステップは、ｔ秒間にＺ軸方向への移動する距離をβ（ｔ）、Ｘ軸方向へ移動する距離をα（ｔ）、前記格子がＸ軸方向に前記ピッチのｎ倍移動、前記平行光の前記格子への入射角をθとして、
β（ｔ）＝α（ｔ）／（８ｎｔａｎθ）
の関係を満足することを特徴とする請求項４又は５に記載の３次元計測方法。 - 前記モアレ縞の画像を取り込むステップにおいて、一定のシャッター開放時間で、連続的に第１〜第８フレームの画像を取り込み、
前記第１フレームと第５フレームの強度を加算し第１バケット、前記第２フレームと第６フレームの強度を加算し第２バケット、前記第３フレームと第７フレームの強度を加算し第３バケット、前記第４フレームと第８フレームの強度を加算し第４バケットとするステップと、
前記第４バケットと第２バケットの差を、前記第１バケットと第３バケットの差で除した値の逆正接から、前記モアレ縞の位相を求めるステップ
とを更に含むことを特徴とする請求項４〜６のいずれか１項に記載の３次元計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002290979A JP3936270B2 (ja) | 2002-10-03 | 2002-10-03 | ３次元計測装置及び３次元計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002290979A JP3936270B2 (ja) | 2002-10-03 | 2002-10-03 | ３次元計測装置及び３次元計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004125652A true JP2004125652A (ja) | 2004-04-22 |
| JP3936270B2 JP3936270B2 (ja) | 2007-06-27 |
Family
ID=32282697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002290979A Expired - Fee Related JP3936270B2 (ja) | 2002-10-03 | 2002-10-03 | ３次元計測装置及び３次元計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3936270B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006349590A (ja) * | 2005-06-17 | 2006-12-28 | Yamatake Corp | ３次元計測装置、３次元計測方法及び３次元計測プログラム |
| JP2007042785A (ja) * | 2005-08-02 | 2007-02-15 | Yamatake Corp | 表面実装装置及び表面実装方法 |
| JP2011013219A (ja) * | 2009-07-03 | 2011-01-20 | Koh Young Technology Inc | ３次元形状測定装置 |
| CN102944192A (zh) * | 2012-10-18 | 2013-02-27 | 北京航空航天大学 | 一种基于fpga的片上实时高速三维复现方法 |
| WO2017150745A1 (ko) * | 2016-02-29 | 2017-09-08 | 주식회사 비영 | 피사체의 표면 굴곡 측정 장치와 방법 |
| CN107588741A (zh) * | 2017-09-19 | 2018-01-16 | 深圳大学 | 一种基于莫尔条纹的相机深度变化的测量方法及系统 |
-
2002
- 2002-10-03 JP JP2002290979A patent/JP3936270B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006349590A (ja) * | 2005-06-17 | 2006-12-28 | Yamatake Corp | ３次元計測装置、３次元計測方法及び３次元計測プログラム |
| JP4674121B2 (ja) * | 2005-06-17 | 2011-04-20 | 株式会社山武 | ３次元計測装置、３次元計測方法及び３次元計測プログラム |
| JP2007042785A (ja) * | 2005-08-02 | 2007-02-15 | Yamatake Corp | 表面実装装置及び表面実装方法 |
| JP4610437B2 (ja) * | 2005-08-02 | 2011-01-12 | 株式会社山武 | 表面実装装置及び表面実装方法 |
| JP2011013219A (ja) * | 2009-07-03 | 2011-01-20 | Koh Young Technology Inc | ３次元形状測定装置 |
| US8754936B2 (en) | 2009-07-03 | 2014-06-17 | Koh Young Technology Inc. | Three dimensional shape measurement apparatus |
| CN102944192A (zh) * | 2012-10-18 | 2013-02-27 | 北京航空航天大学 | 一种基于fpga的片上实时高速三维复现方法 |
| WO2017150745A1 (ko) * | 2016-02-29 | 2017-09-08 | 주식회사 비영 | 피사체의 표면 굴곡 측정 장치와 방법 |
| CN107588741A (zh) * | 2017-09-19 | 2018-01-16 | 深圳大学 | 一种基于莫尔条纹的相机深度变化的测量方法及系统 |
| CN107588741B (zh) * | 2017-09-19 | 2020-01-21 | 深圳大学 | 一种基于莫尔条纹的相机深度变化的测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3936270B2 (ja) | 2007-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101257538B1 (ko) | 표면형상의 측정방법 및 이것을 이용한 장치 | |
| JP5274293B2 (ja) | マスク検査装置、それを用いた露光方法及びマスク検査方法 | |
| US6577405B2 (en) | Phase profilometry system with telecentric projector | |
| JP3258385B2 (ja) | 光学式基板検査装置 | |
| JP5121642B2 (ja) | マスク検査装置及びマスク検査方法 | |
| US6509559B1 (en) | Binary optical grating and method for generating a moire pattern for 3D imaging | |
| US9441959B2 (en) | Calibration method and shape measuring apparatus | |
| JP2011064482A (ja) | 高速三次元計測装置及び高速三次元計測方法 | |
| JP2002257528A (ja) | 位相シフト法による三次元形状測定装置 | |
| JP4149853B2 (ja) | ３次元計測装置及び３次元計測方法 | |
| JP2009036589A (ja) | 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム | |
| JP3936270B2 (ja) | ３次元計測装置及び３次元計測方法 | |
| JP4532556B2 (ja) | 測定物体を測定するためのミラー装置を備えた干渉計 | |
| JP2003042734A (ja) | 表面形状測定方法及び表面形状測定装置 | |
| JP3609325B2 (ja) | 三次元計測装置 | |
| JP6362058B2 (ja) | 被検物の計測装置および物品の製造方法 | |
| JP7001947B2 (ja) | 表面形状測定方法 | |
| JP6156590B2 (ja) | 変位測定装置 | |
| JP2015081894A (ja) | 表面形状測定装置及び表面形状測定方法 | |
| KR20080088946A (ko) | 입체 형상 검사 장치 및 그를 이용한 입체 형상 검사 방법 | |
| JP3921432B2 (ja) | モアレ光学系を用いた形状測定装置及び形状測定方法 | |
| JPH0886631A (ja) | 物体の姿勢測定装置、姿勢測定方法、姿勢制御装置および物体表面の検査装置 | |
| JP2004150929A (ja) | ３次元計測装置及び３次元計測方法 | |
| JP4402849B2 (ja) | 表面形状測定方法及び表面形状測定装置 | |
| JP2002148029A (ja) | 円筒状被検物の表面凹凸検査装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070322 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |