JP2012211905A

JP2012211905A - 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法

Info

Publication number: JP2012211905A
Application number: JP2012103807A
Authority: JP
Inventors: Masaki Suwa; 正樹諏訪; Yoshiro Murata; 芳郎村田; Daisuke Mitsumoto; 大輔光本; Masanao Yoshino; 政直吉野; Hironori Koitabashi; 宏礼小板橋; Yoshinobu Asokawa; 佳誠麻生川
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2012-04-27
Filing date: 2012-04-27
Publication date: 2012-11-01

Abstract

【課題】広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測する。
【解決手段】三次元形状測定装置１０は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する装置である。ここで、三次元形状測定装置１０は、光パタンが投影された計測対象を画像として読み取るためのラインセンサ１６と、ラインセンサ１６により読み取られた画像における光パタンを空間縞解析法に基づいて解析して、計測対象の三次元形状の情報を算出する画像解析部とを備えている。
【選択図】図１

Description

本発明は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置に関するものである。

画像解析によって対象物の三次元形状情報を得る手段として、所定の撮像視野内に存在する計測対象に光パタンを投影し、計測対象の三次元形状に応じて変形した光パタンの変形量を解析する方法がある。代表的な方法としては、光切断法や空間コード法、縞解析法などが挙げられる。これらは全て三角測量の原理に基づいているが、中でも、縞解析法に関しては空間縞解析や時間縞解析など多くの手法が提案されており、高い計測精度を得る手法として知られている。

ところで、通常これらの手法では、光パタンが投影された計測対象の読み取りにエリアカメラを用いているが、エリアカメラを用いると、計測対象が１撮像視野内に収まらないために、エリアカメラを縦及び横の双方に移動させながら１撮像視野ずつ複数回に分けて撮像する必要が度々生じ、撮像時間が長くなってしまうという問題が起こっている。

このような問題に対する解決策として、例えば特許文献１、２や非特許文献１では、エリアカメラの代わりにラインセンサを用いた三次元形状計測方法が提案されている。特許文献１や非特許文献１の計測方法では、光パタンを投影した計測対象をラインカメラで撮像し、続いて、計測対象を搬送することによって投影される光パタンの位相をずらし、位相のずれた光パタンが投影された計測対象をまた別のラインカメラで撮像し、といったことを複数回繰り返し、撮像した複数枚の画像に含まれる光パタンを時間縞解析法（位相シフト法）に基づいて解析することによって三次元形状を測定している。

また、特許文献２の三次元形状測定装置では、光パタンが投影された計測対象を、異なる位置に設置された２つのラインカメラによって別々に撮像し、撮像した２つの画像からステレオ法に基づいて三次元形状を測定している。

特開２００２−２８６４３３号公報（２００２年１０月３日公開）特開２００４−１１７１８６号公報（２００４年４月１５日公開）

藤垣ら「複数ラインセンサによる連続物体形状計測における平行光格子投影手法」，精密工学会秋季大会学術講演会講演論文集 pp．1061-1062，2004

しかしながら、上記従来の技術は、ラインセンサの配置に困難を要したり、撮像に長時間を要したりするという問題を抱えている。

例えば、特許文献１に記載の技術では、縞解析法として、計測対象に投影する光パタンの位相を変えながら、計測対象の同一の部分を同一の角度から複数回撮像する時間縞解析法を用いている。ここで、複数のラインセンサを用いて、直線方向に搬送される計測対象の同一部分を撮像するためには、全てのラインセンサを厳密に平行に配置しなければならない。その上、全てのラインセンサを、計測対象を載置する基準面から同一の距離になるように配置する必要もある。さらに、同じ角度から撮像するためには、全てのラインセンサを同じ姿勢で配置しなければならない。例えば特許文献１では４本のラインセンサを用いているが、これら４本のラインセンサを上記のように配置することは、実際には困難を要する。

以上のように、特許文献１に記載の技術は、ラインセンサの配置が困難になってしまうという問題を有している。さらに、複数のラインセンサが必要なことから、計測装置の大型化、高価格化、又はトラブル頻度の上昇などを招くおそれもある。

また、時間縞解析法を用いる際に、複数のラインセンサを用いる代わりに、１つのラインセンサで複数回計測対象を撮像する方法もあるが、この場合、並行処理ができないために、解析に必要な枚数分の画像を撮像するのに複数のラインセンサを用いる場合の数倍（例えば４枚の画像を撮像する場合は４倍など）の時間を要してしまう。よって、計測に要する時間が長くなってしまうという問題が生じる。

一方、特許文献２に記載の技術では、２つのラインセンサによって得られた２つの画像からステレオ法によって三次元形状を計測しているが、ステレオ法によって三次元形状を計測するためには、２つのラインセンサの精確な幾何学的配置を知っておく必要がある。それゆえ、この場合もまた２つのラインセンサの配置を精確に行う必要があり、ラインセンサの配置が困難になってしまうという問題が生じる。さらに、特許文献２の方法は、ステレオ法を用いることから、三次元形状の測定精度をラインセンサの画素以下の分解能にするのが困難であり、それゆえ測定精度が悪くなってしまうという問題も有している。

本発明は、上記課題に鑑みてなされたものであり、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測できる三次元形状計測装置及び三次元形状計測方法を実現することを目的とする。

本発明者らは、時間縞解析法以外の様々な解析法について検討した結果、空間縞解析法を用いればラインセンサの本数を１本にできることを見出し、本発明を完成させるに至った。

すなわち、上記課題を解決するために、本発明に係る三次元形状計測装置は、計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、計測対象に投影された上記光パタンを画像として読み取るためのラインセンサと、上記ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する画像解析部とを備えていることを特徴とする。

上記構成によれば、三次元形状計測装置は、計測対象に投影された光パタンを画像として読み取るためのラインセンサを備えている。このように、エリアカメラでなくラインセンサを用いることによって、撮像領域をラインセンサの長手方向（主走査方向）に延長することができる。このため、ラインセンサに対して計測対象を主走査方向に相対的に移動させる回数を減らし（好ましくはゼロにし）つつ、高解像度で計測対象を撮像することができる。これにより、迅速かつ高精度に三次元形状情報を計測することができる。

ここで、三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の形状情報を算出する。この光パタンは、位置に応じて周期的に輝度が変化するものであり、計測対象の或る位置に投影された光パタンの位相が基準となる位相からどの程度ずれているかに基づいて、計測対象のその位置における高さを算出することができる。

ここで、計測対象の各部分に投影された光パタンの位相は、ラインセンサによって撮像された画像の輝度値から算出される。すなわち、光パタンの投影された計測対象の或る位置に対応する画素（以下「注目画素」という）の輝度値から、その輝度値に対応する位相を算出する。しかしながら、光パタンの位置（すなわち位相）と輝度値（すなわち変位）とが周期性を有する連続関数によって表される場合、ある１点の輝度値（変位）を与える位相は、同一周期内に最低でも２つ存在する。例えば、ｙ＝ｓｉｎθによって表される関数において、変位ｙ＝０を与える位相θは０及びπの２つ存在する。従って、注目画素の輝度値（変位）のみから、その輝度値に対応する位相を１つに決定することはできない。

この際、従来の技術では、時間縞解析法を用いることによって注目画素における位相を決定していた。つまり、注目画素の輝度値によってその輝度値に対応する位相を２つに絞り込んでおき、さらに、光パタンの位相をずらして撮像した別の画像における対応する画素の輝度値に基づいて、注目画素における光パタンの位相を１つの値に決定していた。このためには、計測対象の反射特性が厳密に一様であったとしても、計測対象の同一部分を撮像した画像が最低でも２つ必要となり、計測対象の同一部分に対して２回以上の延べ走査回数を必要とする。

これに対して、本発明に係る三次元形状計測装置は、ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、その画素とその周辺の画素との輝度値に基づいて算出する画像解析部を備えている。すなわち、注目画素における光パタンの位相を、その画素の輝度値に基づいて絞り込むとともに、注目画素の周辺の画素の輝度値に基づいて画素における光パタンの位相を１つの値に特定する。

この原理について説明すると、周期性を有する連続関数において、或る１つの変位を与える位相は同一周期内に少なくとも２つ存在するが、その２つの位相の周辺の変位は、その２つの位相の間で異なっている。例えば、上記の例において変位ｙ＝０を与える位相θは０及びπの２つあるが、ここで、注目画素における位相が０の場合とπの場合とでは、周辺の画素の輝度値（変位）が異なることになる。もし、注目画素における位相が０の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素の輝度値に基づいて、光パタンの位相を１つに決定することができるのである。

本発明の上記の構成によれば、注目画素における光パタンの位相を１つに特定する際に、同一の画像に含まれる注目画素の周辺の画素の輝度値を利用する。従って、１つの画像のみに基づいて各画素の位相を求めることができ、その結果、１つの画像のみに基づいて計測対象の各部分における高さを算出することができる。これにより、ラインセンサによる延べ走査回数を最低で１回に減らすことができ、かつ／またはラインセンサの本数を最低で１本に減らすことができる。換言すれば、走査に要する時間、ひいては計測に要する時間を短縮することができ、かつ／またはラインセンサの配置に伴う困難性を軽減することができる。

以上のように、本発明に係る三次元形状計測装置は、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測できる。

また、上記画像解析部は、上記光パタンの位相を算出する際に用いる上記周辺の画素の数を設定するための設定部を備えていることが好ましい。

上記構成によれば、三次元形状計測装置は、光パタンの位相を算出する際に用いる上記周辺の画素の数を、設定部によって調節することができる。ここで、位相の算出に用いる周辺の画素の数を増やすと、より多くの画素に基づいて高さを算出することになり、高さ情報の算出精度が向上する。一方、位相の算出に用いる周辺の画素の数を減らすと、演算回数が減るため、高さ情報の算出速度が向上する。また、黒点などの輝度の不連続点が含まれ難くなるので、不連続点による誤差伝搬の影響を抑制することもできる。

また、上記三次元形状計測装置は、上記計測対象に上記ラインセンサによって読み取られる上記光パタンを投影する光パタン投影部をさらに備え、上記光パタン投影部は、輝度の変化のピッチが上記ラインセンサの主走査方向で最も小さくなるような上記光パタンを上記計測対象に投影することが好ましい。

ラインセンサによって撮像した画像において、光パタンの輝度のピッチは、高さ計測を行う上で、計測精度を決定する重要な因子になる。具体的には、ピッチを小さくすればするほど計測精度が向上する。

上記構成によれば、光パタン投影部は、輝度の変化のピッチがラインセンサの主走査方向で最も小さくなるような光パタンを計測対象に投影する。投影された光パタンにおいて光パタンの輝度の変化のピッチが最も小さくなる方向を「最小ピッチ方向」とすると、ラインセンサの主走査方向と光パタンの最小ピッチ方向とを一致させることにより、ラインセンサによって撮像した画像において、光パタンの輝度のピッチは最も小さくなる。従って、高い計測精度で計測対象を計測することができる。

なお、従来の技術では、位相をずらした最低２種類の光パタンを計測対象に投影した状態で撮像するために、光パタンの最小ピッチ方向を、ラインセンサの主走査方向と異ならせる必要があった。なぜならば、それら２つの方向を一致させてしまうと、ラインセンサの主走査方向に対して垂直な方向の搬送方向に計測対象を搬送しても、計測対象の同一部分に投影される光パタンの位相がずれないことになる。その結果、複数のラインセンサによって撮像された画像間に位相差が生じず、計測対象の高さを求めることができなくなるからである。

これに対しての本発明に係る三次元形状計測装置は、光パタンが投影された計測対象をラインセンサによって撮像して得られた１つの画像のみに基づいて、計測対象の高さを算出することができる。従って、光パタンの最小ピッチ方向をラインセンサの主走査方向と一致させても何ら問題は生じない。

また、上記光パタン投影部は、上記ラインセンサの主走査方向に延在する１軸に集光した直線形状の上記光パタンを上記計測対象に投影することが好ましい。

上記構成によれば、光パタンを１軸に集光する構成としたことにより、２次元方向に照射する場合に比べより多くの光量を確保することができるとともに、光源のパワーを抑えることができる。

なお、従来の技術のうち、光パタンを複数のラインセンサで撮像する構成のものの場合は、複数のラインセンサそれぞれの撮像領域に対して光パタンを投影する必要がある。ここで、複数のラインセンサのそれぞれに個別の専用の投影部を設ける場合、投影される光パタンが投影部ごとにバラついてしまうという問題が生じる。このような問題から、従来技術では、１つの投影部によって、複数のラインセンサの撮像領域全てカバーできる光パタンを投影する構成となっている。

しかしながら、本発明に係る三次元形状計測装置では、単一のラインセンサを用いて計測対象を撮像する構成にできるため、投光部によって投影される光パタンは、単一のラインセンサの撮像領域のみをカバーするものであっても差し支えない。よって、上記の構成にすることが可能になる。

また、上記ラインセンサは、上記光パタンが投影された状態と投影されていない状態との２つの状態における上記計測対象をそれぞれ画像として読み取るとともに、上記画像解析部は、上記計測対象に上記光パタンが投影された状態で上記ラインセンサによって読み取られた画像の輝度を、計測対象に光パタンが投影されていない状態で上記ラインセンサによって読み取られた画像の輝度に基づいて正規化し、正規化した輝度の画像における光パタンを解析するものであってもよい。

また、上記三次元形状計測装置は、上記光パタンが投影された上記計測対象を画像として読み取るための第１のラインセンサと、上記光パタンが投影されていない上記計測対象を画像として読み取るための第２のラインセンサとの２つのラインセンサを備え、上記画像解析部は、第１のラインセンサによって読み取られた画像の輝度を、第２のラインセンサによって読み取られた画像の輝度に基づいて正規化し、正規化した輝度の画像における光パタンを解析するものであってもよい。

上記構成によれば、光パタンを投影していない状態で計測対象を撮像し、その画像（以下「対照画像」という）を取得する。そして、画像解析部は、光パタンを投影して得られた計測対象の画像を、この対照画像によって正規化し、この正規化した画像を用いて解析を行う。これにより、計測対象の各部位ごとに反射特性が異なっている場合であっても、計測対象の高さ情報を計測することが可能になる。

また、上記三次元形状計測装置は、上記ラインセンサ、上記計測対象の少なくとも一方を上記ラインセンサの主走査方向と直交する副走査方向に所定の搬送速度で搬送する搬送部をさらに備え、上記ラインセンサは、計測対象に投影された上記光パタンを、計測対象に対して上記副走査方向に移動しながら画像として読み取るものであり、上記画像解析部は、さらに、上記画像における上記主走査方向の画素数に基づいて、上記計測対象の上記主走査方向の長さ情報を算出するとともに、上記搬送速度に基づいて、計測対象の上記副走査方向の長さ情報を算出することが好ましい。

上記構成によれば、三次元形状計測装置は、ラインセンサによって得られた画像における主走査方向の画素数に基づいて計測対象の主走査方向の長さを計測することができるとともに、搬送速度に基づいて、計測対象の副走査方向の長さ情報を計測することができる。

ところで、上記画像解析部は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記画像解析部としてコンピュータを動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。

これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記画像解析部として動作する。したがって、上記画像解析部を用いた三次元形状計測装置は、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測することができる。

本発明に係る三次元形状計測方法は、上記課題を解決するために、位置に応じて周期的に輝度が変化する光パタンを計測対象に投影する光パタン投影工程と、上記光パタン投影工程によって計測対象に投影された光パタンをラインセンサによって画像として読み取る光パタン読取工程と、上記光パタン読取工程において読み取った画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する画像解析工程とを含んでいることを特徴とする。上記構成によれば、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測することができる。

また、上記画像解析工程は、上記光パタンの位相を算出する際に用いる上記周辺の画素の数を設定するための設定工程を含んでいることが好ましい。上記構成によれば、算出精度の向上や、算出速度の向上、不連続点による誤差伝播の抑制を図ることができる。

また、上記光パタン投影工程では、輝度の変化のピッチが上記ラインセンサの主走査方向で最も小さくなるような光パタンを計測対象に投影することが好ましい。上記構成によれば、高い計測精度で計測対象を計測することができる。

また、上記光パタン投影工程では、上記ラインセンサの主走査方向に延在する１軸に集光した直線形状の光パタンを計測対象に投影することが好ましい。上記構成によれば、多くの光量を確保することができるとともに、光源のパワーを抑えることができる。

また、上記三次元形状計測方法は、上記光パタンが投影されていない上記計測対象をラインセンサによって画像として読み取る対照読取工程をさらに含み、上記光パタン解析工程では、上記光パタン読取工程において読み取った画像の輝度を、上記対照読取工程において読み取った画像の輝度に基づいて正規化し、正規化した輝度の画像における光パタンを解析するものであってもよい。上記構成によれば、計測対象の各部位ごとに反射特性が異なっている場合であっても、計測対象の高さ情報を計測することが可能になる。

また、上記光パタン読取工程では、上記計測対象に対して上記ラインセンサを当該ラインセンサの主走査方向と直交する副走査方向に所定の速度で移動させながら、上記光パタンを画像として読み取り、上記画像解析工程では、さらに、画像における上記主走査方向の画素数に基づいて、計測対象の上記主走査方向の長さ情報を算出するとともに、上記所定の速度に基づいて、計測対象の上記副走査方向の長さ情報を算出することが好ましい。上記構成によれば、計測対象の主走査方向及び副走査方向の長さを計測することができる。

以上のように、本発明に係る三次元形状計測装置は、ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する画像解析部を備える構成となっている。

また、本発明に係る三次元形状計測方法は、読み取った画像に含まれる或る画素における光パタンの位相を、画像における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する画像解析工程を含んだ構成となっている。

従って、上述したように、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測することができる。

本発明の一実施形態を示すものであり、三次元形状計測装置の要部構成を示すブロック図である。本発明の一実施形態を示すものであり、三次元形状計測装置による計測の様子を示す図である。三角測量の原理を説明するための図である。本発明の一実施形態を示すものであり、投光部が投影する光パタンの一例を示す図である。図５（ａ）は計測対象の形状を示す上面図であり、図５（ｂ）は計測対象の形状を示す側面図である。図５の計測対象に光パタンを投影した際の計測対象に投影された光パタンの歪みを示す図である。本発明の一実施形態を示すものであり、図１に示す画像解析部の機能ブロック図である。本発明の一実施形態を示すものであり、図１に示す画像解析部の処理工程を示すフロー図である。本発明の他の実施形態を示すものであり、図１に示す画像解析部の機能ブロック図である。本発明の他の実施形態を示すものであり、投光部が投影する光パタンの他の例を示す図である。本発明の一実施形態を示すものであり、計測対象に施された校正パタンの一例を示す図である。ラインセンサ及び校正用パタンの幾何学的位置関係の一例を示す平面図であり、同図（ａ）は、ラインセンサが副走査方向に対し傾いている状態を示しており、同図（ｂ）は、校正用パタンが副走査方向に対し傾いている状態を示している。ラインセンサ及び校正用パタンの幾何学的位置関係の他の例を示す平面図であり、ラインセンサ及び校正用パタンの両方が副走査方向に対し傾いている状態を示している。図１３の要部を拡大して示す図であり、同図（ａ）は、校正用パタンの縦線をラインセンサが読み取る場合における縦線とラインセンサとの位置関係を示しており、同図（ｂ）および同図（ｃ）は、校正用パタンの横線をラインセンサが読み取り始める場合において、横線とラインセンサとの位置関係と、縦線の間隔とラインセンサとの位置関係とをそれぞれ示している。

本発明の一実施形態について図１から図１４に基づいて説明すると以下の通りである。
図２は、本発明の一実施形態に係る三次元形状計測装置１０の概略構成を示す図である。また、図１は、三次元形状計測装置１０の要部構成を示すブロック図である。本実施形態の三次元形状計測装置１０は、図２に示すように、計測対象２０に光パタン３０を投影し、計測対象２０に投影された光パタン３０の形状を解析することによって、計測対象２０の三次元形状、例えば、計測対象２０の表面に設けられた凹部の奥行きや凸部の高さ及びそれらの位置などを計測する装置である。その使用用途は特に限定されないが、例えば実装基板を検査する装置などに適用することができる。

三次元形状計測装置１０は、図２に示すように、撮像部１、画像解析・駆動制御部（画像処理部）２、投光部（光パタン投影部）３、搬送部４を備えている。撮像部１は、光パタン３０が投影された計測対象２０を読み取り、その画像を取得するものであり、図１に示すように、１本のラインセンサ１６と、マクロレンズなどの光学系１５とを備えている。

画像解析・駆動制御部２は、図１に示すように、ＣＰＵ２３及びＲＡＭ２４、撮像部１からの画像をデジタルデータで取り込むキャプチャボード２１、搬送部４の移動を制御するコントローラ２２などを備えるコンピュータである。画像処理・制御部２は、画像解析部２ａとして、撮像部１によって撮像された画像に含まれる光パタン３０を縞解析法によって解析し、計測対象２０の三次元形状を算出する。またその一方で、画像処理・制御部２は、搬送部４の駆動を制御する駆動制御部２ｂとしても機能する。もちろん、画像解析部２ａと駆動制御部２ｂとを別々のコンピュータによって構成してもよい。

投光部３は、計測対象２０の表面に光パタン３０を投影するためのものであり、ハロゲンランプやキセノンランプなどの光源１１、光源１１から照射された光にパタンを持たせるためのパタン生成素子１３、及びマクロレンズなどの光学系１２を備えている。投影する光パタンとしては、正弦波、三角波、又は矩形波などの、位置に応じて周期性を有し、かつ位相を特定できるパタンであれば何れのものでもよいが、本実施形態では、計測分解能の向上に寄与する正弦波状の光パタンを用いることとする。また、パタン生成素子１３としては、液晶素子によって構成されたものや、ガラス又はフィルムを加工したものなどを用いることができる。

搬送部４は、ラインセンサ１６の主走査方向（長手方向）と垂直な方向（以下「副走査方向」という）に計測対象２０を水平移動させるためのものであり、計測対象２０を載置するための搬送ステージ１７、搬送ステージ１７を駆動するサーボモータ１８、搬送ステージ１７の位置を検出するリニアスケーラ１９などを備えている。搬送部４により計測対象２０を副走査方向に移動させつつラインセンサ１６により逐次撮像することによって、計測対象２０全体の三次元形状を計測することが可能になる。

なお、本実施形態では、計測対象２０を移動させる構成としたが、計測対象２０を移動させる代わりに、撮像部１及び投光部４を副走査方向に移動させる構成としてもよい。すなわち、搬送部４は、計測対象２０を撮像部１及び投光部４に対して相対的に移動させるものであればよい。

このような三次元形状計測装置１０に備わる各部の幾何学的位置関係について一例を用いて以下に説明するが、本発明はこれに限定されない。
本実施形態の三次元形状計測装置１０では、撮像部１のラインセンサ１６は、その主走査方向の軸が搬送ステージ１７の載置面と平行で、かつ搬送方向と垂直になるように設置されている。ラインセンサ１６の光軸と搬送ステージ１７の載置面とを平行にすることにより、計測対象２０の上面を均一な倍率で撮像することができる。また、ラインセンサ１６の光軸と搬送方向とを垂直にすることにより、搬送しながら撮影した複数のライン画像からなる２次元画像には、直角部分が直角部分として撮像される。

また、投光部３は、その光軸が撮像部１の光軸に対して所定の角度を有するように設置されている。これにより、詳細は後述するが、計測対象２０に投影した光パタンのずれに基づいて、計測対象２０の高さを算出することができる。なお、撮像部１及び投光部３の幾何学的配置は設置時にあらかじめ計測しておいてもよいし、キャリブレーションと呼ばれる方法により算出してもよい。

このような三次元形状計測装置の動作について説明すると以下の通りである。まず、画像解析・駆動制御部２からの命令によって、搬送部４のサーボモータ１８が搬送ステージ１７を初期設定位置にセットする。この初期設定位置は、撮像部１が計測対象２０を撮像する際の副走査方向の撮像開始位置を決定するものであり、撮像部１の撮像領域が、搬送部４の搬送ステージ１７に載せられた計測対象２０の副走査方向における端部に来るような位置であることが好ましい。

そして、投光部３が計測対象２０に光パタンを投影する。撮像部１は、光パタンが投影された計測対象２０を走査し、この計測対象２０の画像を取得する。撮像部１によって取得された画像は、画像解析・駆動制御部２に送信され、画像解析・駆動制御部２のキャプチャボード２１によってデジタルデータに変換される。そして、画像解析・駆動制御部２のＣＰＵ２３が光パタンを解析することによって、計測対象２０の高さ情報が算出される。

ここで、本実施形態の三次元形状計測装置１０では、画像中の光パタンを解析する際に、空間縞解析法を用いる構成となっている。これにより、撮像部１に備わった１本のラインセンサ１６が１回走査して取得した１つのライン画像から、計測対象２０の、撮像部１の走査領域（撮像領域）内での各位置における高さを求めることができる。なお、空間縞解析法の詳細については後述する。

そして、搬送部４は、画像解析・駆動制御部２の制御によって、計測対象２０を副走査方向に所定の距離だけ移動させる。これにより、計測対象２０における撮像部１の撮像領域と投光部３によって投影される光パタン３０とが、所定の距離だけ副走査方向にずれることになる。この後、再び撮像部１が計測対象２０を走査し、ライン画像を取得する。ここで得られたライン画像には、計測対象２０の、先ほどの走査領域よりも所定の距離だけ副走査方向にずれた領域が含まれることになる。得られた画像は、同様に画像解析・駆動制御部２に送信され、新しい走査領域内での各位置における三次元情報が求められる。

このように、搬送部４が再び計測対象２０を所定の距離だけ移動させ、撮像部１が計測対象２０を撮像し、画像解析・駆動制御部２がライン画像を解析する処理を繰り返すことによって、計測対象２０の全体の三次元形状が計測される。

なお、計測対象２０の三次元形状情報のうち、ラインセンサ１６の主走査方向の長さ及び副走査方向の長さ情報については、公知の方法によって計測する。具体的に説明すると、計測対象２０の主走査方向の長さ情報は、ライン画像に撮像された計測対象の主走査方向の長さに基づいて算出する。一方、計測対象２０の副走査方向の長さ情報は、搬送部４による搬送速度に基づいて算出する。このように、計測対象２０の主走査方向及び副走査方向の長さ情報と、高さ情報とを求めることによって、計測対象２０の三次元形状情報を得ることができる。

なお、上記の所定の距離とは、撮像部１の撮像領域の副走査方向における長さと等しいことが好ましい。これにより、上記の工程によって計測対象２０の全領域を漏らすことなく迅速に計測することができる。

また、所定の距離ごとの撮像は、搬送ステージ１７を一定速度で移動させつつ、撮像部１に一定時間ごとに撮像させることによって実現することができる。この場合、画像解析・駆動制御部２のコントローラ２２が、キャプチャボード２１を介して、例えば数ＫＨｚオーダーの一定時間ごとに撮像駆動信号を撮像部１に送信する。撮像部１は、この駆動信号をトリガとして光パタンの投影された計測対象２０の画像を取得する。一方、画像処理・駆動制御部２のコントローラ２２は、同様の一定時間ごとの搬送駆動信号を搬送部４にも送信する。搬送部４のサーボモータ１８は、この搬送駆動信号をトリガとして搬送ステージ１７を一定速度で駆動する。これにより、所定の領域ずつ計測対象２０を撮像することができる。

また、所定の距離ごとの撮像にリニアスケーラ１９を利用してもよい。この場合、図１に示すように、リニアスケーラ１９は搬送部１に設けられ、搬送ステージ１７が所定の距離だけ移動されるたびに、画像解析・駆動制御部２のコントローラ２２に対して信号を送信する。そして、画像解析・駆動制御部２のコントローラ２２は、この信号を受信すると、撮像部１のラインセンサ１６に対して撮像駆動信号を送信する。これにより、搬送部４の搬送速度ムラなどに左右されることなく、精確に所定の距離ごとの撮像を行うことが可能になり、その結果、三次元計測の精度が向上する。

さて、このような三次元形状計測装置の利点について説明する。本実施形態では、撮像部１に含まれる読み取りセンサとして、ラインセンサを用いる構成となっている。例えば主走査方向の画素数が７５００画素のラインセンサを用いる場合、主走査方向の長さが１００ｍｍの計測対象を、約１３μｍの分解能で撮像することができる。これに対して、例えば横方向の画素数が６４０画素のエリアカメラを用いる場合、横方向の長さが１００ｍｍの計測対象を、約１５０μｍの分解能でしか撮像することができない。

また、上記のエリアカメラがラインセンサと同じ分解能で撮像するためには、主走査方向に所定の距離ずつ移動し、そして撮像するといった処理工程を最低でも１２セット行う必要がある。この場合、主走査方向に撮像部を移動させ、撮像させるために多大な時間を要してしまう。また、搬送部が搬送ステージ１７を主走査方向及び副走査方向の双方に移動させる必要があるため、駆動部の構造や制御が複雑になり、装置が大型化したり、トラブルの頻度が上昇したりするといった問題も生じる。

これに対して、本実施形態の三次元形状計測装置では、ラインセンサ１６を用いることにより、計測対象２０に対して高い分解能で高速な撮像を行うことが可能になる。また、搬送部４は搬送ステージ１７を副走査方向に移動させるだけでよいため、装置の簡略化を図ることもできる。

さらに、本実施形態では、撮像部１によって読み取った各ライン画像を空間縞解析法によって解析する構成となっている。空間縞解析法では、１つのライン画像から光パタンの位相ずれを算出し、この位相ずれから三次元情報を算出することができる。よって、計測対象２０に対して必要な延べ走査回数が１回で済むため、ラインセンサの数を１本のみにすることもできる。これにより、複数のラインセンサを平行に設置する構成に比べて、ラインセンサの設置を容易に行うことができるようになる。また、１本のラインセンサで複数回操作を行う構成と比べると、高速に計測を行うことが可能になる。

さらに、１度の走査によって取得した１つのライン画像のみに基づいて高さを計測できるため、走査と同時に三次元形状の計測を行うことも可能になる。これにより、例えば基板の検査を行う場合などに、計測対象となる基板上に何らかの製造上の不具合を発見した際に、最後まで撮像処理を繰り返すことなく直ちに計測を中断させることができ、基板の検査を迅速化することもできるようになる。

次に、画像解析・駆動制御部２による画像解析の詳細について説明する。まず、本実施形態の画像解析手法の原理について説明する。

画像解析部２ａは、光パタンの投影された計測対象２０のライン画像を空間縞解析法に基づいて解析する。空間縞解析法とは、上述したように三角測量の原理に基づくものである。以下では、三角測量の原理、縞解析法、空間縞解析法について順番に説明する。

まず、三角測量の原理について説明する。図３は、三角測量の原理を示す図である。説明を簡単にするため、基準面と垂直な光軸を有する撮像部Ｃｃによって基準面からの高さがｈの平面Ｐｈを観測する場合を考える。また、投光部Ｃｐは、基準面から見て撮像部Ｃｃと同じ高さに配置され、光パタンを基準面Ｐ０上の点Ｏの位置に向けて投影するものとする。

基準面と平行で、高さｈだけ離れた平面Ｐｈを観測する場合、点Ｏに向かう光パタンは点Ｐと交わる。このとき、撮像部Ｃｃから見ると、基準面Ｐ０へ向けて投影された光パタンは、本来観測されるべき位置Ｏ（すなわち位置Ｐ）から距離ＰＱだけずれた位置に観測される。この位置ずれＰＱを位相差という。

位相差を算出することができれば、次の式（１）

によって高さｈを算出することができる。

次に、縞解析法について説明する。本実施形態では、計測対象２０に投影する光パタンとして、正弦波状の光パタンを用いる。正弦波状の光パタンとは、輝度が正弦関数によって表されるグラデーションを有するパタンのことをいう。換言すれば、位置と輝度との関係が正弦関数によって表される光パタンのことを正弦波状の光パタンという。正弦波状の光パタンの一例を図４に示す。

このような光パタンを、図５（ａ）、図５（ｂ）に示すような計測対象２０に投影した場合、投影される光パタンを上面から観測すると図６の左図のようになる。すなわち、斜め方向から投影された光パタンは、高さを有する凸部において歪みを生じることになる。このように光パタンが投影された計測対象２０を撮像部１のラインセンサ１６によって走査すると、走査位置と輝度との関係は図６の右図のようになる。

図６の右図に示すように、凸部のない基準面に投影された光パタンは、常に一定の周期で輝度が変化する。これに対して、凸部に投影された光パタンは凸部の傾斜によって輝度の周期が変化し、その結果、基準面に投影された光パタンに対して位相のずれを生じることになる。よって、実際に計測対象２０に光パタンを投影して撮像した画像（ライン画像）に含まれる或る位置の画素における光パタンの位相と、基準面に光パタンを投影した場合の同画素の位相（基準位相）との差を求めれば、その画素に対応する位置における計測対象２０の高さを上記の三角測量の原理に基づいて求めることができるのである。

上記の位相差を算出するにあたって、基準位相は、基準面に光パタンを投影して撮像することなどによって予め求めておくことができる。一方、実際に計測対象に光パタンを投影して撮像した画像（ライン画像）に含まれる各位置の画素における光パタンの位相の求め方には、大別して２通りある。空間縞解析法と時間縞解析法との相違点は、この位相の求め方にある。

図６の右図に示すように、正弦関数では、或る一つの変位を与える位相が１周期内に２つ存在する。例えば、ｙ＝ｓｉｎθによって表される関数において、変位ｙ＝０を与える位相θは０及びπの２つ存在する。また、変位ｙ＝１／２を与える位相θはπ／６及び５π／６の２つ存在する。このような理由から、撮像した画像において、単一の画素の輝度値（正弦関数の変位に相当）のみから、その画素における光パタンの位相を求めることはできない。

ここで、従来用いられてきた手法である時間縞解析法では、所定の量だけ位相をずらした光パタンを計測対象に投影して再び計測対象を撮像し、２つの画像を解析することによって位相を１つに決定する。つまり、初めに撮像した画像における或る画素の輝度を基に、その画素における光パタンの位相を２つに絞り込み、次に撮像した画像におけるその画素の輝度を基に、光パタンの位相を１つに特定する。従って、時間縞解析法を用いる場合は、計測対象の反射特性が厳密に一様であったとしても、計測対象を最低でも２回撮像しなければならないことが分かる。

一方、空間縞解析法では、位相を求める画素（以下「注目画素」という）及びその周辺の画素の輝度に基づいて、注目画素における位相を算出する。例えば、上記の例において変位ｙ＝０を与える位相θは０及びπの２つあるが、ここで、注目画素における位相が０の場合とπの場合とでは、周辺の画素の輝度が異なることになる。もし、注目画素における位相が０の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素に基づいて、光パタンの位相を１つに決定することができる。このように、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定するのが空間縞解析法の特徴である。

本実施形態の三次元形状計測装置に用いられる空間縞解析法の具体的な処理工程について以下に詳述するが、本発明はこれに限定されず、上述した空間縞解析法の原理に基づいたものであればどのようなものであってもよい。

本実施形態では、撮像したライン画像から、光パタンを９０°移相した移相光パタンを仮想的に作成する。ここで、投影する光パタンを、次の式（２）

とすると、この光パタンを９０°移相した移相光パタンは、次の式（３）

と表される。従って、位置ｘにおける画素の位相φ（ｘ）は、次の式（４）

で求めることができる。

ここで、Ｉ（ｘ）の値は、主走査方向の位置ｘにおける画素の輝度値である。一方、Ｉ^（ｘ）（以下、ハットのついたＩ（ｘ）を便宜的にこのように記述する）の値の算出には、Ｈｉｌｂｅｒｔ変換を用いる。すなわち、移相光パタンによる位置ｘにおける輝度値Ｉ^（ｘ）は、次の式（５）

で表される。ここで、取得できる輝度データは画素ごとのデータ、つまり離散的なものであるため、上記の式（５）を次の式（６）

のように近似する。この式（６）によって、Ｉ^（ｘ）の値を求めることができる。

次に、画像解析部２ａの構成について説明する。図７は、画像解析部２ａの機能ブロック図である。画像解析部２ａは、輝度取得部４１、Ｈｉｌｂｅｒｔ変換部４２、位相算出部４３、位相差算出部４４、高さ算出部４５を備えており、これらの各部は、ＣＰＵ（Central Processing Unit）２３に各種制御プログラムを実行させることによって実現されている。あるいはその代わりに、図示しないＤＳＰ（Digital Signal Processor）によって実現してもよい。

また、画像解析部２ａは記憶部５０を備えており、記憶部５０はＲＡＭ２４、ＲＯＭ、外部記憶装置などの何れか１つ又はそれらの組み合わせによって実現されている。記憶部５０には、逆正接ＤＢ５１、基準位相ＤＢ５２、及び三次元形状ＤＢ５３が存在する。

逆正接ＤＢ５１は、ｙ＝ｔａｎ^-1ｘによって表される関数におけるｙとｘとの対応を示すデータベースであり、ｘの値と、ｔａｎ^-1ｘの値とが予め関連付けて格納されている。これにより、ｘの値に基づいて、その逆正接の値ｙを検索することができる。

基準位相ＤＢ５２は、光パタンを投影した基準面（高さが常に０の平面）を撮像したライン画像の各画素における光パタンの位相（以下「基準位相」という）を予め格納したデータベースであり、ライン画像に含まれる画素の主走査方向の位置ｘと、その画素における基準位相φ_０（ｘ）とが関連付けて格納されている。これにより、ライン画像に含まれる画素の位置ｘの情報に基づいて、その画素における基準位相φ_０（ｘ）を検索することができる。

三次元形状ＤＢ５３は、計測によって得られた計測対象２０の三次元形状情報を格納するためのデータベースである。この三次元形状ＤＢ５２には、計測対象２０の表面上の点を特定するｘ座標（主走査方向に相当）、ｙ座標（副走査方向に相当）、ｚ座標（高さに相当）が関連付けて格納される。これにより、計測終了後に、計測対象２０のｘ座標及びｙ座標に基づいて、その位置における高さ（ｚ座標）を検索することができる。

続いて、画像解析部２ａの画像解析工程について説明する。ラインセンサ１６を有する撮像部１によって撮像され、画像解析部２ａに送信されたライン画像は、画素がラインセンサ１６の主走査方向に連続して配列された画像となっている。この直線状に画素が配列されたライン画像において、画像処理部２ａは、その一端部から他端部（終端）に向かって順次高さを算出する。よって、まず、主走査方向における画素の位置ｘを０にセットする（ステップＳ１）。

次に、輝度取得部４１が、ライン画像データから、位置ｘにおける画素の輝度値Ｉ（ｘ）を取得する（ステップＳ２）。取得した輝度値は、位相算出部４３に送信される。続いて、Ｈｉｌｂｅｒｔ変換部４２が、ライン画像データから、上記の式（６）に基づいて、位置ｘにおける移相光パタンによる画素の輝度値Ｉ＾（ｘ）を算出する（ステップＳ３）。算出した輝度値は、位相算出部４３に送信される。

位置ｘにおける画素の輝度値Ｉ（ｘ）と、位置ｘにおける画素の移相光パタンによる輝度値Ｉ＾（ｘ）とを受信した位相算出部４３は、これら２つの値から、上記の式（４）に基づいて、位置ｘにおける光パタンの位相を算出する（ステップＳ４）。なお、位相算出部４３は、Ｉ（ｘ）をＩ＾（ｘ）で除算した後、その逆正接の値を、逆正接ＤＢ５１を参照することによって求めてもよい。算出された位相は、位相差算出部４４に送信される。

位置ｘにおける光パタンの位相を受信した位相差算出部４４は、基準位相ＤＢ５２を参照して位置ｘにおける光パタンの基準位相を取得するとともに、位相算出部４３から受信した位相から基準位相を減算することによって、位置ｘにおける位相差（位相のずれ）Δφ（ｘ）を算出する（ステップＳ５）。算出した位相差は、高さ算出部４５に送信される。

位相差を受信した高さ算出部４５は、上述した三角測量の原理に基づいて、位置ｘにおける計測対象２０の高さｚを算出する（ステップＳ６）。高さｚは、具体的には、基準面からの距離として算出され、次の式（７）

によって求めることができる。なお、上記の式（７）において、Ａ（ｘ，ｚ）及びＢ（ｘ，ｚ）は、パタン周期やカメラから基準面までの距離、パタンの投影角度などの幾何学的配置に依存して各画素ごとに決まる関数である。ただし、これらの関数は、未知数ｚの関数なので、厳密な形を算出するのは困難である。従って、予め距離が既知（ｚ_０，ｚ_１，…，ｚ_Ｋ）のターゲットを複数観測して、｛Ａ（ｘ，ｚ_０），Ｂ（ｘ，ｚ_０）｝、｛Ａ（ｘ，ｚ_１），Ｂ（ｘ，ｚ_１）｝…｛Ａ（ｘ，ｚ_Ｋ），Ｂ（ｘ，ｚ_Ｋ）｝の値を各画素ｘごとに算出し、これを用いて直線近似やスプライン関数近似でｚの関数形を推定しておくことが好ましい。

高さ算出部４５は、このようにして算出した高さｚを、主走査方向の座標ｘ及び副走査方向の座標ｙと関連付けて、三次元形状ＤＢ５３に格納する（ステップＳ７）。

続いて、位置ｘが直線状のライン画像の終端であるか否かを判定する（ステップＳ８）。ここで、位置ｘがライン画像の終端である場合は、画像解析処理を終了する。一方、位置ｘがライン画像の終端でない場合は、注目画素の位置を主走査方向に１画素分ずらすために、ｘの値を１つ増やす（ステップＳ９）。そして、ステップＳ２に戻る。

上記のステップＳ２からステップＳ９の処理を繰り返すことにより、三次元形状ＤＢ５３には、計測対象２０の主走査方向に沿った各位置における高さ情報が蓄積される。また、上記の画像解析処理が終了すると、搬送部４が計測対象２０を副走査方向にずらし、その後、撮像部１が計測対象２０を再び撮像し、撮像によって得られたライン画像に基づいて再び上記の画像解析処理が行われる。これにより、三次元形状ＤＢ５３には、副走査方向に沿った各位置における高さ情報も順次蓄積され、最終的に、計測対象２０全体の三次元形状情報が蓄積される。

なお、上記のステップＳ３において、式（６）に基づいて位置ｘにおける移相光パタンの輝度値を求める際に、式（６）のパラメタＮの値を可変にすることが好ましい。これは、位置ｘにおける移相光パタンの輝度を算出する際に用いる注目画素近傍の画素の数を可変にすることを意味する。あるいは、空間縞解析法で用いるフィルタのサイズを可変にするともいえる。

この場合、例えば図７に示すように、式（６）におけるパラメタＮの値を入力するための入力機能と、入力されたパラメタＮの値をＨｉｌｂｅｒｔ変換部４２に設定する設定機能とを有する入力・設定部（設定部）４２を画像解析部２ａにさらに設ければよい。これにより、ユーザなどによって入力されたパラメタＮの値（すなわち、算出に用いる近傍画素の数）に基づいて、Ｈｉｌｂｅｒｔ変換部４２が移相光パタンの輝度値Ｉ^（ｘ）を算出するようになる。

ここで、Ｎの値を大きくする（すなわちフィルタのサイズを大きくする）と、より多くの画素に基づいて位相を算出することになり、最終的に求められる高さ情報の算出精度が向上する。一方、Ｎの値を小さくする（すなわちフィルタのサイズを小さくする）と、Ｉ^（ｘ）の算出に必要な演算回数が少なくなり、算出速度が向上する。また、注目画素近傍の画素に黒点などの輝度の不連続点が含まれ難くなるので、不連続点による誤差伝搬の影響を抑制することもできる。

それ以外にも、撮像部１によって撮像されたライン画像に対して、輝度取得部４１及びＨｉｌｂｅｒｔ変換部４２に送信する前に前処理を行ってもよい。前処理の内容としては、例えばライン画像に含まれるノイズの除去やライン画像の正規化などが挙げられる。

ライン画像の正規化は、光パタンを投影せずに一様な輝度の光を照射した状態で計測対象２０を撮像した対照ライン画像を別途取得し、この対照ライン画像を用いて光パタンを投影した状態で撮像したライン画像を補正することによって行うことができる。具体的には、光パタンを投影した状態で撮像したライン画像における各画素の輝度値を、対照ライン画像の対応する画素の輝度値で除算すればよい。このように画像の正規化を行っておけば、計測対象２０の各部位の反射特性の相違に起因する算出位相の誤差を軽減することができるようになる。

ライン画像の正規化を行う場合は、撮像部１が光パタンを投影した状態と投影していない状態とで２回の走査を行う構成としてもよいし、撮像部１と同様の第２の撮像部をさらに設け、この第２の撮像部が対照ライン画像を取得する構成としてもよい。そして、画像解析部２ａに、図９に示すように、光パタンを投影した状態のライン画像と対照ライン画像とを受信する正規化部４７を画像解析部２ａにさらに設け、正規化部４７に上記の処理を行わせればよい。そして、正規化部４７が正規化した画像を輝度取得部４１及びＨｉｌｂｅｒｔ変換部４２に送信し、輝度取得部４１及びＨｉｌｂｅｒｔ変換部４２は、正規化されたライン画像に基づいて高さ情報を算出する。

なお、撮像部１が光パタンを投影した状態と投影していない状態との２回の走査を行う場合には、投光部３に備えるパタン生成素子１３を液晶素子によって構成することが好ましい。これにより、光パタンのオン／オフを容易に切り換えることができるようになる。あるいは、ガラス又はフィルムの表面に、パタンを形成した領域とパタンを形成していない領域とを有するパタン生成素子１３を作製しておき、ガラス又はフィルムをずらすことによって、パタンの有無を切り換えてもよい。

さらに、位相算出部４３が位相を算出した後に、算出した位相に対して後処理を行ってもよい。例えば、位相算出部４３と位相差算出部４４との間にＰＬＬ（Phase Locked Loop）部をさらに設け、ノイズによる誤差を軽減することなどが挙げられる。

なお、上記の前処理は、図８に示すステップＳ２よりも前に行えばよく、一方上記の後処理は、図８に示すステップＳ５とステップＳ６との間に行えばよい。
以上により、画像解析部２ａは、撮像部１によって撮像されたライン画像を基に、計測対照２０の三次元形状を計測することができる。

次に、計測対象２０に投影する光パタンの好ましい変形例について説明する。
本実施形態の三次元形状計測装置１０や、上述した特許文献１や非特許文献１の装置（以下「従来の装置」という）では、計測対象２０に投影する光パタンの輝度が、ラインセンサ１６の主走査方向に沿って変化する構成となっている。ここで、従来の装置では、位相をずらした最低２種類の光パタンを計測対象に投影した状態で撮像するために、光パタンの輝度の変化のピッチが最も小さくなる方向（以下「最小ピッチ方向」という）を、ラインセンサの主走査方向と異ならせる必要があった。なぜならば、それら２つの方向を一致させてしまうと、ラインセンサの主走査方向に対して垂直な方向の搬送方向に計測対象を搬送しても、計測対象の同一部分に投影される光パタンの位相がずれないからである。

一方、本実施形態の三次元形状計測装置１０では、光パタンが投影された計測対象２０をラインセンサ１６によって撮像して得られた１つのライン画像のみに基づいて、光パタンの位相、ひいては位相差を算出することができる。従って、光パタンの最小ピッチ方向をラインセンサ１６の主走査方向と一致させても何ら問題は生じない。

ここで、ラインセンサ１６によって撮像したライン画像において、光パタンの輝度のピッチは、高さ計測を行う上で、計測精度を決定する重要な因子になる。具体的には、ピッチを小さくすればするほど計測精度が向上する。そして、ラインセンサ１６が撮像したライン画像において光パタンの輝度のピッチが最も小さくなるのは、光パタンの最小ピッチ方向が、ラインセンサ１６の主走査方向と一致する場合である。従って、本実施形態の三次元形状計測装置１０において、計測対象２０に対して投影される光パタンの最小ピッチ方向は、ラインセンサ１６の主走査方向と平行である（一致している）ことが好ましい。

ところで、従来の装置では、光パタンを複数のラインセンサで撮像するため、複数のラインセンサそれぞれの撮像領域に対して光パタンを投影する必要がある。ここで、複数のラインセンサのそれぞれに個別の専用の投影部を設ける場合、投影される光パタンが投影部ごとにバラついてしまうという問題が生じる。このような問題から、投影部を１つにすることが一般的となっている。ここで、投光部を１つにするためには、複数のラインセンサの撮像領域全てカバーできる光パタンを投影する必要がある。

しかしながら、本実施形態の三次元形状計測装置１０では、単一のラインセンサ１６を用いて計測対象２０を撮像する構成であるため、投光部３によって投影される光パタンは、単一のラインセンサ１６の撮像領域のみをカバーすればよい。よって、本実施形態の三次元形状計測装置１０において、投影する光パタンは、図４のように二次元方向に広がったものでなくてもよい。

この際、光パタンのエネルギー効率を高める上では、投光部３が、集光した光パタンを投影することが好ましい。具体的には、投光部３が、図１０に示すように、ラインセンサ１６の主走査方向に延在する１軸に集光した直線形状の光パタン（厳密には副走査方向に微小有限幅を有する）を計測対象２０に投影することが好ましい。この場合、投光部３は、図１に示すように、光パタンを１軸集光するための１軸集光素子１４を備え、この１軸集光素子１４によって光パタンを主走査方向に延在する直線形状に集光すればよい。この直線形状の光パタンは、ラインセンサ１６の撮像領域をカバーするように投影される。

なお、この１軸集光素子１４の具体例としては、フレネルレンズ又はシリンドリカルレンズなどが挙げられる。これらのレンズをパタン生成素子１３と計測対象２０との間に配置すれば、計測対象２０に対して１軸に集光した光パタンを投影することができる。

次に、撮像部１と搬送部４との幾何学的位置関係を調節するために、撮像部１の搬送部４の搬送方向に対する傾きを計測する手法の一例を説明する。撮像部１と搬送部４の搬送方向との位置関係の計測は、校正用パタンが施された計測対象を搬送部４に搬送させ、この計測対象を撮像部１のラインセンサ１６が順次撮像し、撮像した複数のライン画像からなる画像を画像解析・駆動制御部２が解析することによって行われる。この場合、解析に用いられる画像は、校正用パタンが施された計測対象全体を含む、主走査方向及び副走査方向に広がる２次元の画像である。

校正用パタンは、ラインセンサの校正を行うために、計測対象に施された各種の模様である。図１１は、本実施形態の校正用パタン１１１を示している。図示のように、校正用パタン１１１は、レーザーやプリンタなどにより、１本の横線１３０と、横線１３０に直交する２本の縦線１３１・１３１とが施されており、縦線１３１・１３１の間隔Ｌが既知である。なお、この校正用パタン１１１は最小構成を示しており、実際の校正用パタンは、図１１に示される校正用パタン１１１を縦および横にそれぞれ複数個配列したものであることが望ましい。

本実施形態では、搬送部４の搬送ステージの移動方向（搬送方向、副走査方向）を基準として、ラインセンサ１６及び校正用パタン１１１がどの程度傾いているかを計測する。

図１２（ａ）は、ラインセンサ１６及び校正用パタン１１１の幾何学的位置関係の一例を示している。図示の例では、ラインセンサ１６の主走査方向が副走査方向（搬送方向）に対し垂直から傾いている一方、校正用パタン１１１の横線１３０が副走査方向に対し垂直であり、縦線１３１が副走査方向に対し平行となっている。

この場合、縦線１３１からの光をラインセンサ１６のイメージセンサが受け取る位置は、計測対象が移動しても変化しない。したがって、読み取った校正用パタン１１１の画像においても、縦線１３１は縦線となる。

一方、横線１３０からの光は、ラインセンサ１６が一度に受け取るのではなく、計測対象が移動するに連れて、一端から他端へ（図示の場合では左端から右端へ）逐次受け取ることになる。このため、読み取った校正用パタン１１１の画像において、横線１３０は傾斜することになる。従って、上記校正用パタン１１１の画像において、横線１３０の傾斜角を求めることができれば、これによって、ラインセンサ１６の傾きを調節することが可能である。

図１２（ｂ）は、ラインセンサ１６及び校正用パタン１１１の幾何学的位置関係の他の例を示している。図示の例では、ラインセンサ１６の主走査方向が副走査方向に対し垂直である一方、校正用パタン１１１の横線１３０が副走査方向に対し垂直から傾き、縦線１３１が副走査方向に対し平行から傾いている。

この場合、縦線１３１からの光をラインセンサ１６のイメージセンサが受け取る位置は、計測対象が移動するに連れて、或る方向（図示の場合では右方向）に変化する。従って、読み取った校正用パタン１１１の画像において、縦線１３１は傾斜することになる。

一方、横線１３０からの光は、ラインセンサ１６が一度に受け取るのではなく、一端から他端へ（図示の場合では右端から左端へ）逐次受け取ることになる。このため、読み取った校正用パタン１１１の画像において、横線１３０は傾斜することになる。

従って、上記校正用パタン１１１の画像は、縦方向および横方向の両方が傾いた画像となる。しかしながら、ラインセンサ１６が傾いていないので、上記校正用パタン１１１の画像において、縦線１３１および横線１３０の何れか一方の傾斜角を求めることができれば、他方の傾斜角が得られ、計測対象の傾きを調節することが可能になる。

図１３は、図１２（ａ）・（ｂ）に示される場合をより一般化した場合、すなわちラインセンサ１６および校正用パタン１１１の何れもが副走査方向（搬送方向）に対し傾いている場合を示しており、校正用パタン１１１およびラインセンサ１６に関して上方から見た位置関係を示している。図示において、αは、ラインセンサ１６に関して副走査方向に垂直な方向から反時計回りに傾いた角度（以下、「傾き」と称する。）を表す。また、βは、校正用パタン１１１の横線１３０に関して副走査方向に垂直な方向から時計回りに傾いた角度、すなわち校正用パタン１１の縦線１３１に関して副走査方向から時計回りに傾いた角度（以下、「スキュー角」と称する。）を表す。

図１４は、図１３の要部を拡大して示している。図１４（ａ）は、校正用パタン１１１の縦線１３１をラインセンサ１６が読み取っているタイミングでの、縦線１３１とラインセンサ１６との位置関係を示している。また、図１４（ｂ）は、校正用パタン１１１の横線１３０をラインセンサ１６が読み取り始めるタイミングでの、横線１３０とラインセンサ１６との位置関係を示しており、図１４（ｃ）は縦線１３１の間隔とラインセンサ１６との関係を示している。

上記校正用パタン１１１の画像において、縦線１３１は斜線となり、画像上の横方向の長さ（以下「ｘ成分」という）と、縦方向の長さ（以下「ｙ成分」という）とを有することになる。ここで、画像上の縦線１３１におけるｘ成分をｘ1とし、ｙ成分をｙ1とする。このとき、画像上の縦線１３１におけるｘ成分ｘ1とｙ成分ｙ1との関係は、図１４（ａ）に示されるように、次の式（８）
tan(π／２−β)＝（ｖ×ｙ1＋ｍ×ｘ1×sinα）／（ｍ×ｘ1×cosα）
＝（ｖ×ｋ1）／（ｍ×cosα）＋tanα ・・・（８）
で表される。

ここで、ｖはラインセンサ１６の移動速度（スカラー量）であり、ｍは、画像と実物とにおける寸法の比を示す変換倍率である。また、k1は、ｋ1＝ｙ1／ｘ1、すなわち画像上の縦線１３１の傾きである。

同様に、上記校正用パタン１１１の画像において、横線１３０は斜線となり、画像上のｘ成分およびｙ成分を有することになる。ここで、画像上の横線１３０のｘ成分をｘ2とし、ｙ成分をｙ2とする。このとき、画像上の横線１３０におけるｘ成分ｘ1とｙ成分ｙ1との関係は、図１４（ｂ）に示されるように、次の式（９）
tanβ＝（ｖ×ｙ2−ｍ×ｘ2×sinα）／（ｍ×ｘ2×cosα）
＝（ｖ×ｋ2）／（ｍ×cosα）−tanα ・・・（９）
で表される。ここで、k2は、k2＝ｙ2／ｘ2、すなわち画像上の横線１３０の傾きである。

さらに、実際の縦線１３１の間隔Ｌと、画像上の縦線１３１の間隔におけるｘ成分ｘ3との関係は、図１４（ｃ）に示されるように、次の式（１０）
Ｌ×cosβ＝ｍ×ｘ3×cosα ・・・（１０）
で表される。

上記式（８）〜式（１０）を解くことにより、変換倍率ｍ、ラインセンサ１６の傾きα、及び計測対象のスキュー角βが次の式（１１）〜（１３）
ｍ＝（Ｌ^２／ｘ3^２−ｋ1×ｋ2×ｖ^２）^１／２・・・（１１）
sinα＝ｖ×（ｋ2−ｋ1）／（Ｌ^２／ｘ3^２−ｋ1×ｋ2×ｖ^２）^１／２・・・（１２）
sinβ＝ｘ3×ｖ×（ｋ1＋ｋ2）／（２×Ｌ）・・・（１３）
のように求めることができる。

最後に、本実施形態の三次元計測装置１０の変形例について説明する。上記の説明では、撮像部１が１本のラインセンサ１６のみを備える構成としたが、本発明はこれに限定されず、複数のラインセンサを備えていてもよい。複数本のラインセンサを備えることにより、ラインセンサの輝度ノイズを統計的に除去することができ、三次元形状計測の安定性を向上させることができる。あるいは、計測対象２０の同一部分を複数回撮像することによってノイズを除去する構成にしてもよい。

また搬送ステージ１７がラインセンサの主走査方向と垂直な方向（副走査方向）のみに移動する構成としたが、１本のラインセンサのみで計測対象２０の主走査方向をカバーできない場合には、主走査方向にも移動する構成としてもよい。あるいは、撮像部１及び投光部３を主走査方向に移動させる構成としてもよい。

〔付記的事項〕
上記課題を解決するために、本発明に係る三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、計測対象に投影された光パタンを画像として読み取るためのラインセンサと、上記ラインセンサにより読み取られた画像における光パタンを空間縞解析法に基づいて解析して、計測対象の高さ情報を算出する画像解析部とを備えていることを特徴とする。

ここで、計測対象の各部分に投影された光パタンの位相は、ラインセンサによって撮像された画像の輝度値から算出される。すなわち、光パタンの投影された計測対象の或る位置に対応する画素（以下「注目画素」という）の輝度値から、その輝度値に対応する位相を算出する。しかしながら、光パタンの位置（すなわち位相）と輝度値（すなわち変位）とが周期性を有する連続関数によって表される場合、ある１点の輝度値（変位）を与える位相は、同一周期内に最低でも２つ存在する。従って、注目画素の輝度値（変位）のみから、その輝度値に対応する位相を１つに決定することはできない。

本発明に係る三次元形状計測装置は、ラインセンサにより読み取られた画像における光パタンを空間縞解析法に基づいて解析する画像解析部を備えている。空間縞解析法は、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定する方法である。従って、１つの画像のみに基づいて各画素の位相を求めることができ、その結果、１つの画像のみに基づいて計測対象の各部分における高さを算出することができる。これにより、ラインセンサによる延べ走査回数を最低で１回に減らすことができ、かつ／またはラインセンサの本数を最低で１本に減らすことができる。換言すれば、走査に要する時間、ひいては計測に要する時間を短縮することができ、かつ／またはラインセンサの配置に伴う困難性を軽減することができる。

また、上記画像解析部は、上記空間縞解析法において用いるフィルタのサイズを設定する設定部を備えていることが好ましい。

上記のフィルタとは、空間縞解析法において注目する画素における位相を算出する際に用いる注目する画素及びその周辺の画素を指定するものである。ここで、フィルタのサイズを大きくすることにより位相の算出に用いる画素の数を増やすと、より多くの画素に基づいて高さを算出することになり、高さ情報の算出精度が向上する。一方、フィルタのサイズを小さくすることにより位相の算出に用いる周辺の画素の数を減らすと、演算回数が減るため、高さ情報の算出速度が向上する。また、黒点などの輝度の不連続点が含まれ難くなるので、不連続点による誤差伝搬の影響を抑制することもできる。

本発明に係る三次元形状計測方法は、計測対象に、位置に応じて周期的に輝度が変化する光パタンを投影する光パタン投影工程と、上記光パタン投影工程によって上記計測対象に投影された光パタンをラインセンサによって画像として読み取る光パタン読取工程と、上記光パタン読取工程において読み取った画像における光パタンを空間縞解析法に基づいて解析して、上記計測対象の三次元形状の情報を算出する光パタン解析工程とを含んでいることを特徴とする。上記構成によれば、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測できる。

また、上記画像解析工程は、上記空間縞解析法において用いるフィルタのサイズを設定する設定工程をさらに含んでいることが好ましい。上記構成によれば、算出精度の向上や、算出速度の向上、不連続点による誤差伝播の抑制を図ることができる。

また、本発明に係る別の三次元形状計測装置は、読み取られた画像における光パタンを空間縞解析法に基づいて解析する画像解析部を備える構成となっている。

また、本発明に係る別の三次元形状計測方法は、読み取った画像における光パタンを空間縞解析法に基づいて解析する画像解析工程を含んだ構成となっている。

最後に、画像解析部２ａの各機能ブロック、具体的には輝度取得部４１、Ｈｉｌｂｅｒｔ変換部４２、位相算出部４３、位相差算出部４４、及び高さ算出部４５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像解析部２ａは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像解析部２ａの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像解析部２ａに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像解析部２ａを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明によれば、計測対象の三次元形状を計測できるので、例えば実装基板を検査する装置などに好適に適用することができる。

２画像解析・駆動制御部（画像解析部）
３投光部（光パタン投影部）
１０三次元形状計測装置
１６ラインセンサ
２０計測対象
４２入力・設定部（設定部）

Claims

計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
計測対象に投影された上記光パタンを画像として読み取るためのラインセンサと、
上記ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する画像解析部とを備えていることを特徴とする三次元形状計測装置。
上記画像解析部は、上記光パタンの位相を算出する際に用いる上記周辺の画素の数を設定するための設定部を備えていることを特徴とする、請求項１に記載の三次元形状計測装置。
上記計測対象に上記ラインセンサによって読み取られる上記光パタンを投影する光パタン投影部をさらに備え、
上記光パタン投影部は、輝度の変化のピッチが上記ラインセンサの主走査方向で最も小さくなるような上記光パタンを上記計測対象に投影することを特徴とする、請求項１または２に記載の三次元形状計測装置。
上記計測対象に上記ラインセンサによって読み取られる上記光パタンを投影する光パタン投影部をさらに備え、
上記光パタン投影部は、上記ラインセンサの主走査方向に延在する１軸に集光した直線形状の上記光パタンを上記計測対象に投影することを特徴とする、請求項１から３の何れか１項に記載の三次元形状計測装置。
上記ラインセンサは、上記光パタンが投影された状態と投影されていない状態との２つの状態における上記計測対象をそれぞれ画像として読み取るとともに、
上記画像解析部は、上記計測対象に上記光パタンが投影された状態で上記ラインセンサによって読み取られた画像の輝度を、計測対象に光パタンが投影されていない状態で上記ラインセンサによって読み取られた画像の輝度に基づいて正規化し、正規化した輝度の画像における光パタンを解析することを特徴とする、請求項１から４の何れか１項に記載の三次元形状計測装置。
上記光パタンが投影された上記計測対象を画像として読み取るための第１のラインセンサと、上記光パタンが投影されていない上記計測対象を画像として読み取るための第２のラインセンサとの２つのラインセンサを備え、
上記画像解析部は、第１のラインセンサによって読み取られた画像の輝度を、第２のラインセンサによって読み取られた画像の輝度に基づいて正規化し、正規化した輝度の画像における光パタンを解析することを特徴とする、請求項１から５の何れか１項に記載の三次元形状計測装置。
上記ラインセンサ、上記計測対象の少なくとも一方を上記ラインセンサの主走査方向と直交する副走査方向に所定の搬送速度で搬送する搬送部をさらに備え、
上記ラインセンサは、計測対象に投影された上記光パタンを、計測対象に対して上記副走査方向に移動しながら画像として読み取るものであり、
上記画像解析部は、さらに、上記画像における上記主走査方向の画素数に基づいて、上記計測対象の上記主走査方向の長さ情報を算出するとともに、上記搬送速度に基づいて、計測対象の上記副走査方向の長さ情報を算出することを特徴とする、請求項１から６の何れか１項に記載の三次元形状計測装置。
請求項１から７の何れか１項に記載の三次元形状計測装置の画像解析部を動作させるためのプログラムであって、コンピュータを上記画像解析部として機能させるためのプログラム。
請求項８に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
位置に応じて周期的に輝度が変化する光パタンを計測対象に投影する光パタン投影工程と、
上記光パタン投影工程によって計測対象に投影された光パタンをラインセンサによって画像として読み取る光パタン読取工程と、
上記光パタン読取工程において読み取った画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する画像解析工程とを含んでいることを特徴とする三次元形状計測方法。
上記画像解析工程は、上記光パタンの位相を算出する際に用いる上記周辺の画素の数を設定するための設定工程を含んでいることを特徴とする、請求項１０に記載の三次元形状計測方法。
上記光パタン投影工程では、輝度の変化のピッチが上記ラインセンサの主走査方向で最も小さくなるような光パタンを計測対象に投影することを特徴とする、請求項１０または１１に記載の三次元形状計測方法。
上記光パタン投影工程では、上記ラインセンサの主走査方向に延在する１軸に集光した直線形状の光パタンを計測対象に投影することを特徴とする、請求項１０から１２の何れか１項に記載の三次元形状計測方法。
上記光パタン読取工程では、上記計測対象に対して上記ラインセンサを当該ラインセンサの主走査方向と直交する副走査方向に所定の速度で移動させながら、上記光パタンを画像として読み取り、
上記画像解析工程では、さらに、画像における上記主走査方向の画素数に基づいて、計測対象の上記主走査方向の長さ情報を算出するとともに、上記所定の速度に基づいて、計測対象の上記副走査方向の長さ情報を算出することを特徴とする、請求項１０から１３の何れか１項に記載の三次元形状計測方法。