JP2007299219A - 撮影画像におけるゆがみの較正方法 - Google Patents

Abstract

【課題】より簡単な処理によって実行可能な撮影画像のゆがみの較正を実現する。
【解決手段】ゆがみ較正装置は、撮影対象を、既知の変位を与える前後においてそれぞれ撮影することにより生成された第１及び第２撮影画像を記憶する画像記憶部３０ａと、第１撮影画像上の着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得するＤＩＣＭ処理部３０ｂと、ＤＩＣＭ処理部３０ｂにより取得した座標を有する第１撮影画像における点を新たに着目点としてＤＩＣＭ処理部３０ｂによる座標の取得を繰り返させ、この繰り返しにより取得した座標群と上記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出する変位較正処理部３０ｃとを備える。
【選択図】図１

Description

本発明は、レンズの収差や撮影対象の傾きなどに起因して発生する撮影画像のゆがみの較正方法に関するものである。

近年、電子部品の小型化にともなって実装基板内部における接合部の微細化は進み、複合材料や有機材料、金属材料が複雑に接合されるようになってきている。このため、マクロ的な計測や解析によって得られるひずみや応力がどの程度まで正しいのかが疑わしくなり、このような微細接合部周辺のひずみを正確に計測したいという要求が高まっている。

全視野でのひずみ分布計測技術としてのデジタル画像相関法（Digital Image Correlation Method。以下「ＤＩＣＭ」と記す。）は、システム自体が非常に単純なだけではなく、光学系の設定を変えることにより任意の倍率での計測が可能となる汎用性も併せ持つため、現在、様々な方面への応用が試みられている。特に、ミクロスケール、ナノスケールといった微小領域のひずみ分布計測への応用は盛んである。

しかしながら、ＤＩＣＭは上記のようにシステムの構成に自由度を持つ反面、計測精度を決定づける要素が不確定であるという問題がある。このような不安定なＤＩＣＭシステムが計測技術としての信頼性を得るためには、計測誤差の較正が重要である。

ＤＩＣＭを用いた計測技術において誤差を発生させる要因としては、デジタル画像を撮影する際のレンズの収差や、試料の傾きなどによるデジタル画像のゆがみが考えられる。

上記デジタル画像のゆがみを修正する方法としては、従来、あらかじめ正確な格子模様の図を用意してこれを撮影し、レンズ収差や試料傾きを陽な数式モデルを利用して、その撮影画像からゆがみを計算する手法が多い（例えば、非特許文献１，２）。

しかしながら、このような手法では、レンズと試料との距離を変えて撮影する必要があり、顕微鏡画像のように極端に被写界深度の浅い画像に対しては、適用が難しい。

これに対し、非特許文献３には、微動ステージを用いて画像全体の誤差を修正する手法が開示されている。この手法は、画像上の格子点における測定変位の誤差を算出するために、微動ステージによって格子間隔の変位を繰り返し生成させることにより多数の画像を撮影し、それにより画像上の格子点の誤差を評価するものであった。
Luca Lucchese "Geometric calibration of digital cameras through multi-view rectification" Image and Vision Computing, 23 (2005), pp.517-539 Jeffrey D. Helm, Stephen R. McNeill, Michael A. Sutton "Improved three-dimensional image correlation for surface displacement measurement" Opt. Eng., 35(7), pp.1911-1920, (July 1996) H.W. Schreier, D. Garcia, M.A. Sutton "Advances in Light Microscope Stereo Vision" Experimental Mechanics, Vol.44, No.3, June 2004, pp.278-288

しかしながら、上記非特許文献３に開示された手法では、画像上の格子点すべての誤差を測定するために多数の画像を撮影する必要があり、誤差較正に多大な手間を必要とするという問題があった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、より簡単な処理によって実行可能な撮影画像のゆがみの較正を実現することにある。

本発明に係るゆがみ較正方法は、撮影画像におけるゆがみの較正方法であって、上記課題を解決するために、撮影対象を撮影することにより第１撮影画像を生成する第１撮影ステップと、撮影対象に対して既知の変位を与える変位ステップと、変位後の撮影対象を撮影することにより第２撮影画像を生成する第２撮影ステップと、第１撮影画像上の着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する対応座標取得ステップとを含み、前記対応座標取得ステップにより取得した座標を有する第１撮影画像における点を新たに着目点として前記対応座標取得ステップを繰り返し、この繰り返しにより取得した座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出することを特徴としている。

上記方法では、撮影対象に対して既知の変位を与える前後において当該撮影対象を撮影し、それぞれ第１及び第２撮影画像を生成する。そして、第１撮影画像上のある点を初期の着目点とし、この着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する。そして、取得した座標を有する第１撮影画像における点を新たに着目点として上記座標取得の処理を繰り返す。

このようにして取得された座標群は、撮影対象表面において上記既知の変位の方向に、この変位量に相当する間隔をあけて並ぶ点群に対応する撮影画像上の座標となる。

したがって、上記座標群と上記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出することができる。

上記方法では、多数の撮影画像を必要とせず、既知の変位を与える前後の撮影画像さえあればよいので、較正処理の簡略化を図ることができるという効果を奏する。

本発明に係るゆがみ較正方法は、前記変位ステップにおいて、互いに異なる２方向への既知の変位を与え、前記第２撮影ステップにおいて、前記２方向への各変位後の撮影対象を撮影することにより２種類の第２撮影画像を生成し、前記２種類の第２撮影画像に基づいて２次元の前記座標群を取得し、取得した２次元の座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値の２次元分布を算出してもよい。

撮影画像のゆがみ較正は、その目的に応じて、撮影画像に対して１次元的に行ってもよいが、撮影画像に対して２次元的に行う必要がある場合には、上記方法のように、変位ステップにおいて、互いに異なる２方向への既知の変位を与え、第２撮影ステップにおいて、２方向への各変位後の撮影対象を撮影することにより２種類の第２撮影画像を生成し、２種類の第２撮影画像に基づいて２次元の前記座標群を取得し、取得した２次元の座標群と変位量とに基づいて、撮影画像上の座標に応じた較正値の２次元分布を算出するようにすればよい。

本発明に係る変位計測方法は、撮影画像を用いた変位計測方法であって、上記課題を解決するために、計測対象を変位前後においてそれぞれ撮影する撮影ステップと、前記ゆがみ較正方法によって得られた較正値を用いて、各撮影画像に対してゆがみ較正を行うゆがみ較正ステップと、較正後の各撮影画像における対応点探索を行う対応点探索ステップと、対応点同士の座標に基づいて変位を算出する変位算出ステップとを含むことを特徴としている。

上記方法では、変位前後における計測対象の撮影画像をそれぞれ上記ゆがみ較正方法によって較正し、較正後の各撮影画像を用いて変位計測を行うので、精度の高い変位計測を実現することができる。

本発明に係るゆがみ較正装置は、撮影画像におけるゆがみの較正装置であって、上記課題を解決するために、撮影対象を、既知の変位を与える前後においてそれぞれ撮影することにより生成された第１及び第２撮影画像を記憶する記憶手段と、第１撮影画像上の着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する対応座標取得手段と、前記対応座標取得手段により取得した座標を有する第１撮影画像における点を新たに着目点として前記対応座標取得手段による座標の取得を繰り返させ、この繰り返しにより取得した座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出する較正手段とを備えることを特徴としている。

上記構成では、撮影対象に対して既知の変位を与える前後において当該撮影対象を撮影し、それぞれ第１及び第２撮影画像を生成し、これらを記憶手段によって記憶する。そして、対応座標取得手段により、第１撮影画像上のある点を初期の着目点とし、この着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する。そして、取得した座標を有する第１撮影画像における点を新たに着目点として上記座標取得の処理を繰り返させる。

このようにして取得された座標群は、撮影対象表面において上記既知の変位の方向に、この変位量に相当する間隔をあけて並ぶ点群に対応する撮影画像上の座標となる。

したがって、較正手段により、上記座標群と上記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出することができる。

上記構成では、多数の撮影画像を必要とせず、既知の変位を与える前後の撮影画像さえあればよいので、装置構成の簡略化を図ることができるという効果を奏する。

本発明に係る変位計測装置は、撮影画像を用いた変位計測装置であって、上記課題を解決するために、前記ゆがみ較正装置を備え、前記記憶手段により、撮影対象を変位前後においてそれぞれ撮影することにより生成され、前記較正値によって較正された各撮影画像を記憶し、前記対応座標取得手段により、較正後の各撮影画像における対応点探索を行うとともに、対応点同士の座標に基づいて変位を算出する変位算出手段をさらに備えることを特徴としている。

上記構成では、変位前後における計測対象の撮影画像をそれぞれ上記ゆがみ較正装置によって較正し、較正後の各撮影画像を用いて変位計測を行うので、精度の高い変位計測を実現することができる。

本発明に係る変位計測システムは、前記変位計測装置と、撮影対象を撮影する撮影手段と、撮影対象に対して既知の変位を与える移動手段とを備えることによって構成することができる。

また、コンピュータを前記各手段として機能させることにより前記ゆがみ較正装置としてコンピュータを動作させるゆがみ較正プログラム、及びこのゆがみ較正プログラムを記録したコンピュータ読取り可能な記録媒体も本発明に含まれる。

本発明に係るゆがみ較正方法は、以上のように、第１撮影画像上の着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する対応座標取得ステップを含み、対応座標取得ステップにより取得した座標を有する第１撮影画像における点を新たに着目点として対応座標取得ステップを繰り返し、この繰り返しにより取得した座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出する方法である。

上記方法では、取得された座標群は、撮影対象表面において上記既知の変位の方向に、この変位量に相当する間隔をあけて並ぶ点群に対応する撮影画像上の座標となる。したがって、上記座標群と上記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出することができる。

その結果、上記方法では、多数の撮影画像を必要とせず、既知の変位を与える前後の撮影画像さえあればよいので、較正処理の簡略化を図ることができるという効果を奏する。

本発明の実施の一形態について、図１から図５に基づいて説明すると以下の通りである。本実施形態では、電子部品等の構造物における微細ひずみを計測するための変位計測システムについて説明する。この変位計測システムによる計測対象は、例えば、電子部品実装用の積層基板や半導体チップ内蔵基板などの熱変形によるひずみの分布である。

［装置構成］
図１に基づいて、本実施形態の変位計測システムの概略構成について説明する。

変位計測システム１は、ズームレンズ１１及びＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラ１２を有する撮影部１０と、撮影部１０による撮影対象に対して微小な変位を与えるためのピエゾステージ（微動ステージ）２０と、撮影部１０の生成する撮影画像データに基づくデータ処理を行うデータ処理部３０と、データ処理部３０の処理により得られた計測結果を表示する表示部４０とを備えている。

ズームレンズ１１は、ＣＭＯＳカメラ１２に取り付けられた、倍率７５〜７５０倍の拡大レンズである。

ＣＭＯＳカメラ１２は、ズームレンズ１１によって拡大された撮影対象の像を、画素数２００８×２０４７の解像度で撮影するモノクロデジタルカメラである。このＣＭＯＳカメラ１２は、データ処理部３０からの指示によって撮影を行うことにより、各画素に関する輝度値を示す撮影画像データを生成し、その撮影画像データをデータ処理部３０へ送る。なお、ＣＭＯＳカメラ１２による撮影は、データ処理部３０とは別個に設けられた制御装置により、あるいは、手動により実行されるようになっていてもよい。

これらズームレンズ１１及びＣＭＯＳカメラ１２は、撮影対象を撮影するための撮影手段として機能する。

ピエゾステージ２０は、撮影対象に対して既知の変位を与える移動手段として機能する。このピエゾステージ２０は、ＣＭＯＳカメラ１２の撮影面に対して平行な撮影対象載置面２０ａを有し、この撮影対象載置面２０ａを当該面に対して平行、かつ、互いに直交する２方向（以下、それぞれ「ｘ方向」、「ｙ方向」と記す。）に変位させるステージである。この変位は、２０μｍ程度の微小変位であり、ピエゾステージ２０に内蔵されたピエゾ素子の動作によって実現される。ピエゾステージ２０の上記変位動作は、データ処理部３０からの制御によって実行される。なお、ピエゾステージ２０の上記変位動作は、データ処理部３０とは別個に設けられた制御装置により、あるいは、手動により実行されるようになっていてもよい。

撮影対象の撮影は、撮影対象を撮影対象載置面２０ａに載置し、図示しないメタルハライドランプによる照明下において行われる。

データ処理部３０は、パーソナルコンピュータを用い、変位計測システム１を制御する制御プログラムを実行することにより、画像記憶部３０ａ、ＤＩＣＭ処理部３０ｂ、変位較正処理部３０ｃ、変位算出処理部３０ｄ、出力処理部３０ｅ、カメラ制御部３０ｆ、及びステージ制御部３０ｇの各機能ブロックを実現する。

画像記憶部３０ａは、ＣＭＯＳカメラ１２から送られてきた撮影画像データを記憶する記憶手段として機能し、複数の撮影画像それぞれに対応する撮影画像データを記憶できるようになっている。

ＤＩＣＭ処理部３０ｂは、画像記憶部３０ａに記憶された撮影画像データに基づいて、ＤＩＣＭ処理を行うものであり、ある撮影画像上の着目点に対応する他の撮影画像上の対応点を特定し、その対応点の上記他の撮影画像上での座標を取得する対応座標取得手段として機能する。

このＤＩＣＭ処理は、変位前後に撮影した２つの撮影画像に関し、一方の撮影画像上の任意の画素点に着目し、その点を中心とする小さな画像領域（サブセット）内の輝度値分布が、他方の撮影画像ではどの領域にあたるかを輝度値分布の相関を示す相関関数を用いて探索する処理である。そして、変位前後の撮影画像の間において対応するサブセットの位置（座標）を比較することにより、着目点の変位を得ることができる。なお、ＤＩＣＭ処理は従来周知であるので、その詳細については説明を省略する。

変位較正処理部３０ｃは、上記ＤＩＣＭ処理部３０ｂに対してＤＩＣＭ処理を実行させ、このＤＩＣＭ処理の結果を利用して変位較正処理を行うものであり、撮影画像上の座標に応じた較正値を算出する較正手段として機能する。なお、この変位較正処理の内容については後述する。

そして、変位較正処理部３０ｃは、変位較正処理の結果に基づいて、画像記憶部３０ａに記憶された撮影画像データに対して、撮影画像のゆがみを較正する処理を施す。

なお、上記画像記憶部３０ａ、ＤＩＣＭ処理部３０ｂ、及び変位較正処理部３０ｃによって、撮影画像におけるゆがみを較正するためのゆがみ較正装置が構成される。

変位算出処理部３０ｄは、変位較正処理部３０ｃによってゆがみの較正が施された撮影画像データを用いてＤＩＣＭ処理部３０ｂによって実行されたＤＩＣＭ処理の結果に基づき変位算出処理を行うものであり、対応点同士の座標に基づいて変位を算出する変位算出手段として機能する。

なお、上記画像記憶部３０ａ、ＤＩＣＭ処理部３０ｂ、変位較正処理部３０ｃ、及び変位算出処理部３０ｄによって、変位計測装置が構成される。

出力処理部３０ｅは、上記変位算出処理の結果によって得られた計測結果としての変位分布を、所定の表示形態として表示部４０に表示させるものである。そのために、出力処理部３０ｅは、グラフィックイメージを生成し、これを表示信号に変換して表示部４０へ送る。なお、出力処理部３０ｅは、グラフィックイメージの代わりに、数値表示などの他の表示形態による変位分布の表示を行うためのものであってもよい。

カメラ制御部３０ｆは、ＣＭＯＳカメラ１２に対して撮影実行を指示するものであり、ステージ制御部３０ｇは、ピエゾステージ２０に対して撮影対象載置面２０ａの変位動作を制御するものである。なお、上述したように、カメラ制御部３０ｆ及びステージ制御部３０ｇは必ずしもデータ処理部３０内に備わっていなくてもよい。

表示部４０は、パーソナルコンピュータのディスプレイによって構成され、上記出力処理部３０ｅから送られてくる表示信号に基づいて、上記グラフィックイメージを表示する。なお、表示部４０の代わりに、上記グラフィックイメージを印刷する印刷部などの他の出力部を設けてもよい。

データ処理部３０の各ブロックは、上述のようにコンピュータにおいて所定のプログラムを実行させることによってソフトウェア的に構成してもよいし、ハードウェアロジックによって構成してもよい。

ソフトウェア的に構成する場合、データ処理部３０のハードウェア構成としては、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。

そして、本発明の目的は、上述した機能を実現するソフトウェアである制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を、コンピュータで読取り可能に記録した記録媒体により、上記データ処理部３０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、磁気テープ等のテープ系、磁気ディスクや光ディスク等のディスク系、ＩＣカード等のカード系、ＥＥＰＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ処理部３０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。通信ネットワークを構成する伝送媒体としては、特に限定されず、有線であっても無線であってもよい。

なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

［変位較正］
変位計測システム１における変位の計測精度は、ＤＩＣＭ処理におけるサブセット寸法に大きく依存する。すなわち、サブセットの拡大はノイズの影響を緩和するために有効であるが、サブセット寸法の最適値は計測対象の変形状態によって変化する。

そのため、目的となる計測に適した倍率によって計測対象を撮影し、撮影画像データを取り込む必要がある。

しかしながら、光学系にズームレンズ１１などのレンズを組み込んで倍率を調整したシステムを用いると、ＤＩＣＭ処理によるサブセット探索の計算が正しくおこなわれたとしても、レンズのもつ収差の影響によって撮影画像がゆがむため、撮影画像から得られる変位と実変位との間には誤差が生じる。

また、ＣＭＯＳカメラ１２に内蔵された撮像素子としてのＣＭＯＳセンサー面と、計測対象面との幾何学的配置の影響によっても撮影画像のゆがみは生じるため、これによっても上記同様の誤差が生じる。

これら光学系の影響によって生じる誤差は計測領域内において滑らかに分布するため、ノイズによる誤探索から生じる誤差のように誤差として判別することは困難である。

このため、全視野に渡って高精度な計測を実現するためには、上記撮影画像のゆがみによる誤差を排除するための変位較正が必要となる。

そこで、変位計測システム１では、変位較正処理部３０ｃによって変位較正を行っている。以下では、変位較正処理部３０ｃによる変位較正処理の内容について説明する。

（ゆがみモデルの評価）
まず、ゆがみモデルの評価について説明する。一般的な画像処理などに用いる座標変換には、収差や幾何学的配置の影響を考慮したモデル式が利用される。

レンズの収差による影響は式（１）のRadial distortionや、式（２）のDecentering distortionなどを組み合わせてモデル化される。これら収差によるゆがみの概念を図２に示す。ここで、（Δｘ，Δｙ）は、撮影画像中心Ｃから半径ｒの位置にある座標（ｘ，ｙ）の点におけるゆがみの大きさのｘ，ｙ成分である。

このゆがみは、変位が大きい場合、レンズの中心にあたる点を原点として、外周部に非常に大きな誤差を生むことを表している。

また、幾何学的な配置による影響には、式（３）のピンホールカメラモデルを仮定し、式（４）の一般的な座標変換式を用いて、撮影画像上の座標と撮影対象表面上の座標とを結びつける。ここで、［Ｒ］は回転行列、［Ｔ］は平行移動量、ｆはレンズの焦点距離を表す。座標軸及び配置のモデルを図３に示す。

しかしながら、高精度な変位計測を要求する較正においては、式（１）や式（２）のような収差の陽なモデル化は適切でないとされている。例えば、式（１）においてＫを３次の項まで考慮した場合であっても、撮影画像の外周部では計測変位に大きな誤差が生じていた。

（本実施形態における変位較正の内容）
そこで、本実施形態では、上述した収差等によるゆがみの影響を陰な形式で表現して較正関数を定義することにした。以下では、本実施形態における較正関数、及びこの較正関数を用いた変位較正の原理について説明する。

ＤＩＣＭによる変位計測では、実際の変位量と計測された変位量とは必ずしも一致しない。撮影画像のゆがみの影響により、撮影対象表面上での変位と撮影画像上での変位が一致しないためである。

そこで、着目点の座標を、撮影画像上の座標（ｘ_Ｉｍ，ｙ_Ｉｍ)から撮影対象表面上の座標（ｘ_Ｒｅ，ｙ_Ｒｅ）へ正しく変換し、計測された変位量を実際の変位量に変換することにより較正を行うこととする。

そのために、収差や幾何学的配置の影響を陰な形式で表現し、ゆがみの修正項として加えた座標変換式として式（５）を定義した。

式（５）において、ｘ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ），ｙ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ）はゆがみの修正項、λ_ｘ，λ_ｙは撮影倍率を表す。撮影倍率λ_ｘ，λ_ｙは任意パラメータであり、撮影に用いる光学系によって設定される値である。なお、一般にはλ_ｘ＝λ_ｙとなる。

この場合、計測に影響を与える関数は、ゆがみの修正項ｘ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ），ｙ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ）のみであることから、以下では、撮影画像の座標（ｘ_Ｉｍ，ｙ_Ｉｍ）から、較正後の画像の座標（ｘ_ｉｄ，ｙ_ｉｄ）への変換について議論する。

較正関数となるゆがみの修正項ｘ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ），ｙ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ）を導くには、ある着目点の撮影画像上の座標（ｘ_Ｉｍ，ｙ_Ｉｍ）と、それに対応する撮影対象表面上の座標（ｘ_Ｒｅ，ｙ_Ｒｅ）とがわかればよい。

そこで、ピエゾステージ２０により、変位量が既知の変位を撮影対象に対して与え、その前後において撮影した撮影画像を用いたＤＩＣＭによる計測値と比較することにより、修正項の参照データを得ることとする。この参照データは、次のような手順によって作成することができる。

なお、撮影対象としては、ＤＩＣＭによる対応点探索が容易となるように、表面が平面かつランダム模様の物体を用い、この撮影対象の表面をピエゾステージ２０の撮影対象載置面２０ａと平行、つまり、ＣＭＯＳカメラ１２の撮影面と平行に設置する。

まず、基準となる撮影画像Ｏと、変位量Δｘ_Ｒｅのｘ方向への変位を与えた後の撮影画像Ｘとを撮影する。ここで、ピエゾステージ２０による移動方向と、ＣＭＯＳカメラ１２の撮影面とは平行であるので、移動前後のどの画像状態においても各座標系での任意の点の対応が一意となる。

次に、撮影画像Ｏ上におけるある基準点（例えば、撮影画像Ｏの中心点）Ｐ_０に着目する。この基準点Ｐ_０は撮影画像Ｏ上において座標（ｘ^０ _Ｉｍ，ｙ^０ _Ｉｍ）に位置し、この基準点Ｐ_０に対応する撮影対象表面上の点Ｑ_０は座標（ｘ^０ _Ｒｅ，ｙ^０ _Ｒｅ）に位置している。

そして、この基準点Ｐ_０に対応する撮影画像Ｘ上の点Ｐ’_０をＤＩＣＭにより探索し、その座標（ｘ^１ _Ｉｍ，ｙ^１ _Ｉｍ）を特定する。

この座標（ｘ^１ _Ｉｍ，ｙ^１ _Ｉｍ）は、撮影画像Ｘ上では上記基準点Ｐ_０に対応する点Ｐ’_０の位置を示す一方、撮影画像Ｏ上では、撮影対象表面上において上記基準点からｘ方向にΔｘ_Ｒｅの距離にある点Ｑ_１に対応する点Ｐ_１の位置を示すことになる。

そこで、上記撮影画像Ｏ上での点Ｐ_１に新たに着目する。この点Ｐ_１は撮影画像Ｏ上において座標（ｘ^１ _Ｉｍ，ｙ^１ _Ｉｍ）に位置し、この基準点Ｐ_１に対応する撮影対象表面上の点Ｑ_１は座標（ｘ^０ _Ｒｅ＋Δｘ_Ｒｅ，ｙ^０ _Ｒｅ）に位置している。

そして、この新たな着目点Ｐ_１に対応する撮影画像Ｘ上の点Ｐ’_１をＤＩＣＭにより探索し、その座標（ｘ^２ _Ｉｍ，ｙ^２ _Ｉｍ）を特定する。

この座標（ｘ^２ _Ｉｍ，ｙ^２ _Ｉｍ）は、撮影画像Ｘ上では上記点Ｐ’_１の位置を示す一方、撮影画像Ｏ上では、撮影対象表面上において上記基準点からｘ方向に２Δｘ_Ｒｅの距離にある点Ｑ_２に対応する点Ｐ_２の位置を示すことになる。

以上の処理を繰り返すことにより、撮影対象表面上においてｘ方向にΔｘ_Ｒｅの間隔で並ぶ点列Ｑ_０，Ｑ_１，Ｑ_２，…に関し、各点に対応する撮影画像Ｏ上における点列Ｐ_０，Ｐ_１，Ｐ_２，…それぞれの座標（ｘ^０ _Ｉｍ，ｙ^０ _Ｉｍ），（ｘ^１ _Ｉｍ，ｙ^１ _Ｉｍ），（ｘ^２ _Ｉｍ，ｙ^２ _Ｉｍ），…を求めることができる。

この処理を概念的に示すと、図４（ａ）から図４（ｃ）のようになる。

さらに、上記基準となる撮影画像Ｏに対して、変位量Δｙ_Ｒｅのｙ方向への変位を与えた後の撮影画像Ｙを撮影し、上記各点Ｐ_０，Ｐ_１，Ｐ_２，…をそれぞれ基準点として上記撮影画像Ｘの場合と同じ処理を繰り返すことにより、撮影対象表面上においてｘ，ｙ方向にそれぞれΔｘ_Ｒｅ，Δｙ_Ｒｅの間隔で並ぶ格子状点群に関し、各点に対応する撮影画像Ｏ上における座標を求めることができる。

これらを用いることにより、上記格子点群の各点に関し、式（５）における（ｘ_Ｒｅ，ｙ_Ｒｅ）と、修正項ｘ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ），ｙ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ）とを算出することができる。

このようにして得られた離散的なデータに対して補間及び内挿を行うことにより、撮影画像Ｏの全画素に関して平滑化された２次元的な修正項ｘ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ），ｙ_ｄｉｓ（ｘ_Ｉｍ，ｙ_Ｉｍ）の分布（較正関数）を得ることができる。

上記補間及び内挿には、周知の手法を用いればよいが、例えば移動最小二乗法（Moving Least Square Method：ＭＬＳＭ）を好適に用いることができる。

以上のように、本実施形態の変位較正は、撮影対象を撮影することにより第１撮影画像（撮影画像Ｏ）を生成する第１撮影ステップと、撮影対象に対して既知の変位（Δｘ_Ｒｅ，Δｙ_Ｒｅ）を与える変位ステップと、変位後の撮影対象を撮影することにより第２撮影画像（撮影画像Ｘ，Ｙ）を生成する第２撮影ステップと、第１撮影画像上の着目点Ｐ_ｎに対応する第２撮影画像上の対応点Ｐ’_ｎ＋１を特定し、その対応点Ｐ’_ｎ＋１の第２撮影画像上での座標（ｘ^ｎ＋１ _Ｉｍ，ｙ^ｎ＋１ _Ｉｍ）を取得する対応座標取得ステップとを含む。

そして、上記対応座標取得ステップにより取得した座標（ｘ^ｎ＋１ _Ｉｍ，ｙ^ｎ＋１ _Ｉｍ）を有する第１撮影画像における点Ｐ_ｎ＋１を新たに着目点として上記対応座標取得ステップを繰り返し、この繰り返しにより取得した座標群（ｘ^ｎ _Ｉｍ，ｙ^ｎ _Ｉｍ），（ｘ^ｎ＋１ _Ｉｍ，ｙ^ｎ＋１ _Ｉｍ），（ｘ^ｎ＋２ _Ｉｍ，ｙ^ｎ＋２ _Ｉｍ），…と、上記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出する。

上記変位較正では、撮影対象に対して既知の変位を与える前後において当該撮影対象を撮影し、それぞれ第１及び第２撮影画像を生成する。そして、第１撮影画像上のある点を初期の着目点とし、この着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する。そして、取得した座標を有する第１撮影画像における点を新たに着目点として上記座標取得の処理を繰り返す。

このようにして取得された座標群は、撮影対象表面において上記既知の変位の方向に、この変位量に相当する間隔をあけて並ぶ点群に対応する撮影画像上の座標となる。

したがって、上記座標群と上記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出することができる。

上記変位較正では、多数の撮影画像を必要とせず、既知の変位を与える前後の撮影画像さえあればよいので、較正処理の簡略化を図ることができる。

従来のステージを用いたデジタル画像の誤差の修正には、多数の画像の撮影が必要であったが、本手法ではわずか数枚の画像の撮影から誤差較正を行うことが可能となり、誤差較正のための手間を大幅に軽減することができる。

また、この手法を使用することにより、レンズの収差や測定対象の傾きによって生ずる誤差を簡単に較正することができるため、デジタル画像を用いた変位や距離などのさまざまな測定に対して、精度の向上をもたらすことができる。

さらに、比較的収差の大きな光学系を用いて撮影されたデジタル画像に対しても、誤差の修正を行うことで、さまざまな測定に供することができるため、デジタル画像を用いた測定器機のコストダウンが行える。

（本実施形態における変位較正の検証）
実際に、ピエゾステージ２０による平行移動前後における変位計測を行い、得られた変位を上述した変位較正処理によって求めた較正関数を用いて較正した。ピエゾステージ２０の変位量は（Δｘ_Ｒｅ，Δｙ_Ｒｅ）＝（−２０μｍ，２０μｍ）であり、計測領域は１４００画素×１４００画素とした。

較正前後の変位の分布を図５に示す。変位較正処理によりゆがみによる影響が排除され、理想的な計測精度である分解能±０．０２画素に収まる結果となった。

本発明は、例えば、電子部品実装用の積層基板や半導体チップ内蔵基板などの熱変形によるひずみの分布の計測に適用できる。

本発明の実施の一形態に係る変位計測システムの構成を示すブロック図である。 撮影画像のゆがみを説明するための図である。 撮影対象と撮影画像との関係を説明するための図である。 （ａ）から（ｃ）は、図１の変位計測システムにおける変位較正の概念を説明するための図である。 図１の変位計測システムによる計測結果を示す図である。

符号の説明

１ 変位計測システム
１０ 撮影部
１１ ズームレンズ（撮影手段）
１２ ＣＭＯＳカメラ（撮影手段）
２０ ピエゾステージ（移動手段）
３０ データ処理部
３０ａ 画像記憶部（記憶手段）
３０ｂ ＤＩＣＭ処理部（対応座標取得手段）
３０ｃ 変位較正処理部（較正手段）
３０ｄ 変位算出処理部（変位算出手段）
３０ｅ 出力処理部
３０ｆ カメラ制御部
３０ｇ ステージ制御部
４０ 表示部

Claims (8)

1. 撮影画像におけるゆがみの較正方法において、
   撮影対象を撮影することにより第１撮影画像を生成する第１撮影ステップと、
   撮影対象に対して既知の変位を与える変位ステップと、
   変位後の撮影対象を撮影することにより第２撮影画像を生成する第２撮影ステップと、
   第１撮影画像上の着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する対応座標取得ステップとを含み、
   前記対応座標取得ステップにより取得した座標を有する第１撮影画像における点を新たに着目点として前記対応座標取得ステップを繰り返し、この繰り返しにより取得した座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出することを特徴とする撮影画像におけるゆがみ較正方法。
2. 前記変位ステップにおいて、互いに異なる２方向への既知の変位を与え、
   前記第２撮影ステップにおいて、前記２方向への各変位後の撮影対象を撮影することにより２種類の第２撮影画像を生成し、
   前記２種類の第２撮影画像に基づいて２次元の前記座標群を取得し、取得した２次元の座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値の２次元分布を算出することを特徴とする請求項１記載のゆがみ較正方法。
3. 撮影画像を用いた変位計測方法において、
   計測対象を変位前後においてそれぞれ撮影する撮影ステップと、
   請求項１記載のゆがみ較正方法によって得られた較正値を用いて、各撮影画像に対してゆがみ較正を行うゆがみ較正ステップと、
   較正後の各撮影画像における対応点探索を行う対応点探索ステップと、
   対応点同士の座標に基づいて変位を算出する変位算出ステップとを含むことを特徴とする変位計測方法。
4. 撮影画像におけるゆがみの較正装置において、
   撮影対象を、既知の変位を与える前後においてそれぞれ撮影することにより生成された第１及び第２撮影画像を記憶する記憶手段と、
   第１撮影画像上の着目点に対応する第２撮影画像上の対応点を特定し、その対応点の第２撮影画像上での座標を取得する対応座標取得手段と、
   前記対応座標取得手段により取得した座標を有する第１撮影画像における点を新たに着目点として前記対応座標取得手段による座標の取得を繰り返させ、この繰り返しにより取得した座標群と前記変位量とに基づいて、撮影画像上の座標に応じた較正値を算出する較正手段とを備えることを特徴とする撮影画像におけるゆがみ較正装置。
5. 撮影画像を用いた変位計測装置において、
   請求項４記載のゆがみ較正装置を備え、
   前記記憶手段により、撮影対象を変位前後においてそれぞれ撮影することにより生成され、前記較正値によって較正された各撮影画像を記憶し、
   前記対応座標取得手段により、較正後の各撮影画像における対応点探索を行うとともに、
   対応点同士の座標に基づいて変位を算出する変位算出手段をさらに備えることを特徴とする変位計測装置。
6. 請求項５記載の変位計測装置と、
   撮影対象を撮影する撮影手段と、
   撮影対象に対して既知の変位を与える移動手段とを備えることを特徴とする変位計測システム。
7. 請求項４記載のゆがみ較正装置としてコンピュータを動作させるゆがみ較正プログラムであって、コンピュータを前記各手段として機能させるゆがみ較正プログラム。
8. 請求項７記載のゆがみ較正プログラムを記録したコンピュータ読取り可能な記録媒体。