JP2012168137A - 画像測定装置 - Google Patents

Abstract

【課題】高精度なオートフォーカス処理が可能な画像測定装置を安価に提供する。
【解決手段】画像測定装置は、ワークを撮像するローリングシャッター式の撮像装置と、撮像装置の合焦位置を制御して合焦位置を合焦軸方向の位置情報として出力する位置制御システムと、撮像装置から取得した画像情報から画像情報のコントラスト情報を算出する演算処理装置とを備え、演算処理装置は、取得した画像を複数の領域に分割し、各領域の、画像内における位置とコントラスト情報とに基づいて画像情報のコントラスト情報を補正する。
【選択図】図８

Description

本発明は、測定対象を撮像する事によって測定対象を測定する画像測定装置に関する。

オートフォーカス機能を備えた画像測定装置では、カメラ等の撮像装置又はその光学系を光軸方向に移動させながら順次測定対象の画像を取得し、コントラストから光軸方向の合焦位置を算出する（特許文献１）。

特開２００９−１６８６０７号公報

従来、一般にこの様な画像測定装置にはグローバルシャッター式の撮像装置が搭載されていた。グローバルシャッター式の撮像装置は全ての受光素子において同時に露光を行うため、上記のコントラスト式のオートフォーカスに適している。

一方、グローバルシャッター方式の撮像装置とは異なる方式として、ローリングシャッター式の撮像装置が知られている。ローリングシャッター式の撮像装置は、グローバルシャッター式の撮像装置と比較して安価である。しかしながら、ローリングシャッター式の撮像装置を上記のコントラスト式のオートフォーカスに利用するにあたり、次のような問題があった。

即ち、ローリングシャッター式の画像測定装置は、行列状に配列されて構成された受光素子の、１列ごと又は１画素毎に順次撮像を行う。従って、ローリングシャッター式の撮像装置を光軸方向に移動させながら撮像を行った場合、取得した画素の位置によって撮像装置の位置が異なる事となる。

受光タイミングの中心における撮像装置の位置を基準位置としていた場合、行列状に配列された受光素子のうち、中心に位置するものの受光と同時に、撮像装置の位置情報が撮像位置として取得される。従って、撮像開始直後に撮像を行った部分は基準位置より前で撮像されることになり、同様に撮像終了直前に撮像を行った部分は基準位置より後で撮像されることになる。従って、撮像範囲中で最もコントラストが大きく変化する部分が撮像範囲の中心位置から離れていた場合、取得された画像から算出したコントラストと取得された撮像位置との間に誤差が生じることとなる。

本発明は、このような点に鑑みなされたもので、高精度なオートフォーカス処理が可能な画像測定装置を安価に提供することを目的としている。

本発明に係る画像測定装置は、ワークを撮像するローリングシャッター式の撮像装置と、撮像装置の合焦位置を制御して合焦位置を合焦軸方向の位置情報として出力する位置制御システムと、撮像装置から取得した画像情報から画像情報のコントラスト情報を算出する演算処理装置とを備え、演算処理装置は、取得した画像を複数の領域に分割し、各領域の、画像内における位置とコントラスト情報とに基づいて画像情報のコントラスト情報を補正する。

本発明の一実施形態に係る画像測定装置において、演算処理装置は、連続して撮像した前後の画像情報における各領域のコントラスト情報及び撮像タイミングから、その領域のコントラスト情報を補正する。

又、本発明の一実施形態に係る画像測定装置において、演算処理装置は、前後の画像情報の対応する領域についてのコントラスト情報をそれぞれ算出し、コントラスト情報にそれぞれの撮像タイミングに応じた重みを乗じて足し合わせる

本発明によれば、高精度なオートフォーカス処理が可能な画像測定装置を安価に提供することが可能になる。

本発明の第１実施形態に係る画像測定装置の全体図である。 同装置の構成を示すブロック図である。 同装置の一部の構成を表すブロック図である。 同装置におけるオートフォーカスの方法を示す図である。 グローバルシャッター式の撮像装置における撮像タイミングを示すタイミングチャートである。 ローリングシャッター式の撮像装置における撮像タイミングの一例を示すタイミングチャートである。 オートフォーカス動作中に撮像装置によって撮像される画像の例である。 本発明の第１実施形態に係る画像測定装置におけるコントラストの補正方法を説明する為の図である。

［第１実施形態］
次に、本発明の第１実施形態に係る画像測定装置の構成について図面を参照して詳細に説明する。

図１は、本実施形態に係る画像測定装置の全体図である。画像測定装置は、ワーク３を撮像する撮像装置としてカメラ１４１が搭載された画像測定機１と、この画像測定機１と電気的に接続されたコンピュータ（以下、「ＰＣ」と呼ぶ。）２とを備えている。

画像測定機１は、次のように構成されている。即ち、試料移動手段１１の上には、試料台１２がその上面をベース面として水平面と一致するように載置され、試料移動手段１１の両側端から立設されたアーム支持体１３ａ，１３ｂの上端でＸ軸ガイド１３ｃを支持している。試料台１２は、試料移動手段１１によってＹ軸方向に駆動される。Ｘ軸ガイド１３ｃには、撮像ユニット１４がＸ軸方向に駆動可能に支持されている。撮像ユニット１４の下端には、ローリングシャッター式のＣＭＯＳカメラ１４１が装着されている。

尚、本実施形態においては試料台１２上に配置されたワーク３を撮像する形式をとっているが、当然他の形式でも良く、例えば床に設置されたワークを横方向から撮像する様な形式でも良い。

図２は、本施形態に係る画像測定装置のブロック図である。本実施形態において、画像測定装置は、例えば画像測定機１の内部にコントローラ１５を備えており、コントローラ１５は位置制御システム１５１及び照明制御装置１５２を備えている。また、撮像ユニット１４はワーク３に光を照射する照明装置１４２を備えている。ＰＣ２は位置制御システム１５１を介してカメラ１４１の焦点位置を制御する。また、ＰＣ２はカメラ１４１にフレームレートを指定する信号を、照明制御装置１５２に照明装置１４２の光量を指定する信号を送信する。カメラ１４１は照明装置１４２から光を照射されたワーク３を、指定されたフレームレートで撮像し、画像情報をＰＣ２に送信する。この際、位置制御システム１５１からはカメラ１４１の位置情報が送信される。尚、照明装置１４２としては種々の照明が使用可能であり、例えばＰＷＭ制御のＬＥＤ等も使用可能である。

次に、本実施形態に係る画像測定装置における撮像ユニット１４の構成について説明する。図３は、本実施形態に係る画像測定装置の一部の構成を示すブロック図である。本実施形態において、撮像ユニット１４は、カメラ１４１と、カメラ１４１のＺ座標を検出し、出力するリニアエンコーダ１４３と、カメラ１４１をＺ軸方向に駆動するカメラ駆動機構１４４と、カメラ駆動機構１４４を駆動するＺ軸モータ１４５とを備えている。Ｚ軸モータ１４５は、画像測定機１に備えられたパワーユニット１６を介して位置制御システム１５１により制御される。又、リニアエンコーダ１４３は、スケールまたは検出ヘッドがカメラ１４１と連動してＺ軸方向に移動する様に取り付けられている。位置制御システム１５１はラッチカウンタ及びＺ値ラッチバッファを備えており、トリガ信号に応じてリニアエンコーダ１４３からカメラ１４１のＺ座標情報を取得し、Ｚ値ラッチバッファに保持する。カメラ１４１は、ＵＳＢケーブルを介してＰＣ２と、専用ＤＩＯ（デジタル入出力）を介して位置制御システム１５１とそれぞれ接続されている。

位置制御システム１５１はパワーユニット１６に対してＺ軸駆動命令を出力する。パワーユニット１６はＺ軸モータ１４５に駆動電力を供給し、Ｚ軸モータ１４５は、カメラ駆動機構１４４によってカメラ１４１を駆動する。カメラ１４１は任意のフレームレートで撮像を行い、ＵＳＢケーブルを介してＰＣ２に画像情報を送信する。この際、カメラ１４１から位置制御システム１５１へトリガ信号として垂直同期信号が出力される様にしても良い。この場合、位置制御システム１５１は垂直同期信号を受信し、これに応じてリニアエンコーダ１４３からカメラ１４１のＺ座標を取得する。取得されたＺ座標はＺ値ラッチバッファに保持され、ラッチカウンタが更新される。保持されたＺ値は読み出し命令に応じてＰＣ２に送信される。尚、本実施形態においてはカメラ１４１をＺ軸方向に駆動しているが、カメラ１４１に設けられたレンズ等の光学系を調整する事によっても同様の動作が可能である。また、本実施形態においては、デジタルシリアル通信手段としてＵＳＢインターフェイスを使用しているが、Ｇｉｇ−Ｅ、ＦｉｒｅＷｉｒｅ等他の手段を用いることも当然可能である。又、デジタルシリアル通信手段でなく、アナログ通信手段（ＮＴＳＣ出力、コンポジット出力）を用いることも可能である。アナログ通信手段を用いる場合には、ＰＣ２側は、フレームグラバを介して画像を取得する。

次に、本実施形態に係る画像測定装置のオートフォーカスの方法について説明する。図４は、本実施形態に係る画像測定装置のオートフォーカスの方法を説明する為の図であり、横軸はカメラ１４１のＺ座標を、縦軸はコントラストをそれぞれ表している。

本実施形態に係る画像測定装置のオートフォーカスにおいては、複数のＺ座標において撮像を行い、それぞれの座標位置における画像からコントラストを算出し、算出された複数のコントラストによって図４の実線で示すコントラストカーブを求め、このコントラストカーブのピーク位置を合焦位置と判断する。図４の例においては、７か所のＺ座標（Ｚ１〜Ｚ７）において撮像を行っており、それぞれのＺ座標におけるコントラスト（Ｐ１〜Ｐ７）が計算されている。

従来、このようなコントラスト式のオートフォーカスにおいて画像を取得する際には、グローバルシャッター式のＣＣＤカメラが使用されてきた。図５は、グローバルシャッター式の撮像装置における撮像タイミングを示すタイミングチャートである。

図５の上段はＣＣＤカメラの撮像素子の露光タイミングを、下段は画像情報及び垂直同期信号の出力タイミングを示している。図に示す通り、グローバルシャッター方式のＣＣＤカメラにおいては全ての撮像素子を同時に露光しており、その後、順次画像を転送する。

これに対し、ローリングシャッター式のＣＭＯＳカメラは画素列毎に撮像タイミングが異なる。図６は、ローリングシャッター式のＣＭＯＳカメラにおける撮像タイミングの一例を示すタイミングチャートである。

図６は図５と同様に、上段にＣＭＯＳカメラの撮像タイミングを、下段に画像情報及び垂直同期信号の出力タイミングを示している。今、説明のためにＣＭＯＳカメラの画素数をｘ個×ｙ個とし、左上の画素を（１，１）、右下の画素を（ｘ，ｙ）とする。

ローリングシャッター方式のＣＭＯＳカメラにおいて撮像が開始されると、画素（１，１）、（２，１）、（３，１）…の様に、１行目に配置された受光素子を順次露光し、その後、２列目以降に配置されている受光素子についても順番に露光を行う。又、撮像素子による各画素の画像情報は、各画素の受光終了と同時に、画素毎に出力される。

オートフォーカス動作時には、カメラ１４１でワーク３を撮像しながらカメラ１４１を移動させる。この時の、１フレーム分の撮像を開始する際のカメラ１４１のＺ軸方向位置をＺ１、中間のＺ軸方向位置をＺ２、撮像終了のＺ軸方向位置をＺ３とする。この場合、画素（１，１）を撮像する時のカメラ１４１の位置はＺ１、撮像範囲の中心位置の画素を撮像する時のカメラ１４１の位置はＺ２、画素（ｘ，ｙ）を撮像する時のカメラ１４１の位置はＺ３となる。

位置制御システム１５１がラッチするカメラ１４１のＺ軸方向位置（以下、「基準位置」という）をＺ２とすると、Ｚ値ラッチバッファにはＺ２が保持され、ＰＣ２に転送される。従って、ＰＣ２においては画素（０，０）から画素（ｘ，ｙ）までの画像データは、全てカメラ１４１の位置がＺ２である時に撮像されたものであると認識される。従って、実際にそれぞれの画素が取得された時点でのカメラ１４１の位置と、ＰＣ２によって認識されるカメラ１４１の位置との間には誤差が生じる。この場合、画素（１，１）を撮像した時の誤差はＺ２−Ｚ１、画素（ｘ，ｙ）を撮像した時の誤差はＺ３−Ｚ２となり、共に最大の値となる。

図７は、オートフォーカス動作中にカメラ１４１によって撮像される画像の例である。図７の（ａ）は撮像範囲の全体像であり、図７の（ｂ）及び（ｃ）は、オートフォーカス処理に用いる画像範囲を規定する図７（ａ）に示すツールＴ内の拡大画像である。今、ツールＴ内にコントラストの最も大きく変化する領域Ｄが存在し、領域Ｄを撮像する時のカメラ１４１の位置がＺｄであるものとする。

ＰＣ２は、転送されたツールＴ内の画像からコントラスト値Ｃを算出する。コントラスト値Ｃは、一般的には、次のように求めることが知られている（例えば特開平１１−２８３０３５号）。

ここで、ｇ（ｘ，ｙ）は、ＸＹ座標平面状の（ｘ，ｙ）に位置する画素の輝度である。ツールＴ内のｍ×ｎ画素について計算を行う。

この場合、図７（ｂ）のように、領域ＤがツールＴの中心位置よりも上（Ｙ軸方向）にずれている場合、最大コントラストが得られるのは、カメラ１４１がＺ２に到達する前の領域Ｄを撮像しているタイミングＺｄが合焦位置である場合である。一方、図７（ｃ）に示すように、領域ＤがツールＴの中心位置よりも下（Ｙ軸方向）にずれている場合、最大コントラストが得られるのは、カメラ１４１がＺ２に到達した後の領域Ｄを撮像しているタイミングＺｄが合焦位置である場合である。したがって、いずれの場合も、画像中心の撮像タイミングであるＺ２が合焦位置であるとしても最大のコントラストは得られないことになる。このように、コントラストに最も多く寄与する領域Ｄが画像中心からずれている場合、図４に示すコントラストカーブ自体が左右にずれてしまうため、正確な合焦位置が求められない。

そこで、この実施形態では、行毎に、その撮像タイミングを考慮してコントラスト値Ｃ＋を求め、求めたコントラスト値の加算平均を取ってフレームのコントラスト値Ｃを求めるようにしている。

図８は、このコントラスト値算出処理を説明するための図である。図中▽で示すタイミングＴ_ｚｐｒｅ，Ｔ_ｚｃｕｒ，Ｔ_{ｚｎｅｘｔ}が各フレームの基準位置である。この例では、基準位置が先頭の行の撮像タイミングに合致している。なお、各行の各画素の撮像タイミングは異なっているが、処理の簡便化を図るため、各行の撮像タイミングは各行の中心位置としている。各行の撮像タイミングは、今のフレームの基準位置の撮像タイミングＴ_ｚｃｕｒから時間ｔ_ｃｕｒだけ遅れ、次のフレームの基準位置の撮像タイミングＴ_{ｚｎｅｘｔ}に対して時間ｔ_ｎｅｘｔだけ進んでいる。従って、今のフレームの各行のコントラストをΔＣ_ｃｕｒ、次のフレームの各行のコントラストをΔＣ_ｎｅｘｔとすると、これらの撮像タイミングを考慮して比例配分により修正された今のフレームの各行のコントラスト値Ｃ＋は、次式のように算出することができる。

ここで、ｋは、ｔ_ｎｅｘｔ／（ｔ_ｃｕｒ＋ｔ_ｎｅｘｔ）であり、Ｙ座標値を用いて算出することができる。このように各行のコントラスト値Ｃ＋を求めることにより、今のフレームの基準位置に対して、前のフレームの撮像タイミングと今のフレームの撮像タイミングといずれが近いかに基づいてコントラスト値を修正することができる。そして、求められた各行のコントラスト値Ｃ＋から各フレームのコントラスト値Ｃを次のように算出する。

なお、以上の実施形態では、コントラスト値Ｃ＋を行毎に求めたが、画素毎に求めても良い。また、図８の領域Ｒで示したように、数行毎にコントラスト値Ｃ＋を求めても良い。画素毎に求めれば、精度は向上し、それよりも広い領域Ｒ毎に求めれば、演算処理の負担が軽減される。更に、基準位置は、フレームの最初ではなく、中間又は最後に設定することもできる。

この様な方法によれば、カメラ１４１に、比較的安価なローリングシャッター方式のＣＭＯＳカメラを用いた際にも精度良くオートフォーカスを行うことが可能となる。

１…画像測定機、２…コンピュータ（ＰＣ）、３…ワーク、１１…試料移動手段、１２…試料台、１３ａ、ｂ…アーム支持体、１３ｃ…Ｘ軸ガイド、１４…撮像ユニット、１５…コントローラ、１６…パワーユニット、１４１…カメラ、１４２…照明装置、１４３…リニアエンコーダ、１４４…カメラ駆動機構、１４５…Ｚ軸モータ、１５１…位置制御システム、１５２…照明制御装置、１５３…フレームレート検出器、１５４…標準フレームレート保持部。

Claims (3)

1. ワークを撮像するローリングシャッター式の撮像装置と、
   前記撮像装置の合焦位置を制御して前記合焦位置を合焦軸方向の位置情報として出力する位置制御システムと、
   前記撮像装置から取得した画像情報から前記画像情報のコントラスト情報を算出する演算処理装置と
   を備え、
   前記演算処理装置は、
   取得した画像を複数の領域に分割し、
   前記各領域の、画像内における位置とコントラスト情報とに基づいて前記画像情報のコントラスト情報を補正する
   ことを特徴とする画像測定装置。
2. 前記演算処理装置は、連続して撮像した前後の前記画像情報における前記各領域のコントラスト情報及び撮像タイミングから、その領域のコントラスト情報を補正する
   ことを特徴とする請求項１記載の画像測定装置。
3. 前記演算処理装置は、前記前後の画像情報の対応する領域のコントラスト情報をそれぞれ算出し、前記コントラスト情報にそれぞれの撮像タイミングに応じた重みを乗じて足し合わせる
   ことを特徴とする請求項２記載の画像測定装置。