JP2008233389A - 焦点判定方法、焦点判定装置、および焦点判定プログラム - Google Patents

Abstract

【課題】 判定バラツキの少ない焦点判定技術を提供する
【解決手段】 本発明の焦点判定方法は、次のステップを備える。(1)撮像ステップ…空間周波数の異なる少なくとも２種類のパターンを光学装置で撮影し、画像データを取得する。(2)コントラスト算出ステップ…画像データを処理して、低周波側のパターンの信号振幅から低周波コントラストを求め、高周波側のパターンの信号振幅から高周波コントラストを求める。(3)差異算出ステップ…低周波コントラストと高周波コントラストとの差異を求める。(4)焦点判定ステップ…差異が、極値を取るか否か、または極値の公差範囲に入るか否かを判定する。
【選択図】 図３

Description

本発明は、焦点判定方法、焦点判定装置、および焦点判定プログラムに関する。

一対の撮影レンズで被写体を撮影し、その一対の画像データの視差から被写体の三次元形状を計測するステレオカメラが知られている（例えば特許文献１など）。
特開２００４−１３２８７０公報

上述したステレオカメラでは、広範囲の三次元形状を一度に計測するなどの目的から、広角レンズまたは魚眼レンズがよく使用される。この場合、被写界深度が深い上に、調整環境などの変動影響を受けやすく調整バラツキが生じやすいという問題点がある。
そこで、本発明では、判定バラツキの少ない焦点判定技術を提供することを目的とする。

《１》 本発明の焦点判定方法は、光学装置の焦点判定を行う方法であって、下記ステップを備える。
(1)撮像ステップ…空間周波数の異なる少なくとも２種類のパターンを光学装置で撮影し、画像データを取得する。
(2)コントラスト算出ステップ…画像データを処理して、低周波側のパターンの信号振幅から低周波コントラストを求め、高周波側のパターンの信号振幅から高周波コントラストを求める。
(3)差異算出ステップ…低周波コントラストと高周波コントラストとの差異を求める。
(4)焦点判定ステップ…差異が、極値を取るか否か、または極値の公差範囲に入るか否かを判定する。
《２》 なお好ましくは、焦点判定ステップでは、差異が、極値を取るように、またはその極値の公差範囲に入るように、光学装置を焦点調整する。
《３》 また好ましくは、光学装置は、少なくとも２つのレンズを所定の基線長だけ離したステレオカメラである。焦点判定ステップでは、レンズごとの差異が、予め定められた許容差内に収まるように、個々のレンズの焦点調整位置を決定する。
《４》 なお好ましくは、差異算出ステップでは、差異として、（高周波コントラスト）／（低周波コントラスト）に関する比率を算出する。
《５》 また好ましくは、焦点判定ステップでは、差異が公差範囲に入った位置から、極値の方向へ予め定められた間隔だけずらして焦点調整位置を決定する。
《６》 なお好ましくは、焦点調整位置の決定を複数回実施し、複数の焦点調整位置のバラツキ中心にレンズを焦点調整する。
《７》〜《１２》 上述した焦点判定方法を、焦点判定装置を用いて機械的に実施してもよい。
《１３》 本発明の焦点判定プログラムは、コンピュータを上述した焦点判定装置として機能させるためのプログラムである。

本発明では、空間周波数の異なる少なくとも２種類のパターンを撮影して、低周波コントラストと高周波コントラストとを求める。この低周波コントラストと高周波コントラストとの差異が極値またはその公差範囲内か否かによって、光学装置の焦点判定が可能になる。
この場合、低周波コントラストと高周波コントラストとの差異をとるので、２種類のコントラストに含まれる調整環境などの変動要因を相殺できる。その結果、この変動要因による判定バラツキを抑えることが可能になる。

図１は、ステレオカメラ１１の焦点調整システムを示す図である。
この焦点調整システムは、ステレオカメラ１１、焦点判定装置１２、およびテストチャート１３から概略構成される。

（ステレオカメラ１１の構成）
このステレオカメラ１１には、少なくとも２つの撮影レンズ２１Ｒ，２１Ｌが、所定の基線長だけ離して配置される。これら撮影レンズ２１Ｒ，２１Ｌは、画角範囲の少なくとも一部が重複するように配置される。
この撮影レンズ２１Ｒの像空間には、撮像素子２２Ｒの撮像面が配置される。撮像素子２２Ｒで撮影された画像データＲは、Ａ／Ｄ変換部２３Ｒおよび信号処理部２４Ｒを介して、画像メモリ２５Ｒに一時蓄積される。なお、撮影レンズ２１Ｒには、焦点調整位置を調整するための焦点調整機構２６Ｒが設けられる。

同様にして、撮影レンズ２１Ｌの像空間には、撮像素子２２Ｌの撮像面が配置される。撮像素子２２Ｌで撮影された画像データＬは、ＡＤ変換部２３Ｌおよび信号処理部２４Ｌを介して、画像メモリ２５Ｌに一時蓄積される。なお、撮影レンズ２１Ｌには、焦点調整位置を調整するための焦点調整機構２６Ｌが設けられる。
ステレオカメラ１１の通常使用では、画像メモリ２５Ｒ，２５Ｌ内の画像データＲ，Ｌは、ステレオカメラ１１内において視差検出の演算処理に使用される。

（焦点判定装置１２の構成）
焦点判定装置１２内の画像取得部３１は、ステレオカメラ１１に対して撮像指示を送り、撮像結果である画像データＲ，Ｌを読み込む。読み込まれた画像データＲ，Ｌは、コントラスト算出部３２、および差異算出部３３において処理される。差異算出部３３の処理結果に基づいて、焦点判定部３４は、ステレオカメラ１１の焦点判定を行う。さらに、焦点判定部３４は、焦点調整機構２６Ｒ，２６Ｌを介して、ステレオカメラ１１の焦点調整も行う。
なお、コンピュータおよび焦点判定プログラム（後述する図３や図４の手順をプログラムコード化したもの）を用いて、焦点判定装置１２をソフトウェア的に実現してもよい。

（テストチャート１３の一例）
図２は、テストチャート１３の一例を示す図である。
このテストチャート１３には、空間周波数の異なる少なくとも２種類のパターン（ここではストライプパターン）が印刷される。この内、低周波側のパターンは、撮像素子２２Ｒ，２２Ｌの撮像面に、例えば１０本／ｍｍの像パターンを投影する。一方、高周波側のパターンは、撮像素子２２Ｒ，２２Ｌの撮像面に、例えば５０本／ｍｍの像パターンを投影する。

（調整手順の説明）
図３および図４は、本実施形態の調整手順を示す流れ図である。以下、ステップ番号の順に沿って、この調整手順を説明する。

ステップＳ１： ステレオカメラ１１の前方にテストチャート１３を設置する。テストチャート１３とステレオカメラ１１との設置間隔については、ステレオカメラ１１の使用用途に合わせて設定することが好ましい。例えば、比較的に近距離の監視対象について視差検出を行うケースでは、４５０ｍｍ程度の設置間隔に設定される。

ステップＳ２： 画像取得部３１は、右側の撮影レンズ２１Ｒを介してテストチャート１３を撮影し、ステレオカメラ１１から画像データＲを取り込む。

ステップＳ３： 画像取得部３１は、画像データＲから、欠陥画素による異常値を除去する。

ステップＳ４： 画像取得部３１は、パターンのストライプ方向に沿って、画像データＲに移動平均を施す。この処理により、ストライプパターンの空間周波数は低減せず、ストライプパターンのライン方向にランダムに生じるノイズのみを抑圧することができる。

ステップＳ５： コントラスト算出部３２は、図２［Ｂ］［Ｃ］に示すように、画像データＲから低周波パターンの信号振幅を求めて、低周波コントラストＣＬとする。

ステップＳ６： コントラスト算出部３２は、低周波コントラストＣＬが、閾値ＴＨ１以上か否かを判定する。この閾値ＴＨ１は、明らかな非合焦状態か否かを、低周波コントラストから迅速に判別するための閾値であり、予め実験的に設定される。
ここで、低周波コントラストＣＬが閾値ＴＨ１未満の場合、低周波パターンが不鮮明であって明らかに非合焦状態であると判定できる。この場合、コントラスト算出部３２は、高周波コントラストの算出処理などを省いて、ステップＳ１１に動作を移行する。
一方、低周波コントラストＣＬが閾値ＴＨ１以上の場合、ステップＳ７に動作を移行する。

ステップＳ７： コントラスト算出部３２は、図２［Ｂ］［Ｃ］に示すように、画像データＲから高周波パターンの信号振幅を求めて、高周波コントラストＣＨとする。

ステップＳ８： コントラスト算出部３２は、高周波コントラストＣＨが、閾値ＴＨ２以上か否かを判定する。この閾値ＴＨ２は、明らかな非合焦状態か否かを、高周波コントラストから迅速に判別するための閾値であり、予め実験的に設定される。
ここで、高周波コントラストＣＨが閾値ＴＨ２未満の場合、高周波パターンが不鮮明であって明らかに非合焦状態であると判定できる。この場合、コントラスト算出部３２は、ステップＳ１１に動作を移行する。
一方、高周波コントラストＣＨが閾値ＴＨ２以上の場合、ステップＳ９に動作を移行する。

ステップＳ９： 差異算出部３３は、低周波コントラストＣＬと高周波コントラストＣＨとの差異を求める。
図５は、この差異と合焦状態との関係を概念的に示す図である。
図５に示すように、高周波コントラストＣＨは、合焦状態を外れることで急激に減少する。一方、低周波コントラストＣＬは、合焦状態を外れても急激には減少せず、少しずつ減少する。したがって、低周波コントラストＣＬと高周波コントラストＣＨとの差分値が極小値（または最小値）を取るようにレンズ位置を調整することで、合焦状態に導くことが可能になる。
なお、本実施形態の差異算出部３３は、差異として、下式の比率ＰＲを求める。
比率ＰＲ＝（高周波コントラストＣＨ）／（低周波コントラストＣＬ）
この場合は、比率ＰＲが極大値（または最大値）を取るようにレンズ位置を調整することで、合焦状態に導くことが可能になる。

ステップＳ１０： 被写界深度の浅い撮影レンズ２１Ｒでは、ステップＳ９で求めた差異が極値を取るように調整することで、最適な合焦状態を得ることができる。
しかしながら、広角レンズ、魚眼レンズ、Ｆ値の大きなレンズは、被写界深度が深いために、合焦点の近傍における差異の変化が小さくなる。そこで、本実施形態では、比率ＰＲについて公差を定める。ここでは、多数の調整対象について比率ＰＲの極大値を実験的に求め、その極大値の標準偏差に比例して公差（ＴＨ３以上や、ＴＨ４以下など）を予め定めることが好ましい。
焦点判定部３４は、この公差範囲に、ステップＳ９で求めた比率ＰＲが入るか否かを判定する。ここで、比率ＰＲが公差範囲から外れている場合、焦点判定部３４は非合焦状態と判定してステップＳ１１に動作を移行する。一方、比率ＰＲが公差範囲に入った場合、焦点判定部３４は合焦状態とみなしてステップＳ１２に動作を移行する。

ステップＳ１１： ここでは、撮影レンズ２１Ｒが非合焦状態にあると判定される。そのため、焦点判定部３４は、焦点調整機構２６Ｒを介して、撮影レンズ２１Ｒを所定の刻み幅だけフォーカス移動する。この動作の後、焦点判定部３４はステップＳ２に動作を戻し、焦点判定を再び繰り返す。

ステップＳ１２： ここでは、撮影レンズ２１Ｒは公差範囲が定める合焦状態に入ったと判定される。この公差範囲に入った箇所から、比率ＰＲのピーク方向へ焦点調整位置を微調整することによって、より最適な合焦位置を到達することができる。
図６は、この焦点調整位置の微調整を説明する図である。
まず、ピーク方向は、非公差範囲であった前回の焦点調整位置から、公差範囲に入った今回の焦点調整位置へ向かう光軸方向とする。
また、焦点調整位置の微調整の間隔は、比率ＰＲが公差範囲に入る焦点調整位置の幅Δを超えない間隔（例えばΔ／２）とする。

ステップＳ１３： ここまでの調整動作により、撮影レンズ２１Ｒについて１回分の焦点調整位置が決定される。本実施形態では、焦点調整機構２６Ｒのバックラッシュのバラツキなどを考慮して、Ｎ回分（Ｎ≧２）の焦点調整位置を決定する。
そこで、調整回数がＮ回に達するまで、焦点判定部３４はステップＳ１４に動作を移行する。
一方、調整回数がＮ回に達した場合、焦点判定部３４はステップＳ１５に動作を移行する。

ステップＳ１４： ここでは、調整回数がＮ回に満たない。そこで、焦点判定部３４は、焦点調整機構２６Ｒを介して、撮影レンズ２１Ｒを所定の初期位置までフォーカス移動する。この状態で、焦点判定部３４は、ステップＳ２に動作を戻す。

ステップＳ１５： ここでは、調整回数がＮ回に達している。焦点判定部３４は、記憶された過去Ｎ回分の焦点調整位置を母集団とし、そのバラツキ中心を求める。焦点判定部３４は、焦点調整機構２６Ｒを介して、撮影レンズ２１Ｒをそのバラツキ中心にフォーカス移動する。この動作により、撮影レンズ２１Ｒの仮調整が完了する。

ステップＳ１６： 焦点判定装置１２は、ステップＳ１〜Ｓ１５で説明した調整手順を、撮影レンズ２１Ｌに対しても実施する。

ステップＳ１７： 焦点判定部３４は、仮調整を完了した撮影レンズ２１Ｒについて比率ＰＲを検出する。焦点判定部３４は、仮調整を完了した撮影レンズ２１Ｌについて比率ＰＬを検出する。

ステップＳ１８： これらの比率ＰＲ、ＰＬは、図５に示す差異に対応する数値であり、レンズのＭＴＦ特性の傾向を簡易に示す数値である。したがって、比率ＰＲ、ＰＬの差が大きいということは、ステレオカメラ１１の左右のＭＴＦ特性が大きくずれていることを意味する。
そこで、焦点判定部３４は、比率ＰＲ、ＰＬが、許容差ＴＨ５の範囲内に収まるか否かを判定する。この許容差ＴＨ５は、ステレオカメラ１１の要求仕様などから予め決定することが好ましい。
ここで、比率ＰＲ、ＰＬが、許容差ＴＨ５の範囲内に収まる場合、ステレオカメラ１１のＭＴＦ特性の左右ずれは特に問題無しと判断し、調整動作を完了する。
一方、比率ＰＲ、ＰＬが、許容差ＴＨ５の範囲内に収まらない場合、ステレオカメラ１１のＭＴＦ特性の左右ずれは問題有りと判断し、ステップＳ１９に動作を移行する。

ステップＳ１９： 左右の撮影レンズ２１Ｒ，２１Ｌの内、比率ＰＲ、ＰＬの高い方のレンズに対し、焦点調整位置を微移動させる。この微移動によって比率ＰＲ、ＰＬを低い方に揃えることができる。その結果、ステレオカメラ１１の左右のＭＴＦ特性が揃う。
このような微移動の後、焦点判定部３４は、比率ＰＲ、ＰＬの再確認のために、ステップＳ１７に動作を戻す。

（本実施形態の効果など）
以上説明した調整手順により、ステレオカメラ１１の焦点判定および焦点調整が可能になる。特に、本実施形態では、低周波コントラストと高周波コントラストとの差異をとることで、２種類のコントラストに同相で含まれる変動要因を相殺することができる。そのため、この変動要因に起因する焦点判定のバラツキを抑えることが可能になる。

さらに、本実施形態では、ステレオカメラ１１の左右において、低周波コントラストと高周波コントラストとの差異を許容差の範囲内に収める。したがって、ステレオカメラ１１の左右のＭＴＦ特性を容易に揃えることができる。その結果、ステレオカメラ１１において左右の画像データの微細な絵柄パターンがよく一致するようになり、視差検出の精度を一段と高めることが可能になる。

また、本実施形態では、差異として、（高周波コントラスト）／（低周波コントラスト）に関する比率を採用する。この比率では、テストチャート１３の明るさ（照明量）の違いを相殺することも可能になる。そのため、テストチャート１３の照明環境が調整のたびに変動しても、安定した焦点判定結果を得ることが可能になる。

さらに、本実施形態では、差異が、合焦状態の公差範囲に入った位置から、更に合焦ピークの方向へ焦点調整位置を微調整する。その結果、より適正な合焦状態に調整することが可能になる。

また、本実施形態では、複数回にわたって焦点調整を実施し、そのバラツキ中心を撮影レンズ２１Ｒ、２１Ｌの焦点調整位置に決定する。したがって、焦点調整機構２６Ｒ，２６Ｌのバックラッシュなどの変動影響を排除して、より正確な焦点調整位置を決定することが可能になる。

（実施形態の補足など）
なお、上述した実施形態では、焦点判定装置１２が、焦点調整機構２６Ｒ，２６Ｌのフォーカス駆動も機械的に実施する。しかしながら、本発明はこれに限定されるものではない。例えば、焦点判定装置１２が焦点調整位置の適否を判定するだけでもよい。この場合、調整者が、焦点判定装置１２による焦点調整位置の適否判定を参照しながら、焦点調整機構２６Ｒ，２６Ｌのフォーカス駆動を手動などで実施することが可能になる（図１に示す点線矢印を参照）。

また、上述した実施形態では、説明を簡明するために、具体的な数値をあげて説明した。しかしながら、本発明はこれに限定されるものではない。これらの数値は調整対象の要求仕様などに応じて決定することが好ましい。

なお、上述した実施形態では、差異として、低域コントラストと高域コントラストとの比率を求めている。しかしながら、本発明はこれに限定されるものではない。例えば、低域コントラストと高域コントラストとの差分値を求めて差異としてもよい。

以上説明したように、本発明は、光学装置の焦点判定方法などに利用可能な技術である。

ステレオカメラ１１の焦点調整システムを示す図である。 テストチャート１３の一例を示す図である。 本実施形態の調整手順を示す流れ図（前半）である。 本実施形態の調整手順を示す流れ図（後半）である。 差異と合焦状態との関係を概念的に示す図である。 焦点調整位置の微調整を説明する図である。

符号の説明

１１…ステレオカメラ，１２…焦点判定装置，１３…テストチャート，２１Ｒ…撮影レンズ，２１Ｌ…撮影レンズ，２２Ｒ…撮像素子，２２Ｌ…撮像素子，２６Ｒ…焦点調整機構，２６Ｌ…焦点調整機構，３１…画像取得部，３２…コントラスト算出部，３３…差異算出部，３４…焦点判定部

Claims (13)

1. 光学装置の焦点判定方法であって、
   空間周波数の異なる少なくとも２種類のパターンを前記光学装置で撮影し、画像データを取得する撮像ステップと、
   前記画像データを処理して、低周波側の前記パターンの信号振幅から低周波コントラストを求め、高周波側の前記パターンの信号振幅から高周波コントラストを求めるコントラスト算出ステップと、
   前記低周波コントラストと前記高周波コントラストとの差異を求める差異算出ステップと、
   前記差異が、極値を取るか否か、または前記極値の公差範囲に入る否かを判定する焦点判定ステップと
   を備えたことを特徴とする焦点判定方法。
2. 請求項１に記載の焦点判定方法において、
   前記焦点判定ステップでは、前記差異が、極値を取るように、または前記極値の公差範囲に入るように、前記光学装置を焦点調整する
   ことを特徴とする焦点判定方法。
3. 請求項１または請求項２に記載の焦点判定方法において、
   前記光学装置は、少なくとも２つのレンズを所定の基線長だけ離したステレオカメラであって、
   前記焦点判定ステップでは、前記レンズごとの前記差異が、予め定められた許容差内に収まるように、個々の前記レンズの焦点調整位置を決定する
   ことを特徴とする焦点判定方法。
4. 請求項１ないし請求項３のいずれか１項に記載の焦点判定方法において、
   前記差異算出ステップでは、前記差異として、（前記高周波コントラスト）／（低周波コントラスト）に関する比率を算出する
   ことを特徴とする焦点判定方法。
5. 請求項１ないし請求項４のいずれか１項に記載の焦点判定方法において、
   前記焦点判定ステップでは、前記差異が前記公差範囲に入った位置から、前記極値の方向へ予め定められた間隔だけずらして焦点調整位置を決定する
   ことを特徴とする焦点判定方法。
6. 請求項１ないし請求項５のいずれか１項に記載の焦点判定方法において、
   前記焦点調整位置の決定を複数回実施し、複数の前記焦点調整位置のバラツキ中心に前記レンズを焦点調整する
   ことを特徴とする焦点判定方法。
7. 光学装置の焦点判定を行う焦点判定装置であって、
   空間周波数の異なる少なくとも２種類のパターンを前記光学装置で撮影して得た画像データを取得し、低周波側の前記パターンの信号振幅から低周波コントラストを求め、高周波側の前記パターンの信号振幅から高周波コントラストを求めるコントラスト算出部と、
   前記低周波コントラストと前記高周波コントラストとの差異を求める差異算出部と、
   前記差異が、極値を取るか否か、または前記極値の公差範囲に入る否かを判定する焦点判定部と
   を備えたことを特徴とする焦点判定装置。
8. 請求項７に記載の焦点判定方法において、
   前記焦点判定部は、前記差異が、極値を取るように、または前記極値の公差範囲に入るように、前記光学装置を焦点調整する
   ことを特徴とする焦点判定装置。
9. 請求項７または請求項８に記載の焦点判定装置において、
   前記光学装置は、少なくとも２つのレンズを所定の基線長だけ離したステレオカメラであって、
   前記焦点判定部は、前記レンズごとの前記差異が、予め定められた許容差内に収まるように、個々の前記レンズの焦点調整位置を決定する
   ことを特徴とする焦点判定装置。
10. 請求項７ないし請求項９のいずれか１項に記載の焦点判定装置において、
    前記差異算出部は、前記差異として、（前記高周波コントラスト）／（低周波コントラスト）に関する比率を算出する
    ことを特徴とする焦点判定装置。
11. 請求項７ないし請求項１０のいずれか１項に記載の焦点判定装置において、
    前記焦点判定部は、前記差異が前記公差範囲に入った位置から、前記極値の方向へ予め定められた間隔だけずらした位置を焦点調整位置に決定する
    ことを特徴とする焦点判定装置。
12. 請求項７ないし請求項１１のいずれか１項に記載の焦点判定装置において、
    前記焦点判定部は、前記焦点調整位置の制御を複数回実施して前記焦点調整位置を記憶し、記憶された複数の前記焦点調整位置のバラツキ中心を、前記レンズの焦点調整位置に決定する
    ことを特徴とする焦点判定装置。
13. コンピュータを、請求項７ないし請求項１２のいずれか１項に記載の焦点判定装置として機能させるための焦点判定プログラム。
    

Images