JP2017037017A - 距離測定装置及び距離測定方法 - Google Patents

Abstract

【課題】可変焦点レンズを用いて対象物を撮影した画像により、対象物までの距離を測定できる距離測定装置を提供する。
【解決手段】距離測定装置は、撮像部１１の可変焦点レンズ１４の焦点距離を変えながら撮像部１１により対象物を撮影して得た複数の画像のそれぞれにおいて、可変焦点レンズ１４の焦点距離と参照物体上の特徴点のサンプル画像上の位置及び参照物体のサイズの倍率の対応関係を表す参照テーブルを参照して、対象物の同一の測定対象点に対応する測定点を設定し、かつ、測定点を含み、対象物の同一の範囲を表す参照領域を設定する参照領域設定部３５と、各画像において、参照領域に基づいて測定対象点について最も合焦している画像を特定する合焦画像特定部３６と、最も合焦している画像の撮影時の可変焦点レンズ１４の焦点距離に対応する撮像部１１からの距離を、撮像部１１から対象物の測定対象点までの距離とする距離測定部３７とを有する。
【選択図】図３

Description

本発明は、例えば、可変焦点レンズを用いて対象物を撮影して得た画像に基づいてその対象物までの距離を測定する距離測定装置及び距離測定方法に関する。

従来より、可変焦点レンズを用いて対象物を撮影して得た画像に基づいて、対象物までの距離を測定する距離測定装置が知られている。このような距離測定装置は、可変焦点レンズの焦点距離を変えながら対象物を複数回撮影することで、複数の画像を生成し、それらの複数の画像のうちで、最も焦点が一致した画像に対応する可変焦点レンズの焦点距離に基づいて、対象物までの距離を測定する。

このような距離測定装置では、可変焦点レンズの焦点距離を変えることにより、可変焦点レンズを含む撮像光学系による横倍率が変化するので、画像に写る対象物の大きさ及び位置も変化する。そのため、距離測定装置に対する対象物の相対的な位置関係が一定に維持されていたとしても、可変焦点レンズの焦点距離を変えることで、対象物の測定対象点の画像上での位置が変化する。また、可変焦点レンズを含む撮像光学系の収差、特に歪曲収差に起因して、画像上での対象物の像が湾曲することがある。そこで、画像データの各画素の座標に可変焦点レンズの倍率の逆数をかけて画像データを補正するとともに、焦点位置などのパラメータにより定量化された光学収差のデータに基づいて画像データを補正する技術が提案されている（例えば、特許文献１を参照）。

また、ステレオカメラシステムにおけるキャリブレーション方法が提案されている。このキャリブレーション方法は、複数の特定焦点距離により物体を撮像して得られた２次元座標系の投影像の各位置と、物体の３次元座標系における各位置との位置情報対応関係を予め求める（例えば、特許文献２を参照）。

特開２００１−２５７９３２号公報 特開平１０−３２０５５８号公報

しかしながら、特許文献１に開示された技術では、倍率の補正と収差の補正とが別個に行われた後に、補正された画像を用いて合焦の有無が判断され、その判断結果に応じて、対象物までの距離が求められる。そしてこの補正処理は、複数の画像について行われることになるので、距離の測定に要する演算量が多くなる。また、特許文献２に開示された技術では、互いに異なる焦点距離で得られた複数の画像間の対応点同士の位置が分かるにすぎない。

一つの側面では、本発明は、可変焦点レンズを用いて対象物を撮影した画像により、対象物までの距離を測定できる距離測定装置を提供することを目的とする。

一実施形態によれば、距離測定装置が提供される。この距離測定装置は、可変焦点レンズを含む撮像光学系を有し、可変焦点レンズの焦点距離を変えながら対象物を撮影して得られる複数の画像を生成する撮像部と、撮像部からの複数の距離のそれぞれについて、その距離と、その距離について撮像光学系が合焦する可変焦点レンズの焦点距離と、その距離について撮像光学系が合焦する可変焦点レンズの焦点距離で、撮像部からその距離にある参照物体の少なくとも一つの特徴点を撮影して得られるサンプル画像上のその少なくとも一つの特徴点の位置と、その位置における、サンプル画像での参照物体のサイズの倍率との対応関係を表す参照テーブルを記憶する記憶部と、複数の画像のそれぞれにおいて、参照テーブルを参照して、その画像の撮影時の可変焦点レンズの焦点距離に対応する少なくとも一つの特徴点の位置に基づいて対象物の同一の測定対象点に対応する測定点を設定し、かつ、その測定点を含み、対象物の同一の範囲を表す参照領域を、その画像の撮影時の可変焦点レンズの焦点距離に対応する倍率に基づいて設定する参照領域設定部と、複数の画像のそれぞれにおいて、その画像の参照領域における合焦度合いを表す指標を算出し、その指標に基づいて、複数の画像のなかから測定対象点について最も合焦している画像を特定する合焦画像特定部と、参照テーブルを参照して、最も合焦している画像の撮影時の可変焦点レンズの焦点距離に対応する撮像部からの距離を、撮像部から対象物の測定対象点までの距離とする距離測定部とを有する。

可変焦点レンズを用いて対象物を撮影した画像により、対象物までの距離を測定できる。

一つの実施形態による距離測定装置の概略構成図である。 制御装置のハードウェア構成図である。 処理部の機能ブロック図である。 マーカの一例を示す図である。 ドット間の距離算出の説明図である。 参照テーブルの一例を示す図である。 キャリブレーション処理の動作フローチャートである。 参照領域の設定の一例を示す図である。 距離測定処理の動作フローチャートである。

以下、図面を参照しつつ、距離測定装置について説明する。この距離測定装置は、可変焦点レンズを含む撮像部を用い、その可変焦点レンズの焦点距離を変化させながら、対象物を複数回撮影して複数の画像を得る。この距離測定装置は、各画像において、対象物の測定対象点ごとに、その測定対象点を含む同一の範囲が写っている参照領域を設定し、各画像の参照範囲に基づいて、最も合焦されている画像を特定する。そしてこの距離測定装置は、測定対象点ごとの最も合焦されている画像に対応する可変焦点レンズの焦点距離に基づいて、測定対象点ごとの撮像部からの距離を求めることで、対象物の３次元形状を測定する。

各画像の参照領域を決定するために、この距離測定装置は、予め、所定のマーカを、撮像光学系からの距離を変えながら撮影して得た複数のサンプル画像に基づいて、参照テーブルを生成する。この参照テーブルは、撮像部からの距離と、可変焦点レンズの焦点距離と、撮像部からその距離の位置にある複数の点のサンプル画像上の位置などの対応関係を表す。そしてこの距離測定装置は、その参照テーブルを参照することで、距離測定の際に、各画像における参照領域を特定する。

図１は、一つの実施形態による距離測定装置の概略構成図である。距離測定装置１は、撮像部１１と、可動ステージ１５と、制御装置１６とを有する。そして距離測定装置１は、可動ステージ１５上に載置された対象物１７を撮像部１１により撮影して得られた対象物１７の画像に基づいて、撮像部１１から対象物１７上の各点までの距離を測定する。さらに、距離測定装置１は、対象物１７を照明するための照明光源（図示せず）を有していてもよい。

撮像部１１は、撮像光学系１２と、検出器１３とを含む。また、撮像光学系１２は、可変焦点レンズ１４を含む。また撮像光学系１２は、その光軸に沿って、可変焦点レンズ１４と並べて配置される、１枚以上のレンズを有していてもよい。そして撮像光学系１２は、可動ステージ１５上に載置された対象物１７の像を検出器１３上に結像する。

また撮像部１１は、アクチュエータ（図示せず）を有し、そのアクチュエータは、制御装置１６からの制御信号に応じて可変焦点レンズ１４を駆動して、可変焦点レンズ１４の焦点距離をその制御信号に応じた値に調整する。そして可変焦点レンズ１４の焦点距離が変化することにより、撮像光学系１２全体の焦点距離も変化する。撮像光学系１２全体の焦点距離が長くなるほど、結像関係にある、撮像光学系１２の物体面と像面間の距離も長くなる。したがって、検出器１３上に対象物１７の像が合焦されたときの可変焦点レンズ１４の焦点距離に基づいて、距離測定装置１は、撮像部１１から対象物１７までの距離を測定できる。

なお、可変焦点レンズ１４は、例えば、エレクトロウェッティング方式による液体レンズ、液晶レンズ、あるいは、電気光学結晶を用いた可変焦点レンズといった、機械的な調整機構を利用せずに電気的に焦点距離を調節可能な可変焦点レンズとすることが好ましい。可変焦点レンズ１４として、このような電気的に焦点距離を調節可能な可変焦点レンズを用いることで、距離測定装置１の構成を簡単化できるとともに、焦点調節の高速化、及び、焦点調節の際の機械的な振動による影響を無くすことができる。

検出器１３は、例えば、CCDあるいはCMOSといった固体撮像素子が２次元状に配列されたイメージセンサであり、撮像光学系１２の光軸に沿って、撮像光学系１２の像面側に配置される。そして検出器１３は、制御装置１６からの撮影指示信号に従って、撮像光学系１２により検出器１３上に結像された対象物１７の画像を生成する。検出器１３は、生成した画像を制御装置１６へ出力する。

可動ステージ１５は、撮像光学系１２の物体面側に配置され、撮像光学系１２の光軸方向に沿って移動可能となっている。なお、可動ステージ１５は、制御装置１６からの制御信号に応じて自律的に移動するステージであってもよく、あるいは、手動操作によって移動可能なステージでもよい。そして測定時においては、可動ステージ１５上に対象物１７が載置される。また、キャリブレーション時においては、可動ステージ１５上にマーカが載置される。なお、マーカについては後述する。

なお、可動ステージ１５は、取り外し可能であってもよい。この場合、例えば、可動ステージ１５は、キャリブレーション時においてのみ使用されてもよい。

制御装置１６は、距離測定装置１の各部を制御する。また制御装置１６は、撮像部１１により得られた対象物１７の画像に基づいて、撮像部１１から対象物１７上の各測定対象点までの距離を測定することで、対象物１７の３次元形状を測定する。

図２は、制御装置１６のハードウェア構成図である。制御装置１６は、通信部２１と、記憶部２２と、処理部２３とを有する。

通信部２１は、制御装置１６を撮像部１１及び可動ステージ１５と接続するためのインタフェース及びその制御回路を有する。そして通信部２１は、例えば、処理部２３から受け取った制御信号などを、撮像部１１及び可動ステージ１５の何れかへ出力する。あるいは、通信部２１は、撮像部１１から受け取った画像を処理部２３へわたす。

記憶部２２は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。さらに、記憶部２２は、ハードディスク装置などを有していてもよい。そして記憶部２２は、距離測定処理を実行する際に、各画像において合焦度合いを調べる参照領域の設定及び対象物の測定対象点と撮像部１１間の距離を測定するために参照される参照テーブルを記憶する。なお、参照テーブルの詳細については後述する。また記憶部２２は、処理部２３で実行される、距離測定処理及びキャリブレーション処理といった各種の処理を実行するためのコンピュータプログラムを記憶する。さらに、記憶部２２は、撮像部１１から受け取った画像を、その撮影の際の可変焦点レンズ１４の焦点距離とともに記憶してもよい。

処理部２３は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして処理部２３は、距離測定装置１全体を制御する。
また処理部２３は、距離測定処理を実行することで、撮像部１１から受け取った、対象物１７の画像に基づいて、撮像部１１から対象物１７上の各測定対象点までの距離を測定して、対象物１７の３次元形状を測定する。さらに、処理部２３は、キャリブレーション処理を実行することで、参照テーブルを生成する。

図３は、処理部２３の機能ブロック図である。処理部２３は、サンプル画像生成部３１と、特徴点検出部３２と、倍率測定部３３と、参照テーブル生成部３４と、参照領域設定部３５と、合焦画像特定部３６と、距離測定部３７とを有する。処理部２３が有するこれらの各部は、例えば、処理部２３が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。なお、これらの各部は、それぞれ、別個の回路として、処理部２３とは別個に制御装置１６に実装されてもよく、あるいはこれらの各部の機能を実現する一つまたは複数の集積回路として、処理部２３とは別個に制御装置１６に実装されてもよい。
また、処理部２３が有するこれらの各部のうち、サンプル画像生成部３１、特徴点検出部３２、倍率測定部３３及び参照テーブル生成部３４は、キャリブレーション処理で使用される。一方、参照領域設定部３５、合焦画像特定部３６及び距離測定部３７は、距離測定処理で使用される。以下では、キャリブレーション処理及び距離測定処理に分けてこれらの各部の詳細について説明する。

（キャリブレーション処理）
サンプル画像生成部３１は、可動ステージ１５上に載置されたマーカの画像を、撮像部１１により生成させる。以下では、このマーカの画像をサンプル画像と呼ぶ。

図４は、マーカの一例を示す図である。マーカ４００は、参照物体の一例であり、この例では、シート状に形成されている。マーカ４００の表面には、所定の間隔を空けて格子状に配置された複数のドットd_m,n(0≦m＜M,0≦n＜N、Mは水平方向のドット数、Nは垂直方向のドット数)が表されている。各ドットd_m,nは、円形を有し、周囲よりも暗くなっている。所定の間隔は、複数のドットd_m,nが撮像部１１により生成されたサンプル画像において識別可能に写るように、例えば、1mm〜10mmに設定される。なお、マーカは、上記に限られず、サンプル画像上で容易に識別可能なパターンを有するものであれば、どのようなものであってもよい。

本実施形態では、サンプル画像生成部３１は、撮像部１１から可動ステージ１５までの距離が所定のサンプリング距離となるように可動ステージ１５を移動させる。そしてサンプル画像生成部３１は、可変焦点レンズ１４を制御して、可変焦点レンズ１４の焦点距離を変えながら、すなわち、撮像光学系１２の焦点距離を変えながら、撮像部１１にマーカを複数回撮影させる。これにより、複数のサンプル画像が得られる。

サンプル画像生成部３１は、撮像部１１から可動ステージ１５までのサンプリング距離を、距離測定装置１の距離測対象範囲内で所定間隔ずつ変更しながら、上記の処理を繰り返す。すなわち、撮像部１１から可動ステージ１５までのサンプリング距離ごとに、複数のサンプル画像が得られる。なお、撮像部１１からの距離は、例えば、撮像光学系１２の前面、あるいは、検出器１３のセンサ面からの距離とすることができる。

特徴点検出部３２は、複数のサンプリング距離のそれぞれについて、複数のサンプル画像のうち、最も合焦されたサンプル画像を選択する。なお、選択されたサンプル画像は、そのサンプル画像上でドットを検出できればよいので、マーカについて完全に合焦されていなくてもよい。

最も合焦されたサンプル画像を選択するために、特徴点検出部３２は、例えば、着目するサンプリング距離に対応する複数のサンプル画像のそれぞれについて、コントラスト、あるいは、エッジ強度の統計量を算出する。そして特徴点検出部３２は、コントラストが最大、あるいは、エッジ強度の統計量が最大となるサンプル画像を、最も合焦されたサンプル画像とする。なお、特徴点検出部３２は、例えば、サンプル画像上の各画素の輝度値のうちの最大値と最小値の差を、コントラストとして算出してもよい。あるいは、特徴点検出部３２は、Sobelフィルタ、Prewittフィルタなどのエッジ検出フィルタをサンプル画像上の各画素に適用して、画素ごとにエッジ強度を算出する。そして特徴点検出部３２は、画素ごとのエッジ強度の最大値、中央値、あるいは平均値を、エッジ強度の統計量として算出してもよい。

特徴点検出部３２は、複数のサンプリング距離のそれぞれについて、最も合焦されたサンプル画像から、マーカ上の特徴点を検出する。
上記のように、本実施形態では、マーカは格子状に配列された複数のドットを有する。そこで特徴点検出部３２は、各ドットの中心点を特徴点として検出する。

そのために、例えば、特徴点検出部３２は、着目するサンプル画像を所定の輝度閾値未満の輝度値を持つ画素と、その輝度閾値以上の輝度値を持つ画素とに２値化する。輝度閾値は、例えば、サンプル画像の輝度平均値、あるいは、予め設定された値であってもよい。

特徴点検出部３２は、２値化されたサンプル画像において、輝度閾値未満の輝度値を持つ画素に対してラベリング処理を実行することで、輝度閾値未満の輝度値を持つ画素同士が連結されたグループを求める。各グループは、それぞれ、一つのドットに対応する。そこで特徴点検出部３２は、グループごとに、その重心を、ドットの中心に対応する特徴点として検出する。
特徴点検出部３２は、複数のサンプリング距離のそれぞれについての各ドットの重心の座標を倍率測定部３３及び参照テーブル生成部３４へ通知する。

倍率測定部３３は、複数のサンプリング距離のそれぞれについて、ドットごとに、隣接するドット間の距離を算出する。そして倍率測定部３３は、ドットごとに、基準距離に対する、各サンプリング距離におけるドット間の距離の比を、それぞれ、倍率として算出する。なお、基準距離は、例えば、撮像部１１とマーカ間の距離が所定距離となる場合において、可変焦点レンズ１４の焦点距離を、マーカに合焦するようにしたときの画像上でのドット間の距離である。

図５は、ドット間の距離算出の説明図である。画像５００上で着目するドットd_m,nとその左に隣接するドットd_m-1,n間の距離をLx_m-1,nとする。同様に、ドットd_m,nとその右または上下に隣接するドットd_m+1,n、d_m,n-1、d_m,n+1間の距離を、それぞれ、Lx_m,n、Ly_m,n-1、Ly_m,nとする。この場合、倍率測定部３３は、各距離を、次式に従って算出する。
ここで、(X_m,n,Y_m,n)は、サンプル画像上でのドットd_m,nの中心座標である。同様に、(X_m-1,n,Y_m-1,n)、(X_m+1,n,Y_m+1,n)、(X_m,n-1,Y_m,n-1)、(X_m,n+1,Y_m,n+1)は、それぞれ、サンプル画像上でのドットd_m-1,n、d_m+1,n、d_m,n-1、d_m,n+1の中心座標である。

倍率測定部３３は、次式に従って、基準距離に対する着目するドットd_m,nと上下左右に隣接する各ドット間の距離の比を、着目するドットd_m,nに対する上下左右方向の倍率として算出する。
ここでLは基準距離である。またmx_m-1,nは、着目するドットd_m,nに対する左方向の倍率である。同様に、mx_m,n、my_m,n-1、my_m,nは、それぞれ、着目するドットd_m,nに対する右方向、上方向、下方向の倍率である。

倍率測定部３３は、次式に示されるように、着目するドットd_m,nに対する左方向と右方向の倍率の平均値Mx_m,nを、着目するドットd_m,nについての水平方向の倍率とする。同様に、倍率測定部３３は、着目するドットd_m,nに対する上方向と下方向の倍率の平均値My_m,nを、着目するドットd_m,nについての垂直方向の倍率とする。

倍率測定部３３は、サンプリング距離ごとの、各ドットについての水平方向及び垂直方向の倍率を参照テーブル生成部３４へ通知する。

参照テーブル生成部３４は、サンプリング距離ごとに、そのサンプリング距離の位置にある対象物に対して合焦できる可変焦点レンズ１４の焦点距離と、各ドットについて算出された中心座標と、水平方向の倍率及び垂直方向の倍率を参照テーブルに登録する。これにより、参照テーブルが生成される。参照テーブル生成部３４は、その参照テーブルを記憶部２２に記憶する。

図６は、参照テーブルの一例を示す図である。参照テーブル６００には、左側から順に、撮像部１１からのサンプリング距離Z_h(-H≦h≦H)、サンプリング距離Zhに対応する可変焦点レンズ１４の焦点距離f_h(-H≦h≦H)、ドット番号、ドットの中心座標、倍率が登録される。なお、距離測定の対象範囲の下限となるサンプリング距離Z_-Hは、例えば、基準となるサンプリング距離Z₀に対して-2.25mmであり、対応する可変焦点レンズ１４の焦点距離f_-Hは-14.73mmである。また、距離測定の対象範囲の上限となるサンプリング距離Z_Hは、例えば、Z₀に対して+2.72mmであり、対応する可変焦点レンズ１４の焦点距離f_Hは23.96mmである。

図７は、キャリブレーション処理の動作フローチャートである。
サンプル画像生成部３１は、距離測定の対象範囲内の各サンプリング距離において、可変焦点レンズ１４の焦点距離を変えながら、可動ステージ１５上のマーカの複数のサンプル画像を撮像部１１に生成させる（ステップＳ１０１）。

特徴点検出部３２は、サンプリング距離ごとに、そのサンプリング距離で撮影されたサンプル画像のうちで最も合焦されたサンプル画像を選択する（ステップＳ１０２）。そして特徴点検出部３２は、サンプリング距離ごとに、選択されたサンプル画像から、マーカに含まれる各ドットの中心を、それぞれ、特徴点として検出する（ステップＳ１０３）。

倍率測定部３３は、サンプリング距離ごとに、検出されたドットの中心のそれぞれについて、隣接するドットとの距離に基づいて、サンプル画像上でのドット間の基準距離に対する水平方向の倍率及び垂直方向の倍率を算出する（ステップＳ１０４）。そして参照テーブル生成部３４は、サンプリング距離ごとに、対応する可変焦点レンズ１４の焦点距離、各ドットの中心座標及び水平方向及び垂直方向の倍率の対応関係を表す参照テーブルを生成する（ステップＳ１０５）。参照テーブル生成部３４は、参照テーブルを記憶部２２に記憶する。そして処理部２３は、キャリブレーション処理を終了する。

（距離測定処理）
次に、距離測定処理について説明する。
参照領域設定部３５は、距離測定の対象範囲内に配置された対象物を、可変焦点レンズ１４の焦点距離を変えながら撮影することで得られた複数の画像を撮像部１１から得る。そして参照領域設定部３５は、各画像を、その画像の撮影の際に用いられた可変焦点レンズ１４の焦点距離とともに、記憶部２２に記憶する。また、参照領域設定部３５は、各画像に対して、参照テーブルに登録されている各ドットの中心座標を参照して、対象物の同一の測定対象点に対応する測定点を少なくとも一つ設定する。そして参照領域設定部３５は、測定対象点ごとに、各画像に対して、その測定対象点を含む、対象物の同一の範囲を表す参照領域を設定する。

図８は、参照領域の設定の一例を示す図である。画像８００−１〜８００−(2H+1)は、それぞれ、撮像部１１の可変焦点レンズ１４の焦点距離をf_-H〜f_Hとしたときの画像である。画像８００−１〜８００−(2H+1)のそれぞれに、対象物の同一の測定対象点に対応する測定点８０１−１〜８０１−(2H+1)が設定される。そして画像８００−１〜８００−(2H+1)のそれぞれに、測定点８０１−１〜８０１−(2H+1)を中心として、対象物の同一範囲を表す参照領域８０２−１〜８０２−(2H+1)が設定される。

参照領域設定部３５は、例えば、各画像において、参照テーブルを参照して、その画像の撮影時の可変焦点レンズ１４の焦点距離に対応する何れかのドットの中心座標に位置する画素を測定点に設定できる。この場合、そのドットの位置が、対象物上の測定対象点の位置となる。これにより、各画像において、対象物の同一の測定対象点に対応する測定点が設定される。また、参照領域設定部３５は、各画像について参照領域の水平方向サイズ及び垂直方向サイズを決定する。例えば、各画像の参照領域の水平方向サイズは、撮影時の可変焦点レンズ１４の焦点距離に対応する水平方向倍率_jMx_m,n(j=-H〜H)と基準画像での水平方向倍率₀Mx_m,nの比(_jMx_m,n/₀Mx_m,n)を、基準画像の参照領域の水平方向サイズ₀Px_m,nに乗じた値に設定される。同様に、各画像の参照領域の垂直方向サイズは、撮影時の可変焦点レンズ１４の焦点距離に対応する垂直方向倍率_jMy_m,nと基準画像での垂直方向倍率₀My_m,nの比(_jMy_m,n/₀My_m,n)を、基準画像の参照領域の垂直方向サイズ₀Py_m,nに乗じた値に設定される。したがって、各画像に設定される参照領域のサイズは、テーブル８１０に示されるようになる。なお、基準画像は、撮像部１１からの距離が所定値（例えば、参照テーブルに登録されているZ₀）となるときに、撮像光学系１２が合焦する可変焦点レンズ１４の焦点距離をf₀として撮像部１１により撮影された画像に相当する。これにより、参照領域設定部３５は、各画像の参照領域を、対象物の同一の範囲を表すように設定できる。

なお、参照領域設定部３５は、画像上の任意の点を測定点として設定してもよい。この場合、参照領域設定部３５は、参照テーブルを参照して、着目する画像の撮影時の可変焦点レンズ１４の焦点距離における、その測定点の左右に隣接するドットの中点及び上下に隣接するドットの中点を特定する。そして参照領域設定部３５は、左右に隣接するドットの中点間の距離に対する、測定点の内分比、及び、上下に隣接するドットの中点間の距離に対する、測定点の内分比を算出する。そして参照領域設定部３５は、他の各画像においても、上記の四つのドットと同じ四つのドットに対して、水平方向及び垂直方向の測定点の内分比が同一となるように測定点を設定すればよい。また、参照領域設定部３５は、参照領域サイズの決定の際、各画像の撮影時の可変焦点レンズ１４の焦点距離における、その測定点の左右に隣接するドットの中点での水平方向の倍率を測定点の水平方向の内分比で加重平均した値を、上記の倍率_jM_xm,nとすればよい。同様に、参照領域設定部３５は、各画像の撮影時の可変焦点レンズ１４の焦点距離における、その測定点の上下に隣接するドットの中点での垂直方向の倍率を測定点の垂直方向の内分比で加重平均した値を、上記の倍率_jM_ym,nとすればよい。参照領域設定部３５は、基準画像についての水平方向の倍率₀M_xm,n及び垂直方向の倍率₀M_ym,nも同様に算出できる。
参照領域設定部３５は、各測定点について、画像ごとに設定された参照領域を合焦画像特定部３６へ通知する。

合焦画像特定部３６は、測定点ごとに、複数の画像のそれぞれについて参照領域内の画素の輝度値に基づいて合焦度合いを表す指標を算出し、その指標に基づいて、最も合焦された画像を特定する。
例えば、合焦画像特定部３６は、合焦度合いを表す指標として、参照領域内のコントラスト、あるいは、エッジ強度の統計量を算出する。なお、合焦画像特定部３６は、例えば、参照領域内の各画素の輝度値のうちの最大値と最小値の差を、コントラストとして算出してもよい。あるいは、合焦画像特定部３６は、Sobelフィルタ、Prewittフィルタなどのエッジ検出フィルタを参照領域内の各画素に適用して、画素ごとにエッジ強度を算出する。そして合焦画像特定部３６は、画素ごとのエッジ強度の最大値、中央値、あるいは平均値を、エッジ強度の統計量として算出してもよい。
合焦画像特定部３６は、着目する測定対象点について、合焦度合いを表す指標が最も良好な値、例えば、コントラストが最大、あるいは、エッジ強度の統計量が最大となる画像を、最も合焦された画像とする。
合焦画像特定部３６は、測定対象点ごとに、最も合焦された画像に対応する可変焦点レンズ１４の焦点距離を距離測定部３７に通知する。

距離測定部３７は、測定対象点ごとに、参照テーブルを参照して、その最も合焦された画像についての可変焦点レンズ１４の焦点距離に対応する撮像部１１からの距離を求める。そして距離測定部３７は、その距離を、対象物上の測定対象点と撮像部１１間の撮像部１１の光軸に沿った距離とする。

なお、最も合焦された画像についての可変焦点レンズ１４の焦点距離と一致する焦点距離が参照テーブルに登録されていないことがある。この場合には、距離測定部３７は、参照テーブルに登録されている可変焦点レンズ１４の焦点距離のうち、最も合焦された画像についての可変焦点レンズ１４の焦点距離に最も近い二つの焦点距離に対応する撮像部１１からの距離を用いて補間処理を実行すればよい。これにより、距離測定部３７は、最も合焦された画像についての可変焦点レンズ１４の焦点距離と一致する焦点距離が参照テーブルに登録されていなくても、対象物上の測定対象点と撮像部１１間の撮像部１１の光軸に沿った距離をもとめることができる。

また、画像上での測定点の位置は、撮像部１１の光軸に直交する面上での対象物上の測定対象点の位置と１対１に対応している。すなわち、画像上での測定点の位置から、撮像部１１の光軸に対する、撮像部１１の前側主点から測定対象点を結ぶ線のなす角が分かる。したがって、対象物上の測定対象点と撮像部１１間の撮像部１１の光軸に沿った距離が分かることで、距離測定部３７は、その測定対象点の３次元座標をもとめることができる。

図９は、距離測定処理の動作フローチャートである。処理部２３は、測定対象点ごとに、この動作フローチャートに従って距離測定処理を実行すればよい。

参照領域設定部３５は、対象物を可変焦点レンズ１４の焦点距離を変えながら撮影して得られた複数の画像のそれぞれに、参照テーブルに登録されたドットの中点の座標に基づいて、対象物の同一の測定対象点に対応する測定点を設定する（ステップＳ２０１）。そして参照領域設定部３５は、各画像において、参照テーブルに登録された、測定点に対応するドットにおける倍率に基づいて、対象物の同一の範囲を表す参照領域を設定する（ステップＳ２０２）。

合焦画像特定部３６は、各画像において、参照領域内の各画素の輝度値に基づいて、合焦度合いを表す指標を算出する（ステップＳ２０３）。そして合焦画像特定部３６は、その指標に基づいて、最も合焦している画像を特定する（ステップＳ２０４）。

距離測定部３７は、参照テーブルを参照して、最も合焦している画像における、可変焦点レンズ１４の焦点距離に対応する距離を、撮像部１１から対象物の測定対象点までの距離とする（ステップＳ２０５）。そして処理部２３は、距離測定処理を終了する。

以上に説明してきたように、この距離測定装置は、撮像光学系に含まれる可変焦点レンズの焦点距離を変えながら対象物を撮影して得られた複数の画像のそれぞれにおいて、距離の測定対象点に関する参照領域が、対象物の同一の範囲を表すように設定する。そのため、この距離測定装置は、各画像において、対象物の同一の範囲を参照して最も合焦している画像を特定できるので、対象物までの距離を正確に測定できる。また、この距離測定装置は、各画像を補正しなくてよいので、距離測定に要する演算量を削減できる。

なお、変形例によれば、キャリブレーション処理は、制御装置の処理部とは別個に設けられた演算装置により実行されてもよい。この場合には、その演算装置により生成された参照テーブルが、距離測定処理の実行前に制御装置の記憶部に記憶されればよい。そのため、この場合には、処理部から、キャリブレーション処理に関連する各部が省略されてもよい。

なお、上記の実施形態または変形例による距離測定装置は、例えば、各種のロボット、あるいは産業機械などに実装されてもよい。例えば、距離測定装置の撮像部は、ロボットのアームの先端に取り付けられ、距離測定装置の制御装置は、ロボットの制御装置に実装されてもよい。この場合、距離測定装置は、撮像光学系が有する可変焦点レンズの焦点距離を変えながら、対象物を撮影した複数の画像を生成し、その複数の画像に基づいて、アームの先端から対象物までの距離を測定し、その測定結果をロボットの制御装置へ通知してもよい。これにより、ロボットの制御装置は、アームの先端から対象物までの距離を正確に測定できるので、所望の操作（例えば、対象物を把持、あるいは対象物へ所定方向へ移動）に応じて、対象物に対して適切な位置へアームを移動させることができる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 距離測定装置
１１ 撮像部
１２ 撮像光学系
１３ 検出器
１４ 可変焦点レンズ
１５ 可動ステージ
１６ 制御装置
２１ 通信部
２２ 記憶部
２３ 処理部
３１ サンプル画像生成部
３２ 特徴点検出部
３３ 倍率測定部
３４ 参照テーブル生成部
３５ 参照領域設定部
３６ 合焦画像特定部
３７ 距離測定部

Claims (4)

1. 可変焦点レンズを含む撮像光学系を有し、前記可変焦点レンズの焦点距離を変えながら対象物を撮影して得られる複数の画像を生成する撮像部と、
   前記撮像部からの複数の距離のそれぞれについて、当該距離と、当該距離について前記撮像光学系が合焦する前記可変焦点レンズの焦点距離と、当該距離について前記撮像光学系が合焦する前記可変焦点レンズの焦点距離で、前記撮像部から当該距離にある参照物体の少なくとも一つの特徴点を撮影して得られるサンプル画像上の前記少なくとも一つの特徴点の位置と、当該位置における、前記サンプル画像での前記参照物体のサイズの倍率との対応関係を表す参照テーブルを記憶する記憶部と、
   前記複数の画像のそれぞれにおいて、前記参照テーブルを参照して、当該画像の撮影時の前記可変焦点レンズの焦点距離に対応する前記少なくとも一つの特徴点の位置に基づいて前記対象物の同一の測定対象点に対応する測定点を設定し、かつ、当該測定点を含み、前記対象物の同一の範囲を表す参照領域を、当該画像の撮影時の前記可変焦点レンズの焦点距離に対応する前記倍率に基づいて設定する参照領域設定部と、
   前記複数の画像のそれぞれにおいて、当該画像の前記参照領域における合焦度合いを表す指標を算出し、当該指標に基づいて、前記複数の画像のなかから前記測定対象点について最も合焦している画像を特定する合焦画像特定部と、
   前記参照テーブルを参照して、前記最も合焦している画像の撮影時の前記可変焦点レンズの焦点距離に対応する前記撮像部からの距離を、前記撮像部から前記対象物の前記測定対象点までの距離とする距離測定部と、
   を有する距離測定装置。
2. 前記撮像部からの前記複数の距離のそれぞれについて、当該距離に位置する前記参照物体を前記撮像部で撮影して得られた前記サンプル画像上での、前記参照物体上の前記少なくとも一つの特徴点に対応する位置を検出する特徴点検出部と、
   前記撮像部からの前記複数の距離のそれぞれについて、前記可変焦点レンズの焦点距離が所定値のときの前記撮像部による前記サンプル画像上の前記少なくとも一つの特徴点に対応する位置における前記参照物体のサイズに対する、当該距離での前記サンプル画像上の前記少なくとも一つの特徴点の位置における前記参照物体のサイズの比に基づいて、当該距離での前記倍率を測定する倍率測定部と、
   前記撮像部からの前記複数の距離のそれぞれについての前記少なくとも一つの特徴点の位置及び前記倍率に基づいて、前記参照テーブルを生成する参照テーブル生成部と、
   をさらに有する請求項１に記載の距離測定装置。
3. 前記参照領域設定部は、前記複数の画像のそれぞれについて、当該画像の撮影時の前記可変焦点レンズの焦点距離における、前記少なくとも一つの特徴点の何れかに対応する前記サンプル画像上の位置を前記測定点とし、前記可変焦点レンズの所定の焦点距離における前記倍率に対する、当該画像の撮影時の前記可変焦点レンズの焦点距離における前記倍率の比を、前記所定の焦点距離における前記参照領域のサイズに乗じることで、当該画像における前記参照領域のサイズを決定する、請求項１または２に記載の距離測定装置。
4. 可変焦点レンズを含む撮像光学系を有する撮像部により、前記可変焦点レンズの焦点距離を変えながら対象物を撮影して得られる複数の画像を生成し、
   前記撮像部からの複数の距離のそれぞれについて、当該距離と、当該距離について前記撮像光学系が合焦する前記可変焦点レンズの焦点距離と、当該距離について前記撮像光学系が合焦する前記可変焦点レンズの焦点距離で、前記撮像部から当該距離にある参照物体の少なくとも一つの特徴点を撮影して得られるサンプル画像上の前記少なくとも一つの特徴点の位置と、当該位置における、前記サンプル画像での前記参照物体のサイズの倍率との対応関係を表す参照テーブルを参照して、前記複数の画像のそれぞれにおいて、当該画像の撮影時の前記可変焦点レンズの焦点距離に対応する前記少なくとも一つの特徴点の位置に基づいて前記対象物の同一の測定対象点に対応する測定点を設定し、かつ、当該測定点を含み、前記対象物の同一の範囲を表す参照領域を、当該画像の撮影時の前記可変焦点レンズの焦点距離に対応する前記倍率に基づいて設定し、
   前記複数の画像のそれぞれにおいて、当該画像の前記参照領域における合焦度合いを表す指標を算出し、当該指標に基づいて、前記複数の画像のなかから前記測定対象点について最も合焦している画像を特定し、
   前記参照テーブルを参照して、前記最も合焦している画像の撮影時の前記可変焦点レンズの焦点距離に対応する前記撮像部からの距離を、前記撮像部から前記対象物の前記測定対象点までの距離とする、
   ことを含む距離測定方法。