JP2008020348A - 多点測距センサおよび多点測距方法 - Google Patents

Abstract

【課題】 広範囲の測定および高分解能の測定を行うのに好適な多点測距センサを提供する。
【解決手段】 レンズ位置を変更しながら複数の画像を撮像素子１２から取り込み、取り込んだ各画像に対応するレンズ位置を取得する。そして、画像の各区分領域について、取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出し、抽出した空間周波数成分が最も大きい画像に対応するレンズ位置に基づいて、区分領域に撮影された対象物までの距離を算出する。広範囲の測定を行う場合、測定に先立って、同一の焦点位置に対する画角を所定の広角の領域に変更する。これに対し、高分解能の測定を行う場合は、測定に先立って、同一の焦点位置に対する画角を所定の望遠の領域に変更する。
【選択図】図７

Description

本発明は、複数の測定点についてその測定点までの距離を測定するセンサに係り、特に、広範囲の測定および高分解能の測定を行うのに好適な多点測距センサおよび多点測距方法に関する。

従来、自律移動型ロボットに搭載される多点測距センサとしては、例えば、赤外線測距センサや超音波測距センサ等を複数アレイ状に配列したもの、光源と１台のカメラを用いて三角測量法により多点の距離を測定する光切断法を用いた画像センサ、２台のカメラを用いたステレオビジョンによる画像センサが知られている。これらの技術は、例えば、特許文献１〜４に開示されている。
特開２００４−１５１０６９号公報 特開２００４−６１１２０号公報 特開２００１−２２７９４３号公報 特開２０００−２８３７５３号公報

しかしながら、赤外線測距センサにあっては、太陽光等の強力な光では受光量が飽和し測定不能になる。また、超音波測距センサにあっては、物体に対して正対していない場合は、測定精度が低下し、複数アレイ状に配列した場合は、異なるセンサから出力された音波の反射波同士が干渉するため、高速かつ正確な測定が難しい。また、光切断法を用いた三角測量法による画像センサにあっては、明るいところでは対象物からの反射光と周囲とのコントラストが十分に得られない。また、カメラと光源との距離、つまり基線長が十分に長くなければ測定分解能が低下するため、検出精度が低下する。したがって、環境の影響を受けやすいという問題があった。

また、ステレオビジョンによる画像センサにあっては、コストおよび処理時間を要し、環境が変わるごとに煩雑なキャリブレーションを行わなければならないという問題があった。
この問題を解決するため、レンズ焦点法を用いることが考えられる。レンズ焦点法は、レンズと物体がピントの合う位置にある関係から距離を求める測定方法である。そのため、上記各従来の測定方法に対して耐環境性やコスト等の点で優れている。

しかしながら、レンズ焦点法で広範囲の測定を行うためには、画角の広い広角レンズが必要となり、測定領域内の多点の測距を行う際には、複雑な形状の対象物に対して十分な分解能で測定を行うことができない。その逆に、高い分解能で測定を行うために画角の狭い望遠レンズを用いると、広範囲をカバーすることができない。
図１０は、レンズ焦点法を用いた多点測距センサの測定分解能を説明するための図である。

図１０において、撮像素子の水平方向の画素数をＨ、撮像素子の水平方向の長さをｈ、撮像素子から対象物までの距離をＬ、レンズの焦点位置（焦点距離）をｆ、レンズの画角をθとすると、撮像素子におけるｉ番目の素子の位置ｘiは、下式（１）により表すことができる。

また、ｘiに対応する距離Ｌでの位置Ｘiは、下式（２）により表すことができる。

水平方向の分解能ΔＸi,i-1は、上式（１）、（２）から下式（３）として導くことができる。

また、焦点位置ｆは、上式（３）から下式（４）として導くことができる。

なお、焦点位置ｆと画角θの関係は、下式（５）により表すことができる。

図１１は、Ｈが512、ｈが１０[mm]、Ｌが1000[mm]の場合に、焦点位置ｆの変化に対する画角θと分解能の変化を示すグラフである。
図１１に示すように、画角θが狭くなれば分解能が高くなり、画角θが広くなれば分解能が低くなることが分かる。つまり、分解能はレンズの基本性能（広角か望遠か）に依存することになる。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、広範囲の測定および高分解能の測定を行うのに好適な多点測距センサおよび多点測距方法を提供することを目的としている。

〔発明１〕 上記目的を達成するために、発明１の多点測距センサは、光学系を介して画像を撮影する撮像手段を備え、前記撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定するセンサであって、同一の焦点位置に対する画角が変化するように前記光学系の画角を変更する画角変更手段と、前記光学系の焦点位置を変更する焦点位置変更手段と、前記焦点位置変更手段で前記焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込手段と、前記画像取込手段で取り込んだ各画像に対応する焦点位置を取得する焦点位置取得手段と、前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出手段と、前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出手段と、前記第１周波数成分抽出手段で前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出手段と、前記第２周波数成分抽出手段で前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出手段とを備える。

このような構成であれば、画像取込手段により、焦点位置の異なる複数の画像が撮像手段から取り込まれ、焦点位置取得手段により、取り込まれた各画像に対応する焦点位置が取得される。
そして、第１周波数成分抽出手段により、取り込まれた各画像ごとに第１測定領域について空間周波数が所定以上の成分が抽出され、第１距離算出手段により、抽出された空間周波数成分および取得された各焦点位置に基づいて第１測定点までの距離が算出される。

また、第２周波数成分抽出手段により、取り込まれた各画像ごとに第２測定領域について空間周波数が所定以上の成分が抽出され、第２距離算出手段により、抽出された空間周波数成分および取得された各焦点位置に基づいて第２測定点までの距離が算出される。
広範囲の測定を行う場合は、測定に先立って、画角変更手段により、同一の焦点位置に対する画角が広がるように光学系の画角が変更される。これにより、例えば、対象物までの距離が大きい場合は、分解能を落として広範囲の測定を行うことができる。

また、高分解能の測定を行う場合は、測定に先立って、画角変更手段により、同一の焦点位置に対する画角が狭くなるように光学系の画角が変更される。これにより、例えば、対象物までの距離が小さい場合は、対象物に測定範囲を絞って高分解能の測定を行うことができる。

〔発明２〕 さらに、発明２の多点測距センサは、発明１の多点測距センサにおいて、前記画角変更手段で画角を所定の広角の領域に変更し、前記焦点位置変更手段、前記画像取込手段、前記焦点位置取得手段、前記第１周波数成分抽出手段、前記第２周波数成分抽出手段、前記第１距離算出手段および前記第２距離算出手段を実行して測定を行う広範囲測定手段と、前記画角変更手段で画角を所定の望遠の領域に変更し、前記焦点位置変更手段、前記画像取込手段、前記焦点位置取得手段、前記第１周波数成分抽出手段、前記第２周波数成分抽出手段、前記第１距離算出手段および前記第２距離算出手段を実行して測定を行う高分解能測定手段とを備える。

このような構成であれば、広範囲の測定を行う場合は、広範囲測定手段により、画角変更手段で画角が所定の広角の領域に変更され、焦点位置変更手段、画像取込手段、焦点位置取得手段、第１周波数成分抽出手段、第２周波数成分抽出手段、第１距離算出手段および第２距離算出手段が実行されて測定が行われる。
また、高分解能の測定を行う場合は、高分解能測定手段により、画角変更手段で画角が所定の望遠の領域に変更され、焦点位置変更手段、画像取込手段、焦点位置取得手段、第１周波数成分抽出手段、第２周波数成分抽出手段、第１距離算出手段および第２距離算出手段が実行されて測定が行われる。

〔発明３〕 さらに、発明３の多点測距センサは、発明１および２のいずれか１の多点測距センサにおいて、前記第１距離算出手段は、前記複数の画像のうち前記第１測定領域について抽出した空間周波数の高次の成分が最も大きい画像に対応する前記焦点位置に基づいて前記第１測定点までの距離を算出し、前記第２距離算出手段は、前記複数の画像のうち前記第２測定領域について抽出した空間周波数の高次の成分が最も大きい画像に対応する前記焦点位置に基づいて前記第２測定点までの距離を算出する。

このような構成であれば、第１距離算出手段により、複数の画像のうち第１測定領域について抽出された空間周波数の高次の成分が最も大きい画像に対応する焦点位置に基づいて第１測定点までの距離が算出される。また、第２距離算出手段により、複数の画像のうち第２測定領域について抽出された空間周波数の高次の成分が最も大きい画像に対応する焦点位置に基づいて第２測定点までの距離が算出される。

〔発明４〕 一方、上記目的を達成するために、発明４の多点測距方法は、光学系を介して画像を撮影する撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定する方法であって、同一の焦点位置に対する画角が変化するように前記光学系の画角を変更する画角変更ステップと、前記光学系の焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込ステップと、前記画像取込ステップで取り込んだ各画像に対応する焦点位置を取得する焦点位置取得ステップと、前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出ステップと、前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出ステップと、前記第１周波数成分抽出ステップで前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出ステップと、前記第２周波数成分抽出ステップで前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出ステップとを含む。

以上説明したように、発明１の多点測距センサによれば、画角変更手段で画角を変更することで広範囲の測定と高分解能の測定を切り換えて行うことができるので、従来に比して、広範囲の測定および高分解能の測定を実現することができるという効果が得られる。また、少なくとも１つの撮像手段で画像を取り込む方式なので、ステレオビジョンによる画像センサのように複数のカメラを必要とせず、さらに、外乱光やセンサ間の干渉による影響が少ない。したがって、コストを低減することができ、環境の影響を受けにくいという効果も得られる。また、測定環境ごとのキャリブレーションを必要としないので、その手間が不要であるという効果も得られる。さらに、光学系の焦点位置を変更しながら画像を取り込むだけでよいので、高速な測定を実現することができるという効果も得られる。

一方、発明４の多点測距方法によれば、発明１の多点測距センサと同等の効果が得られる。

以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図７は、本発明に係る多点測距センサおよび多点測距方法の実施の形態を示す図である。
本実施の形態は、本発明に係る多点測距センサおよび多点測距方法を、撮像素子から取り込んだ画像に基づいて多点測距を行う場合について適用したものである。
まず、本実施の形態に係る多点測距の原理を説明する。

図１は、撮像画像と空間周波数の関係を説明するための図である。
本実施の形態では、ＣＣＤ（Charge Coupled Device）等の高解像度な撮像素子と、焦点調節機構を有する焦点深度の十分に浅い光学系とからなるカメラ１台を用いて、合焦（レンズの焦点が対象物に合致することをいう。）時のレンズ位置に基づいて対象物までの距離を測定するレンズ焦点法を基本原理とする。

合焦時は、図１に示すように、対象物の画像が撮像素子に鮮明に投影されるため、画像のエッジが際立ち、空間周波数が高い領域でピークが発生する。これに対し、非合焦時は、対象物の画像が撮像素子にぼやけて投影されるので、画像のエッジがぼやけ、空間周波数が高い領域でピークが発生しない。
図２は、レンズの焦点位置に基づいて対象物までの距離を測定する原理を説明するための図である。

撮像素子の画像を格子状（図２の例では、横方向および縦方向にそれぞれ６つの矩形領域）に区分し、各区分領域ごとに空間周波数を算出すると、図２に示すように、対象物Ａに合焦しているときは、対象物Ａが撮影される区分領域の空間周波数が高い領域でピークが発生する。また、対象物Ａと異なる位置に存在する対象物Ｂに合焦しているときは、対象物Ｂが撮影される区分領域の空間周波数が高い領域でピークが発生する。したがって、対象物Ａ、Ｂへの合焦時の焦点位置をそれぞれ取得すれば、取得した焦点位置に基づいて対象物Ａ、Ｂまでの距離をそれぞれ求めることができる。

通常、レンズ焦点法の場合は、プリズムを設けて位相差から焦点を検出する方法、またその発展型として、焦点の異なる光学系を２つ用意し、レンズの駆動を行わない方法等があるが、本実施の形態では、焦点調節機構以外の特別な光学系を用いない。
図３は、２枚のレンズの位置と焦点位置の関係を示す図である。
本実施の形態では、さらに、複数枚のレンズを用い、同一の焦点位置に対する画角を変化させる。以下、最も単純な２枚のレンズからなる光学系を取り上げて説明する。

図３において、２枚のレンズからなる光学系の合成焦点距離をｆ、２枚のレンズ間の距離をｄ、２枚のレンズのうち対象物側のレンズ（以下、前段レンズという。）の位置をｌ、焦点距離をｆ１、２枚のレンズのうち撮像素子側のレンズ（以下、後段レンズという。）の位置をｓ’、焦点距離をｆ２とすると、組み合わせレンズの式より下式（６）が得られる。

上式（６）から下式（７）を導くことができる。

また、下式（８）が得られる。

上式（６）、（８）から下式（９）を導くことができる。

上式（９）から下式（10）を導くことができる。

したがって、２枚のレンズの位置を調整することにより、同一の焦点位置に対する画角を変更することができる。
なお、ズーム光学系では、通常、複数枚のレンズの移動が焦点位置と画角に対して相関性があるので、明示的に個々のレンズを焦点調整用、画角調整用と示すことはできない。

次に、本発明を適用する多点測距センサの構成を説明する。
図４は、多点測距センサの構成を示すブロック図である。
多点測距センサは、図４に示すように、前段レンズ１０ａと、後段レンズ１０ｂと、前段レンズ１０ａおよび後段レンズ１０ｂを介して画像を撮影する撮像素子１２と、撮像素子１２から取り込んだ画像を保持する画像メモリ１４とを有して構成されている。

多点測距センサは、さらに、前段レンズ１０ａの位置調節機構に動力を付与して前段レンズ１０ａの焦点位置を調整するレンズ駆動アクチュエータ１６ａと、レンズ駆動アクチュエータ１６ａを駆動する駆動回路１８ａと、前段レンズ１０ａの位置を検出するレンズ位置センサ２０ａとを有して構成されている。
多点測距センサは、さらに、後段レンズ１０ｂの位置調節機構に動力を付与して後段レンズ１０ｂの焦点位置を調整するレンズ駆動アクチュエータ１６ｂと、レンズ駆動アクチュエータ１６ｂを駆動する駆動回路１８ｂと、後段レンズ１０ｂの位置を検出するレンズ位置センサ２０ｂとを有して構成されている。

多点測距センサは、さらに、画像メモリ１４の画像に基づいて多点測距を行うマイクロプロセッサ２２を有して構成されている。
レンズ駆動アクチュエータ１６ａ、１６ｂとしては、例えば、圧電素子と変異拡大機構を一体化したアクチュエータを用いることができる。また、これに限らず、例えば、直動型のボイスコイルモータ、回転型のステッピングモータ、超音波モータを用いることもできる。

レンズ位置センサ２０ａ、２０ｂとしては、例えば、レンズ１０ａ、１０ｂの直線移動を検出する直線センサ、モータの回転動力をレンズ１０ａ、１０ｂの直線移動に変換する変換機構にあってはモータの回転を検出する回転センサを用いることができる。
次に、マイクロプロセッサ２２で実行する処理を説明する。
マイクロプロセッサ２２は、内部メモリの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図５のフローチャートに示す画角切換測距処理を所定サンプリング時間ごとに実行する。

図５は、画角切換測距処理を示すフローチャートである。
画角切換測距処理は、同一の焦点位置に対する画角を変更し、複数の測定点についてその測定点までの距離を測定する処理であって、マイクロプロセッサ２２において実行されると、図５に示すように、ステップＳ１００に移行する。
ステップＳ１００では、対象物までの距離が所定以上であるか否かを判定すること等により広範囲の測定を行うか否かを判定し、広範囲の測定を行うと判定したとき(Yes)は、ステップＳ１０２に移行する。

ステップＳ１０２では、画角が所定の広角の領域となるように、上式（６）、（９）、（10）により、基準となる前段レンズ１０ａの位置ｌおよび後段レンズ１０ｂの位置ｓ’を算出し、ステップＳ１０４に移行する。
ステップＳ１０４では、算出した基準レンズ位置ｌから基準レンズ位置ｓ’の方向にΔｌ（Δｌは、前段レンズ１０ａの所定の総移動範囲の１／２を示す。ただし、Δｌ＜ｄ。）近接した位置ｌ−Δｌに前段レンズ１０ａを移動すべき制御信号を駆動回路１８ａに、算出した基準レンズ位置ｓ’に後段レンズ１０ｂを移動すべき制御信号を駆動回路１８ｂにそれぞれ出力し、ステップＳ１０６に移行して、複数の測定点についてその測定点までの距離を測定する多点測距処理を実行し、ステップＳ１０８に移行する。

ステップＳ１０８では、対象物までの距離が所定以下であるか否かを判定すること等により高分解能の測定を行うか否かを判定し、高分解能の測定を行うと判定したとき(Yes)は、ステップＳ１１０に移行する。
ステップＳ１１０では、画角が所定の望遠の領域となるように、上式（６）、（９）、（10）により、基準となる前段レンズ１０ａの位置ｌおよび後段レンズ１０ｂの位置ｓ’を算出し、ステップＳ１１２に移行する。

ステップＳ１１２では、算出した基準レンズ位置ｌから基準レンズ位置ｓ’の方向にΔｌ近接した位置ｌ−Δｌに前段レンズ１０ａを移動すべき制御信号を駆動回路１８ａに、算出した基準レンズ位置ｓ’に後段レンズ１０ｂを移動すべき制御信号を駆動回路１８ｂにそれぞれ出力し、ステップＳ１１４に移行して、ステップＳ１０６と同様の多点測距処理を実行し、一連の処理を終了して元の処理に復帰させる。

一方、ステップＳ１０８で、高分解能の測定を行わないと判定したとき(No)は、一連の処理を終了して元の処理に復帰させる。
一方、ステップＳ１００で、広範囲の測定を行わないと判定したとき(No)は、ステップＳ１０８に移行する。
次に、ステップＳ１０６、Ｓ１１４の多点測距処理を説明する。

図６は、多点測距処理を示すフローチャートである。
多点測距処理は、後段レンズ１０ｂを基準レンズ位置ｓ’に固定し、基準レンズ位置ｌを中心に前段レンズ１０ａを前後に±Δｌ移動させることにより、複数の測定点についてその測定点までの距離を測定する処理であって、ステップＳ１０６、Ｓ１１４において実行されると、図６に示すように、ステップＳ２００に移行する。

ステップＳ２００では、画像メモリ１４から画像を読み出し、ステップＳ２０２に移行して、読み出した画像に対応するレンズ位置をレンズ位置センサ２０ａ、２０ｂから取得し、ステップＳ２０４に移行する。
ステップＳ２０４では、読み出した画像の区分領域（xi、yj）（xiは、横方向ｉ番目の区分領域を示し、yjは、縦方向ｊ番目の区分領域を示す。）の空間周波数成分をフーリエ変換処理により算出し、ステップＳ２０６に移行して、算出した空間周波数成分および取得したレンズ位置を区分領域（xi、yj）と対応付けて内部メモリに格納し、ステップＳ２０８に移行する。

ステップＳ２０８では、横方向のすべての区分領域についてステップＳ２０４、Ｓ２０６の処理が終了したか否かを判定し、横方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ２１０に移行して、縦方向のすべての区分領域についてステップＳ２０４、Ｓ２０６の処理が終了したか否かを判定し、縦方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ２１２に移行する。

ステップＳ２１２では、レンズ位置が終端（ｌ＋Δｌ）か否かを判定し、レンズ位置が終端であると判定したとき(Yes)は、ステップＳ２１４に移行して、内部メモリの空間周波数成分に基づいて、レンズ位置の異なる区分領域（xi、yj）の画像のうち空間周波数が所定以上の成分がピークとなる画像を特定し、ステップＳ２１６に移行する。
ステップＳ２１６では、ピーク画像に対応するレンズ位置を内部メモリから読み出し、読み出したレンズ位置に基づいて、区分領域（xi、yj）に撮影された対象物までの距離を算出し、ステップＳ２１８に移行して、算出した対象物までの距離を示す距離情報を区分領域（xi、yj）と対応付けて内部メモリに格納し、ステップＳ２２０に移行する。

ステップＳ２２０では、横方向のすべての区分領域についてステップＳ２１４〜Ｓ２１８の処理が終了したか否かを判定し、横方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ２２２に移行して、縦方向のすべての区分領域についてステップＳ２１４〜Ｓ２１８の処理が終了したか否かを判定し、縦方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。

一方、ステップＳ２２２で、縦方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ２２４に移行して、処理対象とする区分領域を縦方向に１つ移動し、ステップＳ２１４に移行する。
一方、ステップＳ２２０で、横方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ２２６に移行して、処理対象とする区分領域を横方向に１つ移動し、ステップＳ２１４に移行する。

一方、ステップＳ２１２で、レンズ位置が終端でないと判定したとき(No)は、ステップＳ２２８に移行して、前段レンズ１０ａを所定量移動すべき制御信号を駆動回路１８ａに出力し、ステップＳ２００に移行する。
一方、ステップＳ２１０で、縦方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ２３０に移行して、処理対象とする区分領域を縦方向に１つ移動し、ステップＳ２０４に移行する。

一方、ステップＳ２０８で、横方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ２３２に移行して、処理対象とする区分領域を横方向に１つ移動し、ステップＳ２０４に移行する。
次に、本実施の形態の動作を説明する。
図７は、多点測距を行う動作を説明するための図である。

広範囲の測定を行う場合は、ステップＳ１０２、Ｓ１０４を経て、画角が所定の広角の領域となるように、基準となる前段レンズ１０ａの位置ｌおよび後段レンズ１０ｂの位置ｓ’を算出し、前段レンズ１０ａを先端（ｌ−Δｌ）に、後段レンズ１０ｂを基準レンズ位置ｓ’にそれぞれ移動させる。
そして、図７に示すように、ステップＳ２００〜Ｓ２１２、Ｓ２２８〜Ｓ２３０を経て、後段レンズ１０ｂを基準レンズ位置ｓ’に固定し、前段レンズ１０ａを先端から終端に移動させ、その間、あらかじめ定めておいたレンズ移動距離ごと（ｌ1、ｌ2、ｌ3）に撮像素子１２から画像を取り込み記憶する。これを１スキャンとする。前段レンズ１０ａを初期位置に戻す際もスキャンを行う。スキャン中または１スキャン終了時に、ステップＳ２１４〜Ｓ２２６を経て、各区分領域ごとに空間周波数が所定以上の高次成分を抽出し、これがピークとなるレンズ位置を合焦とし、合焦点のレンズ位置を求め、対象物までの距離を算出する。このとき、レンズ１０ａ、１０ｂの画角が広角の領域となっているので、分解能を落として広範囲の測定を行うことができる。

次に、高分解能の測定を行う場合は、ステップＳ１１０、Ｓ１１２を経て、画角が所定の望遠の領域となるように、基準となる前段レンズ１０ａの位置ｌおよび後段レンズ１０ｂの位置ｓ’を算出し、前段レンズ１０ａを先端に、後段レンズ１０ｂを基準レンズ位置ｓ’にそれぞれ移動させる。
そして、広範囲の測定のときと同様に、後段レンズ１０ｂを固定して前段レンズ１０ａを移動させ、合焦点のレンズ位置を求め、対象物までの距離を算出する。このとき、レンズ１０ａ、１０ｂの画角が望遠の領域となっているので、対象物に測定範囲を絞って高分解能の測定を行うことができる。

このようにして、本実施の形態では、同一の焦点位置に対する画角を変更し、レンズ位置を変更しながら複数の画像を撮像素子１２から取り込み、取り込んだ各画像に対応するレンズ位置を取得し、画像の各区分領域について、取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出し、抽出した空間周波数成分が最も大きい画像に対応するレンズ位置に基づいて、区分領域に撮影された対象物までの距離を算出する。

これにより、同一の焦点位置に対する画角を変更することで広範囲の測定と高分解能の測定を切り換えて行うことができるので、従来に比して、広範囲の測定および高分解能の測定を実現することができる。
また、１台のカメラで画像を取り込む方式なので、ステレオビジョンによる画像センサのように複数のカメラを必要とせず、また、外乱光やセンサ間の干渉による影響が少ない。したがって、コストを低減することができ、環境の影響を受けにくい。また、キャリブレーションを必要としないので、その手間が不要である。さらに、前段レンズ１０ａを先端から終端まで移動しながら画像を取り込むだけでよいので、高速な測定を実現することができる。

また、カメラのオートフォーカスでは、焦点を合わせることが最終目的なので、焦点が合っているか否かを常に確認しながらレンズを追従させようと制御するが、本実施の形態では、連続的に一定速度で前段レンズ１０ａを作動させ、その時々の画像を記憶し、スキャン後に合焦点を求めるという方法であるので、突然ロストすることもなければ、前段レンズ１０ａが焦点に追従しようと迷って動くこともない。

さらに、本実施の形態では、広範囲の測定を行うと判定したときは、画角を所定の広角の領域に変更して対象物までの位置を測定し、高分解能の測定を行うと判定したときは、画角を所定の望遠の領域に変更して対象物までの位置を測定する。
これにより、広範囲の測定と高分解能の測定を適切に切り換えて行うことができる。
さらに、本実施の形態では、フーリエ変換処理により空間周波数が所定以上の成分を抽出する。

これにより、精度の高い測定を実現することができる。
上記実施の形態において、レンズ１０ａ、１０ｂは、発明１または４の光学系に対応し、撮像素子１２は、発明１または４の撮像手段に対応し、レンズ駆動アクチュエータ１６ａ、１６ｂ、駆動回路１８ａ、１８ｂおよびステップＳ１０２、Ｓ１０４、Ｓ１１０、Ｓ１１２は、発明１または２の画角変更手段に対応している。また、ステップＳ１０２、Ｓ１０４、Ｓ１１０、Ｓ１１２は、発明４の画角変更ステップに対応し、ステップＳ１００〜Ｓ１０６は、発明２の広範囲測定手段に対応し、ステップＳ１０８〜Ｓ１１４は、発明２の高分解能測定手段に対応している。

また、上記実施の形態において、レンズ駆動アクチュエータ１６ａ、駆動回路１８ａおよびステップＳ２２８は、発明１または２の焦点位置変更手段に対応し、ステップＳ２００は、発明１若しくは２の画像取込手段、または発明４の画像取込ステップに対応し、レンズ位置センサ２０ａ、２０ｂおよびステップＳ２０２は、発明１または２の焦点位置取得手段に対応している。また、ステップＳ２０２は、発明４の焦点位置取得ステップに対応し、ステップＳ２０４は、発明１若しくは２の第１周波数成分抽出手段、発明１若しくは２の第２周波数成分抽出手段、発明４の第１周波数成分抽出ステップ、または発明４の第２周波数成分抽出ステップに対応している。

また、上記実施の形態において、ステップＳ２１４、Ｓ２１６は、発明１ないし３の第１距離算出手段、発明１ないし３の第２距離算出手段、発明４の第１距離算出ステップ、または発明４の第２距離算出ステップに対応している。
なお、上記実施の形態においては、後段レンズ１０ｂを固定し、前段レンズ１０ａを移動させることにより焦点位置を変更するように構成したが、これに限らず、前段レンズ１０ａを固定し、後段レンズ１０ｂを移動させることにより焦点位置を変更するように構成してもよいし、レンズ１０ａ、１０ｂの両方を移動させることにより焦点位置を変更するように構成してもよい。

また、上記実施の形態においては、光学系を２枚のレンズ１０ａ、１０ｂから構成したが、これに限らず、３枚以上のレンズから構成してもよい。
また、上記実施の形態においては、撮像素子１２の画像を格子状に区分したが、これに限らず、図８に示すように、ハニカム状に区分してもよい。
図８は、撮像素子１２の画像をハニカム状に区分した状態を示す図である。

これにより、見かけ上の分解能を向上することができる。
また、上記実施の形態においては、フーリエ変換処理により空間周波数が所定以上の成分を抽出するように構成したが、これに限らず、ハイパスフィルタにより空間周波数が所定以上の成分を抽出するように構成することができる。
これにより、高速な測定を実現することができる。

また、上記実施の形態においては、図６のフローチャートに示す多点測距処理を実行するように構成したが、これに代えて、図９のフローチャートに示す多点測距処理を実行するように構成することもできる。
図９は、多点測距処理を示すフローチャートである。
図９の多点測距処理は、図６の多点測距処理に対して、ステップＳ２１２、Ｓ２２８の処理をステップＳ２０２、Ｓ２０４の間に移動した点が異なる。

ステップＳ２００、Ｓ２０２、Ｓ２２８、Ｓ２１２の処理は、前段レンズ１０ａを先端から終端に移動させながら各レンズ位置の画像を画像メモリ１４から読み出す処理である。
ステップＳ２０４〜Ｓ２１０、Ｓ２１４〜Ｓ２２６、Ｓ２３０、Ｓ２３２の処理は、読み出した各レンズ位置の画像に基づいて、空間周波数成分の算出、ピーク画像の特定、対象物までの距離の算出等を行う処理である。

このように、画像のスキャンを一括で行った後に画像処理を行うことにより、高速な処理を実現するとともにリアルタイム性を向上することができる。
また、上記実施の形態において、図５および図６のフローチャートに示す処理を実行するにあたってはいずれも、マイクロプロセッサ２２の内部メモリにあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ等に読み込んで実行するようにしてもよい。図９のフローチャートに示す処理についても同様である。

ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。

撮像画像と空間周波数の関係を説明するための図である。 レンズの焦点位置に基づいて対象物までの距離を測定する原理を説明するための図である。 ２枚のレンズの位置と焦点位置の関係を示す図である。 多点測距センサの構成を示すブロック図である。 画角切換測距処理を示すフローチャートである。 多点測距処理を示すフローチャートである。 多点測距を行う動作を説明するための図である。 撮像素子１２の画像をハニカム状に区分した状態を示す図である。 多点測距処理を示すフローチャートである。 レンズ焦点法を用いた多点測距センサの測定分解能を説明するための図である。 Ｈが512、ｈが１０[mm]、Ｌが1000[mm]の場合に、焦点位置ｆの変化に対する画角θと分解能の変化を示すグラフである。

符号の説明

１０ａ 前段レンズ
１０ｂ 後段レンズ
１２ 撮像素子
１４ 画像メモリ
１６ａ、１６ｂ レンズ駆動アクチュエータ
１８ａ、１８ｂ 駆動回路
２０ａ、２０ｂ レンズ位置センサ
２２ マイクロプロセッサ

Claims (4)

1. 光学系を介して画像を撮影する撮像手段を備え、前記撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定するセンサであって、
   同一の焦点位置に対する画角が変化するように前記光学系の画角を変更する画角変更手段と、
   前記光学系の焦点位置を変更する焦点位置変更手段と、
   前記焦点位置変更手段で前記焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込手段と、
   前記画像取込手段で取り込んだ各画像に対応する焦点位置を取得する焦点位置取得手段と、
   前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出手段と、
   前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出手段と、
   前記第１周波数成分抽出手段で前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出手段と、
   前記第２周波数成分抽出手段で前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出手段とを備えることを特徴とする多点測距センサ。
2. 請求項１において、
   前記画角変更手段で画角を所定の広角の領域に変更し、前記焦点位置変更手段、前記画像取込手段、前記焦点位置取得手段、前記第１周波数成分抽出手段、前記第２周波数成分抽出手段、前記第１距離算出手段および前記第２距離算出手段を実行して測定を行う広範囲測定手段と、
   前記画角変更手段で画角を所定の望遠の領域に変更し、前記焦点位置変更手段、前記画像取込手段、前記焦点位置取得手段、前記第１周波数成分抽出手段、前記第２周波数成分抽出手段、前記第１距離算出手段および前記第２距離算出手段を実行して測定を行う高分解能測定手段とを備えることを特徴とする多点測距センサ。
3. 請求項１および２のいずれか１項において、
   前記第１距離算出手段は、前記複数の画像のうち前記第１測定領域について抽出した空間周波数の高次の成分が最も大きい画像に対応する前記焦点位置に基づいて前記第１測定点までの距離を算出し、
   前記第２距離算出手段は、前記複数の画像のうち前記第２測定領域について抽出した空間周波数の高次の成分が最も大きい画像に対応する前記焦点位置に基づいて前記第２測定点までの距離を算出することを特徴とする多点測距センサ。
4. 光学系を介して画像を撮影する撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定する方法であって、
   同一の焦点位置に対する画角が変化するように前記光学系の画角を変更する画角変更ステップと、
   前記光学系の焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込ステップと、
   前記画像取込ステップで取り込んだ各画像に対応する焦点位置を取得する焦点位置取得ステップと、
   前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出ステップと、
   前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出ステップと、
   前記第１周波数成分抽出ステップで前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出ステップと、
   前記第２周波数成分抽出ステップで前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出ステップとを含むことを特徴とする多点測距方法。

Images