JP2019143986A - 測距装置および撮像装置 - Google Patents

Abstract

【課題】環境の変化によらず被写体距離を高精度に算出することが可能な測距装置を提供する。【解決手段】測距装置１は、複数の視差画像を形成する撮像光学系１１１ａ、１１１ｂと、撮像光学系１１１ａ、１１１ｂの縮小側から拡大側へ向かって照射光を発する発光部１１３ａ、１１３ｂと、照射光が撮像光学系を通って反射された戻り光に関する情報を検出する検出部１１２と、戻り光に関する情報と複数の視差画像とに基づいて、被写体に関する距離情報を算出する画像処理部２０とを有する。【選択図】図１

Description

本発明は、監視カメラや車載カメラなどの撮像装置に適して用いられ、被写体までの距離を測定する測距装置に関する。

特許文献１には、先行車両のブレーキランプの幅を参考情報として、先行車両の近距離画像と遠距離画像とを用いて視差オフセット値を補正する画像処理装置が開示されている。特許文献２には、温度変化に応じて基線長および光学系の焦点距離を補正して測距結果の誤差を補正する測距装置が開示されている。

特開２０１７−９３８８号公報 特開２０１３−１２７４１６号公報

しかしながら、特許文献１に開示された画像処理装置は、前方に車両が存在しない場合、測距結果の誤差を補正することができない。特許文献２に開示された測距装置は、温度変化に起因する誤差を補正することができるが、その他の要因による光学特性の誤差を補正することはできない。特に車載カメラでは、衝突防止のため、環境の変化によらず前方の車両からの距離を高精度に把握することが望まれる。

そこで本発明は、環境の変化によらず被写体距離を高精度に算出することが可能な測距装置および撮像装置を提供することを目的とする。

本発明の一側面としての測距装置は、複数の視差画像を形成する撮像光学系と、前記撮像光学系の縮小側から拡大側へ向かって照射光を発する発光部と、前記照射光が前記撮像光学系を通って反射された戻り光に関する情報を検出する検出部と、前記戻り光に関する情報と前記複数の視差画像とに基づいて、被写体に関する距離情報を算出する画像処理部とを有する。

本発明の他の側面としての撮像装置は、画像を取得する第１の撮像部と、複数の視差画像を取得する第２の撮像部とを有し、前記第２の撮像部は、前記複数の視差画像を形成する撮像光学系と、前記撮像光学系の縮小側から拡大側へ向かって照射光を発する発光部と、前記照射光が前記撮像光学系を通って反射された戻り光に関する情報を検出する検出部と、前記戻り光に関する情報と前記複数の視差画像とに基づいて、被写体に関する距離情報を算出する画像処理部とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、環境の変化によらず被写体距離を高精度に算出することが可能な測距装置および撮像装置を提供することができる。

実施例１における測距装置のブロック図である。 実施例１における測距装置の外観図である。 実施例１における測距方法のフローチャートである。 実施例１における撮像部の構成図（変形していない状態）である。 実施例１における撮像部の構成図（変形した状態）である。 実施例２における測距方法のフローチャートである。 実施例２における撮像部の構成図（変形していない状態）である。 実施例２における撮像部の構成図（変形した状態）である。 実施例３における撮像装置の外観図である。 各実施例における被写体距離の算出方法の説明図である。 各実施例における対応被写体探索処理の説明図である。 各実施例における撮像光学系が変形した場合の被写体距離の算出方法の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１０を参照して、２つの撮像光学系を用いて被写体距離を取得する方法について説明する。図１０は、被写体距離の算出方法の説明であり、互いに同一の構造を有する２つの撮像光学系ＣＡ、ＣＢを用いて撮影シーンのうちの１点に存在する被写体Ｏｂｊを撮像する様子を示している。撮像素子ＳＡ、ＳＢはそれぞれ、撮像光学系ＣＡ、ＣＢにより形成された被写体像（光学像）を受光する。撮像光学系ＣＡ、ＣＢのそれぞれの入射瞳中心は（−Ｄ／２，０）、（Ｄ／２，０）に存在し、被写体Ｏｂｊは（ｘ、ｚ）に存在する。撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離をｆ、撮像素子ＳＡ、ＳＢのそれぞれにおける被写体Ｏｂｊの座標をａ、ｂとすると、以下の式（１）が成立する。

式（１）において、ｂ−ａは、互いに異なる視点から同一の被写体を撮像した際の撮像面上での位置のずれ、すなわち視差である。視差ｂ−ａ（視差量）を取得することができれば、視差ｂ−ａ、撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離ｆ、および、基線長Ｄを式（１）に代入することにより、被写体距離ｚ（撮像光学系の入射瞳中心から被写体Ｏｂｊまでの距離）を算出することができる。

続いて、図１１を参照して、２つの撮像光学系を用いて取得された２つの画像から視差量を取得するための対応被写体探索処理について説明する。図１１は、対応被写体探索処理の説明図であり、互いに異なる視点から撮像された画像ＩＭＧ１、ＩＭＧ２を示している。画像座標（Ｘ，Ｙ）は、図１１中に示される画素群の中心を原点として定義し、水平方向をＸ軸、垂直方向をＹ軸とする。また、画像座標（Ｘ，Ｙ）に位置する画像ＩＭＧ１の画素値をＦ１（Ｘ，Ｙ）とし、画像ＩＭＧ２の画素値をＦ２（Ｘ，Ｙ）として説明する。画像ＩＭＧ１における任意の座標（Ｘ，Ｙ）に対応する画像ＩＭＧ２の画素は、座標（Ｘ，Ｙ）における画像ＩＭＧ１の画素値Ｆ１（Ｘ，Ｙ）と最も類似する画像ＩＭＧ２の画素値を探すことで求めることができる。なお、以降の説明において、画像上の対応点と対応画素とは同一の意味である。

ここで、図１１に示される画像ＩＭＧ１、ＩＭＧ２上の縦線で示される画素Ｐ１、Ｐ２は、互いに同じ被写体からの光を記録した、対応画素（対応点）に相当する。ただし、一般的に任意の画素と最も類似する画素を探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用い、ブロックマッチング法と呼ばれる手法で類似画素を探索することができる。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。画像ＩＭＧ１の任意の座標（Ｘ，Ｙ）の画素（注目画素）、および、その前後の座標（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）に位置する２つの画素の計３画素の画素値はそれぞれ、Ｆ１（Ｘ，Ｙ）、Ｆ１（Ｘ−１，Ｙ）、Ｆ１（Ｘ＋１，Ｙ）となる。これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた画像ＩＭＧ２の画素の画素値はそれぞれ、Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）となる。このとき、画像ＩＭＧ１の座標（Ｘ，Ｙ）に位置する注目画素と、画像ＩＭＧ２の座標（Ｘ＋ｋ，Ｙ）に位置する画素との類似度Ｅは、以下の式（２）のように定義される。

式（２）において逐次ｋの値を変えて類似度Ｅを算出し、最も小さい類似度Ｅを与える座標（Ｘ＋ｋ、Ｙ）が、画像ＩＭＧ１の注目画素に対応する画像ＩＭＧ２の画素の座標となる。ここでは、Ｘ方向にのみ逐次座標を変化させながら類似度Ｅを算出しているが、Ｙ方向、または、Ｘ方向およびＹ方向の両方向にも逐次座標を変化させながら類似度Ｅを算出してもよい。このような対応被写体探索処理を行うことにより、２つの画像のそれぞれにおける対応点（対応画素）の座標を取得することができ、それらの相違量である視差量を算出することが可能である。

本実施形態では、ブロックサイズが３である場合のブロックマッチング処理について説明したが、前述の処理において、探索範囲およびブロックサイズは変更可能なパラメータである。視差量が事前にある程度予測される場合には、探索範囲をある領域に絞って処理を行うことで、処理負荷を大幅に低減して高速化を図ることができる。ブロックサイズについては、一般的に被写体の構造サイズに合わせて設定することにより、視差量の算出精度を向上させることができる。また、特に画像がボケている場合、そのボケ量を加味してブロックサイズを拡大することにより、視差量の算出誤差を低減することができる。また、類似度Ｅに対して直線フィッティングやパラボラフィッティングによってサブ画素レベルで視差量を算出する手法が知られている。これらのフィッティング関数は、画像の鮮鋭度に応じてサブ画素算出誤差が変化することが知られており、画像の鮮鋭度に応じて関数を選択することも可能である。

以上説明したように、２つの撮像光学系を用いて取得した２つの画像において対応被写体探索処理を行うことにより視差量を算出し、この視差量に基づいて被写体距離を算出することができる。また、撮像光学系に応じて視差量と像面移動量であるデフォーカス量との関係は決定される。このため、その視差量に基づいてデフォーカス量を算出することができる。そして、そのデフォーカス量に基づいてレンズの繰り出し量を求め、レンズを移動し合焦させることができる（位相差ＡＦ）。以降、本明細書中では、被写体距離、視差量、デフォーカス量、または、位相差情報を被写体距離に関する情報という意味で距離情報とも表現する。

ここで、前述の被写体距離ｚの算出では、撮像光学系ＣＡ、ＣＢを用いて（ｘ、ｚ）に存在する被写体Ｏｂｊを撮像した場合、撮像素子ＳＡ、ＳＢ上の常に同じ位置である座標ａ、ｂに被写体Ｏｂｊの像が生じることを前提としている。この前提条件は、撮像光学系ＣＡ、ＣＢが変形しない場合には常に成り立つが、撮像光学系ＣＡ、ＣＢが変形した場合にはその限りではない。一例として、図１２は、図１０に示される撮像光学系ＣＡが左方向に偏芯し、撮像光学系ＣＢが左回りに傾いた場合の状態を模式的に示している。この状態で撮像光学系ＣＡ、ＣＢを用いて（ｘ、ｚ）に存在する被写体Ｏｂｊを撮像した場合、被写体Ｏｂｊの像が生じる座標は、撮像素子ＳＡではａ＋ｃの位置、撮像素子ＳＢではｂ＋ｄの位置となる。すなわち、初期状態である図１０から撮像光学系が変形した図１２の状態への変化により、撮像素子ＳＡ、ＳＢ上の像位置がそれぞれ像ズレ量ｃ、ｄだけずれる。式（１）から明らかなように、分母に像ズレ量ｃ、ｄが加わるため、式（１）の右辺の値は被写体距離ｚとは異なる値となる。すなわち、撮像光学系の変形による像ズレ量の発生により、被写体距離ｚの算出に誤差が生じる。

本実施形態は、撮像光学系および撮像素子を介して複数の視差画像を取得し、視差画像に基づいて距離情報を算出する測距装置であって、撮像光学系の縮小側から拡大側に向かって照射光を発する発光部を有する。また測距装置は、照射光が撮像光学系を通って測距装置を構成する任意の面により反射された戻り光を検出する検出部を有する。また測距装置は、検出部により検出された戻り光に関する情報に基づいて像ズレ量を検出する。そして測距装置は、像ズレ量に基づいて測距のための補正値を算出し、補正値と複数の視差画像とに基づいて距離情報を算出する。このような構成により、撮像光学系の変位や変形による像ズレが発生した場合でも、距離算出精度を向上させることができる。ここまで、本実施形態の測距装置による距離算出方法の概要について説明した。以下、測距装置（撮像装置）について、各実施例において詳述する。

まず、図１および図２を参照して、本発明の実施例１における測距装置について説明する。図１は、測距装置１のブロック図である。図２は、測距装置１の外観図である。

測距装置１は、主として被写体の距離情報を取得する撮像部１１０を有する。撮像部１１０は、撮像光学系１１１ａ、１１１ｂ、撮像素子１１２、および、発光部１１３ａ、１１３ｂを有する。撮像素子１１２は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子である。発光部１１３ａ、１１３ｂは、レーザやＬＥＤなどの固体発光素子（光源部）である。撮像光学系１１１ａ、１１１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１１２上に結像させる単焦点撮像光学系である。撮像素子１１２は、撮像光学系１１１ａ、１１１ｂをそれぞれ介して形成された光学像（被写体像）を光電変換してアナログ電気信号（画像信号）を出力する。Ａ／Ｄコンバータ１０は、撮像素子１１２により生成されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０に出力する。

画像処理部２０は、２つの画像を生成する。画像処理部２０は、Ａ／Ｄコンバータ１０から出力されるデジタル信号に対して、画素補間処理、輝度信号処理、および、色信号処理など、いわゆる現像処理を行う。画像処理部２０により生成される２つの画像は、撮像光学系１１１ａ、１１１ｂのそれぞれにより形成された被写体像に相当し、互いに視差を有する複数（２つ）の視差画像である。また、画像処理部２０で生成された画像は、半導体メモリや光ディスクなどの画像記憶媒体６０に記録される。また、画像処理部２０で生成された画像を表示部７０に表示してもよい。入力部５０は、ユーザの操作により様々な情報が入力される。入力部５０を介して入力される情報の一例としては、画像取得時の撮像条件であり、具体的にはＦ値やＩＳＯ感度などである。

システムコントローラ３０は、撮像制御部４０を介して撮像部１１０に設けられた撮像素子１１２を制御して撮像を行う。またシステムコントローラ３０は、撮像制御部４０を介して撮像部１１０に設けられた発光部１１３ａ、１１３ｂを制御し、発光部１１３ａ、１１３ｂから光を照射する。発光部１１３ａ、１１３ｂから撮像光学系１１１ａ、１１１ｂのそれぞれの拡大側（物体側）に向けて照射された光は、撮像光学系１１１ａ、１１１ｂを通って光学面１１１Ｓａ、１１１Ｓｂで反射する。そして光学面１１１Ｓａ、１１１Ｓｂで反射した光は、撮像光学系１１１ａ、１１１ｂの縮小側（像側）へ向けて再度、撮像光学系１１１ａ、１１１ｂを通り、戻り光として戻ってくる。戻り光の一部は、撮像素子１１２に到達し、画像信号（戻り光に関する情報）として検出される。

本実施例において、発光部１１３ａ、１１３ｂは、人の目では見えない不可視光である近赤外光を照射する近赤外光源である。また、撮像光学系１１１ａ、１１１ｂの第一面である光学面１１１Ｓａ、１１１Ｓｂは、近赤外光を反射する反射膜を有する。本実施例および後述する各実施例において、可視光の波長は４００ｎｍ〜７００ｎｍであり、近赤外光の波長は７００ｎｍ〜２５００ｎｍであるものとして説明する。好ましくは、光学面１１１Ｓａ、１１１Ｓｂのそれぞれに形成された反射膜は、７００ｎｍ〜２５００ｎｍの波長の近赤外光に対して９０％以上の反射率を有する。このような構成により、測距のための通常撮影に不要となる外部からの近赤外光を光学面１１１Ｓａ、１１１Ｓｂで遮断することができる。また、撮像部１１０の内部に設けられた発光部１１３ａ、１１３ｂからの近赤外光を効率的に反射させることにより、撮像素子１１２での戻り光の検出効率を高めることが可能である。

撮像素子１１２における光電変換により生成された戻り光のアナログ電気信号（画像信号）は、Ａ／Ｄコンバータ１０でデジタル信号に変換されて画像処理部２０に入力される。画像処理部２０の補正値算出部２１は、画像処理部２０に入力された戻り光に相当する画像信号に基づいて、像ズレ量を算出する。また補正値算出部２１は、補正値算出部２１により算出された２つの撮像光学系１１１ａ、１１１ｂの像ズレ量に基づいて、測距のための補正値を算出する。メモリ（記憶部）８０は、測距装置１を組み立てた初期状態での補正値などの補正情報を記憶している。画像処理部２０の距離情報算出部２２は、画像処理部２０により生成された２つの視差画像と、補正値算出部２１により算出された補正値とを用いて、被写体距離を算出する。なお距離情報算出部２２は、入力部５０を介して指定された特定の領域または特定の被写体の距離を算出してもよい。

撮像部１１０を構成する撮像光学系１１１ａ、１１１ｂは、最も被写体に近いレンズ同士の間の長さが５０ｍｍになるように配置されており、この長さは撮像部１１０の基線長Ｄに相当する。撮像光学系１１１ａ、１１１ｂは、互いに同一の構成であって、左右対称になるように平行に配置されている。また、撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの画角は同一である。本実施例において、撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

次に、図３を参照して、測距装置１による測距方法について説明する。図３は、本実施例における測距方法のフローチャートである。図３の各ステップは、主にシステムコントローラ３０または画像処理部２０により実行される。まずステップＳ１０１において、システムコントローラ３０は、撮像制御部４０を介して撮像部１１０を制御して撮像を行うことにより、２つの画像を取得する。また同時に、システムコントローラ３０は、発光部１１３ａ、１１３ｂを発光させる。

ここで、図４を参照して、撮像光学系１１１ａ、１１１ｂが変形していない状態における撮像部１１０の構成について説明する。図４は、撮像部１１０の構成図である。図４（ａ）に示されるように、撮像光学系１１１ａは、２つのレンズ１１５ａ１、１１５ａ２と２つのプリズム１１６ａ１、１１６ａ２とを備えて構成されている。同様に、撮像光学系１１１ｂは、２つのレンズ１１５ｂ１、１１５ｂ２と２つのプリズム１１６ｂ１、１１６ｂ２とを備えて構成されている。図４（ａ）において、撮像光学系１１１ａ、１１１ｂの光軸ＯＡ１、ＯＡ２がそれぞれ一本鎖線で示されている。撮像光学系１１１ａの光軸ＯＡ１は、Ｘ−Ｚ平面においてプリズム１１６ａ１で９０度、プリズム１１６ａ２でそれぞれ−９０度折り曲げられ、撮像素子１１２に入射する。すなわち、２つのプリズム１１６ａ１、１１６ａ２はそれぞれ、撮像光学系１１１ａの光軸ＯＡ１を９０度屈曲させる。同様に、撮像光学系１１１ｂにおける２つのプリズム１１６ｂ１、１１６ｂ２は、光軸ＯＡ２を９０度屈曲させる。撮像光学系１１１ａ、１１１ｂは互いに同一の構成を有し、撮像素子１１２の中心を通り、Ｚ軸に平行な直線に対して回転対称になるように配置されている。

このように、光軸ＯＡ１、ＯＡ２を２回折り曲げる反射部材（プリズム）を２つ組み合わせることで、２つの撮像光学系１１１ａ、１１１ｂに１つの撮像素子１１２が対応する場合でも、長い基線長Ｄを実現することができる。これは、基線長Ｄは、２つの撮像光学系１１１ａ、１１１ｂの入射瞳の中心を結ぶ線分であり、撮像部１１０においては、撮像光学系１１１ａ、１１１ｂのそれぞれの被写体に最も近いレンズの中心間の距離に相当するためである。

図４（ｂ）において、基線長Ｄを一点鎖線で示している。また図４（ｂ）において、撮像光学系１１１ａのイメージサークルをＩＣａ、光軸ＯＡ１と撮像素子１１２との交点をＯＣａ、画像読み出し領域をＲａとしてそれぞれ示している。また図４（ｂ）において、撮像光学系１１１ｂのイメージサークルをＩＣｂ、光軸ＯＡ２と撮像素子１１２との交点をＯＣｂ、画像読み出し領域をＲｂとしてそれぞれ示している。このように、撮像光学系１１１ａ、１１１ｂは、光軸ＯＡ１、ＯＡ２と撮像素子１１２との交点ＯＣａ、ＯＣｂとをそれぞれ結ぶ直線と、基線長Ｄとが互いに略水平（平行）となるように配置されている。また、撮像素子１１２は、その長辺が基線長Ｄと略平行になり、その短辺が基線長Ｄと略垂直となるように配置されている。

画像読み出し領域Ｒａ、Ｒｂは、撮像光学系１１１ａ、１１１ｂのそれぞれに対応する画素領域である。画像読み出し領域Ｒａ、Ｒｂ内の画素を読み出すことにより、撮像光学系１１１ａ、１１１ｂのそれぞれが形成した被写体像（光学像）を画像として取得する。図４の状態（撮像光学系１１１ａ、１１１ｂが変形していない状態）では、発光部１１３ａ、１１３ｂから拡大側へ照射された照射光は、撮像光学系１１１ａ、１１１ｂの第一面である光学面１１１Ｓａ、１１１Ｓｂでそれぞれ反射され、縮小側へ戻り光として戻る。発光部１１３ａ、１１３ｂはそれぞれ、画像読み出し領域Ｒａ、Ｒｂの範囲外かつイメージサークルＩＣａ、ＩＣｂの内側に配置されており、その戻り光は各光軸を挟んだ反対側の位置Ｂａ、Ｂｂにそれぞれ戻る。

次に、図５を参照して、撮像光学系１１１ａ、１１１ｂが変形した状態における撮像部１１０の構成について説明する。図５は、撮像部１１０の構成図である。変形の例として、ここでは撮像光学系１１１ａ、１１１ｂのプリズム１１６ａ１、１１６ｂ１が内側に倒れた状態を説明する。このような変形が生じた場合、図４（ａ）に示されるような光路（光軸ＯＡ１、ＯＡ２）を通っていた軸上光線は、図５（ａ）中に一点鎖線で示すように、プリズム１１６ａ１、１１６ｂ１で光路（光軸ＯＡ１’、ＯＡ２’）が傾く。その結果、図５（ｃ）に示されるように、元々の光軸光線が交点ＯＣａ’、ＯＣｂ’とそれぞれ像ズレ量ｃ、ｄだけ内側にずれた場所に到達する。同様に、本実施例の構成で発光部１１３ａ、１１３ｂから図５（ｂ）に破線で示されるように拡大側に照射された照射光は、撮像光学系１１１ａ、１１１ｂのそれぞれの第一面である光学面１１１Ｓａ、１１１Ｓｂで反射され、縮小側へ戻る。その戻り光は、図５（ｂ）の実線で示されるように、同様の像ズレ量ｃ、ｄだけ内側にずれた位置Ｂａ’，Ｂｂ’にそれぞれ戻る。このように、撮像光学系１１１ａ、１１１ｂの最も拡大側（物体側）に配置された光学素子である光学面（プリズム面）１１１Ｓａ、１１１Ｓｂに照射光の反射面を設置することにより、撮像光学系１１１ａ、１１１ｂの全系を照射光が往復することができる。すなわち、撮像光学系１１１ａ、１１１ｂを構成する全ての光学素子の倒れや偏芯などの影響を検出することが可能となる。

続いて、図３のステップＳ１０２において、システムコントローラ３０は、撮像素子（検出部）１１２を用いて、戻り光の位置を検出する。変形が生じていない図４に示される状態の場合、戻り光の位置は初期状態における位置と変わらないため、検出位置は０となる。ここで、初期状態との比較として、システムコントローラ３０は、メモリ８０から初期状態時の戻り光の位置情報を取得して比較することも可能である。一方、変形が生じた場合である図５に示される状態の場合、初期状態から内向きに像ズレ量ｃ、ｄがそれぞれ発生している。すなわち、撮像光学系１１１ａの戻り光の位置は−ｃとなり、撮像光学系１１１ｂの戻り光の位置は−ｄとなる。なお本実施例において、戻り光の位置検出を撮像と同時に毎回実施するように構成されているが、これに限定されるものではない。これは、撮像光学系１１１ａ、１１１ｂの変形が常に生じ続けるわけではないためであり、変形が生じうる頻度に応じて任意に戻り光の検出や後段の補正値の算出処理を低減させることができる。例えば、撮影３０フレーム毎に１回の戻り光検出を実行する又は１時間毎に実行するなどの例が考えられる。

続いてステップＳ１０３において、補正値算出部２１は、戻り光の位置情報に基づいて、測距に必要となる補正値を算出する。本実施例のように撮像光学系１１１ａ、１１１ｂの第一プリズム面である光学面１１１Ｓａ、１１１Ｓｂを反射面とする場合、図５に示されるように、プリズム１１６ａ１、１１６ｂ１の倒れにより生じる撮像画像の像ズレ量が戻り光のズレ量と同じとなる。すなわち、レンズ鏡筒の変形によるプリズムの倒れにより生じる像ズレ量が、初期状態からの戻り光のズレ量により検出可能となる。本実施例では、補正値として撮像光学系１１１ａに対しては−ｃ、撮像光学系１１１ｂに対しては−ｄという補正値を算出する。本実施例では、前述のような補正値となるが、発光部１１３ａ、１１３ｂからの照射光を反射させる反射面の設置位置に応じて、戻り光の位置情報と補正値との関係は変化する。このため、メモリ８０に戻り光の位置情報から補正値の換算関数を保存しておいてもよい。

続いてステップＳ１０４において、距離情報算出部２２は、２つの撮影画像とステップＳ１０３にて算出された補正値とに基づいて、距離情報を算出する。被写体距離を算出する際に必要となる撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離、基線長Ｄ、撮像素子１１２の画素サイズなどの情報はメモリ８０に格納されている。距離情報算出部２２は、メモリ８０から適宜その情報を受け取ることができる。距離情報算出部２２は、前述の対応被写体探索処理により、２つの撮影画像から各被写体の視差量を算出する。図５に示されるような変形が生じた状態で撮像された２つの画像から算出される視差量は、像ズレ量を含む値である。本実施例において、一例として、算出された視差量は（ａ＋ｃ＋ｂ＋ｄ）であり、正確な視差量は（ａ＋ｂ）であるとする。このため、そのままの視差量を用いて式（１）から被写体距離を算出すると、像ズレ量（ｃ＋ｄ）の誤差が距離情報に生じてしまう。そこで、ステップＳ１０３にて算出された像ズレ量に相当する補正値を用い、算出された視差量から像ズレ量を差し引くことにより、像ズレにより生じる距離情報の誤差を低減することが可能となる。

このように本実施例において、測距装置は、撮像光学系１１１ａ、１１１ｂ、発光部１１３ａ、１１３ｂ、検出部（撮像素子１１２）、および、画像処理部２０を有する。撮像光学系１１１ａ、１１１ｂは、複数の視差画像を形成する。発光部１１３ａ、１１３ｂは、撮像光学系１１１ａ、１１１ｂの縮小側から拡大側へ向かって照射光を発する。検出部は、照射光が撮像光学系１１１ａ、１１１ｂを通って反射された戻り光に関する情報を検出する。画像処理部２０は、戻り光に関する情報と複数の視差画像とに基づいて、被写体に関する距離情報を算出する。好ましくは、画像処理部２０は、戻り光に関する情報に基づいて測距のための補正値を算出する補正値算出部２１と、補正値と複数の視差画像とに基づいて距離情報を算出する距離情報算出部２２とを有する。より好ましくは、距離情報算出部２２は、複数の視差画像に基づいて、被写体に関する視差量を算出し、視差量に基づいて距離情報を算出する。また好ましくは、戻り光に関する情報は、戻り光の位置情報である。より好ましくは、補正値算出部２１は、戻り光の位置情報に基づいて、視差量に含まれる像ズレ量を補正するための補正値を算出する。このような構成により、光学系の変位や変形による像ズレが発生した場合でも、距離算出精度を向上させることができる。

次に、本発明の実施例２における測距装置について説明する。図７は、本実施例の測距装置における撮像部１２０の構成図である。なお、本実施例の測距装置の構成は、撮像部１２０を除き、図１を参照して説明した実施例１の測距装置１と同様であるため、それらの説明を省略する。

撮像部１２０は、撮像光学系１２１ａ、１２１ｂ、撮像素子１２２、および、発光部１２３ａ、１２３ｂを有する。システムコントローラ３０は、撮像制御部４０を介して撮像部１２０の発光部１２３ａ、１２３ｂを制御し、発光部１２３ａ、１２３ｂから光を照射する。発光部１２３ａ、１２３ｂから撮像光学系１２１ａ、１２１ｂの拡大側に向けた照射光は、撮像光学系１２１ａ、１２１ｂを通り、カバーガラス（最も拡大側に配置された光学素子）１２７ａ、１２７ｂの裏面である光学面１２１Ｓａ、１２１Ｓｂで反射される。そして、その反射光は、撮像光学系１２１ａ、１２１ｂの縮小側へ、再度、撮像光学系１２１ａ、１２１ｂを通り戻り光として戻る。戻り光の一部は、撮像素子１２２に到達し、画像信号（戻り光に関する情報）として検出される。

本実施例において、発光部１２３ａ、１２３ｂは、人の目では見えない不可視光である近赤外光を照射する近赤外光源である。また、撮像光学系１２１ａ、１２１ｂの第二面である光学面１２１Ｓａ、１２１Ｓｂには、近赤外光を反射する反射膜が形成されている。このような構成により、測距のための通常撮影に不要となる外部からの近赤外光を光学面１２１Ｓａ、１２１Ｓｂで遮断することができる。また、発光部１２３ａ、１２３ｂからの近赤外光を効率的に反射させることにより、撮像素子１２２での戻り光の検出効率を高めることが可能となる。なお本実施例では発光部１２３ａ、１２３ｂが近赤外光源であるが、可視光を発光する光源としてもよい。その場合、カバーガラス１２７ａ、１２７ｂの裏面である光学面１２１Ｓａ、１２１Ｓｂに近赤外光の反射膜を形成する必要はない。また、光学面１２１Ｓａ、１２１Ｓｂへ発光部１２３ａ、１２３ｂの発光波長域で反射強度が大きくなる特性を有する反射膜を形成してもよい。

撮像光学系１２１ａ、１２１ｂは、最も被写体に近いレンズ同士の間の長さが５０ｍｍになるように配置されており、この長さが撮像部１２０の基線長Ｄに相当する。撮像光学系１２１ａ、１２１ｂは、互いに同一の構成であって、左右対称になるように平行に配置されている。また、撮像部１２０を構成する２つの撮像光学系１２１ａ、１２１ｂの画角は同一である。本実施例において、撮像光学系１２１ａ、１２１ｂのそれぞれの焦点距離は、３５ｍｍ判換算で４００ｍｍである。

次に、図６を参照して、本実施例の測距装置による測距方法について説明する。図６は、本実施例における測距方法のフローチャートである。図６の各ステップは、主にシステムコントローラ３０または画像処理部２０により実行される。

まずステップＳ２０１において、システムコントローラ３０は、発光部１２３ａ、１２３ｂを発光制御させるか否かを判定する。発光制御させる場合、ステップＳ２０２へ移行する。一方、発光制御させない場合、ステップＳ２０６へ移行する。システムコントローラ３０は、温度検出手段（不図示）による温度測定結果や振動検出手段（不図示）による振動量測定結果に基づいて撮像光学系１２１ａ、１２１ｂの変形要因が検出されたか否かを判定することにより、発光制御判定を行うこともできる。本実施例において、システムコントローラ３０は、１時間毎に発光部１２３ａ、１２３ｂを発光制御させるタイマー機能を有する。

ステップＳ２０６において、システムコントローラ３０は、撮像制御部４０を介して撮像部１２０を制御して撮像を行うことにより、２つの画像を取得する。

ステップＳ２０２において、システムコントローラ３０は、撮像制御部４０を介して撮像部１２０を制御して撮像を行うことにより、２つの画像を取得する。また同時に、システムコントローラ３０は、発光部１２３ａ、１２３ｂを発光させる。

ここで、図７を参照して、撮像光学系１２１ａ、１２１ｂが変形していない状態における撮像部１２０の構成について説明する。図７（ａ）に示されるように、撮像光学系１２１ａは、２つのレンズ１２５ａ１、１２５ａ２と２つのプリズム１２６ａ１、１２６ａ２とカバーガラス１２７ａとを備えて構成されている。同様に、撮像光学系１２１ｂは、２つのレンズ１２５ｂ１、１２５ｂ２と２つのプリズム１２６ｂ１、１２６ｂ２とカバーガラス１２７ｂを備えて構成されている。図７（ａ）において、撮像光学系１２１ａ、１２１ｂの光軸ＯＡ１、ＯＡ２がそれぞれ一本鎖線で示されている。撮像光学系１２１ａの光軸ＯＡ１は、Ｘ−Ｚ平面においてプリズム１１６ａ１で９０度、プリズム１１６ａ２でそれぞれ−９０度折り曲げられ、撮像素子１２２に入射する。すなわち、２つのプリズム１２６ａ１、１２６ａ２はそれぞれ、撮像光学系１２１ａの光軸ＯＡ１を９０度屈曲させる。同様に、撮像光学系１２１ｂにおける２つのプリズム１２６ｂ１、１２６ｂ２は、光軸ＯＡ２を９０度屈曲させる。撮像光学系１２１ａ、１２１ｂは互いに同一の構成を有し、撮像素子１２２の中心を通り、Ｚ軸に平行な直線に対して回転対称になるように配置されている。

このように、光軸ＯＡ１、ＯＡ２を２回折り曲げる反射部材（プリズム）を２つ組み合わせることで、２つの撮像光学系１２１ａ、１２１ｂに１つの撮像素子１２２が対応する場合でも、長い基線長Ｄを実現することができる。これは、基線長Ｄは、２つの撮像光学系１２１ａ、１２１ｂの入射瞳の中心を結ぶ線分であり、撮像部１２０においては、撮像光学系１２１ａ、１２１ｂのそれぞれの被写体に最も近いレンズの中心間の距離に相当するためである。

図７（ｂ）において、基線長Ｄを一点鎖線で示している。また図７（ｂ）において、撮像光学系１２１ａのイメージサークルをＩＣａ、光軸ＯＡ１と撮像素子１２２との交点をＯＣａ、画像読み出し領域をＲａとしてそれぞれ示している。また図７（ｂ）において、撮像光学系１２１ｂのイメージサークルをＩＣｂ、光軸ＯＡ２と撮像素子１２２との交点をＯＣｂ、画像読み出し領域をＲｂとしてそれぞれ示している。このように、撮像光学系１２１ａ、１２１ｂは、光軸ＯＡ１、ＯＡ２と撮像素子１２２との交点ＯＣａ、ＯＣｂとをそれぞれ結ぶ直線と、基線長Ｄとが互いに略水平（平行）となるように配置されている。また、撮像素子１２２は、その長辺が基線長Ｄと略平行になり、その短辺が基線長Ｄと略垂直となるように配置されている。

図７の状態（撮像光学系１２１ａ、１２１ｂが変形していない状態）において、発光部１２３ａ、１２３ｂから拡大側に照射された光は、撮像光学系１２１ａ、１２１ｂのカバーガラス１２７ａ、１２７ｂの裏面である光学面１２１Ｓａ、１２１Ｓｂで反射される。光学面１２１Ｓａ、１２１Ｓｂで反射された反射光は、縮小側へ戻り光として戻る。発光部１２３ａ、１２３ｂはそれぞれ、画像読み出し領域Ｒａ、Ｒｂの範囲外かつイメージサークルＩＣａ、ＩＣｂの内側に配置されており、その戻り光は各光軸を挟んだ反対側の位置Ｂａ、Ｂｂにそれぞれ戻る。

次に、図８を参照して、撮像光学系１２１ａ、１２１ｂが変形した状態における撮像部１２０の構成について説明する。図８は、撮像部１２０の構成図である。変形の例として、ここでは撮像光学系１２１ａ、１２１ｂのプリズム１２６ａ２、１２６ｂ２が内側に倒れた状態を説明する。

このような変形が生じた場合、図７（ａ）に示されるような光路（光軸ＯＡ１、ＯＡ２）を通っていた軸上光線は、図８（ａ）中に一点鎖線で示すように、プリズム１２６ａ２、１２６ｂ２で光路（光軸ＯＡ１’、ＯＡ２’）が傾く。その結果、図８（ｃ）に示されるように、元々の光軸光線が交点ＯＣａ’、ＯＣｂ’とそれぞれ像ズレ量ｃ、ｄだけ内側にずれた場所に到達する。同様に、本実施例の構成で発光部１２３ａ、１２３ｂから図８（ｂ）に破線で示されるように拡大側に照射された照射光は、カバーガラス１２７ａ、１２７の裏面である光学面１２１Ｓａ、１２１Ｓｂで反射され、縮小側へ戻る。その戻り光は、図８（ｂ）の実線で示されるように、同様の像ズレ量ｃ、ｄだけ内側にずれた位置Ｂａ’，Ｂｂ’にそれぞれ戻る。このように本実施例では、撮像光学系１２１ａ、１２１ｂの最も拡大側（物体側）に配置された光学素子であるカバーガラス１２７ａ、１２７ｂの光学面１２１Ｓａ、１２１Ｓｂに照射光の反射面を設置する。これにより、撮像光学系１１１ａ、１１１ｂの全系を照射光が往復することができる。すなわち、撮像光学系１１１ａ、１１１ｂを構成する全ての光学素子の倒れや偏芯などの影響を検出することが可能となる。

続いて、図６のステップＳ２０３において、システムコントローラ３０は、撮像素子（検出部）１２２を用いて、戻り光の位置を検出する。変形が生じていない図７に示される状態の場合、戻り光の位置は初期状態における位置と変わらないため、検出位置は０となる。ここで、初期状態との比較として、システムコントローラ３０は、メモリ８０から初期状態時の戻り光の位置情報を取得して比較することも可能である。一方、変形が生じた場合である図８に示される状態の場合、初期状態から内向きに像ズレ量２ｃ、２ｄがそれぞれ発生している。すなわち、撮像光学系１２１ａの戻り光の位置は−２ｃとなり、撮像光学系１２１ｂの戻り光の位置は−２ｄとなる。

続いてステップＳ２０４において、補正値算出部２１は、戻り光の位置情報に基づいて、測距に必要となる補正値を算出する。本実施例のようにカバーガラス１２７ａ、１２７ｂの裏面である光学面１１１Ｓａ、１１１Ｓｂを反射面とする場合、図８に示されるように、プリズム１２６ａ２、１２６ｂ２の倒れにより生じる撮像画像の像ズレ量が戻り光のズレ量の半分となる。これは、発光部１２３ａ、１２３ｂからの照射光が撮像光学系１２１ａ、１２１ｂを往復するためである。すなわち、レンズ鏡筒の変形によるプリズムの倒れにより生じる像ズレ量が、初期状態からの戻り光のズレ量によって検出可能となる。本実施例では、補正値として撮像光学系１２１aに対しては-ｃ、撮像光学系１２１ｂに対しては-ｄという補正値を算出する。本実施例では、前述のような補正値となるが、発光部１２３ａ、１２３ｂからの照射光を反射させる反射面の設置位置に応じて、戻り光の位置情報と補正値の関係は変化する。このため、メモリ８０に戻り光の位置情報から補正値を換算するテーブルを保存しておいてもよい。

続いてステップＳ２０５において、距離情報算出部２２は、２つの撮影画像とステップＳ２０４にて算出された補正値とに基づいて、距離情報を算出する。被写体距離を算出する際に必要となる撮像部１２０を構成する２つの撮像光学系１２１ａ、１２１ｂの焦点距離、基線長Ｄ、撮像素子１２２の画素サイズなどの情報はメモリ８０に格納されている。距離情報算出部２２は、メモリ８０から適宜その情報を受け取ることができる。距離情報算出部２２は、前述の対応被写体探索処理により、２つの撮影画像から各被写体の視差量を算出する。図８に示されるような変形が生じた状態で撮像された２つの画像から算出される視差量は、像ズレ量を含む値である。本実施例において、一例として、算出された視差量は（ａ＋ｃ＋ｂ＋ｄ）であり、正確な視差量は（ａ＋ｂ）であるとする。このため、そのままの視差量を用いて式（１）から被写体距離を算出すると、像ズレ量（ｃ＋ｄ）の誤差が距離情報に生じてしまう。そこで、ステップＳ２０４にて算出された像ズレ量に相当する補正値を用い、算出された視差量から像ズレ量を差し引くことにより、像ズレにより生じる距離情報の誤差を低減することが可能となる。また、ステップＳ２０６からステップＳ２０５へ移行する経路では、補正値として最も新しく算出した値をメモリ８０に保存しておき、その最新の補正値を使用することにより、前述と同様の距離算出を実行することができる。

以上のような構成により、撮像光学系の変位や変形による像ズレが発生した場合でも、距離算出精度を向上させることが可能となる。

次に、図９を参照して、本発明の実施例３における撮像装置３について説明する。図９は、撮像装置３の外観図であり、図９（ａ）は俯瞰図、図９（ｂ）は正面図をそれぞれ示している。

図９に示されるように、撮像装置３は、主撮像部（第１の撮像部）１００と、副撮像部（第２の撮像部）を構成する実施例２の測距装置の撮像光学系１２１ａ、１２１ｂとを有する。なお、撮像装置３の基本構成（撮像装置３に設けられた測距装置）は、図１を参照して説明した実施例１の測距装置１と同様である。このように撮像装置３は、被写体の撮像に用いられる主撮像部１００および被写体の距離情報を取得する副撮像部（例えば実施例２の撮像部１２０）を有する。主撮像部１００は、副撮像部とは別に撮像光学系と撮像素子とをそれぞれ有し、被写体像を撮像する。

撮像装置３において、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００に設けられたフォーカスレンズを駆動し、実施例２と同様の測距方法により得られる距離情報（被写体距離）に基づいて、主撮像部１００を注目被写体に合焦させる。被写体距離に応じた主撮像部１００のフォーカスレンズの位置は、メモリ８０にテーブルとして格納されており、撮像部の撮像条件と被写体距離とに応じて適宜判定することができる。像ズレ量を補正された副撮像部による正確な距離情報に基づいて、主撮像部１００のフォーカス制御を行うことにより、高精度に被写体へのフォーカシングが可能である。このため、主撮像部１００の撮影視野に被写体が入った後のフォーカス制御の時間を短縮することができ、ボケた画像を撮影する頻度を低下させることが可能となる。その結果、副撮像部として前述の各実施例の測距装置を組み込んだ撮像装置３を構成することにより、動く被写体の撮影の成功率を向上させることができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、環境の変化によらず被写体距離を高精度に算出することが可能な測距装置および撮像装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 測距装置
２０ 画像処理部
１１１ａ、１１１ｂ 撮像光学系
１１２ 撮像素子（検出部）
１１３ａ、１１３ｂ 発光部

Claims (14)

1. 複数の視差画像を形成する撮像光学系と、
   前記撮像光学系の縮小側から拡大側へ向かって照射光を発する発光部と、
   前記照射光が前記撮像光学系を通って反射された戻り光に関する情報を検出する検出部と、
   前記戻り光に関する情報と前記複数の視差画像とに基づいて、被写体に関する距離情報を算出する画像処理部と、を有することを特徴とする測距装置。
2. 前記画像処理部は、前記戻り光に関する情報に基づいて測距のための補正値を算出する補正値算出部と、
   前記補正値と前記複数の視差画像とに基づいて前記距離情報を算出する距離情報算出部と、を有することを特徴とする請求項１に記載の測距装置。
3. 前記距離情報算出部は、前記複数の視差画像に基づいて、前記被写体に関する視差量を算出し、前記視差量に基づいて前記距離情報を算出することを特徴とする請求項２に記載の測距装置。
4. 前記戻り光に関する情報は、前記戻り光の位置情報であることを特徴とする請求項３に記載の測距装置。
5. 前記補正値算出部は、前記戻り光の位置情報に基づいて、前記視差量に含まれる像ズレ量を補正するための前記補正値を算出することを特徴とする請求項４に記載の測距装置。
6. 前記検出部は、前記撮像光学系を介して形成された前記複数の視差画像を取得する撮像素子であることを特徴とする請求項１乃至５のいずれか１項に記載の測距装置。
7. 前記発光部は、７００ｎｍ〜２５００ｎｍの波長の近赤外光を照射することを特徴とする請求項１乃至６のいずれか１項に記載の測距装置。
8. 前記戻り光は、前記撮像光学系のうち最も拡大側に配置された光学素子の光学面で反射された光であることを特徴とする請求項１乃至７のいずれか１項に記載の測距装置。
9. 前記光学素子は、プリズムであることを特徴とする請求項８に記載の測距装置。
10. 前記光学素子は、カバーガラスであることを特徴とする請求項８に記載の測距装置。
11. 前記光学素子には、前記照射光を反射する反射膜が形成されていることを特徴とする請求項９または１０に記載の測距装置。
12. 前記反射膜は、７００ｎｍ〜２５００ｎｍの波長の近赤外光に対して９０％以上の反射率を有することを特徴とする請求項１１に記載の測距装置。
13. 被写体を撮像するための第１の撮像部と、
    前記被写体に関する距離情報を取得するための第２の撮像部と、を有し、
    前記第２の撮像部は、
    複数の視差画像を形成する撮像光学系と、
    前記撮像光学系の縮小側から拡大側へ向かって照射光を発する発光部と、
    前記照射光が前記撮像光学系を通って反射された戻り光に関する情報を検出する検出部と、
    前記戻り光に関する情報と前記複数の視差画像とに基づいて、前記被写体に関する距離情報を算出する画像処理部と、を有することを特徴とする撮像装置。
14. 前記距離情報に基づいて前記第１の撮像部のフォーカス制御を行う制御部を更に有することを特徴とする請求項１３に記載の撮像装置。