JP2022154179A - 距離計測装置、移動装置、距離計測方法、移動装置の制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】誤差の影響を低減することが可能な距離計測装置等を実現する。【解決手段】距離計測装置は、結像光学系を介して、誤差を含む第１の距離情報を取得する第１の取得手段３１０と、前記誤差が前記第１の距離情報より少ない第２の距離情報を取得する第２の取得手段３２０と、前記第２の距離情報に基づき、前記第１の距離情報の前記誤差の補正をするための補正値を算出する補正情報生成手段３３０と、前記補正値を用いて前記第１の距離情報の前記補正を行う補正手段３４０と、を有する。【選択図】図３

Description

本発明は、距離計測装置、移動装置、距離計測方法、移動装置の制御方法、及びコンピュータプログラム等に関するものである。

撮像装置において、異なる視点から撮像された視差のある画像信号に基づいて被写体のデフォーカス状態、あるいは撮像装置から被写体までの距離（以降、被写体距離と呼ぶ）などの距離情報を取得できる測距機能を備えたものが提案されている。

国際公開ＷＯ２０１０／０１０７０７号

このような測距機能を有する撮像装置では、熱でレンズや鏡筒が膨張・収縮することなどに依って光学系と撮像素子との相対位置関係がずれ、測距誤差が発生する場合がある。
特許文献１では、温度センサにより検知した温度を用いて、これらの測距誤差を補正する補正係数を作成している。しかし、特許文献１では温度センサが別途必要なことと、温度センサ近辺の温度しかわからないことから、センサ面上あるいはレンズの温度に分布（ばらつき）がある場合に温度変化を正確に検出できず、測距誤差を精度良く補正できない場合がある。

上記課題に鑑み、本発明は誤差の影響を低減することが可能な距離計測装置等を提供することを目的とする。

本発明の距離計測装置は、
結像光学系を介して、誤差を含む第１の距離情報を取得する第１の取得手段と、
前記誤差が前記第１の距離情報より少ない第２の距離情報を取得する第２の取得手段と、
前記第２の距離情報に基づき、前記第１の距離情報の前記誤差の補正をするための補正値を算出する補正情報生成手段と、
前記補正値を用いて前記第１の距離情報の前記補正を行う補正手段と、を有することを特徴とする。

本発明によれば、誤差の影響を低減することが可能な距離計測装置等を実現することができる。

（Ａ）は本発明の実施例１に係る撮像装置の構成を概略的に示す図、（Ｂ）は図１（Ａ）の撮像素子１０１のｘｙ断面図、（Ｃ）は、図１（Ｂ）の画素群１５０のＩ－Ｉ’断面を模式的に示した図である。 （Ａ）は、結像光学系の射出瞳と撮像素子の受光部の関係を示す図、（Ｂ）は合焦時の状態を示した図、（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示した図、（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示した図である。 （Ａ）は、実施例１の距離計測装置１１０の概要構成を表す機能ブロック図、（Ｂ）は距離計測装置１１０の動作を表すフローチャート、（Ｃ）は（Ｂ）の一部の動作を表すフローチャートである。 （Ａ）は、結像光学系１２０の像面湾曲量の２次元分布を撮像素子１０１の有効画素範囲内で表した図、（Ｂ）は図４（Ａ）中のＩ－Ｉ’に沿った像面湾曲量を示す図、（Ｃ）は図４（Ａ）のＩ－Ｉ’に沿った像側変化量を表す図である。 （Ａ）は、第２の取得手段３２０が行う第２の取得処理の動作を表すフローチャート、（Ｂ）、（Ｃ）、（Ｄ）はオプティカルフローの算出に関して説明する図でありある。又、（Ｂ）は時刻ｔ２での画像信号Ｓ２１に対して算出した特徴点５０１を示す図、（Ｃ）は時刻ｔ１での第１の画像信号Ｓ１１に対して算出した特徴点５０２を示す図、（Ｄ）は算出したオプティカルフローを示す図である。 （Ａ）は、ステップＳ３３０で補正情報生成手段３３０が行う補正情報生成処理の動作を表すフローチャートである。又、（Ｂ）は第１の取得手段３１０で取得した第１の距離情報Ｉｄｉｓｔ１であるデフォーカス量Ｄ１の、想定像面に対するデフォーカス量を示す図である。又、（Ｃ）は第２の取得手段３２０で取得した第２の距離情報Ｉｄｉｓｔ２であるデフォーカス量Ｄ２の、想定像面に対するデフォーカス量を示す図である。（Ｄ）は図６（Ｂ）、（Ｃ）中のＩ－Ｉ’に沿った像側デフォーカス量を示す図、（Ｅ）はフィッティングにより算出された像側変化量を破線で示す図である。 （Ａ）は本発明の実施例２に係る距離計測システムの構成を概略的に示すブロック図、（Ｂ）は実施例２の第２の距離計測装置７３０の構成例を示す図である。 （Ａ）は、実施例２の距離計測装置７２０の概要構成を表す機能ブロック図、（Ｂ）は第２の距離計測装置７３０で取得される第２の距離情報Ｉｄｉｓｔ２を説明する図である。 （Ａ）は実施例３の補正処理の実施判定を伴うフローチャート、（Ｂ）は図９（Ａ）のステップＳ９００についてのフローチャートである。 （Ａ）は実施例４の領域分割を伴う補正値処理を実施する全体フローを示すフローチャート、図１０（Ｂ）はデフォーカス量を算出する領域を分割した状態を示す図、図１０（Ｃ）はステップＳ１０３０の詳細を示すフローチャートである。 （Ａ）は算出した補正値をフィードバックして補正をループ処理する全体のフローチャート、図１１（Ｂ）は図１１（Ａ）の一部のフローチャートである。 （Ａ）は実施例５の移動装置の全体構成を示した模式図であり、（Ｂ）は実施例５のブロック図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

又、実施例においては、撮像装置として車載カメラに適用した例について説明する。しかし、撮像装置はデジタルスチルカメラ、デジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、ネットワークカメラ、ドローンカメラ、ロボットに搭載されたカメラなどの撮像機能を有する電子機器等を含む。
又、実施例では移動装置としての自動車に搭載された撮像装置の例を用いて説明するが、移動装置は自動車に限定されず移動可能な装置を含む。即ち、移動装置は、例えば、ＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｓ Ｖｅｈｉｃｌｅ）、ＡＭＲ (Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｅ Ｒｏｂｏｔ)、お掃除ロボット、ドローンなどを含む。

（実施例１）
本実施例では異なる手法で取得した距離値を像面デフォーカス量に換算して比較することにより、像面湾曲量の経時変化量を補正値として算出し、経時的な測距誤差の影響を低減させる。以下詳細に説明する。
＜撮像装置の構成＞
図１（Ａ）は、本発明の実施例に係る撮像装置の構成を概略的に示す図である。

図１（Ａ）において、撮像装置１００は、結像光学系１２０、撮像素子１０１、距離計測装置１１０、情報格納手段１７０を備える。距離計測装置１１０は、論理回路を用いて構成することができる。又、距離計測装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリを有し、コンピュータとしてのＣＰＵにメモリに記憶されたコンピュータプログラムを実行させるようにしても良い。

結像光学系１２０は、撮像装置１００の撮影レンズ等であり、被写体の像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。尚、本明細書中では、ｚ軸を、結像光学系１２０の光軸１４０と平行とする。更に、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。
＜撮像素子の構成＞

撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、カラー画像を生成することができる。又生成したカラー画像を画像格納部に格納することができる。

図１（Ｂ）は、図１（Ａ）の撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。

図１（Ｃ）は、図１（Ｂ）の画素群１５０のＩ－Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。

導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１８３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。これは、１つの瞳分割方向（ｘ軸方向）に２分割された光電変換部の例であるが、仕様に応じて、２つの瞳分割方向（ｘ軸方向及びｙ軸方向）に分割された光電変換部を備える撮像素子を用いても良い。瞳分割方向及び分割数については任意である。

又、各画素が受光する色の組み合わせは図示の配置に限定されず、ＩＲ（Ｉｎｆｒａ Ｒｅｄ）や透過波長帯域に制限を加えないＷｈｉｔｅなど、検出する波長帯域に応じた所望の分光特性が、所望の配置で構成される。受光層１８２は検出する波長帯域に感度を有する半導体等を用いて光電変換部が形成されていて、検出する波長帯が可視域の場合はＳｉ等を用いるが、これに限定されず対象波長帯に応じて任意の素材で形成される。
＜瞳分割撮像面位相差測距方式による距離計測の原理＞
本実施例の撮像素子１０１が備える第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２（Ａ）～（Ｄ）を用いて説明する。

図２（Ａ）は、結像光学系の射出瞳と撮像素子の受光部の関係を示す図である。結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示しでいる。図２（Ａ）に示した画素１５０Ｇ１内のマイクロレンズ１８３により、射出瞳１３０と受光層１８２が光学的に共役関係になっている。
その結果、図２（Ａ）に示すように、射出瞳１３０内の第１の瞳領域（２１０）を通過した光束は第１の光電変換部１６１に入射する。一方、第２の瞳領域（２２０）を通過した光束は第２の光電変換部１６２に入射する。

各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像信号を生成する。又同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像信号を生成する。第１の画像信号から第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができ、第２の画像信号から第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の視差量は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図２（Ｂ）、（Ｃ）、（Ｄ）を用いて説明する。図２（Ｂ）、（Ｃ）、（Ｄ）は本実施例の撮像素子１０１と結像光学系１２０の結像位置の関係について示した概略図である。図中の２１１は第１の瞳領域２１０を通過する第１の光束を示し、２２１は第２の瞳領域２２０を通過する光束を示す。

図２（Ｂ）は合焦時の状態を示した図であり、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。この時、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０となる。図２（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示した図である。

この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、負の値を有する。図２（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示した図である。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図２（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。又、幾何関係から、デフォーカス量に応じて視差が生じることが分かる。従って、第１の画像信号と第２の画像信号間の視差量を、後述する領域ベースのマッチング手法により検出し、検出した視差量を所定の変換係数を介してデフォーカス量に変換することができる。このように、本実施例では、単眼式光学系の異なる瞳領域を通過した光束から出力される視差を有する複数の視差画像信号を、１つの撮像素子によって取得し、それらの複数の信号に基づき第１の距離情報を取得している。しかし、１つの撮像素子に限定されず複数の撮像素子によって取得しても良い。

更に、後述の数２を用いて説明する結像光学系１２０の結像関係を用いることで、像側のデフォーカス量を被写体から撮像装置１００までの距離（以降、被写体距離）へ変換することができる。
＜距離計測装置の説明＞

本実施例の距離計測装置について説明する。図３（Ａ）は、本実施例の距離計測装置１１０の概要構成を表す機能ブロック図であり、図３（Ｂ）は距離計測装置１１０の動作を表すフローチャート、図３（Ｃ）は図３（Ｂ）の一部の動作を表すフローチャートである。距離計測装置１１０内の中央演算処理装置（ＣＰＵ）がメモリに記憶されたコンピュータプログラムを実行することによって図３（Ｂ）、（Ｃ）の各処理を行うことで図３（Ａ）の各ブロックの機能を実現している。

距離計測装置１１０は、第１の取得手段３１０にて第１の距離情報Ｉｄｉｓｔ１を取得し、第２の取得手段３２０にて第２の距離情報Ｉｄｉｓｔ２を取得する。第１の取得手段３１０は、結像光学系を介して、誤差（撮像装置の経時誤差、製造誤差）を含む第１の距離情報を取得し、第２の取得手段３２０は、誤差が第１の距離情報より少ない第２の距離情報を取得する。誤差は経時誤差や製造誤差を含むが、以下の実施例では主に経時誤差について述べる。

補正情報生成手段３３０にて第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２から補正値Ｉｃを取得する。即ち、補正情報生成手段３３０は、第２の距離情報に基づき、第１の距離情報の経時誤差の補正をするための補正値Ｉｃを算出する。更に、補正手段３４０にて補正値Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１の補正を行うことで補正距離情報ＩｄｉｓｔＣを生成し、出力している。即ち、補正手段３４０は、前記補正値を用いて第１の距離情報の補正を行っている。

以下では、第１の取得手段３１０、第２の取得手段３２０、補正情報生成手段３３０、補正手段３４０にて行う処理内容について説明する。
＜第１の距離情報の取得＞
第１の取得手段３１０は、撮像素子１０１から取得した第１の画像群Ｓｇ１を用いて、ステップＳ３１０で第１の取得処理を行い、被写体までの距離を表す第１の距離情報Ｉｄｉｓｔ１を取得する。（第１の取得工程）

第１の画像群Ｓｇ１には、第１の光電変換部１６１により生成された第１の画像信号Ｓ１１と、第２の光電変換部１６２により生成された第２の画像信号Ｓ１２が含まれている。以下に、ステップＳ３１０における第１の取得処理の具体的な処理内容について図３（Ｃ）を用いて説明する。

ステップＳ３１１では、第１の取得手段３１０が、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２の光量差の補正を行う。結像光学系１２０に起因して、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２の間で光量バランスが崩れる。ステップＳ３１１では、情報格納手段１７０に格納された光量補正値を用いて、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２間の光量補正処理を行う。
尚、必ずしも情報格納手段に格納された光量補正値を用いる必要はない。例えば、第１の瞳領域２１０と第２の瞳領域２２０の面積比から光量補正値を生成したのち、光量補正を行っても構わない。

ステップＳ３１２では、第１の取得手段３１０が、撮像素子１０１にて発生したノイズを低減するためのノイズ低減処理を行う。具体的には、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２に対して、バンドパスフィルタを用いたフィルタ処理を行う。一般に、空間周波数が高い周波数帯域ほど、ＳＮ比（信号成分とノイズ成分の比）が低くなり、相対的にノイズ成分が多くなる。

従って、高周波になるほど通過率が低くなるローパスフィルタを用いる。尚、ステップＳ３１１における光量補正処理を経ても、結像光学系１２０の製造誤差などにより設計値通りになるとは限らない。そのため、例えば空間周波数＝０における周波数帯域の通過率が０であり、且つ高い周波数帯域の通過率が低いバンドパスフィルタ等を用いる。

ステップＳ３１３では、第１の取得手段３１０により、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２間の視差量を算出する視差量検出処理を行う。具体的には、第１の画像信号Ｓ１１内に注目点を設定し、注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定の長さの長方形とするが、それに限定されない。

次に、第２の画像信号Ｓ１２内に、参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は照合領域と同一の大きさ及び形状である。参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ１１と参照領域内に含まれる第２の画像信号Ｓ１２の相関度を算出し、最も相関の高い参照点を注目点と対応する対応点とする。注目点と対応点間の相対的な位置のズレ量が注目点における視差量となる。

第１の取得手段３１０は、注目点を順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法としては公知の手法を用いることができる。例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法や、画像信号化の差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、差の絶対値を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。

これらの相関度の算出手法を用いた場合には、各画素ブロックのテクスチャ量や周波数成分情報を用いて、算出した距離情報の信頼性を表す信頼度情報を生成することができる。
ステップＳ３１４では距離変換処理を行う。即ち、第１の取得手段３１０により、所定の変換係数を用いて視差量を撮像素子１０１から結像光学系１２０による結像点までの距離（デフォーカス量）へ変換する。以降、視差量をデフォーカス量に変換する係数をＢＬ値と呼ぶ。ＢＬ値をＢＬ、デフォーカス量をΔＬ、視差量をｄとしたとき、以下の数１により視差量ｄをデフォーカス量ΔＬに変換することができる。

（数１）
ΔＬ＝ＢＬ×ｄ
第１の取得手段３１０は、複数の画素位置にて視差量をデフォーカス量に変換することで、複数画素位置のデフォーカス量を距離情報として含む第１の距離情報Ｉｄｉｓｔ１を取得することができる。
更に、このデフォーカス量を被写体距離に変換するには、幾何光学におけるレンズの公式である以下の数２を用いることができる

（数２）
１／Ａ＋１／Ｂ＝１／ｆ
Ａ：物面から結像光学系１２０の主点までの距離、
Ｂ：結像光学系１２０の主点から像面までの距離、
ｆ：結像光学系１２０の焦点距離。

数２において、焦点距離は既知の値である。又、Ｂの値はデフォーカス量を用いて算出することができる。従って、焦点距離とデフォーカス量を用いて、物面までの距離Ａ、すなわち被写体距離を算出することができる。このような方法で被写体の距離情報を取得する方式を位相差測距方式と呼び、特に前述のようなひとつの光学系の異なる瞳領域から取得した信号から距離情報を取得する方式を瞳分割位相差方式と呼ぶ。

このとき、算出したデフォーカス量を用いて求めた結像光学系１２０の主点から像面までの距離Ｂが誤差を持つ場合、数２より、算出した物面までの距離Ａ、すなわち被写体距離にも誤差が含まれることになる。
上記の誤差が生じる要因としては、周囲の温湿度の変化や振動などの影響に伴い生じる、撮像装置１００の経時的な変化が挙げられる。具体的には、周囲の変化に起因した結像光学系１２０の各レンズの屈折率や曲率が変化することによる光学特性の変化や、周囲の変化に起因した撮像素子１０１のたわみなどの変形である。その他、製造誤差によっても誤差は生じる。

結像光学系１２０の想定像面位置と実際の結像位置とに差が生じていることで、デフォーカス量と物面から結像光学系１２０の主点までの距離の変換関係が崩れ、結像光学系１２０の主点から像面までの距離Ｂの値に誤差が発生する。以降、結像光学系１２０の想定像面位置と実際の結像面位置の差を、像側変化量と呼ぶ。像側変化量≠０の場合でも、デフォーカス量と物体距離の関係は数２に従うため、正しく推定した像側変化量を用いてデフォーカス量を補正すれば、誤差の低減された被写体距離である距離Ａを求めることができる。

以上説明したように、第１の取得手段３１０は、結像光学系を介して、撮像素子１０１から出力される、視差を有する第１の信号と第２の信号に基づき第１の距離情報を取得する。尚、視差を有する信号は２つ以上であっても良い。このような瞳分割位相差方式で第１の距離情報を取得した場合には、前述のように、第１の距離情報には結像光学系や撮像素子の特性の経時誤差が含まれる。

経時的な変化で像側変化量≠０となる要因は複数あるが、例えば、結像光学系１２０の光学的な特性が温度変化により経時的に変化した場合について説明する。
図４（Ａ）は、結像光学系１２０の像面湾曲量の２次元分布を撮像素子１０１の有効画素範囲内で表した図、図４（Ｂ）は図４（Ａ）中のＩ－Ｉ’に沿った像面湾曲量を示す図である。

図４（Ｂ）中のｍ１は、経時的な変化が生じていない時の像面湾曲量を表し、ｍ２は経時的な変化が生じたときの像面湾曲量を表している。図中のｍ１とｍ２の差が、前述の像側変化量となる。図４（Ｃ）は図４（Ａ）のＩ－Ｉ’に沿った像側変化量を表す図である。図４（Ｃ）に示すように、結像光学系１２０の光学的な特性に経時的な変化が生じた場合、像側変化量は画角に応じて変化する。像側変化量が画角に依らず一定の値の場合には、少なくとも１つの補正用情報があれば補正ができる。

しかし、像側変化量が画角に応じて変化する場合には、１つの補正用情報のみを用いて像側変化量を推定することは難しい。この場合には、像側変化量の２次元分布を推定する必要がある。この補正値Ｉｃを生成するために本実施例では第１の取得手段とは異なる取得手段で取得した第２の距離情報を用いて補正値Ｉｃを生成する。

尚、本実施例では前述のように、第１の取得手段３１０の撮像素子１０１から取得した第１の画像群Ｓｇ１を用いて、被写体までの距離を表す第１の距離情報Ｉｄｉｓｔ１を取得する。更に、撮像素子１０１で取得した第１の画像群Ｓｇ１を一旦情報格納手段１７０に格納し、情報格納手段１７０に格納した第１の画像群Ｓｇ１を、第２の取得手段において第２の画像群Ｓｇ２として用いて、第２の距離情報Ｉｄｉｓｔ２を取得する。
＜第２の距離情報の取得＞

第２の取得手段３２０は、情報格納手段１７０から取得した第１の画像群Ｓｇ１と第２の画像群Ｓｇ２とを取得する。ここで、第２の画像群Ｓｇ２は、第１の画像群Ｓｇ１より前の時刻の画像信号を情報格納手段１７０に蓄積した画像群である。第２の取得手段３２０は、第１の画像群Ｓｇ１と第２の画像群Ｓｇ２とを用いて、第２の距離情報Ｉｄｉｓｔ２を取得する。第２の画像群Ｓｇ２には、撮像装置１００を用いて第１の画像群Ｓｇ１とは異なるタイミングで撮像された第１の画像信号Ｓ２１と第２の画像信号Ｓ２２が含まれている。

このように、第２の取得手段は、本実施例では２枚のフレームの画像信号に基づき第２の距離情報を取得しているが、３以上の複数フレームの画像信号に基づき第２の距離情報を取得するようにしても良い。
尚、前述のように、第１の画像信号Ｓ２１は、第１の光電変換部１６１により生成された画像信号であり、第２の画像信号Ｓ２２は、第２の光電変換部１６２により生成された画像信号である。

第２の取得手段３２０では公知の手法であるＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法を用いて第２の距離情報Ｉｄｉｓｔ２を取得する。以下、ステップＳ３２０において、第２の取得手段３２０で行う第２の取得処理の具体的な内容について図５（Ａ）を用いて説明する。
図５（Ａ）は、ステップＳ３２０において、第２の取得手段３２０が行う第２の取得処理の動作（第２の取得工程）を表すフローチャートである。
距離計測装置１１０内の中央演算処理装置（ＣＰＵ）がメモリに記憶されたコンピュータプログラムを実行することによって図５（Ａ）の各処理を行う。

ステップＳ３２１において、オプティカルフロー算出処理を行う。即ち、情報格納手段１７０に格納されている時刻ｔ１で取得した第１の画像群Ｓｇ１から画像信号Ｓ１１と、異なる時刻ｔ２で撮像した第２の画像群Ｓｇ２から画像信号Ｓ２１とを取得する。そして、各画像信号から公知の手法でオプティカルフローを算出する。時刻の関係はｔ１＞ｔ２であり、ｔ２はｔ１より過去の時系列となる。

オプティカルフローを算出する複数の画像は、同じ視点からの画像信号であればよく、第２の画像信号Ｓ１２とＳ２２から算出しても良い。或いは、第１の画像群Ｓｇ１の第１の画像信号と第２の画像信号を足し合わせた（Ｓ１１＋Ｓ１２）と第２の画像群Ｓｇ２の（Ｓ２１＋Ｓ２２）から算出しても良い。

オプティカルフローの算出に関して、図５（Ｂ）、（Ｃ）、（Ｄ）を用いて具体的に説明する。取得した画像信号Ｓ１１と画像信号Ｓ２１に対して公知の手法である Ｈａｒｒｉｓ コーナー検出アルゴリズムを用いて特徴点を算出する。図５（Ｂ）は時刻ｔ２での画像信号Ｓ２１に対して算出した特徴点５０１を示す図、図５（Ｃ）は時刻ｔ１での第１の画像信号Ｓ１１に対して算出した特徴点５０２を示す図、図５（Ｄ）は算出したオプティカルフローを示す図である。

時刻ｔ２での画像信号Ｓ２１に対して算出した特徴点５０１を図５（Ｂ）の星印として、時刻ｔ１での第１の画像信号Ｓ１１に対して算出した特徴点５０２を図５（Ｃ）の星印として示す。図５（Ｄ）は、算出した画像信号Ｓ２１と画像信号Ｓ１１間の特徴点同士の対応付けを公知の手法であるＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ）特徴追跡アルゴリズムを用いて行い算出したオプティカルフロー５００である。

尚、特徴点や特徴量の算出、オプティカルフローの算出に用いるアルゴリズムは上記の手法に限定されない。ＦＡＳＴ （Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）や、ＢＲＩＥＦ （Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）、ＯＲＢ （Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）などを用いても良い。

ステップＳ３２２では距離算出処理を行う。即ち、算出したオプティカルフロー５００を用いて被写体までの距離を公知の手法で算出する。距離を算出する被写体の画像座標系での座標を（ｕ，ｖ）、距離を算出する被写体のオプティカルフローを（Δｕ，Δｖ）、被写体までの距離をｚとする。オプティカルフローを算出する際に用いた画像間でのカメラ移動量のうち、回転移動量（ωｘ，ωｙ，ωｚ）、並進移動量（ｔｘ，ｔｙ，ｔｚ）とする。そしてカメラの焦点距離をｆとすると、以下の関係が成り立つ。

カメラの焦点距離ｆは事前のキャリブレーションにより予めわかる。従って、カメラ移動量である、回転移動量（ωｘ，ωｙ，ωｚ）、並進移動量（ｔｘ，ｔｙ，ｔｚ）を求めれば、オプティカルフローから画像上の被写体位置（ｕ，ｖ）におけるカメラから被写体までの距離ｚを算出できる。

オプティカルフロー５００の算出に用いた画像信号Ｓ２１と画像信号Ｓ１１間のカメラ移動量を公知の手法で算出する。具体的には、時刻ｔ２での特徴点５０１と、時刻ｔ１での特徴点５０２と、その対応関係であるオプティカルフロー５００とを用いてエピポーラ拘束を満たすよう、８ Ｐｏｉｎｔアルゴリズムを用いてカメラ基礎行列Ｆを取得する。このとき、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法も用いることで外れ値を効率的に除外して、安定的な手法で算出することも好適である。

カメラ基礎行列Ｆを公知の手法でカメラ基本行列Ｅに分解し、カメラ基本行列Ｅからカメラ外部パラメータである回転移動量Ｒ（ωｘ，ωｙ，ωｚ）、並進移動量Ｔ（ｔｘ，ｔｙ，ｔｚ）を求める。ここで、求めたカメラ外部パラメータは時刻ｔ２から時刻ｔ１へのカメラ移動量の相対的な変位でありスケーリング不定のため、特に並進移動量Ｔ（ｔｘ，ｔｙ，ｔｚ）は規格化された相対値である。

これをスケーリングすることで実際の移動量である並進移動量Ｔ（ｔｘ，ｔｙ，ｔｚ）にする。具体的には、特徴点５０２を求めた第１の画像信号Ｓ１１に対して同一時刻での異なる視点からの画像信号に対応する第２の画像信号Ｓ１２を情報格納手段１７０から取得する。同様に特徴点５０１を求めた画像信号Ｓ２１に対して同一時刻での異なる視点からの画像信号に対応する画像信号Ｓ２２を情報格納手段１７０から取得する。

そして、各画像組に対しステップＳ３１０で第１の取得処理を行うことにより視差量をもとにした第１の距離情報から夫々距離値を取得する。その後、オプティカルフローで対応付けられた特徴点５０２と特徴点５０１間の距離値の差分から並進移動量Ｔのうちカメラの光軸に平行な移動量ｔｚを取得する。

取得したスケーリング済みでもある実際の移動量ｔｚから他成分のスケーリングも行い、時刻ｔ２からｔ１への実際の並進移動量Ｔ（ｔｘ，ｔｙ，ｔｚ）を取得する。そして、数３、数４を用いて第１の画像信号Ｓ１１の特徴点５０２の画像上の各座標におけるカメラからの距離ｚを算出する。

カメラ移動量をスケーリングする手法は本手法に限定されず、各種計測機器、具体的にはＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）やＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、車載カメラの場合には車速情報やＧＰＳ情報等からカメラ移動量を得てスケーリングを行うようにしても良い。

尚、カメラ移動量や被写体とカメラの位置関係の算出に公知の手法であるバンドル調整を用いるようにしても良い。焦点距離などカメラ内部パラメータを含め、カメラ基礎行列やオプティカルフローなどの変数間の関係を非線形最小二乗法で整合性が良くなるように解析的にまとめて算出できる。

カメラ移動量の算出に用いる特徴点のうち、撮像装置が属する世界座標系に対して静止物体ではない被写体から算出される特徴点は処理から除いても良い。公知の手法であるカメラ移動量推定は被写体が静止物体として各種パラメータを算出するため、被写体が移動物体である場合には誤差要因となる。

従って、移動物体から算出された特徴点を除くことで各種パラメータ算出精度を向上できる。移動物体の判定は、画像認識技術を用いた被写体の分類判定や、取得した距離情報の時系列の変化量と撮像装置の移動量との相対値を比較することにより判定する。

ステップＳ３２３では第２の距離情報変換処理を行う。即ち、このようにして取得した第１の画像信号Ｓ１１の特徴点５０２の画像上の各座標におけるカメラからの距離を、数２を用いて像側のデフォーカス量に換算し、第２の距離情報Ｉｄｉｓｔ２を取得する。以上のように、第２の取得手段は、複数枚の画像から対象の特徴点のオプティカルフローを算出することによって前記第２の距離情報を取得する。
＜補正情報の算出と補正の原理＞

補正情報生成手段３３０は第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２から像側変化量に相当する補正値Ｉｃを生成し取得する。第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２から像側変化量に相当する補正値Ｉｃを生成する方法について以下に説明する。

第１の距離情報Ｉｄｉｓｔ１は第１の取得手段で算出した視差量をもとに導出されるが、視差量は図２（Ｂ）、（Ｃ）、（Ｄ）で示したように、結像光学系による結像面と撮像素子の位置関係に基づく第１の光束と第２の光束の重心間隔に相当する。従って、温湿度など周囲の環境変化により結像光学系の結像面や撮像素子の形状が変化するとその影響を受けて変化前とは異なる値となる。即ち、第１の取得手段で算出した第１の距離情報Ｉｄｉｓｔ１は光学系の経時変化の影響を受けやすい。

一方、第２の距離情報Ｉｄｉｓｔ２は温湿度などの周囲の環境変化が生じる時間間隔に比べるとはるかに短い時間間隔で取得した画像群を対応付けたオプティカルフローから算出している。従って、その距離情報の算出時に用いた第１の距離情報も同様に短い時間間隔の相対変化をカメラ移動量として利用しているため、温湿度などの周囲の環境変化に起因した経時的な誤差量を含有していない。即ち、第２の取得手段で算出した第２の距離情報Ｉｄｉｓｔ２の光学系の経時変化の影響は、第１の距離情報Ｉｄｉｓｔ１に比べて非常に小さい。

しかしながら、第２の距離情報Ｉｄｉｓｔ２は特徴点を算出した座標に依存する情報であるため、画角に対しては疎な距離情報である。
よって、第２の距離情報Ｉｄｉｓｔ２を用いて周囲の環境変化に起因した像側変化量に相当する補正値Ｉｃを算出する必要がある。それにより、第１の距離情報Ｉｄｉｓｔ１を補正して補正距離情報ＩｄｉｓｔＣを算出することで、経時的な誤差量を軽減し、画角に対して密な距離情報を取得することができる。そして、密な距離情報を取得できれば、物体の細かい形状を計測することが可能となる。

図６（Ａ）は、ステップＳ３３０において補正情報生成手段３３０が行う補正情報生成処理の動作を表すフローチャートである。距離計測装置１１０内の中央演算処理装置（ＣＰＵ）がメモリに記憶されたコンピュータプログラムを実行することによって図６（Ａ）の各処理を行う。
ステップＳ３３１において、第１の取得手段３１０で取得した第１の距離情報Ｉｄｉｓｔ１と第２の取得手段３２０で取得した第２の距離情報Ｉｄｉｓｔ２とを用いて像側変化量を算出する像側変化量算出処理を行う。

図６（Ｂ）は第１の取得手段３１０で取得した第１の距離情報Ｉｄｉｓｔ１であるデフォーカス量Ｄ１の、想定像面に対するデフォーカス量を示す図である。図６（Ｃ）は第２の取得手段３２０で取得した第２の距離情報Ｉｄｉｓｔ２であるデフォーカス量Ｄ２の、想定像面に対するデフォーカス量を示す図である。図６（Ｃ）は特徴点５０２に対応した画素で距離情報が取得されるため、特徴点５０２の画像上の各座標に対応した疎なデータ群である。図６（Ｄ）は、図６（Ｂ）、（Ｃ）中のＩ－Ｉ’に沿った像側デフォーカス量を示す図である。

図６（Ｄ）の不連続な線分ｐ１は第１の距離情報Ｉｄｉｓｔ１であるデフォーカス量Ｄ１を示し、図６（Ｄ）の点データｐ２は第２の距離情報Ｉｄｉｓｔ２であるデフォーカス量Ｄ２を示す。第１の距離情報Ｉｄｉｓｔ１には前述のように、撮像装置１００の経時的な変化による誤差が含まれている。一方、第２の距離情報Ｉｄｉｓｔ２は撮像装置１００の経時的な変化による影響をほとんど受けない。従って、両者の差分値を求めれば、その差分値は経時的な変化の影響を受けた像側変化量に相当する。

図６（Ｅ）はフィッティングにより算出された像側変化量を破線で示す図である。図６（Ｄ）における第１の距離情報Ｉｄｉｓｔ１であるデフォーカス量Ｄ１であるｐ１から、第２の距離情報Ｉｄｉｓｔ２であるデフォーカス量Ｄ２であるｐ２を差し引いた像側変化量を示す。図６に示す例では、実際にｐ１－ｐ２の差分データ６０２が取得できるのは図５（Ｃ）の特徴点５０２の座標に対応した図６（Ｅ）に示すデータ取得座標６０１上の３点である。

これに対し、経時的な変化の影響を受けた像側変化量は各画素での合焦位置の変化であり、つまり像面湾曲量の変化に相当する。像面湾曲量自体は連続かつ滑らかな形状なので、画角間、つまり画素間の像側変化量は連続で滑らかにつながる。従って、各データ取得座標６０１上で取得された各差分データ６０２を用いて多項式近似によりフィッティングすることで画角間を補間できる。

このように多項式近似から求めた像側変化量６０３を図６（Ｅ）に破線で示している。説明のため、線分Ｉ－Ｉ’に沿った１次元で多項式近似による像側変化量を表現したが、実際の像側変化量はｘｙ平面上の２次元データである。よって、画角に対しては離散的である取得された差分データを用いて、ｘｙ平面での多項式近似による面フィッティングを行い、像側変化量を推定する。算出した像側変化量である近似面データを補正値Ｉｃとする。

このように、夫々の取得手段で取得される距離値やデフォーカス量は、撮影される被写体の距離によって離散的な値をとる場合がある。しかし、夫々の手法で取得した距離情報を像側デフォーカス量に変換し差分値を得ることによって、連続的な値として取り扱うことができ、各種近似によってその値や形状を推定し取得することができる。

差分データを用いて多項式近似による面フィッティングを行い、像側変化量を推定するとき、結像光学系や撮像素子などの設計値から推測される像側変化量をもとに差分データの外れ値を除去することも好適である。即ち、装置の設計値と環境の温度や湿度の変化からシミュレーションにより、事前に像側変化量の予測を行うことができる。

この予測値を補正用の初期値としてルックアップテーブル等として情報格納手段に蓄えておき、取得した差分データと比較して、閾値判定より外れ値を除去することによりフィッティング精度が向上する。即ち、前記初期値は環境温度に基づく像側変化量を含み、補正情報生成手段は、結像光学系又は撮像素子に関する補正用の初期値をルックアップテーブルから取得して、補正値を算出するようにしても良い。

図３（Ｂ）のステップＳ３４０において、生成した補正値Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１を補正し、補正距離情報ＩｄｉｓｔＣを生成する（補正工程）。具体的には第１の取得手段がステップＳ３１４の距離変換処理で生成したデフォーカス量ΔＬを数２におけるＢ（結像光学系１２０の主点から像面までの距離）に変換する際に、以下の数５で補正したデフォーカス量ΔＬ’を用いる。

（数５）
ΔＬ’＝ΔＬ－Ｉｃ
この補正したデフォーカス量ΔＬ’を用いて算出した結像光学系１２０の主点から像面までの距離Ｂを用いて数２に基づき被写体までの距離を算出することで、補正距離情報ＩｄｉｓｔＣを算出する。

上記のように、本実施例によれば、経時的な誤差の影響を低減した距離値を取得することが可能な距離計測装置を実現できる。
尚、上記のような補正処理は距離算出を行う際に毎回行う必要はない。環境による経時変化が生じる時間間隔は本装置が距離算出を行う時間間隔と比較してはるかに長い間隔であるため、ここで算出した補正値Ｉｃを次フレーム以降も暫く使い続けることができる。補正情報の更新タイミングの判定は後述する。

尚、経時的な変化は、その発生原理により像面変化量として発生するため、本発明の実施例のように、距離情報の補正を物側の被写体距離ではなく像側のデフォーカス量で補正することが望ましい。
又、本実施例では、補正情報生成手段は、像側デフォーカス量として第１の距離情報と第２の距離情報を比較（差分演算）している。従って、光学系の縦倍率の影響を受けず、被写体の距離が近距離でも遠距離でも変わらず同等なスケールで全画角を一括で近似による補正情報の算出を行うことができる。その結果、近似に用いるデータ点数を多く確保することができ、補正情報の算出を高精度に行うことができる効果がある。

結像光学系１２０の特性が温湿度変化や振動の影響で経時的に変化する場合には、像側変化量だけではなく、焦点距離やＢＬ値も変化し測距誤差の要因となり得る。しかし、焦点距離やＢＬ値が変化した場合でも、数１や数２から明らかなように、その変化量はＢの変化量に押し込まれるため、本実施例にかかる補正処理で補正可能である。

尚、上記実施例では、第２の取得手段でオプティカルフロー算出に用いる画像のセットとして異なる２つの時刻で撮影した２画像のセットを用いたが、何セットの画像セットを用いても良い。セット数を増やすことによって、オプティカルフローを算出する画像の組み合わせ数が増え、カメラ移動量ならびに第２距離情報の算出精度を向上できる。

又、時刻ｔ１と時刻ｔ２の画像群の取得は、人がカメラを持ち、歩いて移動することで取得しても良い。
各種演算処理はカメラ等の撮像装置内部に設けなくても良い。例えばネットワークを介して外部のサーバーや端末にデータを送り、そのサーバーや端末に実装されているＣＰＵやＧＰＵ、ＩＣを用いて実行される構成であっても良い。

（実施例２）
次に、図７を参照しながら本発明の実施例２について図面を参照しながら説明する。
＜距離計測システムの構成＞

図７（Ａ）は、本発明の実施例２に係る距離計測システムの構成を概略的に示すブロック図である。
図７（Ａ）において、実施例２の距離計測システム７００は、撮像装置７１０、距離計測装置７２０、第２の距離計測装置７３０を備える。

第２の距離計測装置７３０は、照射したレーザ光の戻り光を受光することで被写体までの距離を表す第２の距離情報を取得する。
＜第２の距離計測装置の構成＞

図７（Ｂ）は実施例２の第２の距離計測装置７３０の構成例を示す図である。第２の距離計測装置７３０は、投射光学系７３１、レーザ７３２、投射制御部７３３から構成される投光系と、受光光学系７３４、検出器７３５、測距演算部７３６、出力部７３７から構成される受光系により構成される。

レーザ７３２は、パルス状のレーザ光を出射する半導体レーザダイオードを含む。レーザ７３２からの光は、スキャン系を有する投射光学系７３１により集光・照射される。尚、レーザ光は、主に半導体レーザが用いられるが、特に限定は無い。又、レーザ光は指向性、収束性の良好な電磁波の一種であり、特に波長の限定は無い。安全性を考慮すると、赤外線波長帯のレーザ光を使用するのが好ましい。

レーザ７３２は、投射制御部７３３によりレーザ光の出射を制御されている。投射制御部７３３ではレーザ７３２を発光させるための例えばパルス信号を作成され、その駆動信号は測距演算部７３６にも入力される。投射光学系７３１内のスキャン光学系は、所定の周期で、レーザ７３２から出射されたレーザ光を水平方向に繰り返し走査する。

物体にあたって反射されたレーザ光は受光光学系７３４を介して検出器７３５に入射される。検出器７３５はフォトダイオード等を含み、反射光における光強度に応じた電圧値の電気信号を出力する。

検出器７３５より出力された電気信号は、測距演算部７３６に入力され、投射制御部７３３からレーザ７３２に出力される駆動信号が出力されてから受光信号が発生されるまでの時間を測定する。即ち、レーザ光を出射した時刻と、反射光を受光した時刻の時間差を測定し、被写体までの距離を演算する。

演算された被写体までの距離は、第２の距離情報として出力部７３７を介して出力される。尚、投射光学系におけるスキャン光学系は、ポリゴンミラーやガルバノミラーなどを用いても良い。本実施例では、例えば垂直方向に複数のポリゴンミラーを積層し、上下方向に並んで配置された複数のレーザ光を水平に走査する構造のレーザスキャナを用いる。以上のように構成し動作させることで、照射した電磁波が反射した物体までの距離を取得することができる。

第２の距離計測装置７３０は、射出したレーザ光が被写体にて反射されて検出器にて検出するまでの光の到達時間に基づき被写体距離を計測している。その為、温湿度変化や振動等により投射光学系７３１や受光光学系７３４の光学的な特性が変化しても、光の飛行時間に与える影響は小さい。つまり、第２の距離計測装置７３０は、距離計測装置７２０と比較して、温湿度変化や振動に起因した距離計測結果の経時的な変化（誤差）の影響が小さい。

第２の距離計測装置７３０で取得される第２の距離情報の画角及び座標は、事前の校正（キャリブレーション）により、撮像装置７１０で取得される画像の画角及び座標と対応付けがなされる。
＜距離計測装置の説明＞
本実施例の距離計測装置７２０について説明する。図８（Ａ）は、本実施例の距離計測装置７２０の概要構成を表す機能ブロック図である。図３（Ａ）と同じ符番のブロックは同じ機能を有する。

距離計測装置７２０においては、第２の取得手段３２０が第２の距離計測装置７３０で取得された第２の距離情報Ｉｄｉｓｔ２を取得する。即ち、第２の距離情報は、電磁波を照射し、反射された前記電磁波の到達時間に基づき測定されたものである。補正情報生成手段３３０にて第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２から補正値Ｉｃを取得する。更に、補正手段３４０にて補正値Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１の補正を行うことで補正距離情報ＩｄｉｓｔＣを生成し、出力している。

図８（Ｂ）は第２の距離計測装置７３０で取得される第２の距離情報Ｉｄｉｓｔ２を説明する図である。説明のため、第２の距離計測装置７３０で取得した第２の距離情報を得た座標８０１をひし形で表し、第２の距離計測装置７３０で距離情報を取得した際と同時刻に撮像装置７１０で取得した撮影画像８００に重畳している。座標８０１の各点において、照射したレーザ光の飛行時間に基づいて第２の距離情報Ｉｄｉｓｔ２が取得される。

補正情報生成手段３３０において、同時刻の第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２を用いて先述のステップＳ３３０における補正情報生成処理と同等な処理を行い、補正値Ｉｃを生成する。更に、先述のステップＳ３４０における補正処理と同等な処理を行い、第１の距離情報Ｉｄｉｓｔ１を補正した補正距離情報ＩｄｉｓｔＣを算出する。

実施例２では、第２の取得手段が、レーザ光を用いたアクティブ測距方式の第２の距離計測装置７３０で取得された第２の距離情報Ｉｄｉｓｔ２を用いている。従って、距離計測のために取得する画像は第１の距離情報Ｉｄｉｓｔ１を生成する画像群のみでよく、メモリ容量を削減することができる。

尚、本実施例に記載の、第２の距離計測装置を介して取得される第２の距離情報は、ＬｉＤＡＲ（Ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）やＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｒｉｇｈｔ）によって計測されたものであるが、それに限定されない。レーザ光ではなく電磁波を用いたミリ波レーダや、同様なアクティブ測距装置で測定されるものであっても良い。

第２の距離情報の信頼度はレーザ光が反射され戻ってきた際の受光強度を基に算出することができ、信頼度が高い測距の座標のみを補正情報生成処理に用いても良い。
（実施例３）
＜補正処理実施の可否の判定＞

実施例３においては、補正処理フローの開始前に実施判定を行う。即ち、補正処理フローを実行したときに良好な補正量を得ることができるか否かを、補正処理フローの実行前に撮影シーン等に基づき判定する。これにより、良好な補正量を得られないシーンに対してはフローの実行を事前に回避でき、演算量の削減、画像データセット格納のメモリ削減、発熱量削減等の効果が得られる。又、補正が必要ではないと判断される場合も補正処理フローを実行せず、補正していない第１の距離情報を出力する。

図９（Ａ）は実施例３の補正処理の実施判定を伴うフローチャートであり、図９（Ｂ）は図９（Ａ）のステップＳ９００についてのフローチャートである。距離計測装置１１０内の中央演算処理装置（ＣＰＵ）がメモリに記憶されたコンピュータプログラムを実行することによって図９（Ａ）、（Ｂ）の各処理を行う。

ステップＳ９００にて補正処置フローを実施すると判定した場合、実施例１に記載の補正処理を実行し、補正距離情報を出力する。ステップＳ９００にて補正処置を実施しないと判定した場合、前述のステップＳ３１０の第１の取得処理を実行し、得られた第１の距離情報を補正せずに出力する。

図９（Ｂ）にてステップＳ９００の実施判定の詳細を説明する。
ステップＳ９１０の環境変化判定にて本実施例に係る撮像装置（又は距離計測装置）の周囲での環境変化の有無を基に判定する。具体的には、周囲環境の温度情報や湿度情報を、センサを用いて所定周期で取得し、その値、又はその変化量が、予め設定された閾値を越えた場合に、実施（Ｙｅｓ）と判定し、越えていない場合は実施しない（Ｎｏ）と判定する。

又、ジャイロなど振動検知センサの出力をもとに瞬間的に所定の閾値を越える振動の付加があったか否かをもとに、振動があった場合は実施（Ｙｅｓ）と判定し、振動が無かった場合は実施しない（Ｎｏ）と判定しても良い。或いは、振動の累積値を保存し、累積値が所定のレベルを上回ったと判定した場合にＹｅｓとし、そうでない場合はＮｏと判定しても良い。このように、ステップＳ９１０において判定される周囲の環境は、天候、季節、温度、湿度、振動の少なくとも１つを含む。

ステップＳ９２０にて、良好な補正量が取得できるシーンか否かを判定する。即ち第２の距離情報の適否を判定する。第２の取得手段が実施例１に記載のＳｆＭ法の場合、撮像装置で取得した現在の周囲環境を撮影した画像から、先述のステップＳ３２１のオプティカルフロー算出処理と同様に特徴点を算出し、算出した特徴点を基に判定スコアを取得する。具体的には、画角内の特徴点の数Ｎ、画角内の特徴点の分布Ｄ、算出した特徴点の信頼度Ｃ、をもとに判定スコアＳを以下の数６を用いて算出する。

（数６）
Ｓ ＝ α＊Ｎ＋β＊Ｄ＋γ＊Ｃ
α、β、γは係数であり、適宜設定する。

画角内の特徴点の分布Ｄは、特徴点を取得した座標の座標値のヒストグラムをもとにその標準偏差σを用いてＤ＝δ＊σとして表現する。特徴点の信頼度Ｃは特徴点を算出する際に用いた手法に応じた特徴量の強さをもとに算出し、その各特徴点の特徴量の強さの総和を特徴点の信頼度Ｃとする。このように求めた判定スコアＳが適宜設定される閾値を越えている場合、適切な第２の距離情報が得られると判定し、ステップＳ９２０のシーン判定で実施（Ｙｅｓ）と判定する。

或いは、距離想定装置が移動装置に搭載されている場合、移動装置の移動速度が所定値以下か否かをＧＰＳデータや例えば車軸等の回転速度等から判別しても良い。そして、移動速度が所定値以下の場合には、ＳｆＭ法によるオプティカルフローが十分得られないので、その場合には、ステップＳ３２１のオプティカルフロー算出処理を用いた第２の取得処理を実行しないように制御しても良い。或いは、オプティカルフローの大きさが所定の閾値以下か否かを判定し、所定の閾値の場合には、ステップＳ３２１のオプティカルフロー算出処理を用いた第２の取得処理を実行しないようにしても良い。

第２の取得手段が実施例２に記載のレーザ光等の電磁波によるアクティブ測距装置の場合、画角内の測定点の数Ｎは反射光強度が測定でき距離情報が取得できた点数、画角内の測定点の分布Ｄは前述と同様の方法で評価することができる。又、算出した測定点の信頼度Ｃは各点の反射光強度の大きさを数値化したものの総和として、数６を用いて同様に判定スコアＳを求め、閾値により実施判定を行っても良い。このように、ステップＳ９２０におけるシーン判定、或いは第２の距離情報の適否の判定は、前記第２の取得処理で用いる測定点の数、分布、信頼性、移動速度、オプティカルフローの大きさのいずれか１つに基づき行えば良い。

ステップＳ９１０の環境変化判定、ステップＳ９２０のシーン判定、どちらかで実施しない（Ｎｏ）と判定された場合、ステップＳ９３０でインターバル判定を実施する。ステップＳ９３０のインターバル判定では、前回の補正からの経過時間を計測し、補正実施の時間間隔が大きく空きすぎないようにすることが目的である。インターバル閾値ｔｈを適宜設定し、前回の補正からの経過時間ｔｉがｔｈを越えた場合、ステップＳ９３０のインターバル判定では補正を実施する（Ｙｅｓ）と判定する。

インターバル閾値ｔｈの設定は周囲の環境に応じて設定される。周囲の環境とは、季節や天候、路面などの走行条件等である。経時的な変化の起こる可能性が高い環境条件（例えば高温、高湿度等）のもとでは、インターバル閾値ｔｈの値を小さいものとし、頻度高く補正処理を実施するようにしても良い。又、インターバル判定でＹｅｓとなった場合に、必ず補正を実施するのではなく、ステップＳ９１０やＳ９２０の閾値を所定の割合だけ下げることによって補正が実行される可能性を高めても良い。

補正処理の実施タイミング判定は距離計測装置や移動装置の起動に合わせて判定タイミングを設定する。装置の起動直後は撮像素子や基板など各種電気部品が発熱を始め、装置内部の温度が急激に上昇を始める。そこで、装置の暖気運転が完了すると見込める時間をあらかじめ設定して、その時間が経過後に１回は補正処理を行い、次から補正処理の実施判定を行うようにしても良い。

補正処理の実施タイミング判定は、装置の移動状況に応じて行うことも好適である。車載カメラを想定した場合、悪路走行時は車体のピッチ変動が大きく、第２の取得手段で用いるカメラ姿勢の算出に大きく誤差が生じる可能性が高い。このように、装置の移動状況（シーン）に応じて、補正値の算出に誤差が大きく重畳されるような状況下では補正処理を実施しない、と判定するようにしても良い。

補正処理の実施判定を行い、短い間隔で実施の判定が出続ける場合にはアラート（警告）を出すように設定しても良い。経時的な変化を生じさせる要因となる、環境の温度や湿度は装置の動作に比べると比較的長い時定数を持つ。又、経時的な変化を生じさせるような振動などによる衝撃が、頻繁に起こるケースはまれである。

従って、短い間隔で実施の判定が出続ける場合には経時的な変化以外に故障など、他の要因によるトラブルの可能性が高い。よって、アラートを出すことによって修理やメンテナンスの実行を促すような設定とすることが望ましい。
＜領域分割して像側変化量を推定＞
（実施例４）

実施例４に係る補正処理では、異なる手法のデフォーカス量との差分データから像側変化量を推定する際に、画角（画面）を領域分割して像側変化量を推定し、それらを統合することで補正量を算出する。

装置構成の経時変化に伴う像側変化量は、先述のように連続かつ滑らかな形状ではあるが、光学系などの設計値や組み立て誤差などの影響により、像側変化量の形状はｘｙ平面に対して非対称な場合や、局所的な凹凸を含む場合がある。このような像側変化量に対し多項式近似で面推定を行う際、高次の項を用いても形状を表現しきれない場合がある。

このような場合、実際の像側変化量と近似式による推定面との差分が残存誤差となる。この残存誤差が補正値Ｉｃに含まれ、補正結果である補正距離情報ＩｄｉｓｔＣにも残存誤差が含まれることになる。従って、実施例４では、像側変化量を近似式による推定面で精度良く表現できるようにするために、画面内を複数の領域を分割して、領域毎に補正値の近似演算を行う。そして、複数の前記領域の近似演算の結果を合成することによって測距誤差の低減を図る。

図１０（Ａ）は実施例４の領域分割を伴う補正値処理を実施する全体フローを示すフローチャート、図１０（Ｂ）はデフォーカス量を算出する領域を分割した状態を示す図、図１０（Ｃ）はステップＳ１０３０の詳細を示すフローチャートである。
距離計測装置１１０内の中央演算処理装置（ＣＰＵ）がメモリに記憶されたコンピュータプログラムを実行することによって図１０（Ａ）、（Ｃ）の各処理を行う。
実施例４の図１０（Ａ）のフローチャートは、図３（Ｂ）に示す距離計測装置１１０の動作フローのうち、ステップＳ３３０の補正情報生成処理を、ステップＳ１０３０の領域分割を伴う補正情報生成処理に置き換えたものである。

図１０（Ｂ）の例では、デフォーカス量を算出するための画面の領域を例えばｘ方向に３分割している。即ち、座標ｘ１を境界に領域１００１と領域１００２、更に座標ｘ２を境界に領域１００３に分割している。分割領域数は任意の値に設定すればよく、分割方向も水平垂直問わず垂直方向の分割や水平垂直両方向または水平垂直の軸に依らない分割による任意の形状でよく、各領域の大きさが異なっていても良い。

ステップＳ３１０における第１の取得処理とステップＳ３２０における第２の取得処理によって、第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２を夫々取得した後、ステップＳ１０３０に進む。ステップＳ１０３０では、各領域において前述のステップＳ３３０の補正情報生成処理と同様な処理を行う。

ステップＳ１０３０における、領域分割を伴う補正情報生成処理の詳細を、図１０（Ｃ）を用いて説明する。
ステップＳ１０３１で領域分割し、設定した各領域に対応する第１の距離情報Ｉｄｉｓｔ１と第２の距離情報Ｉｄｉｓｔ２をステップＳ３３１へ渡して像側変化量算出処理をささせる。前述と同様に、各領域でステップＳ３３１の像側変化量算出処理とステップＳ３３２の補正情報算出処理を行い領域ごとの補正値Ｉｃを算出する（補正情報生成工程）。

ステップＳ１０３２の統合処理で、領域ごとの補正値Ｉｃの境界部分を滑らかにつなぎ、画角全体に対する補正値Ｉｃを算出する。具体的には、図１０（Ｂ）に示すよう境界の座標ｘ１に対しつなぎ区間ｗを設定する。つなぎ区間ｗに含まれる領域１００１で算出した補正値Ｉｃ１と領域１００２で算出した補正値Ｉｃ２とに対し、平均化処理、Ｉｃ１２＝（Ｉｃ１＋Ｉｃ２）÷２を実施する。境界の座標ｘ２に対しても同様な処理を行い、つなぎ区間ｗの補正値は平均化処理後の補正値Ｉｃを、それ以外の領域ではその領域で算出した補正値Ｉｃを用い、最終的に全画素に対応した暫定補正値Ｉｃｔｍｐを作成する。

暫定補正値Ｉｃｔｍｐは単純につなぎ合わせただけで、滑らかではないので、公知の手法である拡縮処理と補間処理を組み合わせて平滑化する。このようにして、領域ごとに補正値を算出し統合することで、全画角に対応した補正値Ｉｃを算出する。

領域分割して像側変化量の推定を行うことにより、実際の像側変化量に局所的な凹凸や非対称な形状が存在しても、分割後の各領域内では低次な近似が可能なので、多項式近似や各種関数で表現することができる。結果として、統合後の補正値Ｉｃは実際の像側変化量に近い形状となり残存誤差を低減することができる。

尚、図１０（Ｃ）に示すステップＳ１０３０において、ステップＳ１０３２の統合処理まで実行して算出した補正値Ｉｃを再度、ステップＳ１０３１の処理へフィードバックしても良い。そして、算出した補正値ＩｃをＩｄｉｓｔ１とＩｄｉｓｔ２のデフォーカス量の差分値の代わりに初期値とするループ処理を行うようにしても良い。

その際、ループをまわすごとに領域分割数Ｎを増やしていき、像側変化量の大域的な形状から局所的な形状を推定していくことで、面推定の近似が局所最小解におちいることや発散すること防ぐことができる。次に、フィードバックループ処理について説明する。
＜補正値をフィードバックして補正処理をループ＞

実施例４に係る補正処理において、算出した補正情報をフィードバックし、再度補正処理又は補正値算出処理を行うことで精度向上を図る処理について説明する。
図１１（Ａ）は算出した補正値をフィードバックして補正をループ処理する全体のフローチャート、図１１（Ｂ）は図１１（Ａ）の一部のフローチャートである。距離計測装置１１０内の中央演算処理装置（ＣＰＵ）がメモリに記憶されたコンピュータプログラムを実行することによって図１０（Ａ）、（Ｂ）の各処理を行う。

ステップＳ１１０１の補正情報有無判定にてフィードバックされた補正値Ｉｃの有無を判定する。初回の補正処理の実施時など、フィードバックされた補正値Ｉｃが存在しない場合には、補正値Ｉｃの初期データ無し（もしくは値０のダミーファイル）として図１０（Ａ）のステップＳ３１０～Ｓ３４０等の処理を実施する。

ステップＳ１１０１の補正情報有無判定にて、フィードバックされた補正値Ｉｃが有ると判定された場合、フィードバックされた補正値Ｉｃを用いる。そして、ステップＳ３１０の第１の取得手段にて数５により補正したデフォーカス量ΔＬ’を用いて第１の距離情報Ｉｄｉｓｔ１を算出する。そして、ステップＳ３２０の処理を実施し、ステップＳ３３０の補正情報で算出された新たな補正値を補正値Ｉｃとして更新し、次にステップＳ３４０の処理にて、更新された補正値Ｉｃを用い補正した距離情報を算出する。ステップＳ１１０２の更新判定では、補正値Ｉｃの更新が不十分か判定する。

補正値Ｉｃの更新が不十分（Ｙｅｓ）と判定された場合、現在の補正値Ｉｃをフィードバックし、再度、ステップＳ１１０１の処理から補正処理全体フローを実施する。ステップＳ１１０２の更新判定で補正値Ｉｃの更新が十分（Ｎｏ）と判定された場合、現在の補正された距離情報を出力する。
ステップＳ１１０２の更新判定では、予め設定した更新回数に達していない場合にはＹｅｓとし、達している場合にはＮｏと判定するようにしても良い。

即ち、装置の設計値や、周囲の温度変化、湿度変化から、事前のシミュレーション検討などで像側変化量の予測をある程度は行うことはできる。従って、その予測に対し、何回のフィードバックループで実際の像側変化量へ補正値が収束するかも予測できるため、その更新回数の閾値を設定しておくことようにしても良い。

又、ステップＳ３４０の補正処理で出力される補正距離情報ＩｄｉｓｔＣを基に、ステップＳ１１０２で更新判定を実施するようにしても良い。又、取得画像に対し認識処理を行い、同一被写体と分類された領域が同一の距離値になっているか、道路面と認識された領域が面で表現できる距離の分布となっているか、などの判定を行うようにしても良い。更に、補正距離情報ＩｄｉｓｔＣと第２の距離情報を比較し、その差分値を閾値判定するようにしても良い。

或いは、ステップＳ１１０２の更新判定において、算出された補正値Ｉｃをもとに更新判定を行うようにしても良い。算出された補正値Ｉｃと面フィッティングの元データとなったＩｄｉｓｔ１とＩｄｉｓｔ２の像側デフォーカス量の差分値を比較し、両者の相関性を閾値判定するようにしても良い。

尚、図１１（Ａ）のステップＳ３３０の補正情報生成処理を、図１１（Ｂ）のフローチャートに示すような、ステップＳ１１３０の補正情報生成処理に置き換えても良い。ステップＳ１１３０は、算出した補正値をフィードバックして補正値算出をループ処理するステップである。

図１１（Ｂ）において、ステップＳ１１３１の補正情報有無判定は図１１（Ａ）のステップＳ１１０１の処理と同様である。フィードバックされた補正値Ｉｃが無い場合は、図１０（Ａ）のステップＳ３１０～Ｓ３４０等の処理を行い、フィードバックされた補正値Ｉｃが有る場合、フィードバックされた補正値Ｉｃを用いて図１１（Ｂ）のステップＳ３３１、Ｓ３３２の処理を実施する。ステップＳ１１３２の更新判定において、補正値Ｉｃの更新が不十分か判定する。その場合、具体的には、フィッティング時の多項式関数の係数の更新量をもとに判定するようにしても良い。

ステップＳ１１３２で補正値Ｉｃの更新が不十分（Ｙｅｓ）と判定された場合、現在の補正値Ｉｃをフィードバックし、再度、Ｓ１１３１の処理から補正値算出処理を実施する。ステップＳ１１３２の更新判定で補正値Ｉｃの更新が十分（Ｎｏ）と判定された場合、現在の補正された補正値Ｉｃを出力する。
（実施例５）
＜車載装置と車両制御＞

（基本構成、全体構成）
図１２（Ａ）は実施例５の移動装置の全体構成を示した模式図であり、図１２（Ｂ）は実施例５のブロック図である。移動装置は自動車に限定されず、電車や飛行機や船舶、小型モビリティやＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）などの各種ロボット、ドローンなどでも良い。

図１２において、車両１１００は、撮像装置１１１０、ミリ波レーダ装置１１２０と、ＬｉＤＡＲ装置１１３０（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）と、車両情報計測器１１４０を有する。更に、経路生成ＥＣＵ１１５０（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と、車両制御ＥＣＵ１１６０とを備える。経路生成ＥＣＵ１１５０と車両制御ＥＣＵ１１６０の別形態として、コンピュータとしての中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリ等から構成しても良い。

撮像装置１１１０は実施例１～４に記載されたような同様の動作を行う第１の取得手段３１０、第２の取得手段３２０、補正情報生成手段３３０、補正手段３４０等を有する。更に、経路生成ＥＣＵ１１５０や車両制御ＥＣＵ１１６０等の制御手段は、補正手段によって補正された第１の距離情報に基づき、警告または移動装置としての車両１１００の移動動作（方向、移動速度等）の制御を行う制御工程を有する。

撮像装置１１１０は、車両１１００の走行道路を含む周囲環境を撮影し、撮影した画像を表す画像情報と、画素毎に被写体までの距離を表す情報を有する距離画像情報を生成して経路生成ＥＣＵ１１５０に出力する。撮像装置１１１０は、図１２に示すように車両１１００のフロントガラスの上端付近に配置され、車両１１００の前方に向かって所定の角度範囲（以降、撮影画角）の領域を撮影する。

被写体までの距離を表す情報は、撮像装置１１１０から撮影画角内の被写体までの距離に変換可能な情報であれば良く、所定の参照テーブル、又は所定の変換係数と変換式を用いて変換可能な情報であれば良い。例えば、距離値を所定の整数値に割り当てて経路生成ＥＣＵ１１５０に出力しても良い。又、被写体までの距離に変換可能な、光学的に共役な距離値（撮像素子から共役点までの距離（いわゆる、デフォーカス量）や、光学系から共役点までの距離（像側主点から共役点までの距離））に変換可能な情報を経路生成ＥＣＵ１１５０に出力しても良い。

車両情報計測器１１４０として、車両１１００は、走行速度計測器１１４１、舵角計測器１１４２、角速度計測器１１４３を備えている。走行速度計測器１１４１は、車両１１００の走行速度を検出する計測器である。舵角計測器１１４２は、車両１１００の操舵角を検出する計測器である。角速度計測器１１４３は、車両１１００の旋回方向の角速度を検出する計測器である。

経路生成ＥＣＵ１１５０は、論理回路を用いて構成されている。経路生成ＥＣＵ１１５０は、車両１１００が備える車両情報計測器からの計測信号、及び撮像装置１１１０からの画像情報と距離画像情報と、レーダ装置１１２０からの距離情報と、ＬｉＤＡＲ装置１１３０からの距離情報とを入力する。そしてそれらの情報に基づき、少なくとも車両１１００の目標走行軌跡と目標走行速度のいずれか一方に関する目標経路情報を生成し、車両制御ＥＣＵ１１６０に逐次出力する。

又、車両１１００が、運転者１１０１に対して画像の表示又は音声による通知や警告を行うＨＭＩ１１７０（ＨＭＩ：Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を備える場合には、経路生成ＥＣＵ１１５０が生成した目標経路情報を、ＨＭＩ１１７０を介して運転者１１０１に通知や警告をしても良い。

撮像装置１１１０に対し、本実施例にかかる距離補正を適用することにより、出力される距離情報の精度が向上し、経路生成ＥＣＵ１１５０から出力される目標経路情報の精度が向上し、より安全な車両の運転制御が達成される。
本実施例に係る第２の取得手段は、撮像装置１１１０から得られた画像に基づくＳｆＭ法でも、レーダ装置１１２０でも、ＬｉＤＡＲ装置１１３０を用いても、車両情報計測器１１４０や撮像装置１１１０を用いたＳｆＭを用いても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。前述のように以上の実施例では経時誤差の例について説明したが、誤差は製造誤差等であっても良い。
尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して距離計測装置や移動装置等に供給するようにしても良い。そしてその距離計測装置や移動装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしても良い。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００ 撮像装置
１０１ 撮像素子
１７０ 情報格納手段
３１０ 第１の取得手段
３２０ 第２の取得手段
３３０ 補正情報生成手段
３４０ 補正手段

Claims (24)

1. 結像光学系を介して、誤差を含む第１の距離情報を取得する第１の取得手段と、
   前記誤差が前記第１の距離情報より少ない第２の距離情報を取得する第２の取得手段と、
   前記第２の距離情報に基づき、前記第１の距離情報の前記誤差の補正をするための補正値を算出する補正情報生成手段と、
   前記補正値を用いて前記第１の距離情報の前記補正を行う補正手段と、を有することを特徴とする距離計測装置。
2. 前記補正情報生成手段は、前記第１の距離情報と前記第２の距離情報を像側デフォーカス量として比較することにより前記補正値を算出することを特徴とする請求項１に記載の距離計測装置。
3. 前記第１の取得手段は、撮像素子から出力される視差を有する複数の信号に基づき前記第１の距離情報を取得することを特徴とする請求項１又は２に記載の距離計測装置。
4. 前記第１の取得手段は、単眼式光学系の異なる瞳領域を通過した光束から出力される視差を有する複数の信号に基づき前記第１の距離情報を取得することを特徴とする請求項１～３の何れか１項に記載の距離計測装置。
5. 前記第１の取得手段は、１つの撮像素子から出力される視差を有する複数の信号に基づき前記第１の距離情報を取得することを特徴とする請求項４に記載の距離計測装置。
6. 前記第２の取得手段は、複数枚の画像から対象の特徴点のオプティカルフローを算出することによって前記第２の距離情報を取得することを特徴とする請求項１に記載の距離計測装置。
7. 前記第２の取得手段は、ＳｆＭによって前記第２の距離情報を取得することを特徴とする請求項６に記載の距離計測装置。
8. 前記第２の距離情報は、電磁波を照射し、反射された前記電磁波の到達時間に基づき測定されることを特徴とする請求項１に記載の距離計測装置。
9. 前記第２の距離情報は、ＬｉＤＡＲ、ＴｏＦ、又はミリ波レーダを用いて測定されることを特徴とする請求項１に記載の距離計測装置。
10. 前記誤差は、像面湾曲量の経時的な誤差を含むことを特徴とする請求項１に記載の距離計測装置。
11. 前記補正手段は、周囲の環境、所定の経過時間、前記第２の距離情報の適否の少なくとも１つを判別して、前記第２の距離情報に基づく前記第１の距離情報の前記誤差の前記補正を行うか否かを制御することを特徴とする請求項１に記載の距離計測装置。
12. 前記周囲の環境は、天候、季節、温度、湿度、振動の少なくとも１つを含むことを特徴とする請求項１１に記載の距離計測装置。
13. 前記第２の距離情報の適否は、前記第２の取得手段で用いる測定点の数、分布、信頼性、移動速度、オプティカルフローの大きさのいずれか１つに基づき判断することを特徴とする請求項１１に記載の距離計測装置。
14. 前記補正情報生成手段は、前記第１の距離情報と前記第２の距離情報の差分に基づいて前記補正値を算出することを特徴とする請求項１に記載の距離計測装置。
15. 前記補正情報生成手段は、画面内の複数の領域について、領域毎に前記補正値の近似演算を行い、複数の前記領域の前記近似演算の結果を合成することを特徴とする請求項１４に記載の距離計測装置。
16. 前記補正情報生成手段は、前記補正値をフィードバックしてループ処理することを特徴とする請求項１４に記載の距離計測装置。
17. 前記補正情報生成手段は、前記結像光学系又は前記撮像素子に関する補正用の初期値を用いて、前記補正値を算出することを特徴とする請求項３に記載の距離計測装置。
18. 前記補正情報生成手段は、前記補正のための前記初期値をルックアップテーブルから取得することを特徴とする請求項１７に記載の距離計測装置。
19. 前記初期値は環境温度に基づく像側変化量を含むことを特徴とする請求項１７に記載の距離計測装置。
20. 前記第２の取得手段は、前記撮像素子からの複数の画面の画像信号に基づき前記第２の距離情報を取得することを特徴とする請求項３に記載の距離計測装置。
21. 請求項１～２０のいずれか１項に記載の距離計測装置を搭載した移動装置であって、
    前記補正手段によって補正された前記第１の距離情報に基づき、警告または前記移動装置の移動動作の制御を行う制御手段を有することを特徴とする移動装置。
22. 結像光学系を介して、誤差を含む第１の距離情報を取得する第１の取得工程と、
    前記誤差が前記第１の距離情報より少ない第２の距離情報を取得する第２の取得工程と、
    前記第２の距離情報に基づき、前記第１の距離情報の前記誤差の補正をするための補正値を算出する補正情報生成工程と、
    前記補正値を用いて前記第１の距離情報の補正を行う補正工程と、を備えることを特徴とする距離計測方法。
23. 結像光学系を介して、誤差を含む第１の距離情報を取得する第１の取得工程と、
    前記誤差が前記第１の距離情報より少ない第２の距離情報を取得する第２の取得工程と、
    前記第２の距離情報に基づき、前記第１の距離情報の前記誤差の補正をするための補正値を算出する補正情報生成工程と、
    前記補正値を用いて前記第１の距離情報の前記補正を行う補正工程と、
    前記補正工程によって補正された前記第１の距離情報に基づき、警告または前記移動装置の移動動作の制御を行う制御工程と、を有することを特徴とする移動装置の制御方法。
24. 請求項１～２０のいずれか１項に記載の距離計測装置又は請求項２１に記載の移動装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
    
    
    

Images