JP2022152922A - 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】 画像に含まれる物体までの距離を高精度に取得することを可能とする電子機器、移動体、撮像装置、および電子機器の制御方法、プログラムを提供することを目的とする。
【解決手段】 本発明にかかる経路生成装置１５０は、撮像素子３０２が取得した画像に含まれる物体に対応する物体領域を設定する認識部３２１と、画像に対応し、各画素に対する距離情報を有する距離マップを取得する距離画像生成部３１２と、距離マップにおいて物体領域に対応する画素の距離情報を用いて、物体までの距離を示す物体距離情報を取得する距離情報生成部３２２と、を有することを特徴とする。
【選択図】 図１

Description

本発明は、移動体から物体までの距離を取得する電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体に関する。

光電変換機能を有する画素を２次元状に配置した画素領域を備えたセンサを有し、各画素領域において、画像信号と距離情報とを取得可能な撮影装置がある。特許文献１に記載の固体撮像素子は、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、撮像面において検出した位相差に基づいて被写体距離を検出する（撮像面位相差方式）。撮影装置が備える撮像光学系の異なる瞳領域を通過した光束により生成される像に基づく２つの画像信号の相関関係に基づいて位置ずれを演算し、位置ずれに基づいて距離を取得する。

２つの画像信号の相関関係は、各画像信号から所定の照合領域に含まれる画像信号を切り出して相関関係を評価する領域ベースのマッチング手法などの手法を用いて評価される。

特開２００７－２８１２９６号公報

画像信号に含まれる被写体のコントラスト変化が少ない場合、または、画像信号に含まれるノイズ量が多い場合など、被写体や撮影条件に起因して相関関係の誤評価が発生することがある。相関関係を誤評価の発生が一定以上含まれる場合、演算された２つの画像信号間の位置ズレ量が誤差を有し、取得される距離の精度が低下する恐れがある。

本発明は、画像に含まれる物体までの距離を高精度に取得することを可能とする電子機器、移動体、撮像装置、および電子機器の制御方法、プログラムを提供することを目的とする。

本発明にかかる電子機器の一の形態は、撮像手段から取得した画像に含まれる物体に対応する物体領域を設定する設定手段と、前記画像に対応し、各画素に対する距離情報を有する距離マップを取得する取得手段と、前記距離マップにおいて前記物体領域に対応する画素の距離情報を用いて、前記物体までの距離を示す物体距離情報を取得する処理手段と、を備えることを特徴とする。

本発明にかかる電子機器、移動体、撮像装置、および電子機器の制御方法、プログラムによれば、画像に含まれる物体までの距離を高精度に取得することを可能とする。

車両の構成を示す模式図である。 車両の構成を示す構成図である。 経路生成装置の構成を示すブロック図である。 撮像素子の構成を示す模式図である。 撮像面位相差方式における被写体距離と入射光との関係を示す模式図である。 画像処理部が実行する処理を示すフローチャートである。 距離情報生成部が実行する処理を示すフローチャートである。 距離情報生成部が行う処理における画像および情報を示す模式図である。 経路生成部が実行する経路生成処理を示すフローチャートである。 距離情報生成部が行う物体距離情報生成処理を示すフローチャートである。 Ｎ番目の物体と同一の識別番号の物体の物体距離情報の時間変化を示す模式図である。 距離情報生成部が行う物体距離情報生成処理を示すフローチャートである。 重み付け平均について説明するための模式図である。 測距値（物体距離情報）を取得するための処理を示すフローチャートである。 時系列に連続した複数の入力データが入力される場合の処理を示すフローチャートである。 絶対誤差の補正処理を説明するための模式図である。 測距システムの構成例を示すブロック図である。 物体検出部が実行する区画線検出タスクと物体認識タスクとの出力結果を示す模式図である。 カメラ取付け位置と、道路面の位置関係を説明する図である。 道路上に物体サイズが既知の標識を２つ検出したシーンを示す模式図である。 スケーリング測距部の構成例を示すブロック図である。 車線解析部の実行する車線幅検出、および車線中心検出の処理を模式的に示した模式図である。 撮像画像における車線幅を示す位置をロール角の有無について比較した模式図である。 ロール角推定部が実行するロール角推定処理を示すフローチャートである。 ロール角推定処理における各処理を説明するための模式図である。 接地位置推定部が実行する車線幅データの座標の推定処理を示すフローチャートである。 接地位置推定部が設定する測距対象の接地位置の座標を示す模式図である。 物体距離算出部が実行する測距対象までの距離の推定処理を示すフローチャートである。 各車線幅データを示す模式図である。

＜第１の実施形態＞
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。

以下の説明では、本発明の経路生成装置の一例として、撮影装置を備えた経路生成装置（電子機器）を用いて説明するが、本発明の適用はこれに限定されるものではない。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

図１は、車両１００における構成を示す模式図である。車両１００は、撮像装置１１０と、レーダ装置１２０と、経路生成ＥＣＵ１３０と、車両制御ＥＣＵ１４０と、計測器群１６０と、を備える移動体である。車両１００は、駆動部１７０と、メモリ１８０と、メモリ１９０とを備える。駆動部１７０と、メモリ１８０と、メモリ１９０とは、図２を用いて説明する。撮像装置１１０と、レーダ装置１２０と、経路生成ＥＣＵ１３０と、車両制御ＥＣＵ１４０と、計測器群１６０と、を備える。撮像装置１１０と経路生成ＥＣＵ１３０とは、経路生成装置１５０を構成する。車両１００は、運転者１０１が搭乗可能であって、走行時には運転者１０１が車両１００の前方（進行方向）を向いて搭乗する。運転者１０１は、車両１００のハンドルや、アクセルペダル、ブレーキペダルなどの操作部材を操作することによって、車両の動作を制御することができる。

撮像装置１１０は、車両１００の前方（通常の進行方向）を撮影するように配置される。撮像装置１１０は、図１に示すように車両１００のフロントガラスの上端付近に配置され、車両１００の前方に向かって所定の角度範囲（以降、撮影画角）の領域を撮影する。なお、撮像装置１１０は、車両１００の後方（通常の進行方向と逆、後退方向）を撮影するように配置されていてもよいし、側方を撮影するように配置されていてもよい。複数の撮像装置１１０が車両１００に配置されていてもよい。

図２は、車両１００の構成を示す構成図である。

撮像装置１１０は、車両１００が走行する道路（走行道路）を含む、車両の周囲の環境（周囲環境）を撮影する。撮像装置１１０は、撮像装置１１０の撮影画角の範囲内に含まれる物体を検出する。撮像装置１１０は、検出した物体の情報（外界情報）と、検出した物体の距離に関する情報（物体距離情報）とを取得し、経路生成ＥＣＵ１３０に出力する。物体距離情報は、所定の参照テーブル、または所定の変換係数と変換式を用いて車両１００の所定の位置から物体までの距離に変換可能な情報であれば良い。例えば、距離を所定の整数値に割り当てて経路生成ＥＣＵ１３０に逐次出力してもよい。

撮像装置１１０は、光電変換機能を有する画素を２次元状に配置した画素領域を備えたセンサを有し、撮像面位相差方式で物体の距離を取得することが可能であるとする。撮像面位相差方式による、物体の距離情報の取得については、後述する。

レーダ装置１２０は、電磁波を送信波として送信し、その反射波を受信することで物体を検知する検知装置である。レーダ装置１２０は、電磁波を送信してから、反射波を受信するまでの時間と反射波の受信強度に基づいて、電磁波の送信方向の物体までの距離を示す距離情報を取得する。レーダ装置１２０は、距離情報を経路生成ＥＣＵ１３０に出力する。レーダ装置１２０は、ミリ波帯域からサブミリ波帯域と呼ばれる波長の電磁波を用いたミリ波レーダ装置であるとする。

本実施形態において、車両１００は複数のレーダ装置１２０が取り付けられ、例えば、車両１００の前側の左右、および後側の左右にそれぞれレーダ装置１２０が取り付けられるとする。また、各レーダ装置１２０は、所定の角度範囲内を電磁波で走査し、電磁波を送信してから、反射波を受信するまでの時間と反射波の受信強度に基づいて、レーダ装置１２０からの距離を計測し、走査位置における距離情報を生成する。距離情報は、レーダ装置１２０からの距離の他に、反射波の受信強度や物体の相対速度に関する情報を含めることができる。

計測器群１６０は、速度計測器１６１、舵角計測器１６２、角速度計測器１６３を含み、走行速度、舵角、角速度など、車両の状態に関する車両情報を取得する。速度計測器１６１は、車両１００の走行速度を検出する計測器である。舵角計測器１６２は、車両１００の操舵角を検出する計測器である。角速度計測器１６３は、車両１００の旋回方向の角速度を検出する計測器である。各計測器は、計測したパラメータに対応する計測信号を車両情報として経路生成ＥＣＵ１３０に出力する。

経路生成ＥＣＵ１３０は、論理回路を用いて構成され、計測信号、外界情報、物体距離情報、および距離情報に基づき、車両１００の走行軌跡と走行軌跡に関する経路情報を生成する。経路生成ＥＣＵ１３０は、車両制御ＥＣＵ１４０に出力する。経路生成ＥＣＵ１３０が処理するデータや実行するプログラムは、メモリ１８０に格納される。

ここで、走行軌跡は、車両１００が通過する軌跡（経路）を示す情報である。また、経路情報は、走行軌跡が示す経路を車両１００が通過するための情報である。

車両制御ＥＣＵ１４０は、論理回路を用いて構成され、経路情報と計測器群１６０から取得した車両情報に基づき、車両１００が経路情報に定められた経路を通過するように、駆動部１７０を制御する。経路生成ＥＣＵ１３０が処理するデータや実行するプログラムは、メモリ１９０に格納される。

駆動部１７０は、車両を駆動するための駆動部材であって、例えばタイヤを回転させるためのエネルギーを生成するエンジンやモーターなどの動力部（不図示）、および車両の進行方向を制御するステアリング部を含む。また、駆動部１７０は、動力部が発生させたエネルギーを用いてタイヤを回転させるためのギアボックス、およびギアボックス内の構成を制御するギア制御ユニット、ブレーキ動作を行うブレーキユニットなどを含む。車両制御ＥＣＵ１４０は、経路情報に対応する経路を車両が通過するように、駆動部１７０を制御して、車両１００の駆動量、制動量、操舵量などを調整する。具体的には、車両制御ＥＣＵ１４０は、ブレーキ、ステアリング、ギア構成などを制御して車両１００を動作させる。

なお、経路生成ＥＣＵ１３０と車両制御ＥＣＵ１４０とは、共通の中央演算処理装置（ＣＰＵ）と、演算処理プログラムを格納するメモリとから構成してもよい。

ＨＭＩ２４０は、運転者１０１に対して情報を伝えるためのＨｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅである。ＨＭＩ２４０は、運転者１０１がドライビングポジションに位置するときに、視認可能なディスプレイと、ディスプレイに表示する情報を生成する表示制御装置を含む。また、ＨＭＩ２４０は、音声を出力する装置（スピーカーシステム）と、音声データを生成する音声制御装置とを含む。表示制御装置は、経路生成ＥＣＵ１３０が生成した経路情報に基づいて、ナビゲーション情報をディスプレイに表示する。また、音声制御装置は、経路情報に基づいて、運転者１０１に情報を通知するための音声データを生成し、スピーカーシステムから出力させる。音声データは、例えば、曲がるべき交差点が近づいていることを通知するためのデータなどである。

図３は、経路生成装置１５０の構成を示すブロック図である。経路生成装置１５０は、撮像装置１１０と、経路生成ＥＣＵ１３０とを備える。

撮像装置１１０は、撮像光学系３０１、撮像素子３０２、画像処理部３１０、および物体情報生成部３２０を有する。撮像光学系３０１、撮像素子３０２、画像処理部３１０、および物体情報生成部３２０は、撮像装置１１０の筐体（不図示）の内部に配置される。

撮像光学系３０１は、撮像装置１１０の撮影レンズであり、被写体の像（光学像）を撮像素子３０２上に形成する機能を有する。撮像光学系３０１は、複数のレンズ群で構成される。撮像光学系３０１は、撮像素子３０２から所定距離離れた位置に射出瞳を有する。

撮像素子３０２はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。撮像素子３０２は、撮像光学系３０１が形成する像に基づく画像信号を、画像処理部３１０に逐次出力する。撮像素子３０２は、光電変換機能を有する画素を２次元状に配置した画素領域を備える。各画素領域は、２つの光電変換部（第１の光電変換部、第２の光電変換部）を有する。撮像素子３０２は、撮像光学系３０１を介して撮像素子３０２上に結像した被写体像を光電変換して、被写体像に基づく画像信号を生成する。撮像素子３０２は、画像信号を画像処理部３１０に出力する。画像信号は、各画素領域の光電変換部ごとの出力値からなる信号である。撮像素子３０２は、第１の光電変換部から出力された信号に基づく第１の画像信号と、第２の光電変換部から出力された信号に基づく第２の画像信号と、を画像処理部３１０に出力する。

画像処理部３１０は、画像信号に基づいて、画素ごとの赤、緑、青の各色の輝度情報を持つ画像データと、画素ごとの距離情報を示す距離画像データとを生成する。画像処理部３１０は、画像信号に基づいて画像データを生成する現像部３１１と、画像信号に基づいて距離画像データを生成する距離画像生成部３１２とを有する。これらが実行する処理については、後述する。画像処理部３１０は、画像データと距離画像データとを物体情報生成部３２０に出力する。

物体情報生成部３２０は、画像データに基づいて、取得した画像に含まれる物体を検出し、当該物体に関する情報を示す外界情報を生成する認識処理部３２１を有する。外界情報は、検出された物体の画像内における位置、幅や高さなどのサイズ、領域などを示す情報である。また、外界情報は検出された物体の属性および識別番号に関する情報が含まれる。

物体情報生成部３２０は、外界情報と、距離画像データと、に基づいて、取得した画像に含まれる物体までの距離を示す物体距離情報を生成する距離情報生成部３２２を有する。物体距離情報は、外界情報が検出した物体の識別番号に関する情報を含む。

物体情報生成部３２０は、外界情報と、物体距離情報とを経路生成ＥＣＵ１３０に出力する。

なお、画像処理部３１０と物体情報生成部３２０とは、撮像装置１１０の有する１以上のプロセッサで構成されてもよい。１以上のプロセッサがメモリ３４０から読み出したプログラムを実行することにより、画像処理部３１０と物体情報生成部３２０との機能を実現するものであってもよい。

経路生成ＥＣＵ１３０は、経路生成部３３０を備える。経路生成部３３０は、外界情報および物体距離情報、およびレーダ装置１２０から取得した距離情報に基づいて、経路情報を生成する。

次に、経路生成装置１５０の各ブロックの構造、および制御について詳細に説明する。

図４は、撮像素子３０２の構成を示す模式図である。図４（Ａ）は、撮像素子３０２を光の入射方向からみた上面図である。撮像素子３０２は、２行×２列の画素群４１０をマトリクス状に複数配列することで構成される。画素群４１０は、緑色の光を検出する緑画素Ｇ１、緑画素Ｇ２、赤色の光を検出する赤画素Ｒ及び青色の光を検出する青画素Ｂを有する。画素群４１０において、緑画素Ｇ１および緑画素Ｇ２は対角に配置される。また、各画素は、第１の光電変換部４１１と、第２の光電変換部４１２とを有する。

図４（Ｂ）は、図４（Ａ）における画素群４１０のＩ－Ｉ’断面における断面図である。各画素は、マイクロレンズ４１３、受光層４１４、および導光層４１５から構成される。

導光層４１４は、画素へ入射した光束を受光層４１５へ効率良く導くためのマイクロレンズ４１３、各画素が検出する光の色に対応する波長帯域の光を通過させるカラーフィルタ、および。画像読み出し用及び画素駆動用の配線を有する導光部材である。

受光層４１５は、導光層４１４を介して入射した光を光電変換して電気信号として出力する光電変換部である。受光層４１５は、第１の光電変換部４１１、および第２の光電変換部４１２を有する。

図５は、撮像面位相差方式における被写体距離と入射光との関係を示す模式図である。図５（Ａ）は、撮像光学系３０１の射出瞳５０１と、撮像素子３０２の緑画素Ｇ１と、緑画素Ｇ１の各光源変換部に入射する光を示す模式図である。撮像素子３０２は、複数の画素を有するが、簡単のため、１つの緑画素Ｇ１について説明する。

緑画素Ｇ１のマイクロレンズ４１３は、射出瞳５０１と受光層４１５とが光学的に共役関係になるように配置されている。その結果、射出瞳５０１に内包される部分瞳領域である第１の瞳領域５１０を通過した光束は第１の光電変換部４１１に入射する。同様に部分瞳領域である第２の瞳領域５２０を通過した光束は第２の光電変換部４１２に入射する。

各画素の第１の光電変換部４１１は、受光した光束を光電変換して信号を出力する。撮像素子３０２に含まれる複数の第１の光電変換部４１１から出力された信号から、第１の画像信号が生成される。第１の画像信号は、第１の瞳領域５１０を主に通過した光束が撮像素子３０２上に形成する像の強度分布を示す。

各画素の第２の光電変換部４１２は、受光した光束を光電変換して信号を出力する。撮像素子３０２に含まれる複数の第２の光電変換部４１２から出力された信号から、第２の画像信号が生成される。第２の画像信号は、第２の瞳領域５２０を主に通過した光束が撮像素子３０２上に形成する像の強度分布を示す。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（以下、視差量）は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図５（Ｂ）、（Ｃ）、（Ｄ）を用いて説明する。

図５（Ｂ）、（Ｃ）、（Ｄ）は撮像素子３０２、撮像光学系３０１について示した概略図である。図中の５１１は第１の瞳領域５１０を通過する第１の光束を示し、５２１は第２の瞳領域５２０を通過する光束を示す。

図５（Ｂ）は、合焦時の状態を示しており、第１の光束５１１と第２の光束５２１が撮像素子３０２上で収束している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間の視差量は０となる。

図５（Ｃ）は、像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間の視差量は０とはならず、負の値を有する。

図５（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間の視差量は０とはならず、正の値を有する。

図５（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、視差が生じる方向が入れ替わることが分かる。また、幾何関係から、デフォーカス量に応じた視差量が生じることが分かる。従って、後述するように、第１の画像信号と第２の画像信号との間の視差量を領域ベースのマッチング手法により検出し、視差量を所定の変換係数を介してデフォーカス量に変換することができる。さらに、撮像光学系３０１の結像公式を用いることで、像側のデフォーカス量を、物体までの距離に変換することができる。

なお、撮像素子３０２は、第１の画像信号と第２の画像信号との合成信号と第１の画像信号を画像処理部３１０に出力するものであってもよい。この場合、画像処理部３１０は、合成信号と第１の画像信号との差分により第２の画像信号を生成して、第１の画像信号と第２の画像信号を取得する。

次に、画像処理部３１０が行う処理について説明する。

図６は、画像処理部３１０が実行する処理を示すフローチャートである。図６（Ａ）は、画像処理部３１０の現像部３１１が画像信号から画像データを生成する現像処理の動作を示すフローチャートである。現像処理は、撮像素子３０２から画像信号を受信したことに応じて実行される。

Ｓ６０１で、現像部３１１は、撮像素子３０２から入力された第１の画像信号と第２の画像信号とを合成した合成画像信号を生成する処理を実行する。第１の画像信号と第２の画像信号を合成することで、射出瞳５０１全域を通過した光束により形成された像に基づく画像信号を得ることができる。撮像素子３０２の水平方向の画素座標をｘ、垂直方向の画素座標をｙとしたとき、画素（ｘ，ｙ）の合成画像信号Ｉｍ（ｘ，ｙ）は、第１の画像信号Ｉｍ１（ｘ，ｙ）と、第２の画像信号Ｉｍ２（ｘ，ｙ）とを用いて、次式（数式１）で表すことができる。

Ｓ６０２で、現像部３１１は、合成画像信号の欠陥画素の補正処理を実行する。欠陥画素は、撮像素子３０２において正常な信号出力ができない画素である。現像部３１１は、撮像素子３０２の欠陥画素の座標を示す情報を取得する。現像部３１１は、欠陥画素の合成画像信号を、欠陥画素の周りの画素の合成画像信号の中央値で置き換えるメディアンフィルタを用いて生成する。欠陥画素の合成画像信号を補正する方法として、予め用意した欠陥画素の座標情報を用い、欠陥画素の周りの画素の信号値を用いて内挿することで、欠陥画素の信号値を生成しても構わない。

Ｓ６０３で、現像部３１１は、撮像光学系３０１によって生じる画角周辺の光量低減を補正する光量補正処理を合成画像信号に適用する。光量の補正方法としては、予め用意した画角間の相対的な光量比が一定になるようなゲインを、合成画像信号に乗じて補正することができる。例えば、現像部３１１は、撮像素子３０２の中央の画素から周辺の画素に向けて増加する特性を有するゲインを、各画素の合成画像信号に乗じて、光量補正を行う。

Ｓ６０４で、現像部３１１は、合成画像信号のノイズ低減処理を行う。ノイズを低減する方法として、ガウシアンフィルタによるノイズ低減を用いることができる。

Ｓ６０５で、現像部３１１は、合成画像信号に対してデモザイク処理を行い、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色ごとの輝度情報を持つ画像データを生成する。デモザイク方法としては、色チャンネル毎に、線形補間を用いて画素ごとの色情報を生成する手法を用いることができる。

Ｓ６０６で、現像部３１１は、所定のガンマ値を用いて階調補正（ガンマ補正処理）を行う。階調補正後の画素（ｘ，ｙ）の画像データＩｄｃ（ｘ，ｙ）は、階調補正前の画素（ｘ，ｙ）の画像データＩｄ（ｘ，ｙ）とガンマ値γを用いて次式（数式２）で表される。

ガンマ値γは、予め用意した値を用いることができる。ガンマ値γは、画素の位置に応じて決定してもよい。例えば、撮像素子３０２の有効領域を所定の分割数で分割した領域ごとにガンマ値γを変えても構わない。

Ｓ６０７で、現像部３１１は、画像データの色空間をＲＧＢ色空間からＹＵＶ色空間へ変換する色空間変換処理を実行する。現像部３１１は、所定の係数と色空間の変換式（数式３）を用いて、赤、緑、青の各色の輝度に対応する画像データを、輝度値と色差値とに変換して、画像データの色空間をＲＧＢ色空間からＹＵＶ色空間へ変換する。

ＩｄｃＲ（ｘ，ｙ）は、階調補正後の画素（ｘ，ｙ）の赤色の画像データ値を示す。ＩｄｃＧ（ｘ，ｙ）は、階調補正後の画素（ｘ，ｙ）の緑の画像データ値を示す。ＩｄｃＢ（ｘ，ｙ）は、階調補正後の画素（ｘ，ｙ）の青色の画像データ値を示す。Ｙ（ｘ，ｙ）は、色空間変換によって得られる画素（ｘ，ｙ）の輝度値を示す。Ｕ（ｘ，ｙ）は、色空間変換によって得られる画素（ｘ，ｙ）の輝度値と青色成分の差（色差値）を示す。Ｖ（ｘ，ｙ）は、色空間変換によって得られる画素（ｘ，ｙ）の輝度値と赤色成分の差（色差値）を示す。係数（ｒｙ，ｇｙ，ｇｙ）は、Ｙ（ｘ，ｙ）を求めるための係数であり、係数、（ｒｕ，ｇｕ，ｇｕ）、（ｒｖ，ｇｖ，ｂｖ）はそれぞれ色差値を算出するための係数である。

Ｓ６０８で、現像部３１１は、撮像光学系３０１の光学特性によって生じる歪曲収差の影響を抑制するための補正（歪曲補正）を変換後の画像データに対して実行する。歪曲収差の補正処理は、撮像光学系３０１の歪曲率を補正するように、画像データの幾何学的な変形を行うことによってなされる。幾何学的な変形は、歪曲収差のない正しい画素位置から補正前の画素位置を生成する多項式を用いて行われる。補正前の画素位置が小数になる場合は、四捨五入して最近傍の画素を用いてもよいし、線形内挿を用いてもよい。

Ｓ６０９で、現像部３１１は、歪曲収差の補正処理が適用された画像データを、物体情報生成部３２０に出力する。

以上で、現像部３１１が実行する現像処理が終了する。

なお、後述する経路生成ＥＣＵ１３０の認識処理部３２１が、画像データを用いて外界認識処理により外界情報を生成できれば、現像部３１１は、図６（Ａ）のすべての処理を実行しなくともよい。例えば、認識処理部３２１が、Ｓ６０８の歪曲収差の補正処理が適用されていない画像データに基づいて、撮影画角範囲内の物体を検出できる場合、図６（Ａ）の現像処理からステップＳ６０８の処理を省いてもよい。

図６（Ｂ）は、距離画像生成部３１２が行う距離画像データの生成処理の動作を示すフローチャートである。ここで、距離画像データは、各画素に対して撮像装置１１０からの距離に対応する距離情報を関連付けたデータである。距離情報は、距離値Ｄであってもよいし、距離値を算出するために用いられるデフォーカス量ΔＬもしくは視差量ｄであってもよい。本実施形態においては、距離画像データは、各画素に対して距離値Ｄが対応付けられたデータであるとして説明する。

Ｓ６１１で、距離画像生成部３１２は、入力された画像信号から輝度画像信号を生成する。距離画像生成部３１２は、第１の画像信号を用いて第１の輝度画像信号を生成し、第２の画像信号を用いて第２の輝度画像信号を生成する。距離画像生成部３１２は、各画素群４１０の赤画素、緑画素、青画素の画像信号の値を、係数を用いて合成し、輝度画像信号を生成するとする。なお、距離画像生成部３１２は、線形内挿を用いたデモザイク処理を行った後に、赤・緑・青のチャンネル毎に所定の係数を乗じて合成することで輝度画像信号を生成してもよい。

Ｓ６１２で、距離画像生成部３１２は、第１の輝度画像信号と第２の輝度画像信号との間の、光量バランスの補正を行う。光量バランスの補正は、第１の輝度画像信号と第２の輝度画像信号との少なくとも一方に補正係数を乗算して実行される。補正係数は、撮像光学系３０１と撮像素子３０２の位置調整後に均一照明を与え、得られた第１の輝度画像信号と第２の輝度画像信号との輝度比が一定になるように予め算出され、メモリ３４０に格納されているとする。距離画像生成部３１２は、補正係数を第１の輝度画像信号と第２の輝度画像信号との少なくとも一方に補正係数を乗算して、光量バランス補正が適用された第１の画像信号および第２の画像信号を生成する。

Ｓ６１３では、距離画像生成部３１２は、光量バランス補正が適用された第１の輝度画像信号と第２の輝度画像信号とに対して、ノイズを低減するための処理を行う。距離画像生成部３１２は、空間周波数の高い帯域を低減するローパスフィルタを各輝度画像信号に適用してノイズ低減処理を実行する。なお、距離画像生成部３１２は、所定の空間周波数帯域を透過するバンドパスフィルタを用いてもよい。この場合、ステップＳ６１２で行う光量バランス補正の補正誤差の影響を低減する効果を得られる。

Ｓ６１４で、距離画像生成部３１２は、第１の輝度画像信号と第２の輝度画像信号との間の相対的な位置ズレ量である視差量を算出する。距離画像生成部３１２は、第１の輝度画像信号に対応する第１の輝度画像内に、注目点を設定し、注目点を中心とする照合領域を設定する。次に、距離画像生成部３１２は、第２の輝度画像信号に対応する第２の輝度画像内に、参照点を設定し、参照点を中心とする参照領域を設定する。

距離画像生成部３１２は、参照点を順次移動させながら照合領域内に含まれる第１の輝度画像と、参照領域内に含まれる第２の輝度画像間の相関度を算出し、最も相関が高い参照点を対応点とする。距離画像生成部３１２は、注目点と対応点間の相対的な位置のズレ量を、注目点における視差量とする。距離画像生成部３１２は、注目点を順次移動させながら視差量を算出することで、複数の画素位置における視差量を算出することができる。距離画像生成部３１２は、画素ごとに視差値を示す値が特定され、視差分布を示すデータである視差画像データを生成する。

なお、距離画像生成部３１２が視差量を求めるために用いる相関度の算出方法としては公知の手法を用いることができる。距離画像生成部３１２は、例えば、輝度画像間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法を用いることができる。また、距離画像生成部３１２は、相関度として相違度を評価する手法を用いてもよい。距離画像生成部３１２は、例えば、輝度画像間の差の絶対値和を評価するＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。

Ｓ６１５で、距離画像生成部３１２は、視差画像データにおける各画素の視差量をデフォーカス量に変換して、各画素のデフォーカス量を取得する。距離画像生成部３１２は、視差画像データにおける各画素の視差量に基づいて、各画素におけるデフォーカス量を示すデフォーカス画像データを生成する。距離画像生成部３１２は、視差画像データにおける画素（ｘ，ｙ）の視差量ｄ（ｘ，ｙ）と変換係数Ｋとを用いて、画素（ｘ，ｙ）のデフォーカス量ΔＬ（ｘ，ｙ）を次式（数式４）から算出する。なお、撮像光学系３０１は、ヴィネッティングにより、周辺画角において第１の光束５１１と第２の光束５２１の一部が削られる。そのため、変換係数Ｋは画角（画素の位置）に依存した値をとなる。

中心画角と周辺画角とで焦点位置が変化する像面湾曲を有する特性を撮像光学系３０１が有する場合、像面湾曲量をＣｆとすると、次式（数式５）を用いて視差量ｄ（ｘ，ｙ）をデフォーカス量ΔＬ（ｘ，ｙ）に変換することができる。撮像光学系３０１と撮像素子３０２の位置合わせ後に、視差量と物体までの距離値の関係をチャート撮影により取得することで、変換係数Ｋと像面湾曲量Ｃｆを取得することができる。このとき、像面湾曲量Ｃｆは、画角に依存し、画素位置の関数として与えられる。

Ｓ６１６で、距離画像生成部３１２は、画素（ｘ，ｙ）のデフォーカス量ΔＬ（ｘ，ｙ）を画素（ｘ，ｙ）における物体までの距離値Ｄ（ｘ，ｙ）への変換し、距離画像データを生成する。デフォーカス量ΔＬを、撮像光学系３０１の結像関係を用いて変換することにより、物体までの距離値Ｄを算出することができる。撮像光学系３０１の焦点距離をｆ、像側主点から撮像素子３０２までの距離をＩｐｐとしたとき、次式（数式６）の結像公式を用いて、デフォーカス量ΔＬ（ｘ，ｙ）を物体までの距離値Ｄ（ｘ，ｙ）に変換することができる。

なお、焦点距離ｆと像側主点から撮像素子３０２までの距離Ｉｐｐは画角に寄らず一定値としているが、これに限らない。撮像光学系３０１の結像倍率が画角ごとに大きく変化する場合には、焦点距離ｆや像側主点から撮像素子３０２までの距離Ｉｐｐの少なくとも１つを画角ごとに変わる値としてもよい。

Ｓ６１７で、距離画像生成部３１２は、距離画像データを物体情報生成部３２０に出力する。以上で、距離画像生成部３１２が実行する距離画像データの生成処理が終了する。

なお、画素ごとの視差量ｄ、デフォーカス量ΔＬ、撮像光学系３０１の主点からの距離値Ｄは前述の係数と変換式を用いて変換可能な値である。したがって、距離画像生成部３１２が生成する距離画像データとして、各画素が視差量ｄまたはデフォーカス量ΔＬを表す情報を備えていても構わない。物体情報生成部３２０が、物体領域内に含まれる距離値Ｄの代表値を算出することを考慮すると、度数分布が対称になるデフォーカス量に基づき、距離画像データを生成することが望ましい。

Ｓ６１４の視差量を算出する処理において、第１の輝度画像と第２の輝度画像との相関を用いて対応点を探索する。第１の画像信号に含まれるノイズ（例えば、光ショットノイズに起因するノイズ）が多い場合や、照合領域内に含まれる輝度画像信号の信号値の変化が小さい場合、相関度を正しく評価することができないことがある。このような場合、正しい視差量に対して誤差の大きい視差量を算出してしまうことがある。視差量の誤差が大きい場合、Ｓ６１６で生成される距離値Ｄの誤差も大きくなる。

距離画像生成部３１２が行う距離画像データの生成処理は、視差量の信頼度（視差信頼度）を算出する信頼度算出処理を含んでいてもよい。視差信頼度は、算出された視差量がどの程度誤差を含んでいるかを示す指標である。例えば、照合領域に含まれる信号値の平均値に対する標準偏差の比を、視差信頼度として評価することができる。照合領域内の信号値の変化（いわゆるコントラスト）が大きい場合、標準偏差が大きくなる。画素に入射した光量が多い場合、平均値が大きくなる。画素に入射する光量が多い場合は、光ショットノイズが多い。すなわち平均値は、ノイズ量と正の相関を有する。

標準偏差に対する平均値の比（標準偏差／平均値）は、コントラストの大きさとノイズ量との比に対応する。ノイズ量に対してコントラストが十分大きければ、視差量の算出における誤差が小さいと推定できる。すなわち、視差信頼度が大きいほど、算出された視差量における誤差が小さく、より正確な視差量であるといえる。

Ｓ６１４において、各注目点において視差信頼度を算出し、距離画像データを構成する画素ごとの距離値の確からしさを表す信頼度データを生成することができる。距離画像生成部３１２は、信頼度データを物体情報生成部３２０に出力することができる。

次に、物体情報生成部３２０が画像データと距離画像データとに基づいて、外界情報と、物体距離情報とを生成する処理について説明する。

図７は、物体情報生成部３２０が実行する処理を示すフローチャートである。図８は、物体情報生成部３２０が行う処理における画像および情報を示す模式図である。

認識処理部３２１は、画像データに基づく画像に含まれる物体の画像における位置、幅や高さなどのサイズ、領域などを示す領域情報、物体の種類（属性）、および識別番号（ＩＤ番号）を示す外界情報を生成する。識別番号は、検出された物体を識別するための識別情報であって、番号に限らない。認識処理部３２１は、撮像装置１１０の撮影画角内に存在する物体の種類、および画像における物体の位置とサイズを検出するとともに、既に登録済みの物体か否かを判断して識別番号を付与している。

図８（Ａ）は、撮影装置１１１が取得し、物体情報生成部３２０に入力された画像データに基づく画像８１０を示す。画像８１０は、人８０１、車両８０２、標識８０３、道路８０４、および車線８０５を含む。認識処理部３２１は、画像８１０から物体を検出し、各物体の種類、識別番号、および領域情報を示す外界情報を生成する。図８（Ｂ）は、画像８１０から検出された物体の外界情報を、ｘｙ座標平面に、画像８１０における位置に示した模式図である。例えば、外界情報は、表１で示されるようなテーブルとして生成される。外界情報において、物体の領域は、当該物体を囲む矩形の枠（物体枠）として定義されるとする。外界情報において、物体の領域情報は、矩形の物体枠の形状を、左上の座標（ｘ０，ｙ０）および右下の座標（ｘ１，ｙ１）として示される。

図７（Ａ）は、認識処理部３２１が外界情報を生成する処理を示すフローチャートである。認識処理部３２１は、画像データを取得したことに応じて、外界情報を生成する処理を開始する。

Ｓ７０１で、認識処理部３２１は、画像データから物体検出処理に用いる画像データを生成する。認識処理部３２１は、物体検出処理における検出性能と処理時間とから決定されるサイズに、画像処理部３１０から入力された画像データのサイズを拡縮する処理を行う。

Ｓ７０２で、認識処理部３２１は、画像データに基づく画像に含まれる物体を検出する処理を実行し、画像において物体に対応する領域と、物体の種類を検出する。認識処理部３２１は、１つの画像から複数の物体を検出してもよい。この場合、認識処理部３２１は検出された複数の物体に対して種類と領域とを特定する。

認識処理部３２１は、物体が検出された画像の領域の位置およびサイズ（水平幅、垂直高さ）と、物体の種類と、を外界情報として生成する。認識処理部３２１が検出可能な物体の種類は、例えば、車両（乗用車、バス、トラック）、人、二輪車、標識などであるとする。認識処理部３２１は、あらかじめ物体の種類に関連付けられた所定の外形パターンと、画像中の物体の外形とを比較することにより、物体を検出するとともに、検出された物体の種類を特定する。なお、認識処理部３２１が検出可能な物体の種類は上記に限らないが、車両１００の走行環境に応じて検出する物体の種類の数を絞り込むことが処理速度の観点から望ましい。

Ｓ７０３で、認識処理部３２１は、既に識別番号が登録されている物体の追跡を行う。認識処理部３２１は、Ｓ７０２で検出された物体のうち、既に識別番号が登録されている物体を特定する。識別番号が登録された物体とは、例えば、前回までの物体検出処理で検出され、識別番号を割り当てられた物体である。認識処理部３２１は、識別番号が登録された物体が検出された場合、当該識別番号に対応する外界情報に、Ｓ７０２で取得された物体の種類、および領域に関する情報を対応付ける（外界情報を更新する）。

なお、識別番号が登録された物体が画像情報中には存在しないと判断された場合、当該識別番号に関連付けられた物体は、撮影装置１１０の撮影画角の外に移動した（ロストした）と判断して、追跡を中断する。

Ｓ７０４で、認識処理部３２１は、Ｓ７０２で検出された物体の各々について、識別番号が登録されていない新規の物体かどうかを判断し、新規の物体と判断された物体の種類および領域を示す外界情報に、新しい識別番号を割り当て、外界情報に登録する。

Ｓ７０５で、認識処理部３２１は、生成した外界情報を、時刻を表す情報と共に経路生成装置１５０に出力する。

以上で、認識処理部３２１が実行する外界情報の生成処理が終了する。

図７（Ｂ）は、距離情報生成部３２２が行う物体ごとの距離情報の生成処理を示すフローチャートである。距離情報生成部３２２は、外界情報と距離画像データとに基づいて、検出された物体毎の距離値を表す物体距離情報を生成する。

図８（Ｃ）は、図８（Ａ）の画像データに基づく画像８１０と対応する距離画像データに基づく距離画像８２０である。距離画像８２０において距離情報は色の濃淡で示され、色が濃いほど近く、色が薄いほど遠くを表す。

Ｓ７１１で、距離情報生成部３２２は、認識処理部３２１が検出した物体の数Ｎｍａｘをカウントし、検出した物体数を算出する。

Ｓ７１２で、距離情報生成部３２２は、Ｎを１に設定する（初期化処理）。Ｓ７１３以降の処理は、外界情報に示される各物体に対して順に実行する。外界情報において識別番号が小さい順にＳ７１３からＳ７１６の処理が実行されるとする。

Ｓ７１３で、距離情報生成部３２２は、外界情報に含まれるＮ番目の物体の画像８１０上における領域（物体枠）に対応する距離画像８２０上の矩形領域を特定する。距離情報生成部３２２は、距離画像８２０条の対応する領域の外形を示す枠（物体枠）を設定する。図８（Ｄ）は、画像８１０から検出された各物体に対して、距離画像８２０に設定された領域の外形を示す枠を重畳した模式図である。図８（Ｄ）に示されるように、距離情報生成部３２２は、距離画像８２０上に人８０１に対応する物体枠８２１、車両８０２に対応する物体枠８２２、および標識８０３の場合は物体枠８２３をそれぞれ設定する。

Ｓ７１４で、距離情報生成部３２２は、Ｎ番目の物体に対応する距離画像８２０の矩形領域に含まれる画素の距離情報の度数分布を生成する。距離画像データの各画素に対応付けられた情報が距離値Ｄである場合、度数分布の区間は、距離の逆数が等間隔になるように区間が設定される。なお、距離画像データの各画素にデフォーカス量もしくは視差量が対応付けられている場合は、度数分布の区間は、等間隔で区切ることが望ましい。

Ｓ７１５で、距離情報生成部３２２は、度数分布から最頻出となる距離情報を、Ｎ番目の物体の距離を示す物体距離情報とする。

なお、領域内に含まれる距離値の平均値を算出して、物体距離情報としてもよい。平均値を算出する際に信頼度データを用いて重み付け平均を用いることができる。画素ごとに距離値の信頼度が高いほど重みを大きく設定することで、より精度よく物体の距離値を算出することができる。

なお、物体距離情報は、後述の経路生成処理における経路生成を容易にするために、車両１００の所定の位置から物体までの距離を示す情報とすることが望ましい。距離情報として距離値Ｄを用いる場合、距離値Ｄは撮像素子３０２から物体までの距離を示すことから、最頻出値を所定量オフセットして車両１００の所定の位置から物体までの距離を示す情報とすることができる。距離情報としてデフォーカス量ΔＬを用いる場合、数式６を用いて撮像素子３０２からの距離に変換したのち、所定量だけオフセットすることで、車両１００の所定の位置から物体までの距離を示す情報とする。

Ｓ７１６で、距離情報生成部３２２は、Ｎが検出物体数Ｎｍａｘ＋１より小さいか否かを判定する。Ｎが検出物体数Ｎｍａｘ＋１より小さい場合（Ｓ７１６ Ｙｅｓ）は、Ｓ７１７で、距離情報生成部３２２は、ＮをＮ＋１とし、処理はＳ７１３に戻る。すなわち、次の物体（Ｎ＋１番目の物体）について物体距離情報の抽出を行う。そうでない場合は、Ｎが検出物体数Ｎｍａｘ＋１以上である場合（Ｓ７１６ Ｎｏ）は、処理を終了する。

Ｓ７１８で、距離情報生成部３２２は、Ｎ個の物体に対する物体距離情報を時刻に関する情報とともに経路生成部３３０に出力し、処理を終了する。

以上の物体距離情報生成処理により、外界情報に含まれる物体毎に物体距離情報を生成する。特に、画像８１０内で検出された物体に対応する距離画像８２０の領域に含まれる距離情報から統計的に物体の距離情報を決定することにより、ノイズや演算の精度などに起因する画素ごとの距離情報のばらつきを抑制することが可能となる。したがって、より高精度に物体の距離を示す情報を取得することが可能となる。統計的に距離情報を決定する方法は、距離情報の分布のうち最頻出の距離情報や平均値、中央値、などをとる方法であり、種々の方法を採用可能である。

次に経路生成ＥＣＵ１３０の経路生成部３３０が実行する経路情報を生成する処理（経路生成処理）について説明する。経路情報は、車両の進行方向、速度を含む情報である。経路情報は、運行計画情報であるともいえる。経路生成部３３０は経路情報を車両制御ＥＣＵ１４０に出力する。車両制御ＥＣＵ１４０は、経路情報に基づいて、駆動部１７０を制御する。

本実施例において、経路生成部３３０は、車両１００の進行方向に車両（前走車）がある場合に、前走車に追従して走行するように経路情報を生成する。また、経路生成部３３０は、車両１００が物体と衝突しないように、回避行動をとるように、経路情報を生成するとする。

図９は、経路生成部３３０が実行する経路生成処理を示すフローチャートである。図９（Ａ）は、経路生成部３３０が行う経路生成処理の動作を説明するフローチャートである。経路生成部３３０は、外界情報、物体距離情報、およびレーダ装置１２０が生成する距離情報に基づき、車両１００の経路情報を生成する。経路生成ＥＣＵ１３０は、経路生成装置１５０が備えるメモリ３４０から、各時刻の外界情報と物体距離情報とレーダ装置１２０が生成する距離情報を読み出して処理を行う。

Ｓ９０１で、経路生成部３３０は、外界情報と物体距離情報とから、車両１００が予定している走行経路上の物体を検出する。経路生成部３３０は、車両１００が予定している進行方向の方位と、外界情報に含まれる物体の位置と種類とを比較して走行経路上の物体を判定する。車両１００が予定している進行方向は、車両制御ＥＣＵ１４０から取得した車両１００の制動に関する情報（ステアリングの航角量、速度など）に基づいて特定されるとする。なお、経路生成部３３０は、走行経路上の物体が検出されない場合、「物体無し」と判定する。

図８（Ａ）に示した画像８１０を撮像装置１１０が取得したとする。経路生成部３３０が、車両制御ＥＣＵ１４０から取得した車両１００の制動に関する情報から、車両１００が車線８０５に沿った方向に進行していると判断した場合、経路生成部３３０は、車両８０２を走行経路上の物体として検出する。

Ｓ９０２、Ｓ９０３で、経路生成部３３０は、車両１００と走行経路上の物体との距離と、車両１００の速度Ｖｃに基づいて、追従走行をするための経路情報を生成するか、回避行動のための経路情報を生成するかを判定する。

Ｓ９０２で、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈよりも短いか否かを判定する。閾値Ｄｔｈは、車両１００の走行速度Ｖｃの関数で表される。走行速度が高いほど、閾値Ｄｔｈは大きくなる。経路生成部３３０が、車両１００と走行経路上の物体との距離が閾値Ｄｔｈより短いと判定した場合（Ｓ９０２ Ｙｅｓ）、処理はＳ９０３に進む。経路生成部３３０が、車両１００と走行経路上の物体との距離が閾値Ｄｔｈ以上であると判定した場合（Ｓ９０２ Ｎｏ）、処理はＳ９０８に進む。

Ｓ９０３で、経路生成部３３０は、車両１００と走行経路上の物体との相対速度が正の値であるか否かを判定する。経路生成部３３０は、外界情報から走行経路上の物体の識別番号を取得し、現時点から所定の時間前までに取得した外界情報から各時刻の走行経路上の物体の物体距離情報を取得する。経路生成部３３０は、取得した所定の時間前までの期間における走行経路上の物体の物体距離情報から、車両１００と走行経路上の物体との相対速度を算出する。相対速度は、正の値である場合、車両１００と走行経路上の物体とが近づいていることを示すとする。

経路生成部３３０が、車両１００と走行経路上の物体との相対速度が正の値であると判定した場合（Ｓ９０３ Ｙｅｓ）、処理はＳ９０４に進む。経路生成部３３０が、車両１００と走行経路上の物体との相対速度が正の値でないと判定した場合（Ｓ９０３ Ｎｏ）、処理はＳ９０８に進む。

ここで、Ｓ９０４に処理が進む場合、回避行動を実行するための経路情報が生成される。また、Ｓ９０８に処理が進む場合、追従走行を実行するための経路情報が生成される。

すなわち、Ｓ９０２およびＳ９０３の判定によって、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈよりも短く、かつ、車両１００と走行経路上の物体との相対速度が正の値である場合に、回避行動を実行すると判定する。経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈ以上である場合、追従走行とすると判定する。もしくは、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈよりも短く、かつ、車両１００と走行経路上の物体との相対速度が負の値である場合に、追従走行とすると判定する。

車両１００と走行経路上の物体との距離が車両１００の速度から求められる閾値Ｄｔｈよりも短く、かつ、車両１００と走行経路上の物体との相対速度が正の値である場合、車両１００が走行経路上の物体に衝突する可能性が高いと考えられる。したがって、経路生成部３３０は、回避行動をとるように経路情報を生成する。そうでない場合、経路生成部３３０は、追従走行をとる。

なお、上述の判定には、検出された走行経路上の物体の種類が移動体（乗用車などの車両）か否かの判定を加えてもよい。

Ｓ９０４で、経路生成部３３０は、回避行動を実行するための経路情報を生成する処理を開始する。

Ｓ９０５で、経路生成部３３０は、回避スペースに関する情報を取得する。経路生成部３３０は、レーダ装置１２０から車両１００の側方や後方の物体までの距離を示す距離情報を取得する。経路生成部３３０は、レーダ装置１２０から取得した距離情報と、車両１００の速度と、車両１００の大きさを示す情報とに基づいて、車両１００の周囲に、車両１００が移動可能な空間の方向と大きさを示す情報を取得する。

Ｓ９０６で、経路生成部３３０は、車両１００が移動可能な空間の方向と大きさを示す情報、外界情報、および物体距離情報に基づいて、回避行動のための経路情報を設定する。回避行動のための経路情報は、例えば、車両１００の右側方に空間がある場合に、減速しながら、車両１００を右側に運行する情報である。

Ｓ９０７で、経路生成部３３０は、車両制御ＥＣＵ１４０に経路情報を出力する。車両制御ＥＣＵ１４０は、取得した経路情報に示される経路を車両１００が経るように、経路情報に基づいて駆動部１７０を制御するパラメータを決定し、駆動部１７０を制御する。具体的には、車両制御ＥＣＵ１４０は、経路情報に基づいて、ステアリングの航角量、アクセルの制御値、ブレーキの制御値、ギアの接続のための制御信号、およびランプの点灯制御信号などを決定する。

Ｓ９０８で、経路生成部３３０は、追従運行を実行するための経路情報を生成する処理を開始する。

Ｓ９０９で、経路生成部３３０は、車両１００が走行経路上の物体（前走車）に追従するため経路情報を生成する。具体的には、経路生成部３３０は、車両１００と前走車との間の距離（車間距離）が所定の範囲を維持するように、経路情報を生成する。例えば、経路生成部３３０は、車両１００と前走車との間の相対速度が正の値であり、車間距離が所定の範囲よりも短い場合は、車両１００の進行方向を直進に維持しつつ、減速するように経路情報を生成する。

なお、経路生成部３３０は、車両１００の走行速度が所定値（例えば、車両１００が走行している道路の法定速度や、運転者１０１からの指示に基づく設定走行速度）を超えないように経路情報を生成する。処理はＳ９０７に進み、車両制御ＥＣＵ１４０が生成された経路情報に基づいて駆動部１７０を制御する。

以上により、経路生成部３３０による経路情報の生成処理が終了する。経路情報の生成処理は、車両１００の走行中は、繰り返し実行されるとする。

上述した制御によれば、画像の物体の位置とサイズに基づく枠内で距離情報を統合することにより、センサノイズの影響や、被写体からの高輝度な反射に起因する局所的な距離誤差の影響を低減し、各物体までの距離値を高精度に算出することができる。各物体までの距離値の高精度化により、経路生成ＥＣＵ１３０が算出する車両１００の経路を精度よく算出することができるため、車両１００はより安定した走行が可能となる。

＜変形例１＞
上述の処理では、物体の領域を、物体を包含する矩形領域（物体枠）として示したが、物体の領域を画像内の物体の外周を境界とする領域としてもよい。Ｓ７０２で、認識処理部３２１は、画像８１０で物体が存在する領域を、物体の領域として外界情報に記憶する。例えば、認識処理部３２１は、画像データの画素ごとに、属性を識別することで、物体毎に領域分割することができる。

図８（Ｅ）は、画像情報８１０に、認識処理部３２１が物体毎に領域分割を行った結果を重畳して示した模式図である。領域８３１は人８０１の領域を、領域８３２は車両８０２の領域を、領域８３３は標識８０３の領域を表している。さらに、領域８３４は道路８０４の領域を、領域８３５は車線８０５の領域を表している。

この場合、Ｓ７１３、およびＳ７１４で、距離情報生成部３２２は、各物体に対して、図８（Ｅ）に示す領域ごとに、領域内に含まれる距離値の度数分布を算出する。

このように物体の領域を定義することにより、領域内に物体以外の背景などの距離情報が含まれづらくなる。すなわち、領域内の距離情報の分布において、より物体の距離情報を反映することが可能となる。したがって、物体の背景や前景など物体以外の領域の影響を低減できるため、より精度よく物体の距離値を算出することができる。

＜変形例２＞
本実施形態の撮像装置１１０からは、画像情報と距離画像情報が逐次出力される。さらに、認識処理部３２１は逐次受け取った画像情報を用いて外界情報を逐次生成している。外界情報には物体の識別番号が含まれ、ある時刻Ｔ０と時刻Ｔ１のそれぞれで同じ識別番号の物体が検出された場合、当該物体の距離情報や検出された大きさなどの時間変化を判断することができる。変形例２において、距離情報生成部３２２は、所定の時間範囲における同一の識別番号の物体の距離値Ｄの平均を算出する。これにより、時間方向の距離ばらつきを低減する。

図１０は変形例２における距離情報生成部３２２が行う物体距離情報生成処理を示すフローチャートである。本フローチャートの各処理について、図７（Ｂ）に示した処理と同じ番号で示した処理は、上述した処理と同じであるので、説明を省略する。

Ｓ７２１で、距離情報生成部３２２は、度数分布から最頻出となる距離情報を、Ｎ番目の物体の距離を示す物体距離情報とする。そして、距離情報生成部３２２は、物体距離情報を識別番号、および時刻と合わせてメモリ３４０に格納する。

Ｓ７２２で、距離情報生成部３２２は、メモリ３４０に格納された物体距離情報のうち、Ｎ番目の物体の識別番号と同一の識別番号の物体距離情報の履歴を取得する。距離情報生成部３２２は、最新の物体距離情報に対応する時刻から所定の時間だけ前までの時刻に対応する同一の識別番号の物体距離情報を取得する。図１１は、Ｎ番目の物体と同一の識別番号の物体の物体距離情報の時間変化を示す模式図である。横軸に時刻、縦軸に物体距離情報（距離値Ｄ）を示す。時刻ｔ０が最新の距離値Ｄを取得した時間を示している。

Ｓ７２３で、距離情報生成部３２２は、取得したＮ番目の物体と同一の識別番号の物体の物体距離情報の履歴から、最新の物体距離情報を取得した時刻から所定の時間前までの時間範囲に含まれる物体距離情報の平均値を算出する。距離情報生成部３２２は、例えば、図１１において、所定の時間範囲ΔＴに含まれる４点の距離値の平均値を算出する。

上述のようにして、外界情報に含まれる識別番号を用いて同一物体の物体距離情報（距離値）の履歴を取得し、時間平均をとることにより、ばらつきを抑制することが可能となる。車両１００が走行する道路が変化した場合（例えば、カーブ、坂道、凹凸の多い悪路など）でも、同一物体を追跡しつつ、時間方向の平均値を算出することができる。したがって、走行環境変化の影響を低減しつつ、画像信号に含まれる光ショットノイズなどのノイズによる距離値のばらつきを低減し、より精度よく物体の距離値を算出することができる。

＜変形例３＞
上述の変形例２では、同一の識別番号の物体距離情報を時間平均することにより、ばらつきを抑制した。物体距離情報の履歴を所定の時間範囲内で平均化する際に、時間範囲を長くとることで平均化に用いるサンプル数を増やすことができる。そのため、車両１００から物体までの距離値のばらつきをより低減することができる。しかしながら、所定の時間範囲内で車両１００から物体までの距離が変化した場合には、距離の変化を含んで平均化されるため、車両１００から物体までの距離値を正しく推定できない可能性がある。変形例３では、同一の識別番号物体のサイズを用いて、物体距離情報の重み付き平均を行うことにより、より高精度に車両１００と物体との距離を取得することを可能とする。

図１２は変形例３における距離情報生成部３２２が行う物体距離情報生成処理を示すフローチャートである。本フローチャートの各処理について、図７（Ｂ）に示した処理と同じ番号で示した処理は、上述した処理と同じであるので、説明を省略する。

Ｓ７２１で、距離情報生成部３２２は、度数分布から最頻出となる距離情報を、Ｎ番目の物体の距離を示す物体距離情報とする。そして、距離情報生成部３２２は、物体距離情報を識別番号、および時刻と合わせてメモリ３４０に格納する。

Ｓ７３１で、距離情報生成部３２２は、Ｎ番目の物体と識別番号が同じ物体の物体距離情報の履歴と物体のサイズを示す情報の履歴をメモリ３４０から取得する。物体のサイズを示す情報は、外界情報に格納された物体枠を示す情報から取得する。例えば、左上座標（ｘ０，ｙ０）と右下座標（ｘ１，ｙ１）とから幅（ｘ１－ｘ０）を、物体のサイズを示す情報とする。

Ｓ７３２で、距離情報生成部３２２は、Ｎ番目の物体と識別番号が同じ物体のサイズを示す情報を用いて、最新の物体距離情報に対応する時刻から所定の時間だけ前までの時刻に対応する同一の識別番号の物体距離情報の重みづけ平均処理を行う。各時刻の重み係数は、対応する時刻の物体サイズを用いて決定される。

図１３は、重み付け平均について説明するための模式図である。図１３（Ａ）は、最新の物体距離情報に対応する時刻ｔ０より前の時刻ｔ１に、撮像装置１１０が取得した画像データに基づく画像１３００を示す模式図である。画像１３００は、車両１３０１を含む。枠１３０２は、画像１３００から決定された車両１３０１の物体枠を示している。

図１３（Ｂ）は、時刻ｔ０に、撮像装置１１０が取得した画像データに基づく画像１３１０を示す模式図である。画像１３１０は、画像１３００と同様に車両１３０１を含む。また、枠１３１２は、画像１３１０における車両１３０１に対応する物体枠を示す。時刻ｔ０において、画像１３００内の車両１３０１の大きさは時刻ｔ１で取得された画像１３１０における大きさよりも大きい。物体枠１３１２は、物体枠１３０２よりも大きい。

画像内の物体のサイズは、撮像光学系３０１の横倍率に比例するため、物体と車両１００間の距離と、画像情報上での物体サイズの逆数は、比例関係にある。異なる時刻間での画像情報所の物体サイズを比較することで、例えば、サイズが大きくなる場合は物体と車両１００間の距離が近づいたと判断でき、逆に小さくなる場合は物体と車両１００間の距離が遠ざかったと判断できる。また、サイズ変化が小さい場合は物体と車両１００間の距離の変化が小さいと判断できる。

以下、例として、車両１３０１をＮ番目の物体として距離情報を取得するとする。

図１３（Ｃ）は、車両９０１（Ｎ番目の物体）と同一の識別番号の物体の物体距離情報の時間変化を示す模式図である。図１３（Ｄ）は、車両９０１（Ｎ番目の物体）と同一の識別番号の物体のサイズを示す情報（幅）の逆数の時間変化を示す模式図である。

Ｓ７３２で、距離情報生成部３２２は、時刻ｔ０の物体のサイズ（幅）の逆数に対して、時刻ｔ０から所定の時間前までの各時刻における物体のサイズ（幅）の逆数を比較する。距離情報生成部３２２は、物体のサイズ（幅）の逆数の差の絶対値が大きいほど重み係数が小さくなるように重み係数を決定する。なお、物体のサイズ（幅）の逆数と重みづけ係数との関係は、上述の例に限らず、例えば、時刻ｔ０の物体のサイズ（幅）の逆数に対する各時刻の物体のサイズ（幅）の逆数の比に応じて重みづけ係数を決定してもよい。

Ｓ７３２で、距離情報生成部３２２は、重み付け係数を用いて物体距離情報を重みづけ平均して、車両１３０１の時刻ｔ０における物体距離情報とする。

変形例３における処理によれば、画像上の物体のサイズを用いて決定された重み係数を用いて物体距離情報を重み付け平均することにより、車両１００から物体までの相対的な距離変化に起因する距離値の推定誤差を低減することができる。

＜第２の実施形態＞
第１の実施形態では、画像に含まれる物体までの距離（物体距離情報）を当該物体に対して撮像面位相差方式で取得した距離データを統計的に処理することにより高精度に取得した。第２の実施形態では、撮像面位相差方式の距離の算出方法と画像認識を利用した距離の算出方法とを組み合わせることによって、より高精度に物体までの距離を取得することを可能とする。以降、距離の算出方法、およびその方法に基づく距離の算出処理を「測距」と示す。

以下、図を参照しながら本発明の第２の実施形態について詳細に説明する。以下の処理は、撮像装置１１０の画像処理部３１０および物体情報生成部３２０を構成するプロセッサ、および、経路生成ＥＣＵ１３０のいずれか、もしくは組み合わせによって実行可能である。以下の説明では、物体情報生成部３２０の距離情報生成部３２２が以下の処理を実行するとする。なお、本発明の適用はこれに限定されるものではない。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、重複した説明は省略する。

第２の実施形態において、経路生成装置１５０は、撮像面位相差測距と画像認識を利用した測距を組み合わせることによって、測距値を補正する。

撮像面位相差測距は、第１の実施形態で説明した撮像面位相差方式を用いた測距である。

画像認識を利用した測距は、物体認識に基づいて検出された物体の幅から距離を算出する測距（物体幅測距）や物体の接地位置から距離を算出する測距（接地位置測距）である。

物体幅測距では、画像上での物体の幅の画素数が少ないほど物体は遠距離となり、画像上での物体の幅の画素数が多いほど物体は近距離となることを利用して、物体との距離を算出する。なお、距離の算出には、高さや斜め方向等、画像上の物体の大きさを示す他のパラメータを同様に用いることが可能である。

接地位置測距では、物体が例えば道路面に接地していると仮定し、物体の画像上の接地線（道路面が下方にあるような画像であれば下端となる）と、画像上の消失点との距離に基づいて、車両１００から物体までの距離を算出する。接地線が消失点に近いほど車両１００に対して物体は遠距離となり、接地線が消失点から遠いほど車両１００に対して物体は近距離となる。

撮像面位相差測距、物体幅測距、および接地位置測距における誤差の特徴を説明する。それぞれ共通する誤差の考え方として、以下のように相対誤差と絶対誤差を定義する。相対誤差は、相対距離変化がない場合に十分なサンプルに対しての標準偏差に相当する量であると定義する。絶対誤差は、相対距離変化がない場合に十分なサンプルに対しての平均値と真値との差に相当する量と定義する。

撮像面位相差測距の相対誤差は、センサノイズによる画素値のばらつき起因のブロックマッチングによる視差誤差が主要因となる。視差値に依存して変化するものではないため、距離に換算した場合、基本的に距離の二乗に比例して相対誤差は悪化する。絶対誤差は光学系の収差や組み立てによる誤差、熱や振動による変動成分等で誤差が生じる。それぞれの要因に対して補正することも可能だが、計算量等を考慮して補正しない場合には大きく残存することもある。

物体幅測距の相対誤差は、物体の画像上での解像度と認識精度に依存する。物体幅測距では、実物体幅（物側における実際の物体の幅で単位はメートルなどで表す物理量）が分からないと検出された画像上の物体の幅を距離に換算できない。そのため、何らかの形で実物体幅を決める必要があり、絶対誤差・相対誤差共にその実物体幅に依存する。相対誤差は距離に比例するため、遠距離の場合は撮像面位相差測距よりも相対誤差は小さくなる可能性がある。

接地位置測距の相対誤差は、物体の画像上での接地線の認識精度と画像の解像度に依存する。画像の解像度は消失点と接地線の距離を計測する分解能となるため、高解像度な画像の方が遠距離でも高精度に計測することが可能となる。また、道路面が下部に広がる場合には光軸方向のピッチ角の推定誤差が測距誤差となる。

画像を取得する撮像装置が移動体についている場合、移動の加速度や路面状況でピッチ角が撮像フレーム毎に変動する。その場合には、ピッチ角の誤差は相対誤差となる。設置の状態や移動体そのものの傾きに依って、常に一定値で発生するピッチ角の誤差は絶対誤差となる。後述するがピッチ角は消失点の情報や移動情報等を用いて推定し、誤差を低減することができる。相対誤差は距離に比例し、物体の幅と同等だがピッチ角推定の影響が入るため、物体の幅より誤差量は大きい。物体の接地位置による測距は接地している必要があるため、信号や標識のように下端が接地していない場合には測距できないという課題がある。

図１４は、第２の実施形態における測距値（物体距離情報）を取得するための処理を示すフローチャートである。

データＤ１４０１は、距離情報生成部３２２に入力されるデータである。第１の実施形態で説明したように、距離情報生成部３２２は、撮像素子３０２が撮像した画像を画像認識によって得られた物体に関する外界情報（物体の識別番号、物体の種類（属性）、物体に対応する領域のサイズ）が入力される。なお、他の画像認識処理による結果をデータＤ１４０１が含んでいてもよい、認識した画像の画像範囲を表す画像座標や意味的領域分割技術による同物体領域の情報など、画像上で接地している画素位置が分かるものであればどのような画像認識結果情報でも良い。

また、距離情報生成部３２２は、撮像面位相差方式で演算することにより得られた結果（各画素の距離情報）を示す距離画像データがデータＤ１４０１として入力される。本実施形態においては、これらのデータに加えて、撮像光学系３０１の焦点距離ｆ、車両１００の移動速度に関する情報、および撮像装置１１０の設置位置に関する情報もデータＤ１４０１として距離情報生成部３２２に入力される。データＤ１４０１は、これらの情報を総合したデータ群である。

以下のステップでは同時にいくつもの物体に対して認識処理が行われてもよいが、時系列のデータ情報を保存・参照しながら行う処理に関しては同じ物体であると認識されたものに関して行われる。つまり入力データとして同じ識別番号を有している。

Ｓ１４０１で、距離情報生成部３２２は、接地位置測距により、測距値Ｄ１を取得し、データＤ１４０２として出力する。測距値Ｄ１は、接地位置測距によって算出された車両１００（撮像装置１０１）と対象の物体の間の距離を示す。データＤ１４０２は、Ｓ１４０１で算出された接地位置測距による測距値Ｄ１を示す情報である。

距離情報生成部３２２は、データＤ１４０１に含まれる認識した画像の画像範囲を表す画像座標などを用いて、画像上で接地している画素位置を取得する。光軸が道路面と平行かつ高さＨに設定され、画像上の消失点と接地線の距離がＨｓ画素（サブピクセル単位でもよい）だけ離れていた場合の測距処理の概要を説明する。焦点距離ｆで中心射影方式（中心射影方式に補正した画像でも良い）の画像で画素サイズをＰｓとすると、測距値（距離）Ｄ１は次式（数式７）を用いて以下のように表すことができる。

道路面でない場合や、接地面と光軸が平行でない場合、中心射影方式でない場合、大きな歪曲収差を持っているといった場合においても、消失点と接地線を想定できれば測距計算自体は可能である。

数式７では道路面と平行と仮定しているが、前述したように移動体のピッチ角に誤差がある場合、消失点位置が仮定と違う位置になるため、Ｈｓの値に誤差が生じ、結果として距離誤差となる。また認識精度が悪い場合にはＨｓが実際の接地線と異なる位置と認識されるため、同様の距離誤差が生じる。

Ｓ１４０３で、距離情報生成部３２２は、撮像面位相差測距により、測距値Ｄ３を取得し、データＤ１４０４として出力する。データＤ１４０４は、Ｓ１４０３で算出された撮像面位相差測距による測距値Ｄ３を示す情報である。

第１の実施形態で示したように、距離情報生成部３２２は、距離画像データと外界情報とに基づいて、対象の物体の距離情報（距離値）を取得することができる。例えば、入力データＤ１４０１として、各画素の距離情報がデフォーカス量で示された距離画像データと物体の領域を枠で示した外界情報が入力されたとする。この時、距離情報生成部３２２は、対象の物体の物体枠に含まれるデフォーカス量の最頻出値と、焦点距離ｆを用いて結像公式から車両１００と対象の物体との距離（物体距離情報）を取得することができる。得られた距離を、測距値Ｄ３として取得する。なお、入力データＤ１４０１として距離値そのものが入ってきてもよいし、その他計算途中のデータでも構わない。

Ｓ１４０２で、距離情報生成部３２２は、画像における対象の物体の幅（物体幅）Ｗｓを取得する。物体幅Ｗｓは、画素数で示される。物体数はサブピクセル単位で示されていてもよい。距離情報生成部３２２は、画像認識結果から物体幅Ｗｓの計測を行う。例えば、データＤ１４０１に含まれる外界情報として画像内の各物体の物体枠を示す情報が含まれる場合、対象の物体に対応する物体枠の幅を、物体幅Ｗｓとしてもよい。また、物体の幅である必要はなく、高さでも良く、どちらか画素数が多い方を選んでもよいし、両方を用いてロバスト性を高めても良い。距離情報生成部３２２は、物体幅Ｗｓを示す情報をｍデータＤ１４０３とする。

Ｓ１４０４で、距離画像生成部３２２は、データＤ１４０３の物体幅Ｗｓと、データＤ１４０２の接地位置測距により得られた測距値Ｄ１またはデータＤ１４０４の撮像面位相差測距による測距値Ｄ３のいずれかまたはその両方とを用いて、実物体幅Ｗを算出する。実物体幅Ｗは、対象の物体の幅を、長さを示す単位系（メートルなど）で示した情報である。測距値Ｄ１および測距値Ｄ３のうちどちらかもしくは両方のいずれも用いて実物体幅Ｗを求めることができるが、絶対誤差が少ない測距値を選ぶのが望ましい。測距値Ｄ１を用いる場合、実物体幅Ｗは、次式（数式８）を用いて以下のように表すことができる。

また、実物体幅Ｗは、Ｄ１４０１の入力データの外界情報に含まれる物体の種類を示す情報に基づいて決定してもよい。例えば、対象の物体の種類が乗用車であれば実物体幅Ｗを１．７ｍとあらかじめ定められた値とすることも可能である。ただし、物体の種類に応じて実物体幅Ｗを決定した場合、厳密には物体ごとに異なるためその差分は絶対誤差となる。距離情報生成部３２２は、実物体幅Ｗを示す情報をデータＤ１４０５として、出力する。

Ｓ１４０５で、距離情報生成部３２２は、実物体幅Ｗと物体幅Ｗｓとを用いて、距離値Ｄ２を取得する。データＤ１４０６はステップＳ１４０５で算出された物体幅による測距値Ｄ２を示す情報である。Ｓ１４０５で実行される処理は、ステップＳ１４０４の逆の処理となる。距離値Ｄ２は、次式（数式９）を用いて以下のようにあらわすことができる。

ここでは実物体幅Ｗが同じものとなるためＤ１＝Ｄ２となるが、後述する時系列の情報を用いることによってＳ１４０４は処理が追加されるためＤ１とＤ２は異なる距離値となる。

Ｓ１４０２、Ｓ１４０４、およびＳ１４０５から構成されるステップ群Ｃ１１０１が、物体幅測距である。

Ｓ１４０６で、距離情報生成部３２２は、データＤ１４０２の測距値Ｄ１とデータＤ１４０６の測距値Ｄ２とデータＤ１４０４の測距値Ｄ３を統合し、認識物体までの距離値Ｄとする。

統合処理は、例えば、測距値Ｄ１、測距値Ｄ２、および測距値Ｄ３のうちのいずれかを測距値Ｄとして選択する処理である。測距値Ｄ１、測距値Ｄ２、および測距値Ｄ３はそれぞれが取得された測距の種類によって異なる相対誤差、絶対誤差を有する。距離情報生成部３２２は、相対誤差、絶対誤差が小さいと思われる測距値を選択することにより、複数の測距方法のうち、場面に応じて誤差の小さい測距値を採用することが可能となる。例えば、接地位置測距や撮像面位相差測距によって得られた測距値は、距離値が遠い方が誤差が小さい。したがって、距離情報生成部３２２は、取得された測距値が所定の距離よりも大きい（遠い）場合には、測距値Ｄ１および測距値Ｄ２のいずれかを選択し、所定の距離以下である（近い）場合には測距値Ｄ３を選択する。

また、別の統合処理手法として、それぞれ絶対誤差・相対誤差を考慮し、距離に対する存在確率分布を計算し、確率分布の和から最も存在確率が高くなるように選択することができる。さらに、データＤ１４０１に含まれる車両１００との移動速度やアクセル、ブレーキ、ステアリングの情報に基づいて、現在の相対距離値に対して相対距離値の存在確率を決定することができる。例えば、加速度変化が大きくならないように前の時刻の加速度に対して同加速度を最大確率として加速度変化が大きくなると確率が小さくなるように決定することができる。それに従って相対距離の存在確率を算出することができる。またアクセル情報がある場合には、加速度が上がる方向に最大確率を決定し、ブレーキ情報がある場合には、加速度が低下する方向に最大確率を決定することができる。さらに、対象の物体の種類に依って定めることができる。対象の物体の種類が乗用車や二輪であれば、認識物体側も大きく加減速する可能性があるため、相対距離変化は大きくなる可能性がある。カテゴリが歩行者等で急な加減速をしない場合には相対距離変化は自らの操作に依存する可能性が高く、より高精度に存在確率を決定することができる。

以上が、ある時刻の１つの入力データが入ってきた場合の基本的なフローの説明である。続いて、時系列に連続した入力データが入ってきた場合について説明する。

図１５は、時系列に連続した複数の入力データが入力される場合の処理を示すフローチャートである。図１４を用いた上述の処理、およびデータと同じ処理、データは同一の符号を付与し、説明を省略する。

時系列に連続した入力データが入ってきた場合、同じ識別番号が付与された物体、すなわち同じ物体であると認識された物体に対して、Ｄ１４０２の測距値Ｄ１、Ｄ１４０３の物体幅Ｗｓ、Ｄ１４０４の測距値Ｄ２が時系列に順々に取得できる。

時系列に連続した入力データが入ってきた場合、対象の物体との相対距離の時間変化により各測距値は時間的に変化する。しかし、実物体幅Ｗは物体を剛体であると仮定すると、常に一定であるといえる。そのため、Ｓ１５０４で、距離情報生成部３２２は、時系列に対して、相対距離値が変化したとしても実物体幅Ｗを時系列方向に平滑化して、平均実物体幅Ｗ’を取得する。これにより、相対誤差を低減することが可能となる。

数式８でＷを想定した場合、時系列方向に十分平滑化することで絶対誤差が接地位置測距値相当だけ残存するが、相対誤差は接地位置測距値、物体幅（画素数）を含めて十分小さくすることができる。撮像面位相差測距値で実物体幅Ｗ’を計算した場合も同様に考えることができる。データＤ１５０５は相対誤差の小さい物体幅Ｗ’となり、ステップＳ１４０５の距離変換処理により、データＤ１１０６の物体幅測距値Ｄ３は、物体幅Ｗｓの相対誤差のみで絶対誤差が接地位置測距値相当である距離値として得られる。

Ｓ１５０７で、距離情報生成部３２２は、撮像面位相差測距値Ｄ２の絶対誤差の補正量を算出する。撮像面位相差測距値の絶対誤差はデフォーカス換算で距離に依らず一定値となるものが主成分となっている。そのため、距離情報生成部３２２は、撮像面位相差測距値Ｄ２を焦点距離と結像公式を元にデフォーカス量にする。距離情報生成部３２２は、同様に、物体幅測距値Ｄ３を同等の焦点距離と結像公式によりデフォーカス量に換算する。これは接地位置測距値Ｄ１や相対測距値Ｄを用いてデフォーカス量に換算してもよい。距離情報生成部３２２は、撮像面位相差測距値Ｄ２から換算したデフォーカス量と物体幅測距値Ｄ３から換算したデフォーカス量を同時刻データで差分を取り、時系列差分データの平均値を計算する。十分なデータで平均値を算出できた場合、得られた平均値は、撮像面位相差測距値Ｄ２と物体幅測距値Ｄ３の絶対値誤差の差分を表していることになる。この平均値をデータＤ１５０８の絶対誤差補正値とする。

接地位置測距値Ｄ２を用いた場合には接地位置測距値Ｄ２の絶対値誤差で補正され、Ｓ１５０４で接地位置測距値Ｄ１を用いていた場合は結果同じ絶対値誤差となる。その場合には相対誤差が小さい方を選択することで、相対誤差影響が小さくなる。Ｓ１５０９で、距離情報生成部３２２は、Ｓ１５０７とＳ１５０８のどちらの結果を、絶対誤差補正値として選択するかを決定する絶対誤差補正値選択処理である。詳細は後述する。

Ｓ１４０２で、距離情報生成部３２２は、撮像面位相差測距による測距値Ｄ２を算出する。距離情報生成部３２２は、Ｄ１４０８の絶対誤差補正値を用いて、デフォーカス量を補正する。絶対誤差補正値はデフォーカスのオフセットを表しているので、入力データから算出されたデフォーカス量から差を計算することで、Ｄ１４０４の測距値Ｄ２は絶対誤差が補正されたものとなる。直接距離値を補正してもよい。実際にはＳ１５０７で差分に用いたデータの絶対誤差に合わせる形となる。前述したように物体幅測距値Ｄ３から換算したデフォーカス量を用いる場合、物体幅測距値Ｄ３の絶対誤差となる。物体幅測距値Ｄ３はＳ１５０４で用いた測距値に依存するため、Ｓ１５０４で接地位置測距値Ｄ１を用いて実物体幅Ｗを計算していた場合、接地位置測距値Ｄ１、撮像面位相差測距値Ｄ２、および物体幅測距値Ｄ３はどれも接地位置測距値Ｄ１の絶対誤差となる。絶対誤差が３つの測距値で揃うことにより、Ｓ１４０６の統合測距処理では、確率分布を決定する際に相対誤差のみを考えることができる。これにより、よりシンプルかつ安定してデータＤ１４０７の相対測距値Ｄを算出することができる。

以上のように物体の時系列データを入力することにより、接地位置測距値Ｄ１、撮像面位相差測距値Ｄ２、および物体幅測距値Ｄ３から、相対測距値Ｄを時系列に算出できる。相対測距値Ｄの時系列データから対象の物体との相対速度及び相対加速度・相対躍度を計算することができる。これらを用いて、前述した相対距離値の確率分布を計算することができる。例えば相対加速度の変化が小さくなるように確率分布を決定することができる。

ここまで時系列データについて説明してきたが、必ずしも連続で取得できなければいけないということはない。物体認識に失敗し、そのフレームは正しい入力データが得られなかった場合には、処理をせず、また正しく認識できた際にそこから再計算を始めることができる。その場合には実物体幅の平均値Ｗ’や絶対誤差補正値はそのまま利用することができ、そこから安定した相対測距値Ｄを得ることができる。ただし、その場合には相対測距値Ｄから算出した相対速度・相対加速度・相対躍度を用いた相対測距値の確率分布は正しく求められないため、０とすることが望ましい。

また、接地位置測距値Ｄ１、撮像面位相差測距値Ｄ２、および物体幅測距値Ｄ３のいずれか一つまたは二つが正しく計算できない場合も考えられる。例えば認識物体が浮いてしまったケースや、認識物体との間に他の物体が入り込み物体幅が正しく計測できないケースなどが挙げられる。そういった場合には、変化が前回の値と大きく異なったり、他の距離値と大きく異なったりし、正しく求められない可能性が高い。そのような場合には、その距離値に関しては存在確率分布として０や非常に小さい値にすることで相対測距値Ｄの算出への影響を回避・軽減することができる。

Ｓ１１０８で、距離情報生成部３２２は、対象の物体との相対距離値Ｄが時系列変化として十分に変動した場合に、相対距離の変動と実物体幅Ｗの変化を用いて高精度な絶対誤差補正を行う補正処理を実行する。

図１６は絶対誤差の補正処理を説明するための模式図である。横軸に時間軸を取り、図１６（Ａ）は縦軸に距離値Ｄを、図１６（Ｂ）は縦軸に実物体幅Ｗをプロットしている。図１２（Ｂ）は平均した実物体幅Ｗ’ではなく、各時刻における物体幅によって算出された実物体幅Ｗである。説明のため相対誤差は除去してある。

図１６（Ａ）のように相対距離値Ｄが変化した場合でも、実物体幅Ｗは図１６（Ｂ）の点線のように一定であるべきである。しかし、絶対誤差を含んでいると、実線のように、距離に依存して変化してしまう。数式１０を用いて、真の距離値Ｄｔと真の実物体幅Ｗｔと推定した平均実物体幅Ｗｅ’を用いて誤差を持った推定距離値Ｄｅは次式（数式１０）で表すことができる。

相対誤差がないとすれば、ＷｅとＷｔが一致していればＤｔとＤｅは一致するため正しく相対距離を推定することができる。ＷｅがＷｔと一致していない、つまり絶対誤差が残存している場合には、ＷｅとＷｔの比率で相対距離も誤差が生じる。それによって、図１６（Ｂ）のように距離に応じて推定した実物体幅Ｗｅが変化してしまう。

したがって、一定の相対距離変動が生じた場合、その各時刻における実物体幅の変化が生じないように絶対距離補正成分を決定する。真の距離値Ｄｔは分からないため、接地位置測距値Ｄ１、撮像面位相差測距値Ｄ２、相対測距値Ｄのいずれかまたは複数考慮して、その変動成分と実物体幅Ｗの変化から推定することができる。具体的には、例えば撮像面位相差測距値Ｄ２を用いてＳ１４０４と同等の手法で実物体幅Ｗを算出し、その時系列の変化を計算する。その実物体幅Ｗの変化が小さくなるように、絶対誤差補正値を修正すればよい。算出方法は一般的な最適化手法を用いて実物体幅Ｗの変化が最小となる補正値を見つけることができる。これにより、絶対誤差補正値と実物体幅補正値を同時に推定したことになる。

また、補正された撮像面位相差測距値Ｄ２、物体幅測距値Ｄ３、および接地位置測距値Ｄ１の絶対誤差は一致するはずであり、その絶対誤差の差分も絶対誤差補正量として算出することができる。Ｓ１４０１の接地位置測距処理において絶対誤差成分の主要因として前述した撮影装置のピッチ角ズレが挙げられる。つまり、消失点が想定している位置と異なる位置となりその成分が接地位置測距値の絶対誤差となる。Ｓ１５０８において、絶対誤差成分が推定できることにより、ピッチ角ズレを推定することができる。その補正量をデータＤ１５１０絶対誤差補正量とすることができる。このように相対距離変動が生じると、その情報を利用して各測距値の絶対誤差成分をより高精度に補正することができる。絶対誤差成分の時系列含めた変動が無視できる範囲であれば、Ｓ１５０８の全体絶対誤差補正処理の後は、Ｓ１５０４の実物体幅取得処理で、実物体幅の平均値算出やステップＳ１５０７絶対誤差補正処理は基本的には不要となる。そのためそれぞれの処理は簡略化してもよいし、引き続き確認のため処理してもよい。

Ｓ１５０９で、距離情報生成部３２２は、Ｓ１５０７とＳ１５０８のどちらの絶対誤差補正値をデータＤ１５０８として出力するかを選択する。前述したように、Ｓ１５０８は一定の相対距離変動が発生した場合に行われる。そのため、Ｓ１５０９において、距離情報生成部３２２は、基本的にはＳ１５０７で算出された絶対誤差補正値を選択し、Ｓ１１０８が処理された場合には、Ｓ１５０８で算出された絶対誤差補正値を選択する。あらためて、絶対誤差に変動があった場合等には再度Ｓ１５０７で算出された絶対誤差補正値を選択してもよい。例えば、Ｓ１５０８で算出された絶対誤差補正値を選択した後、Ｓ１５０７で算出された絶対誤差補正値が変動した場合、再度Ｓ１５０７で算出された絶対誤差補正値を選択することができる。その後、再度一定の相対距離変動が発生した場合にはＳ１５０８を行い、その絶対誤差補正値を選択するといった形でより良い絶対誤差補正値を選択し続けることができる。

上述したように、図１５、図１６を用いて接地位置測距、物体幅測距、および撮像面位相差測距を用いて、時系列に相対誤差および絶対誤差を補正するフローについて説明した。上述した処理では、撮像面位相差測距に関して説明したが、ステレオ測距においても同様に考えることはできる。相対誤差はセンサノイズ影響として同等であり、絶対誤差はステレオ各撮影装置の設置位置影響と考えることができる。絶対誤差はデフォーカス値として換算するということはないが、設置位置として補正量を推定することができる。

また、ＬｉＤＡＲといった他のモダリティでも同様に考えることができる。例えばＬｉＤＡＲであれば同様に距離分解能に相対誤差は生じ、絶対誤差も距離のオフセットとして生じるため本実施例と同様の考え方はできる。また今回は３種の手法の統合フローを説明したが、それぞれ２種を抽出してもよいし、また撮像面位相差測距・ステレオ・ＬｉＤＡＲ（他のモダリティ）を追加し、４種以上でもそれぞれ同様に補正することが可能である。このような手法により、認識物体を一定時間追跡するような目的に対して、安定した測距値を得ることができる。本撮影装置を車両に取り付けることで、例えばＡＣＣ（Ａｕｔｏ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や自動運転等に応用することができる。

＜第３の実施形態＞
第３の実施形態の経路生成装置１５０は、複数の画像を用いた視差による測距と単一画像に基づく距離推定を組み合わせることで、近距離から遠距離まで高精度な測距を実現する。

図１７は、本発明を適用する測距システムの構成例を示すブロック図である。測距システムは、撮像装置１１０に含まれているとする。測距システムは、撮像素子１７０２、認識部１７２１、距離画像生成部１７１２、スケーリング測距部１７０３、距離補正部１７０４を備える。ここで、撮像素子１７０２は、第１の実施形態の撮像素子３０２に対応する。認識部１７２１は、認識部３２１に対応する。距離画像生成部１７１２は、距離画像生成部３１２に対応する。スケーリング測距部１７０３および距離補正部１７０４は、距離情報生成部３２２に対応する。

撮像素子１７０２は、撮像素子３０２から画像信号を取得する。撮像素子１７０２は、第１の光電変換部４１１で取得された画像信号から構成される画像信号と、第２の光電変換部４１２で取得された画像信号から構成される画像信号と、を取得する。これらは異なる視点に対応する画像であって、視差画像と呼ぶ。また、撮像素子１７０２は、２つの視差画像の画像信号を合成して得られた合成画像信号を撮像画像として取得する。なお、撮像素子１７０２は、２つの視差画像のうち一方を撮像画像として取得してもよい。

尚、視差画像を得るためのカメラ構成は、左右に並べて配置したステレオカメラを用いてもよい。更に、単眼カメラ構成であって、自車両の速度を考慮し、連続するフレーム画像における物体の相対移動量を視差と見立てることで視差画像を得てもよい。

認識部１７２１は、撮像素子１７０２で撮影した撮像画像に画像認識処理を適用して、撮像画像に含まれる物体を検出する。車両１００の自動運転制御や衝突軽減ブレーキ制御を実現するためには、車両１００が走行する車線や車両１００の前方を走行する車両（前走車）、歩道上の人などの物体を認識することが必要となる。物体検出の手法としては、物体の外見がほぼ一定であるもの（信号や交通標識など）を検出するテンプレートマッチングによる手法や、機械学習を用いた一般物体（車両や人など）検出などの手法が広く知られている。

本実施形態では、認識部１７２１は、区画線検出タスクと物体認識タスクを実行する。図１８は、認識部１７２１が実行する区画線検出タスクと物体認識タスクとの出力結果を示す模式図である。区画線検出タスクは、撮像画像を入力とし、画素毎に道路上の区画線（もしくは白線）か否かを検出する機械学習モデルを用いて、区画線であるか否かのラベル付けをした（図中では、検出できた区画線を黒破線で示す）区画線領域マップを得る。物体認識タスクは、撮像画像を入力とし、道路上の物体を検知する機械学習モデルを用いて、検出物体の種類（人、車、標識）と、検出枠の左上点の座標（ｘ０，ｙ０）及び、検出枠の右下点の座標（ｘ１，ｙ１）を求め、検出物体に接する検出枠の座標を得る。ここで、物体認識タスクの出力は、第１の実施形態に示した外界情報と同等であるとする。

距離画像生成部１７１２は、撮像素子１７０２によって得られた視差画像から距離データを得る。視差画像からの測距は、視点の異なる画像間の対応点を検出することで、視差値を算出し、その視差値と、視差画像を撮影したカメラ条件（焦点距離、基線長）から距離を算出することができる。上述したように、視差画像を算出したカメラが、デュアルピクセルＣＭＯＳセンサを用いた単眼カメラであっても、距離算出のためのカメラ条件を特定することは可能である。一般的に、視差画像を用いた測距では、測距対象が遠方になると視差がほとんどなくなるため、測距推定精度が悪化することが知られている。

スケーリング測距部１７０３は、距離画像生成部１７１２で算出した第一の領域の距離値を、第一の領域に存在する物体と第二の領域に存在する物体のサイズ比によってスケーリングすることで、第二の領域の距離値を算出する。本実施例では、距離画像生成部１７１２で算出した近距離側の距離値を、近距離側の道路面を遠距離側に拡張し、この近距離側と遠距離側の道路情報をもとにスケーリングする例を説明する。

図１９は、カメラ取付け位置と、道路面の位置関係を説明する図である。カメラ取付け位置Ｖ（０，Ｙ０，０）の鉛直方向にある道路面を原点Ｏと定めるグローバル座標（Ｘ，Ｙ，Ｚ）を設定する。また、撮像素子１７０２に使用される撮像カメラは、光軸方向が水平に配置されるものとする。また、撮像カメラの視野角によって、撮像される範囲を示す。撮像範囲、すなわち撮像画像及び距離画像生成部１７１２で算出する距離マップの画像幅をｗｕ、画像高さをｈｖとすると、距離マップの中心画素は、ｃ（ｗｕ／２，ｈｖ／２）と表現される。

まず、近距離側の道路面を推定する。距離マップ上で近距離側の道路面と仮定されるのは、距離マップ下部の領域である。もしくは、撮影画像の認識処理によって近距離側の道路面を直接推定することも可能である。距離マップ下部の領域のうち、認識部１７２１で検出した区画線領域マップ上で区画線と判定された画素周辺を道路面としてもよい。カメラ設置条件（視野角、解像度、視線の角度）や撮影環境（天候、時間帯）、車両が走行する走路に関する情報（車線幅、車線数、分岐・合流点、道路種別）により定められた閾値よりも近いと判定された距離マップ領域のみを道路面としてもよい。

距離マップ上の画素ｐ（ｕ０，ｖ０）の距離値をＤとすると、近距離側の道路面ｐ（ｕ０，ｖ０）は、グローバル座標でＸ＝ｕ０－ｗｕ／２、Ｙ＝ｖ０－ｈｖ／２、Ｚ＝Ｄと変換できる。

道路面を水平と仮定すると、面の方程式はａＸ＋ｂＹ＋ｃＺ＋ｄ＝０（ａ、ｂ、ｃ、ｄは定数）で表現される。近距離側の道路面を示す４点以上の点によって、上記方程式の定数を定めることで道路面を推定することができる。

推定した道路面の方程式によって、遠距離側の道路面を推定することが可能となる。更には、この拡張した遠距離側の道路面から距離をスケーリングする。具体的には、道路面の方程式と、視点Ｖ（０，Ｙ０，０）と距離マップ上の遠距離側の領域を示す画素ｑ（ｕ１，ｖ１）を通る直線との交点に位置する点Ｒ（Ｘ，Ｙ，Ｚ）の奥行きＺを、距離値として推定することができる。

スケーリング測距部１７０３は、距離データから画素ｑ（ｕ１，ｖ１）に対応する道路の距離を取得できなかったとしても、上述のように演算することで、ｑ（ｕ１，ｖ１）に対応する道路の距離値Ｚを取得することが可能となる。

この処理を距離マップ上で考えると、近距離の領域（第一の領域）に存在する道路面と、遠距離の領域に存在する道路面の比（３次元空間上での奥行比）によって、第一の領域の距離をスケーリングして第二の領域の距離を算出している。

このように算出した距離値は、遠方で悪化する視差測距部の距離値を使用していないため、遠方の推定距離精度を改善したものになる。

更に、認識部１７２１で検出する検出枠を使用することで測距精度を向上させることができる。図２０は、道路上に物体サイズが既知の標識を２つ検出したシーンを示す模式図である。取得された画像内において、サイズがあらかじめ知られている標識が近距離側と遠距離側に１つずつ配置されているとする。このような状態のとき、近距離側の標識までの距離は、距離画像生成部１７１２により精度良く算出することができる。また、物体サイズが既知の物体であれば、スケーリング測距部１７０３は、画像上の画素数の比によって、遠距離側の標識までの距離を算出することができる。

近距離側の標識の高さ（画素数）をｗ０、カメラ位置からの距離をｄ０、遠距離側の標識までの高さ（画素数）をｗ１、カメラ位置からの距離をｄ１とする。スケーリング測距部１７０３は、ｄ１＝ｄ０＊（ｗ０／ｗ１）によって、距離を算出することができる。上記のように、サイズ既知の物体（標識や交通信号など）や近距離側と遠距離側でサイズが同一と仮定できる物体（ガードレール、区画線の幅や長さ・間隔など）を検出できれば、高精度のスケーリング測距を実施することができる。サイズ既知の物体でスケーリング測距する場合、近傍から遠方まで全ての距離レンジの精度を高めることは難しい。しかし、上述した道路面を拡張したスケーリング測距と物体サイズ比を利用したスケーリング測距とを組合せることで、精度の良いスケーリング測距を行うことが可能となる。

距離補正部１７０４は、スケーリング測距部１７０３で算出した距離値をもとに、距離画像生成部１７１２で測距した距離値を補正して補正距離値Ｄｃを取得する。以下、距離画像生成部１７１２で測距した値を距離値Ｄ、スケーリング測距部１７０３で算出した距離値をスケーリング測距値Ｄｓと呼ぶ。補正距離値Ｄｃは、係数をαとして、次式（数式１１）に従って算出する。

係数αは、以下の３つの方法のいずれかで決定される。

（１） 距離値の大きさに基づく係数α決定方法
視差測距部の測距に関して、測距対象までの距離値自体が測距精度に影響を及ぼす。測距対象までの距離が遠くなると、視差測距部で算出する距離値の距離精度は低下する。従って、距離値の値に応じて、スケーリング測距値の割合が高くなるように係数αを決定する。これにより、精度の良い測距結果を得ることができる。すなわち、距離値Ｄが大きいほど、αが小さくなるように、係数αを決定する。

（２） 測距対象のコントラストに基づく係数α決定方法
視差測距部の測距に関して、測距精度に影響を与える測距対象までの距離値以外の要因として、測距対象のコントラストがある。視差画像間の対応点（視差）を算出する際に、コントラストが低い領域同士をマッチング処理しても、周囲の領域との判別が不明瞭で視差を精度良く求めることができない。そのため、夜間に十分測距対象に照明が当たっておらず測距対象のコントラストが低い場合、距離値の測距精度が低いと判断し、スケーリング測距値の割合が高くなるように係数αを設定する。すなわち、測距対象のコントラストが低い場合、αが大きくなるように、係数αを決定する。スケーリング測距値は、例えば車両の照明が当たる範囲の高精度な距離値をもとに生成されるため、測距対象のコントラストが低い場合にも精度の良い測距結果を得ることができる。

（３） 検出枠のカテゴリ種類に基づく係数決定方法
測距対象の種別（カテゴリ）に応じて、視差測距、スケーリング測距で夫々、測距精度が異なる傾向がある。例えば、信号機の発光部分などのスケーリングの基準と離れる測距物体に対しては、視差測距は他の物体と区別なく測距可能であるが、スケーリング測距では測距精度が落ちる傾向がある。そのため検出枠のカテゴリが特定の種別である場合には、距離値の割合が高くなるように係数設定することで、精度の良い測距結果を得ることができる。また、図２０で示すように、スケーリング測距の方法によって、物体検出した周辺領域でのスケーリング測距の距離精度が高まる場合には、このカテゴリに応じて検出枠周辺のスケーリング測距の割合が高くなるように係数を決定してもよい。

上記で示した係数決定方法は、１つに限定する必要はなく、夫々の要因別に生成した係数をもとに、最終的な係数を決定してもよい。上記により、精度の良い測距結果を得ることができる。

（スケーリング測距部の変形例）
スケーリング測距部１７０３の変形例として、近距離側と遠距離側の画像上での道路幅のサイズ比を基準に近傍の距離データをスケーリングすることで、対象物体までの距離推定を行う例を説明する。図２１は、スケーリング測距部１７０３の構成例を示すブロック図である。

スケーリング測距部１７０３は、車線解析部２１０１、ロール角推定部２１０２、接地位置推定部２１０３、物体距離算出部２１０４を備える。

車線解析部２１０１は、区画線領域マップから区画線間の画素数を車線幅として検出し、区画線間の中央座標を車線中心（座標）として検出する。

図２２は、車線解析部２１０１の実行する車線幅検出、および車線中心検出の処理を模式的に示した模式図である。図２２（Ａ）は、画像において区画線を示す区画線領域マップを模式的に示した図である。車線解析部２１０１によって、画像において区画線と検出された画素には区画線フラグが付与（図中では黒破線で表現）されている。道路上の区画線は、走行車線と追い越し車線の境界部分については破線で示されていたり、道路上の車や障害物などにより区画線が隠されたりするため、区画線領域マップは断続的に見える。

図２２（Ｂ）は、車線幅及び車線中央の位置を算出する手法を示した模式図である。車線解析部２１０１は、区画線領域マップの左側から右側に順に、画素毎に区画線フラグが立っているか否か検査を行う。検査中の画素が区画線フラグでなく、検査中の画素の左隣の画素に区画線フラグが立つ、検査中の画素を道路幅の起点とし、検査中の画素に区画線フラグが立ち、検査中の画素の左隣の画素は区画線フラグが立たない、検査中の画素を道路幅の終点とする。これにより、図２２（Ｂ）に示す矢印群のように、区画線領域マップの１ラインに１つずつ、車線幅（矢印の長さ）と、車線の位置（矢印の中央位置）を検出することができる。

図２２（Ｃ）は、検出した車線幅データを示す模式図である。車線幅は、車線の実サイズが変わらない限り、カメラからの距離の逆数に比例した画素数で観測される。図２２（Ｃ）において、横軸は、区画線領域マップのラインを示し、縦軸は、検出された車線幅（画素数）を示す。このように示すと車線幅は、ラインに対して直線性が高い関係性で示される。区画線の途切れ具合などにより、１車線分の車線幅と２車線分の車線幅が混在して観測されることもあるが、おおよそ２倍程度の差があるため分離することは容易である。

図２２（Ｄ）は、分離した左側の１車線分の観測データと、観測データから車線幅を得られなかったラインにおけるデータを補間する模式図を示す。隣接車線（左右車線）の分離に関しては、車線の位置（矢印の中央位置）を比較することで、隣接車線の観測データを除外することは容易である。これらの情報から、例えば、ＲＡＮＳＡＣ法などのロバスト推定により、図２２（Ｂ）に示す左側の１車線分のみの車線幅を取得することができる。車線幅の補間には、上述したＲＡＮＳＡＣ法などにより、近似直線の方程式を算出し、その近似直線式を用いてもよいし、観測された道路幅データ間を内挿するように補間してもよい。車線の位置に関しても、上記と同様の方法により各ラインのデータを得ることができる。

上記で得られた車線情報（車線幅と車線中心）を用いて、スケーリング測距を行う。

ロール角推定部２１０２は、距離マップからカメラのロール角を推定する。車載カメラに対してロール角を発生させる要因は複数存在する。例えば、道路面の凹凸により、左右のタイヤの接地面に高低差が生じることでカメラ取付け位置が水平を保てずにロール角が起きる場合がある。また、車両がカーブを曲がっているときの遠心力によって車体自体が変形し、ロール角を発生させることがある。このようなロール角の発生は、距離推定に大きく影響を与える。

ここで示すスケーリング測距は、道路面上にある物体までの距離を、物体と同一距離にあると仮定される車線幅画素数と近傍の車線幅画素数の比を用いて、精度良く測定した近傍の距離値をスケーリングさせる処理である。カメラのロール角が生じる場合、物体と同一距離にあると仮定される車線幅を見つけることが困難となる。

図２３は、撮像画像における車線幅を示す位置をロール角の有無について比較した模式図である。左側の撮像画像はロール角の発生なしの場合を示しており、右側の撮像画像は同一シーンで画像左下を中心にロール角１０°が生じた場合を示す。左側の撮像画像の場合、測距対象となる車の接地位置と、同じ距離に存在すると仮定される車線は、同一直線上に並ぶため容易に対応をとることができる。一方で、ロール角が生じている右側の撮像画像の場合、測距対象となる車の接地位置と同一ラインに存在する車線がなく、車線があったとしても同じ距離となる車線幅を算出することはできない。測距対象の車と同一距離にある車線幅を見つけるためには、精度良くロール角を推定する必要がある。

ロール角推定部２１０２は、視差測距により取得した距離マップをもとにロール角を推定する。ロール角が発生した場合、水平と仮定できる道路面までの距離は、図２３に示すように、同一距離となる位置が傾くことが知られている。ロール角は視点方向を軸にする回転であるため、カメラと対象物体間の距離に関して変化はなく、カメラにより撮影される画像はロール角により傾くため、画像中の道路面の傾きに沿う形で、距離マップにも傾きを生じる。

図２４は、ロール角推定部２１０２が実行するロール角推定処理を示すフローチャートである。図２５は、ロール角推定処理における各処理を説明するための模式図である。

Ｓ２４００において、ロール角推定部２１０２は、距離マップから注目画素設定範囲を決定する。図２５（Ａ）は、距離マップにおける注目画素設定範囲を示す模式図である。

図２５（Ａ）に示されるように、注目画素設定範囲は、距離マップの左下領域に位置付けられる。注目画素設定範囲の高さは、道路面に相当する領域を想定しており、例えば、水平線から距離マップ下端までが設定される。注目画素設定範囲の幅は、注目画素と探索範囲との間隔を考慮に入れた上で設定される。探索範囲は、注目画素から水平方向に所定の画素数（所定の間隔）だけ離れた位置に設定される。注目画素と探索領域の間隔が大きい場合には、注目画素設定範囲の幅を大きく設定しても、探索範囲を設定できなくなる。本実施例では、所定の間隔を距離マップの画像幅の１／４程度とし、注目画素設定範囲の大きさを距離マップの画像幅の半分程度として設定する。適切に注目画素設定範囲を設定することで、演算量を抑制することができる。

Ｓ２４０１において、ロール角推定部２１０２は、距離マップから注目画素２５００の距離データを得る。本実施例では、注目画素設定範囲のうち、注目画素２５００に対して距離データを得る。

Ｓ２４０２において、ロール角推定部２１０２は、探索範囲を決定する。ロール角発生の有無にかかわらず、注目画素付近の画素の距離値は、注目画素の距離値に近い傾向にある。したがって、ロール角推定部２１０２は、注目画素２５００と対応画素２５０１の座標から高い分解能でロール角を検出するために、注目画素２５００から水平方向に所定の間隔をあけた領域を探索範囲として設定する。

ロール角推定部２１０２は、探索範囲の高さを、発生を想定されるロール角範囲によって限定することが可能である。例えば、車両に設置される車載カメラであれば、一般的な道路を走行する場合においては、±数°のロール角発生に限定される。本実施例では、距離マップの画像高さの１／８程度を設定している。探索範囲の幅は、注目画素２５００から水平方向に所定間隔離れた位置から距離マップ右端までを設定する。探索範囲の右端は距離マップ右端に限定されるものではないが、探索範囲の幅が小さい場合、領域が小さすぎて、注目画素２５００に対応する道路面の距離データが見つけられないことが起きるため、探索範囲の幅は出来る限り大きく設定することが好ましい。

Ｓ２４０３において、ロール角推定部２１０２は、探索範囲から注目画素２５００に対応する対応画素２５０１を探索する。探索範囲内の注目画素２５００の距離値に類似の画素を対応画素２５０１と位置付けるため、探索範囲内の画素毎に注目画素２５００の距離値との差分を検出し、最も差分の小さい画素を対応画素２５０１とする。尚、対応画素２５０１の探索方法は、１画素と１画素の差分比較に限定されることはなく、注目画素及び探索範囲内の画素を含む近傍画素群同士の距離値の差分比較を行い、最も類似度が高い画素群の中央画素を対応画素２５０１としてもよい。

Ｓ２４０４において、ロール角推定部２１０２は、注目画素と対応画素の座標から傾きθを算出する。図２５（Ｂ）に示すように、注目画素３８００の座標を（ｘ０，ｙ０）、対応画素２５０１の座標を（ｘ１，ｙ１）とすると、傾きθは、θ＝ａｒｃｔａｎ（ （ｙ１－ｙ０）／（ｘ１－ｘ０） ）により、算出される。

Ｓ２４０５において、ロール角推定部２１０２は、注目画素設定範囲の処理を全て完了したか否かにより分岐する。注目画素設定範囲の画素を全て注目画素として処理を完了した場合、Ｓ２４０６に進む。注目画素設定範囲の画素を全て注目画素として処理を完了していない場合、Ｓ２４０１に進み、新たな注目画素に対して処理を行う。

Ｓ２４０６において、ロール角推定部２１０２は、ロール角を算出する。図２５（Ｃ）は、横軸を注目画素の距離値、縦軸を注目画素に対して算出した傾きを示す模式図である。１つの注目画素から算出した傾きはノイズ成分を含んでいるため、複数の傾きを平均化することで尤もらしいロール角を検出する。ロール角推定を行うために参照する距離マップは視差画像から生成するが、視差画像からの測距は物体までの距離が遠くなればなるほど検出精度が悪化することが知られている。そのため、距離マップを利用し注目画素毎の傾きを算出すると、注目画素の距離値の大きさに応じて算出した傾きのばらつきが大きくなっていく。そのため、ロール角の算出においては、注目画素の距離値が小さい傾きの割合を大きく、距離値が大きい傾きの割合を小さくするような加重平均によって、ロール角を推定する。尚、加重平均の割合を決定する要因として、対応画素探索の際の類似度を使用してもよい。

上記の処理により、道路面の距離マップを利用して、ロール角を推定することができる。

更に、推定するロール角の分解能が予め決められている場合の、注目画素と探索範囲の間隔の設定方法を説明する。

注目画素と探索範囲の間隔は、ロール角の分解能によって定められる。ロール角は注目画素から対応画素までの傾きで算出されるが、注目画素と対応画素の水平差と、注目画素と対応画素の垂直差の比で表される。垂直差は最低１画素であるため、ロール角の分解能は水平差の大きさによって決定される。注目画素と探索範囲の間隔ｄは、ロール角の分解能ｒを用いて、次式（数式１２）を用いて得られる。

数式１２は、は、最小の検出角度を示しており、注目画素と探索範囲の間隔ｄで、ｙ軸方向の差分１画素の場合の角度ｒの関係から導出される。

算出される間隔ｄは、大きければ大きいほど分解能が高くなるが、間隔ｄを大きくすると前述したように探索範囲が狭くなってしまうため、最低限の分解能を設定することが好ましい。例えば、必要な分解能ｒが０．１°の場合には、間隔ｄは、５７３画素以上となる。

上記の算出方法により、ロール角の検出分解能が与えられた場合に、適切な間隔の設定が可能となる。

接地位置推定部２１０３は、物体検出タスクにより得られた検出枠と車線解析部２１０１で求めた車線中心、及びロール角推定部２１０２により推定されたロール角を用いて、測距対象の接地位置と同一距離に位置する車線幅データの座標を推定する。図２６は、接地位置推定部２１０３が実行する車線幅データの座標の推定処理を示すフローチャートである。

Ｓ２６０１において、接地位置推定部２１０３は、物体認識タスクで得られた検出枠の中から測距対象の検出枠を選択する。

Ｓ２６０２において、接地位置推定部２１０３は、測距対象の接地位置の座標（ｘｃ，ｙｃ）として検出枠下部の中心位置を設定する。図２７は、接地位置推定部２１０３が設定する測距対象の接地位置の座標（ｘｃ，ｙｃ）を示す模式図である。測距対象の接地位置の座標（ｘｃ，ｙｃ）は、検出枠の左上座標（ｘ０，ｙ０）および右下座標（ｘ１，ｙ１）を用いて、次式（数式１３）を用いて表される。

なお、測距対象の接地位置の座標を取得する方法は、上述の方法と異なる手法を用いてもよい。車のように横幅が広い物体では物体がロール角だけ傾いて写ることで、検出枠下端の中心座標とタイヤが実際に接地している座標との間のずれが大きくなり得る。このような場合に、例えば撮像画像や距離マップを用いて検出枠内の物体の輪郭を検出し、ロール角の傾きを持つ直線Ｒが物体の輪郭下端に接する位置を接地面の座標として設定するよう構成してもよい。このような構成を用いることにより、実際に測距対象が接地している座標を設定することができる。

物体の輪郭を認識する処理は演算負荷が大きい事から、演算コストを考慮した構成として、車線中心と測距対象の位置関係に応じて検出枠の角の座標から適切なものを選択するようにしてもよい。具体的には、車線中心より左側に測距対象が存在する場合は検出枠左下の座標を、右側に存在する場合は検出枠右下の座標を選択するといった選択方法が挙げられる。これにより、次のステップで求める直線Ｒと実際に測距対象が接地している座標を、検出枠下端の中心を設定するより近いものに設定できる場合がある。

Ｓ２６０３において、接地位置推定部２１０３は、測距対象の接地位置座標（ｘｃ、ｙｃ）を通り、傾きがロール角となる直線Ｒと、区画線検出タスクで得られた車線中心の直線Ｃが交差する座標（ｘｔ、ｙｔ）を求める。

上記のように処理することで、距離マップがロール角により傾いていても、測距対象の接地位置と同一距離にある車線幅データの座標を求めることができる。

物体距離算出部２１０４は、接地位置推定部２１０３で得た接地位置に対応する車線幅データ上の座標と車線解析部２１０１で算出した車線幅データ、及び距離マップ上のデータを用いて測距対象までの距離を算出する。図２８は、物体距離算出部２１０４が実行する測距対象までの距離の推定処理を示すフローチャートである。

Ｓ２８０１において、物体距離算出部２１０４は、車線幅データと座標（ｘｔ、ｙｔ）を用いて車線幅Ｎ２を算出する。物体距離算出部２１０４は、車線幅Ｎ２として座標（ｘｔ、ｙｔ）の車線幅を取得してもよいし、座標（ｘｔ、ｙｔ）の付近の車線幅を複数取得し、座標（ｘｔ、ｙｔ）からの距離に応じて重み付けして、加重平均して取得してもよい。画像認識によって検出された車線から車線幅を求める場合は、画像認識の誤差により検出した車線幅と実際の車線幅の間でブレが生じる可能性がある。前述のように複数の車線幅を用いて車線幅Ｎ２を算出することで、検出した車線幅のブレを低減することができる。処理負荷に応じて平滑化に用いる車線幅データの数は１つとしてもよい。

Ｓ２８０２において、物体距離算出部２１０４は、現時点のフレームにおいて得られた車線幅データと距離データをそれぞれ対応付けて保存する。まず、物体距離算出部２１０４は、各車線幅データとその座標を取得し、距離マップからは車線幅データの座標に対応する距離データを取得する。このとき、対応する距離データは車線中心線Ｃの車線幅Ｎ１に対応する座標（ｘｎ、ｙｎ）を中心として車線幅データの範囲内（ｘｎ－Ｎ１／２、ｙｎ）～（ｘｎ＋Ｎ１／２、ｙｎ）の各座標に対応する距離データを取得し平滑化することで求めてもよい。物体距離算出部２１０４は、このような車線幅データと距離データの対応付けを現時点のフレームＴ０にて得られた各車線幅データ毎に行う。図２９は、各車線幅データを示す模式図である。物体距離算出部２１０４は、対応付けを行うデータ個数は処理負荷や記録容量に応じて範囲を狭めてもよく、例えば、距離データの確度が高い箇所のデータのみ保存するよう構成してもよい。

Ｓ２８０３において、物体距離算出部２１０４は、測距対象までの距離算出に用いる基準データＢを算出する。基準データＢは前のステップにて対応付けしたデータをｋ個としたとき、車線までの距離Ｄ１および車線幅Ｎ１を用いて次式（数式１４）で表される。

この時、距離が離れるほど距離データの誤差は大きくなり易いことから、距離値が小さい箇所に対応する重みを大きく、距離値が大きい箇所に対応する重みを小さくするような加重平均によって、基準データＢを算出してもよい。また、Ｓ２８０２にて求めたデータを過去フレームのデータとしてＴ１、Ｔ２のように数フレーム分保持するよう構成しておき、これを含めて計算するようにしてもよい。

数式１３において、Ｄ１［ｎ］×Ｎ１［ｎ］は、距離算出の基準となる車線幅に相当する値となる。車線までの距離がＤ、画像上での車線幅の画素数をＮ画素とし、撮像カメラの水平画角がＦ°、水平画像幅がＨ画素、とすると、実際の車線幅の大きさＷは、Ｗ＝（Ｄ×Ｎ）×２×ｔａｎ（Ｆ／２）／Ｗによって算出可能である。２×ｔａｎ（Ｆ／２）／Ｗの部分は、撮像カメラの仕様が決定すると固定値として扱うことができる。従って、実際の車線幅は（Ｄ×Ｎ）の変数となる。この関係により、数式１３では、車両走行時に車線幅が同一と見なせることから、Ｄ１［ｎ］×Ｎ１［ｎ］に対して平滑化を実施することで、観測ノイズを抑制することが可能となる。また、連続する複数フレームであっても、同一の車線を走行していることが想定されるため、実際の車線幅は同一と見なすことができ、Ｄ１［ｎ］×Ｎ１［ｎ］に対して平滑化を実施することで、観測ノイズを抑制することが可能となる。

一方で、フレームによっては車体が小石に乗り上げる等によって画像にブレが生じ、車線幅データを正しく取得できていない可能性がある。そのため、Ｄ１［ｎ］×Ｎ１［ｎ］の乖離が大きい（すなわち、ブレが大きい）フレームの重みを減らすことで、基準データから誤差を減らすように計算してもよい。あるいは、現時点のフレームからの時間差が少ないほど重みを増やし、時間差が多いほど重みを減らすことで、現時点のフレームに対するレスポンスとフレーム間で発生したブレの平滑化の間でバランスを取るように計算してもよい。

Ｓ２８０４において、物体距離算出部２１０４は、前のステップで求めた基準データＢと測距対象の車線幅Ｎ２を用いて、測距対処の距離データＤ２を求める。距離データＤ２は次式（数式１５）によって求められる。

以上のように処理することで、測距対象までの距離を推定することができる。物体距離算出部２１０４は、このようにして求めた測距対象までの距離を示す物体距離情報を出力する。

以上のように、本実施例では、視差画像によるステレオ測距と単一画像からの距離推定を組み合わせることで、近傍から遠方まで高精度に測距可能な測距システムの例を説明した。視差画像による測距単体では測距精度の悪化する遠方であっても、道路面などのスケーリング物体のサイズ比を用いることで、測距対象が遠方であっても距離精度を保つことができる。スケーリング対象物体が、道路などの実サイズが変化しにくい物体の場合は、スケーリング時の平滑化により、サイズ計測時の観測ノイズを低減することで距離精度を高めることができる。また、視差画像による測距と、単一画像の距離推定による測距において、距離レンジに応じて合成比率を変化させることで、よりロバストな距離推定が可能となる。更に、ロール角の検出及び補正を行うことで、車両の変形や走行道路の凹凸などの影響を低減したロバストな距離推定が可能となる。

＜その他の実施形態＞
上述した実施形態では、距離画像データを取得するために同一の光学系を介して撮像面位相差方式で左右の視差画像を取得する撮像装置を例として説明したが、視差画像の取得方法はこれに限らない。左右に所定の距離だけ離して設けられた２つの撮像装置によって左側の視差画像と右側の視差画像とをそれぞれ取得する、いわゆるステレオカメラで左右の視差画像を取得することも可能である。

また、ＬｉＤＡＲなどの測距デバイスを用いて距離情報を取得し、撮像装置から得られた撮像画像に対する画像認識によって得られた外界情報を用いて、上述の測距を行うことも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 車両
１０１ 運転者
１１０ 撮像装置
１２０ レーダ装置
１３０ 経路生成ＥＣＵ
１４０ 車両制御ＥＣＵ
１５０ 経路生成装置
１６０ 車両情報計測器

Claims (12)

1. 撮像手段から取得した画像に含まれる物体に対応する物体領域を設定する設定手段と、
   前記画像に対応し、各画素に対する距離情報を有する距離マップを取得する取得手段と、
   前記距離マップにおいて前記物体領域に対応する画素の距離情報を用いて、前記物体までの距離を示す物体距離情報を取得する処理手段と、
   を備えることを特徴とする電子機器。
2. 前記撮像手段は、光学系と、前記光学系を介して入射された光学像から画像信号を生成するセンサとを有し、
   前記センサは、所定の視差を有する第１画像信号と第２画像信号とを生成することが可能であって、
   前記取得手段は、前記第１画像信号と前記第２画像信号とに基づいて、各画素の距離情報を決定することにより、前記距離マップを取得する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記処理手段は、前記物体領域に含まれる前記距離情報の最頻出値、平均値、および中央値のいずれかを前記物体距離情報として取得する
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記設定手段は、前記物体領域を、前記画像において前記物体を包含する枠をとして設定し、前記枠の形状および位置を示す外界情報を生成し、
   前記処理手段は、前記外界情報に基づいて、前記物体距離情報を取得する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記設定手段は、前記画像において前記物体が占める領域を前記物体領域として示す外界情報を生成し、
   前記処理手段は、前記外界情報に基づいて、前記物体距離情報を取得する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
6. 前記設定手段は、前記画像から検出した物体を識別するための識別情報を前記検出された物体に対応付け、
   前記処理手段は、特定の識別情報が対応付けられた物体までの距離を平均化した値を前記物体距離情報として生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
7. 前記処理手段は、前記物体の大きさに基づいて設定された係数を用いて、前記距離を重み付け平均して前記物体距離情報を生成する
   ことを特徴とする請求項６に記載の電子機器。
8. 請求項１乃至７のいずれか１項に記載の電子機器と、
   前記撮像装置と、
   を含むことを特徴とする移動体。
9. 画像を撮像する撮像手段と、
   前記画像に含まれる物体に対応する物体領域を設定する設定手段と、
   前記画像に対応し、各画素に対する距離情報を有する距離マップを取得する取得手段と、
   前記距離マップにおいて前記物体領域に対応する画素の距離情報を用いて、前記物体までの距離を示す物体距離情報を取得する処理手段と、
   を備えることを特徴とする撮像装置。
10. 撮像手段から取得した画像に含まれる物体に対応する物体領域を設定する設定工程と、
    前記画像に対応し、各画素に対する距離情報を有する距離マップを取得する取得手段と、
    前記距離マップにおいて前記物体領域に対応する画素の距離情報を用いて、前記物体までの距離を示す物体距離情報を取得する処理工程と、
    を備えることを特徴とする電子機器の制御方法。
11. 撮像手段から取得した画像に含まれる物体に対応する物体領域を設定する設定工程と、
    前記画像に対応し、各画素に対する距離情報を有する距離マップを取得する取得手段と、
    前記距離マップにおいて前記物体領域に対応する画素の距離情報を用いて、前記物体までの距離を示す物体距離情報を取得する処理工程と、
    を備えることを特徴とする電子機器の制御方法をコンピュータが実行するためのプログラム。
12. 撮像手段から取得した画像に含まれる物体に対応する物体領域を設定する設定工程と、
    前記画像に対応し、各画素に対する距離情報を有する距離マップを取得する取得手段と、
    前記距離マップにおいて前記物体領域に対応する画素の距離情報を用いて、前記物体までの距離を示す物体距離情報を取得する処理工程と、
    を備えることを特徴とする電子機器の制御方法をコンピュータが実行するためのプログラムを格納する記憶媒体。

Images