JP2023076169A - 画像処理装置 - Google Patents

Abstract

【課題】路面からの３次元情報を使用し、障害物検出精度を維持しながら、特殊なセンサを必要とせずに距離測定精度を高め、特に、検出される障害物のための正確な単眼ベースの距離測定を必要とする歩道エリア（つまり、車道エリアに対する地面高さの違いを含む）を含む可能性のある交差点で自車両が旋回しているケースをサポートする画像処理装置を提供する。【解決手段】画像処理装置１１０において、路面３Ｄ情報取得部１３１を介して取得され、路面３Ｄ情報管理部１４１の記憶部１８１に記憶された路面に関連する３次元情報（路面３Ｄ情報）を、車両の動きを使用して、路面３Ｄ情報管理部１４１の座標変換部１９１により現在時刻の路面３Ｄ情報に変換し、障害物測距部１６１によって、単眼ベースの距離推定処理とともに、変換された路面３Ｄ情報を使用して障害物までの距離を求める。【選択図】図１

Description

本発明は、例えば、自車両の近傍の環境における画像ベースの障害物検出および認識のための車載用画像処理装置に関する。

近年、近傍の移動物体および障害物を検出するために、画像を用いた物体検出装置が使用されている。上述の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは自動車の安全な運転を支援する車載システムの用途に使用することができる。

車載用途では、このような装置は、周囲の環境を運転者に表示し、および／または車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。

ところで、車両の周囲を監視するセンサとしてのカメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔の２つのカメラで共通に撮影された重複領域（ステレオ領域とも称する）の視差を利用して、撮影された物体までの距離を計測することができる。このため、周囲の物体との衝突可能性を的確に把握することができる。一方、それぞれのカメラ単独（単眼カメラ）で撮影される非重複領域（単眼領域とも称する）においては、撮影された物体（歩行者などの移動物体）を検知するだけで、その物体までの距離を把握することが難しいため、衝突可能性の把握が困難である。そこで、単眼領域で検知した移動体までの距離を推定する方法として、ステレオ領域で計測した路面の高さ情報を、単眼領域の路面にも適用する方法がある。

しかし、上述の従来方法では、ステレオ領域の路面高さをそのまま単眼領域に適用するため、ステレオ領域と単眼領域の路面高さが等しい状態、つまり平坦な路面であることを前提としている。よって、単眼領域の路面に傾斜や段差があったときに（換言すると、単眼領域で検知した歩行者が走行路面と同じ高さの場所にいないときに）、正確な距離を推定することが難しい。

例えば、特許文献１に開示される装置は、前述の問題に対し、重複領域と単眼領域の路面の高さが異なる場合でも、単眼領域で検出される移動体の距離を高い精度で算出することを目的とし、車両に搭載された複数のカメラで撮影した複数の画像の重複領域の視差情報を取得する視差情報取得部と、前記重複領域で過去に取得された視差情報に基づいて、前記各画像中の前記重複領域以外の非重複領域で検出される物体と前記車両との距離を算出する物体距離算出部と、を備える。

特開２０１７－９６７７７号公報

上述の特許文献１に記載された装置は、重複領域で過去に取得された視差情報に基づいて算出した歩道路面の高さ情報を記憶し、歩道路面の高さを計測した画像領域が車両の移動に従って非重複領域に移動したとき、記憶した歩道路面の高さ情報を用いて画像高さ方向における物体の位置を補正して、物体と車両との距離を算出する。すなわち、上述の特許文献１に記載された装置は、歩道路面の高さを計測した画像領域が車両の移動に従って非重複領域に移動したとき、その歩道路面の高さを計測した画像領域を車両の移動に従って重複領域から非重複領域まで追跡することを前提としている。

基本的な自車両の走行シーンとしては、直進と、旋回とがある。自車両が直進するシーンにおいては、重複領域の画像領域が車両の移動に従って非重複領域に移動し、その画像領域を車両の移動に従って重複領域から非重複領域まで追跡することができる。このため、上述の特許文献１に記載された技術を適用して、重複領域と単眼領域の路面の高さが異なる場合でも、単眼領域で検出される移動物体の距離を算出することができる。

一方、例えば交差点などで自車両が旋回するシーンにおいては、歩道エリア（つまり、車道エリアに対する地面高さの違いを含む）にいる移動物体（歩行者、自転車など）が急に単眼領域に現れる（撮影される）シーンが考えられる。一例として、車両が旋回して交差点を横断し始めるときに、物体後方に隠れていた（カメラの視野外にいた）移動物体が単眼領域に現れる場合が考えられる。他の例として、車両が旋回する前に直進するシーンで、ステレオ領域で検出される移動物体が車両の移動に従って単眼領域に移動し、その後、単眼領域の外側に移動する（つまり、カメラの視野外になる）。この時点で、移動物体は自車両の側方ないし側後方にいることになるとともに、カメラの視野上で追跡できなくなる。その後、車両が旋回して交差点を横断し始めると、カメラの視野外になった移動物体が車両の旋回移動に従って再び単眼領域に現れる（カメラの視野内に戻る）場合が考えられる。

しかしながら、特許文献１に記載された装置は、前述のように、重複領域の画像領域が車両の移動に従って非重複領域に移動し、その画像領域を車両の移動に従って重複領域から非重複領域まで追跡することを前提としている。よって、例えば歩道エリアを含む可能性のある交差点で自車両が旋回するシーンにおいて、歩道エリアにいる移動物体が急に単眼領域（非重複領域）に現れるようなシーンでは、単眼領域で検出される移動物体の正確な距離を算出することが難しい。

また、一般に、自車両が直進するシーンにおいては、車両速度の変化および現在の路面状況の変化が相対的に小さいと考えられるため、車両速度の変化および現在の路面状況が、最初に設定されたセンサ姿勢パラメータ（カメラ姿勢パラメータ）の変化を生成する車載カメラと路面との間の空間的関係に影響する度合いは小さいと考えられる。

一方、例えば交差点などで自車両が旋回するシーンにおいては、車両速度の変化および現在の路面状況の変化が相対的に大きいと考えられるため、自車両の旋回運動に応じて、車両速度の変化および現在の路面状況が、最初に設定されたセンサ姿勢パラメータ（カメラ姿勢パラメータ）の変化を生成する車載カメラと路面との間の空間的関係に影響する度合いは大きいと考えられる。

しかしながら、特許文献１に記載された装置は、車両速度の変化および現在の路面状況の、最初に設定されたセンサ姿勢パラメータ（カメラ姿勢パラメータ）の変化を生成する車載カメラと路面との間の空間的関係への影響を考慮していない。よって、この点からも、例えば歩道エリアを含む可能性のある交差点で自車両が旋回するシーンにおいて、単眼領域で検出される移動物体の正確な距離を算出することができない可能性がある。

したがって、例えば、歩道エリア（つまり、車道エリアに対する地面高さの違いを含む）を含む可能性のある交差点で自車両が旋回しているとき、同時に、車両速度の変化および現在の路面状況が、最初に設定されたセンサ姿勢パラメータの変化を生成する車載センサと路面との間の空間的関係に影響するとき、検出される障害物のための正確な単眼ベースの距離測定をサポートする必要があるシナリオで当該システムが使用される場合、当該システムは、センサ姿勢パラメータを正しく設定し、対象となる障害物が路面と接触する場所（路面形状および歩道タイプに基づいて変化する場合がある）を正確に定義するための追加のセンサが必要になる可能性があり、これにより、システム全体のコストが増加する。一方、センサ姿勢変化および路面形状の可能性のある変化（車両が通過している路面からの高さの歩道およびその他の変化によって生じる）に関連する外部の変化がサポートされておらず、正しく対処されていない場合には、障害物検出性能および距離測定精度が低下し、誤った障害物検出結果を生成し、システム全体の信頼性が低下する可能性がある。

本発明の目的は、（ステレオ領域の画像データから生成される）路面に関連する３次元情報（以下、路面３Ｄ情報とも称する）を格納し、格納された路面３Ｄ情報を、（例えば、CANデータからの速度とヨーレートを使用して時間経過とともに計算される）車両の動きを使用して、現在の時刻に変形／変換し、単眼ベースの距離推定処理とともに路面からの３次元情報を使用し、障害物検出精度を維持しながら、特殊なセンサを必要とせずに距離測定精度を高めることができる、特に、検出される障害物のための正確な単眼ベースの距離測定を必要とする歩道エリア（つまり、車道エリアに対する地面高さの違いを含む）を含む可能性のある交差点で自車両が旋回しているケースをサポートすることができる画像処理装置を提供することである。

上記目的を達成すべく、本発明による画像処理装置は、車両に搭載された複数のカメラから得られた画像に基づいて、路面の３次元構造を含む路面３Ｄ情報を検知する路面３Ｄ情報検知部と、時系列で取得された前記路面３Ｄ情報を記憶する記憶部と、第一の時刻（ｔ－１）と第二の時刻（ｔ）との間の前記車両の移動量と、前記第二の時刻（ｔ）の前記カメラの向きに基づき、前記第一の時刻の前記車両の位置および前記カメラの向きを基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置および前記カメラの向きを基準とした路面３Ｄ情報に変換する座標変換部と、前記変換された前記第一の時刻（ｔ－１）に取得された路面３Ｄ情報と、前記第二の時刻（ｔ）に取得された路面３Ｄ情報と、に基づいて、前記複数のカメラのうち一つのカメラの視野領域にある対象物までの距離を求める測距部と、を有する。

本発明によれば、車道エリアに対する地面高さの違いが存在する可能性のある歩道エリアを含む可能性のある交差点で自車両が旋回しているとき、検出される対象物のための正確な単眼ベースの距離測定を実行することが可能となり、システム全体の信頼性を高めることが可能となる。

上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の第１実施形態による画像処理装置の概略構成図である。 車両が交差点に近づいており、自車両が交差点で旋回しているときに、歩道上の特定の歩行者の距離測定が必要なシナリオであり、（ａ）は、車両が交差点で左折している最も古い時刻（ｔ－ａ）、（ｂ）は、車両が交差点で左折している途中の時刻（ｔ－ｂ）、（ｃ）は、車両が交差点で左折している現在の時刻（ｔ）である。 算出された路面３Ｄ情報を格納および更新するために路面３Ｄ情報管理部１４１により実行される処理を示すフローチャートである。 Ｘ軸、Ｙ軸、Ｚ軸、チルト角（ピッチ角）、ロール角の３次元空間上の関係の説明図である。 本発明の第２実施形態による画像処理装置の、算出された路面３Ｄ情報を格納、更新、および削除するために路面３Ｄ情報管理部１４１により実行される処理を示すフローチャートである。 本発明の第３実施形態による画像処理装置の、算出された路面３Ｄ情報を格納、更新、および削除するために路面３Ｄ情報管理部１４１により実行される処理を示すフローチャートである。

以下、本発明の画像処理装置の好ましい実施形態について図面を参照して説明する。

［第１実施形態］
以下、図１から図４を参照して、本実施形態の画像処理装置１１０の構成および性能について説明する。図示は省略するが、画像処理装置１１０は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。

以下に説明する構成では、２台のカメラセンサ（以下、単にカメラもしくはセンサと称することがある）が単一の車載ステレオカメラとして対になっており、したがって、センシング部１１１に対応していることに留意されたい。ただし、これは、単一の単眼カメラがセンシング部１１１として使用される他の構成で使用される装置を制限するものではない。

図１は、本発明の第１実施形態による画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１１０は、例えば車両（自車両）に搭載され、カメラセンサ（センシング部１１１）で撮影した周囲の画像に画像処理（例えば、アフィン変換）を実行し、画像に映る周囲の対象物を検出および認識し、周囲の対象物までの距離を測定（算出）する装置である。

図１において、画像処理装置１１０は、同じ高さに配置された２つのカメラセンサを含むセンシング部１１１、画像取得部１２１、路面３Ｄ情報取得部１３１、路面３Ｄ情報管理部１４１、障害物検出部１５１、障害物測距部１６１、および警報および制御アプリケーション部１７１を備える。

（画像取得部）
画像取得部１２１は、センシング部１１１に対応する一方または両方のカメラセンサにより取得された画像を処理して、さらなる処理のために画像特性を調整する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力から入力画像の特定の領域を切り取る（トリミングする）ことができる画像関心領域選択、回転、スケール、剪断、および平坦な地面が基準と見なされる上面画像変換などの画像アフィン変換が含まれ得る。アフィン変換の場合、幾何学的公式または変換テーブルを事前に計算または調整することができる。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件（速度、旋回速度など）に基づいて制御できる。また、センシング部１１１に対応する両方のカメラセンサから受信した画像信号を用いてステレオマッチングを行い、当該画像処理装置を搭載した車両の前方のシーンの３次元距離画像を作成する。ステレオマッチングは、互いに比較される２つの画像内の所定の単位領域ごとに、画像信号間の差異が最小となる単位領域を決定する。つまり、同じ被写体が写し出される領域が検出される。これにより、以下で視差画像と称される３次元距離画像を構成する。視差データは、実際の環境でカメラから対象物までの距離値を算出するために使用されることに留意されたい。さらに、Ｖ視差画像は、垂直方向の視差データを座標位置Ｖに投影し、横軸方向に視差値を取得し、各視差値の頻度を表すヒストグラム画像を形成する２次元空間を統合することにより作成される。つまり、Ｖ視差画像は、縦方向が垂直方向の座標位置Ｖ、横方向が座標位置Ｖにおける視差値で表わされる画像である。

上面画像変換の場合、画像取得部１２１は、センシング部１１１により異なる時刻に取得されて上面画像に変換された少なくとも２つの画像間の不一致を表す差分画像を計算する機能も有する。既知の方法をこの差分計算に適用することができる。これには、これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算が含まれる。

（路面３Ｄ情報取得部）
路面３Ｄ情報取得部１３１は、画像取得部１２１により作成された視差画像に基づいて、路面およびその周辺（歩道／段差／道路端）の３次元表面特性／形状（高さ、距離、傾斜など）を推定する機能を有する。ここで、表面高さは、事前に定義された平面に対する表面／路面の高さ位置を指し、当該画像処理装置を有する車両に対して深さ方向の対応する範囲ごとに推定される高さ位置を指す。

表面特性推定（この場合は路面高さ）の処理例は次のとおりである。

最初に、路面が通常存在する（換言すると、路面候補となる）視差画像の範囲（領域）を設定する。領域を設定する方法には、とりわけ、あらかじめ推定された路面位置の使用、領域設定のための参照としてのカメラの無限遠点の使用、有効な路面データとしての定義された視差範囲の使用、路面エリアを定義するための台形形状の設定、路面形状を定義するための検出されたレーンマーキングの使用が含まれ得る。次のステップは、有効で路面候補領域に含まれている視差値の抽出を実行することである。データ抽出中に、利用可能な路面視差データは、可能性のある障害物データから分離される。路面視差データを残りの視差値から分離する方法には、これに限定されるものではないが、とりわけ、路面に最も近い位置を推定するためのあらかじめ検出された障害物位置データの使用、視差値が垂直方向にカメラの無限遠点まで徐々に減少することを確認するために、あらかじめ決定された閾値と垂直方向の視差値の比較が含まれる。

次のステップは、路面候補となる視差データをＶ視差空間（垂直方向の座標位置Ｖ、横軸方向の視差値）に投影し、各路面候補の視差値の頻度を表すヒストグラム画像を作成することである。

ここから、所与の範囲で利用可能なデータ量に基づいて、垂直方向における各視差値ごとに代表値を選択し、路面を記述するデータ量を減らすことができる。

次のステップは、Ｖ視差の代表データにおいて高いヒストグラム頻度を有する画素近傍を通る真っ直ぐなライン（表面ライン）を推定することである。ここで推定されるラインは、曲線、一組の直線、または一組の曲線でもあり得ることに留意されたい。

次のステップでは、前のステップで推定された路面ラインを入力として受け取り、路面高さ位置を算出する。

（路面３Ｄ情報管理部）
路面３Ｄ情報管理部１４１は、路面３Ｄ情報取得部１３１により推定された３次元表面特性／形状を路面３Ｄ情報の形態で格納（記憶）する機能を有する。

装置構成に応じて、路面３Ｄ情報を格納する方法は、装置構成および／または当該画像処理装置が搭載された自車両の現在の状態に基づいて、各処理周期で格納されるデータ量（例えば、深さ方向の範囲の半分）、格納する路面３Ｄ情報の距離範囲（例えば、自車から最大２５ｍまで）、および格納処理が実行される間隔（例えば、自車速度が高いときは各５０ｍｓ）で制御することができる。路面３Ｄ情報データを格納する他の方法／構成も実装できる。

路面３Ｄ情報管理部１４１は、車両の経時的な動き（移動量）および路面３Ｄ情報が格納される各時刻のカメラ姿勢（向き）を使用して、以前の期間に格納された路面３Ｄ情報を現在時刻に変換（平行移動／回転）することにより、以前の期間に格納された路面３Ｄ情報を現在時刻に更新する機能も有する。このようにして、変換された３次元情報が、当該画像処理装置が搭載された自車両の位置に関連するので、全ての格納された路面３Ｄ情報を現在時刻で使用することができる。

すなわち、路面３Ｄ情報管理部１４１は、路面３Ｄ情報取得部１３１により時系列で取得された路面３Ｄ情報（取得した時点での車両の位置およびカメラの向きを基準とした路面３Ｄ情報）を記憶する記憶部１８１と、以前の時刻と現在の時刻との間の車両の移動量と、現在の時刻のカメラの向きに基づき、以前の時刻の車両の位置およびカメラの向きを基準とした路面３Ｄ情報を、現在の時刻の車両の位置およびカメラの向きを基準とした路面３Ｄ情報に変換する座標変換部１９１と、を備えている（詳細は後で説明）。

（障害物検出部）
障害物検出部１５１は、画像取得部１２１により作成された画像を使用し、これに限定されるものではないが、差分画像を使用して、点（画素）間の距離を考慮した既知のクラスタリング手法を使用することで（例えば、K-meansアルゴリズム）、互いに近接していて、路面上の対象障害物を表す可能性がある差分画素のクラスタを作成する方法を使用して、画像に映る３次元物体を検出し、その位置を算出する機能を有する。なお、本明細書において、「障害物検出」は、少なくとも次のタスクを実行する処理を指す。対象物体検出（画像空間内の位置）、対象物体識別（例えば、自動車／車両、二輪車、自転車、歩行者、ポールなど）。

（障害物測距部）
障害物測距部１６１は、カメラ姿勢パラメータを用いた幾何学的計算に依存する単眼ベースの方法と、路面３Ｄ情報管理部１４１により管理される路面３Ｄ情報（詳しくは、変換された以前の時刻に取得された路面３Ｄ情報と、現在の時刻に取得された路面３Ｄ情報）を用いた方法とを組み合わせて使用することで、（当該画像処理装置が搭載された）自車両から障害物検出部１５１により検出された障害物の１つまたは複数までの距離を測定し、対象物体の速度／速さの計算を可能にする３次元空間内の自車両から対象物までの距離測定値を取得する機能を有する。使用例としては、（ただしこれに限定されるものではないが）両方の方法の結果からの平均距離測定、両方の方法の結果からの距離測定の加重平均（利用可能な路面３Ｄ情報の量に基づいて、各方法の結果のための重みは、事前に決定されるか、リアルタイムで調整される）（デフォルトの重みは各方法で等しい）、信頼性の指標として路面３Ｄ情報を使用したエラー率計算を伴う単眼ベースの方法を使用した距離測定、信頼性の指標として単眼ベースを使用したエラー率計算を伴う路面３Ｄ情報方法を使用した距離測定が、とりあけある。

さらに、装置構成および／または現在のシステム状態（いずれかの方法に関連する処理の停止／ギブアップ／エラー）に応じて、上述の方法を必要に応じて個別に使用できる。

（警報および制御アプリケーション部）
警報および制御アプリケーション部１７１は、障害物検出部１５１により認識された障害物および障害物測距部１６１により得られた結果に従って、当該画像処理装置が搭載された車両により実行される警報ルーチン（運転者への聴覚的または視覚的警報メッセージ）または制御アプリケーションを決定する機能を有する。

ここで、画像処理装置１１０が車両Ｖ１の周囲を監視するためのシステムとして適用される場合は、図２（ａ）、図２（ｂ）および図２（ｃ）を参照することによって説明される。図２（ａ）、図２（ｂ）および図２（ｃ）の上段は、車両Ｖ１が交差点で左折するシナリオを上面図で示しており、図２（ａ）、図２（ｂ）および図２（ｃ）は、異なる期間に交差点で左折に向かって移動する同じ車両Ｖ１を示している。図２（ａ）は、車両Ｖ１が交差点で左折している最も古い時刻（ｔ－ａ）、図２（ｃ）は、車両Ｖ１が交差点で左折している現在の時刻（ｔ）、図２（ｂ）は、車両Ｖ１が交差点で左折している時刻（ｔ－ａ）と時刻（ｔ）の間の時刻（ｔ－ｂ）である。図２（ａ）、図２（ｂ）および図２（ｃ）の下段は、画像取得部１２１により取得された画像から見たのと同じシナリオを示しており、ステレオ領域ＳＲ１は、センシング部１１１に対応する両方のカメラセンサから受信した画像信号が重なり、したがって、視差画像を計算して、路面３Ｄ情報取得部１３１により算出される路面３Ｄ情報を取得するために使用することができる領域を指し、単眼領域ＭＲ１および単眼領域ＭＲ２は、センシング部１１１に対応する両方のカメラセンサから受信した画像信号が重ならず、したがって、障害物検出部１５１による障害物検出のために使用することができる単眼画像のみが利用可能である領域を指す。

図２（ａ）に記載された期間（ｔ－ａ）について、車両Ｖ１は、交差点に向かって前方に横断しており、この時点で、歩道上の歩行者Ｐ１は、車両Ｖ１と同じ方向に移動している。時刻（ｔ－ａ）において、路面３Ｄ情報ＲＩ０１は、路面３Ｄ情報取得部１３１によりステレオ領域ＳＲ１から取得され（歩行者Ｐ１のデータを除去する）、その後、さらなる処理のために路面３Ｄ情報管理部１４１により格納される。この時点で、歩行者Ｐ２は、物体Ｑ１の後方に隠れている（カメラの視野外に存在して画像には映らない）。

図２（ｂ）に記載された期間（ｔ－ｂ）について、車両Ｖ１は、依然として交差点に向かって前方に横断しており、この時点で、歩道上の歩行者Ｐ１もまた、依然として車両Ｖ１と同じ方向に移動している。時刻（ｔ－ｂ）において、路面３Ｄ情報ＲＩ０２は、路面３Ｄ情報取得部１３１によりステレオ領域ＳＲ１から取得され（歩行者Ｐ１のデータを除去する）、さらなる処理のために路面３Ｄ情報管理部１４１により格納される。次いで、すでに格納されている路面３Ｄ情報ＲＩ０１は、時刻（ｔ－ａ）から時刻（ｔ－ｂ）までの車両の動き（移動量）と、時刻（ｔ－ａ）および時刻（ｔ－ｂ）でのカメラ姿勢（向き）を使用して、現在の時刻（ｔ－ｂ）に変換（平行移動／回転）される。路面３Ｄ情報が更新された後、当該画像処理装置により格納される全ての路面３Ｄ情報は、時刻（ｔ－ｂ）に格納される路面３Ｄ情報と同じ時間および空間にあり、したがって車両Ｖ１の位置に関連しているはずである。この時点で、歩行者Ｐ２もまた、依然として物体Ｑ１の後方に隠れている（カメラの視野外に存在して画像には映らない）。

図２（ｃ）に記載された期間（ｔ）について、車両Ｖ１は、交差点で左折しており、この時点で、歩道上の対象歩行者Ｐ２は、単眼領域ＭＲ１内で障害物検出部１５１により検出され、歩道上の歩行者Ｐ１は、車両Ｖ１から離れて移動し続けている。時刻（ｔ）において、路面３Ｄ情報ＲＩ０３は、路面３Ｄ情報取得部１３１によりステレオ領域ＳＲ１から取得され、さらなる処理のために路面３Ｄ情報管理部１４１により格納される。次いで、すでに格納されている路面３Ｄ情報ＲＩ０１およびＲＩ０２は、時刻（ｔ－ｂ）から時刻（ｔ）までの車両の動き（移動量）と、時刻（ｔ－ｂ）および時刻（ｔ）でのカメラ姿勢（向き）を使用して、現在の時刻（ｔ）に変換（平行移動／回転）される。路面３Ｄ情報が更新された後、当該画像処理装置により格納される全ての路面３Ｄ情報は、時刻（ｔ）に格納される路面３Ｄ情報と同じ時間および空間にあり、したがって車両Ｖ１の位置に関連しているはずである。期間（ｔ）において、格納されている路面３Ｄ情報ＲＩ０１、ＲＩ０２、およびＲＩ０３は、障害物測距部１６１により使用され、カメラ姿勢パラメータを用いる幾何学的計算に依存する単眼ベースの方法とともに、（単眼領域ＭＲ１内で障害物検出部１５１により検出された）対象歩行者Ｐ２のための距離測定値を取得することができる。対象歩行者Ｐ２のための路面３Ｄ情報の空間における基準位置は、当該画像処理装置の中心から対象歩行者Ｐ２の中心までの角度の形態で、車両Ｖ１に関連する位置に基づいて算出することができ、そして、算出された位置を使用して、路面３Ｄ情報から対応する距離データにアクセスできる。このようにして、車道エリア（走行路面）に対する地面高さの差異が存在する場合でも、歩道上の歩行者Ｐ２のための高精度距離測定を達成することができる。

図３は、路面３Ｄ情報取得部１３１の出力を使用して、路面３Ｄ情報管理部１４１により実行される例示的な処理を示すフローチャートである。なお、現在の時刻は（ｔ）、以前の時刻は（ｔ－ｎ）として記載するものとし、ここで、ｎは１からＮまでの数値である。

まず、ステップＳ１（現在時刻（ｔ）の路面３Ｄ情報を格納するステップ）は、路面３Ｄ情報取得部１３１により推定された現在時刻（ｔ）に対応する３次元表面特性／形状を検索し、（記憶部１８１に）格納する。

次に、ステップＳ２（路面３Ｄ情報に基づいてカメラ姿勢を推定するステップ）は、現在時刻（ｔ）に対応する格納された３次元表面特性／形状に基づいてカメラ姿勢パラメータを推定し、その結果を格納してさらなる処理のために使用する。カメラ姿勢推定の例としては、（ただしこれに限定されるものではないが）３次元表面を使用して、車両Ｖ１の前方の路面のＸ軸およびＹ軸における傾斜を算出し、結果として得られた路面傾斜を使用して、車両Ｖ１の前方の３次元表面に対する当該画像処理装置のピッチ角（チルト角）およびロール角を算出することができる（図４を併せて参照）。

次に、ステップＳ３（以前のデータの存在をチェックするステップ）は、以前に格納された路面３Ｄ情報の存在をチェックする。現在時刻（ｔ）に格納されている以外に路面３Ｄ情報がない場合、このステップで追加の処理は必要ない。以前の路面３Ｄ情報が格納されている場合（例えば、時刻（ｔ－ｎ））、処理はステップＳ４に進む。

次に、ステップＳ４（路面３Ｄ情報を現在時刻（ｔ）に変換するステップ）は、以前の期間に格納された路面３Ｄ情報を現在時刻（ｔ）に更新する。

この更新は、（ただしこれに限定されるものではないが）以前の時刻（ｔ－ｎ）から現在時刻（ｔ）までに発生する車両の動き（Ｘ位置およびＺ位置の差分）（移動量）の使用に基づくＸ軸およびＺ軸の平行移動ならびにＹ軸の回転（ヨー角）の形態で、そして、現在時刻（ｔ）のカメラ姿勢パラメータに基づくＸ軸の回転（チルト角）ならびにＺ軸の回転（ロール角）により補完されたアフィン変換を適用することで実行することができる（図４を併せて参照）。

最後に、処理は完了し、さらなる処理のために障害物測距部１６１に移行する。

上記の処理を採用することにより、全ての格納された路面３Ｄ情報は、現在時刻（ｔ）での自車両の位置に関連して、距離測定に使用することができる。さらに、更新処理により、この処理の終了時に、全ての格納された路面３Ｄデータが最新の現在時刻（ｔ）に更新されるため、将来の期間で結果として生じる変換は、各路面３Ｄ情報が格納された各期間にさかのぼる必要がない。

第１実施形態による当該画像処理装置の構成および動作は、上記で説明されている。第１実施形態による当該画像処理装置は、車道エリア（走行路面）に対する地面高さの差異が存在する可能性がある歩道エリアを含む可能性がある交差点で自車両が旋回しているとき、検出された障害物に対して正確な単眼ベースの距離測定を実行することを可能にし、システム全体の信頼性を向上させる。

［第２実施形態］
次に、本発明の第２実施形態による画像処理装置について説明する。

第２実施形態による画像処理装置の基本構成は、以下に説明する点で第１実施形態の構成とは異なる。

本第２実施形態の路面３Ｄ情報管理部１４１は、図５に記載されているように、格納された路面３Ｄ情報を削除する追加の機能を有する。

路面３Ｄ情報削除処理は、路面３Ｄ情報更新処理の前または後に行うことができるが、本例では、図５のフローチャートに記載されているように、削除処理は、更新処理の後に行われる。図５のフローチャートにおいて、ステップＳ５（路面３Ｄ情報を削除するステップ）は、装置構成に基づいて、対象となる格納された路面３Ｄ情報を（記憶部１８１から）削除する。路面３Ｄ情報を削除の対象とするそのような構成の例は、（ただしこれに限定されるものではないが）自車両の後方の特定の距離（例えば、車両の後方の３０メートル）に位置する路面３Ｄ情報、対応する現在時刻（ｔ）より前の特定の時刻（例えば、５分前）に格納された路面３Ｄ情報である。

すなわち、本第２実施形態の路面３Ｄ情報管理部１４１（の座標変換部１９１）は、変換された路面３Ｄ情報（変換される前の路面３Ｄ情報でも良い）のうち、現在の時刻時点で車両が通過した部分（現在の時刻の位置より手前の特定の距離、現在の時刻より前の特定の時刻などに対応）の路面３Ｄ情報を削除する（ステップＳ５）。

上記の処理を採用することにより、上記第１実施形態と同じ機能動作を維持しながら、当該画像処理装置内の格納された路面３Ｄ情報に必要なメモリ量を削減することが可能である。

第２実施形態による当該画像処理装置の構成および動作は、上記で説明されている。第２実施形態による当該画像処理装置は、車道エリア（走行路面）に対する地面高さの差異が存在する可能性がある歩道エリアを含む可能性がある交差点で自車両が旋回しているとき、検出された障害物に対して正確な単眼ベースの距離測定を実行することを可能にし、システム全体の信頼性を向上させ、格納された路面３Ｄ情報に必要なメモリ量を削減し、上記第１実施形態と同じ機能操作を維持する。

［第３実施形態］
次に、本発明の第３実施形態による画像処理装置について説明する。

第３実施形態による画像処理装置の基本構成は、以下に説明する点で第１実施形態の構成とは異なる。

本第３実施形態の路面３Ｄ情報管理部１４１は、格納された路面３Ｄ情報を削除する追加の機能を有し、路面３Ｄ情報更新処理は、図６に記載されているように、２つのステップ（Ｓ４Ａ、Ｓ４Ｂ）に分けられる。

路面３Ｄ情報更新処理のステップＳ４Ａは、（ただしこれに限定されるものではないが）以前の時刻（ｔ－ｎ）から現在時刻（ｔ）までに発生する車両の動き（Ｘ位置およびＺ位置の差分）（移動量）の使用に基づくＸ軸およびＺ軸の平行移動ならびにＹ軸の回転（ヨー角）の形態で、アフィン変換を適用することで、以前の期間に格納された路面３Ｄ情報を現在時刻（ｔ）に更新する。

路面３Ｄ情報更新処理のステップＳ４Ｂは、（ただしこれに限定されるものではないが）現在時刻（ｔ）のカメラ姿勢パラメータに基づくＸ軸の回転（チルト角）ならびにＺ軸の回転（ロール角）の形態で、ステップＳ４Ａにより実行された更新を補完するアフィン変換を適用することで、（削除処理後に記憶部１８１に残っている）以前の期間に格納された路面３Ｄ情報を現在時刻（ｔ）に更新する。

路面３Ｄ情報削除処理は、図６のフローチャートに記載されているように、路面３Ｄ情報更新処理のステップＳ４Ａと路面３Ｄ情報更新処理のステップＳ４Ｂとの間で行われる。図６のフローチャートにおいて、ステップＳ５（路面３Ｄ情報を削除するステップ）は、装置構成に基づいて、対象となる格納された路面３Ｄ情報を（記憶部１８１から）削除する。路面３Ｄ情報を削除の対象とするそのような構成の例は、（ただしこれに限定されるものではないが）自車両の後方の特定の距離（例えば、車両の後方の３０メートル）に位置する路面３Ｄ情報、対応する現在時刻（ｔ）より前の特定の時刻（例えば、５分前）に格納された路面３Ｄ情報である。

すなわち、本第３実施形態の路面３Ｄ情報管理部１４１（の座標変換部１９１）は、以前の時刻（第一の時刻）と現在の時刻（第二の時刻）との間の車両の移動量に基づき、以前の時刻の車両の位置を基準とした路面３Ｄ情報を、現在の時刻の車両の位置を基準とした路面３Ｄ情報に変換し（ステップＳ４Ａ）、変換された路面３Ｄ情報のうち、現在の時刻時点で車両が通過した部分（現在の時刻の位置より手前の特定の距離、現在の時刻より前の特定の時刻などに対応）の路面３Ｄ情報を削除し（ステップＳ５）、変換された路面３Ｄ情報のうち、現在の時刻時点で車両が通過していない部分の路面３Ｄ情報に対して、現在の時刻のカメラの向きに基づき、当該路面３Ｄ情報の座標空間の補正を行う（ステップＳ４Ｂ）。

上記の処理を採用することにより、上記第１実施形態と同じ機能動作を維持しながら、当該画像処理装置内の格納された路面３Ｄ情報に必要なメモリ量を削減するとともに、メモリに格納されたまま残る路面３Ｄ情報を更新するために必要な処理時間を短縮することが可能である。

第３実施形態による当該画像処理装置の構成および動作は、上記で説明されている。第３実施形態による当該画像処理装置は、車道エリア（走行路面）に対する地面高さの差異が存在する可能性がある歩道エリアを含む可能性がある交差点で自車両が旋回しているとき、検出された障害物に対して正確な単眼ベースの距離測定を実行することを可能にし、システム全体の信頼性を向上させ、格納された路面３Ｄ情報に必要なメモリ量を削減し、メモリに格納されたまま残る路面３Ｄ情報を更新するために必要な処理時間を短縮し、上記第１実施形態と同じ機能操作を維持する。

以上で説明したように、本実施形態による例えば図１に示される障害物検出および障害物認識のための画像処理装置１１０は、以下を備える。
当該装置が取り付けられているデバイスの前方のシーンの画像を取り込むことができる２つのセンシングユニット（カメラ）からなるセンシング部１１１：
センシング部１１１によって取得された画像を処理して、その特性（これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む）を調整し、両方のセンシングユニットから取得した画像を照合する３次元データ生成を実行し、各画素の視差を算出する画像取得部１２１：
画像取得部１２１によって算出された視差情報を用いて路面形状推定を実行し、深さ方向の各範囲の路面特性（高さ、距離など）を取得する路面３Ｄ情報取得部１３１：
路面３Ｄ情報取得部１３１によって算出された路面３Ｄ情報を記憶する機能（記憶部１８１）を実行するとともに、時間の経過に伴う車両の動き（移動量）を使用し、以前に記憶された路面３Ｄ情報を現在の時刻に変形／変換することによって路面３Ｄ情報を更新する機能（座標変換部１９１）を実行する路面３Ｄ情報管理部１４１：
画像取得部１２１によって取得された画像を使用して、物体検出および物体認識を実行する障害物検出部１５１：
カメラ姿勢パラメータを用いる幾何学的計算と、路面３Ｄ情報管理部１４１によって現在の時刻に更新された利用可能な路面３Ｄ情報の使用との組み合わせを使用して、自車両から障害物検出部１５１によって検出される障害物までの単眼ベースの３次元距離測定を実行する障害物測距部１６１：
少なくとも障害物検出部１５１および障害物測距部１６１からの出力を含み得る現在の条件に基づいて、当該装置が取り付けられているデバイスによって実行される警報ルーチンまたは制御アプリケーションを決定する警報および制御アプリケーション部１７１。

すなわち、本実施形態による画像処理装置１１０は、車両に搭載された複数のカメラから得られた画像に基づいて、路面の３次元構造を含む路面３Ｄ情報を検知する路面３Ｄ情報検知部（路面３Ｄ情報取得部１３１）と、時系列で取得された前記路面３Ｄ情報を記憶する記憶部１８１と、第一の時刻（ｔ－１）と第二の時刻（ｔ）との間の前記車両の移動量と、前記第二の時刻（ｔ）の前記カメラの向き（姿勢：チルト角、ロール角）に基づき、前記第一の時刻の前記車両の位置および前記カメラの向きを基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置および前記カメラの向きを基準とした路面３Ｄ情報に変換（平行移動／回転）する座標変換部１９１と、前記変換された前記第一の時刻（ｔ－１）に取得された路面３Ｄ情報と、前記第二の時刻（ｔ）に取得された路面３Ｄ情報と、に基づいて、前記複数のカメラのうち一つのカメラの視野領域（単眼領域）にある対象物までの距離を求める測距部（障害物測距部１６１）と、を有する。

また、前記座標変換部１９１は、前記第一の時刻（ｔ－１）と前記第二の時刻（ｔ）との間の前記車両の移動量に基づき、前記第一の時刻（ｔ－１）の前記車両の位置を基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置を基準とした路面３Ｄ情報に変換し、前記変換された路面３Ｄ情報のうち、前記第二の時刻（ｔ）時点で前記車両が通過した部分の路面３Ｄ情報を削除し、前記変換された路面３Ｄ情報のうち、前記第二の時刻（ｔ）時点で前記車両が通過していない部分の路面３Ｄ情報に対して、前記第二の時刻（ｔ）の前記カメラの向きに基づき、当該路面３Ｄ情報の座標空間の補正を行う。

この構成を採用することにより、障害物測距部１６１によって、単眼ベースの距離推定処理とともに、路面３Ｄ情報取得部１３１を介して記憶され、路面３Ｄ情報管理部１４１により現在時刻に変換された路面３Ｄ情報を使用することで、専用センサを追加することなく、距離測定を確実に実行することができ、障害物検出精度を維持し、自車両が歩道エリアを含む可能性のある交差点で旋回しているケースのサポートを追加することができる。

本実施形態によれば、車道エリアに対する地面高さの違いが存在する可能性のある歩道エリアを含む可能性のある交差点で自車両が旋回しているとき、検出される対象物のための正確な単眼ベースの距離測定を実行することが可能となり、システム全体の信頼性を高めることが可能となる。

現時点で考えられる本発明の好ましい実施形態が記載されているが、本実施形態に様々な変更を加えることができ、本発明の真の精神および範囲内の全ての変更は、添付の特許請求の範囲内に入ることが意図されている。

例えば、上述の実施形態では、車両の周囲を監視し、路面の３次元構造を含む路面３Ｄ情報を検知するセンサとして、カメラ（複数のカメラを使用したステレオカメラ）を使用しているが、カメラとともに、あるいは、カメラに代えて、ミリ波レーダやレーザレーダなどのセンサを使用しても良い。換言すると、本実施形態は、単眼カメラとミリ波レーダやレーザレーダなどのセンサとを組み合わせて使用する形態でも良い。ここで、例えば単眼カメラの視野領域（範囲）が広角で、センサの測定領域（範囲）を超えている構成でも良い。すなわち、本実施形態による画像処理装置１１０は、車両に搭載されたセンサから得られた情報に基づいて、路面の３次元構造を含む路面３Ｄ情報を検知する路面３Ｄ情報検知部と、時系列で取得された前記路面３Ｄ情報を記憶する記憶部と、第一の時刻（ｔ－１）と第二の時刻（ｔ）との間の前記車両の移動量と、前記第二の時刻（ｔ）の前記センサの向きに基づき、前記第一の時刻の前記車両の位置および前記センサの向きを基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置および前記センサの向きを基準とした路面３Ｄ情報に変換する座標変換部と、前記変換された前記第一の時刻（ｔ－１）に取得された路面３Ｄ情報と、前記第二の時刻（ｔ）に取得された路面３Ｄ情報と、に基づいて、前記車両に搭載された一つのカメラの視野領域にある対象物までの距離を求める測距部と、を有する構成でも良い。

また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１１０ 画像処理装置
１１１ センシング部
１２１ 画像取得部
１３１ 路面３Ｄ情報取得部（路面３Ｄ情報検知部）
１４１ 路面３Ｄ情報管理部
１５１ 障害物検出部
１６１ 障害物測距部（測距部）
１７１ 警報および制御アプリケーション部
１８１ 記憶部
１９１ 座標変換部

Claims (5)

1. 車両に搭載された複数のカメラから得られた画像に基づいて、路面の３次元構造を含む路面３Ｄ情報を検知する路面３Ｄ情報検知部と、
   時系列で取得された前記路面３Ｄ情報を記憶する記憶部と、
   第一の時刻（ｔ－１）と第二の時刻（ｔ）との間の前記車両の移動量と、前記第二の時刻（ｔ）の前記カメラの向きに基づき、前記第一の時刻の前記車両の位置および前記カメラの向きを基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置および前記カメラの向きを基準とした路面３Ｄ情報に変換する座標変換部と、
   前記変換された前記第一の時刻（ｔ－１）に取得された路面３Ｄ情報と、前記第二の時刻（ｔ）に取得された路面３Ｄ情報と、に基づいて、前記複数のカメラのうち一つのカメラの視野領域にある対象物までの距離を求める測距部と、を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記座標変換部は、前記第一の時刻（ｔ－１）と前記第二の時刻（ｔ）との間の前記車両の移動量に基づき、前記第一の時刻（ｔ－１）の前記車両の位置を基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置を基準とした路面３Ｄ情報に変換し、前記変換された路面３Ｄ情報のうち、前記第二の時刻（ｔ）時点で前記車両が通過した部分の路面３Ｄ情報を削除し、前記変換された路面３Ｄ情報のうち、前記第二の時刻（ｔ）時点で前記車両が通過していない部分の路面３Ｄ情報に対して、前記第二の時刻（ｔ）の前記カメラの向きに基づき、当該路面３Ｄ情報の座標空間の補正を行うことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記座標変換部は、前記変換された路面３Ｄ情報、もしくは、前記変換される前の路面３Ｄ情報のうち、前記第二の時刻（ｔ）時点で前記車両が通過した部分の路面３Ｄ情報を削除することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記測距部は、前記変換された前記第一の時刻（ｔ－１）に取得された路面３Ｄ情報と、前記第二の時刻（ｔ）に取得された路面３Ｄ情報と、前記複数のカメラのうち一つのカメラの視野領域にある対象物の前記画像上の位置検出結果と、に基づいて、前記対象物までの距離を求めることを特徴とする画像処理装置。
5. 車両に搭載されたセンサから得られた情報に基づいて、路面の３次元構造を含む路面３Ｄ情報を検知する路面３Ｄ情報検知部と、
   時系列で取得された前記路面３Ｄ情報を記憶する記憶部と、
   第一の時刻（ｔ－１）と第二の時刻（ｔ）との間の前記車両の移動量と、前記第二の時刻（ｔ）の前記センサの向きに基づき、前記第一の時刻の前記車両の位置および前記センサの向きを基準とした路面３Ｄ情報を、前記第二の時刻（ｔ）の前記車両の位置および前記センサの向きを基準とした路面３Ｄ情報に変換する座標変換部と、
   前記変換された前記第一の時刻（ｔ－１）に取得された路面３Ｄ情報と、前記第二の時刻（ｔ）に取得された路面３Ｄ情報と、に基づいて、前記車両に搭載された一つのカメラの視野領域にある対象物までの距離を求める測距部と、を有することを特徴とする画像処理装置。

Images