JP2022123153A - ステレオ画像処理装置及びステレオ画像処理方法 - Google Patents

Abstract

【課題】高解像度の撮影画像の一部について他の部分に比べて高解像度で視差情報を計算するに当たって領域の選択の妥当性の向上により高信頼性の視差情報を計算することができるステレオ画像処理装置を提供する。【解決手段】自動車と自動車の外界の障害物との距離を計算するステレオ画像処理装置において、自動車の外界について複数のカメラで連続的に撮影される撮影画像を保存する撮影画像メモリ２２と、自動車の操舵角情報及び車速情報の少なくとも一方を基に撮影画像上の領域毎の評価値を決定する領域評価部２５と、複数のカメラ１０でそれぞれ撮影された複数の最新画像について、領域評価部２５で決定された評価値が相対的に高い領域について高画素で視差計算し、領域評価部２５で決定された評価値が相対的に低い領域について低画素で視差計算する視差計算部２６とを備える。【選択図】図１

Description

本発明は、複数のカメラの撮影画像から視差を計算するステレオ画像処理装置及びステレオ画像処理方法に関する。

近年、予防安全技術の発展と自動車の自動運転の需要の高まりにより車外の状況を高精度に識別する技術が強く求められている。ステレオカメラは、撮影画像から得られる物体の形状や濃淡、視差情報から得られる物体の自動車からの距離等、豊富な情報が得られる点で特に需要が高い。このステレオカメラの用途拡大と自動運転への応用のためには、これまでよりも解像度の高いカメラを使用する必要がある。しかし、ステレオカメラは視差を計算するために必要な演算コストが非常に高く、単に高解像度のカメラを用いても従来の画像処理をそのまま適用したのではＡＥＢ等の制御で要求される時間内で演算が完遂できない。そのため高解像度な視差計算が必要な領域を撮影画像から抽出し、領域を絞って高解像度な視差計算を実行する必要がある。これに関し、特許文献１には、まず複数の低解像度画像を用いて計算した視差から必要な領域を抽出し、次に複数の高解像度画像を用いて必要な領域について正確な視差を計算することが記載されている。

特開平７－１０３７３４号公報

しかし、低解像度画像を用いて領域を抽出する方法では、領域の抽出段階における視差計算の解像度が低いことから、真に高解像度な視差計算が必要な領域が抽出できているのか信頼性の面で課題が存在する。低画素画像では小さく映る物体は正確に距離を計算できない。

本発明の目的は、高解像度の撮影画像の一部について他の部分に比べて高解像度で視差情報を計算するに当たって領域の選択の妥当性の向上により高信頼性の視差情報を計算できるステレオ画像処理装置及びステレオ画像処理方法を提供することにある。

上記目的を達成するために、本発明は、自動車と前記自動車の外界の障害物との距離を計算するステレオ画像処理装置であって、前記自動車の外界について複数のカメラで連続的に撮影される撮影画像を保存する撮影画像メモリと、前記自動車の操舵角情報及び車速情報の少なくとも一方を基に前記撮影画像上の領域毎の評価値を決定する領域評価部と、前記複数のカメラでそれぞれ撮影された複数の最新画像について、前記領域評価部で決定された評価値が相対的に高い領域について高画素で視差計算し、前記領域評価部で決定された評価値が相対的に低い領域について低画素で視差計算する視差計算部とを備える。

本発明によれば、高解像度の撮影画像の一部について他の部分に比べて高解像度で視差情報を計算するに当たって領域の選択の妥当性の向上により高信頼性の視差情報を計算することができる。

本発明の一実施形態に係るステレオ画像処理装置のブロック図 撮影画像上の領域毎の評価値についての第１評価部による計算方法の説明図 第１評価部で用いるリファレンスデータの一例の模式図 第２評価部で計算した推定視差画像の一例を模式的に表した図 第２評価部で用いるリファレンスデータの一例の模式図 評価値決定部における視差計算密度に関する領域毎の評価値の決定手順を表すフローチャート 第２評価部で用いるリファレンスデータの他の例の模式図

以下に図面を用いて本発明の実施の形態を説明する。

－ステレオ画像処理装置－
図１は本発明の一実施形態に係るステレオ画像処理装置のブロック図である。同図に示したステレオ画像処理装置は、カメラユニット１０と画像処理ユニット２０とを組み合わせたユニットであり、例えば自動車の運転室内においてルームミラーの裏側（前方を向いた面）に取り付けられてる。このステレオ画像処理装は、自車と外界（例えば自車の前方）の障害物との距離を計算し出力する。「自車」とは以下に説明するステレオ画像処理装置を搭載した自動車のことである。

－カメラユニット－
カメラユニット１０は複数のカメラを含んで構成されている。本実施形態では、左右に並べてステレオ画像処理装置に取り付けられた２つのカメラでカメラユニット１０が構成されているとする。２つのカメラの撮影画像では、自車から近距離にある物体ほど撮影画像上の位置が左右方向にずれる。このずれ量が視差であり、この視差を計算することで２つのカメラの位置関係が既知であることから自車から対象物体までの距離を計測することができる。

なお、本実施形態では２つのカメラでカメラユニット１０を構成した場合を例示したが、カメラユニット１０に３つ以上のカメラが含まれる構成としても良い。また、カメラユニット１０が自車の前方領域を撮影する構成を例示挙げて説明するが、左方領域、右方領域、或いは後方領域を撮影する構成であっても良い。本実施形態における２つのカメラの撮影画像の視差は左右方向にのみ発生し、上下方向には視差が発生しないようにしてある。

－画像処理ユニット－
画像処理ユニット２０は、インターフェースやＣＰＵ、ＲＡＭ、ＲＯＭ、メモリ、タイマーを含んで構成されたコンピュータである。この画像処理ユニット２０は、画像取得部２１、撮影画像メモリ２２、車両情報取得部２３、過去視差画像取得部２４、領域評価部２５、視差計算部２６、視差画像メモリ２７等の要素を含んで構成されている。画像取得部２１、撮影画像メモリ２２、車両情報取得部２３、過去視差画像取得部２４、領域評価部２５、視差計算部２６、視差画像メモリ２７は、機能を構成要素として模式的に表したものであり、インターフェースやＣＰＵ、メモリ等でそれぞれ適宜構成される。

－画像取得部－
画像取得部２１は、例えばカメラユニット１０の２台のカメラの撮像画像を入力するインターフェースである。各カメラが有線又は無線で画像取得部２１に接続されており、この画像取得部２１を介してカメラユニット１０で撮影された撮影画像が随時画像処理ユニット２０に入力される。

－撮影画像メモリ－
撮影画像メモリ２２は、ＨＤＤやＲＡＭ等のメモリで構成され、自車の外界（前方領域）についてカメラユニット１０の複数のカメラで連続的に撮影されて画像取得部２１に入力される撮影画像を保存する。撮影画像メモリ２２には、２つのカメラで同時撮影された一対の撮影画像が、これらカメラのフレームレートで逐次保存される。所定の記憶領域が一杯になったら、例えば古い撮影画像から順に新しい撮影画像に上書きされていく。

－視差画像メモリ－
視差画像メモリ２７は、過去に視差計算部２６で計算された複数の視差画像を保存する（視差計算部２６で計算された視差画像が逐次保存されていく）。視差画像メモリ２７は撮影画像メモリ２２と同様にＨＤＤやＲＡＭ等のメモリで構成され、撮影画像メモリ２２と同一のメモリで兼ねても良いし、異なるメモリに分けても良い。所定の記憶領域が一杯になったら、例えば古い視差画像から順に新しい視差画像に上書きされていく。

－車両情報取得部－
車両情報取得部２３は、例えば自車に搭載されたＣＡＮ（Controller Area Network）から自車の車両情報を入力するインターフェースである。「車両情報」とは、車速や操舵角、水平に対する自車の傾斜角等、自車に搭載された各種センサで随時検出される操作情報や姿勢情報等のことである。ＣＡＮが有線又は無線で画像取得部２１に接続されており、本実施形態では、車両情報取得部２３を介してＣＡＮから画像処理ユニット２０に少なくとも車速情報と操舵角情報が車両情報として入力される。車両情報取得部２３は、入力された車両情報をＲＡＭ等のメモリに逐次記録すると共に、所定のタイミングで領域評価部２５の第１評価部２５Ａ（後述）及び第２評価部２５Ｂ（後述）に出力する。

－過去視差画像取得部－
過去視差画像取得部２４は、視差計算部２６で過去に計算された視差画像を視差画像メモリ２７から入力するインターフェースである。この過去視差画像取得部２４は、最新の一定期間分の視差画像を視差画像メモリ２７から読み込んで領域評価部２５の第２評価部２５Ｂ（後述）に出力する。「最新の一定期間」とは、現在時刻から所定時間だけ遡った指定時刻を始期、現在時刻を終期とする期間であり、所定時間は設定値である。

－領域評価部－
領域評価部２５は、自車の操舵角情報及び車速情報の少なくとも一方（本実施形態では双方）を基に撮影画像上の領域毎の評価値を決定する処理を構成要素として模式的に表したものであり、例えばＣＰＵにより実行される。本実施形態では、撮影画像上の領域を升目状に区分した場合を例に挙げて説明する（図２）。領域評価部２５は、第１評価部２５Ａ、第２評価部２５Ｂ、評価値決定部２５Ｃを含んで構成されている。第１評価部２５Ａ、第２評価部２５Ｂ、評価値決定部２５Ｃは機能を構成要素として模式的に表したものであり、それぞれ例えばＣＰＵにより実行される。

・第１評価部
第１評価部２５Ａは、２つのカメラのうちの１つ（例えば左のカメラ）で撮影された最新画像を撮影画像メモリ２２から読み込み、車両情報取得部２３から入力された現在の操舵角情報を基に最新画像上で自車の予想進路を演算する。加えて、この第１評価部２５Ａは、最新画像上の予想進路上で自車から相対的に遠距離にある最新画像上の領域に高い評価値を付ける。「最新画像」とは、撮影時刻が最も新しい撮影画像であり、実質的には現在時刻の撮影画像を意図している。第１評価部２５Ａについて以下に詳しく説明する。

図２は撮影画像上の領域毎の評価値についての第１評価部２５Ａによる計算方法の説明図である。同図は、カメラユニット１０に含まれる複数のカメラのうちの１つ（例えば左のカメラ）により自車の走行中に撮影された最新画像（現在の撮影画像）の例を模式的に表している。この最新画像には、自車は緩やかにカーブした左右の車線Ｌ１，Ｌ２で画定された道路に沿って走行する先行車Ｃ１が映っている。左側の車線Ｌ１の付近には歩行者Ｐが居り、この歩行者Ｐが左側の車線Ｌ１を超えて道路に進入し、自車の走行する道路を横切る方向に移動する様子が映っている。また、車線Ｌ１，Ｌ２に沿って遠方から接近してくる対向車Ｃ２や道路の右側（車線Ｌ２の右側）に設置されたポールＸが設置されている。

カメラユニット１０は自車に対して姿勢が固定されているので、カメラパラメータと操舵角情報から簡易的に自車の予想進路Ｒを求めることができる。正確に自車の予想進路Ｒを求める場合、車線Ｌ１，Ｌ２を画像から識別しその曲率から求めることもできる。

例えば図２において矢印で示したように予想進路Ｒが設定されたら、第１評価部２５Ａは視差計算密度の評価値として、予想進路Ｒの始点側（画面上の下側）の領域のスコア（数値）を相対的に低くし、終点側（画面上の上側）の領域のスコアを相対的に高く付ける。一例としては、予想進路Ｒに沿って始点から終点に向かうに連れてスコアが高くなるようにリファレンスデータ（図３）を基に各領域にスコアを付ける。リファレンスデータは予め設定されてＲＯＭ等に保存されており、ＲＯＭから第１評価部２５Ａ（ＣＰＵ）に読み込まれる。このスコアについて閾値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）を設定しておき、例えばスコアがＳ１未満の領域は低密度領域、Ｓ１以上Ｓ２未満の領域は中密度領域、Ｓ２以上の領域は高密度領域として評価値が区分される。本実施形態では「低密度領域」「中密度領域」「高密度領域」の３つに分けて各領域の評価値を設定する場合を例示しているが、領域の区分は２つでも良いし４つ以上の領域に分けるようにしても良い。

・第２評価部
第２評価部２５Ｂは、視差画像メモリ２７から読み込んだ最新の一定期間分の視差画像と車速情報とから現在の推定視差画像を作成し、この推定視差画像を基に領域頃に視差計算密度決定の指標となる評価値を判定する。この第２評価部２５Ｂによって高い評価値が付けられる領域は、推定視差画像上で相対的に小さく映った物体を含む領域である。第２評価部２５Ｂは、後に視差計算部２６で最新画像から視差計算するために、最新画像で捉えられた物体（濃淡で識別される物体）と自車との距離（視差）を評価判定の基礎の１つとする。但し、最新画像を用いて視差計算するために、その最新画像に映った物体の距離をリアルタイムで計算することは物理的に不可能である。そこで、第２評価部２５Ｂでは、過去視差画像取得部２４を介して視差画像メモリ２７から最新の一定期間分の複数の視差画像（直近の過去視差画像）を読み込み、これら複数の視差画像を用いて車速情報を加味して現在時刻の推定視差画像を計算する。そして、この推定視差画像に基づいて各領域の評価値を計算する。なお、推定視差画像は過去の視差画像から推定演算した現在の視差画像であり、最新画像と対応関係にあることが推定される。

過去の視差画像は視差計算部２６で計算された画像であり、領域評価部２５の評価に従って領域毎に異なる計算密度で計算されている。過去の視差画像には、こうした領域毎の計算密度の情報の他、画像に映った種々の物体（車線、路肩、先行車、対向車、歩行者、街路樹等）の自車からの距離、これら物体の画像上の大きさの情報が含まれている。これらの直近の一定期間分の視差画像と車速情報とから現在の推定視差画像が得られる。

図４は第２評価部２５Ｂで計算した推定視差画像の一例を模式的に表した図である。第２評価部２５Ｂは、推定視差画像から高密度に視差計算すべき物体を識別し、高密度に識別すべき物体を含む領域に相対的に高いスコアを付ける。ここで高密度に視差計算すべきと判断される物体は、画像上に小さく映った物体である。このような物体については、低画素画像を用いて低密度で視差計算しても精度良く視差を計算することができないためである。例えば現実には決して小さくない物体であっても、遠方にあるうちは画像には小さくしか映らないものがある。自車との相対速度によってはこのようなものが瞬く間に自車に接近することもあり得るが、このような物体についても遠方にあるうちから子細に測距することができる。反対に大きく映った物体であれば低画素画像を用いて低密度で視差計算しても十分な精度で視差を計算することができるため、高画素画像を用いて高密度で視差計算する必要がない。

一例として、第２評価部２５Ｂは、図５に示したようなリファレンスデータを基に各領域にスコアを付ける。同図に示したリファレンスデータは、自車からの距離が近いほどスコアが高くなる一方で、画像上の大きさが小さい物体ほどスコアが高くなるように予め作成されてＲＯＭ等に保存されており、ＲＯＭから第２評価部２５Ｂ（ＣＰＵ）に読み込まれる。同図のリファレンスデータでは、横軸が自車からの距離、縦軸が画像上の大きさを表す座標系（第１象限）が、閾値を表す曲線γ１，γ２で区分されている。曲線γ１，γ２は、例えば反比例曲線とすることができる。スコアについては、図５中で原点Ｏからの距離が近い座標ほど高い。曲線γ１よりも原点Ｏに近い領域が高密度領域、曲線γ２よりも原点Ｏから遠い領域が低密度領域、曲線γ１，γ２で挟まれた領域が中密度領域である。例えば自車からの距離が同値（＝α）の物体であっても、この物体を含む領域の評価値は画像上の大きさで異なってくる。同じ距離αの物体でも、画像上の大きさが大きければ、高密度な視差計算を要しないため低密度領域と判定される。反対に、画像上の大きさが小さければ、高密度な視差計算を要するため高密度領域と判定される。

見方を変えれば、画像上の大きさが同じ（＝β１）物体であっても、この物体を含む領域の評価値は自車からの距離で変化する。同じ大きさβ１の物体でも、自車からの距離が遠ければ低密度領域と判定され、近ければ高密度領域と判定される。

いずれにしても、推定視差画像上の大きさが小さい物体ほど高密度な視差計算が必要であると判定され、例えば画像上の大きさが一定値（＝β２）よりも小さい物体に関しては、自車からの距離に関係なく無条件に高密度領域に区分される。

図５においても、「低密度領域」「中密度領域」「高密度領域」の３つに分けて各領域の評価値を設定する場合を例示しているが、領域の区分は２つでも良いし４つ以上の領域に分けるようにしても良い。

・評価値決定部
評価値決定部２５Ｃは、第１評価部２５Ａと第２評価部２５Ｂの評価値を基に画像の領域毎の評価値を決定する。特に本実施形態において、評価値決定部２５Ｃは、各領域の計算容量の合計値が設定値以下に収まるように領域毎の評価値を決定する。

図６は評価値決定部２５Ｃにおける視差計算密度に関する領域毎の評価値の決定手順を表すフローチャートである。第１評価部２５Ａ及び第２評価部２５Ｂで評価値が計算されたら、同図に示したように、評価値決定部２５Ｃは、最新画像を用いて視差計算をするに当たり、最新画像上の各領域について評価値を設定する（ステップＳ１１）。評価値の設定方法は、例えば最大値選択が例示できる。第１評価部２５Ａによる最新画像上の評価値と第２評価部２５Ｂによる推定視差画像上の評価値とが異なる領域について高い方の評価値を選択する方法である。例えば第１評価部２５Ａで高密度領域、第２評価部２５Ｂで中密度領域と判定されている領域については、最新画像上の対応領域を高密度領域に設定する。第１評価部２５Ａと第２評価部２５Ｂの評価値が等しい領域については、その共通の評価値を選択する。例えば第１評価部２５Ａと第２評価部２５Ｂの双方で低密度領域と判定されている領域については、最新画像上の対応領域を低密度領域に設定する。

最新画像上の各領域の評価値を設定したら、評価値決定部２５Ｃは、設定に基づいた視差計算の計算容量を計算し（ステップＳ１２）、計算した計算容量が予め設定した設定値以下であるかを判定する（ステップＳ１３）。仮に計算容量が設定を超えている場合、各領域の評価値を再設定し（ステップＳ１４）、ステップＳ１２に手順を戻す。ステップＳ１４の手順では、例えば領域毎の評価値の設定方法を最小値選択に切り換えたり、領域毎のスコアの平均値で評価を区分したりすることが例示できる。ステップＳ１４を経てステップＳ１３で再び判定が満たされなければ、例えば第２評価部２５Ｂにおいて中密度領域又は高密度領域と判定された領域について、自車からの距離が遠い領域から順に、ステップＳ１４の手順の度に評価値を下げていくことが考えられる。ステップＳ１２－Ｓ１４の繰り返し数を抑える上では、ステップＳ１１の処理に最小値選択を採用することもできる。

ステップＳ１３で計算容量が設定容量以下であると判定したら、評価値決定部２５Ｃはその時点の設定で各領域の評価値を決定し（ステップＳ１５）、ＲＡＭ等のメモリと共に視差計算部２６に出力して図６のフローチャートを終了する。

以上のように、領域評価部２５により撮影画像上の各領域における視差計算の計算密度が状況に応じて逐次変更される。

－視差計算部－
視差計算部２６は、複数のカメラでそれぞれ同時撮影された複数の最新画像について、領域評価部２５で決定された評価値が相対的に高い領域について高画素で視差計算し、領域評価部２５で決定された評価値が相対的に低い領域について低画素で視差計算する。計算した視差画像は、視差画像メモリ２７に保存されると共に、運転者に対する警告動作（ブザーによる警告音、モニタによる警告表示等）や自動ブレーキ等の車両制御の基礎情報としてＣＡＮを介して自車の車載コンピュータ（不図示）に出力される。

視差計算部２６においては、視差を計算するに当たり、例えば左側のカメラによる撮影画像において任意の座標（ａ，ｂ）の注目点を含む所定サイズ（例えば８×８画素）の領域を設定する。以降、この所定サイズの領域を「窓」と呼ぶ。同時に、右側のカメラによる撮影画像においても、左の撮影画像内に設定した窓と撮影画像上の位置及びサイズが等しい窓を設定する。視差計算部２６は、左右の撮影画像について各窓のＳＡＤ（Sum of Absolute DIfference）を計算する。ＳＡＤは以下の式で与えられる。

但し、ＩＬ（ｘ，ｙ）は左側のカメラによる撮影画像の窓内の座標（ａ＋ｉ，ｂ＋ｊ）の画素の濃淡値、ＩＲ（ｘ，ｙ）は右側のカメラによる撮影画像の窓内の座標（ａ＋ｉ＋ｃ，ｂ＋ｊ）での濃淡値である。ｃは左側のカメラによる撮影画像上の窓に対する右側のカメラによる撮影画像上の窓の位置の左右方向の位置ずれ量である（本実施形態では、上下方向の位置ずれ量は０となるように左右のカメラが設置されているとする）。Ｗｘ，Ｗｙは窓の幅（左右方向のサイズ）と高さ（上下方向のサイズ）である。

上の式から、左右のカメラによる撮影画像上の窓内の対応画素の濃淡値の差（絶対値）の合計（＝ＳＡＤ）が算出される。視差計算部２６は０から設定値（＝探索数ｃｍａｘ）の範囲でｃの値を順次変えて（つまり右側のカメラによる撮影画像上の窓を順次ずらして）ＳＡＤの計算を繰り返し、ＳＡＤ値が最小となるずれ量ｃを探索する。ＳＡＤ値が最小となる位置ずれ量ｃが注目点（ａ，ｂ）の視差である。

このような視差を撮影画像の全画素について実行することで子細な視差情報が得られるが、視差計算部２６では、領域評価部２５の評価に従って撮影画像内の領域毎に視差の計算密度に差を付ける。本実施形態では、領域評価部２５において低密度領域と判定した領域については、例えば４×４（＝１６）画素のブロックで領域を区画し、各ブロックから抽出した１画素（例えば各ブロックの左上の画素）についてのみ上記の視差計算を実行する。中密度領域と判定した領域については、例えば２×２（＝４）画素のブロックで領域を区画し、各ブロックから抽出した１画素（例えば各ブロックの左上の画素）についてのみ視差計算を実行する。高密度領域と判定した領域については、全画素について視差計算を実行する（言い換えれば、ブロックのサイズが１×１＝１画素）。この場合、高密度領域に対して、中密度領域の計算密度は１／４であり、低密度領域の計算密度は１／１６である。

なお、ブロックのサイズは設定であって変更可能である。但し、低画素領域のブロックが中画素領域のブロックより大きいことが前提である。また、高画素領域は必ずしも全画素について視差計算をする構成とする必要はなく、他の領域に比べて視差の計算密度が高く（ブロックのサイズが小さく）、所望の計算密度が確保できていれば良い。

－効果－
（１）本実施形態においては、自車の車両情報を基に撮影画像上の領域毎の評価値を決定する。粗分析ように画素を間引いた低画素画像で領域分析する場合と異なり、画像上に小さく映った物体についても状況に応じて高解像度で正確に自車との距離を計算することができる。高解像度の撮影画像の一部について他の部分に比べて高解像度で視差情報を計算するに当たって領域の選択の妥当性の向上により高信頼性の視差情報を計算できる。然るべき物体を選択的に高密度で視差計算し、必要性の低い物体については視差計算の密度を下げることで画像全体についての計算容量を抑えることができ、応答性が向上する。

（２）自車の進路上或いは進路付近に存在する障害物については視差情報の精度が要求される。しかし、遠方の障害物については現実の大きさによっては画像に小さくしか映らない場合がある。そこで、本実施形態では、撮影画像の領域毎の評価値を計算するに当たり、操舵角情報を基に１枚の最新画像上で自車の予想進路を演算し、予想進路上で自車から相対的に遠距離にある領域に高い評価値を付ける。これにより進路上又は進路付近の物体について正確に視差を計算することができ、高信頼性の視差情報を計算することができる。

（３）また、最新の一定期間分の視差画像と車速情報とから現在の推定視差画像を作成し、推定視差画像上で相対的に小さく映った物体を含む領域に高い評価値を付ける。このように直近の視差画像と車速情報から視差情報を含んだ現在の視差画像を推定計算することで、画像に映った各物体について自車からの距離を知ることができる。自車から近距離にある物体について視差の計算密度を高く設定できることは勿論、画像上に小さく映った物体については自車からの距離が遠くても高い計算密度の視差情報が得られ、高信頼性の視差情報を計算することができる。

（４）特に本実施形態では第１評価部２５Ａによる予想進路に基づく評価値、及び第２評価部２５Ｂにより画像上の大きさに基づく評価値から、領域毎の評価値を総合的に決定する。この場合、いずれか一方の評価方法では真に妥当な評価がされない状況であっても、双方の評価を総合して評価値を最終決定することで各領域について（又は撮影画像全体について全体的に）より妥当な評価値を得ることができる。ひいては高信頼性の視差情報を計算することができる。

（５）また、各領域の計算容量の合計値が設定値以下に収まるように領域毎の評価値を決定することで全体的な計算負荷を安定的に抑え、応答性良く高信頼性の視差情報を計算することができる。

－変形例－
図７は第２評価部で用いるリファレンスデータの他の例の模式図である。上記実施形態では、推定視差画像を用いて画像上における物体の大きさに注目して評価値を計算する例を説明したが、例えば第２評価部２５Ｂで一定期間分の視差の時間変化が相対的に大きい領域に高い評価値が付けられるようにしても良い。第２評価部２５Ｂにおいては、画像上の物体の大きさ、視差の時間変化の２つの観点の評価方法のうちいずれか一方を採用する構成としても良いし、双方を採用する構成としても良い。

一例としては、図７に示したように、視差の時間変化が大きくなるに連れてスコアが高くなるようなリファレンスデータをＲＯＭ等に保存しておく。そして、第２評価部２５Ｂにおいて、直近の複数の視差画像から求めた各領域（或いは物体）についての視差の時間変化と読み込んだリファレンスデータを基に、各領域（或いは物体）についてスコアを計算する。このスコアについて閾値ε１，ε２（ε１＜ε２）を設定しておき、例えばスコアがε１未満の領域は低密度領域、ε１以上ε２未満の領域は中密度領域、ε２以上の領域は高密度領域として評価値が区分されるようにする。

この例の場合、自車との相対速度が大きな物体（主に自車に高速で接近してくる物体）を含む領域について高精度な視差情報を得ることができる。特に画像上の大きさが小さい物体に高スコアを付ける形態と組み合わせれば、遠方から高速で接近してくる物体を精度良く識別し易い。

なお、上記の実施形態及び変形例においては、撮影画像の領域を升目状に区分した場合を例に挙げて説明したが、領域の区分の仕方については適宜変更可能である。例えば撮影画像に映る物体（図２の先行車Ｃ１等）そのものを評価領域とし、物体そのものの評価値を計算するようにしても良い。

また、吹雪や濃霧、フロントガラスの汚損等によるホワイトアウト、トンネル進入時の暗転等によって撮影画像のコントラストが極端に低下した場合、撮影画像の各領域の評価値を初期値に戻す機能を加えることもできる。この場合、例えば障害物のない水平地を想定した模擬画像についての各領域の評価値のデータを初期値としてメモリに格納しておき、評価値決定部２５Ｃがこのデータを読み込んで視差計算部２６に出力するようにする。

車両情報取得部２３で取得して領域評価部２５に入力する車両情報として車速情報と操舵角情報を例示したが、その他の車両情報も評価計算に適宜利用することができる。例えば自車が前傾しているか後傾しているかの傾斜情報は、その傾斜角に応じて予想進路等を画像上で上下方向にオフセットする等の処理に利用することができる。ヘッドライトの点灯及び消灯の情報は撮影画像上で照明されている領域と照明されていない領域を区別して撮影画像の輝度差を調整することに利用できる。また、ワイパーが撮影画像に映り込んで障害物として誤検知される可能性があるところ、これを防止するためにワイパーの動作情報も利用できる。また、自車に搭載された測位装置（例えばＧＰＳ）からの情報を入力し、現在値及びその周辺のデータと撮影画像を照合して道路の曲率や予想進路の計算に利用したり周囲の建築物の照合に使用したりすることもできる。

また、上記の実施形態及び変形例においては、領域評価部２５が第１評価部２５Ａ及び第２評価部２５Ｂの２つの評価部を備えた構成を例に挙げて説明したが、いずれか一方を省略した構成としても良い。その場合、必然的に評価値決定部２５Ｃも不要となる。また、評価値決定部２５Ｃにおいて、各領域の計算容量の合計値が設定値以下に収まるように領域毎の評価値を決定する場合を例に挙げて説明したが、この機能は省略可能である。図６のステップＳ１１で設定した評価値データをそのまま視差計算部２６に出力する構成とすることができる。

１０…カメラユニット、２２…撮影画像メモリ、２５…領域評価部、２５Ａ…第１評価部、２５Ｂ…第２評価部、２５Ｃ…評価値決定部、２６…視差計算部、２７…視差画像メモリ

Claims (7)

1. 自動車と前記自動車の外界の障害物との距離を計算するステレオ画像処理装置であって、
   前記自動車の外界について複数のカメラで連続的に撮影される撮影画像を保存する撮影画像メモリと、
   前記自動車の操舵角情報及び車速情報の少なくとも一方を基に前記撮影画像上の領域毎の評価値を決定する領域評価部と、
   前記複数のカメラでそれぞれ撮影された複数の最新画像について、前記領域評価部で決定された評価値が相対的に高い領域について高画素で視差計算し、前記領域評価部で決定された評価値が相対的に低い領域について低画素で視差計算する視差計算部と
   を備えたことを特徴とするステレオ画像処理装置。
2. 請求項１のステレオ画像処理装置において、前記領域評価部は、前記複数のカメラのうちの１つで撮影された最新画像を前記撮影画像メモリから読み込み、前記操舵角情報を基に前記最新画像上で前記自動車の予想進路を演算し、前記予想進路上で前記自動車から相対的に遠距離にある領域に高い評価値を付けることを特徴とするステレオ画像処理装置。
3. 請求項１のステレオ画像処理装置において、
   過去に計算された複数の視差画像を保存した視差画像メモリを備え、
   前記領域評価部は、前記視差画像メモリから読み込んだ最新の一定期間分の視差画像と前記車速情報とから現在の推定視差画像を作成し、前記推定視差画像上で相対的に小さく映った物体を含む領域に高い評価値を付けることを特徴とするステレオ画像処理装置。
4. 請求項１のステレオ画像処理装置において、
   過去に計算された複数の視差画像を保存した視差画像メモリを備え、
   前記領域評価部は、
   前記複数のカメラのうちの１つで撮影された最新画像を前記撮影画像メモリから読み込み、前記操舵角情報を基に前記最新画像上で前記自動車の予想進路を演算し、前記予想進路上で前記自動車から相対的に遠距離にある領域に高い評価値を付ける第１評価部と、
   前記視差画像メモリから読み込んだ最新の一定期間分の視差画像と前記車速情報とから現在の推定視差画像を作成し、前記推定視差画像上で相対的に小さく映った物体を含む領域に高い評価値を付ける第２評価部と、
   前記第１評価部と前記第２評価部の評価値を基に領域毎の評価値を決定する評価値決定部と
   を備えていることを特徴とするステレオ画像処理装置。
5. 請求項４のステレオ画像処理装置において、前記評価値決定部は、各領域の計算容量の合計値が設定値以下に収まるように領域毎の評価値を決定することを特徴とするステレオ画像処理装置。
6. 請求項４のステレオ画像処理装置において、前記第２評価部は、前記一定期間分の視差の時間変化が相対的に大きい領域に高い評価値を付けることを特徴とするステレオ画像処理装置。
7. 自動車と前記自動車の外界の障害物との位置関係を計算するステレオ画像処理方法であって、
   前記自動車の外界について複数のカメラで連続的に撮影される撮影画像を保存し、
   前記自動車の操舵角情報及び車速情報の少なくとも一方を基に前記撮影画像上の領域毎の評価値を決定し、
   前記複数のカメラでそれぞれ撮影された複数の最新画像について、決定された評価値が相対的に高い領域について高画素で視差計算し、決定された評価値が相対的に低い領域について低画素で視差計算する
   ことを特徴とするステレオ画像処理方法。

Images