JP2014157433A - 視差検出装置、視差検出方法 - Google Patents

Abstract

【課題】対象物を的確に検出しながらステレオ画像処理の負荷を低減可能な視差検出装置を提供する。
【解決手段】ステレオカメラで撮影された１対の画像の視差を検出する視差検出装置３０であって、第１の撮影手段と、第２の撮影手段とが離間して配置されたステレオカメラ２０と、第１の撮影手段が撮影した第１の画像からエッジを検出してエッジ画像を作成するエッジ画像作成手段３３と、前記第１の画像のエッジ部分に対応する第２の画像の画素位置を起点に、前記第２の画像を水平方向に移動させ、前記第１の画像との類似度が最大になる画素位置を視差情報として算出する視差算出手段３５と、移動速度検出手段により検出された当該視差検出装置の移動速度に基づき、前記視差算出手段が類似度を算出する算出対象領域を設定するマッチング領域設定手段３８と、を有する。
【選択図】図１４

Description

本発明は、ステレオカメラで撮影された１対の画像の視差を検出する視差検出装置に関する。

ステレオカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。障害物検出装置は、同時刻に撮像された複数の画像にテンプレートマッチングを施し、複数の画像における同一対象物の位置ずれ（視差）を算出する。視差が算出されると、算出した視差を周知の変換式に適用することで対象物の実空間上の位置を算出できる。障害物検出装置は監視システムや車載システムとして利用される他、多様な用途が検討されている。

ステレオ画像処理に含まれる処理として、間隔をあけて設置された複数のカメラが撮影した一対の撮像画像に対して、三角測量技術を適用して距離を求める処理がある。ステレオ画像処理には、一対の撮像手段（カメラ）と、これらの撮像手段が出力する一対の撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩと、が使用されることが一般的である。

ステレオ画像処理ＬＳＩ は、一対の撮像画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行なうことによって、三角測量処理を実現する。

三角測量処理により算出される計測距離Ｚは、視差d、焦点距離ｆ、基線長（複数のカメラの間隔）ｂから、
Ｚ＝ｂ・ｆ／d
として算出される。この式から明らかなように、距離Ｚは視差dが小さいほど大きくなる（遠くなる）。
距離の精度を上げるためには、高解像度の撮像素子を用いて視差の分解能を上げればよいが、高解像度の撮像素子を用いるとステレオ画像処理ＬＳＩの負荷が増大してしまう。このため、ステレオ画像処理ＬＳＩの処理性能を維持する為には、回路を並列化する等の大規模化が必要となりコスト増を招いてしまう。

ステレオ画像処理ＬＳＩの負荷を低減する技術として、走行環境に応じて視差を算出する領域を限定する方法が考えられている（例えば、特許文献１参照。）。特許文献１には、車両の前進後退，ハンドル角、車速，障害物の有無，車両の回転速度，車両の旋回半径，昼夜間，道路形状，高速道路走行と一般道路走行の別のいずれかの走行環境に応じて、処理する画像領域を決定するステレオカメラ装置が開示されている。

しかしながら、特許文献１に開示されたステレオカメラ装置は、走行環境に応じて決定された視差計算の領域外に、障害物が存在していた場合に検出できないという問題がある。例えば、ハンドル角が左方向に操舵されていても、障害物が右方向から接近していた場合に障害物を検出することが困難である。

本発明は、上記課題に鑑み、対象物を的確に検出しながらステレオ画像処理の負荷を低減可能な視差検出装置を提供することを目的とする。

本発明は、ステレオカメラで撮影された１対の画像の視差を検出する視差検出装置であって、第１の画像を撮影する第１の撮影手段と、第２の画像を撮影する第２の撮影手段とが離間して配置されたステレオカメラと、前記第１の画像からエッジを検出してエッジ画像を作成するエッジ画像作成手段と、前記第１の画像のエッジ部分に対応する前記第２の画像の画素位置を起点に、前記第２の画像を水平方向に移動させ、前記第１の画像との類似度が最大になる画素位置を視差情報として算出する視差算出手段と、移動速度検出手段により検出された当該視差検出装置の移動速度に基づき、前記視差算出手段が類似度を算出する算出対象領域を設定するマッチング領域設定手段と、を有することを特徴とする。

対象物を的確に検出しながらステレオ画像処理の負荷を低減可能な視差検出装置を提供することができる。

本実施形態の障害物検出装置の概略的な特徴を説明する図の一例である。 車両におけるステレオカメラの搭載例を説明する図の一例である。 障害物検出装置のハードウェア構成図の一例を示す図である。 視差演算部によるマッチング処理について説明する図の一例である。 マッチング領域の設定について説明する図の一例である。 マッチング領域の広さ（幅）について説明する図の一例である。 マッチング領域の幅の動的な決定について説明する図の一例である。 車速に応じたマッチング領域の幅の決定について説明する図の一例である。 車速とマッチング領域の関係を模式的に説明する図の一例である。 障害物検出装置が視差を算出する手順を示すフローチャート図の一例である。 障害物検出装置が視差を算出する手順を示すフローチャート図の一例である（実施例２）。 係数ｋとフレームレートの対応を示す図の一例である。 障害物検出装置が視差を算出する手順を示すフローチャート図の一例である（実施例３）。 障害物検出装置のハードウェア構成図の一例である（実施例４）。 障害物検出装置が視差を算出する手順を示すフローチャート図の一例である（実施例４）。 車載された表示装置に表示されるマッチング領域設定画面の一例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。しかしながら、本発明の技術的範囲が、本実施の形態に限定されるものではない。

図１は、本実施形態の障害物検出装置の概略的な特徴を説明する図の一例である。自車両の前方に障害物（図では歩行者）が存在する。自車両のステレオカメラは障害物を撮影している。障害物検出装置は、画像に処理を施してテクスチャ画像（例えばエッジ画像）を作成し、障害物が存在する画素位置を検出している。

図１（ａ）の車両は低速で走行している。低速の車両では、障害物の移動速度が車速に比べて大きくなる。低速で接近するおそれがあるのは自車両から見て近くの障害物であり、また、低速ではステレオカメラの撮影範囲に急に障害物が現れる（進入してくる）可能性がある。そこで、本実施例の障害物検出装置は、車速が低速な場合、車両から近い近傍領域の画素（図の斜線部。テクスチャ対象物から遠い領域）を視差検出領域（以下、マッチング領域という）に決定する。

図１（ｂ）の車両は高速で走行している。高速の車両では、障害物の移動速度が車速に比べて小さい。このような状況では、検出されている障害物との相対速度が大きく短時間に遠方の障害物に接近するため、検出するべきは自車両が遠方領域の障害物である。そこで、本実施例の障害物検出装置は、車速が高速な場合、車両が遠い遠方領域の画素（図の斜線部。テクスチャ対象物から近い領域）をマッチング領域に決定する。

上記のように、距離Ｚは視差ｄが小さいほど大きくなるので、障害物が遠方にあれば、１対の画像データにおいてテクスチャ対象物に対応する被撮影物の画素上の距離は近いはずである。逆に、障害物が近傍にあれば、１対の画像データにおいてテクスチャ対象物に対応する被撮影物の画素上の距離は遠いはずである。したがって、図１（ａ）（ｂ）のようにマッチング領域を設定することで、検出すべき障害物を効率的に検出できる。

したがって、車速が低速な場合も高速な場合も、マッチング領域は画像データの一部でよいので、ステレオカメラの解像度を上げても、処理負荷が増大することを抑制できる。

〔構成例〕
図２は、車両におけるステレオカメラの搭載例を説明する図の一例である。ステレオカメラは、例えば自車両の前方、後方、左右の側方などを撮影可能なように搭載される。自車両の前方を撮影するステレオカメラは、例えば、ルームミラーの前側に光軸を車両の前方やや下向きに向けて配置される。自車両の後方を撮影するステレオカメラは、例えば、バックドアの凹部に光軸を車両の後方やや下向きに向けて配置される。側方を撮影するステレオカメラは、例えば、ピラーやルーフパネルに光軸を車両の側方やや下向きに向けて配置される。

なお、配置位置は一例であって、ドアミラーやバンパー内に搭載してもよく図示する搭載場所に限定されない。本実施例では主に車両の前方を撮影するステレオカメラについて説明する。

また、図では、自動車に搭載されているが、ステレオカメラを自転車や自動二輪車に搭載してもよい。また、普通乗用車でなく、トラック、バス、ワンボックスなど動力により移動する物体には好適に適用できる。

障害物検出装置は、例えば、車両前方の歩行者との距離、先行車両との距離、その他の地物（標識、信号機、電柱、ガードレール等）や障害物との距離を測定する。また、ステレオカメラの画像データを用いて、対象物との距離を検出する処理以外の画像処理（例えば、白線認識、先行車認識、歩行者認識等）を行ってもよい。障害物検出装置は障害物以外の対象物との距離を測定することも可能である。以下では対象物として主に歩行者を例に説明する。

障害物検出装置は、対象物との距離、相対速度、及び、位置（車幅方向の中央を基準とする横位置）を検出する。不図示の支援装置にこれらの情報が送信され、支援装置は、運転支援、駐車支援、ドア開閉支援などの支援を行う。運転支援は、先行車両などの対象物とのＴＴＣ（Time To Collision）を算出して、警告や自動制動を行う支援、走行レーン区分標示（白線）や路肩を検出し、走行レーンからの車両の逸脱を防止する支援、などである。駐車支援は、車両が停止した後、ドアから対象物（壁や車の側面）までの距離、それらの面の傾き、面の方向などを検出し、再度の駐車を促す支援などが相当する。ドア開閉支援は、車両が駐車した後、ドアを開放してよいか否かの判断、開放してよい場合は開放可能なドアの開度を制限する支援などが相当する。

図３は、障害物検出装置１００のハードウェア構成図の一例を示す図である。ステレオ画像処理ＬＳＩ３０に、ステレオカメラ２０、ＣＰＵ４１、メモリ４２、車速センサ４３、及び、周辺状況センサ４４が接続されている。

ステレオカメラ２０は、基準画像取得用カメラ２１及び比較画像取得用カメラ２２を有している。基準画像取得用カメラ２１及び比較画像取得用カメラ２２は、ＣＭＯＳ又はＣＣＤなどの撮像素子、光学系、及び、ゲインやシャッター速度などを制御する制御部を備えている。撮像素子の解像度（画素数）は特に限定されないが、例えばＶＧＡ、ＳＶＧＡ、ＨＤ、フルＨＤなどがある。なお、ステレオカメラ２０はデジタル信号を出力するとして説明するが、アナログ信号を出力してステレオ画像処理ＬＳＩ３０がデジタルに変換してもよい。

基準画像取得用カメラ２１及び比較画像取得用カメラ２２は、同じ構造を有するカメラであることが好ましい。同じ構造であれば、１対の画像に視差以外の差異が生じないようにする調整作業が少なくて済むためである。呼称が異なっているのは、ステレオ画像処理ＬＳＩ３０は、基準画像取得用カメラ２１が撮影した画像を基準にして、比較画像取得用カメラ２２が撮影した画像をずらしながら視差を算出するためである。図示するように、基準画像取得用カメラ２１は撮影方向を基準に左側に、比較画像取得用カメラ２２は同じく右側に配置されている。なお、ステレオカメラ２０が有するカメラは３台以上でもよい。

基準画像取得用カメラ２１は、所定の周期毎に画像データを基準データ入力部３１１へ出力する。以下、基準画像取得用カメラ２１が撮影した画像データを「基準画像」という場合がある。その後、歪み補正部３２はレンズにより生じた歪みを補正し、基準画像をテクスチャ検出部３３及びメモリコントローラ３４に出力する。同様に、比較画像取得用カメラ２２は、基準画像取得用カメラ２１と同じタイミングで（すなわち同じ周期で）、画像データを比較データ入力部３１２に出力する。以下、比較画像取得用カメラ２２が撮影した画像データを「比較画像」という場合がある。歪み補正部３６はレンズにより生じた歪みを補正し比較画像をメモリコントローラ３４に出力する。

歪み補正について説明する。ステレオカメラ２０は、出荷時又は車両搭載後に校正用の被写体（例えば市松模様のチャート）を撮影しキャリブレーションされている。すなわち、カメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）が生成されている。または、画像データを変換する多項式が作成されている。ＬＵＴや多項式は歪み補正部３２、２６がアクセス可能な記憶素子に記憶されている。歪み補正部３２、３６は、ＬＵＴ又は多項式によりレンズなどの歪みを補正する。

テクスチャ検出部３３は、基準画像取得用カメラ２１の画像データに対しテクスチャ検出を行い、テクスチャ対象を検出する。これによりテクスチャデータ（画像データ）が作成される。テクスチャデータは、基準画像に存在する物体の輪郭の位置を示したデータである。例えば、基準画像にエッジ検出処理を施し、所定以上のエッジ強度の画素が物体の輪郭の位置として検出される。テクスチャ検出は比較画像取得用カメラ２２に対し行ってもよい。この場合、基準画像と比較画像が入れ替わる。

メモリコントローラ３４は、基準画像、比較画像及びテクスチャデータをメモリ４２に蓄積する。メモリ４２は、例えばＤＲＡＭ、ＳＤＲＡＭなどの高速な揮発性メモリである。

このようにメモリ４２には、周期的に、１セットの基準画像、比較画像及びテクスチャデータが蓄積される。１セットの基準画像、比較画像、テクスチャデータの蓄積が完了すると、メモリコントローラ３４はメモリ４２から３つのデータを読み出し、視差演算部３５へ転送する。

マッチング開始位置設定部３８は、車速センサ４３から入力される車速や車両状況センサから入力される車両状況により、適切なマッチング領域を決定し、視差演算部３５へマッチング領域を設定する。詳しくは後述する。

視差演算部３５はメモリコントローラ３４より転送された、テクスチャデータにより基準画像から視差検出を行う画素を特定し、マッチング開始位置設定部３８より設定された比較画像のマッチング領域から視差演算を実施し、視差を算出する。

なお、ＣＰＵ４１は、ステレオ画像処理ＬＳＩ３０と同じ基板に配置されたマイコンに搭載されていてもよいし、別の基板に配置されたマイコンに搭載されていてもよい。ＣＰＵ４１は所定のプログラムを実行して、ステレオ画像処理ＬＳＩ３０を制御する。具体的には、ステレオ画像処理ＬＳＩ３０の起動時などに、フレームレート、解像度、明るさなどを設定する。

車速センサ４３は車両の各輪に配置されており、例えば車輪の回転速度に比例したパルスを出力するセンサである。また、周辺状況センサ４４は、周囲の明るさ，天候、走行中の道路種別（高速道路走行又は一般道路走行）、駐車場（徐行が義務付けられている）を走行していること、横断歩道で信号待ちをしていること、歩行者が横断歩道を渡っていること、見通しの悪い交差点を通過すること、対向車のある交差点を右折すること、などの周辺状況を検出するセンサである。このセンサは単一のセンサでなくてもよく、車載された各種のセンサの検出信号を組み合わせて、周辺状況を検出すればよい。

例えば、周囲の明るさは、シャッター速度やコンライト（オートライト）用の照度センサにより検出される。天候のうち、雨天であることはワイパーが作動していることやレインセンサにより検出され、霧が出ていることはフォグランプの点灯から検出される。走行中の道路種別（高速道路走行又は一般道路走行）及び駐車場を走行していることは、ＧＮＳＳ（Global Navigation Satellite System）などを利用した位置検出装置と道路地図から検出される。横断歩道で信号待ちをしていることは、車速がゼロ又はゼロと見なせる程度であり、カメラなどで前方の赤表示の信号が撮影されたことなどから検出される。歩行者が横断歩道を渡っていることは、カメラなどで前方を横切る歩行者が認識されたことなどから検出される。見通しの悪い交差点を通過することは、ＧＮＳＳなどを利用した位置検出装置、道路地図及び車速などから検出される。対向車のある交差点を右折することは、ＧＮＳＳなどを利用した位置検出装置、道路地図及びウィンカの操作方向などから検出される。

〔視差演算〕
図４は、視差演算部３５によるマッチング処理について説明する図の一例である。図４（ａ）は基準画像の一例を、図４（ｂ）は比較画像の一例を、図４（ｃ）はテクスチャデータの一例をそれぞれ示す。いずれにおいても歩行者が撮影されているが、基準画像と比較画像では、視差により水平方向の歩行者の撮影位置が異なっている。また、テクスチャデータにより、基準画像において歩行者が撮影されている画素位置を特定する（又は推定する）ことができる。

まず、説明のため、従来のマッチング処理について説明する。

(i) 図４（ｄ）に示すように、視差演算部３５は、例えば基準画像の左上の頂点を原点にして、水平方向又は垂直方向に画素を探索し、テクスチャと判定された画素を検出する。この画素を注目画素として、その画素位置を(X,Y)とする。

(ii) 視差演算部３５は、注目画素の画素位置(X,Y)の近傍画素（例えば、注目画素を中心とする５×５〜１１×１１などのブロック）に対し、基準画像の各画素の輝度値と比較画像の各画素の輝度値を比較する処理を行う。具体的には、基準画像のブロックの各画素、基準画像のブロックと同じ位置の比較画像のブロックの各画素、に対し画素毎に輝度値の差を算出して合計する（又は差の二乗を合計する）。輝度の差の合計が小さいほど類似度（マッチング度）が高い。

(iii) 視差演算部３５は、画素位置(X,Y)を基点に比較画像のブロックを水平方向に１画素分移動させ、同様に基準画像のブロックの輝度の差の合計を算出する。基準画像取得用カメラ２１と比較画像取得用カメラ２２は水平方向に並べて平行に取り付けられているため（視差以外の差は補正済みのため）、比較画像のブロックは水平方向にだけ移動すればよい。

(iv) 視差演算部３５は、予め定められた水平方向の範囲内で（図４（ｄ）では水平方向の最後まで）、輝度の差の合計の算出を行う。そして、類似度が最大（合計が最小）となった水平方向の位置（比較画像のブロックを水平方向に移動した量）を視差ｄとして出力する。

図４（ｅ）の例では、類似度が最大となった比較画像のブロックにおいて、基準画像の着目画素(X,Y)に対応する比較画像の画素の画素位置が(X',Y)であるとする。この場合、上記の視差ｄは「d = X'-X」となる。

視差演算部３５は、視差ｄの算出をテクスチャデータのテクスチャ対象物に対し行う。なお、視差ｄは正確には画素数になるので、画素ピッチを用いて視差ｄは距離の次元に変換される。

上記の説明は従来例なので、マッチングの領域をテクスチャと判定された画素位置から水平方向の最後の画素までとした。したがって、画像データが高解像度になり画素数が多くなると、ステレオ画像処理ＬＳＩ３０の処理負荷が増大してしまう。

そこで、本実施例の視差演算部３５は、マッチング開始位置設定部３８より設定されたマッチング領域に対してマッチング処理を行う。

〔マッチング領域の設定〕
図５は、マッチング領域の設定について説明する図の一例である。本実施例のマッチング開始位置設定部３８は、車速に応じてマッチング領域を決定する。

図５（ａ）は車速が閾値以上の場合のマッチング領域の一例を示す。マッチング開始位置設定部３８は、車速が閾値以上の場合、比較画像のうちテクスチャ対象物に近い画素のみを探索するようにマッチング領域を設定する。テクスチャ対象物に近い画素とは、テク「スチャ対象物から」、又は、「テクスチャ対象物＋α（数画素から数十画素）から」所定数の画素範囲をいう。図５では基準画像が左側のカメラにより撮影されるという前提のため、マッチング領域がテクスチャ対象物よりも右方向に存在するので、テクスチャ対象物又はその近くから右方向に所定数の画素範囲がマッチング領域である。基準画像が右側のカメラにより撮影される場合は、マッチング領域の場所は逆になる。

なお、閾値は、車両が徐行していると見なせる程度の車速であり、例えば２０〔km/h〕〜３０〔km/h〕である。

図５（ｂ）は車速が閾値未満の場合のマッチング領域の一例を示す。マッチング開始位置設定部３８は、車速が閾値未満の場合、比較画像のテクスチャ対象物から遠い画素領域を探索するようにマッチング領域を設定する。図では、遠い画素領域として比較画像の周辺（右端）がマッチング領域になっている。

"遠い"とは少なくとも車速が閾値以上の場合よりも、テクスチャ対象物から離れた画素領域をマッチング領域とすることをいう。どの程度、テクスチャ対象物から離すかは、車速が速い場合にどの程度遠方の距離の対象物を検出するかなどにより最適化されうる。図５（ｂ）は、テクスチャ対象物から"遠い"ことが強調されている点に注意されたい。

図５（ｂ）では基準画像が左側のカメラにより撮影されるという前提のため、マッチング領域がテクスチャ対象物よりも右方向に存在する。このため水平方向の右端か右端に近い所定数の画素範囲がマッチング領域である。基準画像が右側のカメラにより撮影される場合は、マッチング領域がテクスチャ対象物よりも左方向に存在するので、水平方向の左端か右端に近い所定数の画素範囲がマッチング領域である。

図５（ａ）に示すように、車速が速いときはテクスチャと判定された画素位置から近い位置にマッチング領域を設定することで、遠方から接近する歩行者との距離や相対速度を検出しやすくなる。また、図５（ｂ）に示すように、車速が遅いときはテクスチャと判定された画素位置から遠い位置にマッチング領域を設定することで、近傍や周辺から進入する対象物を検出しやすくなる。いずれにおいても、従来はテクスチャ対象物より右方向の全画素を探索していたのに対し、本実施例ではテクスチャ対象物より右方向の一部の画素をマッチング領域に設定する。したがって、本実施例の障害物検出装置１００は、マッチングの計算量を減らす事ができる。

なお、本実施例においてマッチング領域を図５（ａ）（ｂ）のように限定するのでなく、マッチング領域の"開始位置"を設定してもよい。すなわち、設定されたマッチング領域で類似度が閾値以上とならない場合に、マッチング領域以外の領域にマッチング処理を施す。こうすれば、短時間に視差を算出でき、マッチング領域が適切でなくても最終的に視差が得られる。

〔マッチング領域の広さ〕
図６は、マッチング領域の広さ（幅）について説明する図の一例である。図５では車速が遅い場合と速い場合とでマッチング領域の幅が同じであるとした。例えば図６（ａ）に示すように、車速が遅い場合と速い場合のマッチング領域の幅はどちらもａである（単位は画素数）。

また、図６（ｂ）に示すように、車速が遅い場合と速い場合のマッチング領域が一部で重複していてもよい。図６（ｂ）ではマッチング領域の幅が長いため、テクスチャ対象物よりも右側の領域で、車速が遅い場合と速い場合のマッチング領域が一部で重複している。

また、マッチング領域の幅は、車速が遅い場合と速い場合とで同じある必要はない。
図６（ｃ）は、車速が遅い場合の方がマッチング領域の幅が広い例を、図６（ｄ）は、車速が遅い場合の方がマッチング領域の幅が狭い例を、それぞれ示している。図６（ｃ）のように、車速が遅い場合にマッチング領域を広くすることで、近傍や周辺から進入する対象物を検出しやすくできる。また、図６（ｄ）のように、車速が速い場合にマッチング領域を広くすることで、遠方の歩行者が移動しても捕捉して相対距離等を監視しやすくなる。

また、図７に示すように動的にマッチング領域の幅を決定してもよい。図７（ａ）は、マッチング領域の幅の動的な決定について説明する図の一例である。マッチング開始位置設定部３８はテクスチャ対象物から水平方向の最後の画素までの長さLを測定する。そして、長さＬの半分をマッチング領域の幅（Ｌ／２）に決定する。こうすることで、車速が速い場合と遅い場合を合わせると、テクスチャ対象物から水平方向の最後まで、不足及び重複なく探索することができる。長さＬの半分でなくＬの２／３などにしてもよい。

また、閾値未満の低速領域、閾値以上の高速領域をそれぞれ３段階程度に区分して、車速に応じてマッチング領域の幅を決定してもよい。

図８では、低速領域が、ＶＬ２以上ＶＬ３未満、ＶＬ１以上ＶＬ２未満、ＶＬ１未満の３段階に区分された場合のマッチング領域の一例を示している（ＶＬ１＜ＶＬ２＜ＶＬ３＜閾値）。低速領域なので、テクスチャ対象物から遠い領域がマッチング領域であるが、車速が遅いほどマッチング領域が大きくなっている。車速が遅い場合には近傍から歩行者等が進入するおそれが高まるので、マッチング領域を大きくすることで対象物を検出しやすくなる。

同様に図８（ｂ）では、高速領域が、ＶＨ１未満、ＶＨ１以上ＶＨ２未満、ＶＨ２以上の３段階に区分されている（閾値＜ＶＨ１＜ＶＨ２）。高速領域なので、テクスチャ対象物から近い領域がマッチング領域であるが、車速が速いほどマッチング領域が大きくなっている。車速が速い場合には検出されている対象物が相対的に移動するおそれが高まるので、マッチング領域を大きくすることで対象物の捕捉を維持しやすくなる。

また、これまでは車速が低速か高速かによりマッチング領域が不連続に設定されていたが、車速と共に連続的にマッチング領域を移動してもよい。

図９は、車速とマッチング領域の関係を模式的に説明する図の一例である。図９（ａ）は時速１０〔ｋｍ／ｈ〕、図９（ｂ）は時速２０〔ｋｍ／ｈ〕、図９（ｃ）は時速３０〔ｋｍ／ｈ〕、図９（ｄ）は時速４０〔ｋｍ／ｈ〕、図９（ｅ）は時速５０〔ｋｍ／ｈ〕、図９（ｆ）は時速６０〔ｋｍ／ｈ〕の場合のマッチング領域をそれぞれ示す。図示するように、車速が速いほどマッチング領域がテクスチャ対象物に近くなっている。したがって、低速領域では、テクスチャ対象物から離れた領域にマッチング領域があり、高速領域ではテクスチャ対象物から近い領域にマッチング領域がある点でこれまでと同様である。しかし、図９では、低速から高速まで連続してマッチング領域の場所を変動させることができる。これにより、車速に応じて注視すべき領域（低速では近傍領域、高速では遠方領域）を最適化してマッチングすることができる。

なお、図９ではマッチング領域は一定の幅だが、車速が速いほど広くしたり、車速が遅いほど広くしたりしてもよい。また、低速域と高速域で広くし、中速域で狭くしてもよい。

〔動作手順〕
図１０は、本実施例の障害物検出装置１００が視差を算出する手順を示すフローチャート図の一例である。

基準画像取得用カメラ２１は基準画像を撮影し、比較画像取得用カメラ２２は比較画像を撮影する（Ｓ１０）。基準画像と比較画像はそれぞれ歪み補正が施され、メモリコントローラ３４によりメモリ４２に記憶される。

テクスチャ検出部３３は、基準画像からテクスチャデータを作成する（Ｓ２０）。テクスチャデータはメモリコントローラ３４によりメモリ４２に記憶される。

次に、マッチング開始位置設定部３８は、車速センサ４３から車速を取得する（Ｓ３０）。そして、車速が閾値未満か否かを判定する（Ｓ４０）。

車速が閾値未満の場合（Ｓ４０のＹｅｓ）、マッチング開始位置設定部３８はテクスチャ対象物から遠い画素をマッチング領域に設定する（Ｓ５０）。

車速が閾値未満でない場合（Ｓ４０のＮｏ）、マッチング開始位置設定部３８はテクスチャ対象物から近い画素をマッチング領域に設定する（Ｓ６０）。

視差演算部３５は、テクスチャデータにより注目画素を決定し、基準画像と比較画像のマッチング処理を行って視差を算出する（Ｓ７０）。

以上説明したように、本実施例の障害物検出装置１００は、低速走行時と高速走行時でマッチング領域を変えることで、対象物を的確に検出しながらステレオ画像処理の負荷を低減することができる。

本実施例では、車速に応じてマッチング領域を変更することに加え、自車両の周辺状況に応じて、マッチング領域を設定する障害物検出装置１００について説明する。

例えば、自車両が徐行すべきである駐車場を走行する場合がある。しかしながら、運転者が気づかないうちに高速になるまで加速することもあり得る。一方、駐車場では近傍の対象物はあまり移動しない。したがって、駐車場であれば、車速に関わらず高速時のマッチング領域に設定してよいと考えられる。

また、横断歩道の信号待ちや歩行者が通過している場合は、歩行者等が進入してくる可能性があるため、実施例１のように低速域と高速域でマッチング領域を変更すべきである。

このように、周辺情報を考慮する事で、予測不能な運転（例えば徐行エリアでの高速運転）がなされた場合でも、適切な画素領域をマッチング領域に決定することができる。

図１１は、本実施例の障害物検出装置１００が視差を算出する手順を示すフローチャート図の一例である。図１１の手順は、図１０と同様であるが、ステップＳ３３において、マッチング開始位置設定部３８は周辺状況センサ４４の検出信号により周辺状況を特定する（Ｓ３３）。

そして、マッチング開始位置設定部３８は周辺状況が駐車場か否かを判定する（Ｓ３５）。周辺状況が駐車場の場合（Ｓ３５のＹｅｓ）、テクスチャ対象物から近い画素をマッチング領域に設定する（Ｓ６０）。

周辺状況が駐車場でない場合（Ｓ３５のＮｏ）、マッチング開始位置設定部３８は車速が閾値未満か否かを判定する（Ｓ４０）。以降の処理は図１０と同様である。

なお、図１１では、周辺状況が駐車場の場合にテクスチャ対象物から近い画素をマッチング領域に設定したが、別の特定の周辺状況の場合にテクスチャ対象物から遠い画素をマッチング領域に設定してもよい。

本実施例によれば、車速だけでなく周辺状況に応じてマッチング領域を設定できる。

本実施例では、ステレオカメラ２０のフレームレートに応じて、マッチング領域を設定する障害物検出装置１００について説明する。

ＣＰＵ４１はＣＰＵ Ｉ／Ｆ３７を介してフレームレートをステレオ画像処理ＬＳＩ３０に設定する。フレームレートを動的に変更する起因となるのは、例えばステレオ画像処理ＬＳＩ３０の温度が上昇したため負荷を下げようとする場合や、夜間であるためシャッター時間を長くするためにフレームレートを下げるような場合がある。

高フレームレートが設定された場合、ステレオ画像処理ＬＳＩ３０は１フレームを短時間で処理しなければならないので処理負荷が高くなる。よって、マッチング領域を狭くすることが好ましい。これに対し低フレームレートが設定された場合には、１フレームの処理時間に余裕が出るので、マッチング領域を広くすることができる。

フレームレートに応じてマッチング領域を設定する事で、要求されたフレームレートにおいて可能な限り高い精度で視差を算出することができる。

フレームレートに応じてマッチング領域の広さを変更するには、例えば基準となるマッチング領域の広さに、フレームレートに応じた係数ｋを乗じればよい。
・マッチング領域の広さ＝ｋ×基準のマッチング領域の広さ
図１２は係数ｋとフレームレートの対応を示す図の一例である。図１２の情報はテーブルとして例えばステレオ画像処理ＬＳＩ３０に記憶されている。図１２の情報は特許請求の範囲の領域広さ指示情報テーブルの一例である。基準のマッチング領域の広さをフレームレートが最も低い状態のマッチング領域の広さとすれば、係数ｋは１未満である。

低速ではｋ＝1.0なので、フレームレートが低速の場合はマッチング領域の広さは基準値のままである。

中速ではｋ＝0.8なので、フレームレートが中速の場合はマッチング領域の広さは基準値の８０％である。

高速ではｋ＝0.6なので、フレームレートが中速の場合はマッチング領域の広さは基準値の６０％である。

係数ｋをより多段階に定めておいてもよいし、又は、任意の車速に対し係数ｋを演算する関数などを用意しておき無段階に係数ｋを求めてもよい。

図１３は、本実施例の障害物検出装置１００が視差を算出する手順を示すフローチャート図の一例である。

本実施例では、まず、マッチング開始位置設定部３８がフレームレートの変更があるか否かを判定する（Ｓ２）。例えばＣＰＵ Ｉ／Ｆ３７がＣＰＵ４１によりフレームレートが変更されたことをマッチング開始位置設定部３８に通知する。

フレームレートの変更があった場合（Ｓ２のＹｅｓ）、マッチング開始位置設定部３８は係数ｋを読み出す（Ｓ４）。

ステップＳ１０〜Ｓ５０までの処理は図１０と同様である。そして、ステップＳ５２とＳ６２において、マッチング開始位置設定部３８はマッチング領域の広さを係数ｋで決定する（Ｓ５２、Ｓ６２）。

したがって、本実施例の障害物検出装置１００によれば、実施例１，２の効果に加え、フレームレートに応じてマッチング領域の広さを変更でき、ステレオ画像処理ＬＳＩ３０はフレームレートにおいて可能な限り高い精度で視差を算出することができる。

実施例３では、ＣＰＵ４１が設定するフレームレートに基づきマッチング領域の広さを決定したが、本実施例ではステレオ画像処理ＬＳＩ３０が設定するフレームレートに基づきマッチング領域の広さを決定する障害物検出装置１００について説明する。

ステレオカメラ２０が撮影する例えば基準画像があまり変化しない場合、高いフレームレートは必要とならない。そこで、ステレオ画像処理ＬＳＩ３０が基準画像の変化率から要求されるフレームレートを算出し、マッチング領域の広さを決定する。

例えば、基準画像の変化率が低いケースとは、
Ａ．自車も周辺の対象物も止まっている状態
Ｂ．自車と周辺の対象物が同じ速度で同じ方向へ動いている状態
などである。前者は信号待ちや渋滞で止まっている場合で、後者は空いている道を一定の速度で走行している場合が想定できる。

基準画像の変化率が高いケースとは、
Ｃ．対象物が大きく移動する状態
Ｄ．自車がカーブなどを走行する状態
などである。前者は歩行者が走ったり、先行車が急減速する場合が、後者は右左折や急カーブを走行している場合が想定できる。

図１４は、本実施例の障害物検出装置１００のハードウェア構成図の一例を示す図である。本実施例において、図３において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。本実施例のステレオ画像処理ＬＳＩ３０はフレームレート判断部３９を有している。

まず、本実施例ではメモリコントローラ３４が１フレーム前のテクスチャデータをメモリ４２に記憶している。フレームレート判断部３９は、テクスチャ検出部３３から出力されたテクスチャデータとメモリ４２から読み出した１フレーム前のテクスチャデータとを比較する事で変化率を算出する。例えば、画素毎又は画素フロック毎に２つのテクスチャデータの画素値の差を算出し、画素の差を合計する。差の合計として、変化率が充分に大きい固定値を設定しておき、差の合計を固定値で除することで、変化率を求めることができる。

フレームレート判断部３９は、変化率に対応づけて予め保持しているフレームレートを読み出し、マッチング開始位置設定部３８へ設定する。マッチング開始位置設定部３８は図１２の係数ｋとフレームレートの対応から係数ｋを決定する。
変化率 大 ：フレームレート ６０fps
変化率 中 ：フレームレート ５０fps
変化率 小 ：フレームレート ４０fps
上記の例Ａ，Ｂの状態では、高フレームレートは必要でない為、フレームレートを低く設定し、マッチング領域を広く設定する事で視差の算出の精度を向上する事ができる。Ｃ，Ｄの状態では、高フレームレートに設定されるがマッチング領域が狭く設定されるので、ステレオ画像処理ＬＳＩ３０の負荷が増大することを抑制できる。

マッチング開始位置設定部３８は、フレームレートに応じて係数ｋを読み出すので、実施例３と同様に、高フレームレートが設定された場合にはマッチング領域を狭く、低フレームレートが設定された場合にはマッチング領域を広くすることができる。

図１５は、本実施例の障害物検出装置１００が視差を算出する手順を示すフローチャート図の一例である。

ステップＳ１０、Ｓ２０の処理は図１０と同様である。そして、ステップＳ２２において、フレームレート判断部３９はテクスチャデータの変化率に応じてフレームレートを決定する（Ｓ２２）。フレームレート判断部３９はフレームレートをマッチング開始位置設定部３８に設定する。

そして、マッチング開始位置設定部３８はフレームレートに対応づけられた係数ｋを読み出す（Ｓ２４）。

この後、車速の取得、周辺状況の特定等が行われ、ステップＳ５２とＳ６２において、マッチング開始位置設定部３８はマッチング領域の広さを係数ｋで決定する（Ｓ５２、Ｓ６２）。

本実施例によれば、ステレオ画像処理ＬＳＩ３０がフレームレートを決定して、マッチング領域の広さを決定するので、負荷を抑制しながら可能な限り高い精度で視差を算出することができる。

本実施例では、ユーザがマッチング領域を任意に設定可能な障害物検出装置１００について説明する。

図１６は、車載された表示装置に表示されるマッチング領域設定画面の一例を示す図である。この表示装置は、例えばナビゲーションシステムが道路地図を表示するディスプレイである。

図１６（ａ）では、車速モードボタン６０１と任意設定ボタン６０２が表示されている。ユーザが車速モードボタン６０１を選択した場合、障害物検出装置１００は実施例１〜４で説明した車速に応じたマッチング領域の設定を行う。ユーザが任意設定ボタン６０２を選択した場合、図１６（ｂ）の画面が表示される。この画面には「斜線アイコンを移動してマッチング領域を設定してください」と表示されている。ユーザは「低速時」と「高速時」のそれぞれを選択した状態（押下して反転させた状態）で、斜線アイコン６０３を移動してマッチング領域を設定する。

また、斜線アイコン６０３はダブルタップなどで広くなるので、ユーザはマッチング領域の広さを任意に決定することができる。

なお、図１６の設定は車載装置で行う以外に、端末からサーバに接続しサーバに対し設定してもよい。サーバは、携帯電話網などを利用して車両にマッチング領域を設定する。

本実施例によれば、実施例１〜４の効果に加え、ユーザが任意のマッチング領域を設定することができる。

２０ ステレオカメラ
３０ ステレオ画像処理ＬＳＩ
３２、３６ 歪み補正部
３３ テクスチャ検出部
３４ メモリコントローラ
３５ 視差演算部
３８ マッチング開始位置設定部
４１ ＣＰＵ
４２ メモリ
１００ 障害物検出装置
３１１ 基準データ入力部
３１２ 比較データ入力部

特開2009-146217号公報

Claims (9)

1. ステレオカメラで撮影された１対の画像の視差を検出する視差検出装置であって、
   第１の画像を撮影する第１の撮影手段と、第２の画像を撮影する第２の撮影手段とが離間して配置されたステレオカメラと、
   前記第１の画像からエッジを検出してエッジ画像を作成するエッジ画像作成手段と、
   前記第１の画像のエッジ部分に対応する前記第２の画像の画素位置を起点に、前記第２の画像を水平方向に移動させ、前記第１の画像との類似度が最大になる画素位置を視差情報として算出する視差算出手段と、
   移動速度検出手段により検出された当該視差検出装置の移動速度に基づき、前記視差算出手段が類似度を算出する算出対象領域を設定するマッチング領域設定手段と、
   を有することを特徴とする視差検出装置。
2. 前記マッチング領域設定手段は、周辺状況検出手段から当該視差検出装置が搭載された移動体の周辺状況を取得して、前記周辺状況に応じて前記算出対象領域を設定する、
   ことを特徴とする請求項１記載の視差検出装置。
3. 外部からステレオカメラのフレームレートの設定を受け付けるフレームレート設定受付手段と、
   フレームレートに対応づけて前記算出対象領域の広さ情報が登録された領域広さ指示情報テーブルと、を有し、
   前記マッチング領域設定手段は、前記フレームレートに応じて前記領域広さ指示情報テーブルから読み出した前記広さ情報の前記算出対象領域を前記移動速度に応じた場所に設定する、
   ことを特徴とする請求項１又は２記載の視差検出装置。
4. ステレオカメラが撮影する画像の変化率を監視してフレームレートを決定するフレームレート決定手段と、
   フレームレートに対応づけて前記算出対象領域の広さ情報が登録された領域広さ指示情報テーブルと、を有し、
   前記マッチング領域設定手段は、前記フレームレート決定手段が決定したフレームレートに応じて前記領域広さ指示情報テーブルから読み出した前記広さ情報の前記算出対象領域を前記移動速度に応じた場所に設定する、
   ことを特徴とする請求項１又は２記載の視差検出装置。
5. 前記移動速度に対応した前記算出対象領域の場所及び広さの設定を受け付ける算出対象領域設定受付手段を有し、
   前記マッチング領域設定手段は、前記算出対象領域設定受付手段が設定を受け付けた場所に、受け付けた広さの前記算出対象領域を設定する、
   ことを特徴とする請求項１〜４いずれか１項記載の視差検出装置。
6. 前記マッチング領域設定手段は、前記移動速度が閾値未満の場合、前記第１の画像のエッジ部分に対応する前記第２の画像の画素位置を基準に、前記移動速度が閾値以上の場合よりも遠方に前記算出対象領域を設定する、
   ことを特徴とする請求項１〜５いずれか１項記載の視差検出装置。
7. 前記マッチング領域設定手段は、前記移動速度に応じて、前記算出対象領域の広さを変更する、
   ことを特徴とする請求項１〜６いずれか１項記載の視差検出装置。
8. 前記マッチング領域設定手段は、前記移動速度が速いほど前記算出対象領域の広さを大きくし、前記移動速度が遅いほど前記算出対象領域の広さを小さくする、
   ことを特徴とする請求項７項記載の視差検出装置。
9. ステレオカメラで撮影された１対の画像の視差を検出する視差検出方法であって、
   ステレオカメラが有する第１の撮影手段が第１の画像を撮影し、ステレオカメラが有する第２の撮影手段が第２の画像を撮影するステップと、
   エッジ画像作成手段が、前記第１の画像からエッジを検出してエッジ画像を作成するステップと、
   マッチング領域設定手段が、移動速度検出手段により検出された当該視差検出装置の移動速度に基づき、視差算出手段が類似度を算出する算出対象領域を設定するステップと、
   視差算出手段が、前記第１の画像のエッジ部分に対応する前記第２の画像の画素位置を起点に前記マッチング領域設定手段が設定した前記算出対象領域において、前記第２の画像を水平方向に移動させ、前記第１の画像との類似度が最大になる画素位置を視差情報として算出するステップと、
   を有することを特徴とする視差検出方法。

Images