JP2014067320A - ステレオカメラ装置 - Google Patents

Abstract

【課題】
遠距離や近接している場合でも認識対象をより正確に検出するステレオカメラ装置を提供する。
【解決手段】
第１の撮像部と、第２の撮像部と、第１の撮像部から取得した第１の画像から、認識対象物の存在領域と、認識対象物の種類を特定する対象物領域特定処理部と、対象物領域特定処理部からの認識対象物の存在領域の画像と、第２の撮像部から取得した第２の画像から、認識対象物までの距離を算出する距離算出処理部と、距離算出処理部で算出された距離と、対象物領域特定処理部で求めた認識対象物の存在領域と、に基づいて、認識対象物の実空間での特徴量を算出する特徴算出処理部と、特徴算出処理部で算出された特徴量に基づいて、対象物領域特定処理部で特定された認識対象物の種類の検証を行う対象物特徴検証処理部と、を有するステレオカメラ装置。
【選択図】 図１

Description

複数の撮像素子で撮像された画像を用いて、対象を検出するステレオカメラ装置に関する。

従来、複数の撮像素子で撮像された画像を用いて対象を検出する装置として、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能な走行誘導障害物検出装置がある（特許文献１）。この公報では、一対の画像に基づいて画像の各画素について実空間における距離を算出し、その各画素の距離と輝度値に基づき画面上の立体物の領域を抽出し、その領域と距離より立体物の実空間での大きさを算出し、その大きさが予め設定された閾値以内、かつ、領域内の上下方向の輝度変化が一定のパターンを有する場合は、走行誘導障害物と判断する走行誘導障害物検出装置が開示されている。これは、実空間での大きさを算出することで大きさの選別を行い、さらに上下方向の輝度変化が一定のパターンを有するかどうかで判別することにより、自車両の前方に存在する立体物の中から、例えば車両と誤認識することなく、車線分離標やパイロン等の走行誘導障害物を的確に検出することを可能としている。

また、障害物の検出を精度良く、高速に行うことが可能な障害物検出システムとして特許文献２がある。この公報では、２つの遠赤外線撮像装置で撮像された画像それぞれを二値化することで候補領域を特定し、特定された候補領域の代表点までの距離を三角測量の原理により推算し、推算された距離に基づいて決定された大きさのテンプレートと候補領域とのマッチングにより障害物を検出する障害物検出システムが開示されている。これは、二値化により候補領域を特定し、ステレオ視による候補領域までの距離を算出することにより、その距離に応じたテンプレートを用いたマッチングが行うことで、高速で正確な障害物の検出を可能としている。

特開２００７−２８０１３２号公報 特開２００８−０２６９９９号公報

しかしながら、このような従来の技術では、遠方における認識対象の検出や、複数の認識対象が近接して存在する場合に、正確な認識対象の検出ができなくなるという問題があった。

例えば、特許文献１では、一対の画像に基づいて画像の各画素について実空間における距離を算出しているが、距離を算出している単位は４×４画素のブロックサイズで、近傍の領域においては対象のサイズがブロックサイズに対し大きく画像も鮮明なため、対象の領域を抽出することが可能となるが、遠方の領域おいては対象のサイズがブロックサイズに対して小さく、画像もボケてくるため、距離精度と他の対象との分離性能が劣化し、領域のグルーピングができなくなり、対象の領域を抽出することができなくなる。

また、特許文献２では、最初に２つの遠赤外線撮像装置で撮像された画像それぞれを二値化することで候補領域を特定しているが、近傍の領域で複数の人が近接していなければ領域を特定することが可能となるが、近傍の領域でも複数の人が近接している場合は、二値化により２人の人の領域を１つの人の領域としてしまい、そこでパターンマッチングを行い、正しく認識することができなくなる。

そのため、自車速の速い場合などでは、遠方の走行誘導物を検出できなく、制御が遅れ、それに沿うように適切な制御を行うことができなかったり、複数の近接する人に対して、制御対象として検出できずに、自動ブレーキ制御を行うことができなかったりする場合がある。

本発明は、このような事情に鑑みてなされたものであり、遠距離や近接している場合でも認識対象をより正確に検出するステレオカメラ装置を提供することを目的とする。

前記課題を解決するために、本発明のステレオカメラ装置は、第１の撮像部と、第２の撮像部と、第１の撮像部から取得した第１の画像から、認識対象物の存在領域と、認識対象物の種類を特定する対象物領域特定処理部と、対象物領域特定処理部からの認識対象物の存在領域の画像と、第２の撮像部から取得した第２の画像から、認識対象物までの距離を算出する距離算出処理部と、距離算出処理部で算出された距離と、対象物領域特定処理部で求めた認識対象物の存在領域と、に基づいて、認識対象物の実空間での特徴量を算出する特徴算出処理部と、特徴算出処理部で算出された特徴量に基づいて、対象物領域特定処理部で特定された認識対象物の種類の検証を行う対象物特徴検証処理部と、を有する構成とする。

遠距離や近接している場合でも認識対象をより正確に検出するステレオカメラ装置を提供できる。

本発明に係るステレオカメラ装置の一実施例を示す図である。 本発明の車両領域特定処理部を説明する図である。 ステレオカメラの距離計測の原理を説明する図である。 本発明の車両距離算出処理部を説明する図である。 本発明の車両特徴算出処理部を説明する図である。 本発明の制御対象候補の一例を示す図である。 本発明の制御対象候補の他の例を示す図である。

以下、本発明の実施形態について、図面を参照し、詳細に説明する。

本実施例では、車両を検知するステレオカメラ装置について述べる。

図１に、本実施形態に係るステレオカメラ装置１００の全体図を示す。

ステレオカメラ装置１００は、第１の撮像部（左撮像部）であるカメラ１０１と第２の撮像部（右撮像部）であるカメラ１０２の２つの撮像部を備え、画像取得部１０３と画像取得部１０４で、それぞれカメラ１０１とカメラ１０２で撮像された画像（第１の画像、第２の画像）を取得する。取得された画像の一方から車両領域特定処理部１０５で画像上での車両の領域を特定すると共に車両であることを認識し、特定された車両領域の画像と画像取得部１０４で得られた画像より、車両距離算出処理部１０６でステレオマッチングにより実空間での車両までの距離を算出する。

さらに、車両領域特定処理部１０５で得られた画像上の領域と車両距離算出処理部１０６で得られた距離より、車両特徴算出処理部１０７で実空間での車両の大きさを算出する。この算出された実空間での車両の大きさと、車両領域特定処理部１０５で車両と認識されたことより、車両特徴検証処理部１０８で車両としての特徴を検証する。検証の結果、車両として正しい場合は、制御対象選択処理部１０９で、制御対象とすべきかを選択し、制御対象となった場合は車両制御装置１１０にその情報を送信する。

以下、図１の各処理部について詳細に説明する。

カメラ１０１、カメラ１０２は、車室内に車両前方が撮影されるように一定の間隔をあけて取り付けられる。これらのカメラは、ＣＣＤやＣＭＯＳ等の撮像素子であるイメージセンサを備え、それぞれ同期しており、同じタイミングでサンプリングされる。

画像取得部１０３と画像取得部１０４は、それぞれカメラ１０１とカメラ１０２で撮像された画像を取得し、取得した画像を以降の処理部で画像処理ができるように輝度値をデジタルに変換、また、カメラ１０１とカメラ１０２で撮像された画像を２つのカメラ間での撮像環境や撮像特性の差異をなくすよう補正し、補正された画像を、次の処理に渡す。

車両領域特定処理部１０５では、図２に示す前方の車両２０１の領域２０２をカメラ１０１で撮像した原画像２００の中から特定し、車両であることを認識する。本実施例では、まず、原画像２００から、例えばソーベルフィルタを用いて、エッジの角度を算出し、その角度が上下方向の角度に対して±１５［ｄｅｇ］以内のエッジのみを抽出することで、縦方向のみの縦エッジ画像２０３を生成する。

これは、一般的に車両が縦のラインで構成されているという特徴を生かし、画像中から車両領域の候補となる箇所を絞り込むためである。縦エッジ画像２０３生成後、縦エッジの短いものは除去し、車両の候補となる縦エッジのみを残し、縦エッジ画像（絞込み後）２０４を生成する。ここで、残った４つの縦エッジ２０５〜２０８を組み合わせて、例えば、縦エッジ２０５と縦エッジ２０６のペアを作る。このペアに対して、事前に学習値として準備している車両のテンプレートを、画像上での幅［ｐｉｘ］（縦エッジ２０５と縦エッジ２０６間の画像上でのピクセル数）に合わせてサイズを変更し、そのテンプレートを縦エッジ２０７と縦エッジ２０８に合わせて、原画像２００の上端から下端まで縦位置をピクセル単位でずらしながら、パターンマッチングを行い、相関度が最大となる縦位置とその相関度を算出する。（本発明では、パターンマッチング手法については特に限定しない。）
そして、算出された相関度の最大値がある閾値以上の場合に車両として認識し、その位置を車両の領域として特定する。これをすべての縦エッジのペアに対して、実施することで、原画像２００から、車両の領域２０２を特定し、車両として認識する。

本実施例では、車両の検出を目的としているので、縦エッジの組み合わせと、車両のパターンマッチングを使用したが、原画像２００を用いて、その領域と種類を認識できる手法であれば、他の手法を用いても構わない。例えば、人やバイク、標識などのテンプレートと原画像中の一部とをパターンマッチングで全スキャンし、領域と種類を特定する手法でも構わない。

更に、本実施例では、単純に車両として認識したが、軽自動車や普通車、トラックといった大きなカテゴリでの車両の種類で認識したり、更に細かく、車種を認識したりしても良い。ここで認識された種類は、後段の車両特徴検証処理部１０８で用いられる。

また、本実施例では、画像取得部１０３で取得された画像に対して処理を行ったが、画像取得部１０４で取得した画像に対して処理を行っても良い。さらに、雨滴等で片側でのカメラで車両などの対象が正しく撮像できない場合を考え、両方の画像で車両領域を特定し、どちらか相関度が高い方を使用するという構成にしても良い。このように、パターンマッチングを行い、領域を特定することで、例えば二値化で分離できないような二人の人が近接している場合でも、分離して特定することが可能となる。

車両距離算出処理部１０６では、車両領域特定処理部１０５で得られた車両の領域の画像と、画像取得部１０４で得られた画像を用いて、実空間での車両までの距離を算出する。図３に、ステレオカメラを用いた一般的な距離計測原理を示す。図中の記号Ｄは、レンズ３０２、レンズ３０３の面から計測点３０１までの距離を表し、ｆはレンズ３０２およびレンズ３０３と撮像面３０４と撮像面３０５との距離（焦点距離）を表し、ｂはレンズ３０２とレンズ３０３の中心間の距離（基線長）を表し、ｄは計測点３０１がレンズ３０２を通して撮像面３０４に撮像される位置と、計測点３０１がレンズ３０３を通して撮像面３０５に撮像される位置との差（視差）を示す。これらの記号の間には、三角形の相似の関係より以下の数式が成り立つ。
（数１）
Ｄ＝ｂ×ｆ／ｄ （１）
この数式（１）より焦点距離ｆと基線長ｂは、カメラの構成により決まる定数なので、距離Ｄを求めるには、左右のレンズでの見え方のズレである視差ｄが求まれば良い。この視差ｄを求める方法の一例を、図４を用いて説明する。図４は、カメラ１０１を左に、カメラ１０２を右に設置した場合に、カメラ１０１で撮像した画像を左画像（第１の画像）４０３、カメラ１０２で撮像した画像を右画像（第２の画像）４０４として表している。この左画像４０３に対して、車両領域特定処理部１０５を行った結果が車両領域４０１とする。左右のカメラが同じ対象が同じ画像上での高さになるように設置されているとすると、右画像４０４の中から車両領域４０１の画像上での高さで、左画像４０３の車両領域４０１の画像と最も一致度の高い領域を探索することで、右画像４０４の中から同じ対象の車両領域４０２を求めることができ、車両領域４０１と車両領域４０２のズレ量より視差ｄを算出することができる。このとき、最大となった一致度が予め定めた閾値よりも低い場合は、車両領域特定処理部１０５で認識された結果は誤認識であったとして、次の処理対象から外す。一致度に関しては、各画素同士の輝度差の絶対値の総和（Sum of the Absolute Differences : SAD）を用いることで算出できる。以上より、視差ｄが求まるので、数式（１）を用いて、車両までの実空間での距離Ｄを算出する。このように画像の大きさの単位で視差を求めることにより、例えば４×４画素のブロック単位の視差算出に比べ、局所的な一致度ではなく、大局的な一致度となるため、局所的な解に陥りにくく、より信頼度高く算出することができる。さらに、一致度最大となった視差の前後周辺のSAD結果に対して、例えば、二次関数近似により、その頂点を求めることで、ピクセル単位ではなく、サブピクセル単位で視差を算出することができ、より高精度に距離を算出することができる。

車両特徴算出処理部１０７では、車両距離算出処理部１０６で求まった車両までの距離と、車両領域特定処理部１０５で求まった車両領域より、車両の特徴量を算出する。図５に示すように、前方に車両５０１の実空間での幅Ｗは、レンズ５０２を通して、撮像面５０３にｗの幅で撮像される。車両領域特定処理部１０５で求めた車両領域には、撮像面上での車両の幅ｗも算出されているので、車両距離算出処理部１０６で求めた車両までの距離Ｄを用いて、以下の数式２で実空間での車両の幅Ｗを算出する。
（数２）
Ｗ＝ｗ×Ｄ／ｆ （２）
この数式２により実空間での車両の幅Ｗを算出する。本実施例では、車両の幅だけを算出したが、他の特徴量として、例えば、実空間での車両の高さも同様に算出することができる。また、道路の白線等から実空間での路面勾配が既知であれば、さらに実空間での道路面からの高さも算出することができる。

車両特徴検証処理部１０８では、車両領域特定処理部１０５で求めた種類と、車両特徴算出処理部１０７で算出された実空間での特徴量より、検証処理を行う。具体的には、本実施例の場合は、車両という種類で認識しているので、車両として取りうる幅、例えば、１．４ｍ〜２．５ｍとして、車両特徴算出処理部１０７で算出された実空間での幅がその範囲内にあるかを判別し、範囲内であればそのまま車両対象選択部１０９に制御対象候補として送り、範囲外であれば出力しない。これにより、車両領域特定処理部１０５、もしくは、車両距離算出処理部１０６が間違っている場合には、その間違いを見つけることができ、より信頼度の高い出力をすることができる。このときに、例えば図６に示すように１つの車両に対して複数の制御対象候補が存在する場合は、その中でも、ＳＡＤの一致度が最も高く、面積も最大のものを選ぶ。具体的には、制御対象候補６０１〜６０３のうち、一致度の最大値を算出し、その最大値から一定の閾値以上の差があるものは、除去する。これにより、車両の外側になる制御対象候補６０３は背景により一致度が低くなるので、候補から外れる。次に、除去されずに残った制御対象候補６０１と６０２の画像上での面積を比べ、最大のものを残す。これにより、車両の内側にある制御対象候補６０２は一致度が高くなるが面積は低いので、制御対象候補６０１のみが残り、間違った領域の制御対象候補は除去される。本実施例では、認識の種類を車両のみとし、検証する特徴を幅だけとしたが、認識の種類を、軽自動車や普通車、トラックといった大きなくくりでの車両の種類、更に細かく、車種とすることで、検証時の特徴の幅を更に絞り込むことができ、さらなる高い信頼度で検証を行うことができる。また、車両だけでなく、人や標識、その他にも画像より認識でき、その大きさが規定されているものであれば、同様に検証を行うことができる。

車両対象選択処理部１０９では、車両特徴検証処理部１０８で検証された信頼度の高い車両領域情報のうち、どれが制御対象としてふさわしいかを選択する。具体的には、舵角やヨーレート、車速を用いて、自車両の進行路を予測し、その進行路上で最も手前にある車両を制御対象として出力する。

車両制御装置１１０は、ステレオカメラ装置１００から、ＣＡＮバス等を介して送られてくる制御対象の情報、例えば、実空間での距離、相対速度等より、衝突の危険性があるかどうかを判別し、危険性がある場合は、まずは警報を鳴らし、衝突の回避行動をドライバーに促し、最終的に回避ができなくなった場合には、自動ブレーキにより、衝突回避、もしくは衝突軽減を行う。

以上のように、本発明によれば、遠方においても見つけることができ、かつ、前記領域でのステレオ視を行うことで高精度な距離計測ができ、さらに実空間での大きさを前記認識された種類で検証することにより、正確に認識対象を検出することができる。

また、一致度の最大値を算出し、その値より閾値以上に小さい領域を候補から外すことで、実際の認識対象物の領域よりも大きな領域を排除することができる。次に、残った領域の中で、最も大きな領域を選択することで、実際の認識対象物の領域よりも小さな領域を排除することができる。これにより、認識対象物に最もマッチした領域を選択することができ、実空間での特徴をより正確に算出することができる。

実施例１のステレオカメラ装置では、遠距離や近接している場合でも認識対象を正確に検出することができることを述べたが、雨天時や霧、降雪時には、フロントガラスに雨滴が着いたり、前方を走行する車両までの空間に雨や霧、雪などが存在したりするため、画像の劣化がおきる。この場合、例えば、前方を走行する車両の画像が一部左右で異なったり、車両のエッジがボケてしまったりし、正しく車両を検知できなくなることがある。

本実施例では、このような環境にもロバストに車両検知ができる、実施例１のステレオカメラ装置をベースに構成されたステレオカメラ装置について述べる。

基本的な構成は図１をそのまま利用するが、車両領域特定処理部１０５と車両特徴検証処理部１０８は、よりロバストな車両検知を行うため、中身の処理を変更する。

車両領域特定処理部１０５において、相関度が最大となるような画像上での領域を求めていたが、最大値だけでなく、極大となったときの相関度と画像上での領域も保持しておき、その相関度が閾値を超えた場合には、後段の処理に渡すようにする。

車両特徴検証処理部１０８では、実施例１と同様に検証処理を行うが、実施例１に比べて、車両領域特定処理部１０５で複数の領域候補を残しているので、図７に示すように制御対象候補７０２のように、制御対象候補７０１と画像上での幅、中心位置が同じ（図面上は見易さのため、少し横位置をずらしているが、同じ横位置を表している）で、画像上での高さの異なる領域候補が残る場合がある。そのため、画像上で幅、中心位置が同じである領域候補がある場合は、一致度が高い方を残す。これにより、背景を多く含む制御対象候補７０２が除去され、正しい制御対象候補７０１のみが残る。

さらに、雨天時などの環境が悪い場合は、ワイパーの払拭直後はフロントガラス上の雨滴がないため、画像のボケは比較的少ないが、次のワイパーの払拭までの間、雨滴により時間経過とともに画像のボケが大きくなっていく。この対策として、車両特徴検証処理部１０８での出力である制御対象候補の領域を次の処理フレームで車両領域特定処理部１０５において利用する。具体的には、一つ前のフレームで得られた制御対象候補の領域周辺に、車両領域特定処理部１０５で得られる車両の領域がなければ、一つ前のフレームで得られた制御対象候補の領域周辺で通常の閾値より低い閾値でのパターンマッチングを行い、結果閾値を超えて車両と認識されれば、今回フレームの車両の領域として、一つ前のフレームで得られた制御対象候補の領域を追加する。

ここで、一つ前フレームで得られた制御対象候補の領域周辺とは、例えば、一つ前のフレームで得られた制御対象候補の領域の左端と右端のちょうど中央を中心位置［ｐｉｘ］として、その中心位置の左右１０［ｐｉｘ］以内の中心位置で、かつ、一つ前のフレームで得られた制御対象候補の位置の左端と右端の差分を幅［ｐｉｘ］として、その幅±１０［ｐｉｘ］以内の幅であることとする。ここで、単純に固定値としたが、距離や相対速度、横位置変動速度に応じて変動させても良いし、自車両にヨーレートセンサを持っていれば、ヨーレートに応じて変動させても良い。これにより、雨滴によりエッジが出にくいときにも、検出が可能となる。また、本実施例では一つ前のフレームのみについて説明したが、それ以前のフレームも同様に使用することが可能である。

このように今回フレームで対象物領域特定手段で雨滴等により画像が劣化し、検出できなかった場合にも、閾値を通常よりも低くすることで検出することが可能になり、より天候に対してロバストに認識対象を検出することができる。

また、一つ前のフレームで得られた認識対象物の領域情報と今回フレームまでの時間で、今回存在する可能な領域を予測し、今回検出されている認識対象物の存在領域と比較することで、近傍で重複して検出されることを防ぎ、かつ、不要な処理を減らすことができ、より正確で高速に処理を行うことができる。

以上より、雨天時などの環境が悪い場合における画像の劣化による、車両領域特定処理部１０５での検出結果での取りこぼしや、車両距離算出処理部１０６での取りこぼしを拾うことができ、後段の車両特徴検証処理部１０８で検証処理を行うことで、よりロバストで、正確な車両検知が可能となる。

１００：ステレオカメラ装置、１０１：カメラ、１０２：カメラ、１０３：画像取得部、１０４：画像取得部、１０５：車両領域特定処理部、１０６：車両距離算出処理部、１０７：車両特徴算出処理部、１０８：車両特徴検証処理部、１０９：制御対象選択処理部、１１０：車両制御装置

Claims (9)

1. 第１の撮像部と、
   第２の撮像部と、
   前記第１の撮像部から取得した第１の画像から、認識対象物の存在領域と、前記認識対象物の種類を特定する対象物領域特定処理部と、
   前記対象物領域特定処理部からの前記認識対象物の存在領域の画像と、前記第２の撮像部から取得した第２の画像から、前記認識対象物までの距離を算出する距離算出処理部と、
   前記距離算出処理部で算出された前記距離と、前記対象物領域特定処理部で求めた前記認識対象物の前記存在領域と、に基づいて、前記認識対象物の実空間での特徴量を算出する特徴算出処理部と、
   前記特徴算出処理部で算出された前記特徴量に基づいて、前記対象物領域特定処理部で特定された前記認識対象物の種類の検証を行う対象物特徴検証処理部と、を有するステレオカメラ装置。
2. 請求項１記載のステレオカメラ装置において、
   前記対象物領域特定処理部は、前記認識対象物の種類が車両の場合、前記第１の画像から縦方向の縦エッジを抽出し、複数の前記縦エッジ中から前記車両の候補となる縦エッジのみを残し、残った前記縦エッジからペアを作成し、予め定めたテンプレートを用いてパターンマッチング処理を実施し、相関度を算出し、算出された相関度の最大値が予め定めた閾値以上の場合は、前記車両であると特定するステレオカメラ装置。
3. 請求項２記載のステレオカメラ装置において、
   前記対象物領域特定処理部は、一つ前のフレームで得られた前記車両の存在領域に基づいて、前記第１の画像から、前記閾値以下の閾値を用いて、前記車両の存在領域と、前記車両を特定するステレオカメラ装置。
4. 請求項１記載のステレオカメラ装置において、
   前記対象物領域特定処理部は、前記第１の撮像部から取得した第１の画像と前記第２の撮像部から取得した第２の画像の、それぞれの画像から認識対象物の存在領域と、前記認識対象物の種類を求め、相関度が高い方を特定するステレオカメラ装置。
5. 請求項１記載のステレオカメラ装置において、
   前記距離算出処理部は、前記対象物領域特定処理部で特定された前記第１の画像内の前記存在領域の画像上の高さで前記第２の画像内の一致度を算出し、一致度の最大値が予め定めた閾値以上となる領域を探索することで前記第２の画像内から同じ認識対象物の存在領域を求め、２つの存在領域に基づいて前記認識対象物までの距離を算出するステレオカメラ装置。
6. 請求項１記載のステレオカメラ装置において、
   前記対象物特徴検証処理部は、前記特徴算出処理部で算出された前記特徴量が、予め記憶された前記認識対象物の種類に対応する特徴量の範囲内であるか否かを判定し、範囲内であれば、前記対象物領域特定処理部で特定された前記認識対象物の候補を検証結果として出力し、範囲外であれば、出力しないステレオカメラ装置。
7. 請求項１記載のステレオカメラ装置において、
   前記対象物特徴検証処理部で検証された前記認識対象物の候補の中から自車両の進行路上で最も手前に存在する前記認識対象物を制御対象として出力する対象選択処理部を、有するステレオカメラ装置。
8. 請求項２記載のステレオカメラ装置において、
   前記対象物領域特定処理部は、算出された相関度の最大値及び極大値が予め定めた閾値以上の場合は、前記車両であると特定するステレオカメラ装置。
9. 請求項８記載のステレオカメラ装置において、
   前記対象物特徴検証処理部は、前記第１の画像上で幅、及び中心位置が同じである領域候補がある場合は、一致度が高い方を領域候補として残すステレオカメラ装置。