JP2015153253A - 車載用認識装置 - Google Patents

Abstract

【課題】より短い処理時間で対象物を認識できる車載用認識装置を得ること。
【解決手段】本発明の車載用認識装置は、一対の撮像部６０１、６０２で同時に撮像された一対の画像のうち、いずれか一方の画像から対象物を認識する車載用認識装置であって、一対の画像を用いて視差を計測する視差計測部６０３と、対象物の過去の位置から対象物の現在の位置を推定する物体情報推定部６０４と、視差計測部６０３の計測結果と物体情報推定部６０４の推定結果とに基づいて一対の画像の少なくとも一方に対象物の隠れが発生しているか否かを判断する隠れ判断部６０７と、隠れ判断部６０７の判断結果に基づいて一対の画像から対象物を認識可能な画像を選択する画像選択部６０８と、選択した画像を用いて対象物を認識する物体認識部６０５を有する。
【選択図】図６

Description

本発明は、画像処理により物体を認識する車載用認識装置に関する。

近年、車載分野においてカメラを通して周辺の車両や走行レーンを認識し、事故を未然に防ぐ車載画像認識システムが広まりつつある。認識対象となる物体は多様化しており、車両のほかにも歩行者や道路速度標識など認識する場合がある。その一手段として二つのカメラを用いて三角測量の原理で距離測定を行うステレオカメラの技術がある。ステレオカメラでは、二つのカメラの横方向の対応点を求めて、その変位を視差とし、視差により自車から対応点までの距離を算出し、それを距離画像として持つ。そして、ステレオカメラでは、カメラを用いているため、視差により距離を測定する以外にも、例えばカメラで撮像された見えのパタン情報をそのまま用いても物体を認識することが出来る。

特許文献１には、ステレオカメラを用いた標識認識の技術が記載されている。特許文献１の技術では、標識の領域をまず距離画像で推定し、その次にその距離から標識のおおよその大きさを推定し、その大きさに従ったテンプレートマッチングを実施する事で標識認識を実現している。

特許文献２には、ステレオカメラに限らないものの複数のカメラを用いる車載画像認識システムにおいて、一方のカメラにおいてレンズの汚れなどによって検出対象の物体が認識できなければ、もう片方のカメラにおいて認識処理を実施し、検出対象の物体を発見する手法が記載されている。特許文献２の技術では、どちらか一方の画像において認識できない状況が発生しても、他方の画像で見えていれば検知漏れを防ぐことができる。

特開2006-3994号公報 特許第4654208号公報

しかしながら、特許文献１に記載されている標識認識の方法では、２つある画像のうち、片方の画像でしか認識しない。したがって、片方の画像には映っていないがもう片方の画像に標識が映っている場合は、標識を認識できないという問題がある。

特許文献２に記載されている技術の場合、両方の画像を認識する事で検知漏れを防ぐ事は出来るが、複数の画像に対してそれぞれ認識処理を実施するので、１つの画像に対してのみ行う認識処理に比べて処理時間がかかる。特に計算資源の厳しい組み込みシステムにおいては、処理時間は出来るだけ減らしたいという要求がある。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、より短い処理時間で対象物を認識できる車載用認識装置を提供することである。

上記課題を解決する本発明の車載用認識装置は、一対の撮像部で同時に撮像された一対の画像のうち、いずれか一方の画像から対象物を認識する車載用認識装置であって、前記一対の画像を用いて視差を計測する視差計測部と、前記対象物の過去の位置から前記対象物の現在の位置を推定する物体情報推定部と、前記視差計測部の計測結果と前記物体情報推定部の推定結果とに基づいて一対の画像の少なくとも一方に前記対象物の隠れが発生しているか否かを判断する隠れ判断部と、該隠れ判断部の判断結果に基づいて前記一対の画像から前記対象物を認識可能な画像を選択する画像選択部と、該選択した画像を用いて対象物を認識する物体認識部とを有することを特徴としている。

本発明によれば、対象物との間に存在する物体によって一方のカメラにしか映っていない場合においても、両方の画像に対して認識処理せずに、一方だけの画像に対して認識処理をするので、全体の処理時間を削減できる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ステレオカメラによる画像認識システムの処理例を示すフローチャート。 視差導出の詳細例を説明する図。 基準画像の後に参照画像を認識する従来の処理例を示す図。 右画像で標識が不可視となる画像例を示す図。 左画像で標識が不可視となる画像例を示す図。 ステレオカメラによる画像認識システムの構成例を示す図。 物体認識の処理例を示すフローチャート。 隠れ判定処理の処理例を示すフローチャート。 逆基準画像の生成方法の一例を示すフローチャート。 逆基準画像の生成方法の他の一例を示すフローチャート。 隠れ率に基づいた隠れ判定処理の処理例を示すフローチャート。 逆基準画像を最初に作る場合の物体認識の処理例を示すフローチャート。 逆基準画像を最初に作る場合の隠れ判定処理の処理例を示すフローチャート。

以下、本発明の実施例について図面を参照して詳述する。
図１は、ステレオカメラによる画像認識システムの処理例を示すフローチャートである。

ステレオカメラは、車両に搭載されており、車両前方を撮像する左右一対の撮像部（カメラ）を有している。ステレオカメラでは、一対の撮像部で撮像した右画像と左画像をそれぞれ取得する（Ｓ１０１、Ｓ１０２）。そして、右画像と左画像における見えのパタンの差分から三角測量の原理によって撮像されている物体までの距離を計測する。距離を測る為に、二つの撮像部が同じ物体を映しているとき、右画像と左画像の２つの画像座標上でどの程度、その物体が離れているかを示す指標である視差を求め、視差画像を生成する（Ｓ１０３）。

図２は、視差導出の詳細例を説明する図である。
まず、基準となる画像として右画像と左画像のいずれを用いるのかを決め、その基準画像を小さな矩形ブロック画像に区切って分割する。この基準となる画像を、ここでは基準画像２０１と呼び、以下の説明では、特に断らない限り、右画像（ＩＲ（ｘ，ｙ）)）とする。基準画像２０１を小さな矩形ブロック画像２０２に分割した後、その矩形ブロック画像毎に一致する領域をもう一方の画像２０４に対して画像の横方向（ｘ方向）２０３にｍａｘｄ画素長、探索する。この探索されるもう一方の画像を、参照画像２０４と呼び、以下の説明では、特に断らない限り、左画像（ＩＬ（ｘ，ｙ））とする。なお、（ｘ、ｙ）は画像座標を示す。あるブロックについて左画像において探索を開始する座標を、ブロックを切り出した右画像の座標と同じとし、その座標から探索する際の変位をｄとし、その変位ｄにおけるブロック同士の一致度を測る類似度をＳ（ｘ，ｙ，ｄ）とすると、視差Ｄｒ（ｕ，ｖ）は以下の様に求まる。

Ｄｒ（ｕ，ｖ）＝ａｒｇｍａｘ（Ｓ（ｘ，ｙ，ｄ））…（式１）

ここでａｒｇｍａｘは最も大きいＳを与えるｄ（０≦ｄ＜ｍａｘｄ）を出力する関数である。

また、視差画像座標ｕ，ｖと基準画像ｘ，ｙの関係をここではブロックのサイズを縦横ｓｘ，ｓｙとして、
ｕ＝ｘ＊ｓｘ，ｖ＝ｙ＊ｓｙ …（式２）
とおく。

このＤｒをそのまま視差画像Ｄとして扱う事もあるが、ここでは以下の様にＤを生成する。

参照画像をブロックに区切って、やはり基準画像に対して横方向に探索する。但し、探索する方向は、横方向２０３とは逆方向とする。Ｄｒと同様に、Ｄｌを求め、最終的な視差画像は適当な閾値Ｔｄを用いて以下の様に求める。

Ｄ（ｕ，ｖ）＝ｉｆ（｜Ｄｒ（ｕ，ｖ）−Ｄｌ（ｕ−Ｄｒ（ｕ，ｖ），ｖ）｜＜Ｔｄ）
ｔｈｅｎ Ｄｒ（ｕ，ｖ）
ｅｌｓｅ φ

この処理は左右画像チェックと呼ばれる。つまり、視差画像生成の際に、右画像からブロックを作成して右画像を基準として生成した視差画像Ｄｒと左画像からブロックを作成して左画像を基準として生成した視差画像Ｄｌを比較して視差画像Ｄを生成する（視差画像生成部）。これは誤マッチング等を抑制する手法である。φは視差が無効な状態であり、例えば一方の画像で物体が別の手前にある物体に隠れている場合は、探索処理時にブロックが一致する所が無い為に、視差を求める事が出来ない。φの判定は、左右画像チェックのほかにも、マッチング時に最小を取るＳ（ｘ，ｙ，ｄ）の大きさなどによって行われる。

例えば、今、検出したい物体の視差がＤ（ｕｏ，ｖｏ）で与えられたとすると，この物体までの距離（Ｚ）は、上記の視差と撮像部のレンズの焦点距離（ｆ）、撮像素子の画素間隔（δ）、撮像部同士の基線長（ｂ）から、以下の式で求めることができる。

Ｚ＝ｂ＊ｆ／（Ｄ（ｕｏ，ｖｏ）＊δ）…（式３）

視差画像Ｄ（ｕ，ｖ）を求めた後は、検知対象の物体（対象物）がどこにあるかを絞り込む物体情報推定処理を実施する（Ｓ１０４）。その処理方法として例えば、（１）似た視差を持つ近接領域をまとめてラベリングし、それを１つの物体としてみなす。同じ物体には同じラベルが振られる事が期待される。（２）見えのパタン情報から検知対象の物体のおおよその位置を絞り込む。（３）１つ前のフレームなどの認識情報があれば、その情報から現在の位置を自車挙動等から推定する、などが挙げられる。

以下の説明では、上記（１）の処理方法を用いた場合の視差ラベル画像をＬ（ｕ，ｖ），として示す。上記した処理方法により、絞り込んだ領域に対して、Ｌ（ｕ，ｖ）において同じラベルが振られた領域の形状や、元の基準画像ＩＲ（ｘ，ｙ）の見えのパタンを解析することで、その物体が何かを特定する物体認識を行う（Ｓ１０５）。何かとは例えば、道路標識や歩行者、先行車両などが考えられる。なお、ある位置（ｕ，ｖ）の見えの情報は、上記の（式２）によって直ちに求めることができ、その結果は、ディスプレイや制御装置などに伝達される（Ｓ１０６）。

検知対象の物体としては様々なものが考えられるが、本実施例では道路標識の種類を認識対象とした場合について考える。例えば、速度標識では標識に表示されているパタンが３０ｋｍ／ｈなのか、４０ｋｍ／ｈなのか、等を認識する必要がある。

図４は、右画像で標識が不可視となる画像例を示す図であり、図５は、左画像で標識が不可視となる画像例を示す図である。

図４では、ステレオカメラによって撮像された左右の時系列画像を示し、目的の検知対象の物体４０３が、別の手前にある物体４０２に隠れている例を示す。この時系列画像は自車が前進し、前方車両４０１と右側方車両４０２も自車両と同方向に等速で前進している例である。フレームＮｏ．１〜フレームＮｏ．３は、予め設定された所定の時間間隔をあけて順番に撮像されたものである。

各画像の右側方に描いた四角と丸の組み合わせの物体が道路標識４０３の例を示すものである。道路標識４０３は、道路４０４の右端に設置されており、フレームＮｏ．１では左右の画像のどちらにも映っているが、フレームＮｏ．２ の右画像では、自車が進み、同様に進んでいる他の車両４０２の陰に隠れて、道路標識４０３の一部が見えなくなっている。一方、フレームＮｏ．２の左画像では、左の撮像部の位置が右の撮像部よりも左側にずれて離れているために、道路標識４０３の全体が車両４０２の陰から出て見えている。標識４０３は、フレームＮｏ．３の右画像では、車両４０２の陰に隠れて標識４０３の全体がほぼ見えなくなっている。その一方、フレームＮｏ．３の左画像では、車両４０２の陰から出て見えている。

図５では、見えなくなっている画像が図４と左右で逆転している例である。道路標識５０３は、道路５０４の左端に設置されており、フレームＮｏ．１においては、左右どちらの画像でも道路標識５０３は見えているが、フレームＮｏ．３の左画像では、標識５０３が車両５０２の陰に隠れて標識５０３の全体がほぼ見えなくなっており、フレームＮｏ．３の右画像では、標識５０３は、車両５０２の陰から出て見えている。

例えば図４もしくは図５のフレームＮｏ．２及びフレームＮｏ．３に示す状況では、左右の画像で見えのパタンが異なるので、視差が求まらず（Ｄ（ｕ，ｖ）＝φ）、視差画像を元に生成されるラベル画像をそのまま単純に用いても領域を絞り込むことはできない。この場合は、過去の検知結果や車両挙動からから現在のフレームの位置や距離を予測する。

具体的には、ヨーレートセンサ、自車速センサ、画像の情報などから１つ前のフレームと現フレームとの間の自車挙動を、世界座標上でΔＰで表し、１つ前のフレームで認識された標識の位置をＰ（ｔ−１）で表わすとすれば、現在のフレームにおける標識の位置Ｐ（ｔ）は、Ｐ（ｔ−１）＋ΔＰで表すことができる。この座標を画像座標系に変換することによって、画像座標系における現在のフレームの検知物体の位置を予測することができる。以上の例は、道路標識に限らず、対象物が静止物であれば適用できる。

対象物が移動物の場合は、フレーム間における移動体と自車の相対的な変位をΔＱとして１つ前のフレームで認識された標識の位置をＱ（ｔ−１）とすれば、現在のフレームにおける移動体の位置Ｑ（ｔ)は、Ｑ（ｔ−１）＋ΔＱで表すことができる。このようにして過去の検知結果や車両挙動によって予測された位置を、予測位置（ｕｐ，ｖｐ）と表記する。なお、予測された奥行き方向の座標によって、現在のフレームにおける視差も予測できこの視差を予測視差ｄｐとして以下では記述する。

予測された位置があれば、領域を絞り込むことができるので認識処理を実行できる。この様な場合に標識を認識する処理フローの一例を図３に示す。図３は、基準画像の後に参照画像を認識する従来の処理例を示す図である。

図３に示す従来例では、まず、対象物を基準画像で認識する。ここで、図５に示すように、もし参照画像の方のみで対象物の隠れが起こっていたとすると、基準画像には、見えのパタン情報が存在するので、対象物を認識することができる（Ｓ３０２でＹＥＳ）。

しかしながら、図４のフレームＮｏ．２、Ｎｏ．３の様に基準画像の方のみで対象物の隠れが起こっている場合だと、見えのパタン情報が無いので、対象物を認識することができない（Ｓ３０２でＮＯ）。

したがって、参照画像で認識すべく、まず、予測視差ｄｐから対象物が参照画像（ＩＬ）にて映っていると予測される位置を推定する（Ｓ３０３）。この参照画像における対象物の位置は（ＩＬ（ｕｐ＋ｄｐ，ｖｐ））で求まる。この場所の見えのパタン情報を用いて、参照画像（左画像）における認識処理をすれば、図４のフレームＮｏ．２、Ｎｏ．３の様な場合でも、対象物を認識することができる。対象物が左右の画像の両方ともに隠れている場合は（Ｓ３０５でＮＯ）、対象物を認識できないと判断し、認識処理は行わない。

上記した従来例の場合、図４のフレームＮｏ．２、Ｎｏ．３に示す状況で、認識処理を基準画像と参照画像で２回実施する必要がある。したがって、処理時間がかかるという課題があり、認識処理の回数を抑えて処理時間を短くすることが望まれている。

図６は、本実施例におけるステレオカメラによる画像認識システムの構成例を示す図である。
まず、左右一対の撮像部６０１、６０２により同時に撮像された左右一対の画像が視差計測部６０３に入力される。視差計測部６０３では、その入力に従って視差を算出し、視差を濃淡で示した視差画像を生成する。物体情報推定部６０４では、視差画像と、後述する物体情報テーブル６０６に登録された過去の物体情報を用いて、対象物の位置・大きさ・距離等の物体情報を推定する。過去の物体情報には、対象物の過去の位置とそのときに対象物が画像上において占める範囲が含まれる。ここで推定されるのは、前述した予測位置（ｕｐ，ｖｐ）、予測視差ｄｐなどである。また、推定される対象物の大きさとは、画像上において対象物が占めると予測される予測範囲である。

次に、画像選択部６０８で左右の画像のいずれか一方を選択し、物体認識部６０５で、その選択された画像における見えパタン情報や物体情報推定部６０４における推定情報等を用いて、物体の検知を実施する。画像選択部６０８では、隠れ判断部６０７の判断結果を用いて、一対の画像のうち、いずれか一方の画像を選択することが行われる。物体認識部６０５で検知された物体の位置情報・距離情報は、物体情報テーブル６０６に格納される。そして、物体の認識結果は、出力部６０９に出力される。

図７は、図６の構成に基づいた物体認識の処理例を示すフローチャートである。
まず、フレームＮｏ．１で対象物が初期検知される場合について説明する。初期検知とは、過去に対象物が検知されず、そのフレームで初めて認識されることを指す。過去に対象物が検知された否かは、物体情報テーブル６０６に、検知フラグ（Ｓ７０４）を持たせることで管理する。通常、対象物は複数あるが、本実施例では、説明の簡単化のため、１つの物体を管理しているとする。対象物があれば（検知できれば）ＯＮ，対象物が無ければ（検知できなければ）ＯＦＦとする。はじめは何も過去に情報が無いとする。

最初に、左右画像を取得し（Ｓ７０２）、視差画像を生成する（Ｓ７０３）。次に、過去情報が存在するか否かを判断するための検知フラグがＯＮとＯＦＦのいずれであるかを判断する（Ｓ７０４）。この時の検知フラグはＯＦＦなので、初期検知フローに移行する。

初期検知フローでは、前述したような、距離ラベル情報Ｌや直接画像の見え情報を処理することにより物体情報推定処理を実施する（Ｓ７０５）。そして、検知対象画像として左右一対の画像の中から基準画像（本実施例では右画像）を選ぶ（Ｓ７０６）。この処理は、図６における画像選択部６０８の処理に該当する。

次に、検知対象画像である基準画像を用いて物体を検知する認識処理を実施する（Ｓ７０７）。ここで、基準画像から対象物が検知された場合（Ｓ７０８でＹＥＳ）は、物体情報テーブル６０６に、その対象物の物体情報を登録する（Ｓ７０９）。登録する物体情報には、フレーム番号の情報と、自車に対する対象物の種類、位置、距離、対象物の大きさの情報が含まれており、例えば対象物が道路標識の場合には、道路標識の種類・位置・大きさ・距離等の情報が、フレームＮｏ．１の物体情報として登録される。この時、検知フラグをＯＮに変更する（Ｓ７１０）。一方、基準画像から対象物が検知されなかった場合には（Ｓ７０８でＮＯ）、検知フラグをＯＦＦとする（Ｓ７１３）。

次に、フレームＮｏ．２のときについて説明する。フレームＮｏ．１のときと同じく、左右画像を取得して視差計測を行い（Ｓ７０２、Ｓ７０３）、過去情報が存在するか否かを判断する（Ｓ７０４）。今回の処理では、検知フラグがＯＮなので、物体情報推定処理において、過去情報から現在のフレームにおける物体の位置・大きさ・距離（視差）を推定する（Ｓ７１４）。ここでは、前述した対象物の予測位置（ｕｐ，ｖｐ）と予測視差ｄｐに加え、推定された大きさ（ｓｘｐ，ｓｙｐ）を求める。ここで、推定大きさｓｘｐは、画像における対象物のｘ方向のサイズ、ｓｙｐは、画像における対象物のｙ方向のサイズを示す。対象物が速度標識の様に、丸い場合（円形の場合）は、その速度標識の半径ｒｐを、物体情報テーブル６０６に登録しておいても良い。

次に、対象物の予測位置（ｕｐ，ｖｐ）において自車との間に他の物体が存在して、対象物が隠れていないかどうかを隠れ判定処理で判定する（Ｓ７１５）。隠れ判定処理の詳細な内容については後述する。隠れ判定処理（Ｓ７１５）の判定結果を受けて、検知対象画像として左右のどちらの画像から見えのパタン情報を取得するかを決定する（Ｓ７１６）。例えば、隠れ判定処理（Ｓ７１５）において、可視画像（対象物が映っていると判定された画像）が、基準画像（右画像）であれば、検知対象画像として基準画像を選択する（Ｓ７１７）。そして、可視画像が、参照画像（左画像）であれば、検知対象画像として参照画像を選択する（Ｓ７１８）。そして、隠れ判定処理（Ｓ７１５）により、可視画像が無いと判定された場合、すなわち、基準画像と参照画像の両方に対象物が映っていないと判定された場合は、認識処理を実施せず、検知フラグをＯＦＦにする（Ｓ７１３）。

次に、Ｓ７１５における隠れ判定処理の詳細な内容について説明する。
図８は、隠れ判定処理の処理例を示すフローチャートである。

隠れ判断部６０７は、基準画像に対して隠れ判定（Ｓ８０１）をする基準画像判定部と、参照画像に対して隠れ判定（Ｓ８０３）をする参照画像判定部とに分けられる。基準画像判定部では、過去の検知情報と車両挙動情報等に基づいて予測された予測位置（ｕｐ，ｖｐ）から、現在の視差情報Ｄ（ｕｐ，ｖｐ）を求め、その周辺位置における視差の傾向が予測視差ｄｐより大きいか否かが判断される。判定式としては、下記の（式４）を使用することができる。

Ｄ（ｕｐ，ｖｐ）−ｄｐ＞Ｔ１ ・・・（式４）

上記の（式４）でＴ１は、予め設定される閾値である。

ここでは、視差の傾向が予測視差ｄｐより大きい（＝距離が予測よりも近い）場合に、対象物が他の物体によって隠れている、すなわち、対象物の隠れが発生していると判定され（Ｓ８０２でＹＥＳ）、視差の傾向が予測視差ｄｐ以下の場合に、対象物は他の物体によって隠れていない、すなわち、対象物の隠れが発生していないと判定される（Ｓ８０２でＮＯ）。

なお、周辺位置における視差の傾向がＤ（ｕｐ，ｖｐ）＝φ（視差無効）の場合には、対象物の隠れが発生しているとは判断されない。ここで、周辺位置は、予測される対象物の位置と、対象物のサイズ、予測誤差に基づいて設定される。例えば、予測誤差を縦横ともに±ｅｐとすると、周辺位置は、左上座標と右下座標を以下の様に定義した矩形として定義できる。左上座標：（ｕｐ−ｅ，ｖｐ−ｅ），右下座標（ｕｐ＋ｓｘｐ＋ｅ，ｖｐ＋ｓｙｐ＋ｅ）。視差の傾向は、この矩形領域内における上記条件の過多などから判定する。

基準画像判定部（Ｓ８０１）で基準画像に隠れが発生している（Ｓ８０２でＹＥＳ）と判定されれば、参照画像判定部（Ｓ８０３）に移る。基準画像に対象物の隠れが発生してない（Ｓ８０２でＮＯ）と判定されれば、可視画像を基準画像として出力する。

本ステレオカメラシステムでは、視差計測部はどちらか一方の画像を基準とした視差画像しか生成しない。したがって、参照画像で隠れが起こっているか否かが分からない。そこで、参照画像判定部Ｓ８０３で、逆基準視差画像Ｄ’（ｕ’，ｖ’）を生成し（Ｓ８０４）、その逆基準視差画像Ｄ’（ｕ’，ｖ’）に基づいて参照画像の隠れ判定を行う（Ｓ８０５）。逆基準視差画像Ｄ’（ｕ’，ｖ’）は、参照画像としていた左画像を基準画像とし、基準画像としていた右画像を参照画像とした逆基準視差を算出することによって生成される。

Ｓ８０５の隠れ判定では、逆基準視差画像生成部Ｓ８０４で生成されたＤ’を用いて、Ｄ’（ｕｐ＋ｄｐ，ｖｐ）を求め、その周辺位置における視差の傾向が予測視差ｄｐより大きいか否かを下記の（式５）を用いて判定する。

Ｄ’（ｕｐ’，ｖｐ’）−ｄｐ＞Ｔ２ ・・・（式５）

上記した（式５）が成立していれば、対象物の隠れが発生していると判断し（Ｓ８０６でＹＥＳ）、可視画像を無しとして出力する（Ｓ８０７）。一方、（式５）が不成立の場合、対象物の隠れが発生していないと判断し（Ｓ８０６でＮＯ）、可視画像を参照画像として出力する（Ｓ８０８）。この時の判定式は、基準画像判定部の時と同じように、適当な閾値Ｔ２を求めて判断すれば良い。上記の（式５）で用いたＴ２は、基準画像判定部の時と同じように、予め設定される閾値である。

逆基準視差画像の作り方にはいくつかあるが、例えば図９、図１０に２種類の逆基準画像生成部の詳細を示す。

図９は、逆基準画像の生成方法の一例を示すフローチャート、図１０は、逆基準画像の生成方法の他の一例を示すフローチャートである。

まず、図９に示す実施例では、視差画像Ｄ（ｕ，ｖ）から逆基準視差画像Ｄ’（ｕ’，ｖ’）を生成する。左右のどちらを基準画像として取っても物体までの距離は変わらず、物体の各画像での位置が横方向に変化するのみである。この横方向の補正量は、視差と等しく、Ｄ（ｕ，ｖ）である。すなわち
Ｄ’（ｕ’ｖ’）＝Ｄ’（ｕ＋Ｄ（ｕ，ｖ），ｖ）＝Ｄ（ｕ，ｖ）
の関係式が成り立つ。

Ｄ（ｕ，ｖ）＝φの際は変換対象とならない。式上はＤ（ｕ’，ｖ’）が複数の値を取り得るがその場合は例えばより大きな視差値を取る等する。

この様な逆基準視差画像を、予測位置（ｕｐ，ｖｐ）と予測視差ｄｐから求められるＤ’（ｕｐ＋ｄｐ，ｖｐ）の周辺に対して局所的に生成する。

次に、図１０に示す実施例では、視差計測部で生成された右画像からブロックを作成して右画像を基準として生成した視差画像Ｄｒと、左画像からブロックを作成して左画像を基準として生成した視差画像Ｄｌから、以下の様に生成する。

Ｄ’（ｕ’，ｖ’）＝ｉｆ（｜Ｄｒ（ｕ’＋Ｄｌ（ｕ’，ｖ’），ｖ’）−Ｄｌ（ｕ’，ｖ’）｜＜Ｔｄ）
ｔｈｅｎ Ｄｌ（ｕ’，ｖ’）
ｅｌｓｅ φ

図１１は、隠れ判定処理の別の実施例である。この実施例では、一対の画像のうち、対象物の隠れ度合いの小さな方を選ぶ。ここで、隠れ度合いとは、対象物に対してそれよりも手前にある物体が対象物をどれだけ遮蔽しているかであり、例えば、対象物の範囲内にある（式４）及び（式５）を満たす画素の割合で決定する。すなわち、基準画像における隠れ率をＣｒ，参照画像における隠れ率をＣｌとすると、
Ｃｒ＝ΣＵ（Ｄ（ｕｐ，ｖｐ）−ｄｐ−Ｔ）／Ｎ
Ｃｌ＝ΣＵ（Ｄ’（ｕｐ’，ｖｐ’）−ｄｐ−Ｔ）／Ｎ
で表される。

上記した式のＵ関数は、単位ステップ関数であり、引数の中身が０以上であれば１を、０未満であれば０を返す。Ｎは関心領域の画素数である。

図１１を用いて説明すると、基準画像判定部で基準画像における対象物の隠れ率を算出し（Ｓ１１０１）、参照画像判定部で参照画像における対象物の隠れ率を算出する（Ｓ１１０３）。

そして、隠れ率ＣｒとＣｌとの大小判定を行い（Ｓ１１０４）、隠れ率が参照画像よりも基準画像の方が小さく（Ｃｒ＜Ｃｌ）、かつ適当な閾値ＴＣよりも隠れ率Ｃｒの方が小さい（Ｃｒ＜ＴＣ）場合には（Ｓ１１０４でＹＥＳかつＳ１１０５でＹＥＳ）、隠れ判定処理は、可視画像を基準画像とする（Ｓ１１０６）。

一方、参照画像の隠れ率が基準画像の隠れ率以下（Ｃｒ≧Ｃｌ）かつ適当な閾値ＴＣよりも隠れ率Ｃｒの方が小さい（Ｃｒ＜ＴＣ）場合には（Ｓ１１０４でＮＯかつＳ１１０７でＹＥＳ）、隠れ判定処理は、可視画像を参照画像とする（Ｓ１１０８）。そして、いずれの場合でも閾値ＴＣを上回る場合は、可視画像は無しと判定して出力する（Ｓ１１０９）。

図１２には、処理フローの別の実施例であり、逆基準画像を最初に作る場合の物体認識の処理例を示すフローチャートである。そして、図１３は、逆基準画像を最初に作る場合の隠れ判定処理の処理例を示すフローチャートである。

図１２に示す処理例では、視差画像取得（Ｓ１２０３）の次に、逆基準視差画像（Ｓ１２０４）を生成する。逆基準視差画像の生成方法は、図９もしくは図１０に従うが、視差画像全体が対象領域になっている所が異なる。この時の隠れ判定処理（Ｓ１２１６）の処理は、図１３に示すフローの通りである。Ｓ１３０１で通常の視差画像を元にして隠れ判定を実施し、Ｓ１３０３では、図８と異なり、逆基準視差画像を生成せず、Ｓ１２０４で生成した逆基準視差画像をそのまま使用する。図８は、対象物ごとに毎回逆基準視差画像を生成するため、対象物が多い場合などは、図１２に示す処理の方が効率が良い場合もある。

上記した車載用認識装置によれば、対象物との間に存在する物体によって対象物が一方の画像にしか映っていない場合においても、両方の画像に対して認識処理せずに、一方だけの画像に対して認識処理をするので、全体の処理時間を削減することができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

６０１ 撮像部（左撮像部）
６０２ 撮像部（右撮像部）
６０３ 視差計算部
６０４ 物体情報推定部
６０５ 物体認識部
６０６ 物体情報テーブル
６０７ 隠れ判断部
６０８ 画像選択部

Claims (6)

1. 一対の撮像部で同時に撮像された一対の画像のうち、いずれか一方の画像から対象物を認識する車載用認識装置であって、
   前記一対の画像を用いて視差を計測する視差計測部と、
   前記対象物の過去の位置と範囲から前記対象物の現在の位置と範囲を予測位置と予測範囲として推定する物体情報推定部と、
   前記視差計測部の計測結果と前記物体情報推定部の推定結果とに基づいて一対の画像の少なくとも一方に前記対象物の隠れが発生しているか否かを判断する隠れ判断部と、
   該隠れ判断部の判断結果に基づいて前記一対の画像から前記対象物を認識可能な可視画像を選択する画像選択部と、
   該選択した可視画像を用いて対象物を認識する物体認識部と、
   を有することを特徴とする車載用認識装置。
2. 前記視差計測部は、前記一対の画像のいずれか一方の画像を基準画像とし、他方の画像を参照画像として視差画像を生成する視差画像生成部を有し、
   前記隠れ判定部は、前記他方の画像の前記予測範囲を基準画像とし、前記一方の画像の前記予測範囲を参照画像として逆基準視差画像を生成する逆基準視差画像生成部を有することを特徴とする請求項１に記載の車載用認識装置。
3. 前記逆基準視差画像生成部は、前記視差画像の視差に基づいて前記逆基準視差画像を生成することを特徴とする請求項２に記載の車載用認識装置。
4. 前記物体情報推定部は、前記予測位置に基づいて予測視差を算出し、
   前記隠れ判定部は、前記視差画像の視差と前記予測視差とを比較して、前記基準画像において前記対象物の隠れが発生しているか否かを判定する基準画像判定部と、該基準画像判定部により前記対象物の隠れが発生していると判定された場合に、前記逆基準視差画像の視差と前記予測視差とを比較して、前記参照画像において前記対象物の隠れが発生しているか否かを判定する参照画像判定部と、有することを特徴とする請求項３に記載の車載用認識装置。
5. 前記画像選択部は、前記基準画像判定部により前記基準画像において前記対象物の隠れが発生していないと判定された場合に、前記基準画像を前記可視画像として選択し、前記基準画像判定部により前記基準画像において前記対象物の隠れが発生しており、かつ、前記参照画像判定部により前記参照画像において前記対象物の隠れが発生していないと判定された場合に、前記参照画像を前記可視画像として選択することを特徴とする請求項４に記載の車載用認識装置。
6. 前記基準画像判定部は、前記予測範囲内における予測視差よりも視差画像の視差の方が小さい割合を基準画像隠れ率として算出し、
   前記逆基準画像判定部は、前記予測範囲内における予測視差よりも逆基準視差画像の視差の方が小さい割合を逆基準画像隠れ率として算出し、
   前記隠れ判定部は、前記基準画像隠れ率と前記逆基準画像隠れ率とを比較して、基準画像と参照画像のうち、隠れ率の小さい方を、前記可視画像として選択することを特徴とする請求項４に記載の車載用認識装置。

Images