JP2009265783A - 運転支援システム及び車両 - Google Patents

Abstract

【課題】画像上の立体物領域を推定する方法において、推定立体物領域から影領域やノイズを除去する。
【解決手段】運転支援システムは、車両の後方を撮影するカメラ部と、画像上の立体物領域を推定する画像処理装置とを備える。異なる時刻の撮影によって得た２枚のカメラ画像を視点変換して２枚の鳥瞰図画像を生成し、両鳥瞰図画像間の位置ずれを補正した後、両鳥瞰図画像間の差分画像から、立体物の影領域（ＳＲ）と立体物の本体の描画領域（ＴＲ）とを含む立体物候補領域を検出する。カメラ部の鳥瞰図座標面上への投影位置であるカメラ位置（ＣＰ）と立体物−地面間の接点（ＧＰ）とを結ぶ連結線（２２）の方向を立体物の分布方向として検出し、その分布方向を基準として、立体物候補領域から影領域（ＳＲ）を分離検出して除外する。
【選択図】図７

Description

本発明は、運転支援システムに関する。特に、移動体に取り付けられたカメラの撮影結果から立体物が描画されている立体物領域を推定する技術に関する。また本発明は、その運転支援システムを利用した車両に関する。

路面上に位置する立体物は車両にとって障害物となるが、その立体物を運転者が見落として接触事故が発生することがある。このような接触事故は、特に、運転者の死角領域において良く発生する。このため、運転者の死角となりやすい領域を監視するカメラを車両に搭載し、カメラから得られた画像を運転席付近に配置された表示装置に表示するという手法が提案されている。また、カメラから得たカメラ画像を鳥瞰図画像に変換して表示する技術も開発されている。鳥瞰図画像は車両を上空から眺めたような画像であるため、鳥瞰図画像の表示によって運転者は立体物との距離感をつかみやすくなる。

鳥瞰図画像を生成可能な運転支援システムにおいて、異なる時刻の撮影によって得られた２枚の鳥瞰図画像から立体物領域を推定する方法が提案されている（例えば、下記特許文献１参照）。この方法では、２枚の鳥瞰図画像の画像データに基づいて両鳥瞰図画像間の位置ずれを補正した後、両鳥瞰図画像間の差分画像に基づいて立体物領域を推定する。

しかしながら、太陽などの外部照明による立体物の影が画像上に現れている場合、この方法では、影部分と立体物の本体部分とを区別することができず、影部分も立体物の一部として検出することがある。結果、立体物の位置決定を正確に行うことができなくなるといった問題が生じうる。図２０に、影部分をも含んだ立体物領域の推定結果を示す。図２０及び後述の図２１（ａ）〜（ｄ）は、車両後方を撮影するリアカメラを用いることを想定している。図２０において、左側側が車両側に対応している。

また、上記方法に基づき立体物領域を推定する場合において、自車両自身（カメラ及び運転支援システムが設置された車両自身）の影の端部が立体物領域に含まれてしまう場合がある。この原因を図２１（ａ）〜（ｄ）を参照して説明する。図２１（ａ）〜（ｄ）において、下方側が車両側に対応している。

図２１（ａ）及び（ｂ）に、夫々、前回フレーム及び今回フレームにて撮影されたカメラ画像に基づく鳥瞰図画像を示す。図２１（ａ）及び（ｂ）において、符号９０１及び９０２が付された黒領域は、前回フレーム及び今回フレームの鳥瞰図画像中における自車両の影領域である。図２１（ｃ）は、位置ずれ補正後の前回フレームの鳥瞰図画像を示している。今回フレームの鳥瞰図画像と位置ずれ補正後の前回フレームの鳥瞰図画像との間において、路面上の対応点の座標値が一致するように位置ずれ補正がなされる。尚、図２１（ｃ）及び後述の図２１（ｄ）における斜線領域は、画像情報のない領域である。

図２１（ｂ）に示す今回フレームの鳥瞰図画像と図２１（ｃ）に示す位置ずれ補正後の前回フレームの鳥瞰図画像との間の差分画像を生成し、その差分画像の各画素値を二値化することで二値化差分画像が生成される。この二値化差分画像を図２１（ｄ）に示す。差分画像において、所定閾値以上の画素値を有する画素が相違画素として特定され且つそれ以外の画素は非相違画素として特定される。相違画素の画素値を１とする一方、非相違画素の画素値を０とした画像が二値化差分画像である。図２１（ｄ）において、画素値が１である部分を白く、画素値が０である部分を黒く示している。

路面上の対応点の座標値を一致させるための上記位置ずれ補正によって、通常は、差分画像において路面が現れる画素の画素値はゼロとなる。但し、この位置ずれ補正によって、自車両影部分の位置が対比画像間でずれ、結果、自車両影部分の端部（影のある部分とない部分の境界部）付近の画素が相違画素に分類される。図２１（ｄ）における白領域９１０は、この端部における画素が相違画素に分類されたことによって生じている。

また、画像データに基づく位置ずれ検出及びそれに基づく位置ずれ補正には誤差が含まれ、この誤差に由来して、路面上に描かれた平面標識（駐車枠の白線など）の端部が立体物領域に含まれてしまうという問題も生じる。立体物領域に含まれた平面標識の端部は、差分処理によって生じたノイズ（差分ノイズ）と捉えることができる。

尚、画像中のスミアの位置を利用して、太陽の位置及び自車両の影位置を特定する方法も提案されている（例えば、特許文献２参照）。しかしながら、カメラの取り付け角度によってはスミアが発生しないため、この方法は汎用性が乏しい。特に、車両の後方を監視するリアカメラは斜め下向きに設置されるため、基本的にスミアが発生しない。

特開２００６−２６８０７６号公報 特開２００７−３００５５９号公報

上記のような、立体物の影が現れる領域、自車両の影が現れる領域及び平面標識が現れる領域（差分ノイズ）は、真に検知すべき立体物が位置する領域ではないため、立体物領域から除外して推定されるべきである。

そこで本発明は、立体物領域の推定機能を備え、影領域などの不要領域が推定立体物領域に含まれることを抑制可能な運転支援システムを提供することを目的とする。また、本発明は、そのような運転支援システムを利用した車両を提供することを目的とする。

本発明に係る運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影するカメラ部を備え、前記カメラ部から得られるカメラ座標面上のカメラ画像に基づいて、立体物の画像データが現れる、前記カメラ画像に基づく画像中の立体物領域を推定する運転支援システムにおいて、前記カメラ部からの互いに異なる第１及び第２のカメラ画像を地面に平行な鳥瞰図座標面上に投影することによって、前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換する鳥瞰変換手段と、前記第１及び第２の鳥瞰図画像を対比することによって前記鳥瞰図座標面上における立体物候補領域を設定する候補領域設定手段と、前記立体物候補領域中の、前記立体物領域から除外されるべき不要領域を検出し、その不要領域を前記立体物候補領域から除外して得た残部領域より前記立体物領域を推定する立体物領域推定手段と、を備え、前記立体物領域推定手段は、前記カメラ部の前記鳥瞰図座標面上への投影位置であるカメラ位置と前記立体物候補領域に属する各画素である各候補画素の位置との位置関係に基づいて、前記不要領域を検出することを特徴とする。

第１及び第２の鳥瞰図画像を対比することによって設定された立体物候補領域には、影領域などの不要領域が含まれうる。上記位置関係を利用すれば、着目した候補画素が不要領域に属する画素であるのか否かを判断可能であることに着目し、運転支援システムは上記位置関係に基づいて不要領域を検出して、それを立体物候補領域から除外することにより立体物領域を推定する。これにより、影領域などが推定立体物領域に含まれることが抑制される。

具体的には例えば、前記立体物領域推定手段は、前記カメラ位置と各候補画素の位置とを結ぶ方向と前記鳥瞰図座標面上における前記立体物の分布方向との差に基づいて各候補画素が前記不要領域に属する画素であるか否かを判断し、その判断結果に基づいて前記不要領域を検出する。

カメラ位置から見て、鳥瞰図座標面上における立体物の分布方向とはかけ離れた方向に位置する候補画素は、立体物の画像データが現れる領域に属していない可能性が高い。このため、上記の如く方向差に基づいて不要領域を検出することが可能である。

より具体的には例えば、前記立体物候補領域に属する候補画素は第１〜第Ｎの候補画素を含み（Ｎは２以上の整数）、前記鳥瞰図座標面上において、前記カメラ位置と前記第１〜第Ｎの候補画素の位置とを結ぶ連結線を夫々第１〜第Ｎの連結線と呼んだ場合、前記第１〜第Ｎの連結線の方向は互いに異なり、前記立体物領域推定手段は、各連結線に沿った前記立体物候補領域の長さに基づいて前記分布方向を検出する。

更に具体的には例えば、前記立体物領域推定手段は、各連結線に対して前記長さを求め、最大の長さに対応する連結線の方向を検出すべき前記分布方向に含める。

また例えば、前記立体物候補領域に属する候補画素は第１〜第Ｎの候補画素を含み（Ｎは２以上の整数）、前記鳥瞰図座標面上において、前記カメラ位置と前記第１〜第Ｎの候補画素の位置とを結ぶ連結線を夫々第１〜第Ｎの連結線と呼んだ場合、前記第１〜第Ｎの連結線の方向は互いに異なり、前記立体物領域推定手段は、各連結線に沿った前記立体物候補領域の長さに基づいて前記不要領域を検出する。

或る連結線に沿った立体物候補領域の長さが短い場合、その連結線上の候補画素は立体物の画像データが現れている画素ではないと推測される。このため、各連結線に沿った前記立体物候補領域の長さを参照すれば前記不要領域を検出することが可能である。

より具体的には例えば、前記立体物領域推定手段は、各連結線に対して前記長さを求めて、その長さが所定の下限長さより短い連結線を特定し、特定した連結線上に位置する候補画素が前記不要領域に属する画素であると判断することによって前記不要領域を検出する。

また例えば、所定の基準高さ以上を有する物体が前記立体物として取り扱われ、前記立体物領域推定手段は、各連結線に沿った前記立体物候補領域の長さと、前記位置関係及び前記基準高さに基づく前記鳥瞰図座標面上における前記立体物の最小長さと、を比較することによって、各候補画素が前記不要領域に属する画素であるか否かを判断し、これによって前記不要領域を検出する。

或る連結線に沿った立体物候補領域の長さが上記最小長さよりも短い場合、その連結線上の候補画素は立体物の画像データが現れている画素ではないと推測される。このため、上記の如く構成することにより適切に不要領域を検出可能である。

より具体的には例えば、前記最小長さは候補画素ごとに設定され、第ｉの候補画素に対する前記最小長さは、第ｉの候補画素の位置と前記カメラ位置との位置関係並びに前記基準高さ及び前記カメラ部の設置高さに基づいて設定され（ｉはＮ以下の自然数）、前記立体物領域推定手段は、第ｉの候補画素に対応する第ｉの連結線に沿った前記立体物候補領域の長さと、第ｉの候補画素に対して設定された最小長さとを比較し、前者が後者よりも短い場合に、第ｉの候補画素が前記不要領域に属する画素であると判断する。

また具体的には例えば、前記立体物候補領域が互いに分離した複数の候補領域から形成される場合、前記立体物領域推定手段は、前記立体物候補領域の長さとして前記複数の候補領域の夫々の長さを導出し、導出した各長さと前記最小長さを比較することにより、候補領域ごとに前記候補領域に属する候補画素が前記不要領域に属する画素であるか否かを判断する。

本発明に係る車両には、上記運転支援システムが設置されている。

本発明によれば、影領域などの不要領域が推定立体物領域に含まれることを抑制可能な運転支援システムを提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１に、本発明の実施形態に係る運転支援システムの構成ブロック図を示す。図１の運転支援システムは、カメラ部１と、画像処理装置２と、表示装置３と、を備える。カメラ部１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ部１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。

カメラ部１は、１以上のカメラから形成される。後述の第４実施例中にカメラ部１が２以上のカメラから形成される場合の動作を説明するが、特に述べない限り、カメラ部１は１つのカメラから形成されるものとする（従って、カメラ部１を単にカメラ１と読み替えることもできる）。

カメラ部１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ部１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ部１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ部１の特性によっては、レンズ歪み補正処理が省略されることもある。

図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ部１が配置される。車両１００は、例えば自動車である。水平面とカメラ部１の光軸とのなす角には、図２にθ_Aで表される角度とθ_Bで表される角度とがある。角度θ_Bは、一般的には、見下ろし角または俯角と呼ばれている。今、角度θ_Aを、水平面に対するカメラ部１の傾き角度として捉える。９０°＜θ_A＜１８０°且つθ_A＋θ_B＝１８０°、が成立する。

カメラ部１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ部１は車両１００に設置される。カメラ部１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。

カメラ部１として、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。

画像処理装置２は、座標変換を用い、カメラ画像を仮想カメラの視点から見た画像に変換することによって鳥瞰図画像を生成する。カメラ画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。

図３及び図４を参照する。カメラ部１の光軸方向に直交する面をカメラ座標面とする。図３及び図４において、カメラ座標面を面Ｐ_buで表す。カメラ座標面は、カメラ部１の固体撮像素子の撮像面に平行なカメラ画像の投影面であり、カメラ画像はカメラ座標面上に二次元配列された各画素によって形成される。また、カメラ部１の光学中心をＯで表すと共に、光学中心Ｏを通り且つカメラ部１の光軸方向に平行な軸をＺ軸とする。Ｚ軸とカメラ座標面との交点をカメラ画像の中心点とし、その中心点で直交する、カメラ座標面上の座標軸をＸ_bu軸及びＹ_bu軸とする。Ｘ_bu軸及びＹ_bu軸は、夫々、カメラ画像の水平方向及び垂直方向と平行である（但し、図４では、画像の水平方向が図面の上下方向となっている）。そして、カメラ画像上の或る画素の位置を座標値（ｘ_bu，ｙ_bu）で表す。ｘ_bu及びｙ_buは、夫々、その画素の、カメラ画像上の水平位置及び垂直位置を表している。カメラ画像の垂直方向は車両１００からの距離方向に対応しており、カメラ座標面上において、或る画素のＹ_bu軸成分（即ち、ｙ_bu）が増大すれば、カメラ座標面上における該画素と車両１００及びカメラ部１との距離は増大する。

また、地面に平行な面を鳥瞰図座標面とする。図４において、鳥瞰図座標面を面Ｐ_auで表す。鳥瞰図画像は、鳥瞰図座標面上に二次元配列された各画素によって形成される。鳥瞰図座標面上の直交座標軸をＸ_au軸及びＹ_au軸とする。Ｘ_au軸及びＹ_au軸は、夫々、鳥瞰図画像の水平方向及び垂直方向と平行である。そして、鳥瞰図画像上の或る画素の位置を座標値（ｘ_au，ｙ_au）で表す。ｘ_au及びｙ_auは、夫々、その画素の、鳥瞰図画像上の水平位置及び垂直位置を表している。鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹ_au軸成分（即ち、ｙ_au）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ部１との距離は増大する。

鳥瞰図画像は、カメラ座標面上に定義されるカメラ画像を鳥瞰図座標面上に投影した画像に相当し、この投影を行うための鳥瞰変換を公知の座標変換によって実現できる。例えば、透視投影変換を用いる場合、カメラ画像上の各画素の座標値（ｘ_bu，ｙ_bu）を下記式（Ａ−１）に従って鳥瞰図画像上の座標値（ｘ_au，ｙ_au）に変換することにより鳥瞰図画像を生成することができる。ここで、ｆ、ｈ及びＨは、夫々、カメラ部１の焦点距離、カメラ部１が配置されている高さ（設置高さ）及び上記の仮想カメラが配置されている高さである。尚、画像処理装置２は、ｆ、ｈ、Ｈ及びθ_A（図２参照）の各値を予め認識しているものとする。

実際には、式（Ａ−１）に従ってカメラ画像上の各画素の座標値（ｘ_bu，ｙ_bu）と鳥瞰図画像上の各画素の座標値（ｘ_au，ｙ_au）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリに予め格納することでルックアップテーブル（以下、「鳥瞰変換用ＬＵＴ」という）を形成する。そして、この鳥瞰変換用ＬＵＴを用いてカメラ画像を鳥瞰図画像に変換するようにする。勿論、カメラ画像が得られる度に式（Ａ−１）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。

画像処理装置２は、画像内における立体物領域を推定する機能を備える。立体物領域とは、立体物が描画されている領域を意味する。立体物とは、人物などの高さのある物体である。地面を形成する路面などは、高さがないため立体物ではない。立体物は、車両１００の走行にとっての障害物となる。

鳥瞰変換では、鳥瞰図画像が地表面において連続性を有するように座標変換が行われる。従って、同一の立体物を互いに異なる２つの視点で撮影して２つの鳥瞰図画像を得た場合、原理上、両鳥瞰図画像間において、路面の画像は一致するが立体物の画像は一致しない（例えば、特開２００６−２６８０７６号公報参照）。この特性を利用して立体物領域を推定することができる。但し、太陽などの外部照明による立体物の影が画像上に現れている場合、その特性を利用するのみでは、その影部分と立体物の本体部分とを区別することができず、結果、立体物の位置決定精度が劣化する。このような問題に鑑み、画像処理装置２には、影部分と立体物の本体部分とを区別する機能が設けられる。

以下に、この機能を含む運転支援システムの動作内容又は構成を詳細に説明する実施例として、第１〜第５実施例を説明する。矛盾なき限り、或る実施例に記載した事項を、他の実施例に適用することもできる。

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、立体物自体が地面上で移動している場合を想定する。まず、この移動体の本体部分と影部分を区別する方法の原理を説明する。

図５は、カメラ部１、太陽などの光源（外部照明）１１及び立体物１２の、実空間上における位置関係を示している。立体物１２は、カメラ部１の撮影領域内に位置している。符号ＳＲが付され且つドットで満たされた領域は、光源１１による、立体物１２の地面上の影領域を表している。図５に示すような位置関係を有する状態で撮影を行うことによって得たカメラ画像を鳥瞰変換した際、図６に示す如く、鳥瞰図画像上における立体物領域は、カメラ部１と立体物１２との連結線１５の、地面上への投影線１６方向に分布する。仮にカメラ部１を１つの照明と考えれば、鳥瞰図画像上における立体物領域は、その照明によって生成された立体物の影領域と捉えることができる。図６において、符号ＴＲが付された斜線領域は、鳥瞰図画像上の立体物領域に相当する、その影領域を表している。尚、当然ではあるが、立体物領域ＴＲとしての影領域は立体物の色情報を含有している一方で光源１１による影領域ＳＲは色情報を含有していない。

図７は、カメラ部１の鳥瞰図座標面上への投影図形２１並びに影領域ＳＲ及び立体物領域ＴＲを、鳥瞰図座標面上に示した図である。投影図形２１のＹ_au軸成分がゼロであると定義し、投影図形２１の位置、即ち、カメラ部１の鳥瞰図座標面上への投影位置を表す座標値を（ｘ_C，０）とする。座標値（ｘ_C，０）は、画像処理装置２に対して予め設定されているものとする。また、その投影位置を「カメラ位置」と呼び、座標値（ｘ_C，０）を有する点ＣＰを「カメラ位置点」と呼ぶ。厳密には例えば、カメラ部１の光学中心Ｏの、鳥瞰図座標面上への投影位置がカメラ位置とされる。また、点ＧＰは、鳥瞰図座標面上における立体物１２と地面との接点を表しており、その接点ＧＰの座標値を（ｘ_B，ｙ_B）で表す。

座標値（ｘ_C，０）及び（ｘ_B，ｙ_B）は、鳥瞰図座標面上（又は鳥瞰図画像上）における座標値であり、以下に述べる座標値は、特記なき限り、鳥瞰図座標面上（又は鳥瞰図画像上）における座標値であるとする。従って例えば、或る点又は画素の座標値が（ｘ_A，ｙ_A）であるといった場合、それは、その点又は画素の、鳥瞰図座標面上における座標値（ｘ_au，ｙ_au）が（ｘ_A，ｙ_A）であることを意味する。

図７において、符合２２が付された破線直線は、図６の投影線１６に対応する、カメラ位置点ＣＰと接点ＧＰとを連結する連結線（換言すれば、カメラ位置点ＣＰ及び接点ＧＰを通る直線）である。鳥瞰図画像上において、立体物領域ＴＲは接点ＧＰを起点としつつ連結線２２の方向に分布する一方で、影領域ＳＲは接点ＧＰを起点としつつも連結線２２の方向には分布しない。

図１の画像処理装置２は、このような立体物領域ＴＲの分布方向が連結線２２の方向に合致する特性を利用して、立体物の本体部分と影部分を分離する。即ち、２枚の鳥瞰図画像を対比することによって立体物領域ＴＲと影領域ＳＲを含む領域を抽出した後、その抽出領域を連結線２２に沿った領域とそうでない領域とに分類し、抽出領域から後者の領域を除去することによって立体物領域ＴＲのみを正確に抽出する。

図８を参照して、上述の原理に基づく立体物領域の推定方法を説明する。図８は、立体物領域の推定に特に着目した、運転支援システムの動作フローチャートである。図８に示すステップＳ１１〜Ｓ１８の各処理は、画像処理装置２にて実行される。図５〜図７を参照して想定した事項を、この動作の説明にも当てはめるものとする。

立体物領域を推定するためには、異なる時刻で撮影された複数のカメラ画像が必要である。そこで、ステップＳ１１において、画像処理装置２は、異なる時刻で撮影された複数のカメラ画像を取り込む。取り込んだ複数のカメラ画像が、時刻ｔ１の撮影によって得られたカメラ画像（以下、第１のカメラ画像と呼ぶ）と、時刻ｔ２の撮影によって得られたカメラ画像（以下、第２のカメラ画像と呼ぶ）と、を含むものとする。時刻ｔ１の後に時刻ｔ２が訪れるものとする。厳密には例えば、時刻ｔ１は第１のカメラ画像の露光期間中における中間時刻を表し、時刻ｔ２は第２のカメラ画像の露光期間中における中間時刻を表す。

また、時刻ｔ１−ｔ２間において、立体物１２がカメラ部１の撮影領域内で移動しているものとする。更に、時刻ｔ１−ｔ２間において、車両１００が移動しているものとする。従って、時刻ｔ１におけるカメラ部１の視点と時刻ｔ２におけるカメラ部１の視点は異なる。但し、時刻ｔ１−ｔ２間において、車両１００が静止していても構わない。

ステップＳ１１に続くステップＳ１２では、ステップＳ１１にて取り込んだ各カメラ画像を、上記式（Ａ−１）に基づく鳥瞰変換用ＬＵＴに従って鳥瞰図画像に変換する。第１及び第２のカメラ画像に基づく鳥瞰図画像をそれぞれ第１及び第２の鳥瞰図画像と呼ぶ。

時刻ｔ１−ｔ２間において車両１００が移動している場合、第１の鳥瞰図画像と第２の鳥瞰図画像との間に、その移動に応じた位置ずれが生じる。ステップＳ１２に続くステップＳ１３では、第１及び第２の鳥瞰図画像の画像データに基づいて該位置ずれを検出すると共に第１及び第２の鳥瞰図画像間におけるその位置ずれを補正する。路面上の同一点が第１及び第２の鳥瞰図画像上に現れるが、この位置ずれ補正後、第１の鳥瞰図画像上におけるその点と、第２の鳥瞰図画像上におけるその点は重なり合う。そして、位置ずれ補正後の両鳥瞰図画像を対比することによって立体物領域ＴＲ及び影領域ＳＲを含む領域を推定し、その推定領域を立体物候補領域として設定する。立体物候補領域は、立体物領域ＴＲと影領域ＳＲの合成領域に相当する。また、立体物候補領域に属する画素を、候補画素と呼ぶ。立体物領域ＴＲ及び影領域ＳＲと同じく、立体物候補領域は鳥瞰図座標面上に定義される領域である。

この立体物候補領域の推定方法、即ち影領域をも含んだ立体物領域の推定方法として、公知の方法を含む任意の推定方法を用いることができる。

例えば、特開２００６−２６８０７６号公報に記載の方法を用いることができる。この場合、周知の特徴点抽出器（Harrisのコーナ検出器など；不図示）を用いて第１の鳥瞰図画像から路面上の２つの特徴点を抽出し、第１の鳥瞰図画像と第２の鳥瞰図画像との間で画像マッチングを行うことにより、その２つの特徴点に対応する、第２の鳥瞰図画像上における２つの点を抽出する。その後、第１の鳥瞰図画像から抽出した２つの特徴点の座標値とそれに対応して第２の鳥瞰図画像から抽出された２つの点の座標値が一致するように、第１又は第２の鳥瞰図画像に幾何学的変換（アフィン変換など）を施す。これによって位置ずれ補正がなされる。そして、その幾何学的変換後の両鳥瞰図画像間の差分画像を生成し、その差分画像の各画素値を二値化することによって立体物候補領域を推定する。即ち、差分画像を形成する全画素の内、所定の閾値以上の画素値を有する画素を特定し、その特定した画素の集まりにて形成される領域を立体物候補領域として推定する。尚、画素値とは、例えば輝度値である。

２組の対応点を用いて立体物候補領域を推定する方法を例示したが、特開２００６−２６８０７６号公報でも述べられているように、３組以上の対応点を用いて立体物候補領域を推定してもよい。また、特開２００３−４４９９６号公報などに記載された方法に従って、立体物候補領域を推定するようにしてもよい。

或いは、第１及び第２の鳥瞰図画像間の位置ずれは、時刻ｔ１と時刻ｔ２との間の車両１００の移動量及び移動方向に従って生じるものであるため、その移動量及び移動方向を示す、車両１００に搭載されたセンサの出力信号に基づいて、第１及び第２の鳥瞰図画像間の位置ずれを検出するようにしてもよい。そのセンサには、特開２００１−１８７５５３号公報で示されたような車輪速センサ及び舵角センサが含まれる。センサを用いて検出された位置ずれに基づく位置ずれ補正は、上述と同様、第１又は第２の鳥瞰図画像に幾何学的変換を施すことによって実現され、位置ずれ補正後の第１及び第２の鳥瞰図画像において、路面上の対応点同士は重なり合う。位置ずれ補正後の動作は上述したものと同様である。

ステップＳ１３に続くステップＳ１４及びＳ１５では、図７の連結線２２に対応する、カメラ位置点ＣＰと接点ＧＰとを結ぶ直線を立体物分布中心線として検出する。立体物分布中心線は、鳥瞰図座標面上における立体物１２の分布方向に沿った直線であるため、立体物分布中心線の検出は該分布方向を求めることに等しい。

図９（ａ）及び（ｂ）を参照して、立体物分布中心線の検出方法を説明する。まず、図９（ａ）に示す如く、鳥瞰図座標面上に引かれた、カメラ位置点ＣＰを通るＱ本の直線Ｌ［θ₁］、Ｌ［θ₂］、・・・、Ｌ［θ_Q-1］及びＬ［θ_Q］を想定する（Ｑは２以上の整数）。Ｘ_au軸と直線Ｌ［θ₁］〜Ｌ［θ_Q］との成す角度θ₁〜θ_Qは互いに異なる。角度θ₁〜θ_Qは、それぞれＸ_au軸から見た直線Ｌ［θ₁］〜Ｌ［θ_Q］の角度であるとし、０°＜θ₁＜θ₂＜・・・＜θ_Q-1＜θ_Q＜１８０°、が成立するものとする。例えば、隣接する直線間の角度差を１度に設定する。この場合、θ₁＝１°、θ₂＝２°、・・・、θ_Q-1＝１７８°且つθ_Q＝１７９°となり、Ｑ＝１７９である。

そして、ステップＳ１４において、各直線Ｌ［θ₁］〜Ｌ［θ_Q］に沿った立体物候補領域の長さを、直線ごとに求める。図９（ｂ）に、直線Ｌ［θ₁］〜Ｌ［θ_Q］に含まれる３つの直線を、直線３１〜３３によって表す。直線３１及び３２は立体物候補領域と交わる。直線３１に沿った立体物候補領域の長さＬ₃₁は、直線３１と立体物候補領域が交わる部分の長さであり、その長さＬ₃₁は、直線３１上に位置する、立体物候補領域内の画素数に比例する。直線３２に沿った立体物候補領域の長さＬ₃₂は、直線３２と立体物候補領域が交わる部分の長さであり、その長さＬ₃₂は、直線３２上に位置する、立体物候補領域内の画素数に比例する。他方、直線３３は立体物候補領域と交わっていないため、直線３３に沿った立体物候補領域の長さＬ₃₃はゼロである。

このようにして、各直線Ｌ［θ₁］〜Ｌ［θ_Q］に沿った立体物候補領域の長さを求めた後、ステップＳ１５において、求めたＱ個の長さに基づき立体物分布中心線を検出する。今、直線Ｌ［θ₁］〜Ｌ［θ_Q］の直線番号を表す変数ｊを導入し、直線Ｌ［θ_j］に対して求めた長さをＬＬ［ｊ］によって表す（ｊは１以上Ｑ以下の整数）。ステップＳ１５では、まず、ステップＳ１４にて求めたＱ個の長さＬＬ［１］〜ＬＬ［Ｑ］の夫々と予め設定された基準長さＬ_REFとを比較することにより、直線Ｌ［θ₁］〜Ｌ［θ_Q］の内、基準長さＬ_REF以上の長さを有する直線を特定する（ここにおける長さとは、勿論、立体物候補領域の長さである）。尚、Ｌ_REF＞０、である。

図１０に、カメラ部１の撮影領域内に立体物が１つだけ存在している場合に得られる、長さＬＬ［ｊ］と直線番号ｊとの関係例を示す。図１０は、長さＬＬ［ｊ］と角度θ_jとの関係例を示す図でもある。図１０では、直線Ｌ［θ₁］〜Ｌ［θ_Q］の内、直線Ｌ［θ_jA］〜Ｌ［θ_jB］のみが、基準長さＬ_REF以上の長さを有していることが示されている。ここで、１＜ｊＡ＜ｊＢ＜Ｑ、である。この場合、直線番号ｊ（又は角度θ_j）の関数である長さＬＬ［ｊ］は、ｊＡ≦ｊ≦ｊＢの範囲内において極大長さ（極大値）をとる。ステップＳ１５では、この極大長さを有する直線を立体物分布中心線として検出する。即ち、直線Ｌ［θ_jA］〜Ｌ［θ_jB］を立体物分布中心線の候補として取り扱い、直線Ｌ［θ_jA］〜Ｌ［θ_jB］の内、最大の長さを有する直線を立体物分布中心線として選択する。例えば、上記の極大長さが図９（ｂ）に示す長さＬ₃₂であるならば、直線３２が立体物分布中心線として検出されることとなる。

尚、立体物の個数が１である場合、上記の極大長さは、長さＬＬ［１］〜ＬＬ［Ｑ］の内の、最大長さ（最大値）に等しい。故に、検出すべき立体物の個数が１つであることが分かっている場合には、単純に、長さＬＬ［１］〜ＬＬ［Ｑ］の内の最大長さを求め、求めた最大長さに対応する直線を立体物分布中心線として検出することも可能である。

尚、上述の処理例では、立体物候補領域を通らない直線（直線３３など）をも想定し、その直線に対しても立体物候補領域の長さを導出しているが、その想定及び導出を割愛することが可能である。従って、上述したように立体物候補領域に属する画素を候補画素と呼んだ場合、ステップＳ１４及びＳ１５では、以下のような処理がなされると言える。カメラ位置点ＣＰと候補画素とを結ぶ連結線（換言すれば、カメラ位置と候補画素の位置とを結ぶ連結線）を互いに異なる複数の候補画素に対して個別に設定し、各連結線に沿った立体物候補領域の長さを求め、極大長さに対応する連結線を立体物分布中心線として検出する。但し、各連結線の方向、即ち各連結線とＸ_au軸との成す角度は、異なる連結線間で異なるものとする。

上述の如くして立体物分布中心線が求められた後、ステップＳ１６の処理が実行される。ステップ１６では、立体物候補領域に属する全候補画素の中から、接点ＧＰに位置する候補画素を検出し、その候補画素の座標値を検出する。即ち、接点ＧＰの座標値（ｘ_B，ｙ_B）を検出する。具体的には、立体物分布中心線上に位置する候補画素の内、最もカメラ位置点ＣＰに近い候補画素の座標値を（ｘ_B，ｙ_B）とする。

ところで、鳥瞰図座標面上における立体物分布中心線の方程式は、カメラ位置点ＣＰの座標値（ｘ_C，０）及び接点ＧＰの座標値（ｘ_B，ｙ_B）を用いると、下記式（Ｂ−１）にて表され、この式（Ｂ−１）を変形すると式（Ｂ−２）が得られる。従って、立体物分布中心線の特性は、ｙ_B、（ｘ_C−ｘ_B）及び（−ｘ_Cｙ_B）を成分とする特性ベクトル（ｙ_B，（ｘ_C−ｘ_B），（−ｘ_Cｙ_B））で表すことができる。

他方、立体物候補領域に属する任意の候補画素に着目し、その着目した候補画素の座標値を（ｘ_A，ｙ_A）とすると、その着目した候補画素とカメラ位置点ＣＰとを結ぶ連結線の特性は、ｙ_A、（ｘ_C−ｘ_A）及び（−ｘ_Cｙ_A）を成分とする特性ベクトル（ｙ_A，（ｘ_C−ｘ_A），（−ｘ_Cｙ_A））で表すことができる。特性ベクトル（ｙ_A，（ｘ_C−ｘ_A），（−ｘ_Cｙ_A））は、カメラ位置と着目した候補画素の位置との位置関係を表している。そして、特性ベクトル（ｙ_A，（ｘ_C−ｘ_A），（−ｘ_Cｙ_A））に対応する連結線と、立体物分布中心線（即ち、図７の連結線２２）との相違度ＤＩＦは、式（Ｂ−３）の如く、上記２つの特性ベクトルの内積の絶対値で表すことができる。

相違度ＤＩＦは、着目した候補画素とカメラ位置点ＣＰとを結ぶ連結線の方向と、立体物分布中心線の方向との差に応じた値をとる。画像処理装置２は、相違度ＤＩＦの算出を介して、その方向差が比較的大きな連結線上の候補画素が影領域に属する画素であると判断する。

具体的には、ステップＳ１６に続くステップＳ１７において、式（Ｂ−３）に従い、立体物候補領域に属する候補画素ごとに相違度ＤＩＦを算出する。その後、ステップＳ１８において、候補画素ごとに相違度ＤＩＦと所定の閾値ＴＨ_DIFを比較することにより、各候補画素を必要画素と不要画素のどちらかに分類する。必要画素は、立体物の本体部分の画像データが現れていると推測される画素である。不要画素は、立体物の本体部分以外の画像データ（例えば、立体物の影部分の画像データやノイズ）が現れていると推測される画素である。相違度ＤＩＦが閾値ＴＨ_DIF以下となる候補画素が必要画素に分類され、相違度ＤＩＦが閾値ＴＨ_DIFよりも大きくなる候補画素が不要画素に分類される。そして、画像処理装置２は、不要画素に分類された候補画素を立体物候補領域から除外する。これにより、立体物候補領域から影領域が完全に或いは概ね除去される。

画像処理装置２は、不要画素の除外処理によって残った領域から最終的に検出すべき立体物領域の位置及び大きさを特定する。即ち、必要画素群から成る領域そのもの、または、その領域を囲む矩形領域を立体物領域として検出して、その検出した立体物領域の位置及び大きさを特定する。尚、この際、微小数の画素群から形成される領域は局所ノイズに由来するなどと判断して、立体物領域から除外するとよい。

特定された立体物領域の位置及び大きさは、第１又は第２の鳥瞰図画像上における立体物領域の位置及び大きさとして取り扱われる。立体物領域以外の領域は、高さのない路面等が描画された地面領域であると推定する。そして例えば、図１１に示す如く、検出された立体物領域を他の領域と区別して視認可能とするための指標を第１又は第２の鳥瞰図画像に重畳した表示用画像を生成し、それを表示装置３に表示する。図１１において、画像２０１は第１又は第２の鳥瞰図画像であり、重畳表示された破線四角枠２０２が上記指標に相当する。

尚、第１又は第２の鳥瞰図画像上における立体物領域の位置及び大きさに基づいて、第１又は第２のカメラ画像上における立体物領域の位置及び大きさを推定するようにしてもよい。カメラ画像から鳥瞰図画像を得るための幾何学的変換（上記の鳥瞰変換）の逆変換を、第１又は第２の鳥瞰図画像上における立体物領域に施せば、第１又は第２のカメラ画像上における立体物領域の位置及び大きさが求まる。

ステップＳ１１〜Ｓ１８から成る一連の処理は、繰り返し実行される。つまり、画像処理装置２は、カメラ部１から所定の周期にてカメラ画像を取り込み、順次得られるカメラ画像から表示用画像を順次生成して、最新の表示用画像を表示装置３に対して出力する。これにより、表示装置３には、最新の表示用画像が更新表示される。

上記の如く処理することにより、影領域を含まない正確な立体物領域を検出することができる。また、影領域を分離することに注目して運転支援システムの処理内容を説明したが、上記の処理によって、路面上の平面標識（駐車枠の白線など）に由来する差分ノイズも同時に除去される。

位置ずれ補正後の第１及び第２の鳥瞰図画像間で路面上の平面標識の座標値は理想的には完全に一致し、両鳥瞰図画像から生成される差分画像において、平面標識に相当する部分の画素の画素値は理想的には全てゼロとなる。しかしながら、実際には、位置ずれ検出及び位置ずれ補正には誤差が含まれるため、差分画像上の平面標識の端部には所定値以上の画素値が生じることがあり、結果、その平面標識の端部領域が立体物候補領域に含まれてくることがある。この平面標識の端部領域が差分ノイズに対応する。上記の処理を用いれば、立体物分布中心線の方向とは無縁の、このような差分ノイズが除去される。

尚、図１０を参照して、カメラ部１の撮影領域内に立体物が１つだけ存在している場合におけるステップ１５の動作を上述したが、カメラ部１の撮影領域内に複数の立体物が分離して存在している場合も、複数の立体物の夫々に対して個別にステップＳ１５〜Ｓ１８の処理を適用することにより、各立体物に対する立体物領域を推定可能である。例として、立体物が２つ存在している場合における動作を説明する。図１２を参照する。図１２は、カメラ部１の撮影領域内に立体物が２つ存在している場合に得られる、長さＬＬ［ｊ］と直線番号ｊとの関係例を示す図である。２つの立体物が第１及び第２の立体物から成るものとする。

図１２では、直線Ｌ［θ₁］〜Ｌ［θ_Q］の内、直線Ｌ［θ_jC］〜Ｌ［θ_jD］及び直線Ｌ［θ_jE］〜Ｌ［θ_jF］のみが、基準長さＬ_REF以上の長さを有していることが示されている（ここにおける長さとは、勿論、立体物候補領域の長さである）。ここで、１＜ｊＣ＜ｊＤ＜ｊＥ＜ｊＦ＜Ｑ、である。ｊＣ≦ｊ≦ｊＤの範囲内における直線Ｌ［θ_j］は第１の立体物に対応し、ｊＥ≦ｊ≦ｊＦの範囲内における直線Ｌ［θ_j］は第２の立体物に対応する。この場合、直線番号ｊ（又は角度θ_j）の関数である長さＬＬ［ｊ］は、ｊＣ≦ｊ≦ｊＤの範囲内において極大長さ（以下、第１の極大長さという）をとる一方で、ｊＥ≦ｊ≦ｊＦの範囲内において極大長さ（以下、第２の極大長さという）をとる。当然ではあるが、第１又は第２の極大長さ（極大値）は、長さＬＬ［１］〜ＬＬ［Ｑ］の内の、最大長さ（最大値）に等しい。

ステップＳ１５では、各極大長さに対応する直線の夫々を立体物分布中心線として検出する。今の例の場合、第１の極大長さを有する直線を第１の立体物分布中心線として検出すると共に、第２の極大長さを有する直線を第２の立体物分布中心線として検出する。即ち、直線Ｌ［θ_jC］〜Ｌ［θ_jD］を第１の立体物分布中心線の候補として取り扱い、直線Ｌ［θ_jC］〜Ｌ［θ_jD］の内、最大の長さを有する直線を第１の立体物分布中心線として選択する。同様に、直線Ｌ［θ_jE］〜Ｌ［θ_jF］を第２の立体物分布中心線の候補として取り扱い、直線Ｌ［θ_jE］〜Ｌ［θ_jF］の内、最大の長さを有する直線を第２の立体物分布中心線として選択する。

第１及び第２の立体物分布中心線が検出された後、各立体物分布中心線に対して個別にステップＳ１６〜Ｓ１８の処理が行われる。即ち、第１の立体物分布中心線に着目してステップＳ１６〜Ｓ１８の処理を行うことにより、第１の立体物分布中心線に対する立体物領域の位置及び大きさを特定する一方で、第２の立体物分布中心線に着目してステップＳ１６〜Ｓ１８の処理を行うことにより、第２の立体物分布中心線に対する立体物領域の位置及び大きさを特定する。そして、両方の立体物領域を、最終的に推定されるべき立体物領域として取り扱う。このように、上述の方法を用いれば、複数の立体物に対しても良好な立体物領域推定を行うことができる。

＜＜第２実施例＞＞
次に、第２実施例を説明する。第１実施例では立体物分布中心線の検出を介して立体物領域を推定しているが、第２実施例では立体物分布中心線を検出することなく立体物領域を推定する。第２実施例のように処理しても、概ね、第１実施例と同様の作用及び効果が得られる。図１３は、第２実施例に係る運転支援システムの動作フローチャートである。ステップＳ１１〜Ｓ１４並びにステップＳ２１及びＳ２２の各処理は、画像処理装置２によって実行される。第２実施例は、第１実施例の一部を変形した実施例に相当し、特に述べない事項に関しては、第１実施例の記述が適用される。

まず、ステップＳ１１〜Ｓ１３の処理によって立体物候補領域を設定し、ステップＳ１４の処理によって直線Ｌ［θ₁］〜Ｌ［θ_Q］に沿った立体物候補領域の長さを求める（図９（ａ）参照）。これらの処理は、第１実施例におけるそれらと同じである。

その後、ステップＳ２１において、画像処理装置２は、求めた各長さを予め設定された下限長さと比較する。そして、下限長さ以上の長さに対応する直線を必要画素直線に分類する一方で下限長さ未満の長さに対応する直線を不要画素直線に分類する。例えば、直線Ｌ［θ₁］に沿った立体物候補領域の長さが下限長さ以上であれば直線Ｌ［θ₁］は必要画素直線に分類され、直線Ｌ［θ₁］に沿った立体物候補領域の長さが下限長さ未満であれば直線Ｌ［θ₁］は不要画素直線に分類される。直線Ｌ［θ₂］〜Ｌ［θ_Q］に対しても同様である。

続くステップＳ２２において、画像処理装置２は、必要画素直線上に位置する候補画素を必要画素に分類する一方で不要画素直線上に位置する候補画素を不要画素に分類し、不要画素に分類された候補画素を立体物候補領域から除外することによって立体物領域を推定する。各候補画素を必要画素又は不要画素に分類した後の動作は第１実施例で述べたものと同様である。ステップＳ１１〜Ｓ１４並びにＳ２１及びＳ２２から成る一連の処理は、繰り返し実行され、第１実施例で述べたように最新の表示用画像が表示装置３に対して出力される。

尚、上述の処理例では、立体物候補領域を通る直線だけでなく立体物候補領域を通らない直線に対しても長さが導出されることになるが、立体物候補領域を通らない直線に対する長さの導出を割愛することが可能である。即ち、立体物候補領域と交わる直線に対してのみ上記長さを求めれば、ステップＳ２２で推定すべき立体物領域を決定可能である。従って、ステップＳ２１及びＳ２２では、以下のような処理がなされると言える。カメラ位置点ＣＰと候補画素とを結ぶ連結線を互いに異なる複数の候補画素に対して個別に設定し、各連結線に沿った立体物候補領域の長さを求める。そして、その長さが下限長さよりも短い連結線を特定し、その特定した連結線上に位置する候補画素を不要画素として立体物候補領域から除外する。但し、各連結線の方向、即ち各連結線とＸ_au軸との成す角度は、異なる連結線間で異なるものとする。

＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例に係る方法によって、車両１００自身の影領域に対応することができる。また、差分ノイズなどにも対応することができる。

第３実施例では、運転支援システムが検知する必要のある立体物の最低の高さをＯＨとおく。以下、ＯＨによって表される高さを基準高さと呼ぶ。第３実施例に係る運転支援システムは、基準高さＯＨ以上の高さを有する物体のみを、検知すべき立体物として取り扱う。例えば、「道路運送車両の保安基準」などに規則に従って、検知すべき立体物（車両にとっての障害物）が直径０．３［ｍ］且つ高さ１［ｍ］の円柱以上の大きさを有する立体物であると定義された場合は、最低高さＯＨを１［ｍ］に設定し、この基準高さＯＨの値を、予め画像処理装置２に与えておく。図１４に、カメラ部１と基準高さＯＨを有する立体物との関係を示す。上述したように、ｈはカメラ部１が配置されている高さ（設置高さ）であり、カメラ位置点ＣＰの座標値は（ｘ_C，０）である。

また、鳥瞰図座標面上の任意の画素の座標値を（ｘ_D，ｙ_D）にて表す。そうすると、仮に、座標値（ｘ_D，ｙ_D）の画素が基準高さＯＨ以上を有する立体物と地面との接点に位置しているとするならば、鳥瞰図座標上において、その画素とカメラ位置点ＣＰを結ぶ連結線に沿った立体物の長さは、下記式（Ｃ−１）に従う長さＬ_MIN以上となる。

Ｌ_MINによって表される長さは、基準高さＯＨ以上を有する立体物が鳥瞰図座標面上で描く画像領域の最小の長さを表しているため、Ｌ_MINによって表される長さを最小長さと呼ぶ。また、最小長さＬ_MINはｘ_D及びｙ_Dの関数であるため、それをＬ_MIN（ｘ_D，ｙ_D）と表記する。式（Ｃ−１）より最小長さＬ_MIN（ｘ_D，ｙ_D）は下記式（Ｃ−２）によって表される。

画像処理装置２は、ｈ、ＯＨ及びｘ_Cの各値に基づき、鳥瞰図座標面上の全画素に対する最小長さＬ_MIN（ｘ_D，ｙ_D）を計算し、その計算結果を表すデータを格納した最小長さテーブルを自身の内部メモリ（不図示）に保存しておく。最小長さテーブルのサイズは、鳥瞰図画像の画像サイズと一致することになる。第３実施例では、この最小長さテーブルを利用して立体物領域を推定する。

図１５を参照して、第３実施例に係る運転支援システムの動作を説明する。図１５は、第３実施例に係る運転支援システムの動作フローチャートである。ステップＳ１１〜Ｓ１３並びにステップＳ３１〜Ｓ３５の各処理は、画像処理装置２によって実行される。特に述べない事項に関しては、矛盾なき限り、第１実施例の記述が適用される。

まず、ステップＳ１１〜Ｓ１３の処理によって立体物候補領域を設定する。これらの処理は、第１実施例におけるそれらと同じである。今、車両１００の影の端部領域、即ち、車両１００の影が存在する部分と存在しない部分の境界部分の領域が、立体物候補領域に含まれた場合を想定する。図１６に、鳥瞰図座標面上における該端部領域とカメラ位置点ＣＰとの位置関係を示す。図１６では、立体物候補領域に含まれた該端部領域をドットで満たされた領域２１０で表している。領域２１０は、図２１（ｄ）における領域９１０に対応するものである。尚、図１６及び後述の図１７では、図７等と異なり、図面の上下方向がＹ_au軸方向に対応している。

ステップＳ１３にて立体物候補領域が設定された後、ステップＳ３１〜Ｓ３５の処理が順次実行される。ステップＳ３１において、画像処理装置２は、立体物候補領域に属する各候補画素に着目し、着目した候補画素とカメラ位置点ＣＰとを結ぶ連結線を作成する。例として、図１６に、個別に着目された候補画素２２１及び２２２を示す。また、候補画素２２１及び２２２の座標値を夫々（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）とする。符号２３１及び２３２が付された破線直線は、夫々、候補画素２２１とカメラ位置点ＣＰとを結ぶ連結線及び候補画素２２２とカメラ位置点ＣＰとを結ぶ連結線である。

続くステップＳ３２では、ステップＳ３１にて作成された連結線ごとに、連結線に沿った、立体物候補領域の一部としての領域２１０の長さを算出する。連結線２３１に対しては長さＬ₂₃₁が算出され、連結線２３２に対しては長さＬ₂₃₂が算出される。連結線２３１に沿った領域２１０の長さＬ₂₃₁は直線２３１と領域２１０が交わる部分の長さであり、その長さＬ₂₃₁は、連結線２３１上に位置する、領域２１０内の画素数に比例する。連結線２３２に沿った領域２１０の長さＬ₂₃₂は直線２３２と領域２１０が交わる部分の長さであり、その長さＬ₂₃₂は、連結線２３２上に位置する、領域２１０内の画素数に比例する。

一方、ステップＳ３３において、画像処理装置２は、最小長さテーブルに格納された最小長さを読み込む。読み込まれる最小長さには、連結線２３１に対する最小長さ（換言すれば候補画素２２１に対する最小長さ）と、連結線２３２に対する最小長さ（換言すれば候補画素２２２に対する最小長さ）が含まれる。連結線２３１に対する最小長さは、ｘ_D＝ｘ₁且つｙ_D＝ｙ₁における最小長さ、即ちＬ_MIN（ｘ₁，ｙ₁）であり、連結線２３２に対する最小長さは、ｘ_D＝ｘ₂且つｙ_D＝ｙ₂における最小長さ、即ちＬ_MIN（ｘ₂，ｙ₂）である。他の候補画素に対しても同様である。

続くステップＳ３４において、連結線ごとに、ステップＳ３２で算出された長さとステップＳ３３で読み込んだ最小長さを比較する。そして、最小長さ以上の長さに対応する連結線を必要画素直線に分類する一方で最小長さ未満の長さに対応する直線を不要画素直線に分類する。例えば、Ｌ₂₃₁≧Ｌ_MIN（ｘ₁，ｙ₁）であれば連結線２３１は必要画素直線に分類され、Ｌ₂₃₁＜Ｌ_MIN（ｘ₁，ｙ₁）であれば連結線２３１は不要画素直線に分類される。Ｌ₂₃₂≧Ｌ_MIN（ｘ₂，ｙ₂）であれば連結線２３２は必要画素直線に分類され、Ｌ₂₃₂＜Ｌ_MIN（ｘ₂，ｙ₂）であれば連結線２３２は不要画素直線に分類される。他の連結線に対しても同様である。

その後、ステップＳ３５において、画像処理装置２は、領域２１０内の候補画素であって且つ必要画素直線上に位置する候補画素を必要画素に分類する一方で領域２１０内の候補画素であって且つ不要画素直線上に位置する候補画素を不要画素に分類し、不要画素に分類された候補画素を立体物候補領域から除外することによって立体物領域を推定する。必要画素は、基準高さＯＨ以上の立体物の本体部分における画像データが現れていると推測される画素である。不要画素は、基準高さＯＨ未満の立体物の本体部分の画像データ、車両１００の影部分の画像データ、差分ノイズなどが現れていると推測される画素である。各候補画素を必要画素又は不要画素に分類した後の動作は第１実施例で述べたものと同様である。ステップＳ１１〜Ｓ１３及びＳ３１〜Ｓ３５から成る一連の処理は、繰り返し実行され、第１実施例で述べたように最新の表示用画像が表示装置３に対して出力される。

説明の便宜上、車両１００の影部分周辺に着目して運転支援システムの動作を説明したが、カメラ部１の視野内に検知すべき立体物が存在する場合、ステップＳ１３にて設定される立体物候補領域には、領域２１０に加えて立体物の画像データが現れる領域２５０が含まれる。この場合における立体物候補領域を、図１７に示す。領域２１０と領域２５０は鳥瞰図座標面上で互いに重なることなく分離して存在している。尚、図１６の領域２１０と図１７の領域２１０は同じものであるが、図示の便宜上、両者間で図示サイズが異なっている。

画像処理装置２は、立体物候補領域に互いに分離した領域２１０及び２５０が含まれている場合、領域２１０に対して行った処理と同等の処理を領域２５０に対しても行う。つまり、立体物候補領域の一部である領域２５０に属する各候補画素に着目して着目した候補画素とカメラ位置点ＣＰとを結ぶ連結線を作成し、作成された連結線ごとに、連結線に沿った領域２５０の長さを算出する一方で最小長さテーブルに格納された最小長さを読み込んで前者と後者を比較する。そして、最小長さ以上の長さに対応する連結線を必要画素直線に分類する一方で最小長さ未満の長さに対応する直線を不要画素直線に分類する。

例えば、領域２５０内の、座標値が（ｘ₃，ｙ₃）の候補画素２５１に着目した場合、候補画素２５１とカメラ位置点ＣＰとを結ぶ連結線２６１を作成し、連結線２６１に沿った領域２５０の長さＬ₂₆₁を算出する一方でＬ_MIN（ｘ₃，ｙ₃）を読み込む。そして、Ｌ₂₆₁≧Ｌ_MIN（ｘ₃，ｙ₃）であれば連結線２６１は必要画素直線に分類され、Ｌ₂₆₁＜Ｌ_MIN（ｘ₃，ｙ₃）であれば連結線２６１は不要画素直線に分類される。

各連結線を必要画素直線と不要画素直線との間で分類した後、領域２５０内の候補画素であって且つ必要画素直線上に位置する候補画素を必要画素に分類する一方で領域２５０内の候補画素であって且つ不要画素直線上に位置する候補画素を不要画素に分類し、不要画素に分類された候補画素を立体物候補領域から除外することによって立体物領域を推定する。

車両１００の影領域に特に注目して説明を行ったが、第３実施例に係る手法は、壁などの静止した立体物の影領域にも対応できるし、差分ノイズにも対応できる。つまり、第３実施例によれば、車両１００の影領域だけでなく、静止した立体物の影領域及び差分ノイズもが除去された正確な立体物領域を推定することができる。

尚、上述の処理例では、鳥瞰図画像の画像サイズと同じサイズを有する最小長さテーブルを事前に作成し、この最小長さテーブルを利用して立体物領域の推定を行っているが、この推定に際して候補画素以外の画素に対する最小長さは参照されない。故に、最小長さテーブルを事前に作成するのではなく、立体物候補領域が設定されるたびに、式（Ｃ−２）に従って候補画素に対する最小長さを逐次算出するようにしてもよい。

＜＜第４実施例＞＞
カメラ部１が１つのカメラから形成される場合を想定して運転支援システムの動作を説明したが、カメラ部１が複数のカメラから形成されている場合にも、第１〜第３実施例で述べた手法を適用可能である。例えば、カメラ部１が２台のカメラから形成される場合における運転支援システムの動作を第４実施例として説明する。この２台のカメラは、図１８に示す如く、カメラ１Ａ及び１Ｂから成るものとする。カメラ１Ａ及び１Ｂによって、例えばステレオカメラが形成される。

カメラ１Ａ及び１Ｂは、共に、車両１００の後方側に視野を有するように車両１００の後部に設置され、カメラ１Ａ及び１Ｂの視野には車両１００の後方側に位置する路面が含まれる。カメラ１Ａ及び１Ｂの傾き角度は共に角度θ_Aである（図２参照）。但し、カメラ１Ａの視点とカメラ１Ｂの視点は若干相違しており、この相違に由来して、同時刻の撮影によってカメラ１Ａ及び１Ｂから得られる２枚のカメラ画像は若干異なる。視点が異なる以外、カメラ１Ａとカメラ１Ｂは同じである。

カメラ１Ａ及び１Ｂから成るカメラ部１を用いる場合、カメラ１Ａ及び１Ｂに同時に撮影を行わせ、この撮影によって得られたカメラ１Ａ及び１Ｂからのカメラ画像を、夫々、第１及び第２のカメラ画像として取り扱う。画像処理装置２は、カメラ１Ａ及び１Ｂからの第１及び第２のカメラ画像を鳥瞰変換する。そして、カメラ１Ａからの第１のカメラ画像を鳥瞰変換して得た鳥瞰図画像及びカメラ１Ｂからの第２のカメラ画像を鳥瞰変換して得た鳥瞰図画像を第２の鳥瞰図画像として取り扱う。

ここにおける第１及び第２の鳥瞰図画像は同時刻の撮影によって得られた画像であるが、カメラ１Ａ及び１Ｂの視点の違いにより、原理上、両鳥瞰図画像間において路面の画像は一致するが立体物の画像は一致しない。この特性を利用して、まず、立体物候補領域を検出する。

具体的には、第１及び第２の鳥瞰図画像間の位置ずれを補正する。路面上の同一点が第１及び第２の鳥瞰図画像上に現れるが、この位置ずれ補正後、第１の鳥瞰図画像上におけるその点と、第２の鳥瞰図画像上におけるその点は重なり合う。位置ずれ補正は、第１又は第２の鳥瞰図画像に対して幾何学的変換を施すことによって実現されるが、どのような幾何学的変換を施すかはカメラ１Ａ及び１Ｂの配置関係などに基づき予め定められているものとする。尚、カメラ画像の段階で、位置ずれ補正がなされても構わない。

位置ずれ補正がなされた後の動作は、第１〜第３実施例の何れかにて述べたものと同じである。つまり、位置ずれ補正後の両鳥瞰図画像間の差分画像に基づいて鳥瞰図座標面上の立体物候補領域を設定し、立体物候補領域から不要画素を除去することによって立体物領域を推定する。尚、この際、カメラ１Ａ（厳密には例えばカメラ１Ａの光学中心）の鳥瞰図座標面上への投影位置、カメラ１Ｂ（厳密には例えばカメラ１Ｂの光学中心）の鳥瞰図座標面上への投影位置、又は、両投影位置の中間位置をカメラ位置と定め、そのカメラ位置の座標値を（ｘ_C，０）とすればよい。

＜＜第５実施例＞＞
次に、第５実施例を説明する。第５実施例では、上述の各実施例に対応する運転支援システムの機能ブロック図を例示する。図１９は、第５実施例に係る運転支援システムの機能ブロック図である。第５実施例に係る運転支援システムは、符号６１〜６５にて参照される各部位を含み、符号６１〜６５にて参照される部位は図１の画像処理装置２内に設けられる。

画像取得部６１は、カメラ部１の出力信号に基づいて順次各カメラ画像を取得する。各カメラ画像の画像データは、画像取得部６１から鳥瞰変換部６２に与えられる。鳥瞰変換部６２は、画像取得部６１から与えられた第１及び第２のカメラ画像に対して鳥瞰変換を施すことにより第１及び第２の鳥瞰図画像を生成する。

第１及び第２の鳥瞰図画像の画像データは候補領域設定部６３及び表示用画像生成部６５に送られる。候補領域設定部６３は、第１及び第２の鳥瞰図画像に対して、例えばステップＳ１３（図８等参照）の処理を行うことにより、立体物候補領域を設定する。立体物領域推定部６４は、設定された立体物候補領域の位置及び大きさを表す情報を候補領域設定部６３から受け取り、第１〜第４実施例の何れかにて述べた方法を用いて、立体物候補領域から不要画素群からなる不要領域を除去することにより立体物領域を推定する。表示用画像生成部６５は、推定された立体物領域の位置及び大きさを表す情報を立体物領域推定部６４から受け取り、その情報に基づいて立体物領域が視認可能となるように第１又は第２の鳥瞰図画像を加工することにより表示用画像を生成する。尚、立体物領域が視認可能となるように第１又は第２のカメラ画像を加工した画像を表示用画像として生成するようにしても構わない。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
透視投影変換によってカメラ画像から鳥瞰図画像を得る手法を説明したが、平面射影変換によってカメラ画像から鳥瞰図画像を得るようにしても構わない。この場合、カメラ画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（平面射影行列）を、実稼動に先立って実施されるカメラキャリブレーションにて求める。ホモグラフィ行列の求め方は公知である。そして、そのホモグラフィ行列に基づいてカメラ画像を鳥瞰図画像に変換すればよい。

［注釈２］
また、車両１００の後方側に視野を有するようにカメラ部１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ部１を車両１００の前部又は側方部に設置するようにしてもよく、そのように設置しても、立体物領域の推定処理を含む上述と同様の処理を行うことが可能である。

［注釈３］
上述の実施形態では、１つのカメラ部から得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００にカメラ部１と同等のカメラ部を複数個設置し、複数のカメラ部から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、車両１００の前方、後方、左側方及び右側方を撮影する合計４つのカメラ部を車両１００に設置し、各カメラ部から得られるカメラ画像に対して上述と同様の処理を行ってカメラ部ごとに立体物領域を推定する一方で、４つのカメラ部からのカメラ画像に基づく４つの画像（例えば、４つの鳥瞰図画像）を合成する。この合成によって得られた合成画像は、例えば、特開２００６−２８７８９２号公報にも記載されているような全周鳥瞰図画像であり、全周鳥瞰図画像の全体にわたって影やノイズが除去された立体物領域が推定されることになる。そして、この合成画像に立体物領域の推定結果を反映して表示装置３に対する表示用画像を生成すればよい。

［注釈４］
上述の実施形態では、車両の例として自動車を例示しているが、自動車に分類されない車両に対しても本発明は適用可能であり、更に車両に分類されない移動体に対しても本発明は適用可能である。車両に分類されない移動体は、例えば、車輪を備えておらず、車輪以外の機構を用いて移動する。例えば、遠隔操作によって工場内を移動する、移動体としてのロボット（不図示）に対して、本発明を適用することも可能である。

［注釈５］
図１の画像処理装置２及び図１９の各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。図１の画像処理装置２及び図１９の各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る運転支援システムの構成ブロック図である。 図１の運転支援システムが適用される車両の外観側面図である。 カメラの光学中心とカメラ画像が定義されるカメラ座標面との関係を示す図である。 カメラ座標面と鳥瞰図座標面との関係を示す図である。 図１のカメラ部と太陽などの光源及び立体物との、実空間上における位置関係を示す図である。 鳥瞰図座標面上における立体物領域を示す図である。 カメラ部の鳥瞰図座標面上への投影図形並びに影領域及び立体物領域を、鳥瞰図座標面上に示した図である。 本発明の第１実施例に係る運転支援システムの動作フローチャートである。 本発明の第１実施例に係り、鳥瞰図座標面上に作成されたＱ本の直線を示す図（ａ）と、複数の直線に対して求められた長さを示す図（ｂ）である。 本発明の第１実施例に係り、立体物分布中心線の求め方を説明するための図である。 本発明の第１実施例に係り、立体物領域の推定結果を示す図である。 本発明の第１実施例に係り、立体物分布中心線の求め方を説明するための図である。 本発明の第２実施例に係る運転支援システムの動作フローチャートである。 本発明の第３実施例に係り、カメラ部と立体物の高さ関係を示す図である。 本発明の第３実施例に係る運転支援システムの動作フローチャートである。 本発明の第３実施例に係り、立体物候補領域の一部として設定された、車両の影の端部領域を示す図であって、立体物候補領域からその端部領域を除去する方法を説明するための図である。 本発明の第３実施例に係り、立体物候補領域に、車両の影の端部領域及び立体物の画像データが現れる領域が含まれる様子を示す図である。 本発明の第４実施例に係るカメラ部の内部構成図である。 本発明の第５実施例に係る運転支援システムの機能ブロック図である。 従来手法による、立体物領域の推定結果を示す図である。 従来手法に係り、自車両自身（カメラ及び運転支援システムが設置された車両自身）の影の端部が立体物領域に含まれてしまう原因を説明するための図である。

符号の説明

１ カメラ
２ 画像処理装置
３ 表示装置
６１ 画像取得部
６２ 鳥瞰変換部
６３ 候補領域設定部
６４ 立体物領域推定部
６５ 表示用画像生成部

Claims (10)

1. 移動体に取り付けられて前記移動体の周辺を撮影するカメラ部を備え、前記カメラ部から得られるカメラ座標面上のカメラ画像に基づいて、立体物の画像データが現れる、前記カメラ画像に基づく画像中の立体物領域を推定する運転支援システムにおいて、
   前記カメラ部からの互いに異なる第１及び第２のカメラ画像を地面に平行な鳥瞰図座標面上に投影することによって、前記第１及び第２のカメラ画像を第１及び第２の鳥瞰図画像に変換する鳥瞰変換手段と、
   前記第１及び第２の鳥瞰図画像を対比することによって前記鳥瞰図座標面上における立体物候補領域を設定する候補領域設定手段と、
   前記立体物候補領域中の、前記立体物領域から除外されるべき不要領域を検出し、その不要領域を前記立体物候補領域から除外して得た残部領域より前記立体物領域を推定する立体物領域推定手段と、を備え、
   前記立体物領域推定手段は、前記カメラ部の前記鳥瞰図座標面上への投影位置であるカメラ位置と前記立体物候補領域に属する各画素である各候補画素の位置との位置関係に基づいて、前記不要領域を検出する
   ことを特徴とする運転支援システム。
2. 前記立体物領域推定手段は、前記カメラ位置と各候補画素の位置とを結ぶ方向と前記鳥瞰図座標面上における前記立体物の分布方向との差に基づいて各候補画素が前記不要領域に属する画素であるか否かを判断し、その判断結果に基づいて前記不要領域を検出する
   ことを特徴とする請求項１に記載の運転支援システム。
3. 前記立体物候補領域に属する候補画素は第１〜第Ｎの候補画素を含み（Ｎは２以上の整数）、
   前記鳥瞰図座標面上において、前記カメラ位置と前記第１〜第Ｎの候補画素の位置とを結ぶ連結線を夫々第１〜第Ｎの連結線と呼んだ場合、前記第１〜第Ｎの連結線の方向は互いに異なり、
   前記立体物領域推定手段は、各連結線に沿った前記立体物候補領域の長さに基づいて前記分布方向を検出する
   ことを特徴とする請求項２に記載の運転支援システム。
4. 前記立体物領域推定手段は、各連結線に対して前記長さを求め、最大の長さに対応する連結線の方向を検出すべき前記分布方向に含める
   ことを特徴とする請求項３に記載の運転支援システム。
5. 前記立体物候補領域に属する候補画素は第１〜第Ｎの候補画素を含み（Ｎは２以上の整数）、
   前記鳥瞰図座標面上において、前記カメラ位置と前記第１〜第Ｎの候補画素の位置とを結ぶ連結線を夫々第１〜第Ｎの連結線と呼んだ場合、前記第１〜第Ｎの連結線の方向は互いに異なり、
   前記立体物領域推定手段は、各連結線に沿った前記立体物候補領域の長さに基づいて前記不要領域を検出する
   ことを特徴とする請求項１に記載の運転支援システム。
6. 前記立体物領域推定手段は、各連結線に対して前記長さを求めて、その長さが所定の下限長さより短い連結線を特定し、特定した連結線上に位置する候補画素が前記不要領域に属する画素であると判断することによって前記不要領域を検出する
   ことを特徴とする請求項５に記載の運転支援システム。
7. 所定の基準高さ以上を有する物体が前記立体物として取り扱われ、
   前記立体物領域推定手段は、
   各連結線に沿った前記立体物候補領域の長さと、前記位置関係及び前記基準高さに基づく前記鳥瞰図座標面上における前記立体物の最小長さと、を比較することによって、各候補画素が前記不要領域に属する画素であるか否かを判断し、これによって前記不要領域を検出する
   ことを特徴とする請求項５に記載の運転支援システム。
8. 前記最小長さは候補画素ごとに設定され、
   第ｉの候補画素に対する前記最小長さは、第ｉの候補画素の位置と前記カメラ位置との位置関係並びに前記基準高さ及び前記カメラ部の設置高さに基づいて設定され（ｉはＮ以下の自然数）、
   前記立体物領域推定手段は、第ｉの候補画素に対応する第ｉの連結線に沿った前記立体物候補領域の長さと、第ｉの候補画素に対して設定された最小長さとを比較し、前者が後者よりも短い場合に、第ｉの候補画素が前記不要領域に属する画素であると判断する
   ことを特徴とする請求項７に記載の運転支援システム。
9. 前記立体物候補領域が互いに分離した複数の候補領域から形成される場合、
   前記立体物領域推定手段は、前記立体物候補領域の長さとして前記複数の候補領域の夫々の長さを導出し、導出した各長さと前記最小長さを比較することにより、候補領域ごとに前記候補領域に属する候補画素が前記不要領域に属する画素であるか否かを判断する
   ことを特徴とする請求項７に記載の運転支援システム。
10. 請求項１〜請求項９の何れかに記載の運転支援システムが設置された
    ことを特徴とする、移動体としての車両。