JP2022076715A - 立体物検出装置、及び立体物検出方法 - Google Patents

Abstract

【課題】複数の立体物の個々の接地線の位置を求めることができるようにする。【解決手段】立体物検出装置は、互いの撮影位置Ｏが揃った第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分画像Ｇにおいて立体物候補領域以外をマスキングするマスク画像９０を生成し、当該マスク画像９０でエッジ画像Ｅをマスキングしたマスクエッジ画像Ｇｅを生成し、当該マスクエッジ画像Ｇｅ内の前記立体物候補領域の塊である単一立体物候補領域ごとに接地線を特定し、当該接地線に基づいて差分画像Ｇにおける立体物の位置を特定する。【選択図】図２

Description

本発明は、立体物検出装置、及び立体物検出方法に関する。

自車両の周囲に存在する他車両等の立体物を検出する技術を開示した特許文献１がある。
特許文献１は、異なるタイミングの俯瞰画像（鳥瞰視画像とも呼ばれる）の差分画像を生成し、当該差分画像の中に検出領域を設定し、当該検出領域の辺に基づき立体物の接地線を特定する技術を開示する。

国際公開第２０１４／０１７５２１号公報

しかしながら、特許文献１の技術は、俯瞰画像内に複数の他車両が存在した場合、それぞれの他車両の接地線の位置を個別に求めることができない。このため、他車両の各々の横位置が正確には求められない、という問題があった。

本発明は、複数の立体物の個々の接地線の位置を求めることができる立体物検出装置、及び立体物検出方法を提供することを目的とする。

本発明の一態様は、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、立体物が映っている候補となる立体物候補領域以外をマスキングするマスク画像を前記差分画像に重畳したマスク差分画像を生成するマスク差分画像生成部を有し、前記車両の周囲に存在する立体物の位置を、前記マスク画像および前記差分画像を用いて特定する立体物位置特定部と、を備え、前記立体物位置特定部は、前記第１俯瞰画像又は前記第２俯瞰画像から前記立体物の輪郭成分を抽出したエッジ画像に前記マスク画像を重畳したマスクエッジ画像、又は、前記マスク差分画像のいずれかの画像を用いて、当該画像内の前記立体物候補領域の塊である単一立体物候補領域ごとに接地線を特定する接地線特定部を備え、前記単一立体物候補領域のそれぞれの前記接地線に基づいて、前記差分画像における前記立体物の位置を特定することを特徴とする立体物検出装置である。

本発明によれば、複数の立体物の個々の接地線の位置を求めることができる。

本発明の実施形態に係る車載システムの構成を示す図である。 カメラＥＣＵの機能的構成を示す図である。 同実施形態における車両と他車両の位置関係を示す図である。 立体物検出処理のフローチャートである。 差分画像生成動作の説明図である。 マスク画像生成処理のフローチャートである。 射影変換による鉛直方向輪郭線の倒れ込みの説明図である。 ラベル画像を模式的に示す図である。 ルックアップテーブルを模式的に示す図である。 差分ヒストグラムの説明図である。 エッジ強度ヒストグラムの説明図である。 マスク画像の生成動作の説明図である。 マスク差分画像の生成動作の説明図である。 接地線特定処理のフローチャートである。 単一他車両候補領域特定処理のフローチャートである。 マスクエッジ画像の生成動作の説明図である。 グルーピング処理の説明図である。 真横に位置する他車両についてのエッジ画像の説明図である。 マスク差分ヒストグラムの説明図である。 接地線特定動作の説明図である。 俯瞰画像における近傍接地線、及び遠方接地線と鉛直方向輪郭線との関係を示す図である。 立体物領域特定処理の概要説明図である。 立体物領域特定処理のフローチャートである。 差分近傍ヒストグラムの説明図である。 エッジ強度近傍ヒストグラムの説明図である。 差分遠方ヒストグラムの説明図である。 エッジ強度遠方ヒストグラムの説明図である。 近傍用マスクラベル画像、及び遠方用マスクラベル画像の説明図である。 近傍領域に限定して立体物検出を行った場合の他車両領域特定動作の説明図である。 最終的な他車両領域の決定動作の説明図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る車載システム１の構成を示す図である。
車載システム１は、車両２に搭載されたシステムであり、カメラ４と、カメラＥＣＵ６と、車両制御ユニット８と、カメラＥＣＵ６と車両制御ユニット８を接続する車載ネットワークの一種であるＣＡＮ１０と、を備える。
カメラ４は、車両２の外を撮影する装置であり、撮影によって得られたカメラ映像５をカメラＥＣＵ６に出力する。以下では、カメラ４が車両２のリア部に設けられ、車両２の後方ＤＢを撮影する場合を例示するが、カメラ４が撮影する方向は適宜である。
本実施形態のカメラＥＣＵ６は、カメラ映像５に基づいて、立体物の一例である他車両Ａ（図３）の位置を検出し、ＣＡＮ１０を通じて他車両Ａの位置情報を車両制御ユニット８に送信する他車両検出装置（立体物検出装置）として機能する装置であり、カメラ４の撮影動作を制御する機能と、カメラ映像５に適宜の信号処理を施す機能を備える。
車両制御ユニット８は、車両２の走行に係る各種の制御を実行するユニットであり、係る制御のために、操舵機構や駆動機構などの車両２の各部を制御する機能を有する。

また車両制御ユニット８は、運転者の運転操作に代わって車両２を運転制御する機能（いわゆる、自動運転制御機能）を備え、車両２の走行時には、車両２の周囲に存在する立体物の位置を逐次に取得し、立体物までの間に適切な距離を確保するように運転制御する。例えば、車線変更時や合流時、分流時などのように、立体物の一例である他車両Ａに車両２が接近し得る場合、車両制御ユニット８は、他車両Ａの位置を取得し、当該他車両Ａの位置に基づいて、当該他車両Ａとの間に適切な車間距離を確保するように運転制御する。

なお、車両制御ユニット８は、自動運転制御機能に代えて、或いは、自動運転制御機能と併せて、運転者の運転操作を支援する運転支援機能を備えてもよい。運転支援機能は、車両２の走行時に、車両２の周囲に存在する立体物の位置を逐次に取得し、立体物を運転者に案内したり、当該立体物の位置に基づく各種の警報等を運転者に報知したりすることで運転者の運転操作を支援するものである。

ここで、上記カメラＥＣＵ６は、プロセッサの一例であるＣＰＵ１２と、プログラム１３等の各種情報を記憶するＲＯＭやＲＡＭなどのメモリ１４と、ＣＡＮ１０を通じて車両制御ユニット８と通信する通信モジュールとしてのＣＡＮＩ／Ｆ１６と、を備えた、いわゆるコンピュータである。本実施形態のカメラＥＣＵ６は、メモリ１４に記憶されたプログラムをＣＰＵ１２が実行することで、上述した他車両検出装置として機能するように構成されている。

図２は、カメラＥＣＵ６の機能的構成を示す図である。
本実施形態のカメラＥＣＵ６は、異なるタイミングで撮影された第１撮影画像、及び第２撮影画像をカメラ映像５から取得し、それらを俯瞰変換した第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分である差分画像Ｇに基づいて、他車両Ａの位置を検出する。係る検出動作のために、カメラＥＣＵ６は、図２に示すように、車両情報取得部２０と、前処理部２２と、立体物位置特定部２４と、を備えている。

車両情報取得部２０は、車両制御ユニット８から車両情報を取得する。この車両情報には、少なくとも車両２の走行速度が含まれる。

前処理部２２は、カメラ映像５から差分画像Ｇを得るための処理を実行するものであり、カメラ映像取得部３０と、輝度変換処理部３２と、俯瞰変換処理部３４と、差分画像生成部３６と、を備える。

カメラ映像取得部３０は、カメラ４を制御することで、所定時間以上に亘ってカメラ４による撮影を継続し、その撮影によって得られたカメラ映像５を取得する。
輝度変換処理部３２は、カメラ映像５を構成する各フレーム（撮影画像）を輝度画像に変換する。各フレームは静止画像である撮影画像に相当し、輝度画像は、この撮影画像のそれぞれの画素値を、その画素の輝度値に変換した画像である。
俯瞰変換処理部３４は、各輝度画像を俯瞰画像に変換する。俯瞰画像は、車両２の上方に設定された仮想視点から直下方向を視た画像であり、輝度画像を射影変換（視点変換とも呼ばれる）することで生成される。
差分画像生成部３６は、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２（図５参照）を抽出し、両者の差分画像Ｇを生成する。差分画像Ｇは、第１撮影画像Ｅ１の各画素の画素値（輝度値）を、その画素に対応する第２撮影画像Ｅ２の画素の画素値（輝度値）との差に変換し、所定の閾値で各画素の画素値を２値化した画像である。差分画像Ｇの生成時には、差分画像生成部３６は、第１俯瞰画像Ｆ１と第２俯瞰画像Ｆ２の撮影位置Ｏを、第１俯瞰画像Ｆ１を基準に揃えた状態で、両者の各画素の画素値の差分量を算出することで、差分画像Ｇを生成する。

立体物位置特定部２４は、差分画像Ｇに基づいて、立体物の一例である他車両Ａの位置を特定するものであり、マスク差分画像生成部５０と、接地線特定部５２と、立体物領域特定部５４と、を備える。

マスク差分画像生成部５０は、差分画像Ｇにおいて他車両Ａが映っている候補の領域（以下、「他車両候補領域６０」と言う）以外の領域がマスキングされたマスク差分画像Ｇｍ（図１３参照）を生成する。
以下では、他車両候補領域６０において１台の他車両Ａが占める領域（立体物領域）を他車両領域Ｈと言う。この他車両領域Ｈの形状は一般的な車両の平面視形状に基づき矩形で近似される。

車両２の走行方向Ｂに垂直な横方向Ｃにおける他車両Ａの位置（横位置）は、他車両領域Ｈの近傍接地線Ｌ１、及び遠方接地線Ｌ２によって特定される。
接地線は、車両２が走行している車線に隣接する他の車線に存在する他車両Ａが地面に接する線であり、平面視における他車両Ａの輪郭線６３（図３参照）に相当する。本実施形態において、近傍接地線Ｌ１は、図３に示すように、他車両Ａの左右両側の輪郭線６３のうちの車両２に近い側の線を指し、遠方接地線Ｌ２は車両２から遠い側の線を指す。

接地線特定部５２は、他車両領域Ｈの近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定するものである。
以下では、接地線特定部５２は、マスク差分画像Ｇｍ内の他車両領域Ｈに代えて、後述するマスクエッジ画像Ｇｅ（図１６）内の他車両領域Ｈから近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定する場合を説明する。しかしながら、接地線特定部５２は、マスク差分画像Ｇｍ内の他車両領域Ｈから近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定してもよい。

ここで、複数の他車両Ａがカメラ４のカメラ映像５に映っている場合、他車両候補領域６０の中に複数の他車両Ａが存在する。そこで接地線特定部５２は、図２に示すように、単一他車両候補領域特定部５５を備え、この単一他車両候補領域特定部５５が、他車両候補領域６０に存在する個々の他車両Ａの領域（以下、単一他車両候補領域ＨＫという）を特定する。そして接地線特定部５２は、単一他車両候補領域ＨＫのそれぞれについて近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定する。

立体物領域特定部５４は、各単一他車両候補領域ＨＫの近傍接地線Ｌ１、及び遠方接地線Ｌ２における他車両Ａの先端ＶＦ、及び後端ＶＢ（図３参照）のそれぞれの位置を、差分画像Ｇに基づいて特定し、これら近傍接地線Ｌ１、遠方接地線Ｌ２、他車両Ａの先端ＶＦ、及び後端ＶＢに基づいて、差分画像Ｇにおける他車両領域Ｈを検出する。近傍接地線Ｌ１、及び遠方接地線Ｌ２は、１台の他車両Ａに相当する単一他車両候補領域ＨＫごとに特定されているため、他車両領域Ｈも１台の他車両Ａが占める領域となる。

立体物位置特定部２４は、差分画像Ｇにおける他車両領域Ｈの位置に基づいて、実空間における他車両Ａの位置を、公知又は周知の適宜の手法を用いて特定し、特定した位置を車両制御ユニット８に逐次に送信する。

次いで、カメラＥＣＵ６による他車両Ａの検出動作について説明する。
なお、以下の説明では、図３に示すように、車両２が走行している車線７０の両側のそれぞれに隣接する他の車線７０Ｒ、７０Ｌが存在し、各車線７０Ｒ、７０Ｌを他車両Ａが車両２と同一方向に走行している場合における検出動作を例示する。この場合において、いずれの他車両Ａも車両２より後方ＤＢに位置し、かつ、カメラ４の画角αの範囲内に位置するものとする。また、図３において、矩形線で示した領域は、車両制御ユニット８による自動運転制御や運転支援において他車両Ａの存在を検出する検出領域７２を示す。

図４は、立体物検出処理のフローチャートである。
この立体物検出処理は、少なくとも車両２が走行している間、周囲の他車両Ａの存在を検知するために、カメラＥＣＵ６によって継続的に繰り返し実行される。

同図に示すように、カメラＥＣＵ６は、先ず、少なくとも車両２の走行速度を含む車両情報を車両情報取得部２０が取得し（ステップＳａ１）、カメラ映像取得部３０がカメラ４からカメラ映像５を取得する（ステップＳａ２）。次いで、カメラ映像５の各フレーム（撮影画像）を輝度変換処理部３２が輝度画像に順次に変換し（ステップＳａ３）、それらの輝度画像に基づいて俯瞰変換処理部３４が俯瞰画像Ｆを順次に生成する（ステップＳａ４）。

そして、差分画像生成部３６が、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２を抽出し、これらの差分画像Ｇを生成する（ステップＳａ５）。

図５は、差分画像生成動作の説明図である。
なお、以下では、直近に撮影された撮影画像を第１撮影画像とし、それよりも前に撮影された撮影画像を第２撮影画像として説明する。

第１撮影画像、及び第２撮影画像では、それぞれの撮影位置Ｏが走行方向Ｂにずれるため、図５に示すように、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２においても撮影位置Ｏに、車両２の移動に起因したずれが生じる。差分画像生成部３６は、撮影位置Ｏのずれを補正して差分画像Ｇを生成するために、第１俯瞰画像Ｆ１及び第２俯瞰画像Ｆ２の両者の撮影位置Ｏを、いずれか一方（図５では第１俯瞰画像Ｆ１）を基準に揃えた状態で両者の差分画像Ｇを生成する。

具体的には、差分画像生成部３６は、車両２の走行速度と、第１撮影画像、及び第２撮影画像の撮影タイミングの時間差ｔａとに基づいて、車両２の走行距離を算出する。そして差分画像生成部３６は、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のいずれか一方（図５では、撮影タイミングが早い方の第２俯瞰画像Ｆ２）の各画素を、走行距離に応じた画素数分だけ走行方向Ｂに沿ってずらす。これにより、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の他方を基準に、両者の撮影位置Ｏが揃えられた状態となる。

路面標示の一種である白線７４等の任意の静止物体が第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５に示すように、静止物体が映っている位置が揃う。
その一方で、移動物体である他車両Ａが第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５に示すように、それぞれに映った他車両Ａの位置にずれが生じる。
このため、両者の差分を示す差分画像Ｇにおいては、路面標示（白線７４等）の静止物体が映っている領域の画素値（差分量）は小さくなり、他車両Ａが映っている領域の画素値（差分量）は比較的大きくなる。したがって、差分画像Ｇの２値化に用いる輝度値の閾値を適切に設定することで、静止物体を除いた画像を得ることができ、その差分画像Ｇにおける画素値の分布に基づいて、他車両領域Ｈを抽出し、他車両Ａの位置（特に、近傍接地線Ｌ１）が特定可能となる。

しかしながら、前掲図３に示すように、車両２と他車両Ａとの間に、車両２や他車両Ａなどの任意の移動物体によって影７６が生じている場合、差分画像Ｇにおいては、その影７６に対応する領域の画素値も増大する。このため、差分画像Ｇにおいて、単純に画素値が大きい領域を他車両領域Ｈとして抽出すると、その影７６に対応する領域が他車両領域Ｈに含まれてしまい精度が悪くなる。

そこで、カメラＥＣＵ６においては、立体物領域特定部５４が差分画像Ｇに基づいて他車両領域Ｈを特定するに際し、前掲図４に示すように、先ず、マスク差分画像生成部５０がマスク差分画像生成処理を実行することで（ステップＳａ６）、差分画像Ｇにおいて影７６などのノイズに対応する領域、換言すれば、他車両Ａが映っている候補の領域である上記他車両候補領域６０以外の領域をマスキング領域６２としてマスキングした上記マスク差分画像Ｇｍを生成する。
次いで、接地線特定部５２が接地線特定処理を実行し（ステップＳａ７）、後述するマスクエッジ画像Ｇｅに基づいて、他車両Ａの位置として近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定する。なお、上述の通り、接地線特定部５２は、マスク差分画像Ｇｍに基づいて、近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定してもよい。

図６は、マスク画像生成処理のフローチャートである。
マスク画像生成処理では、先ず、マスク差分画像生成部５０がマスキング領域６２をマスクするためのマスク画像９０を生成する（ステップＳｂ１）。上述の通り、マスキング領域６２は、差分画像Ｇにおける他車両候補領域６０以外の領域であり、他車両候補領域６０は、差分画像Ｇに映った他車両Ａの鉛直方向輪郭線Ｐに基づいて特定される。

図７は射影変換による鉛直方向輪郭線Ｐの倒れ込みの説明図である。
鉛直方向輪郭線Ｐは、図７に示すように、撮影画像Ｍ（カメラ映像５のフレーム）に映った他車両Ａの輪郭線６３や、当該他車両Ａの車体パーツ（ドアなど）の輪郭線、他車両Ａに描かれた模様の輪郭線などのうち、鉛直方向（地面に対して垂直方向）に延びる各々の線である。これらの鉛直方向輪郭線Ｐは、撮影画像Ｍの射影変換（視点変換）によって、いわゆる倒れ込みが生じ、俯瞰画像Ｆにおいてカメラ４の撮影位置Ｏから延びる放射線Ｑ上の線分に変換される。つまり、俯瞰画像Ｆにおいて、鉛直方向輪郭線Ｐを含む放射線Ｑの領域（図７のハッチングで示す領域）は他車両Ａが存在する領域を示すので、かかる領域が他車両候補領域６０となる。
なお、鉛直方向輪郭線Ｐを含む放射線Ｑの方向は、射影変換（視点変換）によって立体物が倒れ込む方向とも呼ばれる。

２つの俯瞰画像Ｆの差分である差分画像Ｇにおいても俯瞰画像Ｆと同様に、鉛直方向輪郭線Ｐは放射線Ｑ上の線分となる。差分画像Ｇにおいて、鉛直方向輪郭線Ｐを含んだ放射線Ｑの各画素は、その画素値（差分量）が他の画素よりも大きくなる。したがって、差分画像Ｇにおける画素値に基づいて他車両候補領域６０を当該差分画像Ｇから抽出することができる。

本実施形態では、ラベル画像９１、及びルックアップテーブル９２を用いて他車両候補領域６０の抽出を効率良く行っている。

図８は、ラベル画像９１を模式的に示す図である。
ラベル画像９１は、撮影位置Ｏから等間隔に放射状に延び、それぞれがラベル番号によって識別された複数の放射線Ｑの画像であり、それぞれの放射線Ｑが、差分画像Ｇにおける鉛直方向輪郭線Ｐを含んだ放射線Ｑの候補となる。本実施形態では、ラベル画像９１には、ラベル番号が「１」から「１００」までの１００本の放射線Ｑが含まれる。
かかるラベル画像９１は、差分画像Ｇに相当する画素数を有し、図８に示すように、同じ放射線Ｑを構成する各画素に、その放射線Ｑのラベル番号（「１」から「１００」のいずれか）が対応付けられている。

図９は、ルックアップテーブル９２を模式的に示す図である。
ルックアップテーブル９２は、ラベル画像９１の各画素に、非マスキング（白色）に対応する「２５５」、及びマスキング（黒色）に対応する「０」のいずれかの画素値を指定するものである。ラベル画像９１の各画素の画素値が、ルックアップテーブル９２の指定に基づいて設定されることで、各画素が非マスキング状態（白色）、又はマスキング状態（黒色）となったマスク画像９０が得られる。

図９に示すように、このルックアップテーブル９２では、放射線Ｑのラベル番号ごとに、その放射線Ｑの画素値が指定されるようになっており、その画素値は、差分画像Ｇにおける放射線Ｑごとの画素値に基づいて決定されるようになっている。

前掲図６に戻り、ステップＳｂ１において、マスク差分画像生成部５０は、かかるマスク画像９０の生成のために、先ず上記ラベル画像９１の全ての画素値を、「２５５」（非マスキング状態）、又は「０」（マスキング状態）にして初期化する（ステップＳｂ１Ａ）。

次いで、マスク差分画像生成部５０は、差分画像Ｇにおける放射線Ｑごとの画素値に基づいて、上記ルックアップテーブル９２を作成する（ステップＳｂ１Ｂ）。具体的には、マスク差分画像生成部５０は、差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂに基づいて、ルックアップテーブル９２における放射線Ｑごとの各画素の輝度値を示すフラグ（「０」又は「２５５」）を決定する。

図１０は、差分ヒストグラムＲａの説明図である。
差分ヒストグラムＲａは、図１０に示すように、ラベル番号を横軸とし、差分画像Ｇにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向差分量累積値」と言う）を縦軸としたグラフである。放射線方向差分量累積値は、放射線Ｑが鉛直方向輪郭線Ｐを含んでいると大きくなるので、この差分ヒストグラムＲａにおいて、放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越えている各放射線Ｑを特定することで、他車両候補領域６０となる放射線Ｑの範囲Ｕａを特定できる。
また放射線Ｑごとの放射線方向差分量累積値に基づいて、鉛直方向輪郭線Ｐを含む放射線Ｑを特定するので、例えば差分画像Ｇに対して輪郭抽出処理などの画像処理を施して鉛直方向輪郭線Ｐを検出する場合に比べ、高速かつ高精度に放射線Ｑを特定できる。

図１１は、エッジ強度ヒストグラムＲｂの説明図である。
エッジ強度ヒストグラムＲｂは、図１１に示すように、ラベル番号を横軸とし、エッジ画像Ｅにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向エッジ強度累積値」と言う）を縦軸としたグラフである。
エッジ画像Ｅは、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のうち、撮影タイミングが遅い方（すなわち直近の方）の俯瞰画像（本実施形態では第１俯瞰画像Ｆ１）において、その俯瞰画像に映った物体（当該物体の模様等を含む）の輪郭成分を抽出した画像である。かかるエッジ画像Ｅは、俯瞰画像において、周辺の画素との間の輝度差が大きな（所定値以上）の各画素の画素値を、その輝度差に応じた値（強度値）とすることで生成される。
すなわち、エッジ強度ヒストグラムＲｂは、放射線Ｑに含まれる立体物のエッジ成分の大小を、放射線Ｑのラベルごとに示したグラフとなる。

前掲図６に戻り、マスク差分画像生成部５０は、ステップＳｂ１Ｂにおいて、差分ヒストグラムＲａにおいて放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越え、かつ、エッジ強度ヒストグラムＲｂにおいて放射線方向エッジ強度累積値が所定の第２閾値Ｔｈ２を越えている放射線Ｑを特定する。そして、マスク差分画像生成部５０は、ルックアップテーブル９２において、それらの放射線Ｑについては「非マスキング状態」の画素値を設定し、それ以外の放射線Ｑについては「マスキング状態」の画素値を設定する。

次いでマスク差分画像生成部５０は、ルックアップテーブル９２に基づいてラベル画像９１の各画素値を設定することで、マスク画像９０を生成する（ステップＳｂ１Ｃ）。
これにより、図１２に示すように、他車両候補領域６０が非マスキング状態となり、他車両候補領域６０以外の領域がマスキング領域６２となったマスク画像９０が得られる。

そして、マスク差分画像生成部５０は、ステップＳｂ２において、差分画像Ｇに、マスク画像９０を重畳することで、図１３に示すように、他車両候補領域６０以外の領域がマスキング領域６２としてマスキングされたマスク差分画像Ｇｍを生成する。

図１４は、接地線特定処理のフローチャートである。
接地線特定処理において、接地線特定部５２は、マスクエッジ画像Ｇｅに基づいて、差分画像Ｇにおける近傍接地線Ｌ１、及び遠方接地線Ｌ２を他車両Ａの位置として特定する。
具体的には、接地線特定部５２は、先ず、上述の単一他車両候補領域ＨＫを特定するために単一他車両候補領域特定処理を実行する（ステップＳｃ１）。

図１５は単一他車両候補領域特定処理のフローチャートである。
単一他車両候補領域特定処理において、接地線特定部５２の単一他車両候補領域特定部５５が、先ず、マスクエッジ画像Ｇｅを生成する（ステップＳｃａ１）。
マスクエッジ画像Ｇｅは、図１６に示すように、エッジ画像Ｅにマスク画像９０を重畳した画像である。エッジ画像Ｅは、上述の通り、俯瞰画像に映った各種の物体の輪郭成分を抽出した画像であるため、このエッジ画像Ｅにマスク画像９０を重畳して得られたマスクエッジ画像Ｇｅは、他車両候補領域６０以外の輪郭成分がマスキングされた画像となる。

次に単一他車両候補領域特定部５５は、所定画素値を閾値としてマスクエッジ画像Ｇｅを２値化処理する（ステップＳｃａ２）。２値化に用いられる閾値は、他車両Ａの輪郭成分以外のノイズ（例えば静止物体の輪郭成分など）を除去する適切な値であり、２値化後のマスクエッジ画像Ｇｅが表す領域が他車両候補領域６０となる。
次いで単一他車両候補領域特定部５５は、マスクエッジ画像Ｇｅに対してクロージング処理を実行する（ステップＳｃａ３）。クロージング処理は、モフォロジー処理の一つであり、マスクエッジ画像Ｇｅにおける他車両候補領域６０の隙間を繋げて当該他車両候補領域６０の形を整形する処理である。図１７は、これら２値化処理、及びクロージング処理後のマスクエッジ画像Ｇｅを示す。

次に、単一他車両候補領域特定部５５は、マスクエッジ画像Ｇｅに対してラベルリング処理を施す（ステップＳｃａ４）。ラベリング処理は、マスクエッジ画像Ｇｅ内の他車両候補領域６０の塊ごとに、異なるラベル（番号）を付すことで、他車両候補領域６０を塊ごとに識別する処理である。本実施形態では、マスクエッジ画像Ｇｅにおいて、縦方向Ｄｙ又は横方向Ｄｘに連続する同じ値のピクセルに同一のラベルを付す、いわゆる４近傍ラベリングが用いられている。
このラベリング処理により、図１７に示すように、マスクエッジ画像Ｇｅの中の他車両候補領域６０が個々の他車両Ａごとに異なるラベルによって識別される。そして、異なるラベルが付された他車両候補領域６０のそれぞれが、上述の単一他車両候補領域ＨＫに対応するから、当該ラベリング処理により、単一他車両候補領域ＨＫが特定されることとなる。

次いで、単一他車両候補領域特定部５５は、横方向Ｄｘの幅が所定画素数以内（例えば１０ピクセル以内）の単一他車両候補領域ＨＫに付されているラベルを削除する（ステップＳｃａ５）。所定画素数は、一般的な車両が取り得る幅に相当する画素数よりも非常に小さな値である。かかる所定画素数よりも小さな幅の単一他車両候補領域ＨＫのラベルを除去することで、他車両Ａが存在し得ることがない単一他車両候補領域ＨＫ（すなわちノイズ）が除かれる。
なお、マスクエッジ画像Ｇｅ内のノイズが、単一他車両候補領域ＨＫや他車両候補領域６０の識別に影響を及ぼさない程度である場合、ステップＳｃａ２の２値化処理、ステップＳｃａ３のクロージング処理、及び、ステップＳｃａ５におけるラベル削除処理の全部又は一部を実行しなくてもよい。

次に、単一他車両候補領域特定部５５は、各々の単一他車両候補領域ＨＫに対してグルーピング処理を施す（ステップＳｃａ６）。
グルーピング処理は、単一他車両候補領域ＨＫのうち、実際には同一の他車両Ａに対応する領域同士を纏める処理である。本実施形態では、次の第１、及び第２のグルーピング条件のいずれかに該当する単一他車両候補領域ＨＫ同士が纏められる。第１のグルーピング条件は、マスクエッジ画像Ｇｅにおいて、互いに縦方向Ｄｙで重なっていること、第２のグルーピング条件は、縦方向Ｄｙで重なっていない場合であっても、縦方向Ｄｙ及び横方向Ｄｘの間隔が所定画素数以内（例えば縦方向Ｄｙの間隔が３０ピクセル以内、横方向Ｄｘの間隔が５ピクセル以内）であること、である。
第１のグルーピング条件について説明すると、互いに縦方向Ｄｙで重なっている場合、重なった位置に単一他車両候補領域ＨＫに対応する各他車両Ａが同時存在している事を意味する。したがって、この場合は、１台の他車両Ａについての単一他車両候補領域ＨＫが何らかの理由で異なる領域に分離されているものと見做すことができる。
第２のグルーピング条件について説明すると、図１８に示すように、１台の他車両Ａが車両２の真横（横方向Ｄｘ）に位置していた場合、この他車両Ａの先端ＶＦ、及び後端ＶＢの輪郭線６３ごとに互いに単一他車両候補領域ＨＫがマスクエッジ画像Ｇｅ内に出現する。この場合において、他車両Ａの先端ＶＦ、及び後端ＶＢの間に特徴的な輪郭が存在しないときには、先端ＶＦ、及び後端ＶＢの各々の単一他車両候補領域ＨＫは互いに分離したものとなる。第２の条件は、このように分離した単一他車両候補領域ＨＫ同士を１つに纏めるための条件である。

そして、前掲図１５に示すように、単一他車両候補領域特定部５５は、ステップＳｃａ６のグルーピング処理において、単一他車両候補領域ＨＫのそれぞれに対し、第１条件に基づくグルーピング、及び、第２条件に基づくグルーピングを実行する。

以上の単一他車両候補領域特定処理により、前掲図１７に示すように、マスクエッジ画像Ｇｅにおける個々の他車両Ａごとの単一他車両候補領域ＨＫが特定される。

次いで、接地線特定部５２は、各単一他車両候補領域ＨＫについて近傍接地線Ｌ１を求める。具体的には、前掲図１４に示すように、接地線特定部５２は、単一他車両候補領域ＨＫごとにマスクエッジヒストグラムＲｅを生成する（ステップＳｃ２）。

図１９は、マスクエッジヒストグラムＲｅの説明図である。
マスクエッジヒストグラムＲｅは、図１９に示すように、車両２の走行方向Ｂに対して垂直な横方向Ｃの位置（以下、「横方向位置」と言う）を横軸とし、マスクエッジ画像Ｇｅの横方向を所定間隔で短冊状の小領域に区切り、その領域ごとに走行方向Ｂに沿って画素値の有無を累積した値（以下、「走行方向差分量累積値」と言う）を縦軸としたグラフである。マスクエッジ画像Ｇｅでは、他車両Ａの輪郭成分以外はマスキングされているため、横方向Ｃにおける走行方向差分量累積値の分布によって、他車両Ａの近傍接地線Ｌ１を特定することができる。

具体的には、前掲図１４に示すように、接地線特定部５２は、その横方向位置に他車両Ａが存在すると見做す走行方向差分量累積値の第３閾値Ｔｈ３を設定する（ステップＳｃ３）。この第３閾値Ｔｈ３には、走行方向差分量累積値の平均値Ａｖｅと、走行方向差分量累積値の最小値Ｍｉｎとの中間値（＝（Ａｖｅ＋Ｍｉｎ）／２）が設定される。

次いで、接地線特定部５２は、マスクエッジヒストグラムＲｅにおいて、走行方向差分量累積値が、所定数以上に亘って連続して第３閾値Ｔｈ３を越えている横方向位置の範囲Ｕｃに基づいて近傍接地線Ｌ１を特定する。
具体的には、接地線特定部５２は、図２０に示すように、マスクエッジヒストグラムＲｅの横軸上のｉ（ｉは１以上の整数）箇所に判定点Ｘを等間隔に設定する。各判定点Ｘは、マスクエッジヒストグラムＲｅの横軸における区間（グラフの柱）に対応させてもよい。
そして、接地線特定部５２は、前掲図１４に示すように、撮影位置Ｏに近い判定点Ｘから順に、所定の接地線判定条件を満足するか否かを判定し（ステップＳｃ４）、満足してない場合には（ステップＳｃ４：Ｎｏ）、次の判定点Ｘを判定する（ステップＳｃ５）。また、接地線判定条件が満足されている場合は（ステップＳｃ４：Ｙｅｓ）、接地線特定部５２は、その判定点Ｘを近傍接地線Ｌ１の位置であると特定する（ステップＳｃ６）。

上記接地線判定条件は、その判定点Ｘの走行方向差分量累積値が第３閾値Ｔｈ３以下であり、なおかつ、その次の判定点Ｘから所定個数分の判定点Ｘの全てにおいて走行方向差分量累積値が第３閾値Ｔｈ３以上である、という条件である。
撮影位置Ｏに近い判定点Ｘから順に接地線判定条件を判定することで、図２０に示すように、所定個数分の判定点Ｘの全ての走行方向差分量累積値が第３閾値Ｔｈ３を越える範囲Ｕｃに対し、撮影位置Ｏからみて直前の判定点Ｘが求められ、この判定点Ｘが近傍接地線Ｌ１として特定されることとなる。これにより、近傍接地線Ｌ１が他車両Ａに入り込んだ位置（第３閾値Ｔｈ３を越えている範囲）に設定されることがなく、より正確な位置に近傍接地線Ｌ１が設定される。

そして接地線特定部５２は、前掲図１４に示すように、近傍接地線Ｌ１の位置と、他車両Ａの車幅とに基づいて、遠方接地線Ｌ２の位置を特定する（ステップＳｃ７）。他車両Ａの車幅には、小型車、普通車、及び大型車ごとに予め設定された値が用いられる。すなわち、ステップＳｃ６において、接地線特定部５２は、差分画像Ｇにおける他車両候補領域６０の大きさや形状に基づいて、他車両Ａの車種が小型車、普通車、及び大型車のどれに該当するかを特定し、特定した車種に対応する車幅を、近傍接地線Ｌ１の位置に加算することで、差分画像Ｇにおける遠方接地線Ｌ２の位置を特定する。

以上の接地線特定処理により、車両２からみて横方向Ｃにおける他車両Ａの位置である近傍接地線Ｌ１、及び遠方接地線Ｌ２が特定される。マスクエッジ画像Ｇｅにおける近傍接地線Ｌ１、及び遠方接地線Ｌ２の位置に基づいて、マスク差分画像Ｇｍや差分画像Ｇなどにける近傍接地線Ｌ１、及び遠方接地線Ｌ２の位置も特定されることとなる。

前掲図４に戻り、ステップＳａ７の接地線特定処理が終了すると、立体物領域特定部５４が、近傍接地線Ｌ１、及び遠方接地線Ｌ２に基づいて、他車両Ａの先端ＶＦ、及び後端ＶＢを特定することで、差分画像Ｇにおける他車両領域Ｈを検出する立体物領域特定処理を実行する（ステップＳａ８）。

図２１は、俯瞰画像Ｆにおける近傍接地線Ｌ１、及び遠方接地線Ｌ２と鉛直方向輪郭線Ｐとの関係を示す図である。
近傍接地線Ｌ１を用いて他車両Ａの先端ＶＦ、及び後端ＶＢを求める手法としては、次のような手法がある。すなわち、図２１に示すように、俯瞰画像Ｆにおいて、他車両Ａの鉛直方向輪郭線Ｐのうち、後端近傍側鉛直方向輪郭線Ｐ１、及び先端近傍側鉛直方向輪郭線Ｐ２と、近傍接地線Ｌ１との交点を求めるという手法である。これらの交点によって、近傍接地線Ｌ１における後端近傍側位置Ｌ１ＶＢと、先端近傍側位置Ｌ１ＶＦとが求められる。
なお、後端近傍側鉛直方向輪郭線Ｐ１は、他車両Ａの後端側であり撮影位置Ｏに近い側の鉛直方向輪郭線Ｐを指し、先端近傍側鉛直方向輪郭線Ｐ２は、他車両Ａの先端側であって撮影位置Ｏに近い側の鉛直方向輪郭線Ｐを指す。

しかしながら、俯瞰画像Ｆにおいては、他車両Ａが放射線Ｑの方向に倒れ込んで映るため、他車両Ａのルーフ部分Ａｒ等の影響により実際よりも走行方向Ｂに長く延びた他車両領域Ｈが検出されることとなり、他車両Ａの位置に誤差が生じることとなる。

本実施形態の立体物領域特定処理では、かかる誤差を排除するために、立体物領域特定部５４は、次のようにして他車両領域Ｈを特定している。
すなわち、図２２に示すように、立体物領域特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２のそれぞれごとに、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑとの交点ＬＶを求める。次いで、立体物領域特定部５４は、近傍接地線Ｌ１における交点ＬＶから他車両領域Ｈ１を特定し、また遠方接地線Ｌ２における交点ＬＶから他車両領域Ｈ２を特定する。そして、立体物領域特定部５４は、これら他車両領域Ｈ１と他車両領域Ｈ２とが重複するエリアに基づいて他車両Ａの先端ＶＦ、及び後端ＶＢを特定する。これにより、他車両Ａについて、近傍接地線Ｌ１、遠方接地線Ｌ２、先端ＶＦ、及び後端ＶＢによって区画される他車両領域Ｈが特定されることとなる。

以下、かかる立体物領域特定処理について、より詳細に説明する。
図２３は、立体物領域特定処理のフローチャートである。
立体物領域特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２ごとの他車両領域Ｈ１、Ｈ２を特定するために、先ず、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎと、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆと、をそれぞれ生成する（ステップＳｄ１）。

図２４は差分近傍ヒストグラムＲａｎの説明図であり、図２５はエッジ強度近傍ヒストグラムＲｂｎの説明図である。
差分近傍ヒストグラムＲａｎは、図２４に示すように、差分画像Ｇにおける近傍領域Ｊｎについて上述した差分ヒストグラムＲａを求めたものであり、またエッジ強度近傍ヒストグラムＲｂｎは、図２５に示すように、エッジ画像Ｅにおける近傍領域Ｊｎについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
近傍領域Ｊｎは、差分画像Ｇにおいて、近傍接地線Ｌ１と遠方接地線Ｌ２とで挟まれた領域である。

図２６は差分遠方ヒストグラムＲａｆの説明図であり、図２７はエッジ強度遠方ヒストグラムＲｂｆの説明図である。
差分遠方ヒストグラムＲａｆは、図２６に示すように、差分画像Ｇにおける遠方領域Ｊｆについて上述した差分ヒストグラムＲａを求めたものであり、またエッジ強度遠方ヒストグラムＲｂｆは、図２７に示すように、エッジ画像Ｅにおける遠方領域Ｊｆについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
遠方領域Ｊｆは、差分画像Ｇにおいて、撮影位置Ｏからみて近傍接地線Ｌ１よりも遠方の領域である。

差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎの生成には近傍用マスクラベル画像９１ｎが用いられ、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆの生成には遠方用マスクラベル画像９１ｆが用いられる。

図２８は、近傍用マスクラベル画像９１ｎ、及び遠方用マスクラベル画像９１ｆの説明図である。
近傍用マスクラベル画像９１ｎは、差分画像Ｇにおいて近傍領域Ｊｎ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像である。かかる近傍用マスクラベル画像９１ｎは、図２８に示すように、差分画像Ｇにおける近傍領域Ｊｎ以外をマスキングする近傍領域用マスク画像９０ｎを、上述したラベル画像９１に重畳することで得られる。
立体物領域特定部５４が、近傍用マスクラベル画像９１ｎを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、近傍領域Ｊｎの画素値だけが累積値の加算対象となり、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎが求められることとなる。

遠方用マスクラベル画像９１ｆは、差分画像Ｇにおいて遠方領域Ｊｆ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像であり、差分画像Ｇにおける遠方領域Ｊｆ以外をマスキングする遠方領域用マスク画像９０ｆをラベル画像９１に重畳することで得られる。
立体物領域特定部５４が、遠方用マスクラベル画像９１ｆを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、遠方領域Ｊｆの画素値だけが累積値の加算対象となり、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆが求められる。

前掲図２３に戻り、立体物領域特定部５４は、次に、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎに基づいて、近傍領域Ｊｎにおける立体物判定を行う（ステップＳｄ２）。
具体的には、立体物領域特定部５４は、差分近傍ヒストグラムＲａｎにおいて放射線方向差分量累積値が第４閾値Ｔｈ４（図２４）以上であり、なおかつエッジ強度近傍ヒストグラムＲｂｎにおいて放射線方向エッジ強度累積値が第５閾値Ｔｈ５（図２５）以上となるラベル番号の放射線Ｑを特定する。
そして、図２９に示すように、立体物領域特定部５４は、差分画像Ｇにおいて、特定された放射線Ｑの各々と近傍接地線Ｌ１との交点ＬＶを特定する。これらの交点ＬＶの特定は、差分画像Ｇの中に設定された所定の検出領域についてのみ行われる。この検出領域は、例えば上記検出領域７２（図３、図５）などである。
これらの交点ＬＶによって、近傍領域Ｊｎに限定して立体物検出を行った場合の他車両領域Ｈ１が特定される。なお、他車両領域Ｈ１の横方向Ｃの幅（すなわち他車両Ａの車幅）については、近傍接地線Ｌ１と遠方接地線Ｌ２の位置に基づいて特定される。

前掲図２３に戻り、立体物領域特定部５４は、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆに基づいて遠方領域Ｊｆにおける立体物判定を行う（ステップＳｄ３）。これにより、遠方領域Ｊｆに限定して立体物検出を行った場合の他車両領域Ｈ２が特定されることとなる。

次に、立体物領域特定部５４は、近傍接地線Ｌ１について特定された他車両領域Ｈ１と、遠方接地線Ｌ２について特定された他車両領域Ｈ２と、に基づいて、最終的な他車両領域Ｈを決定する（ステップＳｄ４）。
すなわち、図３０に示すように、他車両領域Ｈ１、及び他車両領域Ｈ２の各々の他車両Ａの先端ＶＦ、及び後端ＶＢのうち、他車両領域Ｈ１、及び他車両領域Ｈ２の両者が重複している範囲にあるものを、最終的な他車両領域Ｈの先端ＶＦ、及び後端ＶＢとして特定する。
そして、これら先端ＶＦ、及び後端ＶＢと、近傍接地線Ｌ１及び遠方接地線Ｌ２とによって、射影変換による倒れ込みに起因する誤差を排除し、１台の他車両Ａの外形に対応した矩形状の他車両領域Ｈの正確な位置が特定されることとなる。

上述した実施形態によれば、次のような効果を奏する。

本実施形態のカメラＥＣＵ６（立体物検出装置）は、エッジ画像Ｅにマスク画像９０を重畳したマスクエッジ画像Ｇｅにおける単一他車両候補領域ＨＫごとに接地線を特定する接地線特定部５２を備え、これら単一他車両候補領域ＨＫのそれぞれの接地線に基づいて差分画像Ｇにおける他車両Ａ立の位置を特定する。
これにより、複数の他車両Ａがカメラ映像５に映っている場合でも、個々の他車両Ａの接地線が特定されるので、各他車両Ａの横位置が正確に求められる。
したがって、例えばリアカメラとサイドカメラと各々のカメラ映像５に同一の他車両Ａが映っている場合、それぞれのカメラ映像５から特定された他車両Ａの横位置同士のズレが抑えられる。かかるズレが抑えられることで、同一の他車両Ａが異なる２台の他車両Ａと誤検知されてしまうことを防止でき、より安定した自動運転車両制御に有用なものとなる。

本実施形態の接地線特定部５２は、同一の他車両Ａに対応する単一他車両候補領域ＨＫ同士をグルーピングした後に、単一他車両候補領域ＨＫごとに接地線を特定する。
これにより、実際には一台の他車両Ａが複数箇所の他車両Ａとして誤検知されることを防止できる。

本実施形態の接地線特定部５２は、マスクエッジ画像Ｇｅに対して２値化処理、及び／又は、クロージング処理を施した後の単一他車両候補領域ＨＫごとに接地線を特定する。
これにより、ノイズの影響を抑えて正確に接地線を特定することができる。

本実施形態の接地線特定部５２は、他車両Ａが取り得る幅よりも狭い幅の単一他車両候補領域ＨＫを除いて単一他車両候補領域ＨＫごとに接地線を特定する。
これにより、他車両Ａの誤検知を防止できる。

なお、上述した実施形態は、あくまでも本発明の一態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形、及び応用が可能である。

上述した実施形態において、接地線特定部５２がマスクエッジ画像Ｇｅに基づいて、他車両Ａの位置としての接地線を特定したが、接地線特定部５２は、マスク差分画像Ｇｍに基づいて接地線を特定してもよい。この場合に接地線特定部５２が行う処理は、上述の実施形態（接地線特定処理：図１４）において、「マスクエッジ画像Ｇｅ」を「マスク差分画像Ｇｍ」に読み替えた処理となる。

上述した実施形態では、カメラＥＣＵ６が立体物検出装置として機能したが、これに限らず、車載システム１が備える任意の装置が立体物検出装置として機能してもよい。

また上述した実施形態において、図２に示す機能ブロックは、本願発明を理解容易にするために、カメラＥＣＵ６の構成要素を主な処理内容に応じて分類して示した概略図であり、カメラＥＣＵ６の構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また上述した実施形態において、水平、及び垂直等の方向や、各種の形状は、特段の断りがなされていない限り、同一の作用効果を奏する限りにおいて、その周辺の方向や近似の形状（いわゆる、均等の範囲）を含むものである。

２ 車両
４ カメラ
６ カメラＥＣＵ（立体物検出装置）
２４ 立体物位置特定部
３４ 俯瞰変換処理部
３６ 差分画像生成部
５０ マスク差分画像生成部
５２ 接地線特定部
５４ 立体物領域特定部
５５ 単一他車両候補領域特定部
６２ マスキング領域
９０ マスク画像
Ａ 他車両
Ｂ 走行方向
Ｅ エッジ画像
Ｆ、Ｆ１、Ｆ２ 俯瞰画像
Ｇ 差分画像
Ｇｍ マスク差分画像
Ｇｅ マスクエッジ画像
Ｈ、Ｈ１、Ｈ２ 他車両領域
ＨＫ 単一他車両候補領域（単一立体物候補領域）
Ｌ１ 近傍接地線
Ｌ２ 遠方接地線
ＬＶ 交点
Ｍ 撮影画像
Ｏ 撮影位置
Ｐ 鉛直方向輪郭線
Ｑ 放射線
ＶＢ 後端
ＶＦ 先端

Claims (5)

1. 車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、
   互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、
   立体物が映っている候補となる立体物候補領域以外をマスキングするマスク画像を前記差分画像に重畳したマスク差分画像を生成するマスク差分画像生成部を有し、前記車両の周囲に存在する立体物の位置を、前記マスク画像および前記差分画像を用いて特定する立体物位置特定部と、を備え、
   前記立体物位置特定部は、
   前記第１俯瞰画像又は前記第２俯瞰画像から前記立体物の輪郭成分を抽出したエッジ画像に前記マスク画像を重畳したマスクエッジ画像、又は、前記マスク差分画像のいずれかの画像を用いて、当該画像内の前記立体物候補領域の塊である単一立体物候補領域ごとに接地線を特定する接地線特定部を備え、
   前記単一立体物候補領域のそれぞれの前記接地線に基づいて、前記差分画像における前記立体物の位置を特定する
   ことを特徴とする立体物検出装置。
2. 前記接地線特定部は、
   同一の立体物に対応する前記単一立体物候補領域同士をグルーピングした後に、前記単一立体物候補領域ごとに前記接地線を特定する
   ことを特徴とする請求項１に記載の立体物検出装置。
3. 前記接地線特定部は、
   前記マスクエッジ画像、又は、前記マスク差分画像に対して２値化処理、及び／又は、クロージング処理を施した後の前記単一立体物候補領域ごとに前記接地線を特定する
   ことを特徴とする請求項１または２に記載の立体物検出装置。
4. 前記接地線特定部は、
   前記立体物が取り得る幅よりも狭い幅の前記単一立体物候補領域を除いて前記単一立体物候補領域ごとに前記接地線を特定する
   ことを特徴とする請求項１から３のいずれかに記載の立体物検出装置。
5. 車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する第１ステップと、
   互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する第２ステップと、
   立体物が映っている候補となる立体物候補領域以外をマスキングするマスク画像を前記差分画像に重畳したマスク差分画像を生成し、前記車両の周囲に存在する立体物の位置を、前記マスク画像および前記差分画像を用いて特定する第３ステップと、
   を備え、
   前記第３ステップにおいて、
   前記第１俯瞰画像又は前記第２俯瞰画像から前記立体物の輪郭成分を抽出したエッジ画像に前記マスク画像を重畳したマスクエッジ画像、又は、前記マスク差分画像のいずれかの画像を用いて、当該画像内の前記立体物候補領域の塊である単一立体物候補領域ごとに接地線を特定し、
   前記単一立体物候補領域のそれぞれの前記接地線に基づいて、前記差分画像における前記立体物の位置を特定する
   ことを特徴とする立体物検出方法。

Images