JP2019091327A - 立体物検出装置 - Google Patents

Abstract

【課題】車両を移動させることなく、又、複数のカメラを備えることなく、単一のカメラ画像を用いて、車両の周辺に存在する立体物を検出することのできる立体物検出装置を提供する。【解決手段】車両１に取り付けられたカメラ２０により車両１の周辺が撮像されることで得られた画像に基づいて、光源からの光を受けて車両１が形成した実際の影領域である実影領域を取得する実影領域取得部１４と、光源からの光を受けた車両１が平坦な路面上に形成すると予測される仮想的な影領域である仮想影領域を算出する仮想影領域算出部１３と、実影領域の形状と、仮想影領域の形状とを比較した結果に基づいて、車両１の周辺に存在する立体物を検出する立体物検出部１５と、を有する。【選択図】図１

Description

本発明は、立体物検出装置に関する。

従来、車両に取り付けられたカメラによって車両の周辺を撮像することにより得られた２つの画像に基づいて、車両の周辺に存在する障害物を検知する技術が知られている。車両に取り付けられた単一のカメラで撮像された画像の中から、自車影領域を特定する自車影認識装置が開示されている（例えば特許文献１参照）。

この装置では、予め推定された自車影推定パターンに基づき、カメラで撮像された画像の中から自車影の探索領域が設定される。その設定された探索領域に対して、輝度と形状の特徴を用いて、自車影候補領域がカメラで撮像された画像の中から抽出される。そして、自車影候補領域と自車影推定パターンとのパターン照合が行われ、その照合結果を基に、自車影候補領域が自車影領域として特定される。

特開２０１１−６５４４２号公報

しかしながら、特許文献１に開示された技術により得られた自車影領域を作って、具体的に障害物を特定するものではない。

本発明は、上記課題に鑑みてなされたもので、車両を移動させることなく、又、複数のカメラを備えることなく、単一のカメラ画像を用いて、車両の周辺に存在する立体物を検出することのできる立体物検出装置を提供することを目的とする。

本発明に係る立体物検出装置は、車両に取り付けられたカメラにより前記車両の周辺が撮像されることで得られた画像に基づいて、光源からの光を受けて前記車両が形成した実際の影領域である実影領域を取得する実影領域取得部と、前記光源からの光を受けた前記車両が平坦な路面上に形成すると予測される仮想的な影領域である仮想影領域を算出する仮想影領域算出部と、前記実影領域の形状と、前記仮想影領域の形状とを比較した結果に基づいて、前記車両の周辺に存在する立体物を検出する立体物検出部と、を有することを特徴とする。

このように構成された本発明に係る立体物検出装置によれば、車両を移動させることなく、又、複数のカメラを備えることなく、単一のカメラ画像を用いて、車両の周辺に存在する立体物を検出することができる。

立体物検出装置を適用した立体物検出システムを構成するハードウェア要素を示すハードウェアブロック図である。 仮想影領域算出部で算出された仮想影領域を模式的に示す図である。 仮想影領域算出部で行われる仮想影領域算出処理の詳細を説明する説明図である（その１）。 仮想影領域算出部で行われる仮想影領域算出処理の詳細を説明する説明図である（その２）。 立体物検出装置で行われる立体物検出処理の概要を説明する説明図である。 立体物検出装置で行われる立体物検出処理を示すフローチャートである。 車両の周辺が撮像されることで得られた画像内に写りこんだ太陽の様子を示す説明図である。 立体物検出装置を適用した立体物検出システムを構成するハードウェア要素を示すハードウェアブロック図である。 車両の周辺が撮像されることで得られた画像内に写り込んだ水滴の様子を示す説明図である。 変形例の立体物検出装置で行われる立体物検出処理の概要を説明する説明図である。

以下、本発明に係る立体物検出装置の具体的な実施形態について、図面を参照して説明する。

（立体物検出装置を適用したシステム構成の説明）
図１は、立体物検出装置１０を適用した立体物検出システム１００を構成するハードウェア要素を示すハードウェアブロック図である。

立体物検出システム１００は、車両１に設置されている。立体物検出システム１００は、立体物検出装置１０と、前方カメラ２０ａ，後方カメラ２０ｂ，左側方カメラ２０ｃ，右側方カメラ２０ｄと、表示装置３０と、ユーザインタフェース４０と、車載ネットワーク５０と、カーナビゲーション装置７０と、ＲＯＭ（Read Only Memory）８０と、ＲＡＭ（Random Access Memory）９０を有する。なお以下では、前方カメラ２０ａ，後方カメラ２０ｂ，左側方カメラ２０ｃ，右側方カメラ２０ｄを特に区別しないときは、単にカメラ２０ともいう。

立体物検出装置１０は、車両１の周辺に存在する立体物の位置又は形状を検出する。立体物検出装置１０の詳細は後述する。

各カメラ２０は、水平方向から斜め下方に光軸が向くように車両１に取り付けられる。前方カメラ２０ａ及び後方カメラ２０ｂは、例えばナンバープレート付近の車体に取り付けられる。左側方カメラ２０ｃ及び右側方カメラ２０ｄは、例えばサイドミラーの下部等に取り付けられる。

表示装置３０は、例えばＬＣＤ（Liquid Crystal Display）等で構成され、車両１の運転手が視認できる位置に配置されて、運転手に対して各種情報を表示する。表示装置３０は、例えば、各カメラ２０から得られた画像を表示する。

ユーザインタフェース４０は、車両１の運転者が立体物検出システム１００を操作するためのスイッチ類とインジケータ類とにより構成される。ユーザインタフェース４０は、車両１の運転手によるスイッチ類の操作に応答して、立体物検出装置１０に立体物検出の開始又は終了を指示する。ユーザインタフェース４０は、例えば、予期しない障害が立体物検出システム１００に発生した際に、インジケータ類を通じて車両１の運転者にその旨を報知する。

車載ネットワーク５０は、車両１に搭載された複数のコントロールユニット間の情報を共有する。車載ネットワーク５０の代表的な規格としては、ＣＡＮ(Controller Area Network)等が挙げられる。車載ネットワーク５０で共有される情報には、例えば、車両１の車輪速、車両１のステアリングの操舵角、各種ランプ類のＯＮ／ＯＦＦ状態、ワイパの動作状態等、車両１の挙動に関する情報が含まれる。

カーナビゲーション装置７０は、ＧＰＳ（Global Positioning System）信号に基づいて、車両１の現在位置の緯度及び経度や、車両１の進行方向等の情報を算出する。

ＲＯＭ８０には、プログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。ＲＯＭ８０には、例えば、カメラ２０の設置位置や角度の設計値等、カメラ２０の取り付け状態に関するカメラパラメータが格納される。

ＲＡＭ９０には、立体物検出装置１０における検出処理過程で必要となる数値データ、検出処理途中の処理結果に対するプログラムの変数の他、各カメラ２０によって撮像された画像データ等が書き込まれる。その書き込まれたデータは、立体物検出装置１０の検出処理過程で適宜必要に応じて読み出されて検出処理に使用される。

（立体物検出装置の構成の説明）
次に、図１を用いて、立体物検出装置１０の構成について説明する。

立体物検出装置１０は、自車立体形状データベース１１と、光源位置算出部１２と、仮想影領域算出部１３と、実影領域取得部１４と、立体物検出部１５を有する。

自車立体形状データベース１１は、車両１の三次元データである自車立体形状データを記憶する。自車立体形状データは、車両１の外形を三次元座標（Ｘ,Ｙ,Ｚ）として離散化されたデータである。

光源位置算出部１２は、カメラ２０に対して光学的な無限遠に位置する光源である太陽Ｓの位置を算出する。光源位置算出部１２は、車両１の現在位置の緯度及び経度と、現在の時刻と、標準子午線の情報等に基づいて、太陽Ｓの位置（向き）を算出する。太陽Ｓの位置には、太陽Ｓの高度、方位角、仰角等が含まれる。なお、車両１の現在位置の緯度及び経度等の情報は、カーナビゲーション装置７０から必要に応じて読み出されて使用される。

仮想影領域算出部１３は、太陽Ｓからの光を受けた車両１が平坦な路面上に形成すると予測される仮想的な影領域である仮想影領域を算出する。仮想影領域は、太陽Ｓに対する車両１の相対的な位置と、車両１の形状及び寸法と、車両１の姿勢とによって一義的に定まる影領域である。

図２は、仮想影領域算出部１３で算出された仮想影領域５を模式的に示す図である。仮想影領域５は、平坦な路面上に投影されたと想定される自車影の領域である。例えば８個の計測点ＶＰ[ｎ]（ｎ＝１，２，・・・，８）は、自車立体形状データを構成する計測点である。図２に示す各計測点ＳＰ[ｎ]（ｎ＝１〜８）は、各計測点ＶＰ[ｎ]に対応する路面２上の計測点である。

実影領域取得部１４は、カメラ２０により車両１の周辺が撮像されることで得られた画像に基づいて、太陽Ｓからの光を受けて車両１が形成した実際の影領域である実影領域を取得する。

立体物検出部１５は、実影領域の形状と、仮想影領域の形状とを比較した結果に基づいて、車両１の周辺に存在する立体物の位置又は形状を検出する。立体物検出部１５は、障害物判断部１６と、路面判断部１７とを有する。

仮想影領域算出部１３，実影領域取得部１４及び立体物検出部１５の詳細は後述する。

（仮想影領域算出部で行われる仮想影領域算出処理の概要の説明）
次に、図３及び図４を用いて、仮想影領域算出部１３で行われる仮想影領域算出処理の概要を説明する。

図３は、右側方カメラ２０ｄによって車両１の周辺が撮像されることで得られた画像Ｉｄ内に、仮想影領域５が設定される場面の一例である。この場面では、車両１の右側方に壁３が存在している。

次に、図４を用いて、仮想影領域算出部１３で行われる仮想影領域算出処理の詳細を説明する。図４では、自車立体形状データを構成する各計測点ＶＰ［ｎ］を代表する代表点ＶＰ（車室の屋根部分に相当する計測点ＶＰ）を示し、その代表点ＶＰの高さをＨとする。また、代表点ＶＰを通る太陽光線の路面２に対する入射角度を仰角θとする。仰角θは、車両１の現在位置の緯度及び経度と、現在の時刻と、標準子午線の情報等に基づいて、光源位置算出部１２により算出される。その算出された仰角θは、仮想影領域算出部１３で行われる仮想影領域の算出処理に使用される。

仮想影領域算出部１３は、高さＨと仰角θとから、以下の式（１）を用いて、仮想影領域５の長さＬの推定値を算出する。

この算出は、自車立体形状データを構成する計測点ＶＰ［ｎ］（図２に示す例では８点）の一つ一つについて行われる。そして、仮想影領域算出部１３は、各計測点ＶＰ［ｎ］で算出した推定値を統合して仮想影領域５を算出する。

（実影領域取得部で行われる実影領域取得処理の概要の説明）
次に、図３を用いて、実影領域取得部１４で行われる実影領域取得処理の概要を説明する。図３の場面では、車両１の右側方に壁３が存在し、この壁３に実影領域４が射影している。

実影領域取得部１４は、輝度と形状の特徴を用いて実影領域４を画像Ｉｄから抽出する。具体的に、実影領域取得部１４は、輝度の特徴として、実影領域４は周囲と比べて相対的に輝度が低くなっていることを利用して、実影領域４を抽出する。また、実影領域取得部１４は、形状の特徴として、実影領域４は必ず車両１と路面２との接地面から伸びていることを利用して、実影領域４を抽出する。

（立体物検出装置で行われる立体物検出処理の概要の説明）
次に、図５を用いて、立体物検出装置１０で行われる立体物検出処理の概要を説明する。図５は、車両１の右側方に壁３が存在し、この壁３に実影領域４が射影している場面の一例を示した図である。

図５の場面では、実影領域４は、路面２の領域にある実影領域４ａと、壁３の領域にある実影領域４ｂとに分類される。この場面では、車室の屋根部分に相当する計測点ＶＰの高さをＨとし、計測点ＶＰに対応する路面２上の計測点をＳＰとする。また、壁３が存在しない場合に形成されると予測される仮想影領域５の長さをＬとする。また、路面２と壁３との接点をＣＰとし、実影領域４ｂにおける路面２と反対側の端点をＣＰＥとする。

図５に示すように、壁３が存在する場合、太陽Ｓから壁３に入射した太陽光線は、点ＣＰＥで反射して折れ曲がり、結像レンズ（不図示）の焦点Ｆを通過する。その後、太陽光線は、右側方カメラ２０ｄの撮像面ＩＳ上の点Ｐａに結像する。

図５に示すように、壁３が存在しない場合、計測点ＳＰと焦点Ｆとを結んだ線分の延長線は、右側方カメラ２０ｄの撮像面ＩＳと点Ｐｂで交わる。すなわち、壁３が存在しない場合、計測点ＳＰからの太陽光線は、右側方カメラ２０ｄの撮像面ＩＳ上の点Ｐｂに結像する。

すなわち、壁３が存在する場合に太陽光線が撮像面ＩＳ上に結像する結像点Ｐａと、壁３が存在しない場合に太陽光線が撮像面ＩＳ上に結像する結像点Ｐｂとの間には、距離Ｄに相当する分だけ差異が生じる。この距離Ｄは、実影領域４と仮想影領域５との相関値（類似度）を表す特徴量の一態様となる。

立体物検出装置１０は、結像点Ｐａ，Ｐｂ間の距離Ｄを特徴量に利用して、車両１以外の立体物が実影領域４に重畳しているか否かを判別する。立体物検出装置１０は、その判別結果に基づいて、車両１の周辺に存在する立体物として壁３の位置及び形状のうち少なくとも一方を検出する。

図６は、立体物検出装置で行われる立体物検出処理を示すフローチャートである。ここでは、図３及び図７の場面を想定して立体物検出処理を説明する。図７は、左側方カメラ２０ｃによって車両１の周辺が撮像されることで得られた画像Ｉｃ内に写りこんだ太陽Ｓの様子を示す説明図である。

立体物検出処理は、例えばユーザインタフェース４０（図１）のスイッチ類が車両１の運転手に操作されたことに基づいて開始される。

まず、ステップＳ１０では、光源位置算出部１２において、画像Ｉｃ（図７）中で相対的に輝度が高くなっている高輝度領域６（図７中の破線で囲んだ領域）が取得される。

ステップＳ１１では、光源位置算出部１２において、高輝度領域６の中心位置を太陽Ｓの位置として、太陽Ｓの仰角θが算出される。

ステップＳ１２では、仮想影領域算出部１３は、太陽Ｓの仰角θに基づいて、仮想影領域５の長さＬの推定値を算出可能か否か判断する。すなわち、太陽Ｓの仰角θが９０°未満の場合、長さＬの推定値が算出可能であると判断され（ステップＳ１２におけるＹＥＳ）、処理はステップＳ１３に移行する。

一方、太陽Ｓの仰角θが９０°の場合、上記式（１）に示すｔａｎθの値が無限大となるので、長さＬの推定値の算出が不可能であると判断され（ステップＳ１２におけるＮＯ）、立体物検出の処理は終了する。

ステップＳ１３では、仮想影領域算出部１３において、仮想影領域５（図３）が算出され、画像Ｉｄ（図３）内に設定される。

ステップＳ１４では、実影領域取得部１４において、画像Ｉｄ（図３）中で相対的に輝度が低くなっている低輝度領域（図中の破線で囲んだ領域）が、実影領域４として取得される。

ステップＳ１５では、立体物検出部１５において、実影領域４の形状と、仮想影領域５の形状とが車両１の付近において比較される。なぜなら、本発明者の検討によれば、実影領域４の形状と、仮想影領域５の形状とが車両１の付近で一致するほど、実影領域４が車両１によって形成された影である可能性が高いからである。

すなわち、立体物検出部１５は、両形状の相関値を算出し、算出した相関値が予め決められた閾値を超える場合に、両形状が一致すると判断する。両形状が一致すると判断された場合（ステップＳ１５におけるＹＥＳ）、処理はステップＳ１６に移行する。一方、算出した相関値が予め決められた閾値以下の場合、両形状が一致しないと判断され（ステップＳ１５におけるＮＯ）、立体物検出の処理は終了する。

ステップＳ１６では、障害物判断部１６において、パターン認識又はテンプレートマッチング等により、実影領域４に対して仮想影領域５を照合して、両領域の相関値を算出する。障害物判断部１６は、算出した相関値が予め決められた閾値以下となる領域を、両領域の差分領域として抽出する。

ステップＳ１７では、障害物判断部１６において、実影領域４の面積が仮想影領域５の面積よりも大きいか否かの判断が行われる。実影領域４の面積が仮想影領域５の面積よりも大きい場合（ステップＳ１７におけるＹＥＳ）、車両１の周辺に障害物が存在すると判断され、処理はステップＳ１８に移行する。一方、実影領域４の面積が仮想影領域５の面積以下の場合（ステップＳ１７におけるＮＯ）、車両１の周辺に障害物が存在しないと判断され、立体物検出の処理は終了する。

ステップＳ１８では、立体物検出部１５において、パターン認識又はテンプレートマッチング等により、実影領域４に対して仮想影領域５を照合する。立体物検出部１５は、その照合結果を基にして、実影領域４が仮想影領域５の形状よりも大きくなる方向に変化し始めるポイントをトレースして、実影領域４の輪郭を抽出する。

ステップＳ１９では、立体物検出部１５において、実影領域４の輪郭を基にして、車両１の周辺に存在する壁３（立体物）の位置及び形状のうち少なくとも一方を検出する。

このため、車両１を移動させることなく、又、複数のカメラを備えることなく、単一のカメラ画像を用いて、車両１の周辺に存在する壁３を検出することができる。

すなわち、２視点で撮像された２枚の画像の差異による立体物の検知を行う必要が無い。このため、同一の方向を向いた２台のカメラは不要である。その結果、ハードウェア構成が複雑かつ高価になるという問題は生じない。

さらに、壁３の位置及び形状のうち少なくとも一方を検出するにあたって、車両１が走行中にカメラ２０で車両１の周辺を撮像する必要は無い。このため、車両１を移動させることなく停止させたままで、車両１の周辺に存在する壁３の位置及び形状のうち少なくとも一方を検出することができる。

なお、上記実施形態では、立体物検出部１５において、実影領域４及び仮想影領域５の両形状を比較し、両形状に差が有るとき、車両１の周辺に立体物が存在すると判断し、両形状に差が無いとき、車両１の周辺に立体物が存在しないと判断した。

ここで、図８に示すように、立体物検出部１５をレンズ付着判断部１１５に代えれば、立体物検出装置１１０を、カメラ２０のレンズに泥や水滴等の汚れが付着しているか否かを判断する装置としても使える。なお、上記実施形態（図１）で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。

すなわち、レンズ付着判断部１１５は、実影領域４及び仮想影領域５の両形状を比較し、両形状に差が有るとき、レンズに汚れが付着していると判断し、両形状に差が無いとき、レンズに汚れが付着していないと判断する。

図９は、右側方カメラ２０ｄによって車両１の周辺が撮像されることで得られた画像Ｉｄ内に写り込んだ水滴ＤＷの様子を示す説明図である。本発明者の検討によれば、レンズに水滴等の汚れが付着した場合、実影領域４の輪郭は、図９に示すように、内側に凹むことが明らかになっている。

この性質を利用し、レンズ付着判断部１１５は、実影領域４の形状が仮想影領域５の形状よりも小さくなる場合に、レンズに汚れが付着していると判断する。

以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

上記実施形態では、太陽Ｓのように車両１から無限遠点にある光源から照射される光によって形成される影を用いて立体物が検出される例を示した。しかし、これに限られない。例えば、車両１からの距離が有限である街灯ランプ等の光源から車両１に照射される光によって形成される影を用いて立体物を検出してもよい。

その場合、光源からの光は太陽光線のように平行な光ではなく、放射状に広がるので、車両１から光源までの距離に応じて実影領域４は様々な形状に変化する。したがって、仮想影領域５のデータを、車両１から光源までの距離に対応付けてＲＯＭ８０（図１）に予め記憶しておく必要がある。立体物検出部１５は、その記憶した実影領域４と仮想影領域５との比較によって、立体物の位置及び形状のうち少なくとも一方を検出することが可能となる。

上記実施形態では、立体物検出部１５において、車両１の周辺に存在する壁３の位置及び形状のうち少なくとも一方を検出する例を示した。しかし、これに限られない。例えば、立体物検出部１５において、図１１に示すように、車両１の周辺に存在する輪留め７（立体物）の位置及び形状のうち少なくとも一方を検出しても良い。

１・・・車両
２・・・路面
２ａ・・・平坦部分
２ｂ・・・起伏部分（立体物）
３・・・壁（障害物）
４、４ａ、４ｂ・・・実影領域
５・・・仮想影領域
７・・・輪留め（立体物）
１０、１１０・・・立体物検出装置
１３・・・仮想影領域算出部
１４・・・実影領域取得部
１５・・・立体物検出部
１６・・・障害物判断部
１７・・・路面判断部
２０・・・カメラ
２０ａ・・・前方カメラ
２０ｂ・・・後方カメラ
２０ｃ・・・左側方カメラ
２０ｄ・・・右側方カメラ
１００・・・立体物検出システム
１１５・・・レンズ付着判断部
Ｓ・・・太陽（光源）

Claims (3)

1. 車両に取り付けられたカメラにより前記車両の周辺が撮像されることで得られた画像に基づいて、光源からの光を受けて前記車両が形成した実際の影領域である実影領域を取得する実影領域取得部と、
   前記光源からの光を受けた前記車両が平坦な路面上に形成すると予測される仮想的な影領域である仮想影領域を算出する仮想影領域算出部と、
   前記実影領域の形状と、前記仮想影領域の形状とを比較した結果に基づいて、前記車両の周辺に存在する立体物を検出する立体物検出部と、
   を有することを特徴とする立体物検出装置。
2. 請求項１に記載の立体物検出装置において、
   前記立体物検出部は、前記立体物の位置及び形状のうち少なくとも一方を検出することを特徴とする立体物検出装置。
3. 請求項１又は請求項２に記載の立体物検出装置において、
   前記光源は、前記カメラに対して光学的な無限遠に位置することを特徴とする立体物検出装置。