JP2022061539A - 車外環境認識装置 - Google Patents
車外環境認識装置 Download PDFInfo
- Publication number
- JP2022061539A JP2022061539A JP2020169504A JP2020169504A JP2022061539A JP 2022061539 A JP2022061539 A JP 2022061539A JP 2020169504 A JP2020169504 A JP 2020169504A JP 2020169504 A JP2020169504 A JP 2020169504A JP 2022061539 A JP2022061539 A JP 2022061539A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- surface model
- model
- line
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】路面を適切に特定する。
【解決手段】車外環境認識装置の路面特定部は、画像中の路面に相当する路面領域を特定し、路面領域における水平ライン毎の代表距離を、その垂直位置にプロットしてランド路面モデルを生成し(S300)、左に位置する車線境界線を特定し、車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして左白線路面モデルを生成し(S302)、右に位置する車線境界線を特定し、車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして右白線路面モデルを生成し(S304)、ランド路面モデル、左白線路面モデル、および、右白線路面モデルの位置関係に基づいて路面モデルを導出する(S310、S314、S318、S320)。
【選択図】図11
【解決手段】車外環境認識装置の路面特定部は、画像中の路面に相当する路面領域を特定し、路面領域における水平ライン毎の代表距離を、その垂直位置にプロットしてランド路面モデルを生成し(S300)、左に位置する車線境界線を特定し、車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして左白線路面モデルを生成し(S302)、右に位置する車線境界線を特定し、車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして右白線路面モデルを生成し(S304)、ランド路面モデル、左白線路面モデル、および、右白線路面モデルの位置関係に基づいて路面モデルを導出する(S310、S314、S318、S320)。
【選択図】図11
Description
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。
特許文献1には、自車両の前方に位置する先行車両等の立体物を検出し、先行車両との衝突被害を軽減する技術や、先行車両との車間距離を安全な距離に保つように追従制御する技術が開示されている。
自車両の進行方向に存在する立体物としては、同方向を走行する先行車両や、逆方向に走行する対向車両等がある。自車両では、路面より鉛直上方に高さを有することを条件に立体物を抽出する。したがって、自車両では、まず、路面を適切に特定しなければならない。路面を適切に特定できなかった場合、自車両は、本来存在するはずの立体物を抽出できなかったり、勾配のある路面自体を立体物と判定したりすることとなる。
本発明は、このような課題に鑑み、路面を適切に特定可能な車外環境認識装置を提供することを目的としている。
上記課題を解決するために、本発明の車外環境認識装置は、画像中の路面に対応する路面モデルを生成する路面特定部と、特定された路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する立体物特定部と、を備え、路面特定部は、画像中の路面に相当する路面領域を特定し、路面領域における水平ライン毎の代表距離を、その垂直位置にプロットしてランド路面モデルを生成し、左に位置する車線境界線を特定し、車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして左白線路面モデルを生成し、右に位置する車線境界線を特定し、車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして右白線路面モデルを生成し、ランド路面モデル、左白線路面モデル、および、右白線路面モデルの位置関係に基づいて路面モデルを導出する。
路面特定部は、ランド路面モデル、左白線路面モデル、および、右白線路面モデルのいずれかの奥行方向の端点を基準とする位置関係に基づき、ランド路面モデル、左白線路面モデル、および、右白線路面モデルのいずれか複数を混合して路面モデルを導出してもよい。
本発明によれば、路面を適切に特定可能となる。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、自車両1に設けられ、撮像装置110と、車外環境認識装置120と、車両制御装置130とを含む。
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、自車両1に設けられ、撮像装置110と、車外環境認識装置120と、車両制御装置130とを含む。
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子で構成される。撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像(カラー画像やモノクロ画像)を生成する。撮像装置110は、自車両1の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、車外環境認識装置120が認識する立体物や特定物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物、道路脇の側壁といった独立して存在する物のみならず、車両の背面や側面、自転車の車輪等、その一部として特定できる物も含む。ここで、車両の背面は、自車両1の前方において自車両1に対向する面を示し、車両自体の後方面を示すものではない。
車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、所謂パターンマッチングを用いて距離画像を生成する。車外環境認識装置120は、輝度画像と距離画像に基づき、路面より上方に位置し、カラー値が等しく、三次元の位置情報が互いに隣接するブロック同士を立体物としてグルーピングする。そして、車外環境認識装置120は、立体物がいずれの特定物であるかを特定する。例えば、車外環境認識装置120は、立体物が先行車両であると特定する。また、車外環境認識装置120は、このように先行車両を特定すると、自車両1と先行車両との衝突被害の軽減制御を行い、また、自車両1を先行車両に追従させる追従制御を行う。車外環境認識装置120の具体的な動作については後程詳述する。
車両制御装置130は、ECU(Electronic Control Unit)等で構成され、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転手の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。
(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含む。
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含む。
I/F部150は、撮像装置110、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、位置導出部170、路面特定部172、立体物特定部174、特定物特定部176としても機能する。以下、車外環境認識方法について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
(車外環境認識方法)
図3は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置120は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部170は、撮像装置110から取得した輝度画像におけるブロック単位の三次元位置を導出する(位置導出処理S200)。路面特定部172は、画像中の路面に対応する路面モデルを生成する(路面特定処理S202)。立体物特定部174は、特定された路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する(立体物特定処理S204)。特定物特定部176は、立体物から先行車両等の特定物を特定する(特定物特定処理S206)。
図3は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置120は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部170は、撮像装置110から取得した輝度画像におけるブロック単位の三次元位置を導出する(位置導出処理S200)。路面特定部172は、画像中の路面に対応する路面モデルを生成する(路面特定処理S202)。立体物特定部174は、特定された路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する(立体物特定処理S204)。特定物特定部176は、立体物から先行車両等の特定物を特定する(特定物特定処理S206)。
(位置導出処理S200)
図4(図4A~図4C)は、輝度画像および距離画像を説明するための説明図である。位置導出部170は、撮像装置110で光軸を異として同タイミングで撮像された複数(ここでは2)の輝度画像をそれぞれ取得する。ここで、位置導出部170は、輝度画像212として、図4Aに示す、自車両1の比較的右側に位置する撮像装置110で撮像された第1輝度画像212aと、図4Bに示す、自車両1の比較的左側に位置する撮像装置110で撮像された第2輝度画像212bとを取得したとする。
図4(図4A~図4C)は、輝度画像および距離画像を説明するための説明図である。位置導出部170は、撮像装置110で光軸を異として同タイミングで撮像された複数(ここでは2)の輝度画像をそれぞれ取得する。ここで、位置導出部170は、輝度画像212として、図4Aに示す、自車両1の比較的右側に位置する撮像装置110で撮像された第1輝度画像212aと、図4Bに示す、自車両1の比較的左側に位置する撮像装置110で撮像された第2輝度画像212bとを取得したとする。
図4Aおよび図4Bを参照すると、撮像装置110の撮像位置の違いから、第1輝度画像212aと第2輝度画像212bとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。
位置導出部170は、位置導出部170が取得した、図4Aに示す第1輝度画像212aと、図4Bに示す第2輝度画像212bとに基づいて、図4Cのような、撮像対象の距離を特定可能な距離画像214を生成する。
具体的に、位置導出部170は、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。そして、位置導出部170は、一方の輝度画像(ここでは第1輝度画像212a)から任意に抽出したブロックに対応するブロックを他方の輝度画像(ここでは第2輝度画像212b)から検索する。ここで、ブロックは、例えば、水平4画素×垂直4画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。
例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。
位置導出部170は、このようなブロック単位の視差導出処理を、例えば、600画素×200画素の検出領域に映し出されている全てのブロックについて行う。ここで、位置導出部170は、ブロックを4画素×4画素として処理しているが、任意の画素数で処理してもよい。
位置導出部170は、距離画像214のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離x、高さyおよび相対距離zを含む実空間における三次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの距離画像214における視差からそのブロックの撮像装置110に対する相対距離zを導出する手法である。このとき、位置導出部170は、ブロックの相対距離zと、ブロックと同相対距離zにある道路表面上の点とブロックとの距離画像214上の検出距離とに基づいて、ブロックの道路表面からの高さyを導出する。そして、位置導出部170は、導出した三次元位置を改めて距離画像214に対応付ける。かかる相対距離zの導出処理や三次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
(路面特定処理S202)
路面特定部172は、まず、輝度画像212や距離画像214における路面に相当する路面領域を特定する。
路面特定部172は、まず、輝度画像212や距離画像214における路面に相当する路面領域を特定する。
具体的に、路面特定部172は、自車両1が走行しているレーン左右に位置する白線等の車線境界線に基づいて自車両1前方の路面を特定する。なお、路面特定部172は、レーン左右の車線境界線に限らず、路面標示、壁、路肩に設けられた段差、ポール、バリア等の立体物に基づいて自車両1前方の路面を特定することもできる。
図5(図5A、図5B)は、路面特定処理を説明するための説明図である。路面には車両が円滑に走行するための車線境界線が記されている。例えば、図5Aの例では、輝度画像212上の道路220において、2本のレーン222a、222bが存在し、これに伴い、幅方向の中央に1本、両端にそれぞれ1本の計3本の車線境界線230a、230b、230cが含まれている。
なお、路面特定部172は、カラー値が白色や黄色で等しく、距離画像214における三次元位置の差分が所定範囲内にあるブロック同士を奥行方向に連続させて車線境界線230a、230b、230cそれぞれを特定する。したがって、路面特定部172は、車線境界線230a、230b、230cそれぞれの手前方向の端点および奥行方向の端点の三次元位置を把握している。
ここで、路面特定部172は、図5Bのように、自車両1が走行しているレーン222aの左に位置する車線境界線230aの左端よりさらに所定距離(例えば10cm)左に、破線で示した仮想の左限界線232aを設定する。また、路面特定部172は、自車両1が走行しているレーン222aの右に位置する車線境界線230bの右端よりさらに所定距離(例えば10cm)右に、破線で示した仮想の右限界線232bを設定する。そして、路面特定部172は、左限界線232aより右、かつ、右限界線232bより左の領域、すなわち、図5Bにおいてハッチングした領域を路面領域234として設定する。
続いて、路面特定部172は、路面領域234内の、パターンマッチングによって相対距離zが得られたブロックを全て抽出し、ランド路面モデルを生成する。ランド路面モデルは、路面領域234を対象として生成される路面モデルであり、後述する車線境界線230a、230bを対象として生成される左白線路面モデルおよび右白線路面モデルと区別される。以下、ランド路面モデルの生成手順を説明する。
図6(図6A、図6B)は、ヒストグラムを説明するための説明図であり、図7(図7A、図7B)および図8(図8A、図8B)は、ランド路面モデルを説明するための説明図である。路面特定部172は、まず、路面領域234の水平方向に延びる水平ラインについて相対距離zのヒストグラムを生成する。具体的に、路面特定部172は、路面領域234において、垂直方向の任意のブロックと垂直位置を等しくするブロック、すなわち、図6Aにクロスハッチで示した、垂直方向の位置が等しい水平ラインにおける全てのブロックの相対距離zを投票する。こうして、図6Bのように、任意の垂直位置に関するヒストグラムが生成される。
そして、路面特定部172は、ヒストグラムで投票数が最大数となる、図6Bにおいてハッチングで示した相対距離zを、その垂直位置の代表距離とする。路面特定部172は、垂直位置を順次変更し、路面領域234における全ての垂直位置について代表距離を導出する。
ランド路面モデルは、縦軸を垂直位置y、横軸を相対距離zとしたyz平面によって、路面領域234の奥行方向の勾配を表したものである。路面特定部172は、垂直位置y毎の代表距離を、その垂直位置yにプロットする。そうすると、図7Aのような点群が得られる。路面特定部172は、最小二乗法等により、図7Aにおいて実線で示したように、点群の近似直線を導出し、ランド路面モデルとする。こうして、路面特定部172は、路面の勾配を導出することができる。なお、ここでは説明の便宜上、路面特定部172が近似直線を導出する例を挙げて説明するが、路面特定部172が複数次の近似曲線を導出してもよい。
ただし、路面領域234内において、間違ってパターンマッチングされてしまった、ノイズに相当する代表距離が含まれる場合がある。路面特定部172が、単純に最小二乗法等により近似直線を導出すると、ノイズの影響を受けて、図7Aのように、近似直線が本来の位置や傾きからずれるおそれがある。
そこで、路面特定部172は、直線に関するハフ変換を用い、同一の直線を形成する、または、同一ではないが所定の相対距離内の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図7Bにおいて破線で囲んだ代表距離をノイズとして除外する。そして、路面特定部172は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図7Bのように、本来の代表距離によって適切に近似されたランド路面モデル236が導出される。なお、直線に関するハフ変換は、複数の点を共通して通る直線を導出する既存の技術なので、ここでは、その説明を省略する。
図7では、路面領域234内で路面の勾配が変化しない例を挙げて説明した。しかし、路面領域234において、路面の勾配は、必ずしも一定とは限らず、途中で変化する場合がある。この場合において、路面特定部172が、単純にハフ変換を施すと、勾配が変化した後の路面に対応する代表距離が、ほとんどノイズとして除外されてしまう。
例えば、路面特定部172が、図8Aに示すような代表距離の点群を求めたとする。路面特定部172は、同一の直線を形成する、または、同一ではないが所定の相対距離内の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図8Aにおいて破線で囲んだ代表距離をノイズとして除外する。そして、路面特定部172は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。
しかし、ノイズとして除外した代表距離のうち点群238は、所定数以上あり、かつ、その点群が連続性を有する。また、所定の垂直位置より上方において、近似直線の近傍には代表距離が存在しない。すなわち、点群238は、ノイズではなく、勾配の異なる、正しい路面を示している。
そこで、路面特定部172は、ハフ変換で除外された代表距離が所定数以上あり、かつ、その点群が連続性を有する場合、その点群238のみで新たに近似直線を導出する。具体的に、路面特定部172は、図8Bのように、所定の垂直位置より上方に位置する点群238のうち、同一の直線を形成する、または、同一ではないが所定の相対距離内の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図8Bにおいて破線で囲んだ代表距離をノイズとして除外する。そして、路面特定部172は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。
こうして、新たに、勾配が異なる2つの近似直線236a、236bが所定の垂直位置で連続しているランド路面モデル236が生成される。なお、導出された2つの近似直線の交点は所定の角度をもって交差するとしてもよいし、所定のRを有する緩和曲線を通じて接続されるとしてもよい。また、ここでは、路面特定部172が、近似直線を2本生成する例を挙げて説明したが、路面の勾配変化が多い場合、3本以上生成してもよい。
ところで、自車両1が走行する道路の曲線部には、車両が円滑に走行できるようにカントが設けられている場合がある。このように道路にカントが存在すると、ランド路面モデル236の代表距離の特定精度が低下するおそれがある。
図9(図9A、図9B)は、カントが設けられている場合のランド路面モデル236を説明するための説明図である。図6を用いて説明したように、路面特定部172は、路面領域234において、垂直方向の任意のブロックと垂直方向の位置が等しい水平ラインにおける全てのブロックの相対距離zを投票する。
ここで、カントが無い、または、無いに等しい場合、水平ラインにおけるブロックの相対距離zが大凡等しくなる。したがって、図6Bのように、ヒストグラムでは、1の相対距離zの投票数が他の相対距離zの投票数より顕著に多くなり、代表距離が一意に特定される。
一方、カントが存在すると、道路の水平方向の勾配が相対距離zを分散させる。例えば、左から右に標高が漸増するカントが存在する場合、距離画像214の垂直方向の位置が等しくとも、左側のブロックの相対距離zは大きくなり、右側のブロックの相対距離zは小さくなる。また、道路が均等に傾斜している場合、投票数も相対距離zに対して均等となるので、図9Aのように、1の投票数が突出しなくなる。ここで、路面特定部172が、垂直位置y毎の代表距離を、その垂直位置yにプロットすると、図9Bのように、破線で囲んだ所定の相対距離zの範囲に、代表距離が分散することになる。
また、ヒストグラムでは、ノイズ的な相対距離zが代表距離となるのを防止するため、投票数が所定の閾値を超えたことを条件として代表距離を特定している。しかし、図9Bのように、相対距離zが分散すると、いずれの相対距離zも閾値を超えず、代表距離自体を特定できない場合がある。こうして、代表距離の特定精度が低下し、ランド路面モデル236が有効に生成されない場合が生じる。
ここで、路面領域234における水平方向の勾配も特定し、路面領域234を面として扱うことも考えられるが、処理負荷が著しく増加してしまう。そこで、ランド路面モデル236に加え、左右の車線境界線230a、230bに基づく左白線路面モデルおよび右白線路面モデルを用い、その位置関係に基づいて1の路面モデルを導出する。
図10(図10A、図10B)は、左白線路面モデルおよび右白線路面モデルを説明するための説明図である。路面特定部172は、左に位置する車線境界線230aについて、垂直位置y毎の相対距離zを、その垂直位置yにプロットする。例えば、図10Aの例では、路面領域234の代表距離を黒丸(●)で示し、左に位置する車線境界線230aの相対距離zを白抜き丸(○)で示している。路面特定部172は、左に位置する車線境界線230aの相対距離zのみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図10Aのように、左に位置する車線境界線230aの相対距離zに基づく路面モデルである左白線路面モデル240が生成される。なお、図10Aを参照して理解できるように、左白線路面モデル240は、路面領域234の分散した代表距離の境界を担う場合がある。
また、路面特定部172は、右に位置する車線境界線230bについて、左白線路面モデル240同様、垂直位置y毎の相対距離zを、その垂直位置yにプロットする。例えば、図10Bの例では、路面領域234の代表距離を黒丸(●)で示し、右に位置する車線境界線230bの相対距離zを白抜き丸(○)で示している。路面特定部172は、右に位置する車線境界線230bの相対距離zのみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図10Bのように、右に位置する車線境界線230bの相対距離zに基づく路面モデルである右白線路面モデル242が生成される。なお、図10Bを参照して理解できるように、右白線路面モデル242は、路面領域234の分散した代表距離の、左白線路面モデル240と逆側の境界を担う場合がある。
車線境界線230a、230bは、その幅が定められており、路面領域234と比べて短い。そうすると、路面特定部172は、道路がカントしているか否かに拘わらず、安定して均一な相対距離zを取得できる。したがって、左白線路面モデル240および右白線路面モデル242は、路面領域234自体の路面モデルではないものの、ランド路面モデル236に比べ特定精度が高い場合がある。
ランド路面モデル236、左白線路面モデル240、および、右白線路面モデル242を生成すると、路面特定部172は、かかる3つの路面モデルの位置関係に基づいて最適な路面モデルを導出する。
図11は、路面特定部172の路面モデル生成処理の流れを示すフローチャートであり、図12~図15は、路面モデルの導出処理を説明するための説明図である。なお、図12~15においては、ランド路面モデル236を破線で示し、左白線路面モデル240を一点鎖線で示し、右白線路面モデル242を二点鎖線で示している。路面特定部172は、所定の割込時間毎に当該路面モデル生成処理を実行する。
まず、路面特定部172は、路面領域234を特定し、路面領域234における水平ライン毎の代表距離を、その垂直位置にプロットしてランド路面モデル236を生成する(S300)。次に、路面特定部172は、左に位置する車線境界線230aを特定し、車線境界線230aにおける水平ライン毎の相対距離zを、その垂直位置にプロットして左白線路面モデル240を生成する(S302)。続いて、路面特定部172は、右に位置する車線境界線230bを特定し、車線境界線230bにおける水平ライン毎の相対距離zを、その垂直位置にプロットして右白線路面モデル242を生成する(S304)。
続いて、路面特定部172は、ランド路面モデル236、左白線路面モデル240、および、右白線路面モデル242のいずれかの奥行方向の端点を基準とする位置関係に基づき、ランド路面モデル236、左白線路面モデル240、および、右白線路面モデル242のいずれか複数を混合して路面モデル244を導出する。
具体的に、路面特定部172は、ステップS300において、ランド路面モデル236が有効に生成されたか否か判定する(S306)。ここで、距離情報が十分に取得されなかった等、ランド路面モデル236が有効に生成されなければ(S306におけるNO)、路面特定部172は、図12に示すように、左白線路面モデル240と右白線路面モデル242との奥行方向の端点のうち、短い方の端点、ここでは右白線路面モデル242の端点と、その端点と相対距離zが等しい左白線路面モデル240の対応点とが第1条件を満たすか判定する(S308)。第1条件は、右白線路面モデル242の端点と、左白線路面モデル240の対応点との相対距離zがいずれも所定の距離、例えば、30m以上であり、かつ、右白線路面モデル242の端点と、左白線路面モデル240の対応点との垂直方向の距離が所定の画素数、例えば、7画素以上離隔していることである。
ここで、第1条件が満たされていれば(S308におけるYES)、路面特定部172は、道路がカントしていると判断し、図12に示すように、左白線路面モデル240と右白線路面モデル242とを1:1で混合して路面モデル244を生成する(S310)。なお、本実施形態における「混合」は、ランド路面モデル236、左白線路面モデル240、右白線路面モデル242のうちの対象となるモデルの各点を、同一の相対距離毎に平均することを言う。また、第1条件が満たされていなければ(S308におけるNO)、路面特定部172は、当該路面モデル生成処理を終了する。
また、ランド路面モデル236が有効に生成されていれば(S306におけるYES)、路面特定部172は、図13に示すように、ランド路面モデル236、左白線路面モデル240、右白線路面モデル242の奥行方向の端点のうち、最も短い端点、ここでは右白線路面モデル242の端点と、その端点と相対距離zが等しいランド路面モデル236の対応点および左白線路面モデル240の対応点とが第2条件を満たすか判定する(S312)。第2条件は、右白線路面モデル242の端点より左白線路面モデル240方向に300mmの位置と、左白線路面モデル240の対応点より右白線路面モデル242方向に300mmの位置との間に、ランド路面モデル236の対応点が位置していることである。
ここで、第2条件が満たされていれば(S312におけるYES)、路面特定部172は、図13に示すように、ランド路面モデル236、左白線路面モデル240、右白線路面モデル242を1:1:1で混合して路面モデル244を生成する(S314)。
また、第2条件が満たされていなければ(S312におけるNO)、路面特定部172は、図14に示すように、ランド路面モデル236、左白線路面モデル240、右白線路面モデル242の奥行方向の端点のうち、最も短い端点、ここでは右白線路面モデル242の端点と、その端点と相対距離zが等しいランド路面モデル236の対応点および左白線路面モデル240の対応点とが第3条件を満たすか判定する(S316)。第3条件は、右白線路面モデル242の端点から垂直方向に±300mmの範囲、または、左白線路面モデル240の対応点から垂直方向に±300mmの範囲に、ランド路面モデル236の対応点が位置していることである。
ここで、第3条件が満たされていれば(S316におけるYES)、路面特定部172は、図14に示すように、左白線路面モデル240および右白線路面モデル242のうちランド路面モデル236の対応点に近い方と、ランド路面モデル236とを1:1で混合して路面モデル244を生成する(S318)。
また、第3条件が満たされていなければ(S316におけるYES)、路面特定部172は、路面領域234を優先するため、図15に示すように、左白線路面モデル240および右白線路面モデル242を用いることなく、ランド路面モデル236のみをそのまま採用する(S320)。
かかる構成により、道路にカントが存在する場合であっても、垂直位置yと相対距離zとを適切に表した路面モデル244を導出することが可能となる。
(立体物特定処理S204)
図3の説明に戻り、立体物特定部174は、路面特定部172が特定した路面モデル244より上方に位置し、カラー値が等しく、距離画像214における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する。具体的に、立体物特定部174は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。
図3の説明に戻り、立体物特定部174は、路面特定部172が特定した路面モデル244より上方に位置し、カラー値が等しく、距離画像214における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する。具体的に、立体物特定部174は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。
図16(図16A~図16C)は、立体物特定処理S204を説明するための説明図である。ここで、位置導出部170が、例えば、図16Aのような距離画像214を生成したとする。立体物特定部174は、かかる距離画像214からブロック同士をグルーピングする。こうして、図16Bのようにグルーピングされたブロック群が複数抽出される。立体物特定部174は、図16Bにおいて、グルーピングしたブロックの全てが含まれる外形線、例えば、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠(面)を、立体物250(250a、250b、250c、250d、250e、250f、250g)とする。
図16Bにおける、距離画像214上の立体物250a、250b、250c、250d、250e、250f、250gは、水平距離xおよび相対距離zで示す2次元の水平面で表すと、図16Cにおける、立体物250a、250b、250c、250d、250e、250f、250gとなる。
(特定物特定処理S206)
特定物特定部176は、立体物特定部174が特定した立体物がいずれの特定物であるか特定する。例えば、特定物特定部176は、自車両1の前方において、自車両1と同方向を走行する立体物を先行車両と特定する。
特定物特定部176は、立体物特定部174が特定した立体物がいずれの特定物であるか特定する。例えば、特定物特定部176は、自車両1の前方において、自車両1と同方向を走行する立体物を先行車両と特定する。
立体物特定部174は、図16Cにおいて、立体物250bと立体物250cとを異なる立体物として特定する。しかし、実際、立体物250bは先行車両の背面を構成し、立体物250cは同一の先行車両の側面を構成している。したがって、立体物250bと立体物250cとは、本来、一体的な同一の立体物を構成するペアとして認識されるべきである。同様に、立体物250eと立体物250fも同一の立体物として認識されるべきである。そこで、特定物特定部176は、同一の立体物の背面と側面とすべき立体物250をペアリングする。
特定物特定部176は、例えば、背面に相当する立体物250bと、側面に対応する立体物250cとのペアが、先行車両としての条件を満たすか否か判定する。具体的に、特定物特定部176は、立体物250bと立体物250cとのペアによって構成される立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源を有するか判定する。このような条件を満たす場合、特定物特定部176は、立体物250bと立体物250cとのペアによって構成される立体物250を先行車両と特定する。
以上、説明したように、本実施形態では、路面を適切に特定することができるので、特定物を正確に特定することができる。
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態では、路面特定部172が、ランド路面モデル236、左白線路面モデル240、および、右白線路面モデル242の位置関係に基づき、ランド路面モデル236、左白線路面モデル240、および、右白線路面モデル242のいずれか複数を、例えば、1:1:1で混合して路面モデル244を導出する例を挙げて説明した。しかし、かかる場合に限らず、路面特定部172は、ランド路面モデル236、左白線路面モデル240、および、右白線路面モデル242を、その優先度等に応じ、1:1:1以外の比率で混合して路面モデル244を導出するとしてもよい。
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。
110 撮像装置
120 車外環境認識装置
170 位置導出部
172 路面特定部
174 立体物特定部
176 特定物特定部
120 車外環境認識装置
170 位置導出部
172 路面特定部
174 立体物特定部
176 特定物特定部
Claims (2)
- 画像中の路面に対応する路面モデルを生成する路面特定部と、
特定された前記路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する立体物特定部と、
を備え、
前記路面特定部は、
画像中の路面に相当する路面領域を特定し、前記路面領域における水平ライン毎の代表距離を、その垂直位置にプロットしてランド路面モデルを生成し、
左に位置する車線境界線を特定し、前記車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして左白線路面モデルを生成し、
右に位置する車線境界線を特定し、前記車線境界線における水平ライン毎の相対距離を、その垂直位置にプロットして右白線路面モデルを生成し、
前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルの位置関係に基づいて前記路面モデルを導出する車外環境認識装置。 - 前記路面特定部は、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルのいずれかの奥行方向の端点を基準とする位置関係に基づき、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルのいずれか複数を混合して前記路面モデルを導出する請求項1に記載の車外環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020169504A JP2022061539A (ja) | 2020-10-07 | 2020-10-07 | 車外環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020169504A JP2022061539A (ja) | 2020-10-07 | 2020-10-07 | 車外環境認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022061539A true JP2022061539A (ja) | 2022-04-19 |
Family
ID=81210748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020169504A Pending JP2022061539A (ja) | 2020-10-07 | 2020-10-07 | 車外環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022061539A (ja) |
-
2020
- 2020-10-07 JP JP2020169504A patent/JP2022061539A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8989439B2 (en) | Environment recognition device and environment recognition method | |
JP6741646B2 (ja) | 車外環境認識装置 | |
JP2015069379A (ja) | 車外環境認識装置 | |
JP2012243051A (ja) | 環境認識装置および環境認識方法 | |
JPWO2013129354A1 (ja) | 立体物検出装置 | |
CN108944926B (zh) | 车外环境识别装置 | |
US11295544B2 (en) | Vehicle exterior environment recognition apparatus | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP6174960B2 (ja) | 車外環境認識装置 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
JP6660367B2 (ja) | 車外環境認識装置 | |
JP2022061539A (ja) | 車外環境認識装置 | |
JP6378594B2 (ja) | 車外環境認識装置 | |
JP7071102B2 (ja) | 車外環境認識装置 | |
JP2022040651A (ja) | 車外環境認識装置 | |
JP6273156B2 (ja) | 歩行者認識装置 | |
JP6523694B2 (ja) | 車外環境認識装置 | |
JP7336367B2 (ja) | 車外環境認識装置 | |
US11958483B2 (en) | Vehicle external environment recognition apparatus | |
JP6731020B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP6313667B2 (ja) | 車外環境認識装置 | |
JP2022039949A (ja) | 車外環境認識装置 | |
JP2022037358A (ja) | 車外環境認識装置 | |
JP2020086791A (ja) | 車外環境認識装置および車外環境認識方法 | |
JP2018088232A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230919 |