JP2007141052A - 道路区画線検出装置 - Google Patents

Abstract

【課題】道路上の区画線を高精度に検出すること。
【解決手段】撮影手段３により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線検出装置１は、所定の区画線の形状に基づいて、モルフォロジーにおける、構造要素Bを設定する構造要素設定手段５ａと、構造要素設定手段５ａにより設定された構造要素Bに基づいて、撮影手段３により撮影された撮影画像に対し、収縮処理を行って収縮画像を生成し、生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理手段５ｂと、撮影手段３により撮影された撮影画像から、Opening処理手段５ｂにより生成されたOpening画像５ｂを、差引いた差分画像を生成するトップハット変換処理手段５ｃと、を備えている。
【選択図】図１

Description

本発明は、撮影手段により撮影された画像に基づいて、道路上の区画線を検出する道路区画線検出装置に関する。

従来、撮像装置からの入力した画像データに対して、指向性を持つ複数のマスクフィルタを用いて、白線のエッジの方向性と強度を求める画像のエッジ検出装置が知られている（例えば、特許文献１参照）。

また、直線成分を表すエッジ成分のエッジ点計数最大値を計測し、最大値が周期的に変化している場合に破線レーンマーと認識し、定常的な一定値の場合に実線レーンマーカと認識する車両用走行車線認識装置が知られている（例えば、特許文献２参照）。

さらに、検出された白線候補点の中から、白線と認識されたもののみを選択し、その選択された白線候補点の検出率を算出、保存する車両用走行レーン検出装置が知られている（例えば、特許文献３参照）。当該装置は、保存された白線候補点の検出率に基づいて、白線の種類を判別する。
特開平５−２９８４４６号公報 特開平８−３２０９９７号公報 特開２００１−１４５９５号公報

ところで、道路を区画する区画線として、白線以外に立体状のボッツドッツ、キャッツアイ等が用いられることがある。これら立体状のボッツドッツ、キャッツアイにおいて、カメラ等により撮影されたときの撮影画像上の形状が、日照時の光の当り方等の照明環境によって、変化する。

しかしながら、上記特許文献１乃至３に示す従来技術において、ラインフィルタによるエッジ検出が主として行われており、立体状のボッツドッツ、キャッツアイ等のような照明環境によって撮影画像上の形状が変化する場合等を考慮して、区画線の検出が行われていない。したがって、道路上における区画線の検出精度が低下する虞がある。

本発明はこのような課題を解決するためのものであり、道路上の区画線を高精度に検出することを主たる目的とする。

上記目的を達成するための本発明の一態様は、
撮影手段により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線検出装置であって、
前記所定の区画線の形状に基づいて、モルフォロジー演算における、構造要素を設定する構造要素設定手段と、
該構造要素設定手段により設定された前記構造要素に基づいて、前記撮影手段により撮影された前記撮影画像に対し、収縮処理を行って収縮画像を生成し、該生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理手段と、
前記撮影手段により撮影された前記撮影画像から、前記Opening処理手段により生成された前記Opening画像を、差引いた差分画像を生成するトップハット変換処理手段と、
を備えることを特徴とする道路区画線検出装置である。

この一態様によれば、Opening処理手段は、所定の区画線の形状に基づいて設定された構造要素を用いて、撮影画像に対して収縮処理及び膨張処理を行い、Opening画像を生成する。さらに、トップハット変換手段は、この生成されたOpening画像に基づいて、差分画像を生成する。これにより、道路上における区画線を高精度に検出することができる。

また、この一態様において、前記トップハット変換処理手段により生成された前記差分画像からノイズを除去するノイズ除去手段を、更に備えているのが好ましい。トップハット変換処理手段により生成された差分画像からノイズを除去することにより、道路上の区画線をより高精度に検出することができる。なお、ノイズ除去手段は、例えば、差分画像に対して、上記収縮処理及び膨張処理を行うことで、ノイズを除去する。

さらに、この一態様において、前記構造要素設定手段は、前記撮影手段により撮影された前記撮影画像上の前記所定の区画線の形状に応じて、前記構造要素を設定するのが好ましい。例えば、構造要素設定手段は、Opening処理手段によるOpening処理時に所定の区画線が消去されるように、構造要素を設定する。

この一態様において、前記所定の区画線は、例えばボッツドッツ、キャッツアイ、又は白線である。

この一態様において、前記所定の区画線に基づいて、車両の走行支援を行う走行支援手段を、更に備えていてもよい。高精度に検出された所定の区画線に基づいて、車両の走行支援を行うことにより、車両の安全性が向上する。

この一態様において、前記走行支援手段は、例えば、車両が前記区画線内を走行させる車線維持制御、又は車両が前記区画線を逸脱したときに、ユーザに対し警報を行う車線逸脱警報制御、を行う。

なお、上記目的を達成するための本発明の一態様は、
撮影手段により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線の検出方法であって、
前記所定の区画線の形状に基づいて、モルフォロジー演算における、構造要素を設定する構造要素設定ステップと、
前記撮影手段により撮影された前記撮影画像に対し、前記構造要素設定ステップにより設定された前記構造要素を使用して収縮処理を行って収縮画像を生成し、該生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理ステップと、
前記撮影手段により撮影された前記撮影画像から、前記Opening処理ステップにより生成された前記Opening画像を、差引いた差分画像を生成するトップハット変換処理ステップと、
該トップハット変換処理ステップにより生成された前記差分画像からノイズを除去するノイズ除去ステップと、
を備えることを特徴とする道路区画線の検出方法であってもよい。

また、上記目的を達成するための本発明の一態様は、
撮影手段により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線の検出プログラムであって、
前記所定の区画線の形状に基づいて、モルフォロジー演算における、構造要素を設定する構造要素設定手順と、
前記撮影手段により撮影された前記撮影画像に対し、前記構造要素設定手順により設定された前記構造要素を使用して収縮処理を行って収縮画像を生成し、該生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理手順と、
前記撮影手段により撮影された前記撮影画像から、前記Opening処理手順により生成された前記Opening画像を、差引いた差分画像を生成するトップハット変換処理手順と、
該トップハット変換処理手順により生成された前記差分画像からノイズを除去するノイズ除去手順と、
を備えることを特徴とする道路区画線の検出プログラムであってもよい。

本発明によれば、道路上の区画線を高精度に検出することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、画像処理装置の基本概念、主要なハードウェア構成、作動原理、及び基本的な制御手法等については当業者には既知であるため、詳しい説明を省略する。

図１は、本発明の一実施例に係る道路区画線検出装置のシステム構成の一例を示すブロック図である。本実施例に係る道路区画線検出装置１は、カメラ等の撮影手段３により撮影された撮影画像に基づいて、道路上における白線、ボッツドッツ（Botts Dots）、キャッツアイ等の所定の区画線（レーンマーカ）検出を行う。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含むものとする。

ボッツドッツ５１は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径１００mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである（図２（ａ））。一方、キャッツアイ５３は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している（図２（ｂ））。キャッツアイ５３のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ５１及びキャッツアイ５３は、いずれも路面から僅かに突出した状態で配設されている。

道路区画線検出装置１は、所定の区画線の形状に基づいて、モルフォロジー演算における、１次元、２次元、又は３次元の構造要素Bを設定する構造要素設定手段５ａを備えている。なお、モルフォロジー演算については、例えば「モルフォロジー」（コロナ社）等に詳述された周知技術である。具体的には、モルフォロジーにおいて、予め設定された構造要素Bを使用した集合論的操作により、元画像（２値画像又は濃淡画像）から特定の幾何学的構造をもった要素のみを選択的に抽出することができる。

構造要素設定手段５ａには、構造要素設定手段５ａにより設定された構造要素Bに基づいて、撮影手段３により撮影された撮影画像に対し、収縮処理（Erosion）を行って収縮画像を生成し、生成された収縮画像に対し、膨張処理（Dilation）を行ってOpening画像を生成するOpening処理手段５ｂが接続されている。また、Opening処理手段５ｂには、撮影手段３により撮影された撮影画像から、Opening処理手段５ｂにより生成されたOpening画像を、差引いた差分画像を生成するトップハット変換処理（Top-Hat Transform）手段５ｃが接続されている。

撮影手段３は、自車両のフロントウィンドウ上部（例えば、バックミラーの裏側）等に配置されており、車両前方、後方、側方等の車両周囲の画像を撮影するカメラを有している。

なお、カメラ３は車両周囲を撮影できれば、車両の任意の位置に取り付け可能である。また、カメラ３は、例えば、所定の画素数（５００万画素等）を有するCCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）カメラが採用されている。

カメラ３には、上述したOpening処理手段５ｂ、トップハット変換処理手段５ｃ等を含む画像処理ECU（Electronic Control Unit、電子制御装置）５に接続されている。カメラ３により撮影された撮影画像は、画像処理ECU５に送信される。

なお、画像処理ECU５、後述の走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、及びメータECU３９は、マイクロコンピュータから構成されており、プログラムに従って各種処理を実行するとともに、当該装置の各部を制御するCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。

また、入出力インターフェイスは、アナログ信号をデジタル信号に変換するA/D（Analog/Digital）変換器、デジタル信号をアナログ信号に変換するD/A（Digital/Analog）変換器等を含んでいる。さらに、上述した、構造要素設定手段５ａ、Opening処理手段５ｂ、トップハット変換処理手段５ｃ、タイマ、及びカウンタはROMに格納され、CPUによって実行されるプログラムによって実現されている。

カメラ３により撮影された撮影画像は、画像処理ECU５の入出力インターフェイスのA/D変換器によりデジタルデータに変換され、RAM（例えば、画面フレームメモリ）に記憶される。CPUは、RAMから必要に応じて、撮影画像（例えば、１画面分の画像）を読み出し、上述したOpening処理、トップハット変換処理等の画像処理を行う。

構造要素設定手段５ａは、カメラ３により撮影された撮影画像上の所定の区画線の形状に応じて、モルフォロジーにおける、構造要素Bの設定を行う。なお、ボッツドッツ５１、キャッツアイ５３、白線等の所定の区画線の実際の形状（寸法等）が予めROMに記憶されているが、入出力装置７を介して、任意の区画線の形状を設定又は変更可能である。例えば、ボッツドッツ５１の形状は、約１００mmの円盤形状として、ROMに記憶されている。

構造要素設定手段５ａは、ROMに記憶された所定の区画線の形状に基づいて、構造要素Bの設定を行う。構造要素設定手段５ａは、例えば、Opening処理により所定の区画線が消えるように、構造要素Bの設定を行う。

次に、構造要素Bの設定方法について、詳細に説明する。

カメラ３による撮影では、カメラ３の位置の影響から、図３に示すように手前と奥側では見かけ上の大きさ及び形状が変化する為、この変化に応じて構造要素Bを設定する必要が生じる。この見かけ上、大きさ及び形状が変化する対象物に対して、構造要素Bを設定する方法として、例えば、画像の幾何変換を施して鳥瞰画像を生成する方法がある。

すなわち、遠方に向かうほど横方向に画像を引き伸ばすことで、遠方と近傍の対象物の大きさを揃える方法である。この場合、構造要素Bを１つだけ設定すればよい。図４に示すように、ボッツドッツが１０ｃｍのとき画像上では５ピクセルで映ると仮定し、それよりも大きい（５+α）ピクセルの構造要素Bを設定している。なお、ここで、αは、例えば１〜３としている。また、引き伸ばす倍率は、カメラ３の位置等に基づいて、容易に算出することができる。

さらに、上記見かけ上、大きさ及び形状が変化する対象物に対して、構造要素Bを設定する方法として、図５に示すように遠方に向かうに従って、構造要素Bの大きさを小さくする方法を用いていてもよい。

この方法は、上記鳥瞰画像を生成する方法と比較して、上記鳥瞰画像を生成するような画像処理を必要とせず、構造要素Bの縮小率を算出して小さくするだけである為、計算コストを低く抑えることができる。なお、構造要素Bのサイズが遠方に行くに従って、縦にも小さくなっているが、１次元処理なので実際は横方向にだけ小さくなる。したがって、遠方でも近傍でも縦は、１ピクセルとなる。

また、構造要素Bは、検出対象物に応じて、設定方法を可変させてもよい。以下、検出対象物に応じた検出対象物の設定方法について詳細に説明する。

検出対象物がボッツドッツである場合は、立体形状物であるため、以下、図６のように光の当り方に応じて（太陽角度、天候等）、見え方が異なる。なお、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、撮影画像上では略同一の特性を持った写り方をする。したがって、ここでは、これらを同一の対象物とみなして、説明を行うものとする。

ボッツドッツの大きさは、見かけ上、「点のような状態」から「横方向へ数ピクセルの幅を持つ」場合まで変化する。トップハット変換の性質は、「構造要素Bよりも小さいものを残す」ことが基本となる為、構造要素Bの大きさをボッツドッツの大きさである１０ｃｍ+αとすれば、見かけ上１０ｃｍ以下に見えた場合でも対処できる。αの大きさは実際の実験によって設定されるが、ノイズ等の不要物が残存しないように、大き過ぎない、適度な大きさに設定するのが好ましい。

ボッツドッツは、通常、１０ｃｍより小さく見えることはあっても、これより大きく見えることはほとんどない。したがって、αは１〜２ｃｍに設定してもよい。そして、１０ｃｍ+αがライン（走査線）上の任意の位置において、何ピクセルになるのかを算出し、ライン毎に構造要素Bの大きさを可変させる。

次に、検出対象物が白線の場合について説明する。

例えば、図６に示すように、車線の一方側が白線で、他方側がボッツドッツで構成されている場合がある。この場合、構造要素Bの大きさを白線に合わせることで、ボッツドッツと白線とを同時に検出することが可能となる。なお、米国における白線は、１５〜２５ｃｍと、比較的細い為、構造要素Bをそれほど拡大する必要がない。したがって、車両、路肩、ノイズ等の不要物を検出する虞もない。また、この方法で、ボッツドッツがない、日本、および欧州における白線を検出することも可能である。

なお、一方側と他方側とにおいて、夫々検出方法を変えて、対象物の検出を行ってもよい。例えば、一方側において、従来のエッジ検出を行い、他方側において、トップハット変換を行ってもよく、また一方側と他方側とで、構造要素Bの大きさを変えてもよい（例えば、一方側を３０ｃｍとし、他方側を１２ｃｍとする）。これにより、検出精度をより向上させることができる。

Opening処理手段５ｂは、RAMから読み出された撮影画像に対して、光学系に起因する輝度ムラを除去する為にシェーディング補正を行う。このシェーディング補正による規格化は、従来から周知であるように、注目ライン（走査線）の前後の所定範囲において移動平均を算出し、注目ラインの信号からこの移動平均を減算又は除算するものである。シェーディング補正後の撮影画像は、例えば、２５６階調のグレースケール画像（濃淡画像）となるので、所定の閾値を用いて、２値化処理を行い、２値化画像を得ることができる。

Opening処理手段５ｂは、グレースケール化又は２値化した撮影画像（以下、初期処理画像と称す）に対し、上述した収縮処理と膨張処理とを組合わせたOpening処理を行う。

次に、収縮処理及び膨張処理の概念について説明する。

図７（ａ）は、初期処理画像上における水平方向の任意の１ライン（走査線）及び構造要素Bを示す図である。なお、１ラインＬ上には、例えば、横幅６ピクセルの白線、２ピクセル（pixel）のノイズ、および３ピクセルのボッツドッツがこの順で表示されている。また、構造要素Bは、例えば高さが１ピクセル、横幅が５ピクセルとしている。

まず、初期処理画像上の任意の１ラインＬを抜き出し、構造要素Bをラインの内側に沿って移動させる。このとき、図７（ｂ）に示す如く、ラインの狭小部分（構造要素Bよりも小さい部分）Ｓには、構造要素Bが入り込めないことが分かる。次に、構造要素Bをラインの内側に沿って移動させたときの、構造要素Bの移動軌跡の中心線（実線）を描くと、図７（ｃ）に示す如く、狭小部分（点線）Ｓが消去される為、ライン上には、ノイズおよびボッツドッツが消去され、白線のみが残る。以上の処理がOpening処理に相当する。

さらに、初期のラインＬから上記白線のみが残るラインを引くと、図７（ｄ）に示す如く、白線（点線）が消去され構造要素Bよりも小さいノイズおよびボッツドッツのみを検出することができる。この処理がトップハット変換処理に相当する。なお、上述の如く、初期処理画像上における水平方向の任意の１ラインについて説明したが、所期処理画像上の全てのラインについて、同様の処理を行う。

これらOpening処理及びトップハット変換処理により、従来のエッジフィルタ処理と異なり、構造要素Bよりも小さいボッツドッツの形状を処理前の状態で検出できる。なお、実際のOpening処理及びトップハット変換処理は、上述した構造要素Bのトレースと処理内容が異なるが、効果は略同一となる。

次に、上述したOpening処理及びトップハット変換処理を施した場合の、実際の処理画像における作用について説明する。

図８（ａ）に示す初期処理画像に対し、構造要素Bを使用して、収縮処理を行うと、図８（ｂ）示す如く、構造要素Bより小さいノイズ及びボッツドッツが消去され、構造要素Bと略同一の白線は、横幅１ピクセルに収縮する。なお、上記ラインでは白線の横幅を６ピクセルとしたが、初期処理画面では構造要素Bと同一の横幅５ピクセルとしている。

次に、収縮処理された画像（図８（ｂ））に対して膨張処理を行うと、図８（ｃ）に示す如く、白線は横幅１ピクセルから５ピクセルに復元するが、ノイズ及びボッツドッツは消去されたままで、復元されない。その後、初期処理画像から、収縮処理及び膨張処理されたOpening画像を差引くことにより、構造要素Bよりも小さい（５ピクセル未満の）ノイズ及びボッツドッツのみが表示された差分画像が生成される（図８（ｄ））。

なお、差分画像には、ボッツドッツ以外にノイズも残るが、ノイズの輝度がボッツドッツの輝度より低い場合は、例えば所定の輝度に設定したフィルタにより容易にノイズを除去することができる。一方、ノイズの輝度がボッツドッツの輝度より高い場合は、直線状に並ぶパターンのみを検出するハフ（Hough）変換等により、ボッツドッツのみを容易に検出することができる。

また、上記説明では、高さが１ピクセル、横幅が５ピクセルの構造要素Bを用いているが、例えば、ボッツドッツよりも大きい円形（例えば、直径が４ピクセル）の構造要素（２次元構造要素）Bを用いてもよい。すなわち、初期処理画像から検出する白線、キャッツアイ、ボッツドッツ等の区画線の形状に応じて、任意形状の構造要素Bを用いることが可能である。

次に、Opening処理手段５ｂによって行われる、上述の収縮処理、膨張処理、Opening処理等のモルフォロジー演算について説明する。

モルフォロジー演算において、予め設定された構造要素Bを使用して集合論的操作が行われる。まず、モルフォロジーの基本演算の前提となる補助演算は、下記（１）式および（２）式により定義される。

原点に関する反転（対称）は、下記（１）式で表される。

なお、上記（１）式において、Aは２次元空間における集合とし、aは集合Aに属する要素とする。また、要素とは２次元空間内の集合Aを構成する座標点を意味し、aは原点からのベクトルを意味する。例えば、２値画像において、画像の背景を構成する各画素の画素値は０となり、その背景上に描かれた図形を構成する各画素の画素値は１となる。画素値が１となる画素が要素aとなる。

平行移動（例えば、Aをbだけ平行移動する）は、下記（２）式で表される。

また、モルフォロジー演算において、下記（３）式、（４）式、及び（５）式に示すMinkowski和とMinkowski差が基本演算となる。さらに、これら基本演算を組合せることにより、種々のモルフォロジー演算が構成される。

Minkowski和とは、例えば、２つの集合AとBが存在するとき、集合Aの要素aと集合Bの要素bとの和（a+b）を考えたとき、各要素の全ての組合せからなる集合をいい、下記（３）式又は（４）式で表される。

なお、上記（３）式を上記（２）式で示す平行移動の定義で表すと、下記（４）式で表される。

一方、Minkowski差とは、集合Bの全て要素bに対して、（x−b）がAの要素となるようなxの集合であり、下記（５）式で表される。

なお、上記（５）式を上記（２）式で示す平行移動の定義で表すと、上記（５）式は下記（６）式で表すことができる。

Opening処理手段５ｂは、（１）式乃至（６）式に基づいて、モルフォロジーの基本演算である下記（７）式乃至（９）式により、膨張処理、収縮処理、これらを組合せたOpening処理を行う。

Opening処理手段５ｂは、下記（７）式を用いて、Dilation（膨張処理、ずらし重ね）を行う。

また、Opening処理手段５ｂは、下記（８）式を用いて、Erosion（収縮処理、掻き取り、侵食）を行う。

さらに、Opening処理手段５ｂは、下記（９）式を用いて、DilationとErosionとを組み合わせたOpening処理を行う。

なお、上記Bは構造要素であり、有界集合である。上述したように、構造要素設定手段５ａにより構造要素Bを設定、変更することで、Opening処理手段５ｂは、例えば処理画像上のボッツドッツ及びノイズを消去し、白線のみが抽出されたOpening画面を生成する。

トップハット変換処理手段５ｃは、初期処理画像からOpening処理手段により生成されたOpening画像（例えば、ボッツドッツ及びノイズが消去され、白線のみが抽出された画像）を、差引いた差分画像を生成する。なお、生成された差分画像には、例えば、ボッツドッツ及びノイズのみが抽出される。

ノイズ除去手段５ｄは、トップハット変換処理手段５ｃにより生成された差分画像に対して、構造要素設定手段５ａにより設定された構造要素B‘を使用して、Opening処理を行い、ノイズの除去を行い、ボッツドッツ５１等の所定の区画線のみを抽出する。

なお、このOpening処理により、構造要素B′よりも小さいノイズは除去され、B′よりも大きいボッツドッツのみが残存する。但し、ボッツドッツが誤って除去されないように、ボッツドッツの大きさがノイズと大きさとが同一でないことが絶対条件となる。また、画像上には、通常、極小サイズ（例えば、１ピクセル程度）が存在する為、本処理によって、ノイズによる検出精度の低下を抑制することができる。さらに、ノイズ除去の為の追加のアルゴリズムを用いることなく、構造要素の大きさ、又は形状を変えるだけで、簡易にノイズを除去することができる。以上、ボッツドッツが検出される場合について、主として説明したが、キャッツアイについても、ボッツドッツの処理内容と略同一である為、詳細な説明は省略する。

次に、ボッツドッツ検出における実際の処理手順について、詳細に説明する。

ボッツドッツは直径が１０ｃｍしかない為、遠い領域になるとほとんど見えなくなってしまう。したがって、１０ｃｍのボッツドッツが２〜３ピクセル以下に見える領域（例えば、１〜２ピクセルでは、ノイズと区別するのは、困難となる）では検出を行わないようにすることで、無駄な処理を抑制することができる。なお、どれくらいの距離までを検出対象とするかは、実験等で最適な距離を求めることができる。

また、ボッツドッツは、近い領域でも小さくしか写らない為、通常のLKAで行われる処理ラインの間引きは行わないのが好ましい。なお、間引き処理を行わない場合でも、上述の遠い領域の検出処理を行わないことから、計算コストの増加には繋がらない。

図９（ａ）は、路肩、ボッツドッツ、車両、ノイズ、及びボッツドッツが、画像上に撮影された状態を示す図である。図９（ｂ）は、図９（ａ）の画像上の１ラインを抜き出した結果を示す図である。なお、以下、１次元構造要素及び２値化画像を用いて説明する。

まず、図９（ｂ）に示すように、図９（ａ）の画像上の１ラインを抜き出す。なお、図９（ａ）において、車両および路肩は、灰色であるが２値化されていることから、白色とする。

次に、このライン上での１０ｃｍ（ボッツドッツの幅）となるピクセルサイズを計算し、構造要素Bの長さを設定する。例えば、このライン上での１０ｃｍが５ピクセルとすると、それよりも大きい幅７ピクセル程度の構造要素Bを設定する。

次に、この信号に対して、収縮処理を行うと、図１０（ａ）に示すようになる。さらに、図１０（ａ）に対して、膨張処理を行いと、図１０（ｂ）に示すようになる。図９（ｂ）に示す入力信号から、図１０（ｂ）に示すOpening処理後の信号を減算すれば、図１１（ａ）に示すトップハット変換信号が得られる。

すなわち、入力画像から車両および路肩が消去され、ノイズおよびボッツドッツのみが残存するのがわかる。ここで、構造要素B′よりも小さいノイズ（信号ノイズ、路面ノイズ）に対して、収縮及び膨張（Opening処理）で削除処理を施す。Opening処理の特徴は、構造要素B′よりも小さいものを除去できることである。したがって、ボッツドッツよりも小さいサイズの構造要素（例えば、１×３ピクセル）B′を用意して、図１１（ａ）に対して、Opening処理を施すと、図１１（ｂ）のようになる。なお、幅３ピクセル程度のボッツドッツは検出したい場合、構造要素B′の大きさは、１×３より小さいのが好ましく、最適な大きさは実験により設定することができる。

これにより、異なる大きさの構造要素B′を用いて、膨張処理、収縮処理、引き算処理を備えた装置であれば、異なる処理を組み入れる必要なく、検出とノイズ除去を行うことが可能となる。このノイズ除去処理において、ボッツドッツの大きさがノイズと等しく点（例えば、１ピクセル）である場合には、ボッツドッツも消去されてしまうが、「点のボッツドッツ」と「点のノイズ」の区別は容易でない為、実際は消去されても問題はない。

以上、一連の処理を全処理ラインに施すと、図１２に示すように、ボッツドッツのみが残存する画像を得ることができる。

次に、白線が混在した画像における構造要素Bの設定及び処理について、詳細に説明する。

図１３（ａ）は、路肩、白線、車両、ノイズ、及びボッツドッツが、画像上に撮影された状態を示す図である。図１３（ｂ）は、図１３（ａ）に示す画像上の１ラインを抜き出した結果を示す図である。なお、以下、１次元構造要素及び２値化画像を用いて説明する。

上記同様に、図１３（ａ）から１ラインを抜き出すと、輝度値は図１３（ｂ）に示すようになる。次に、このライン上での１５ｃｍ（白線の幅）となるピクセルサイズを計算し、構造要素Bの長さを設定する。例えば、このラインでの１５ｃｍが７ピクセルとすると、それよりも大きい９ピクセル程度の構造要素Bを用意する。

さらに、この信号に対して、収縮処理を行うと、図１４（ａ）に示すようになる。続いて、図１４（ａ）に膨張処理を施すと、図１４（ｂ）に示すようになる。図１３（ｂ）に示す入力信号から、図１４（ｂ）に示すOpening処理後の信号を減算すると、図１５（ａ）に示すようなトップハット変換信号が得られる。

図１３（ｂ）に示す入力信号から車両および路肩が消去され、図１５（ａ）に示すように、ノイズ、ボッツドッツ、及び白線のみが残存する。ここで、構造要素B′よりも小さいノイズ（信号ノイズ、路面ノイズ）に対して、上記同様の収縮処理及び膨張処理を行うことで、図１５（ｂ）に示すように、ノイズのみを除去することができる。なお、構造要素B′は、上記同様１×３ピクセルとする。

これにより、ボッツドッツ検出、白線検出、及びノイズ除去を同時に行うことができる。但し、上述したように、構造要素B′を大きくしたために、検出される不要物が増加した場合、新たなノイズ除去法を適用してもよい。また、白線の幅が状況に応じて、（例えば、分岐、合流）高頻度で変化する国へ対応させる場合、動的に構造要素Bの幅を可変させてもよい。

以上の一連の処理を全ラインに施すことにより、図１６に示すようなボッツドット及び白線のみが残存する画像を得ることができる。

以上、２値化画像に対して、１次元の構造要素Bを用いた場合について説明したが、次にグレースケール画像（濃淡画像、白黒多値画像）に対して、１次元の構造要素Bを用いた場合について説明する。

実際の撮影画像（濃淡画像）の１ラインを抜き出すと、図１７に示すように、輝度値の起伏が激しいことがわかる。白線の輝度値は、上部が平坦ではなく、多少のバラツキが生じている。また、ボッツドッツは球形状であるため、その輝度値は、山なりとなる。ノイズの輝度値は、ボッツドッツ及び白線の輝度値よりも低くなるものもあれば、又は高くなるものもある。

図１７に対して、上記同様の手順で区画線の検出を行う。なお、構造要素Bのサイズは、白線の検出を行う為、１×９ピクセルとする。図１７に対して、収縮処理を行うと、図１８（ａ）のようになる。また、この図１８（ａ）に対して、膨張処理を行うと、図１８（ｂ）のようになる。なお、図１７において、構造要素Bよりも大きいものは、車両である。この図１７から図１８（ｂ）を引き算処理すると、図１９のトップハット変換処理結果が得られる。この図１９において、車両を示した信号は、低いレベルに落ち込んでいるのに対し、白線、ボッツドッツ、およびノイズは、入力信号の形をそのまま維持して残存していることがわかる。

また、図１７において、上記収縮処理及び膨張処理の概念を用いて表すと、図２０のようになる。具体的には、図２０に示すように、同一幅９ピクセルの構造要素Bを図１７に対して、左側（又は右側）から順にトレースしていき、構造要素Bが入り込めたところを太線で示した。この太線矢印は、図１８（ｂ）のOpening処理結果と同様の形状となり、また太線より上部（構造要素Bが入り込めなかった領域）が図１９のトップハット変換処理の結果と同じになる。

さらに、（１×５）の構造要素B′を用いて、Opening処理を行い、ノイズ除去を行うと、図２１のようになる。

図２１において、ノイズは消去され、白線及びボッツドッツの信号のみが残存することがわかる。このように、濃淡画像において、適切な構造要素Bのサイズを選択することで、ボッツドッツ及び白線を検出することができる。

次に、多次元の構造要素Bを用いた検出方法について説明する。まず、２次元の構造要素Bを用いた処理について説明する。ここでは、図２２に示すように、プログレッシブ又はノンインターレースで撮影された画像について、２次元の構造要素（２次元信号）Bを用いて処理を行う場合について説明する。

なお、２次元信号を用いて処理を行う場合について、以下のようなメリットが考えられる。図２３（ａ）に示す画像上にボッツドッツの横幅と等しい補修痕、轍（わだち）の筋、雨の筋等が存在した場合、形状が全く異なるにもかかわらず、１次元信号では区別できない場合がある（図２３（ｂ））。さらに、横幅が同じである為、トップハット変換処理を行っても、これら不要物は残存する。しかしながら、このような状況下においても、２次元の構造要素Bを用いれば容易に、上記不要物を区別することができる。

まず検出対象物（ボッツドッツ）と不要物の構造的な違いに着目して、２次元の構造要素Bを設定する。検出対象物の横幅と不要物の横幅とが同一である場合、構造的に大きく異なる点は、例えば、縦幅（奥行き方向）、円形又は四角形の違い等がある。ここで、轍、およびボッツドッツが、図２４に示すような形状と仮定して、２次元の構造要素Bよりもボッツドッツが小さくなるように形状を設定する。

トップハット変換処理の概念において、構造要素Bが入り込めるものは消去され、入り込めないものは残存する。図２４の構造要素（５×５）Bは、轍に入り込める（重ねることができる）が、ボッツドッツは隅が欠けている（略円形）ので縦横のサイズが構造要素Bと同じ５ピクセルでも入り込めない。

この構造要素Bを用いて、検出を行った処理を以下に説明する。図２５（ａ）の左側の山を轍とし、右側の山をボッツドッツと仮定する。この図２５（ａ）に対して図２４の構造要素Bを用いて収縮処理を行うと、図２５（ｂ）のようになり、この図２５（ｂ）に対して膨張処理を行うと、図２６（ａ）のようになる。図２６（ａ）からわかるように、収縮処理の段階で構造要素Bよりも小さいボッツドッツは消去され、構造要素Bよりも大きい轍は残存する。

図２５（ａ）の入力信号から図２６（ａ）を引くと、図２６（ｂ）のトップハット変換処理結果が得られる。図２６（ａ）に示す轍の輝度値は、図２５（ａ）（入力時）に示す轍の輝度値と比較して、大幅に低下するが、ボッツドッツの輝度値は、入力時と略同一の形状、及び高さを維持した状態で残存する。

このように、１次元処理と比較して、２次元処理とすることで、構造要素Bの形状の選択肢が増え、より検出対象物に適した設計が可能となる。また、図２７（ａ）に示すような画像が得られた場合に、２次元の構造要素Bを設定し、Opening処理を行うことで実線のみの検出が可能となり、トップハット変換処理を行うことで、破線のみの検出が可能となる。

これにより、複合線が撮影された画像においても、検出精度の向上が見込める。例えば、図２７（ｂ）のような複合線が撮影された画像において、従来、複合線の形状を観測し、パターンマッチング等の特別な処理が施されている。しかしながら、マッチングミス等によって、正しい車線を選択することができずに、実線と破線とを交互に検出してしまい、車両のふらつきの原因となっている。

一方、上記処理を応用すれば、矢印Ｘ１に沿って走行したい場合、トップハット変換処理で、破線のみを残存させ、実線を消去することで複雑な処理を施すことなく車線を検出することができる。また、矢印Ｘ２に沿って走行した場合、Opening処理を施すことによって、実線のみを残存させればよい。このように、必要に応じて、画像から不要物を除去することで、後段に複雑な判別、認識処理を施す必要がなくなる。

次に、本実施例に係る道路区画線検出装置１による処理のフローについて説明する。図２８は、道路区画線検出装置１の処理フローの一例を示すフローチャートである。なお、図２８に示す処理ルーチンは所定の微小時間毎に繰返し実行される。

図２８に示す如く、カメラ３により撮影された画像情報は、画像処理ECU５に送信され、RAMに記憶される。

次に、画像処理ECU５は、RAMに記憶された撮影画像を読み込み、シェーディング補正、２値化処理等を行い、初期処理画像を生成する（Ｓ１００）。

その後、画像処理ＥＣＵ５のOpening処理手段５ａは、初期処理画像に対し、所定の構造要素Bを用いて、収縮処理及び膨張処理（Opening処理）を行い、Opening画像を生成する（Ｓ１１０）。

トップハット変換処理手段５ｃは、初期処理画像からOpening処理手段５ｂにより生成されたOpening画像を差引いた差分画像を生成する（Ｓ１２０）。

次に、ノイズ除去手段５ｄは、トップハット変換処理手段５ｃにより生成された差分画像から、フィルタ等を用いてノイズを除去し、ボッツドッツ、キャッツアイ等の所定の区画線を検出する（Ｓ１３０）。

以上、本実施例に係る道路区画線検出装置１において、Opening処理手段５ｂはボッツドッツ、キャッツアイ、白線等の所定の区画線の形状に基づいて設定された構造要素Bを用いて、Opening処理を行い、Opening画像を生成する。次に、トップハット変換処理手段５ｃは、生成されたOpening画像に対して、トップハット変換処理を行い、差分画像を生成する。その後、ノイズ除去手段５ｄは、トップハット変換処理手段５ｃにより生成された差分画像からノイズを除去し、ボッツドッツ、キャッツアイ、白線等の所定の区画線の検出を行う。これにより、ボッツドッツ、キャッツアイ、白線等の所定の区画線を高精度に検出することができる。

以上、本発明を実施するための最良の形態について一実施例を用いて説明したが、本発明はこうした一実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した一実施例に種々の変形及び置換を加えることができる。

例えば、上記一実施例において、道路区画検出装置１により検出された所定の区画線に基づいて、車両の走行支援を行ってもよい。

この場合、道路区画線検出装置１の画像処理ECU５には、車両の走行支援を行う走行支援ECU３０が通信回線を介して接続されている（図２９）。画像処理ECU５は、検出した所定の区画線を走行支援ECU３０に通信回線を介して送信する。

走行支援ECU３０には、走行支援の主電源をオン状態又はオフ状態にするメインスイッチ３１が接続されている。メインスイッチ３１のオン／オフ状態は、通信回線を介して、画像処理ECU５に送信される。

走行支援ECU３０は、車両LAN（Local Area Network）等の通信回線３３に接続されている。また、車両LAN３３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU（EMPS−ECU）３５が接続されている。さらに、車両LAN３３には、エンジンを統合的に制御するエンジンECU（EFI−ECU）３７と、メータパネルの表示等を制御するメータECU３９とが接続されている。これら走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、メータECU３９は、車両LAN３３を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。

EMPS−ECU３５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ３５ａが接続されている。EMPS−ECU３５は、走行支援ECU３０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ３５ａを駆動、制御する。

EFI−ECU３７には、車速を検出する車速センサ３７ａと、ステアリングの操舵角を検出する操舵角センサ３７ｂが接続されている。車速センサ３７ａにより検出された車速、および操舵角センサ３７ｂにより検出された操舵角は、EFI−ECU３７および車両LAN３３を介して、走行支援ECU３０に送信される。

走行支援ECU３０は、道路区画線検出装置１から通信回線を介して送信された区画線のデータと運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU３９に送信する（車線逸脱制御）。メータECU３９は、走行支援ECU３０からの警報信号を受信すると、ブザー３９ａに警告音を発生させ、及び／又は警告ランプ３９ｂを点灯させる。

また、走行支援ECU３０は、道路区画線検出装置１から通信回線を介して送信された区画線のデータに基づいて、自車両の推定位置を算出する。さらに、走行支援ECU３０は、算出された自車両の推定位置と、車速センサ３７ａにより検出された車速と、操舵角センサ３７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、EMPS−ECU３５に送信する（車線維持制御）。EMPS−ECU３５は、走行支援ECU３０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ３５ａを制御する。

以上、走行支援ECU３０は、道路区画線検出装置１により検出された区画線に基づいて、車線逸脱制御及び／又は車線維持制御を行う。これにより、高精度にこれら各制御を行うことが可能となる。

本発明は、例えば、道路上の区画線を検出する道路区画線検出装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る道路区画線検出装置のシステム構成一例を示すブロック図である。 （ａ）道路を上方から見た図であり、ボッツドッツを示す図である。（ｂ）道路を上方から見た図であり、キャッツアイを示す図である。 遠方と近傍での見かけ上の大きさの変化を示す図である。 画像に幾何変化を施して作成した鳥瞰図である。 遠方に向かうに従って、構造要素の大きさを小さくしていく方法を示す図である。 区画線の種類が一方側と他方側とで異なる状態を示す図である。 （ａ）初期処理画像上における水平方向の任意の１ライン及び構造要素を示す図である。（ｂ）初期処理画像の任意の１ラインの内側に沿って、構造要素を移動させた状態を示す図である。（ｃ）構造要素をラインの内側に沿って移動させたときの、構造要素の移動軌跡の中心線を示す図である。（ｄ）白線が消去され構造要素よりも小さいノイズ及びボッツドッツのみが検出された状態を示す図である。 （ａ）白線、ノイズ、及びボッツドッツが表示された初期処理画像を示す図である。（ｂ）構造要素より小さいノイズ及びボッツドッツが消去され、構造要素と略同一の白線が収縮した状態を示す図である。（ｃ）白線が復元し、ノイズ及びボッツドッツが消去された状態を示す図である。（ｄ）構造要素よりも小さいノイズ及びボッツドッツのみが表示された差分画像を示す図である。 （ａ）路肩、ボッツドッツ、車両、ノイズ、及びボッツドッツが、画像上に撮影された状態を示す図である。（ｂ）図９（ａ）の画像上の１ラインを抜き出した結果を示す図である。 （ａ）収縮処理後の輝度値の状態を示す図である。（ｂ）膨張処理後の輝度値の状態を示す図である。 （ａ）トップハット変換処理後の輝度値の状態を示す図である。（ｂ）ノイズ除去後の輝度値の状態を示す図である。 全ラインに対して、処理を施した最終画像であり、ボッツドッツのみが残存した画像を示す図である。 （ａ）路肩、白線、車両、ノイズ、及びボッツドッツが、画像上に撮影された状態を示す図である。（ｂ）図１３（ａ）に示す画像上の１ラインを抜き出した結果を示す図である。 （ａ）収縮処理後の輝度値の状態を示す図である。（ｂ）膨張処理後の輝度値の状態を示す図である。 （ａ）トップハット変換処理後の輝度値の状態を示す図である。（ｂ）ノイズ除去後の輝度値の状態を示す図である。 全ラインに対して、処理を施した最終画像であり、白線およびボッツドッツのみが残存した画像を示す図である。 濃淡画像から１ライン抜き出した信号を示す図である。 （ａ）収縮処理後の輝度値の状態を示す図である。（ｂ）膨張処理後の輝度値の状態を示す図である。 トップハット変換処理後の輝度値の状態を示す図である。 収縮処理及び膨張処理の概念的処理の状態を示す図である。 白線及びボッツドッツのみを検出した状態を示す図である。 プログレッシブ又はノンインターンにより撮影された画像を示す図である。 （ａ）画像上にボッツドッツの横幅と等しい補修痕、轍の筋、雨の筋等が存在した状態を示す図である。（ｂ）画像上にボッツドッツの横幅と等しい補修痕、轍の筋、雨の筋等が存在した場合の輝度値を示す図である わだち、ボッツドッツ、及び構造要素の形状を示す図である。 （ａ）入力画像の輝度値を示す図であり、わだち及びボッツドッツの輝度値を示す図である。（ｂ）収縮処理後の輝度値の状態を示す図である。 （ａ）膨張処理後の輝度値の状態を示す図である。（ｂ）トップハット変換処理後の輝度値の状態を示す図である。 （ａ）実線と破線とが撮影された画像を示す図である。（ｂ）複合線が撮影された画像を示す図である。 道路区画線検出装置の制御処理フローの一例を示すフローチャーである。 本発明の一実施例に係る道路区画線検出装置が搭載された走行支援システムの一例を示すブロック図である。

符号の説明

１ 道路区画線検出装置
３ 撮影手段
５ 画像処理ECU
５ａ 構造要素設定手段
５ｂ Opening処理手段
５ｃ トップハット変換処理手段
５ｄ ノイズ除去手段
３０ 走行支援ECU

Claims (8)

1. 撮影手段により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線検出装置であって、
   前記所定の区画線の形状に基づいて、モルフォロジー演算における、構造要素を設定する構造要素設定手段と、
   該構造要素設定手段により設定された前記構造要素に基づいて、前記撮影手段により撮影された前記撮影画像に対し、収縮処理を行って収縮画像を生成し、該生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理手段と、
   前記撮影手段により撮影された前記撮影画像から、前記Opening処理手段により生成された前記Opening画像を、差引いた差分画像を生成するトップハット変換処理手段と、
   を備えることを特徴とする道路区画線検出装置。
2. 請求項１記載の道路区画線検出装置であって、
   前記トップハット変換処理手段により生成された前記差分画像からノイズを除去するノイズ除去手段を、更に備えることを特徴とする道路区画線検出装置。
3. 請求項１記載の道路区画線検出装置であって、
   前記構造要素設定手段は、前記撮影手段により撮影された前記撮影画像上の前記所定の区画線の形状に応じて、前記構造要素を設定することを特徴とする道路区画線検出装置。
4. 請求項１乃至３のうちいずれか１項記載の道路区画線検出装置であって、
   前記所定の区画線は、ボッツドッツ、キャッツアイ、又は白線であることを特徴とする道路区画線検出装置。
5. 請求項１乃至４のうちいずれか１項記載の道路区画線検出装置であって、
   前記所定の区画線に基づいて、車両の走行支援を行う走行支援手段を、更に備えることを特徴とする道路区画線検出装置。
6. 請求項５記載の道路区画線検出装置であって、
   前記走行支援手段は、車両が前記区画線内を走行させる車線維持制御、又は車両が前記区画線を逸脱したときに、ユーザに対し警報を行う車線逸脱警報制御、を行うことを特徴とする道路区画線検出装置。
7. 撮影手段により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線の検出方法であって、
   前記所定の区画線の形状に基づいて、モルフォロジー演算における、構造要素を設定する構造要素設定ステップと、
   前記撮影手段により撮影された前記撮影画像に対し、前記構造要素設定ステップにより設定された前記構造要素を使用して収縮処理を行って収縮画像を生成し、該生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理ステップと、
   前記撮影手段により撮影された前記撮影画像から、前記Opening処理ステップにより生成された前記Opening画像を、差引いた差分画像を生成するトップハット変換処理ステップと、
   該トップハット変換処理ステップにより生成された前記差分画像からノイズを除去するノイズ除去ステップと、
   を備えることを特徴とする道路区画線の検出方法。
8. 撮影手段により撮影された撮影画像に基づいて、道路上における所定の区画線を検出する道路区画線の検出プログラムであって、
   前記所定の区画線の形状に基づいて、モルフォロジー演算における、構造要素を設定する構造要素設定手順と、
   前記撮影手段により撮影された前記撮影画像に対し、前記構造要素設定手順により設定された前記構造要素を使用して収縮処理を行って収縮画像を生成し、該生成された収縮画像に対し、膨張処理を行ってOpening画像を生成するOpening処理手順と、
   前記撮影手段により撮影された前記撮影画像から、前記Opening処理手順により生成された前記Opening画像を、差引いた差分画像を生成するトップハット変換処理手順と、
   該トップハット変換処理手順により生成された前記差分画像からノイズを除去するノイズ除去手順と、
   を備えることを特徴とする道路区画線の検出プログラム。

Images