JP2007304965A - 画像処理装置 - Google Patents

Abstract

【課題】車両の左右に１本ずつレーンマークがある場合は短間隔で連続撮像すると正しい検出・追跡ができるが、白線が片側に複数近接して存在する場合、前画像の検出と異なる白線を検出する等、追跡が不安定になる。
【解決手段】検出対象レーンマークの属性を有効・無効フラグ付き属性情報としてレーンマーク属性設定手段で設定し、設定された検出対象レーンマークの属性情報をレーンマーク属性格納手段に格納する。画像入力手段で入力された入力画像からレーンマーク候補をレーンマーク候補検出手段で求め、求められたレーンマーク候補の属性を属性抽出手段で抽出して、抽出されたレーンマーク候補の属性と前記レーンマーク属性格納手段に格納された有効な属性とを比較してレーンマーク候補の中から検出対象レーンマークを選択するレーンマーク選択手段を備える。
【選択図】図１

Description

この発明は、車道における路面上の走行車線を区分する線（レーンマーク）を検出する画像処理装置に関する。

車両に搭載したカメラで走行しながら道路画像を撮像し、画像中の白線（レーンマーク）を検出・追跡する従来技術としては、例えば、特開平０５−３０３６２５号公報に示されるものがある。この特開平０５−３０３６２５号公報に示される技術では、画像中に設定したウインドウ領域からエッジ検出等の画像処理でレーンマークを検出する方法において、検出したレーンマークの中心位置の情報を用いて次に入って来る画像のウインドウ位置を決定する。

特開平０５−３０３６２５号公報（段落番号［０００３］から［０００７］）

短い間隔で連続して画像を撮像すると、ある画像と一つ後の画像とで画像中の対象物の位置変化は少ないため、車両の左右に１本ずつレーンマークがある場合は従来技術で正しく検出・追跡できる。しかし、白線が片側に複数存在するようなケースでは、複数の白線がウインドウ内に含まれることになるため、前の画像で検出した白線とは異なるものを検出する等、追跡が不安定になるという課題があった。特に、電子情報通信学会論文誌Ｂ Vol.J84-B No.12 pp.2244-2253「画像情報と位置情報とを統合した３次元道路データ作成」に記載されているような、白線の位置情報から地図を作成する用途では、画像から求める白線の位置に高い精度が要求されるので、特定のレーンマークの白線を追跡する必要があり、従来の技術ではこのような用途に適用できない。

この発明は、前記のような課題を解決するためになされたものであり、複数の白線が近接して存在している場合でも、レーンマークを安定して追跡できる画像処理装置を得ることを目的としている。

この発明に係る画像処理装置は、検出対象とするレーンマークの属性を有効・無効のフラグ付きで属性情報として設定するレーンマーク属性設定手段と、このレーンマーク属性設定手段で設定された検出対象レーンマークの属性情報を格納するレーンマーク属性格納手段と、
画像を入力する画像入力手段と、入力画像からレーンマーク候補を求めるレーンマーク候補検出手段と、このレーンマーク候補検出手段で求められたレーンマーク候補の属性を抽出する属性抽出手段と、この属性抽出手段で抽出したレーンマーク候補の属性と前記レーンマーク属性格納手段に格納された有効な属性とを比較して前記レーンマーク候補の中から検出対象レーンマークを選択するレーンマーク選択手段を備える。

この発明によれば、レーンマーク属性設定手段で検出対象レーンマークの属性を設定して、レーンマーク属性格納手段に格納し、車で走行しながらカメラ等で撮像された画像を画像入力手段から入力してレーンマーク候補を求め、レーンマーク候補の属性と、レーンマーク属性格納手段に格納された属性とを比較してレーンマーク候補の中から検出対象レーンマークを選択する工程を経ることで、複数のレーンマーク候補が近接して存在しているような場合でも、必要最小限の簡単な設定を行うだけで、特定のレーンマークを安定して追跡できる。

実施の形態１．
以下、この発明の実施の形態１を図について説明する。図１はこの発明の実施の形態１を示す概略構成図である。図において、１は車両に搭載されたカメラで走行しながら撮像された道路画像を入力、或いは事前にハードディスク等に保存された車載カメラの画像データを所定の順序に従って一つ一つ入力する画像入力手段、２は画像入力手段１からの入力画像からレーンマーク候補を求めるレーンマーク候補検出手段、３はレーンマーク候補検出手段２で求められたレーンマーク候補の属性を抽出する属性抽出手段、６は検出対象とするレーンマークの属性情報を設定するレーンマーク属性設定手段、４はレーンマーク属性設定手段６で設定された検出対象とするレーンマークの属性を有効・無効のフラグ付きで属性情報として格納するレーンマーク属性格納手段、５はレーンマーク属性格納手段４に格納された有効な属性と属性抽出手段３で抽出したレーンマーク候補の属性とを比較してレーンマーク候補の中から検出対象レーンマークを選択するレーンマーク選択手段である。

次に動作を図により説明する。図２と図３がこの実施の形態１の処理フロー図であり、図２はレーンマーク属性設定手段６によるレーンマーク属性設定の処理フロー図、図３はレーンマーク検出の処理フロー図である。ここでは、図４から図６までを用いて動作を説明する。図４はレーンマーク属性格納手段４に格納される属性情報の例であり、１１は左側レーンマークの属性情報、１２は右側レーンマークの属性情報である。図５は処理対象とする入力画像の例であり、１３が入力画像である。図６はレーンマーク候補の例を示す図であり、１４から１６が左側のレーンマーク候補、１７から１９が右側のレーンマーク候補である。

まず、レーンマーク属性格納手段４内の属性情報について説明する。この実施の形態では、図４に示す左側レーンマーク用属性情報１１と右側レーンマーク用属性情報１２がレーンマーク属性格納手段４に格納されているものとする。属性情報１１と１２の内容は同一であり、例えば以下の項目で構成され、それぞれの項目に有効フラグと設定値が存在する。
（項目ａ）幅
（項目ｂ）色
（項目ｃ）線種別・長さ
有効フラグは、レーンマーク選択手段５が参照するか否かを指定するものであり、これを無効にすると、後述するレーンマーク候補の選択時に当該項目の情報は使われない。設定値は項目毎に異なり、例えば、項目ａではレーンマークの幅の標準値であり、項目ｂではレーンマークが白とオレンジ色のどちらであるかを示す値となる。また、項目ｃは、レーンマークが実線と破線のどちらであるかを示す値であり、これを破線とした場合は、さらに破線一つ分の長さの値も設定する。

次に、レーンマーク属性設定手段６によるレーンマーク属性格納手段４内の属性情報の設定動作を、図２の処理フローに従って説明する。ある項目を設定する場合、最初に有効・無効の選択を行い、有効フラグをセットする（ステップＳ１）。そして、このフラグを有効にした場合は（ステップＳ２）、さらに設定値をセットする（ステップＳ３）。このステップＳ１〜Ｓ３の動作で一つの属性項目が設定され、以降、全ての属性項目の設定が終了するまで繰り返す（ステップＳ４）。なお、ステップＳ２でフラグを無効にした場合は、ステップＳ４の処理に移行する。この一連の動作を、左側レーンマークの属性情報１１と右側レーンマークの属性情報１２に対して行い、両方の属性情報をセットする。

ここからは、レーンマーク検出の動作を図３の処理フローに従って説明する。この時、レーンマーク属性格納手段４には、図２で説明した手順で既に属性情報がセットされているものとする。
まず、画像入力手段１が画像を入力し（ステップＴ１）、レーンマーク候補検出手段２が入力画像からレーンマーク候補を検出する（ステップＴ２）。画像の入力は、車載カメラが出力する画像をそのまま入力しても良いし、事前にハードディスク等に保存された車載カメラの画像データを所定の順序に従って一つ一つ入力してもよい。図５の画像１３が入力画像の例であり、カラー情報を持ち、左側に１本のレーンマークとガードレール、右側に３本のレーンマークが存在する光景が撮像されている。この実施の形態では、右側のレーンマークについては、３本の中の真ん中のレーンマークを検出対象とする例で説明する。

ステップＴ２のレーンマーク候補検出の処理内容としては、例えば、第３回情報科学技術フォーラムFIT2004 I-080 「構造情報を用いたレーンマーク・横断歩道検出に関する検討」に記載のエッジ情報に基づく方法で行う。この実施の形態では、ステップＴ２の処理により、ガードレールも含め、図６に示すレーンマーク候補１４〜１９が入力画像１３から得られたものとする。このうち、画像の左半分にあるレーンマーク候補１４〜１６を左側レーンマークの候補、右半分にあるレーンマーク候補１７〜１９を右側レーンマークの候補とする。
なお、以降の説明において、画像中の座標系は、図６に示すように、画像の左上隅を原点として、水平方向をＸ軸、垂直方向をＹ軸にとるものとする。

次に属性抽出手段３が、レーンマーク候補検出手段２の検出したレーンマーク候補１４〜１９それぞれについて、属性抽出を行う（ステップＴ３）。個々の項目を説明すると、例えば、幅の値としては、あらかじめ定めておいたＹ座標（Ｙｃを定数として、図６におけるＹ＝Ｙｃ上の位置）でのレーンマーク幅の画素数を求める。
また、色については、Ｒ（赤）、Ｇ（緑）、Ｂ（青）で構成されるレーンマーク候補のカラー情報について、例えば、Ｒの値とＧやＢの値とを比較し、一定以上Ｒが大きければオレンジ色、そうでなければ白と判定する。
また、線種別・長さの属性を求める場合は、まず連続するエッジの長さで実線か破線かの判定を行い、破線であれば、エッジの塊のうち最も下にあるものの長さを破線の長さとする。

この実施の形態では、入力画像１３については、以下の値を抽出するものとする。
（項目ａ）幅 … レーンマーク候補１４〜１５は５画素、レーンマーク候補１６〜１９は２０画素
（項目ｂ）色 … レーンマーク候補１８はオレンジ色、レーンマーク候補１４〜１７と１９は白
（項目ｃ）線種別・長さ … レーンマーク候補１４〜１９は実線

その後、レーンマーク選択手段５は、レーンマーク属性格納手段４に格納された属性情報とステップＴ３で属性抽出手段３が抽出した属性とを比較してレーンマーク候補の中から検出対象レーンマークを選択する（ステップＴ４）。例えば、レーンマーク属性格納手段４には以下の属性情報が格納されており、レーンマーク選択手段５は項目ｂと項目ｃの条件が合致するレーンマーク候補の中から、項目ａの差異が最も小さいものを選択するものとする。
●左側レーンマークの属性情報１１
（項目ａ）幅 … 有効。１８画素。
（項目ｂ）色 … 有効。白のみ。
（項目ｃ）線種別・長さ … 有効。実線のみ
●右側レーンマークの属性情報１２
（項目ａ）幅 … 無効
（項目ｂ）色 … 有効。オレンジ色のみ
（項目ｃ）線種別・長さ … 有効。実線のみ

この時、左側レーンマークについては、レーンマーク候補１４〜１６の三つあり、属性情報１１の項目ｂと項目ｃは三つとも合致しているが、項目ａのレーンマーク幅の設定値に最も近いものはレーンマーク候補１６なので、レーンマーク候補１６が左側レーンマークとして選択される。一方、右側レーンマークについては、属性情報１２の項目ｂ・項目ｃと合致するオレンジ色の実線はレーンマーク候補１８の一つだけであるので、レーンマーク候補１８が右側レーンマークとして選択される。

以上のステップＴ１〜Ｔ４で一つの画像に対するレーンマーク検出処理が完了するが、まだ新たな画像を入力できる場合は、ステップＴ１に戻って次のサイクルの処理を開始し（ステップＴ５）、入力できなければ終了する。
なお、ステップＴ１〜Ｔ５の処理サイクルを何サイクルにも亘って継続して実行し道路状況が変わり、例えば右側の車線境界が白いレーンマーク１本になったような場合は、オペレータはレーンマーク検出処理を停止させ、図２のレーンマーク属性設定処理を行って、属性情報１２の項目ｂを無効にしてレーンマーク検出処理を再開すればよい。

なお、この実施の形態では、前の画像のレーンマーク検出位置の情報を使用しなかったが、この情報も併用してレーンマーク選択を行っても良い。例えば、前の画像のレーンマーク検出位置から一定以上離れているところにあるレーンマーク候補は選択しないようにする。あるいは、属性の合致したレーンマーク候補の中から前の画像のレーンマーク検出位置に最も近いものを選ぶ、等の方法が考えられる。
また、属性項目として、幅、色、線種別・長さの三つを用いたが、これは当該組み合わせに限定するものではなく、別な項目に入れ替えたり、新たな項目を追加しても良い。

また、レーンマーク幅や破線の長さを画像上の画素数としたが、これは前述の文献「画像情報と位置情報とを統合した３次元道路データ作成」に記載の方法で緯度・経度データに変換し、実寸値で比較するようにしても良い。
また、入力画像をカラー画像としたが、属性項目として色を使わないのであれば、白黒画像としても良い。また、実線か破線かをエッジの連続性で判定し、破線の長さもエッジ情報から求めたが、これは別の方法を用いても良い。

この実施の形態では、以上の工程を経ることで、複数のレーンマークが近接して存在しているような場合でも、必要最小限の簡単な設定を行うだけで、特定のレーンマークを安定して追跡できる。

実施の形態２．
以下、この発明の実施の形態２を図について説明する。実施の形態２の概略構成図は図７である。図７において、７はレーンマーク候補の情報や選択した検出対象レーンマークの情報をディスプレイで表示する表示手段、８はオペレータ等の外部からの指示入力を受け取る指示入力手段である。その他の構成は図１に示す実施の形態１と同様な構成であり、説明を割愛する。

次に動作を図により説明する。この実施の形態のレーンマーク検出処理フローは図８である。ここでは、図９から図１３までを用いて動作を説明する。図９はレーンマーク属性格納手段４に格納される属性情報の例であり、２０は左側レーンマークの属性情報、２１は右側レーンマークの属性情報である。図１０は処理対象とする入力画像の例であり、２２が入力画像、２３と２４がレーンマークである。図１１は図１０の画像が入力されて一定時間後に入力された画像の例であり、２５が入力画像、２６と２７がレーンマーク、２８と２９は減速を指示する路面標示（以下、減速マークと呼ぶ）である。図１２は図１１の画像が入力されて一定時間後に入力された画像の例であり、３０が入力画像、３１と３２は減速マークである。図１３は表示手段７の表示例であり、３３が処理した入力画像、３４と３５がレーンマークとして選択されなかったレーンマーク候補を示す特殊表示領域、３６と３７がレーンマークとして選択されたことを示す特殊表示領域である。

まず、レーンマーク属性格納手段４内の属性情報について説明する。この実施の形態では、実施の形態１で説明した項目にレーンマークの左端位置と右端位置を加え、それぞれ、左側レーンマークの属性情報２０と右側レーンマークの属性情報２１とする。
ここで、左端位置とはレーンマークの左側エッジの位置、右端位置はレーンマークの右側エッジの位置を示し、それぞれエッジ上のいずれかの点のＸ座標とＹ座標をペアにして一組以上保持する。なお、位置の情報は他の項目よりも変化が激しいので、この左端位置と右端位置については、レーンマーク属性設定手段６により有効とされても、所定サイクル経過後は自動的に無効に変化させることとする。すなわち、この位置情報は、設定された直後の一定サイクル間だけ有効な属性項目になる。

この実施の形態では、レーンマーク属性設定手段６による属性情報の初期設定は実施の形態１と同様に行うが、属性情報の変更（２回目以降の設定）は、レーンマーク検出の図８のフローの中で行う。
次にレーンマーク検出動作について説明する。図８において、最初に、実施の形態１と同様の手順で、画像入力手段１が画像を入力し（ステップＵ１）、レーンマーク候補検出手段２により画像入力手段１が入力した画像からレーンマーク候補を検出する（ステップＵ２）。次に、属性抽出手段３により、レーンマーク候補検出手段２が検出したレーンマーク候補から属性抽出を行う（ステップＵ３）。このステップＵ３において、幅、色、線種別・長さの三つの属性項目については、実施の形態１と同様の手順で抽出するものとし、左端位置と右端位置については、例えば、あらかじめ定められた複数のＹ座標上で、レーンマーク候補の左側もしくは右側エッジの存在する点を求め、当該エッジ点のＸ座標とＹ座標を抽出する。

その後、レーンマーク選択手段５がレーンマーク属性格納手段４に格納された属性情報と属性抽出手段３の抽出した属性とを比較して検出対象レーンマークを選択する（ステップＵ４）。ここで、幅の項目については、実施の形態１では複数のレーンマーク候補から一つを選ぶための指標値として用いたが、この実施の形態では、色や線種別・長さと同様に、レーンマークとしての必要条件として扱う例で説明する。具体的には、レーンマーク候補の幅の値と、レーンマーク属性格納手段４に格納された属性情報の幅の値とを比較し、その差が閾値以下なら条件が合致している（レーンマークとしての条件を満たしている）ものと見なす。
また、左端位置と右端位置についても、例えば、レーンマーク属性格納手段４に格納された位置座標とレーンマーク候補の位置座標とで、Ｙ座標の差が最も小さい点の組み合わせを求め、その距離が閾値以下であれば、レーンマークの属性情報とレーンマーク候補の属性とが合致していると見なす。そして、属性情報と合致するレーンマーク候補が複数存在する場合、レーンマーク選択手段５は、当該レーンマーク候補の中から前サイクルの画像でのレーンマークの検出位置に最も近いものを選ぶ。

その後、表示手段７は、レーンマーク候補や選択された検出対象レーンマークの情報を処理結果としてディスプレイ等に表示する（ステップＵ５）。例えば、処理を行った入力画像を表示すると共に、当該画像中で検出対象レーンマークとして選択された領域と、選択されなかったレーンマーク候補の領域とを区別できるように色を変えて網掛け表示する。

次に、指示入力手段８が外部（オペレータ）からの指示入力を受け付ける（ステップＵ６）。一定時間内に指示入力がなければ、ステップＵ１に戻って次のサイクルの処理を行うが、ステップＵ４で検出対象レーンマークでないレーンマーク候補が選択され、ステップＵ５で表示されたレーンマーク候補のどれかをオペレータがマウス等で選択するという指示入力が行われた場合は（ステップＵ７）、当該レーンマーク候補を検出対象レーンマークと判断し、ステップＵ４で選択した検出対象レーンマークを破棄して新たに検出対象レーンマークを選択し直す（ステップＵ８）。ここで、指示入力手段８が使われて検出対象レーンマークが選択し直されたということは、選択を誤っていたということであるので、次のサイクルで同様の誤りを起こさないように、新たに選択された検出対象レーンマークの属性をレーンマーク属性設定手段６がレーンマーク属性格納手段４にセットする（ステップＵ９）。そして、まだ処理すべき画像が残っている場合は、ステップＵ１に戻って次のサイクルの処理を開始し（ステップＵ１０）、残っていない場合は終了する。

以上が１サイクルの動作であるが、以降で、複数サイクルに亘る例を説明する。例えば、レーンマーク属性格納手段４に格納された属性情報は下記の値に初期設定されているものとし、また、図１０〜図１３に示す画像中の線は全て白いものとする。
（項目ａ）幅 … 無効。
（項目ｂ）色 … 有効。白のみ。
（項目ｃ）線種別・長さ … 無効。
（項目ｄ）左端位置 … 無効。
（項目ｅ）右端位置 … 無効。

このとき、図１０の入力画像２２が入ってきたとすると、当該画像には左側レーンマーク２３と右側レーンマーク２４が一つずつしかなく、それぞれ正しく検出できる。その後のサイクルで、図１１の入力画像２５が入ってきたとしても、サイクル間におけるレーンマーク位置の連続性をステップＵ４におけるレーンマーク選択の指標値に用いていることから、減速マーク２８と減速マーク２９の属性がレーンマーク属性格納手段４内の属性情報と合致したとしても、左側レーンマーク２６と右側レーンマーク２７が選択される。このようにレーンマークを正しく検出できている間は、指示入力は必要ないので、ステップＵ１からステップＵ６までが繰り返される動作となる。

しかし、その後、左右のレーンマークのかすれた状態が続き、図１２の入力画像３０が入ってくると、減速マーク３１を左側レーンマーク、減速マーク３２を右側レーンマークとして検出してしまう。一度この状態になると、前述のレーンマーク位置の連続性から、検出対象とするレーンマークがくっきりと現れた入力画像２５が再び入ってくるようになっても、ステップＵ４では減速マークの方が選択されてしまう。図１３が、この状態でのステップＵ５における表示手段７の表示例であり、入力画像３３が表示され、レーンマークとして選択されなかったレーンマーク候補３４、３５と、検出対象レーンマークとして選択されたレーンマーク候補３６と３７の領域が異なる色で網掛け表示されている。

この状態のまま処理を継続させると、誤検出がずっと続くことになるので、オペレータはステップＵ６での指示入力として、マウス等を用い、左側検出対象レーンマークとしてレーンマーク候補３４を、右側検出対象レーンマークとしてレーンマーク候補３５を選択する。そうすると、レーンマーク選択手段５が、選択されたレーンマーク候補を検出対象レーンマークとしてステップＵ８で選択し直すと共に、当該レーンマーク候補の属性をレーンマーク属性設定手段６がステップＵ９でレーンマーク属性格納手段４にセットする。ここで、ステップＵ９において、どの属性項目をセットするかは事前に指定してあるものとし、この実施の形態では、左端位置と右端位置をセットするものとする。この場合、属性情報２０の左端位置と右端位置にはレーンマーク候補３４の値が、属性情報２１の左端位置と右端位置にはレーンマーク候補３５の値が設定されると共に、有効フラグも有効に設定され、以降のサイクルでは検出対象レーンマークを正しく検出できるようになる。

この実施の形態では、以上の工程を経ることで、検出対象レーンマークの周辺に紛らわしい線パターンが存在し、かつ検出対象レーンマークがかすれて誤検出が継続して発生している場合でも、簡単な指示入力を行うだけで、正しく検出対象レーンマーク検出できる状態に復帰させることができる。

なお、この実施の形態では、ステップＵ９における属性情報設定で左端位置と右端位置を設定するようにしたが、これは別の属性項目を設定するようにしても良い。例えば、図１１におけるレーンマーク２６、２７と減速マーク２８、２９とは両方とも破線であるが、長さは明らかに違うので、属性情報２０、２１において線種別・長さの項目に適正値を設定すれば、減速マーク２８、２９が選択されることはなくなる。

また、ステップＵ５におけるレーンマーク候補の特殊表示で、色を変えて網掛け表示する例を説明したが、これは個々のレーンマーク候補を視認できる表示形態であれば、他の方法で表示させても良い。また、表示はディスプレイで、指示入力はマウスで行う例を説明したが、これは表示や入力が可能なものなら、他の機器を使用しても良い。

実施の形態３．
以下、この発明の実施の形態３を図について説明する。概略構成図は実施の形態２と同様に図７である。
次に動作を説明する。
まず、検出対象レーンマーク属性情報の初期設定を実施の形態１と同様にレーンマーク属性設定手段６により行い、レーンマーク属性格納手段４に格納する。
次に、レーンマーク検出処理フローについて図により説明する。
この実施の形態のレーンマーク検出処理フローは図１４であり、図１５〜図１８を用いて検出動作を説明する。図１５は入力画像の例であり、３８が入力画像、３９が左側レーンマーク、４０と４１が右側レーンマークである。図１６は図１５の画像が入力されて一定時間後に入力された画像の例であり、４２が入力画像、４３と４４が右側レーンマークである。図１７は表示手段７の表示例であり、４５と４６がレーンマークとして選択されたことを示す特殊表示領域である。図１８は指示入力手段による部分領域指定を説明するための図であり、４７が部分領域を示す境界線である。

まず、実施の形態２と同様の手順で、画像入力手段１が画像を入力し（ステップＶ１）、レーンマーク候補検出手段２により画像入力手段１が入力した画像からレーンマーク候補を検出し（ステップＶ２）、属性抽出手段３によりレーンマーク候補検出手段２が検出したレーンマーク候補から属性抽出を行って（ステップＶ３）、レーンマーク選択手段５がレーンマーク属性格納手段４に格納された検出対象レーンマークの属性と属性抽出手段３で抽出されたレーンマーク候補の属性とを比較し、レーンマーク候補の中から検出対象レーンマークを選択する（ステップＶ４）。その後、表示手段７は、選択された検出対象レーンマークの情報をディスプレイ等に表示する（ステップＶ５）。さらに、指示入力手段８が外部（オペレータ）からの指示入力を受け付ける（ステップＶ６）。一定時間内に指示入力がなければ、ステップＶ１に戻って次のサイクルの処理を行うが、ステップＶ５の表示手段７に表示された処理結果の表示画像内の部分領域がオペレータによってマウス等で選択されるという指示入力が行われた場合は（ステップＶ７）、当該選択領域からレーンマーク候補を検出し直すと共に属性抽出を行う（ステップＶ８）。

例えば、図１５の入力画像３８に示されるように、左側にレーンマーク３９が１本、右側にレーンマーク４０とレーンマーク４１の２本あり、右側は内側にあるレーンマーク４０を検出対象にしたい場合は、レーンマーク属性格納手段４内の右側レーンマークに対する属性情報の初期設定値として、左端位置・右端位置の項目を有効とし、レーンマーク４０の左端位置・右端位置を設定しておけばよい。しかし、図１６の入力画像４２のように、内側のレーンマーク４３がかすれてレーンマーク候補として検出されなくなると、唯一の右側のレーンマーク候補となるレーンマーク４４が検出されてしまい、ステップＶ５の結果表示では、図１７に示すように、左側検出対象レーンマークとしてレーンマーク領域４５が、右側検出対象レーンマークとして外側レーンマークの領域４６が網掛け表示されることになる。

オペレータは、この状況を確認すると、マウスで図１８における線４７を引き、これがステップＶ６〜Ｖ７における部分領域指定の指示入力となる。指示入力が行われると、ステップＶ８でレーンマーク候補検出手段２が当該部分領域周辺からレーンマーク候補を検出すると共に属性抽出手段３が属性抽出を行う。ここで、ステップＶ８ではステップＶ２で検出できなかったレーンマーク候補を検出することが目的になるので、ステップＶ２とは異なるパラメータで複数回検出処理を行い、かすれ等がある検出しづらいレーンマークも検出するようにする。さらに、レーンマーク候補が検出できた時のパラメータを、次サイクル以降のステップＶ２で使用するようにレーンマーク候補検出手段２は記憶しておくものとする。

その後、レーンマーク選択手段５が、ステップＶ４で選択したレーンマークの情報を破棄して新たに検出されたレーンマーク候補を検出対象レーンマークとし（ステップＶ９）、実施の形態２と同様に、新たに選択された検出対象レーンマークの属性をレーンマーク属性設定手段６がレーンマーク属性格納手段４にセットする（ステップＶ１０）。そして、処理すべき画像が残っている場合は、ステップＶ１に戻って次のサイクルの処理を開始し（ステップＶ１１）、残っていない場合は終了する。

この実施の形態では、以上の工程を経ることで、検出対象のレーンマークがレーンマーク候補として検出できなかった場合でも、簡単な指示入力を行うだけで、検出対象のレーンマークを適正に検出できる。

実施の形態４．
以下、この発明の実施の形態４を図について説明する。概略構成図は実施の形態２と同様に図７である。
次に動作を説明する。
まず、検出対象レーンマーク属性情報の初期設定を実施の形態１と同様にレーンマーク属性設定手段６により行い、レーンマーク属性格納手段４に格納する。
次に、レーンマーク検出処理フローについて図に従い説明する。
この実施の形態のレーンマーク検出処理フローは図１９である。ここでは図２０〜図２２を用いて動作を説明する。図２０は入力画像の例であり、４８が入力画像、４９が左側レーンマーク、５０が右側レーンマークである。図２１は図２０の画像が入力されて一定時間後に入力された画像の例であり、５１が入力画像、５２が左側レーンマーク、５３が右内側のレーンマーク、５４が右外側のレーンマークである。図２２は図２１の画像が入力されて一定時間後に入力された画像の処理結果表示の例であり、５５が入力画像、５６が左側レーンマークとして選択されたことを示す特殊表示領域、５７がかすれてレーンマーク候補にならなかった右内側のレーンマーク、５８が右側レーンマークとして選択されたことを示す特殊表示領域、５９がオペレータへのメッセージ出力である。

まず、実施の形態３と同様の手順で、画像入力手段１が画像を入力し（ステップＷ１）、レーンマーク候補検出手段２により画像入力手段１が入力した画像からレーンマーク候補を検出し（ステップＷ２）、属性抽出手段３によりレーンマーク候補検出手段２が検出したレーンマーク候補から属性抽出を行って（ステップＷ３）、レーンマーク選択手段５がレーンマーク属性格納手段４に格納された検出対象レーンマークの属性と属性抽出手段３で抽出されたレーンマーク候補の属性とを比較し、レーンマーク候補の中から検出対象レーンマークを選択する（ステップＷ４）。

そして、表示手段７は、レーンマーク選択手段５により選択されたレーンマークの情報をディスプレイ等に表示するが（ステップＷ５）、その際、レーンマーク選択手段５は、選択したレーンマークに関連する所定の条件が成立するか否か（選択したものが検出対象レーンマークでない可能性が高いかどうか）チェックし、成立したら指示入力が必要な状況と判断して（ステップＷ６）、オペレータに向けたメッセージを表示手段７に出力させる（ステップＷ７）。

ここで、所定の条件とは、入力画像から検出した検出対象レーンマークと過去のサイクルで検出した検出対象レーンマークとが異なるものかどうかを判定するための条件である。例えば、左側レーンマークと右側レーンマークのどちらかにおいて、過去のサイクルよりレーンマーク候補の数が減少し、かつ過去サイクルとのレーンマーク検出位置の差が閾値以上の場合、同一でない可能性が高いと考えられるので、指示入力が必要と判断する。

この条件を適用した場合、図２０の入力画像４８からレーンマーク４９とレーンマーク５０を検出していた状況で、新たにレーンマーク５０の右側に別のレーンマークが現れた図２１の入力画像５１が入ってきたとしても、実施の形態２で説明したレーンマーク検出位置の連続性から、ステップＷ４ではレーンマーク５２とレーンマーク５３が選択され、新たに出現したレーンマーク５４が選択されることはない。この時は、レーンマーク候補数は左側は同じで右側は２個に増加し、またサイクル間でのレーンマーク検出位置のずれも小さいので、指示入力が必要と見なされる条件は成立せず、メッセージは出力されない。

一方、図２１の入力画像５１から左側検出対象レーンマーク５２と右側検出対象レーンマーク５３を検出していた状況で、右側検出対象レーンマーク５３がかすれた図２２の入力画像５５が入ってきた場合、検出対象としていた右内側のレーンマークはステップＷ２でレーンマーク候補とならず、ステップＷ５における結果表示では、図２２に示すように、左側検出対象レーンマークとしてレーンマーク領域５６が、右側検出対象レーンマークとしては外側レーンマークの領域５８が網掛け表示される。この時は、右側のレーンマーク候補数が２個から１個に減少し、かつ、入力画像５５の検出領域５８と過去サイクルで右側検出対象レーンマークとして検出していた内側レーンマーク５３とは一定以上離れているので、前述の条件が成立し、ステップＷ６で指示入力が必要と判断され、オペレータに向けて処理結果の確認・修正を促すメッセージ５９がステップＷ７で表示される。

その後、指示入力手段８が外部（オペレータ）からの指示入力を受け付ける（ステップＷ８）。このステップＷ８の動作は、ステップＷ６での判定結果によって異なり、ステップＷ６で指示入力不要と判定された場合は、実施の形態３と同様に、一定時間内に指示入力がなければステップＷ１に戻るが、指示入力が必要と判定された場合は、何らかの入力が行われるまで待ち状態を続け、図示しない専用ボタン等で“指示入力なし”を意味する入力が明示的に為されたらステップＷ１に戻るものとする。その後は実施の形態３と同じであり、表示画像内の部分領域がオペレータによりマウスで選択されるという指示入力が行われた場合は（ステップＷ９）、当該領域からレーンマーク候補を検出し直すと同時に属性抽出も行い（ステップＷ１０）、当該レーンマーク候補を検出対象レーンマークとして選択すると共に（ステップＷ１１）、新たに選択されたレーンマークの属性をレーンマーク属性設定手段６がレーンマーク属性格納手段４にセットする（ステップＷ１２）。そして、処理すべき画像が残っている場合は、ステップＷ１に戻って次のサイクルの処理を開始し（ステップＷ１３）、残っていない場合は終了する。

この実施の形態では、以上の工程を経ることで、検出結果が誤っている可能性の高いケースを自動判定でき、オペレータが処理結果を確認する手間を大きく低減できる。
なお、この実施の形態では、メッセージを入力画像や処理結果と同じ画面に表示したが、これは別の方法でもよく、例えば警報音を鳴らす等、視覚以外に訴える手段をとっても良い。また、検出対象レーンマークの指定方法として、画像の部分領域を指定する例で説明したが、これは実施の形態２のように、レーンマーク候補を選ぶような指定でも良い。

実施の形態５．
以下、この発明の実施の形態５を図について説明する。概略構成図は図２３である。図において、９は入力画像とレーンマーク候補検出手段２が検出したレーンマーク候補の情報とレーンマーク選択手段５が選択したレーンマークの情報とを対応付けて記憶する入出力情報記憶手段、１０は入出力情報記憶手段９に記憶された複数の入力画像の中から再処理対象とするものを選択する再処理画像選択手段である。その他は図７に示す実施の形態２と同様な構成であり、説明を割愛する。

次に動作を図により説明する。
なお、検出対象レーンマーク属性情報の初期設定は実施の形態１と同様に、レーンマーク属性設定手段６により行われ、レーンマーク属性格納手段４に格納される。
この実施の形態の処理フローは図２４と図２５であり、図２４が入出力情報作成・記憶のフロー、図２５が処理結果確認・再処理のフローである。ここでは図２６と図２７を用いて動作を説明する。図２６は入力画像シーケンスの例であり、６０〜６３が入力画像である。図２７は処理結果表示の例であり、６４〜７１が検出対象レーンマークとして選択されたレーンマーク領域、７２〜７９が検出対象レーンマークとして選択されなかったレーンマーク候補の領域である。

この実施の形態では、入力画像からレーンマーク検出を行うと共にレーンマーク候補や選択したレーンマークの情報と入力画像とを対応付けて入出力情報として記憶する入出力情報作成・記憶フェーズと、入出力情報を呼び出して処理結果を確認すると共に誤りを修正する処理結果確認・再処理フェーズの、二つのフェーズに分けてレーンマーク検出を行う場合を説明する。

まず、入出力情報作成・記憶の動作を図２４のフローに従って説明する。図２４のステップＸ１〜Ｘ４は実施の形態２のＵ１〜Ｕ４と同じであり、画像入力手段１が画像を入力し（ステップＸ１）、レーンマーク候補検出手段２がレーンマーク候補を検出し（ステップＸ２）、属性抽出手段３がレーンマーク候補から属性抽出を行って（ステップＸ３）、レーンマーク選択手段５がレーンマーク属性格納手段４に格納された検出対象レーンマークの属性と属性抽出手段３で抽出されたレーンマーク候補の属性とを比較し、レーンマーク候補の中から検出対象レーンマークを選択する（ステップＸ４）。
その後、入出力情報記憶手段９が、入力画像とレーンマーク候補検出手段２の検出したレーンマーク候補の情報とレーンマーク選択手段５の選択した検出対象レーンマークの情報とを対応付けて入出力情報として記憶する（ステップＸ５）。そして、処理すべき画像が残っている場合は、ステップＸ１に戻って次のサイクルの処理を行うが（ステップＸ６）、残っていない場合は終了する。この一連の処理の結果、入出力情報記憶手段９には、全入力画像と、当該画像に対応したレーンマーク候補や検出された検出対象レーンマークの情報が記憶される。

ここで、この実施の形態では、レーンマーク属性格納手段４に格納された属性情報は下記２項目で、それぞれ下記の値に初期設定されているものとする。
●左側レーンマークの属性情報
（項目ａ）色 … 有効。白のみ。
（項目ｂ）線種別・長さ … 有効。実線。
●右側レーンマークの属性情報
（項目ａ）色 … 有効。白のみ。
（項目ｂ）線種別・長さ … 有効。破線。長さは制限しない

さらに、入力画像が図２６のシーケンスであった場合で説明する。これは、左側が白い実線、右側が白い破線のレーンマークがある道路において、画像６０のように白い減速マークが出現し、その後、画像６１や画像６２のように右側の破線がかすれて消失したり出現したりを繰り返し、最後には、画像６３のように減速マークがなくなるシーケンスである。この時、入出力情報記憶手段９に記憶されるレーンマーク候補や選択した検出対象レーンマークの情報は図２７に示されるものとなる。すなわち、左側では実線はレーンマークしかないので、常に検出対象レーンマークが検出されるが、右側では検出対象レーンマークも減速マークも破線であり、入力画像６１のように検出対象レーンマークがかすれて消失している間に減速マークが誤検出されるようになる（入力画像６１の領域６７）と、検出対象レーンマークが出現した状態（入力画像６２の領域７５）でも誤検出は続く（入力画像６２の領域６９）。この誤検出は、入力画像６３のように減速マークが消失するまで続く。

次に、処理結果確認・再処理の動作を図２５のフローに従って説明する。まず、表示手段７が入出力情報記憶手段９から入出力情報を一セット読み込み（ステップＹ１）、実施の形態２のステップＵ５と同じように表示する（ステップＹ２）。そして、指示入力手段８が外部（オペレータ）からの指示入力を受け付け（ステップＹ３）、一定時間内に指示入力がなければ、ステップＹ１に戻って次のサイクルの処理を行うが、ステップＹ２で表示された複数のレーンマーク候補のどれかがオペレータによりマウス等で選択されるという指示入力が行われた場合は（ステップＹ４）、当該選択されたレーンマーク候補を検出対象レーンマークと判断し、入出力情報記憶手段９内のレーンマーク情報を更新（ステップＹ５）した後、新たに選択されたレーンマーク候補の属性をレーンマーク属性設定手段６がレーンマーク属性格納手段４にセットする（ステップＹ６）。そして、新たにセットされたレーンマーク属性情報でレーンマーク選択をやり直させたい画像を入力画像から選び（ステップＹ７）、レーンマーク選択の処理をやり直す（ステップＹ８〜Ｙ９）。

例えば、図２７の画像６２に対し、ステップＹ３でオペレータがレーンマーク候補７５を検出対象レーンマークとして選択した場合、ステップＹ５で画像６２の処理結果が更新され、ステップＹ６でレーンマーク候補７５の属性がレーンマーク属性格納手段４にセットされる。この時、線種別・長さの属性項目における破線長さの設定値は、レーンマークの長さより少し小さい値（減速マークの長さよりは十分大きい値）となり、減速マークの長さは許容範囲に入らない状態になるとする。そして、ステップＹ７でオペレータが右側レーンマークのかすれている画像群（画像６１と画像６２を含む画像の部分シーケンス）を選択し、ステップＹ８で再処理を実行すると、図６２と同様な誤検出の起こっていた画像で検出対象レーンマークが正しく選択されて処理結果が自動修正されると共に、入力画像６１のように右側検出対象レーンマークのない画像についても、誤検出が解消される。

なお、ステップＹ８〜Ｙ９においては、ステップＹ３で指示入力した画像（以下、指示画像と呼ぶ）を起点として処理を行うものとする。すなわち、指示画像より過去の画像群については指示画像を起点として未来から過去の画像へ進む順番で、逆に、指示画像より未来の画像群については指示画像を起点として過去から未来の画像へ進む順番で処理を行う。さらに、実施の形態２で説明した、サイクル間におけるレーンマーク位置の連続性を検出対象レーンマーク選択の指標とすれば、レーンマーク位置の正しいことが確実な指示画像の情報を最大限活用した選択処理が行える。

この一連の動作により、誤検出画像を見つけ出し、その全てを一つ一つ修正するという手間が必要なくなる。なお、属性情報の線種別・長さの項目を、レーンマークの実際の長さに合わせて最初から厳しく設定しておけば、入出力情報作成・記憶のフェーズで正しい検出が行えるが、この場合、かすれて短くなったり複数に分断された検出対象レーンマークが検出できなくなってしまうので、通常は緩い条件として、必要な画像範囲だけを厳しく判定するような、この実施の形態の動作が有効となる。

最後に、処理すべき画像が残っているかどうかチェックし（ステップＹ１０）、残っている場合はステップＹ１に戻って次サイクルの処理を行うが、残っていない場合は終了する。

この実施の形態では、以上の工程を経ることで、多数の誤検出画像がある場合でも、そのうちの一つを修正するだけで他の画像の処理結果も修正することができ、修正の手間を大幅に軽減できる。

なお、実施の形態１〜５では、一つの車線を対象として、その左側と右側のレーンマークを検出する場合で説明したが、これは、画像中に存在する複数車線の全てのレーンマークを検出するようにしても良い。

この発明は高精度ＧＰＳ（Global Positioning System)と画像処理技術を組み合わせた、高精度地図生成システムの画像処理技術に適用される。

この発明の実施の形態１を示す概略構成図である。 実施の形態１におけるレーンマーク属性設定の処理フロー図である。 実施の形態１におけるレーンマーク検出の処理フロー図である。 実施の形態１における属性情報例の説明図である。 実施の形態１における処理対象入力画像例の説明図である。 実施の形態１におけるレーンマーク候補例の説明図である。 この発明の実施の形態２を示す概略構成図である。 この発明の実施の形態２のレーンマーク検出処理フロー図である。 実施の形態２における属性情報例の説明図である。 実施の形態２において最初に入力される処理対象画像例の説明図である。 実施の形態２において最初の画像入力後の一定時間後入力された２度目の処理対象画像例の説明図である。 実施の形態２において２度目の画像入力後の一定時間後入力された画像の処理結果例の説明図である。 実施の形態２における表示手段の表示例の説明図である。 この発明の実施の形態３のレーンマーク検出処理フロー図である。 実施の形態３において最初に入力される処理対象画像例の説明図である。 実施の形態３において最初の画像入力後の一定時間後入力された２度目の処理対象画像例の説明図である。 実施の形態３における表示手段の表示例の説明図である。 実施の形態３における指示入力手段による部分領域指定の説明図である。 この発明の実施の形態４の処理フロー図である。 実施の形態４における最初の処理対象入力画像例の説明図である。 実施の形態４において最初の画像入力後の一定時間後入力された２度目の処理対象画像例の説明図である。 実施の形態４において２度目の画像入力後の一定時間後入力された画像の処理結果例の説明図である。 この発明の実施の形態５を示す概略構成図である。 実施の形態５における入出力情報作成・記憶のフロー図である。 実施の形態５における処理結果確認・再処理のフロー図である。 処理前の入力画像シーケンスの例の説明図である。 処理結果の入力画像シーケンスの例の説明図である。

符号の説明

１；画像入力手段、２；レーンマーク候補検出手段、３；属性抽出手段、４；レーンマーク属性格納手段、５；レーンマーク選択手段、６；レーンマーク属性設定手段、７；表示手段、８；指示入力手段、９；入出力情報記憶手段、１０；再処理画像選択手段。

Claims (5)

1. 検出対象とするレーンマークの属性を有効・無効のフラグ付きで属性情報として設定するレーンマーク属性設定手段と、このレーンマーク属性設定手段で設定された検出対象レーンマークの属性情報を格納するレーンマーク属性格納手段と、
   画像を入力する画像入力手段と、入力画像からレーンマーク候補を求めるレーンマーク候補検出手段と、このレーンマーク候補検出手段で求められたレーンマーク候補の属性を抽出する属性抽出手段と、この属性抽出手段で抽出したレーンマーク候補の属性と前記レーンマーク属性格納手段に格納された有効な属性とを比較して前記レーンマーク候補の中から検出対象レーンマークを選択するレーンマーク選択手段を備えたことを特徴とする画像処理装置。
2. 入力画像と、前記レーンマーク候補検出手段が検出したレーンマーク候補の情報と、前記レーンマーク選択手段の選択した検出対象レーンマークの情報とを表示する表示手段と、外部からの指示入力を受け取る指示入力手段を備え、
   前記レーンマーク選択手段は前記指示入力手段で何れかのレーンマーク候補が指定された場合に当該レーンマーク候補を検出対象レーンマークとして選択しなおすと共に、前記レーンマーク属性設定手段は当該検出対象レーンマークの属性情報を前記レーンマーク属性格納手段に設定しなおすことを特徴とする請求項１に記載の画像処理装置。
3. 入力画像と前記レーンマーク選択手段の選択した検出対象レーンマークの情報とを表示する表示手段と、外部からの指示入力を受け取る指示入力手段を備え、
   前記レーンマーク候補検出手段は前記表示手段で表示された入力画像の部分領域が前記指示入力手段により指定された場合に当該部分領域からレーンマーク候補を検出しなおし、前記レーンマーク選択手段は新たに検出されたレーンマーク候補を検出対象レーンマークとして選択すると共に、前記レーンマーク属性設定手段は当該検出しなおされたレーンマーク候補の属性情報を前記レーンマーク属性格納手段に設定しなおすことを特徴とする請求項１に記載の画像処理装置。
4. 前記レーンマーク選択手段は選択した検出対象レーンマークの情報に基づいて外部からの指示入力が必要か否かを判定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 入力画像と、前記レーンマーク候補検出手段の検出したレーンマーク候補の情報と、前記レーンマーク選択手段の選択した検出対象レーンマークの情報とを対応付けて複数セット記憶する入出力情報記憶手段と、前記入出力情報記憶手段に記憶された複数の入力画像の中から再処理対象とするものを選択する再処理画像選択手段を備え、前記レーンマーク属性格納手段内の属性情報が新たに設定しなおされた場合、前記レーンマーク選択手段は、当該属性情報を用いて前記再処理画像選択手段に選択された再処理対象の入力画像に対してレーンマークの選択を行うことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

Images