JP2011043995A

JP2011043995A - 路面標示認識装置

Info

Publication number: JP2011043995A
Application number: JP2009191887A
Authority: JP
Inventors: Shogo Yoneyama; 昇吾米山; Takashi Hirano; 敬平野; Hiroyasu Miyahara; 景泰宮原; Takenori Kawamata; 武典川又
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-08-21
Filing date: 2009-08-21
Publication date: 2011-03-03
Anticipated expiration: 2029-08-21
Also published as: JP5436092B2

Abstract

【課題】従来の路面標示認識装置は、カメラでの撮影画像全体を領域分割した後、２次元平面への投影などの変換処理を行うので、CPU負荷が大きく、また、検知ライン上の明るさの変化位置に基づき路面標示を認識する計算量抑制方法は、自車両前方に他車両が位置し、路面標示の一部を隠蔽した場合、路面標示を正しく認識できない。
【解決手段】画像入力手段で得られた自車両の走行路を含む所定領域を撮影した画像中の、部分領域を監視領域とし監視領域設定手段で設定し、監視領域から、画像特徴を画像特徴抽出手段で抽出し、この特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に予め格納されている路面標示モデルとをHMMを用いてHMM識別手段で比較評価して路面標示の認識を行う。
【選択図】図１

Description

この発明は、車両の路面標示を認識する路面標示認識装置に関する。

路面標示を認識する方法として、例えば「道路情景画像からの路面標示の抽出と認識の実験」（非特許文献１）に示されるものがある。この方法では、まず車載カメラで撮影された道路情景画像を、輪郭線をもとに領域分割を施し、その後、道路構造を利用した再結合処理により道路領域を決定し、次に、この領域を２次元平面に投影変換し、路面標示領域の抽出を行う。最後に、抽出した路面標示領域の周辺分布を用いて類似度を評価することで路面標示を認識する。

また、走行路の半径あるいは曲率を含む走行路の形状を予め記憶しておき、車載カメラで撮影された撮影画像において走行路の進行方向に伸びる検知ライン数を走行路の形状に応じて変化させ、検知ライン上の明るさの変化位置に基づいて路面標示を認識する方法があり、この方法として、例えば「車両の路面標識検出装置」(特許文献1)に示されるものがある。

特許第４２３４０７１号公報

太田寛志、塩野充、「道路情景画像からの路面標示の抽出と認識の実験」、信学技報、PRMU95−188、pp.79-86、1995

従来の路面標示認識装置は以上のように構成されており、車載カメラで撮影した画像全体を領域分割し、その後、２次元平面に投影するなどの変換処理を行う必要があるため、路面標示認識を利用するカーナビゲーションシステムでは、CPU（Central Processing Unit）負荷が大きくなるという課題があった。
また、計算量を抑制する方法として、検知ライン上の明るさの変化位置に基づいて路面標示を認識する方式では、自車両前方に他車両が位置し、路面標示の一部を隠蔽した場合、路面標示を正しく認識することができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、計算負荷量を軽減でき、かつ、他車両の隠蔽の影響を受けることなく安定した路面標示認識が可能な装置を提供することを目的とする。

この発明に係る路面標示認識装置は、
自車両の走行路を含む所定領域を撮影した画像を入力する画像入力手段と、
前記画像入力手段で得られた画像中の、部分領域を監視領域として設定する監視領域設定手段と、
前記監視領域設定手段が設定した監視領域から、画像特徴を抽出する画像特徴抽出手段と、
認識対象となる路面標示モデルが予め格納されている路面標示モデル記憶手段と、
前記特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に格納されている路面標示モデルとをHidden Markov Modelを用いて比較評価して路面標示の認識を行うHMM識別手段を備える。

この発明に係る路面標示認識装置によれば、
監視領域設定手段で自車両の走行路を含む所定領域の画像から、部分領域を監視領域として設定し、画像特徴抽出手段で監視領域内の画像から特徴を抽出し、この画像特徴を、路面標示モデル記録部に予め格納された路面標示モデルとHMM（Hidden Markov Model）で比較評価して路面標示の認識を行うことで、計算負荷を軽減できるとともに、監視領域設定により他車両の隠蔽の影響を受けることなく安定した路面標示認識が可能となる効果を奏する。

この発明の実施の形態１を示す構成図である。この発明の実施の形態１による路面標示認識装置の処理内容を示すフローチャートである。走行車両での撮影画像から認識する対象の路面標示画像の図である。時刻Ｔにカメラで撮影された道路画像を模写した画像図である。図４の模写画像に対し、監視領域Ｒの設定結果例を示す画像図である。時刻Ｔにおける監視領域Ｒを示す画像図である。 HMMの実例を示す説明図である。時刻Ｔ＋１における入力模写画像に監視領域Ｒを設定した結果例を示す画像図である。時刻Ｔ＋１における監視領域Ｒを示す画像図である。一致度が閾値を超えた時に特徴抽出に用いた画像例を示す画像図である。この発明の実施の形態２を示す構成図である。この発明の実施の形態２による路面標示認識装置の処理内容を示すフローチャートである。自車両速度が閾値以上の場合で監視領域を２個設定した例を示す模写画像図である。時刻Tにおける監視領域Ｒ１、Ｒ２を示す画像図である。自車両速度が速い場合の監視領域例を示す模写画像図である。消失点や白線検出結果を利用した監視領域を示す模写画像図である。

実施の形態１．
以下、この発明の実施の形態１について図面を参照して説明する。

図１は、この発明の実施の形態１を示す構成図である。図において、画像入力部１は、自車両に搭載されたカメラで自車両の走行路を含む所定領域を撮影した画像の入力を行う。監視領域設定部２は、画像入力部１で得られた画像において、他車両の影響を受け難い自車両近傍の部分領域を監視領域として設定する。画像特徴抽出部３は、監視領域設定部２で設定された監視領域からエッジ勾配分布やランレングス特徴などの画像特徴の抽出を行う。HMM識別部４は、前記画像特徴抽出部３で時系列に得られた画像特徴と路面標示モデル記録部５に予め格納されている路面標示モデルとをHMM を用いて比較評価し路面標示の認識を行う。

図２は、この発明の実施の形態１による路面標示認識装置の処理内容を示すフローチャートである。

次に本実施の形態の動作について、走行する車両から自車両に搭載されたカメラで図３に示す路面標示を撮影した画像を例に説明する。画像入力部１は、自車両の走行路を含む所定領域が撮影された道路画像の読み込みを行う（ステップＳＴ１１）。ここでは、時刻Ｔに撮影された道路画像を模写した画像の例を図４に示す。

次に、ステップＳＴ１２において、監視領域設定部２は、他車両の隠蔽の影響を受け難い自車両近傍の部分画像を監視領域として設定する。図５は、図４の模写画像に対し、監視領域Ｒを設定した結果例を示す図である。

次に、ステップＳＴ１３に進み、画像特徴抽出部３は、監視領域Ｒから、画像特徴として、式１を用いて監視領域Ｒからエッジの勾配情報を抽出し、次に式２を用いて、監視領域Ｒにおけるエッジの勾配分布を特徴F(j) として抽出する。（ここで、１≦ｊ≦Ｍ１、１≦t≦Ｍ２、Ｍ１はエッジの勾配分割数であり、Ｍ２は時刻の上限値である。）
図６は、時刻Ｔにおける監視領域Ｒの画像を示しており、該領域から特徴F(j)を抽出する。

ここでは、画像特徴抽出部３として、監視領域Rのエッジ勾配分布特徴を抽出する例を示したが、その他の特徴を用いても良い。例えば、「西村広光、小林誠、丸山稔、中野康明、“多方向特徴抽出HMMとBaggingによる多数決を利用した文字認識”、信学論、D-II Vol.J82、No.9、pp1429-1434、1999」に開示されている2値化処理後の白黒画素のランレングスを特徴として用いても良い。

ステップＳＴ１４に進み、路面標示モデル記憶部５に格納された路面標示モデルと画像特徴抽出部３で抽出した特徴とをHMM識別部４で識別する。路面標示モデル記憶部５は、予め認識対象となる路面標示の種類だけモデルを用意し、それぞれのモデルで学習用データにおいて最も高い確率が一致度として出力されるように学習した路面標示モデルが格納されている。

図７はHMMの実例を示す説明図である。図７において、HMMの各弧には、状態間の遷移の確率と、記号の出力確率の値が与えられており、これらの値に基づいて確率的に記号列を出力することができる。識別時には、画像特徴抽出部３で抽出された特徴を用いて、路面標示モデル記憶部５に格納された全ての路面標示モデルから出力される一致度を計算し、最も高い一致度Ｄｍを与えるモデルを式３で求め、この値が所定の閾値以上である場合に、この最大値を与える路面標示を認識結果とする。

ここでは、時刻Ｔでの特徴と路面標示モデルとの識別結果の一致度Ｄｍが閾値を超えなかったこととして、ステップＳＴ１１に戻る。

ステップＳＴ１１で、先に画像読み込みをした時刻より１ポイント経過した時の走行中の車両から自車両に搭載されたカメラで撮影した車両周辺の道路画像の読み込みを画像入力部１において行い、ステップＳＴ１２において、監視領域設定部２が監視領域Ｒを設定する。図８は、時刻Ｔ＋１の入力画像に監視領域Ｒを設定した結果例である。

次に、ステップＳＴ１３に進み、画像特徴抽出部３は、監視領域から、画像特徴の抽出を行う。図９は、時刻Ｔ＋１において特徴抽出の対象となる画像である。

次にステップＳＴ１４に進み、路面標示モデル記憶部５に格納された路面標示モデルと画像特徴抽出部３で抽出した特徴とをHMM識別部４で識別する。ここでは、時刻Ｔ＋１での撮影画像の特徴と路面標示モデルとの識別結果の一致度Ｄｍが閾値を超えなかったこととして、ステップＳＴ１１に戻る。

同様にステップＳＴ１１からステップＳＴ１４を一致度Ｄｍが閾値を超えまで繰り返し処理する。一致度Ｄｍが閾値を超えた時に特徴抽出に用いた画像例を図１０に示す。

以上で明らかなように、この実施の形態１によれば、予め認識対象となる路面標示モデルを格納する路面標示モデル記憶部５と、他車両の影響を受け難い自車両近傍の部分領域を監視領域として設定する監視領域設定部２と、監視領域からエッジ勾配分布やランレングス特徴を時系列に取得する画像特徴抽出部３と、前記画像特徴抽出部３で抽出した時間方向に相関のある特徴をHMMで認識するHMM識別部４を備えることにより、他車両による路面標示の隠蔽の影響を受けることなく安定した路面標示の認識が可能となる。

また、監視領域設定部２において、自車両近傍部のみの部分領域を監視領域として設定することで、画像特徴抽出部３において入力画像全体を処理する必要がなく処理負荷を軽減できる効果を奏する。

なお、この実施の形態１では、HMM識別部４において、画像特徴抽出部３で抽出した特徴量を用いて識別を行う例を示したが、これに限るものではなく、例えば、画像特徴抽出部３で時系列に取得した特徴ベクトルを「米山昇吾、宮原景泰、川又武典、“正準判別分析法による道路標識認識に関する一検討”、ViEW2008、pp.327-330、2008」に示される方法を用いて一致度を評価するようにしてもよい。

実施の形態２．
次に、この発明の実施の形態２による路面標示認識装置について説明する。
図１１は、実施の形態２を示す構成図である。図において、画像入力部１は、自車両の走行路を含む所定領域を撮影した画像の入力を行う。監視領域設定部２は、画像入力部１で得られた画像において、自車両の速度の検出を行う車両速度取得部６から入力する車両速度に応じて任意の位置、大きさ、個数の部分領域を監視領域として逐次変更して設定する。画像特徴抽出部３は、監視領域設定部２で設定された監視領域からエッジ勾配分布やランレングス特徴などの画像特徴の抽出を行う。HMM識別部４は、前記画像特徴抽出部３で時系列に得られた画像特徴と路面標示モデル記録部５に格納されている路面標示モデルとをHMMを用いて比較評価し路面標示の認識を行う。

図１２はこの発明の実施の形態２による路面標示認装置の処理内容を示すフローチャートである。実施の形態１の動作と同様の処理を行うステップＳＴ１１〜ステップＳＴ１４および路面標示モデル記録部５については、同様の番号を付し説明を省略する。

画像入力部１は、車載カメラで撮影された道路画像の読み込みを行い（ステップＳＴ１１）。次にステップＳＴ１０１に進む。

ステップＳＴ１０１では、車両速度取得部６が自車両の車両速度を検出し、監視領域設定部２に出力する。

次に、ステップＳＴ１２に進み、監視領域設定部２が車両速度取得部６からの車両速度に応じて監視領域の大きさ、位置、個数を決定する。ここでは自車両速度が予め設定した閾値以上の場合は、２つの監視領域を設け、それ以下の場合は１つの監視領域を設定するものとする。図１３は、自車両速度が予め設定した閾値以上の場合の監視領域Ｒ１、Ｒ２の２個設定した例を示している。

次に、ステップＳＴ１３に進み、実施の形態１同様に画像特徴抽出部３は、監視領域から、画像特徴の抽出を行う。図１４は、時刻Ｔにおける監視領域Ｒ１、Ｒ２の画像を示しており、該領域から特徴F(j)を抽出する。

ステップＳＴ１４に進み、HMM識別部４は、監視領域設定部２で設定した監視領域に応じて路面標示モデルを路面標示モデル記録部５から選択し、画像特徴抽出部３で抽出した画像特徴と路面標示モデル記録部５から選択された路面標示モデルとを比較評価することで路面標示の認識を行う。

ここでHMM識別部４は、実施の形態１の動作と同様、識別結果の一致度Ｄｍが所定の閾値を超えなかった場合、ステップＳＴ１１に戻り、ある時刻経過後におけるステップＳＴ１１からステップＳＴ１４の処理を識別結果の一致度Ｄｍが所定の閾値を超える場合まで繰り返し、識別結果の一致度Ｄｍが所定の閾値を超えた場合に該結果を路面標示認識結果とする。

以上のように、本実施の形態２によれば、車両速度検出部６において抽出した車両速度に応じて、監視領域設定部２が監視領域の個数を変更することで、計算負荷を軽減することが可能になるとともに、安定した識別が可能となる。

また、本実施の形態２では、監視領域設定部２は、監視領域を車両速度が所定の閾値以上の場合に2つに設定する例について示したが、2つ以上の複数を監視領域として設定するように切り替えるようにしてもよい。

また、本実施の形態２では、車両速度に応じて監視領域の個数を切り替える例について示したが、車両速度が所定の閾値よりも大きい場合は、監視領域の位置を図１５に示すように画像上部に変更するとともに、監視領域を大きくするなど、位置や大きさを切り替えるようにしてもよい。

また、本実施の形態２では、監視領域設定部２は、車両速度に応じて監視領域の個数を切り替える例について示したが、監視領域内のエッジ数の増減に応じて監視領域の大きさや位置、個数を切り替えるようにしてもよい。

また、本実施の形態２では、車両速度に応じて監視領域の個数を切り替える例について示したが、監視領域設定部２は、車両速度や監視領域内のエッジ数の増減、白線や白線の消失点の検出結果の何れかを併用し、監視領域の大きさや位置、個数を切り替えるようにしてもよい。

車載カメラの撮影画像に対する画像処理により路面標示を認識し、この路面標示認識を利用するカーナビゲーションシステムに適用可能である。

１；画像入力部、２；監視領域設定部、３；画像特徴抽出部、４；HMM識別部、５；路面標示モデル記録部、６；車両速度取得部。

Claims

自車両の走行路を含む所定領域を撮影した画像を入力する画像入力手段と、
前記画像入力手段で得られた画像中の、部分領域を監視領域として設定する監視領域設定手段と、
前記監視領域設定手段が設定した監視領域から、画像特徴を抽出する画像特徴抽出手段と、
認識対象となる路面標示モデルが予め格納されている路面標示モデル記憶手段と、
前記特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に格納されている路面標示モデルとをHidden Markov Modelを用いて比較評価して路面標示の認識を行うHMM識別手段を備えることを特徴とする路面標示認識装置。
前記監視領域設定手段は、前記画像入力手段で得られた画像中の、任意の位置、任意の大きさ、任意の個数の部分領域を監視領域として設定することを特徴とする請求項１に記載の路面標示認識装置。
前記監視領域設定手段は、自車両の速度に応じて少なくとも、監視領域の位置、大きさ、個数の何れか１つを変更することを特徴とする請求項１に記載の路面標示認識装置。
前記画像特徴抽出手段は、画像特徴として、エッジ数またはエッジ勾配またはランレングスを抽出することを特徴とする請求項１に記載の路面標示認識装置。
前記監視領域設定手段は、前記画像特徴抽出手段が画像特徴として、エッジ数を抽出する場合、監視領域のエッジ数の増減に応じて監視領域の位置、大きさ、個数を逐次変更することを特徴とする請求項１に記載の路面標示認識装置。
前記監視領域設定手段は、自車両が走行している白線内に監視領域を設定することを特徴とする請求項１に記載の路面標示認識装置。
前記監視領域設定手段は、自車両が走行している白線の消失点を基に自車両が走行している路面上に監視領域を設定することを特徴とする請求項１に記載の路面標示認識装置。
前記HMM識別手段は、前記監視領域設定手段で設定された監視領域の位置、大きさ、個数の少なくとも１つの変更に応じて前記路面標示モデル記憶手段に格納されている路面標示モデルを選択し、前記特徴抽出手段で得られた特徴と路面標示モデルとをHMMを用いて比較評価することで路面標示の認識を行うことを特徴とする請求項１に記載の路面標示認識装置。