JP2010244456A - 境界線認識装置 - Google Patents

Abstract

【課題】複数の処理の処理内容を改良したり新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できる境界線認識装置を提供する。
【解決手段】境界線候補抽出部３０で車載カメラで取得した画像からパターンマッチングやハフ変換など公知の画像処理により道路上の車線の境界線候補を抽出し、抽出した境界線候補の境界線らしさの確信度を１又は２以上の複数の種類の境界線特徴算出部４０において尤度で算出する。そして、算出した尤度を境界線特徴統合部５０で乗算して統合することにより境界線らしさを示す尤度で出力し、出力される尤度のうち最大の尤度を有する境界線候補を、境界線選択部６０において道路上の境界線として選択する。境界線特徴算出部４０では、輝度分散や内部エッジ量などを用いて境界線候補の尤度算出するとともに、路面特徴抽出部７０などで検出した特徴量により、境界線候補の尤度を変更して出力する。
【選択図】図２

Description

本発明は、運転支援のために、車両が走行している道路上の境界線を認識するための境界線認識装置に関する。

従来、車両の運転を支援する装置として、自車が走行している車線を逸脱した場合に警報を発する車線逸脱警報装置がある。この装置は、車載カメラ等の画像撮影部、画像撮影部で取得した撮像画像を処理する画像処理部、画像処理部における処理結果に基づいて警報を発する警報生成部によって構成されている。

画像処理部では、画像撮影部から取得した画像から、道路上の境界線など車線境界を検出・推定する。そして、警報生成部において、車線境界の自車からの左右の距離を計算し、いずれかが閾値以下の場合、つまり、自車が車線境界に、閾値で設定される距離よりも近付いた場合にドライバに警報を与える。

このような車線逸脱警報装置で最も問題となるのは、様々なノイズ要因による誤検出である。例えば、道路上の汚れ、交通標識などの道路上のペイント、水溜まり等による道路面の反射、自車の影、追越し車両の影、後続車両の影等がある。これらノイズを含む車線境界の候補から、ノイズを除去して警報制御対象の車線境界のみを抽出する際の方法として、各候補の「確信度」を算出して最も高いものを選ぶ方法が提案されている。

その方法の例として、車線境界候補点の数、車線境界候補点エッジの強度、車線境界候補周囲の輝度のコントラスト等から計算する方法がある（例えば、特許文献１参照）。

特開２００５−１８１４８号公報

ところが、特許文献１に記載の方法のように、多くの情報から確信度を算出する方法では、車線境界の候補点の数、車線境界候補点エッジの強度、車線境界候補周囲の輝度のコントラスト等のそれぞれに対して、その特性に適合した処理を行う必要があるので、各処理の結果を統合して処理する必要がある。

その際、複雑な統合処理となりがちで、改良や新たな機能の追加がし難くなる。つまり、画像処理のロバスト性を向上させるためには、各処理を改良したり新たな機能を追加したりすることが必要となるが、各機能を統合処理するには、複雑な統合処理が必要となるので、各処理の改良や機能追加により統合が困難であるという問題がある。

本発明は、こうした問題に鑑みなされたもので、複数の処理の処理内容を改良したり新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できる境界線認識装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の境界線認識装置（１：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、車載カメラ（１０）、境界線候補抽出手段（３０）、境界線特徴算出手段（４０）、境界線特徴統合手段（５０）及び境界線選択手段（６０）を備えている。

車載カメラ（１０）は、車両周囲の画像を取得し、境界線候補抽出手段（３０）は、車載カメラ（１０）で取得した画像から画像処理により道路上の車線の境界線候補を抽出し、境界線特徴算出手段（４０）は、境界線候補抽出手段（３０）で抽出した境界線候補の境界線らしさの確信度を尤度で算出する１又は２以上の複数の種類の算出手段である。

また、境界線特徴統合手段（５０）は、１又は２以上の複数の種類の境界線特徴算出手段（４０）で算出した尤度を乗算して統合することにより出力し、境界線選択手段（６０）は、境界線特徴統合手段（５０）が出力する尤度のうち最大の尤度を有する境界線候補を道路上の境界線として選択する。

このような境界線認識装置（１）では、車載カメラ（１０）で取得した画像から、道路上の車線の境界線候補が抽出される。
ここで、「境界線候補」とは、車載カメラ（１０）で取得した画像から公知の画像処理（例えば、パターンマッチング、直線抽出ハフ変換処理における投票数（実線・破線判定結果）など）により道路上の白線など、車線を分けるための境界線らしきものとして抽出されたものである。

「境界線らしきもの」とは、公知の画像処理により抽出された境界線は、例えば、ガードレールの影、道路の補修跡、消し跡線、交通標識などのノイズにより、そのままでは、所定の尤度以上で「境界線」とはいえないものであり、「境界線」として、ある程度の不確実性を有しているため、「境界線らしきもの」と称している。

そして、抽出された境界線候補の境界線らしさの確信度が１又は２以上の複数の種類の境界線特徴算出手段（４０）により尤度として算出される。ここで、１又は２以上の複数の種類の境界線特徴算出手段（４０）とは、例えば、直線抽出ハフ変換処理における投票数（実線・破線判定結果）、コントラスト（エッジ強度）、白線幅、道路面との比較による模様類似度、輝度一致度など、境界線の特徴を算出するための種々の方法のうちのいずれかを示している。

そして、算出した尤度を乗算して統合することにより境界線らしさが尤度で出力され、尤度が最大の境界線候補が道路上の境界線として選択される。
つまり、境界線の特徴を算出する際に、１又は２以上の複数の種類の境界線特徴算出手段（４０）で算出した境界線らしさの確信度がすべて尤度で算出されるため、境界線特徴算出手段（４０）の種類がどのようなものであっても、換言すれば、どのような処理内容によって境界線の特徴を算出する算出手段であっても、境界線らしさの確信度を尤度で算出すれば、各境界線特徴算出手段（４０）の算出結果を乗算によって容易に統合できる。

つまり、境界線特徴算出手段（４０）を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
ところで、境界線らしさの確信度は、道路上の境界線の配置によって変化する。例えば、車両進行方向に対して略直角方向に延びた境界線の場合、車線幅（車線と車線の間の距離）らしい間隔で左右両側に境界線ペアが存在する境界線の対があり、その内側に同様の条件の境界線ペアを持たない１本の線がある場合、その線が消し跡線や細い中心線などのときには、それらの線の境界線らしさの確信度は低い。

そこで、請求項２に記載のように、境界線特徴統合手段（５０）は、境界線候補抽出手段（３０）で抽出した境界線候補の道路面上の配置に基づいて、境界線らしさを示す尤度を変更して出力するようにすると、境界線候補のうち、例えば、パターンマッチングにより明らかに境界線でないものを除去することができるので、境界線として選択される境界線の確信度を上げることができる。

ところで、従来、ガードレールや道路上の傷、補修跡を境界線として誤認識する場合がある。この場合、境界線とガードレールや道路上の傷あるいは補修跡との差異を示す特徴しては、輝度や模様平坦度がある。したがって、それを利用して境界線を認識することができる。

つまり、ガードレールや道路上の傷あるいは補修跡と境界線とを比較すると、輝度が異なる。また、境界線は単色（通常白色）の平坦な線であるのに対し、ガードレールや道路上の傷、補修跡は平坦ではないので、模様平坦度が異なる。

そこで、請求項３に記載のように、境界線特徴算出手段（４０）は、さらに、境界線らしさを示す特徴として、境界線候補抽出手段（３０）で抽出した境界線候補の輝度分散又は境界線の内部エッジ量のうち少なくとも１つを用いるようにするとよい。

このようにすると、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができるので、より正確な境界線らしさの確信度を得ることができる。

また、従来、かすれ線や道路面補修跡を境界線と誤認識する場合がある。これに対しては、境界線の両側エッジ点周辺のエッジ方向の統一性を見ればよい。つまり、前述のように、境界線は単色の平坦な線であるためかすれ線や道路面補修跡に比べ、境界線の両側端部分と道路面の部分の境目は、はっきりしている。いわゆるくっきりした状態となっている。

そこで、請求項４に記載のように、境界線特徴算出手段（４０）は、さらに、境界線らしさを示す特徴として、境界線候補抽出手段（３０）で抽出した境界線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いるようにすればよい。

このようにすると、境界線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって境界線をかすれ線や道路面補修跡の差異を求めることができるので、より正確な境界線らしさの確信度を得ることができる。

また、従来、道路側部のガードレールなどによる影や道路面補修跡を境界線と誤認識する場合がある。つまり、横方向からの直射日光で、ガードレールの隙間から差し込む光が直線状に道路面に映り、境界線のように見える場合がある。また、黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。

このような場合、境界線らしさの情報の一つとして、道路面の領域の情報を参照することで判定するとよい。例えば、影で作られた境界線らしさが高い場合には、道路面領域と境界線候補とでは、輝度や模様が異なるので、輝度や模様が同じであるか否かを見ればよい。

そこで、請求項５に記載のように、車載カメラ（１０）で取得した画像から、境界線候補抽出手段（３０）で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出手段（７０）を備え、境界線特徴算出手段（４０）は、さらに、道路面特徴抽出手段（７０）で抽出した境界線候補自体の模様又は平均輝度の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を下げるようにする。

このようにすると、境界線候補自体の模様や平均輝度と道路上の領域の模様や平均輝度の差が所定の値より大きいときには、境界線候補と道路上の模様とが異なるものである確度か高いので、境界線らしさの確信度を上げ、差が所定の値以下である場合には両者が同じもの、つまり、境界線候補がガードレールの影や道路面補修跡である確度が高いので、境界線らしさの確信度を下げることができる。

また、かすれなどで境界線と道路面との輝度差が非常に低くなる場合がある。このような場合、人間の目では、境界線らしきシミのように見えるが、画像処理では、境界線のエッジや弱いため境界線を認識できない。

このように、人間がかすれた境界線を認識できるのは、道路上に全く模様がない場合はシミが強調されて見えるという人間の感性に端を発しており、画像処理においてもそのように判定すればよい。

これにより、非常に弱いエッジでも、道路面が模様の少ない一様な道路面である場合は、強調する意味で境界線らしさを上げることにより境界線と判定されやすくなり、人間の感性に近い境界線判定となる。

そこで、請求項６に記載のように、車載カメラ（１０）で取得した画像から、境界線候補抽出手段（３０）で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体のエッジ総量を抽出するエッジ特徴抽出手段（８０）を備え、境界線特徴算出手段（４０）は、さらに、エッジ特徴抽出手段（８０）で抽出したエッジ総量の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を下げるようにすると、境界線がかすれている場合であっても、境界線候補としての確信度が下がらないようにすることができる。

また、従来、スリップ防止のためコンクリート道路面に刻まれている縦筋を境界線と誤認識する場合がある。このように縦筋が刻まれたコンクリート道路面では、模様が刻まれた領域はやや暗い色に見えるため、模様が刻まれていない領域が明るく映り、領域端は境界線端のように映る場合があるからである。このような場合、境界線横領域（車両進行方向に対し略直角方向の領域）の縦エッジ量が多い場合は境界線らしくないと判定することで、誤認識を抑制することができる。

そこで、請求項７に記載のように、車載カメラ（１０）で取得した画像から、境界線候補抽出手段（３０）で抽出した境界線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出手段（９０）を備え、境界線特徴算出手段（４０）は、さらに、筋模様検出手段（９０）で、筋状の模様が検出された場合には、境界線候補の境界線らしさの確信度を下げるようにすると、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋が境界線とされる確信度を下げることができる。

また、従来の誤認識の例として、横断歩道、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識を境界線と誤認識する場合がある。そこで、請求項８に記載のように、車載カメラ（１０）で取得した画像から道路上に描かれている交通標識を検出する交通標識検出手段（１００）を備え、境界線特徴算出手段（４０）は、さらに、交通標識検出手段（１００）で交通標識が検出された場合には、境界線候補の境界線らしさの確信度を下げるようにすると、道路上に描かれた交通標識を境界線らしさとする確信度を低くすることができる。

なお、道路上に描かれた交通標識検出は、例えば、交通標識をパターンマッチングなどで検出する画像認識によって実現することができる。
ところで、車線のような道路の境界線は、車両進行方向に対して車両の両側方で一対となっている。したがって、車線の左右両側に境界線が存在する場合、それ以外の一対とならない境界線はノイズとして除去すれば境界線の確信度を上げることができる。

そこで、請求項９に記載のように、境界線候補抽出手段（３０）で抽出した境界線候補のうち、車両進行方向に対して車両の両側方で一対となる境界線候補の有無を検出するペア境界線候補検出手段（１１０）を備え、境界線特徴算出手段（４０）は、さらに、ペア境界線候補検出手段（１１０）によって、車両進行方向に対して車両の両側方で一対となる境界線候補を検出した場合には、検出した一対の境界線候補の内側の領域に存在する境界線候補の境界線らしさの確信度を下げるようにするとよい。

このようにすると、車両両側面の一対の境界線候補の内側の領域に存在する境界線候補である、例えば、境界線の消し跡や中央ラインなどの境界線候補としての確信度を下げることができ、境界線の確信度を上げることができる。

境界線認識装置１の概略の構成を示す機能ブロック図である。 画像処理部２０の概略の機能構成を示す機能ブロック図である。 道路上の境界線である白線がかすれている場合の例を示す図である。 道路上に路側のガードレールなどによる影がある場合の例を示す図である。 道路上の縦筋の例であるスリップ防止用の溝を示す図である。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
［第１実施形態］
図１は、本発明が適用された境界線認識装置１の概略の構成を示すブロック図であり、図２は、画像処理部２０の概略の機能構成を示す機能ブロック図である。境界線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像を画像処理する画像処理装置２０とを備えている。

画像処理装置２０は、図２に示すように、複数のＤＳＰ３０〜１１０、ＤＳＰ３０〜１１０の間のデータ伝送のためのＢＵＳ１２０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。

ＤＳＰ３０は、車載カメラ１０で取得した画像から画像処理により道路上の車線の境界線候補を抽出する境界線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を境界線候補抽出部３０と呼ぶ。

具体的には、車載カメラ１０で取得した画像に対し、公知の画像処理であるパターンマッチング、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより道路上の白線など、車線を分けるための境界線らしきものとして抽出するのである。

ＤＳＰ４０は、境界線候補抽出部３０で抽出した境界線候補の境界線らしさの確信度を尤度で算出するＤＳＰであり、以下、このＤＳＰ４０を境界線特徴算出部４０と呼ぶ。
境界線特徴算出部４０は、以下の処理を実行する。

（１）境界線らしさを示す特徴として、境界線候補抽出部３０で抽出した境界線候補の内部輝度分散又は内部エッジ量のいずれかを用いる。
境界線は、通常白色であり、車両のヘッドライトや街路灯などの照明装置から照射される光を乱反射するようになっているので、道路面に比べて輝度分散の値が大きい。

また、内部エッジ量の大小は、その領域の平坦度を示している。つまり、平坦度が大きければ、その領域にはエッジとなる部分が少ないということであるので、内部エッジ量が小さければ平坦度が大きく、逆に内部エッジ量が多ければ平坦度が小さくなる。境界線は、道路面に比べ平坦度が大きいため内部エッジ量が少ない。

したがって、境界線候補の内部輝度分散又は内部エッジ量を算出し、算出した内部輝度分散又は内部エッジ量に応じて尤度を決定し（内部輝度分散が大きければ尤度を大きくし、内部エッジ量が小さければ尤度を大きくする。）、出力するようにするのである。

（２）境界線らしさを示す特徴として、境界線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いる。
境界線は、通常道路上に一方向に描かれている（道路がカーブしていても、曲率が比較的小さいため、車載カメラ１０で取得した画像の範囲では一方向に描かれているものとみなすことができる。）ので、道路面に比べ、境界線のエッジ方向の分散は大きくなる。また、境界線は線分であるので、エッジ方向のヒストグラムの比率や大きさが道路面に比べて大きい。

したがって、「境界線らしさ」を示す情報として、境界線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを用いることができる。
したがって、境界線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを算出し、算出した境界線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさに応じて尤度を決定し（境界線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさが大きければ尤度を大きくし、小さければ尤度を小さくする。）、出力するようにするのである。

（３）道路面特徴抽出部７０で抽出した境界線候補自体の模様又は平均輝度の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を示す尤度の値を下げる。
具体的には、道路面上には、道路側部のガードレールなどにより影が映り込む場合がある。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、境界線のように見える場合がある。他にも黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。

これら道路上の影や補修跡で囲まれた領域と境界線とを識別するには、領域と境界線候補との模様や平均輝度を比較すればよい。そこで、道路面特徴抽出部７０で抽出した領域と境界線候補との模様の差が大きければ両者は異なるものとして尤度を上げ、平均輝度の差が大きければ両者が異なるものとして尤度を上げるのである。

（４）エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を下げる。
境界線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では境界線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。

そこで、エッジ特徴抽出部８０で抽出した、境界線候補に囲まれる領域と境界線のエッジ総量の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を下げるのである。

（５）筋模様検出部９０で筋状の模様が検出された場合には、境界線候補の境界線らしさの確信度を下げる。
車両のスリップ防止のため道路上に縦筋が刻まれている場合がある。その場合、道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は境界線端と差がない場合がある。そこで、筋模様検出部９０で筋模様が検出された場合には、境界線候補の境界線らしさの確信度を下げるのである。

（６）交通標識検出部１００で交通標識が検出された場合には、境界線候補の境界線らしさの確信度を下げる。
道路上には、境界線の他に、矢印、制限速度、止まれ文字などの交通標識や横断歩道などが描かれている。したがって、交通標識検出部１００により交通標識等が検出されたときは、その境界線候補の境界線らしさの確信度を下げるのである。

（７）ペア境界線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる境界線候補を検出した場合には、検出した一対の境界線候補の内側の領域に存在する境界線候補の境界線らしさの確信度を下げる。

道路上の境界線は、車両が走行している場合には、車両進行方向に対して車両の両側に境界線が存在する。したがって、ペア境界線候補検出部１１０で、境界線候補のうち車両進行方向に対して車両の両側方で一対となる境界線を検出した場合、その境界線候補の境界線候補の確信度を上げるのである。

ＤＳＰ５０は、上記（１）〜（７）に示すように算出して出力される尤度を乗算して統合することにより境界線らしさを示す尤度で出力するＤＳＰであり、以下、このＤＳＰ５０を境界線特徴統合部５０と呼ぶ。

境界線特徴統合部５０における統合処理はベイズ推定のフレームワークに基づき、尤度の乗算による統合から判定する。例えば、境界線特徴算出部４０の（１）〜（７）に示した処理のうちの２つによって算出した境界線らしさの尤度Ａ，Ｂがそれぞれ０．６，０．７の尤度（境界線らしい尤度、確信度）を出力した場合は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。

ここで、０．４，０．３はそれぞれＡ，Ｂによる境界線らしくなさ（１−０．６，１−０．７）である。
また、境界線特徴算出部４０における処理が増えた場合も統合処理の内容は単に尤度統合処理の入力尤度の数が増えるだけで本質的には変わらず、拡張性に富む。これにより、高精度、高ロバスト性を実現しつつ、新たな情報の追加や削除が容易な構造が実現できる。

また、境界線特徴統合部５０は、境界線候補抽出部３０で抽出した境界線候補の道路面上の配置に基づいて、境界線らしさを示す尤度を変更して出力する。例えば、境界線候補が画像中で車両進行方向に対して略直交している場合、車両側面から所定以上の距離離れている場合などには、境界線らしさの尤度を下げて出力するのである。

ＤＳＰ６０は、境界線特徴統合部５０が出力する尤度のうち最大の尤度を有する境界線候補を道路上の境界線として選択するＤＳＰであり、以下、このＤＳＰ６０を境界線選択部６０と呼ぶ。

境界線特徴統合部５０では、境界線候補に対して「境界線らしさ」が尤度として出力されるので、境界線選択部６０では、その尤度が最大となっている境界線を道路上の境界線として選択するのである。

ＤＳＰ７０は、車載カメラ１０で取得した画像から、境界線候補抽出部３０で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体の模様又は平均輝度を含む特徴を抽出するＤＳＰであり、以下、このＤＳＰ７０を道路面特徴抽出部７０と呼ぶ。

例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、境界線のように見える場合やコールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と境界線との模様を抽出する。

ＤＳＰ８０は、車載カメラ１０で取得した画像から、境界線候補抽出部３０で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体のエッジ総量を抽出するＤＳＰであり、以下、このＤＳＰ８０をエッジ特徴抽出部８０と呼ぶ。

エッジ総量は、車載カメラ１０を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
ＤＳＰ９０は、車載カメラ１０で取得した画像から、境界線候補抽出部３０で抽出した境界線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出するＤＳＰであり、以下、このＤＳＰ９０を筋模様検出部９０と呼ぶ。

車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は境界線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、境界線候補の車両進行方向の近傍の領域の道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出するのである。

ＤＳＰ１００は、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出するＤＳＰであり、以下、このＤＳＰ１００を交通標識検出部１００と呼ぶ。
交通標識検出部１００では、道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識以外にも横断歩道などがある。

ＤＳＰ１１０は、境界線候補抽出部３０で抽出した境界線候補のうち、車両進行方向に対して車両の両側方で一対となる境界線候補の有無を検出するＤＳＰであり、以下、このＤＳＰ１１０をペア境界線候補検出部１１０と呼ぶ。

道路上の境界線は、車両が走行している場合には、車両進行方向に対して車両の両側に境界線が存在する。したがって、ペア境界線候補検出部１１０では、境界線候補抽出部３０で抽出した境界線候補のうち車両進行方向に対して車両の両側方で一対となる境界線を画像中の車両位置に対する相対位置から検出するのである。

（境界線認識装置１の特徴）
以上に説明した境界線認識装置１では、境界線の特徴を算出する際に、１又は２以上の複数の種類の境界線特徴を算出するためのＤＳＰである境界線特徴算出部４０で算出した境界線らしさの確信度がすべて尤度で算出されるため、境界線特徴算出部４０の種類がどのようなものであっても、換言すれば、どのような処理内容によって境界線の特徴を算出する算出手段であっても、境界線らしさの確信度を尤度で算出すれば、各境界線特徴算出部４０の算出結果を乗算によって容易に統合できる。

したがって、境界線特徴算出部４０を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
また、境界線特徴統合部５０は、境界線候補抽出部３０で抽出した境界線候補の道路面上の配置に基づいて、境界線らしさを示す尤度を変更して出力しているので、境界線候補のうち、明らかに境界線でないものを除去することができる。

境界線特徴算出部４０は、境界線らしさを示す特徴として、境界線候補抽出部３０で抽出した境界線候補の輝度分散又は境界線の内部エッジ量のうち少なくとも１つを用いているので、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができる。

つまり、輝度や模様平坦度が異なるガードレールや道路上の傷、補修跡と境界線との差異を求めることができるので、より正確な境界線らしさの確信度を得ることができる。
また、境界線特徴算出部４０は、境界線らしさを示す特徴として、境界線候補抽出部３０で抽出した境界線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いている。

したがって、図３（ａ）に示すように、道路上の境界線である白線がかすれて消えかかっているような場合や、図３（ｂ）に示すように、白線がかすれて細くなっているような場合でも、境界線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって境界線をかすれ線や道路面補修跡の差異を求めることができる。したがって、より正確な境界線らしさの確信度を得ることができる。

また、車載カメラ１０で取得した画像から、境界線候補抽出部３０で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出部７０を備え、境界線特徴算出部４０は、道路面特徴抽出部７０で抽出した境界線候補自体の模様又は平均輝度の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を下げている。

したがって、図４（ａ）及び図４（ｂ）に示すような路側のガードレールなどによる影や道路面補修跡のように、輝度や模様が境界線と異なるものがある場合には、その確信度を下げることができるので、正確に境界線を抽出の制度を上げることができる。

また、車載カメラ１０で取得した画像から、境界線候補抽出部３０で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体のエッジ総量を抽出するエッジ特徴抽出部８０を備え、境界線特徴算出部４０、エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、境界線候補の境界線らしさの確信度を下げるようにしている。

したがって、境界線がかすれている場合であっても、境界線候補としての確信度が下がらないようにすることができる。
また、車載カメラ１０で取得した画像から、境界線候補抽出部３０で抽出した境界線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出部９０を備えている。

また、境界線特徴算出部４０は、筋模様検出部９０によって筋状の模様（例えば、図５に示すようなスリップ防止用の溝）が検出された場合には、境界線候補の境界線らしさの確信度を下げている。したがって、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋が境界線とされる確信度を下げることができる。

また、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出する交通標識検出部１００を備え、境界線特徴算出部４０は、交通標識検出部１００で交通標識が検出された場合には、境界線候補の境界線らしさの確信度を下げている。したがって、道路上に描かれた交通標識を境界線らしさとする確信度を低くすることができる。

また、境界線候補抽出部３０で抽出した境界線候補のうち、車両進行方向に対して車両の両側方で一対となる境界線候補の有無を検出するペア境界線候補検出部１１０を備え、境界線特徴算出部４０は、ペア境界線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる境界線候補を検出した場合には、検出した一対の境界線候補の内側の領域に存在する境界線候補の境界線らしさの確信度を下げている。

したがって、車両両側面の一対の境界線候補の内側の領域に存在する境界線候補である、例えば、境界線の消し跡や中央ラインなどの境界線候補としての確信度を下げることができる。
［その他の実施形態］
（１）上記実施形態では、種々の処理を複数のＤＳＰに割り当てて実行していたが、ＤＳＰに割り当てることなく１つのＣＰＵにおいてプログラムとして実行してもよい。

（２）また、上記実施形態では、境界線特徴算出部４０を１つのＤＳＰで構成していたが、図２に示すような境界線特徴算出部４０の内部処理を複数のＤＳＰに割り当てて構成してもよい。このようにすれば、より高速処理が可能となる。

１…境界線認識装置、１０…車載カメラ、２０…画像処理装置、３０…境界線候補抽出部、４０…境界線特徴算出部、５０…境界線特徴統合部、６０…境界線選択部、７０…道路面特徴抽出部、８０…エッジ特徴抽出部、９０…筋模様検出部、１００…交通標識検出部、１１０…ペア境界線候補検出部。

Claims (9)

1. 車両周囲の画像を取得する車載カメラと、
   前記車載カメラで取得した画像から画像処理により道路上の車線の境界線候補を抽出する境界線候補抽出手段と、
   前記境界線候補抽出手段で抽出した境界線候補の境界線らしさの確信度を尤度で算出する１又は２以上の複数の種類の境界線特徴算出手段と、
   前記１又は２以上の複数の種類の境界線特徴算出手段で算出した尤度を乗算して統合することにより境界線らしさを示す尤度で出力する境界線特徴統合手段と、
   前記境界線特徴統合手段が出力する尤度のうち最大の尤度を有する境界線候補を道路上の境界線として選択する境界線選択手段と、
   を備えたことを特徴とする境界線認識装置。
2. 請求項１に記載の境界線認識装置において、
   前記境界線特徴統合手段は、
   前記境界線候補抽出手段で抽出した前記境界線候補の道路面上の配置に基づいて、前記境界線らしさを示す尤度を変更して出力することを特徴とする境界線認識装置。
3. 請求項１又は請求項２に記載の境界線認識装置において、
   前記境界線特徴算出手段は、
   さらに、境界線らしさを示す特徴として、
   前記境界線候補抽出手段で抽出した境界線候補の輝度分散又は境界線の内部エッジ量のうち少なくとも１つを用いることを特徴とする境界線認識装置。
4. 請求項１〜請求項３の何れかに記載の境界線認識装置において、
   前記境界線特徴算出手段は、
   さらに、境界線らしさを示す特徴として、
   前記境界線候補抽出手段で抽出した境界線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いることを特徴とする境界線認識装置。
5. 請求項１〜請求項４の何れかに記載の境界線認識装置において、
   前記車載カメラで取得した画像から、前記境界線候補抽出手段で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出手段を備え、
   前記境界線特徴算出手段は、
   さらに、前記道路面特徴抽出手段で抽出した前記境界線候補自体の模様又は平均輝度の差が所定の値以下の場合には、前記境界線候補の境界線らしさの確信度を下げることを特徴とする境界線認識装置。
6. 請求項１〜請求項５の何れかに記載の境界線認識装置において、
   前記車載カメラで取得した画像から、前記境界線候補抽出手段で抽出した境界線候補に挟まれる道路上の領域及び境界線候補自体のエッジ総量を抽出する前記エッジ特徴抽出手段を備え、
   前記境界線特徴算出手段は、
   さらに、前記エッジ特徴抽出手段で抽出したエッジ総量の差が所定の値以下の場合には、前記境界線候補の境界線らしさの確信度を下げることを特徴とする境界線認識装置。
7. 請求項１〜請求項６の何れかに記載の境界線認識装置において、
   前記車載カメラで取得した画像から、前記境界線候補抽出手段で抽出した境界線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出手段を備え、
   前記境界線特徴算出手段は、
   さらに、前記筋模様検出手段で、筋状の模様が検出された場合には、前記境界線候補の境界線らしさの確信度を下げることを特徴とする境界線認識装置。
8. 請求項１〜請求項７の何れかに記載の境界線認識装置において、
   前記車載カメラで取得した画像から道路上に描かれている交通標識を検出する交通標識検出手段を備え、
   前記境界線特徴算出手段は、
   さらに、前記交通標識検出手段で交通標識が検出された場合には、前記境界線候補の境界線らしさの確信度を下げることを特徴とする境界線認識装置。
9. 請求項１〜請求項８の何れかに記載の境界線認識装置において、
   前記境界線候補抽出手段で抽出した境界線候補のうち、車両進行方向に対して車両の両側方で一対となる境界線候補の有無を検出するペア境界線候補検出手段を備え、
   前記境界線特徴算出手段は、
   さらに、前記ペア境界線候補検出手段によって、車両進行方向に対して車両の両側方で一対となる境界線候補を検出した場合には、該検出した一対の境界線候補の内側の領域に存在する前記境界線候補の境界線らしさの確信度を下げることを特徴とする境界線認識装置。