JP2020077293A - 区画線検出装置及び区画線検出方法 - Google Patents

Abstract

【課題】道路上に表示された車線区画線の検出精度を向上できる区画線検出装置を提供する。【解決手段】区画線検出装置においてプロセッサ２３は、車両に搭載された撮像部により得られた画像から区画線候補画素を検出し、検出された区画線候補画素のうち、車線区画線が写っている確からしさを表す値が所定の閾値以上である区画線候補画素に対して第１の信頼度を設定し、その値が所定の閾値未満である区画線候補画素に対して第１の信頼度よりも低い第２の信頼度を設定する区画線候補画素検出部３１と、画像の消失点を一端とする第１の走査線上に第１の所定数以上の区画線候補画素が位置する場合、第１の走査線上の第２の信頼度が設定された区画線候補画素の信頼度を第１の信頼度に修正する信頼度修正部３３と、第１の信頼度が設定された区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する区画線検出部３４とを有する。【選択図】図３

Description

本発明は、道路上に表示された車線の区画線を検出する区画線検出装置及び区画線検出方法に関する。

車両の運転支援あるいは自動運転制御において、車両が走行中の車線を特定できるように、道路上に表示された車線区画線を、車両に搭載されたカメラが撮影することで得られた画像から検出する技術が提案されている（例えば、特許文献１及び２を参照）。

例えば、特許文献１に記載された白線認識装置は、車両前方の路面画像を路面画像の縦方向の各位置で横方向に走査して、明度が上昇するアップエッジと明度が下降するダウンエッジとよりなるペアエッジを検出して白線による明部を抽出する。そしてこの白線認識装置は、得られたペアエッジが複数配列するものであるときには、白線位置候補点を、その配列に基づいてこの複数のペアエッジに対して相対位置をとる点とすることで、白線が複数配列する道路部分でも、その道路部分が白線が単一の道路部分であったとしたら得られたであろう白線位置候補点が得られるようにする。

また、特許文献２に記載された道路白線認識装置は、負エッジ点列からなる白線候補線を検出し、これと水平線との交点を求めることにより白線候補線の仮想消失点の位置座標を検出する。この道路白線認識装置は、仮想消失点を始点とする走査線を、白線候補線の車線内側及び車線外側の所定範囲で走査させ、各走査線位置における、走査線と対向する画素の輝度合計値を算出し、走査線位置の変化に伴う輝度合計値の変化状況を検出する。そしてこの道路白線認識装置は、車線内側から車線外側方向へ走査線位置が変化した場合に、輝度合計値が路面しきい値よりも低い状態、白線しきい値よりも高い状態、路面しきい値よりも低い状態の順で変化するとき、この白線候補線は、道路白線に相当する道路白線候補であると判断する。

特開２００３−３０８５３４号公報 特開２００４−２４６６４１号公報

しかしながら、車線区画線が表された画像上の位置によっては、車線区画線が小さく写るため、車線区画線を横切る方向の輝度変化あるいはエッジを検出することが困難となる。特に、車両周囲の広い範囲が撮影されるように、車両に広角カメラが搭載される場合には、画像の周辺に位置する道路区画線は非常に小さく写ることとなる。その結果として、車線区画線の検出に失敗するおそれがある。

そこで、本発明は、道路上に表示された車線区画線の検出精度を向上できる区画線検出装置を提供することを目的とする。

一つの実施形態によれば、区画線検出装置が提供される。この区画線検出装置は、車両に搭載された撮像部により得られた画像から、車線区画線が写っている可能性がある区画線候補画素を検出し、検出された区画線候補画素のうち、車線区画線が写っている確からしさを表す値が所定の閾値以上である区画線候補画素に対して第１の信頼度を設定し、その値が所定の閾値未満である区画線候補画素に対して第１の信頼度よりも低い第２の信頼度を設定する区画線候補画素検出部と、画像の消失点を一端とする第１の走査線上に第１の所定数以上の区画線候補画素が位置する場合、その第１の走査線上の第２の信頼度が設定された区画線候補画素の信頼度を第１の信頼度に修正する信頼度修正部と、第１の信頼度が設定された区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する区画線検出部とを有する。

この区画線検出装置において、区画線候補画素検出部は、画像上の車線区画線と交差すると想定される方向に沿って設定される複数の第２の走査線のそれぞれについて、その第２の走査線に沿って連続する区画線候補画素の数を、その連続する区画線候補画素の集合についての車線区画線が写っている確からしさを表す値として算出することが好ましい。

また、この区画線検出装置は、区画線候補画素検出部により検出された第１の信頼度が設定された区画線候補画素が第３の所定数以上位置する直線を複数検出し、検出された複数の直線の交点を消失点とする消失点特定部をさらに有することが好ましい。

この場合において、消失点特定部は、区画線候補画素検出部により検出された第１の信頼度が設定された区画線候補画素が第３の所定数以上位置する複数の線分を検出し、検出された複数の線分の交点と、その画像よりも前に撮像部により得られた他の画像について検出された消失点の平均をその画像についての消失点とすることが好ましい。

本発明の他の形態によれば、区画線検出方法が提供される。この区画線検出方法は、車両に搭載された撮像部により得られた画像から、車線区画線が写っている可能性がある区画線候補画素を検出し、検出された区画線候補画素のうち、車線区画線が写っている確からしさを表す値が所定の閾値以上である区画線候補画素に対して第１の信頼度を設定し、その値が所定の閾値未満である区画線候補画素に対して第１の信頼度よりも低い第２の信頼度を設定し、画像の消失点を一端とする第１の走査線上に第１の所定数以上の区画線候補画素が位置する場合、第１の走査線上の第２の信頼度が設定された区画線候補画素の信頼度を第１の信頼度に修正し、第１の信頼度が設定された区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する、ことを含む。

本発明に係る区画線検出装置は、道路上に表示された車線区画線の検出精度を向上できるという効果を奏する。

区画線検出装置が実装される車両制御システムの概略構成図である。 区画線検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 区画線検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 （ａ）〜（ｃ）は、区画線検出処理の概要の説明図である。 区画線検出処理を含む、車両制御処理の動作フローチャートである。

以下、図を参照しつつ、区画線検出装置について説明する。この区画線検出装置は、車両に搭載されたカメラにより得られた、車両の周囲が表された画像から道路上に表示された車線区画線を検出する。その際、この区画線検出装置は、画像を識別器に入力することで、車線区画線が写っている可能性がある画素（以下、区画線候補画素と呼ぶ）を検出し、画像上で車線区画線と交差すると想定される所定方向（例えば、水平方向）の走査線に沿って走査したときに区画線候補画素が所定数以上連続する区間に対して、車線区画線である確からしさを表す信頼度を相対的に高い第１の信頼度に設定し、一方、区画線候補画素が連続する数が所定数未満となる区間に対して、信頼度を相対的に低い第２の信頼度に設定する。この区画線検出装置は、第１の信頼度が設定された区画線候補画素が第３の所定数以上位置する直線を複数検出し、それら直線の交点を画像上の消失点とする。そしてこの区画線検出装置は、消失点を一端とし、消失点から放射状に設定される複数の走査線のそれぞれについて、その走査線上に第１の所定数以上の区画線候補画素が位置する場合、その走査線上に位置する第２の信頼度が設定された区画線候補画素について、その信頼度を第１の信頼度に修正する。そしてこの区画線検出装置は、第１の信頼度が設定された区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する。

以下では、区画線検出装置を、車両制御システムに適用した例について説明する。この例では、区画線検出装置は、車両に搭載されたカメラにより得られた画像に対して区画線検出処理を実行することで、車両区画線を検出し、検出された車線区画線を車両の運転制御に利用する。

図１は、区画線検出装置が実装される車両制御システムの概略構成図である。また図２は、区画線検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、測位情報受信機３と、区画線検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２と、測位情報受信機３と、ＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク５を介して通信可能に接続される。

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒〜1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワーク５を介してＥＣＵ４へ出力する。

測位情報受信機３は、測位部の一例であり、車両１０の現在位置を表す測位情報を取得する。例えば、測位情報受信機３は、ＧＰＳ受信機とすることができる。そして測位情報受信機３は、測位情報を取得する度に、取得した測位情報を、車内ネットワーク５を介してＥＣＵ４へ出力する。

ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた画像から検出された車線区画線に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワーク５に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク５を介して、カメラ２及び測位情報受信機３と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また通信インターフェース２１は、測位情報受信機３から測位情報を受信する度に、受信した測位情報をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される区画線検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、及び、区画線検出処理で利用される識別器を特定するための各種パラメータなどを記憶する。さらに、メモリ２２は、地図情報を記憶してもよい。この地図情報は、道路上に設定された車線の数を表す情報を含む。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して区画線検出処理を実行する。さらに、プロセッサ２３は、受信した画像から検出された車線区画線に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、区画線検出処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、区画線候補画素検出部３１と、消失点特定部３２と、信頼度修正部３３と、区画線検出部３４と、運転計画部３５と、車両制御部３６とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、区画線候補画素検出部３１、消失点特定部３２、信頼度修正部３３及び区画線検出部３４が、区画線検出処理を実行する。また、プロセッサ２３は、カメラ２から画像が得られる度に、その画像に対して区画線検出処理を実行する。そのため、以下では、区画線候補画素検出部３１、消失点特定部３２、信頼度修正部３３及び区画線検出部３４について、一つの画像に対する処理を説明する。

区画線候補画素検出部３１は、カメラ２により生成された画像から、区画線候補画素を検出する。そして区画線候補画素検出部３１は、検出した区画線候補画素ごとに区画線が表されている確からしさを表す信頼度を設定する。

例えば、区画線候補画素検出部３１は、画像を識別器に入力することで、画像に表された区画線候補画素を検出する。区画線候補画素検出部３１は、識別器として、例えば、入力された画像から、その画像の各画素について、その画素に表される可能性の有る物体の種類ごとに、その物体がその画素に表されている確からしさを表す確信度を出力し、その確信度が最大となる物体が表されていると識別するように予め学習されたセグメンテーション用の識別器を用いることができる。なお、区画線候補画素についての確信度は、車線区画線が写っている確からしさを表す値の一例である。区画線候補画素検出部３１は、そのような識別器として、例えば、Fully Convolutional Network（ＦＣＮ）といった、セグメンテーション用のコンボリューショナルニューラルネットワーク（ＣＮＮ）アーキテクチャを有するディープニューラルネットワーク（ＤＮＮ）を用いることができる。あるいは、区画線候補画素検出部３１は、ランダムフォレストあるいは条件付確率場といったマルコフ確率場を利用した他の機械学習手法に従ったセグメンテーション用の識別器を利用してもよい。

区画線候補画素が検出されると、区画線候補画素検出部３１は、画像に対して、車線区画線と交差すると推定される方向に沿った走査線（第２の走査線）を複数設定する。例えば、区画線候補画素検出部３１は、画像上の水平方向に沿って走査線を複数設定する。その際、区画線候補画素検出部３１は、画像の垂直方向における画素位置ごとに走査線を設定してもよく、あるいは、隣接する走査線間に所定画素数（例えば、1〜5画素）の間隔を設けてもよい。また、区画線候補画素検出部３１は、画像の中心、すなわち、カメラ２の光軸に相当する画像上の位置を中心とした同心円状に複数の走査線を設定してもよい。あるいはまた、区画線候補画素検出部３１は、画像の上端の中点を中心とする同心円状に複数の走査線を設定してもよい。これらの場合も、区画線候補画素検出部３１は、隣接する走査線間に所定画素数の間隔を設けてもよい。

区画線候補画素検出部３１は、各走査線に沿って、区画線候補画素が連続する区間を検出する。なお、区画線候補画素検出部３１は、走査線上に区画線候補画素が一つだけ存在する場合も、その区画線候補画素を一つの区間として検出してもよい。区画線候補画素検出部３１は、区画線候補画素が連続する区間の走査線に沿った長さ（以下、単に区間の長さと呼ぶ）を、その区間についての車線区画線が写っている確からしさを表す値の他の一例として求める。そして区画線候補画素検出部３１は、区間の長さが所定数（例えば、3〜10画素）以上となる区間に含まれる何れかの区画線候補画素、例えば、その区間の中点に位置する区画線候補画素の信頼度を、相対的に高い信頼度である第１の信頼度に設定する。一方、区画線候補画素検出部３１は、区間の長さが所定数未満となる区間に含まれる何れかの区画線候補画素、例えば、その区間の中点に位置する区画線候補画素の信頼度を、相対的に低い信頼度である第２の信頼度に設定する。

変形例によれば、区画線候補画素検出部３１は、走査線に沿った、区画線候補画素が連続する区間の両端におけるエッジ強度の絶対値の平均値を、その区間についての車線区画線が写っている確からしさを表す値の他の一例として算出してもよい。そして区画線候補画素検出部３１は、エッジ強度の絶対値の平均値が所定のエッジ強度閾値以上である場合に、その区間に含まれる区画線候補画素の信頼度を第１の信頼度に設定し、一方、エッジ強度の絶対値の平均値が所定のエッジ強度閾値未満である場合に、その区間に含まれる区画線候補画素の信頼度を第２の信頼度に設定してもよい。この場合、区画線候補画素検出部３１は、エッジ強度を、sobelフィルタあるいはprewittフィルタといったエッジ検出フィルタを適用することで算出すればよい。

他の変形例によれば、区画線候補画素検出部３１は、画像の各画素が区画線候補画素か否かを識別する識別器により出力される、区画線候補画素の確信度が所定の確信度閾値以上である場合に、その区画線候補画素の信頼度を第１の信頼度に設定し、一方、その区画線候補画素の確信度が所定の確信度閾値未満である場合に、その区画線候補画素の信頼度を第２の信頼度に設定してもよい。

さらに、区画線候補画素検出部３１は、画像から、区画線候補画素以外の、車両１０の走行に影響を与え得る他の物体（例えば、車両あるいは人など）も、区画線候補画素の検出と同様に、画像を識別器に入力することで検出してもよい。その際、区画線候補画素検出部３１は、区画線候補画素の検出に用いる識別器とは別個に、入力された画像から、その画像に表された物体を検出するように予め学習された識別器を用いてもよい。区画線候補画素検出部３１は、そのような識別器として、例えば、Single Shot MultiBox Detector（ＳＳＤ）、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク型のアーキテクチャを持つＤＮＮを用いることができる。

区画線候補画素検出部３１は、検出された各区画線候補画素の位置及び信頼度を、消失点特定部３２、信頼度修正部３３及び区画線検出部３４へ出力する。また区画線候補画素検出部３１は、画像から車両１０の周囲の物体を検出した場合、検出した物体の種類及びその物体が表された領域を表す情報を、運転計画部３５へ出力する。

消失点特定部３２は、第１の信頼度が設定された区画線候補画素に基づいて画像上の消失点を特定する。一般に、車両は何れかの車線に沿って走行するので、車両の左側と右側のそれぞれに車線区画線が存在する可能性が高い。そこで、消失点特定部３２は、画像の左半分と右半分のそれぞれについて、第１の信頼度が設定された区画線候補画素が第３の所定数（例えば、10〜20）以上位置する直線を検出する。例えば、消失点特定部３２は、画像の左半分と右半分のそれぞれについて、第１の信頼度が設定された区画線候補画素の集合に対してハフ変換を実行することで、そのような直線を検出すればよい。その際、消失点特定部３２は、着目する直線について、その直線からの距離が所定距離（例えば、1〜3画素）以下となる区画線候補画素を、その直線上に位置する区画線候補画素とすればよい。

画像の右半分から検出された直線は、車両１０の右側に存在する車線区画線を表している可能性が高い。同様に、画像の左半分から検出された直線は、車両１０の左側に存在する車線区画線を表している可能性が高い。したがって、それら検出された各直線は、実空間において互いに平行な直線である可能性が高い。そこで消失点特定部３２は、画像の右半分から検出された直線と画像の左半分から検出された直線との交点を画像上の消失点として特定する。

なお、３本以上の直線が検出されている場合、消失点特定部３２は、画像の中心からの距離が近い方から順に２本の直線を選択し、選択した２本の直線の交点を画像上の消失点としてもよい。これは、画像の中心からの距離が近い直線ほど、車両１０が走行中の車線の区画を表す車線区画線である可能性が高いためである。
あるいは、消失点特定部３２は、第１の信頼度が設定された区画線候補画素が位置する数が多い方から順に２本の直線を選択し、選択した２本の直線の交点を画像上の消失点としてもよい。

また、一般的に、画像上での消失点の位置は、時系列に連続して取得される画像間であまり変化しない。そこで、消失点特定部３２は、カメラ２による撮影周期よりも長い一定周期ごとに、上記の何れかの手法にしたがって画像上の消失点を特定してもよい。この場合、消失点が求められなかった画像については、消失点特定部３２は、直前に特定された他の画像上の消失点の位置を、その画像上の消失点の位置としてもよい。あるいは、消失点特定部３２は、直近の所定期間に得られた複数の画像のそれぞれについて、上記の手法にしたがって消失点を特定し、各画像について特定された消失点の位置の平均値を、最新の画像における消失点の位置としてもよい。

消失点特定部３２は、画像上の消失点の位置を信頼度修正部３３へ通知する。

信頼度修正部３３は、画像上の消失点から放射状に、消失点を一端とする走査線（第１の走査線）を複数設定し、走査線ごとに、その走査線上に位置する区画線候補画素の数をカウントする。その際、信頼度修正部３３は、走査線から所定距離（例えば、1〜3画素）以下となる区画線候補画素を、その走査線上に位置する区画線候補画素とすればよい。そして信頼度修正部３３は、区画線候補画素の数が第１の所定数（例えば、5〜20）以上である走査線について、その走査線上に位置する、第２の信頼度が設定された区画線候補画素の信頼度を、第２の信頼度から第１の信頼度に修正する。

車線区画線は、画像上において、消失点を一端とするように表される可能性が高い。そこで上記のように、消失点を一端とする走査線上に区画線候補画素が多数存在する場合、の走査線は車線区画線である可能性が高い。そこで上記のように、信頼度修正部３３は、区画線候補画素の数が所定数以上位置する走査線について、その走査線上に位置する区画線候補画素の信頼度を第１の信頼度に修正することで、区画線候補画素の信頼度を適切に評価できる。

信頼度修正部３３は、信頼度を修正した区画線候補画素の位置を区画線検出部３４へ通知する。

区画線検出部３４は、第１の信頼度が設定された区画線候補画素の集合に基づいて、画像上に表された車線区画線を検出する。例えば、区画線検出部３４は、第１の信頼度が設定された区画線候補画素の集合に対してハフ変換を実行することで、第１の信頼度が設定された区画線候補画素が第２の所定数（例えば、5〜20）以上位置する直線を検出し、検出された直線を車線区画線とする。なお、区画線検出部３４は、着目する直線から所定距離（例えば、1〜3画素）以下となる区画線候補画素を、その着目する直線上に位置する区画線候補画素とすればよい。その際、区画線検出部３４は、第１の信頼度が設定された区画線候補画素が所定数以上位置する直線のうち、一端が画像上の消失点から所定距離（例えば、5〜10画素）以内に位置する直線のみを車線区画線として検出してもよい。あるいは、区画線検出部３４は、消失点から放射状に設定された複数の走査線のうち、第１の信頼度が設定された区画線候補画素が所定数以上位置する走査線を車線区画線として検出してもよい。

図４（ａ）〜図４（ｃ）は、区画線検出処理の概要の説明図である。図４（ａ）に示される画像４００において、ハッチングで示される個々のブロック４０１は、区画線候補画素の集合を表す。そして画像４００において、水平方向に複数の走査線４０２が設定されており、各走査線とブロックとが交差する区間について、その区間の長さに応じて信頼度が設定される。すなわち、各ブロック４０１のうち、走査線４０２に沿った区間の長さが所定長以上となるブロックについて、その区間の中点となる画素４０３に第１の信頼度が設定される。一方、走査線４０２に沿った区間の長さが所定長未満となるブロックについて、その区間の中点となる画素４０４に第２の信頼度が設定される。

図４（ｂ）に示されるように、一旦信頼度が設定された後、画像４００上に消失点４１０を一端とする複数の走査線４１１が設定される。そして走査線４１１のうち、走査線上の区画線候補画素の数が第１の所定数以上となる走査線について、その走査線上に位置する画素４０４の信頼度が、第２の信頼度から第１の信頼度に修正される。

そして図４（ｃ）に示されるように、画像４００において、第１の信頼度が設定された区画線候補画素が第２の所定数以上位置する直線４２１〜４２３のそれぞれが、車線区画線として検出される。

区画線検出部３４は、検出した車線区画線を表す情報を運転計画部３５へ通知する。

運転計画部３５は、画像から検出された、車両１０の周囲に存在する他の物体と車両１０とが衝突しないように車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３５は、車両１０を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を車両１０が走行していると判定する。また、運転計画部３５は、画像から検出された他の物体の水平方向の中心位置を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を他の物体が走行していると判定する。そして運転計画部３５は、車両１０が走行中の車線と他の物体が走行中の車線とが同一か否かを判定すればよい。

また、運転計画部３５は、カメラ２から画像を受信する度に、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、受信した画像を鳥瞰画像に変換する。そして運転計画部３５は、一連の鳥瞰画像に対してKalman Filterなどを用いたトラッキング処理を実行することで、各画像について検出された物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。

運転計画部３５は、検出された他の物体が走行中の車線及び予測軌跡に基づいて、他の物体と車両１０とが異なる車線を走行するか、あるいは、車両１０から他の物体までの相対距離が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３５は、例えば、測位情報受信機３から得た、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３５は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３５は、複数の走行予定経路を生成してもよい。この場合、運転計画部３５は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３５は、生成した走行予定経路を車両制御部３６へ通知する。

車両制御部３６は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３６は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３６は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３６は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３６は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図５は、プロセッサ２３により実行される、区画線検出処理を含む、車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１〜Ｓ１０５の処理が区画線検出処理に対応する。

プロセッサ２３の区画線候補画素検出部３１は、カメラ２から得られた画像から区画線候補画素を検出する（ステップＳ１０１）。さらに、区画線候補画素検出部３１は、車線区画線と交差すると推定される方向に沿って設定された複数の走査線のそれぞれについて、その走査線上で区画線候補画素が所定数以上連続する区間の何れかの画素に第１の信頼度を設定し、所定数未満の区画線候補画素が連続する区間の何れかの画素に第２の信頼度を設定する（ステップＳ１０２）。

プロセッサ２３の消失点特定部３２は、第１の信頼度が設定された区画線候補画素が第３の所定数以上位置する直線を２本以上検出し、検出した直線の交点を画像上の消失点として特定する（ステップＳ１０３）。

プロセッサ２３の信頼度修正部３３は、消失点を一端とする走査線を消失点から放射状に複数設定する。そして信頼度修正部３３は、各走査線のうち、その走査線上に位置する区画線候補画素の数が第１の所定数以上となる走査線上に位置する、第２の信頼度が設定された区画線候補画素の信頼度を、第２の信頼度から第１の信頼度に修正する（ステップＳ１０４）。

プロセッサ２３の区画線検出部３４は、第１の信頼度が設定された区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する（ステップＳ１０５）。

プロセッサ２３の運転計画部３５は、画像から検出された車線区画線に応じて車両１０が走行中の車線を特定し、特定した車線に基づいて車両１０の走行予定経路を生成する（ステップＳ１０６）。そしてプロセッサ２３の車両制御部３６は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０７）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この区画線検出装置は、車両に搭載されたカメラにより生成された画像から検出された、相対的に低い第２の信頼度が設定された区画線候補画素のうち、画像上の消失点を一端とする走査線上に位置する区画線候補画素については、その走査線上に所定数以上の区画線候補画素が位置する場合に、その信頼度を相対的に高い第１の信頼度に修正する。その上で、この区画線検出装置は、第１の信頼度の区画線候補画素が所定数以上並んだ直線を車線区画線として検出する。このように、画像上で車線区画線が小さく写っているために、実際に車線区画線が写っているにもかかわらず、信頼度が低く設定されている区画線候補画素についても、信頼度が高く修正されるので、この区画線検出装置は、画像上で小さく写っている車線区画線も検出できる。したがって、この区画線検出装置は、道路上に表示された車線区画線の検出精度を向上できる。

また、上記の実施形態または変形例による、区画線検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 測位情報受信機
４ 電子制御装置（区画線検出装置）
５ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 区画線候補画素検出部
３２ 消失点特定部
３３ 信頼度修正部
３４ 区画線検出部
３５ 運転計画部
３６ 車両制御部

Claims (5)

1. 車両に搭載された撮像部により得られた画像から、車線区画線が写っている可能性がある区画線候補画素を検出し、検出された区画線候補画素のうち、車線区画線が写っている確からしさを表す値が所定の閾値以上である区画線候補画素に対して第１の信頼度を設定し、前記値が前記所定の閾値未満である区画線候補画素に対して前記第１の信頼度よりも低い第２の信頼度を設定する区画線候補画素検出部と、
   前記画像の消失点を一端とする第１の走査線上に第１の所定数以上の前記区画線候補画素が位置する場合、当該第１の走査線上の前記第２の信頼度が設定された前記区画線候補画素の信頼度を前記第１の信頼度に修正する信頼度修正部と、
   前記第１の信頼度が設定された前記区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する区画線検出部と、
   を有する区画線検出装置。
2. 前記区画線候補画素検出部は、前記画像上の前記車線区画線と交差すると想定される方向に沿って設定される複数の第２の走査線のそれぞれについて、当該第２の走査線に沿って前記区画線候補画素が連続する数を、当該連続する区画線候補画素の集合についての前記確からしさを表す値として算出する、請求項１に記載の区画線検出装置。
3. 前記区画線候補画素検出部により検出された前記第１の信頼度が設定された前記区画線候補画素が第３の所定数以上位置する直線を複数検出し、当該複数の直線の交点を前記消失点とする消失点特定部をさらに有する、請求項１または２に記載の区画線検出装置。
4. 前記消失点特定部は、前記区画線候補画素検出部により検出された前記第１の信頼度が設定された前記区画線候補画素が前記第３の所定数以上位置する複数の直線を検出し、当該複数の直線の交点と、前記画像よりも前に前記撮像部により得られた画像について検出された消失点の平均を前記消失点とする、請求項３に記載の区画線検出装置。
5. 車両に搭載された撮像部により得られた画像から、車線区画線が写っている可能性がある区画線候補画素を検出し、
   検出された区画線候補画素のうち、車線区画線が写っている確からしさを表す値が所定の閾値以上である区画線候補画素に対して第１の信頼度を設定し、前記値が前記所定の閾値未満である区画線候補画素に対して前記第１の信頼度よりも低い第２の信頼度を設定し、
   前記画像の消失点を一端とする第１の走査線上に第１の所定数以上の前記区画線候補画素が位置する場合、当該第１の走査線上の前記第２の信頼度が設定された前記区画線候補画素の信頼度を前記第１の信頼度に修正し、
   前記第１の信頼度が設定された前記区画線候補画素が第２の所定数以上位置する直線を車線区画線として検出する、
   区画線検出方法。

Images