JP2017010078A - 路面標示検出装置及び路面標示検出方法 - Google Patents

Abstract

【課題】停止線が不連続になった場合でも高精度に線分の長さを測り、この長さに基づいてより正確に停止線を検出する路面標示検出装置及び路面標示検出方法を提供する。【解決手段】移動体の前方を含む移動体の周囲を撮像し、撮像された画像を視点変換して視点変換画像を生成し、視点変換画像から特徴エッジを抽出し、特徴エッジが直線状に連続した直線成分を複数抽出し、複数の直線成分のうち、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成し、合成された直線成分の長さに基づいて停止線を検出する。【選択図】図２

Description

本発明は、道路の白線等を検出する路面標示検出装置及び路面標示検出方法に関する。

道路の白線等を検出する路面標示検出装置に関する従来技術の１つとして、特許文献１に、停止線の検出を行う停止線検出装置が開示されている。この従来技術は、停止線の周辺に存在することが多い横断歩道の誤検出を防ぎながら、停止線を正しく認識するためのものである。この従来技術では、車載カメラで撮像した画像から水平エッジと垂直エッジとを抽出し、水平エッジ及び垂直エッジともに画像の横軸方向に積算し、累積度を示すヒストグラムを作る。つまり、停止線は自車両に対して真横方向に延びていることを想定しており、自車両は車線に沿って走行していることを仮定している。そして、水平エッジの累積度及び垂直エッジの累積度のそれぞれのピークを検出する。このとき、垂直エッジのピークが横断歩道の位置であるとして、横断歩道が存在しない領域での水平エッジの累積度のピークの周辺領域を停止線探索領域として設定する。そして、停止線探索領域内で連続する水平エッジをカウントし、線分の長さを測り、その線分の長さが所定の範囲のものを停止線として検出する。

特開２００７−６６００３号公報

上記の従来技術では、停止線を検出するために、水平エッジと垂直エッジとのそれぞれの累積度を用いて停止線探索領域を設定し、その領域内で水平エッジの連続性をカウントして、所定の長さの連続する線分を検出した場合に、その所定の長さの連続する線分を停止線として検出していた。

しかしながら、実環境においては、画像を取得した際のノイズや停止線の塗装の掠れ等が発生することもあり、必ずしも水平エッジを連続してカウントできるとは限らない。

また、広角レンズ又は魚眼レンズを搭載したカメラの場合、その性質上、画像が歪むため、実空間で直線の線分が画像中でも同様に直線として観測されるように、視点変換により俯瞰画像等に変換する必要があった。

この場合、俯瞰画像等への変換におけるモデル化誤差や解像度の限界等により、本来連続した直線である停止線にノイズや歪みが発生し、俯瞰画像上では停止線が途切れて断続的になってしまうため、簡単な処理では線分の長さを計測することが困難である。更に、実際の車両の走行シーンでは、車両挙動によりピッチングが発生するので、俯瞰画像で停止線が途切れて断続的になる問題が、より顕著になる傾向にある。

本発明は、このような事情に鑑みてなされたものであって、停止線が不連続になった場合でも高精度に線分の長さを測り、この長さに基づいてより正確に停止線を検出する路面標示検出装置及び路面標示検出方法を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る路面標示検出装置及び路面標示検出方法では、移動体の前方を含む移動体の周囲を撮像し、撮像された画像を視点変換して視点変換画像を生成し、視点変換画像から特徴エッジを抽出し、特徴エッジが直線状に連続した直線成分を複数抽出し、複数の直線成分のうち、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成し、合成された直線成分の長さに基づいて停止線を検出する。

本発明の一態様によれば、俯瞰画像内の直線群のうち略同一直線上にあると推測される直線同士を繋ぎ合わせることができるので、停止線が不連続になった場合でも高精度に線分の長さを測り、この長さに基づいてより正確に停止線を検出することができる。

本発明の第１実施形態に係る路面標示検出装置の概念図である。 上記の路面標示検出装置の詳細な構成例を示すブロック図である。 上記の路面標示検出装置の制御装置の処理の流れを示すフローチャートである。 エッジ抽出処理についての説明図である。 分離度を使った停止線抽出処理についての説明図である。 確率的ハフ（Ｈｏｕｇｈ）変換を使った直線抽出についての説明図である。 停止線検出処理の流れを示すフローチャートである。 直線の傾きのヒストグラム化によるノイズ除去についての説明図である。 直線の統合処理（概要）についての説明図である。 直線の統合処理についての説明図である。 直線長の計測処理についての説明図である。 停止線の判定処理についての説明図である。 本発明の第２実施形態に係る路面標示検出装置の概念図である。 上記の路面標示検出装置の詳細な構成例を示すブロック図である。 上記の第２実施形態の停止線判定部の処理についての説明図である。

次に、図面を参照して、本発明の実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、現実のものとは異なることに留意すべきである。したがって、具体的な構成部品については以下の説明を参酌して判断すべきものである。
また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

＜第１実施形態＞
本発明の第１実施形態では、車両の前部に、車両の進行方向を撮像するように魚眼レンズ等を用いたカメラを取り付け、車両の前方の停止線を認識し、その認識結果を用いた運転支援を実施する。なお、車両は、移動体の一例に過ぎない。

（システム構成）
図１に示すように、本発明の第１実施形態に係る路面標示検出装置は、撮像部１と、制御装置２と、運転支援システム３とを備える。

撮像部１は、車両Ａの前部に取り付けられ、車両Ａの前方の路面領域を撮像し、撮像された画像を制御装置２に出力する。例えば、撮像部１は、広角レンズ又は魚眼レンズを搭載したフロントカメラであり、ボンネット、フロントバンパー、フロントガラス、ヘッドライト、ラジエータ若しくは自車両前方のナンバープレートの周辺、又は車室内のルームミラー周辺に取り付けられる。ここでは、撮像部１は、車両Ａの最前部に、高さｈ１、水平から下向きに角度θ１の位置及び姿勢で取り付けられており、車両Ａの前方の路面領域を撮像する。

制御装置２は、撮像部１で撮像した画像を取り込み、その画像から視点変換画像を生成し、その視点変換画像から車両Ａの前方の路面標示を検出する。ここでは、視点変換画像として、俯瞰画像（鳥瞰図）を例に説明する。俯瞰画像とは、上空から鉛直下向きに路面を見下ろした画像である。ここでいう俯瞰画像は、実際の俯瞰画像ではなく、撮像部１で撮像した画像の編集により、上空から鉛直下向きに路面を見下ろしたように見せかけた擬似的な俯瞰画像である。また、路面標示として、停止線を例に説明する。第１実施形態では、制御装置２は、撮像部１で撮像した画像から俯瞰画像を生成し、その俯瞰画像に対して停止線の有無の判定を行い、停止線が有ると判定した場合には、停止線までの距離の推定を行い、停止線までの距離の推定値を後段の運転支援システム３に送信する。制御装置２の詳細については、後述する。

運転支援システム３は、制御装置２から転送された停止線までの距離の推定値に基づき、車両Ａに対する警報及び／又は制動等の運転支援を行う。運転支援システム３は、例えば、駐車支援システム、レーンキープシステム、衝突回避ブレーキ、車線逸脱警報、後側方警報等の公知の運転支援システムである。運転支援システム３での処理は公知技術であるため、詳細については説明を割愛する。

なお、制御装置２及び運転支援システム３は、独立した装置でも良いし、一体化していても良い。少なくとも通信又は連携可能であれば良い。制御装置２及び運転支援システム３の例として、電子制御装置（ＥＣＵ）を想定している。但し、実際には、制御装置２及び運転支援システム３は、計算機、スマートフォン、タブレット端末、カーナビゲーションシステム等でも良い。

（制御装置の詳細）
図２、図３を参照して、制御装置２の詳細について説明する。
制御装置２は、俯瞰画像生成部２１と、エッジ抽出部２２と、停止線パターン抽出部２３と、直線成分抽出部２４と、停止線検出部２５とを備える。

俯瞰画像生成部２１は、撮像部１で撮像した自車両前方の路面領域の画像を取得し（ステップＳ１０１）、この画像を視点変換により俯瞰画像に変換する（ステップＳ１０２）。なお、この視点変換は、撮像部１で撮像した画像を俯瞰画像に変換できる手法であれば良い。例えば特開２００８−２１９０６３号公報に記載されているような公知の技術を用いても良い。俯瞰画像生成部２１は、この俯瞰画像を後段のエッジ抽出部２２と停止線パターン抽出部２３とにそれぞれ出力する。

エッジ抽出部２２は、俯瞰画像生成部２１で生成した俯瞰画像から特徴エッジを抽出する（ステップＳ１０３）。第１実施形態では、この特徴エッジは、車両の幅方向（画像の左右方向）に対して完全に又は略水平方向のエッジ（水平エッジ）である。なお、自車両が停止線に対して傾きを持って（斜めに）接近していった場合には、この特徴エッジは水平方向のエッジとは限らないが、ここでは説明の簡略化のため、停止線に由来する特徴エッジを水平エッジとして説明する。水平エッジを抽出する際には、例えば公知のＳｏｂｅｌフィルタを用いて水平エッジを強調する。なお、実際には、Ｓｏｂｅｌフィルタに限定されない。例えばＬａｐｌａｃｉａｎフィルタ等を用いて水平エッジを強調しても良い。これにより、図４に示すように、俯瞰画像の中から停止線を含んだ画像中の水平エッジの画素群を強調することができる。エッジ抽出部２２は、この水平エッジの画素群を強調した画像を後段の直線成分抽出部２４に出力する。

停止線パターン抽出部２３は、予め定めた停止線に相当する画素の特徴パターンを用いて、俯瞰画像生成部２１で生成した俯瞰画像から、停止線パターンとして停止線相当の画素群を抽出する（ステップＳ１０４）。すなわち、停止線パターン抽出部２３は、俯瞰画像生成部２１で生成した俯瞰画像から停止線に相当する画素の特徴パターンに適合する画素群を抽出する。停止線に相当する画素の特徴パターンとしては、例えば画素の輝度や濃淡等の特徴量及びその分布パターン、又は特開２０１３−２１０９９１号公報で開示されている分離度特徴量を用いることが考えられる。この分離度特徴量を用いる場合、図５（ａ）に示すように、停止線の局所領域の形状（縦方向に黒・白・黒）と輝度の分布パターンとを用いて停止線相当の画素群を検出できるため、日照変化等にロバストに（外乱の影響を受けることなく）停止線相当の画素群を検出することができ、停止線の検出性能も向上させることができる。ここでは、停止線パターン抽出部２３は、俯瞰画像生成部２１で生成した俯瞰画像に対し、図５（ｂ）に示すように、分離度特徴量を用いて、停止線に相当する画素群を強調する。停止線パターン抽出部２３は、この処理結果（停止線相当の画素の座標群）を停止線パターンとして後段の停止線検出部２５に出力する。

直線成分抽出部２４は、前段のエッジ抽出部２２で強調された水平エッジの画素群から、水平エッジが直線状に連続した直線成分（線分）を複数抽出する（ステップＳ１０５）。第１実施形態では、図６に示すように、公知の確率的ハフ（Ｈｏｕｇｈ）変換を適用して、水平エッジの画素群から直線群（複数の直線成分）を抽出する。直線成分抽出部２４は、この処理で抽出した直線群の情報（直線の始点及び終点の座標群）を後段の停止線検出部２５へ出力する。

停止線検出部２５は、前段の停止線パターン抽出部２３から出力される停止線パターンと、前段の直線成分抽出部２４から出力される直線群の情報とに基づいて、停止線を検出する（ステップＳ１０６）。そして、停止線検出部２５は、停止線までの距離の推定を行い、停止線までの距離の推定値を後段の運転支援システム３に送信する。停止線検出部２５の詳細については、後述する。

制御装置５は、上記の一連の処理（ステップＳ１０１〜ステップＳ１０６）を、停車等により制御装置５が停止するまで繰り返す（ステップＳ１０７）。ここでは、停車等により制御装置５が停止していない場合（ステップＳ１０７でＮｏ）には、画像を取得する処理（ステップＳ１０１）に戻り、次回の一連の処理を行う。反対に、停車等により制御装置５が停止した場合（ステップＳ１０７でＹｅｓ）には、上記の一連の処理を終了する。

（停止線検出部の詳細）
図２、図７を参照して、停止線検出部２５の詳細について説明する。
停止線検出部２５は、傾き分布解析部２５ａと、基準直線選択部２５ｂと、直線合成部２５ｃと、直線長計測部２５ｄと、停止線判定部２５ｅとを備える。
なお、傾き分布解析部２５ａから停止線判定部２５ｅまでの一連の処理（図７に示すステップＳ２０１からステップＳ２０６）は、停止線検出処理（図３に示すステップＳ１０６）に相当する。

傾き分布解析部２５ａは、直線成分抽出部２４から出力される直線群の情報に基づいて、直線群の傾き（画像上での回転方向）の分布を解析し（ステップＳ２０１）、直線群のうち、直線の傾きを指標とした分布において頻度が低い傾きの直線をノイズとして除去する（ステップＳ２０２）。なお、所定の直線をノイズとして除去する場合、データ削除に限らず、ノイズとしてのフラグを立てて以降の処理の対象から除外しても良い。また、傾き分布解析部２５ａは、直線群のうち、直線の傾きを指標とした分布において頻度が高いと認められる傾きの範囲に属する直線を停止線候補として判定する。第１実施形態では、傾き分布解析部２５ａは、図８に示すように直線の傾きをヒストグラム化し、傾きの最頻値に予め定めた所定の割合αを乗じたもの（最頻値×α）をノイズ判定のための閾値（傾きの頻度の閾値）として算出し、頻度がこの閾値を下回る傾きの範囲に属する直線（頻度がこの閾値より小さい傾きの範囲に属する直線）をノイズとして除去する。そして、傾き分布解析部２５ａは、残りの直線（頻度がこの閾値以上の傾きの範囲に属する直線）を停止線候補として判定する。このαは、予め実験的に定めることができる。このように、傾き分布解析部２５ａは、直線の傾きをヒストグラム化して、傾きの最頻値を基にノイズ除去の判定をすることで、自車両が停止線に対して傾きを持って（斜めに）接近していった場合に、停止線が画像領域において水平ではなく斜めに傾いていても、ノイズを正しく除去して、後段の処理に出力することができる。

基準直線選択部２５ｂは、前段の傾き分布解析部２５ａから出力されるノイズが除去された複数の直線のうち最も長い直線を基準直線として選択し、後段の直線合成部２５ｃに出力する（ステップＳ２０３）。最も長い直線を選択する理由は、本来は一本の直線である停止線の水平エッジが連続して取得できない状況でも、停止線から観測される水平エッジは、他のものから観測される水平エッジよりも長く連続して観測されやすいためである。したがって、水平方向のエッジから抽出された直線の長さを「停止線らしさ」（尤度）を示す値とみなし、最も長い直線を基準直線として後段の直線合成部２５ｃに出力する。なお、基準直線選択部２５ｂは、複数の直線を長い直線から順に後段の直線合成部２５ｃに出力しても良い。この場合、最初に出力する最も長い直線が基準直線となる。

直線合成部２５ｃは、基準直線選択部２５ｂから与えられる基準直線に、他の直線を合成する（ステップＳ２０４）。このとき、直線合成部２５ｃは、基準直線選択部２５ｂから与えられる基準直線に、他の直線を合成できるか判定する。図９、図１０に、基準直線に他の直線を合成できると判定するための合成対象範囲を破線で示す。第１実施形態では、合成対象範囲は、基準直線からの距離によって決まる。例えば、基準直線と他の直線との距離が所定の範囲内である場合、基準直線に他の直線を合成できると判定する。なお、基準直線に対して他の直線が合成対象範囲内にあり、基準直線に他の直線を合成できる場合において、図９（ａ）に示す「基準直線と他の直線とを重ね合せて統合するパターン」のように、基準直線と他の直線とが重複する場合、又は基準直線と他の直線とが互いに幅方向にずれている場合は、基準直線に他の直線を重ね合せて統合することができるが、基準直線の長さは変わらない。一方で、図９（ｂ）に示す「基準直線と他の直線とを延長して連結するパターン」のように、基準直線と他の直線とが互いに長手方向にずれている場合は、基準直線と他の直線とのうち少なくとも一方を他方まで延伸して互いに連結することで、基準直線の長さが伸びるため、基準直線の長さを更新する。なお、直線合成部２５ｃは、基準直線と合成した他の直線を「合成済み」と判定する。例えば、基準直線と合成した他の直線のフラグを「合成済み」を示す値に変更する。

具体的には、直線合成部２５ｃは、図１０（ａ）に示すように、基準直線の始点及び終点から直線パラメータを算出して、その直線パラメータで求めた合成対象範囲内（距離及び傾き）に他の直線が存在しているかを判定する。例えば、基準直線との距離及び傾きがそれぞれ所定の範囲内である他の直線が存在しているかを判定する。なお、所定の範囲は、閾値としての上限値及び下限値により定められる。この閾値は、予め実験的に定めることができる。ここで、合成対象範囲内に存在している他の直線の数が所定数以上であれば、図１０（ｂ）に示すように、この基準直線の端点（始点及び終点）に、合成対象範囲内に存在している他の直線の端点（始点及び終点）を加えた点群に対して、近似直線を求めて、合成された直線の直線パラメータを算出する。そして、図１０（ｃ）に示すように、基準直線と他の直線とが互いに長手方向にずれている場合は、基準直線と他の直線とのうち少なくとも一方を他方まで延伸して互いに連結して合成する。その合成された直線の直線パラメータを用いた直線の方程式に合成する直線群の端点のｘ座標を代入して、ｙ座標を求める。ここでは、観測した端点のｘ座標を修正せずに延伸して、ｙ座標のみ修正することで、合成された直線の端点（始点及び終点）の座標を求める。このように、合成された直線の端点の座標を、観測した端点から修正していくことで、より高精度に停止線の位置を求めることができる。

個々の処理で「合成済み」と判定された直線は、前段の基準直線選択部２５ｂで選択対象から除外するものとする。このように選択対象から除外することで、直線の長さが長いものを優先的に合成処理ができるだけでなく、処理コストが削減される。

直線長計測部２５ｄは、図１１に示すように、直線合成部２５ｃで合成された直線の端点の座標から、実空間での直線の長さを計測する（ステップＳ２０５）。例えば、直線長計測部２５ｄは、直線の端点間の距離から直線の長さを計測する。

停止線判定部２５ｅは、直線長計測部２５ｄで計測された直線の長さに基づいて、直線合成部２５ｃで合成された直線が停止線か否かを判定する（ステップＳ２０６）。例えば、停止線判定部２５ｅは、直線長計測部２５ｄで計測された直線の長さが所定の範囲内であるか否か判定し、直線長計測部２５ｄで計測された直線の長さが所定の範囲内であると判定した場合には、直線合成部２５ｃで合成された直線を停止線と判定する。

若しくは、停止線判定部２５ｅは、直線合成部２５ｃで合成された直線と、直線長計測部２５ｄで計測された直線の長さとに基づいて、停止線か否かを判定しても良い。例えば、停止線判定部２５ｅは、直線合成部２５ｃで合成された直線に沿った位置での水平エッジの累積度（頻度）を算出し、水平エッジの累積度のピークの周辺領域を停止線探索領域として設定し、停止線探索領域内で連続する水平エッジをカウントする。また、停止線判定部２５ｅは、停止線探索領域内において、直線長計測部２５ｄで計測された直線の長さが所定の範囲内であるか否か判定する。このとき、停止線判定部２５ｅは、停止線探索領域内で連続する水平エッジの数が閾値以上であり、かつ、直線長計測部２５ｄで計測された直線の長さが所定の範囲内であると判定した場合には、直線合成部２５ｃで合成された直線を停止線と判定する。

第１実施形態では、停止線判定部２５ｅは、直線合成部２５ｃで合成された直線と、直線長計測部２５ｄで計測された直線の長さと、停止線パターン抽出部２３から出力される停止線パターンとに基づいて、停止線か否かを判定する。例えば、停止線判定部２５ｅは、図１２に示すように、直線合成部２５ｃで合成された直線の端点の座標と、カメラ幾何（画像の何処に映るのかを決める法則）とを用いて、直線合成部２５ｃで合成された直線を実空間上に投影する。また、停止線判定部２５ｅは、直線合成部２５ｃで合成された直線を実空間上に投影した後、停止線パターン抽出部２３から出力される停止線パターンに基づいて、停止線相当の画素群も実空間に投影する。この停止線相当の画素群は、水平エッジの累積度のピークの周辺領域に相当する。したがって、実空間に投影された停止線相当の画素群は、停止線探索領域に相当する。停止線判定部２５ｅは、合成された直線と停止線相当の画素群との双方の実空間上の位置が一致しているか否か判定する。停止線判定部２５ｅは、合成された直線と停止線相当の画素群との双方の実空間上の位置が一致しているか否か判定する際には、合成された直線と停止線相当の画素群とのＡＮＤ（論理積）演算処理を行う。実際には、停止線判定部２５ｅは、完全一致に限らず、合成された直線に対して停止線相当の画素群が許容範囲内にあれば、双方の実空間上の位置が一致していると判定するようにしても良い。ここでは、直線合成部２５ｃで合成された直線と停止線相当の画素群とを実空間に投影して実行しているが、実際には当該方法に限定されるものではない。例えば、実空間に投影せず、画像上の座標情報を基に処理をしても良い。更に、停止線判定部２５ｅは、直線長計測部２５ｄで計測された直線の長さが所定の範囲内であるか否か判定する。停止線判定部２５ｅは、双方の実空間上の位置が一致していると判定し、かつ、直線長計測部２５ｄで計測された直線の長さが所定の範囲内であると判定した場合には、直線合成部２５ｃで合成された直線を停止線と判定する。

ここで、上記の基準直線選択部２５ｂから停止線判定部２５ｅまでの一連の処理（ステップＳ２０３からステップＳ２０６）は、傾き分布解析部２５ａから出力される直線の全てに対して実行される。そのため、停止線検出部２５は、傾き分布解析部２５ａから出力される直線の全てに対して処理を完了したか否か判定する（ステップＳ２０７）。停止線検出部２５は、傾き分布解析部２５ａから出力される直線の全てに対して処理を完了していない場合（ステップＳ２０７でＮｏ）には、基準直線選択部２５ｂの処理（ステップＳ２０３）に戻る。反対に、停止線検出部２５は、傾き分布解析部２５ａから出力される直線の全てに対して処理を完了した場合（ステップＳ２０７でＹｅｓ）には、現在の処理を終了する。

（変形例）
上記の説明では、制御装置２は、撮像部１で撮像した画像を取り込み、その画像から視点変換画像を生成し、その視点変換画像から車両Ａの前方の停止線を検出しているが、実際には、停止線に限らず、道路境界線（区画線等）や道路端（縁石、ガードレール、側壁、中央分離帯等）も検出するようにしても良い。例えば、道路境界線や道路端が停止線のように水平方向のエッジ（水平エッジ）として検出されるシーンでは、停止線と同じ扱いにして自車を停止（停車）させることが好ましい場合もあると考えられる。すなわち、制御装置２は、道路境界線や道路端が停止線のように水平エッジとして検出される場合、このような道路境界線や道路端を停止線として扱うようにしても良い。

また、上記の説明では、自車両前方の路面領域の画像を対象にしているが、実際には、更に自車両後方の路面領域の画像を対象とすることも可能である。この場合、撮像部１は、車両Ａの後部にも取り付けられ、車両Ａの後方の路面領域を撮像し、撮像された画像を制御装置２に出力する。この撮像部１は、例えば、広角レンズ又は魚眼レンズを搭載したリアカメラであり、バックドア／トランク、リアガラス、リアバンパー、テールランプ、自車両後方のナンバープレートの周辺、又は車室内のルームミラー周辺に取り付けられる。画像に対する処理については、上記と同様である。

（第１実施形態の効果）
第１実施形態によれば、以下のような効果を奏する。
（１）第１実施形態に係る路面標示検出装置は、移動体の前方を含む移動体の周囲を撮像し、撮像された画像を視点変換して視点変換画像を生成し、視点変換画像から特徴エッジを抽出し、特徴エッジが直線状に連続した直線成分を複数抽出し、複数の直線成分のうち、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成し、合成された直線成分の長さに基づいて停止線を検出する。
これにより、車両に搭載したカメラにより車両周囲を撮像し、俯瞰画像を生成することができる。そして、俯瞰画像内のエッジ群を抽出し、そのエッジ群から直線群を抽出し、その直線群のうち所定の範囲内にある直線群を合成して、長さを測定することができる。したがって、俯瞰画像内の直線群のうち略同一直線上にあると推測される直線同士を繋ぎ合わせることができるので、従来技術での問題点となっていた特徴エッジが不連続になった場合でも、高精度に線分の長さを測り、長さに基づいてより正確に停止線を検出することができる。

（２）第１実施形態に係る路面標示検出装置は、複数の直線成分のうち、いずれかの直線成分を基準直線とし、基準直線との距離が所定の範囲内である直線成分を、位置が所定の範囲内にある直線成分とする
これにより、俯瞰画像上で検出される直線群のいずれかの直線を基準直線とし、基準直線から所定の距離の範囲内にある直線を対象として、合成処理を実行することができる。

（３）第１実施形態に係る路面標示検出装置は、複数の直線成分のうち、最も長い直線成分から順に基準直線とする。
これにより、俯瞰画像上で検出される直線群のうち、最も長い直線から順に基準直線として、合成処理を実行することができる。一般的に、停止線からは、途切れこそするものの略水平方向に長い直線が検出されやすい傾向にある。したがって、長い直線ほど停止線らしいと判断して、最も長い直線を基準に合成処理を実行することで、合成処理の失敗を削減することができる。

（４）第１実施形態に係る路面標示検出装置は、複数の直線成分の各々の傾きを指標とした分布において頻度が高いと認められる傾きの範囲に属する直線成分を、傾きが所定の範囲内にある直線成分とする。
これにより、俯瞰画像上で検出される直線群に対して、それぞれの傾き（回転方向）を求め、傾きの分布頻度が多い直線のみを合成することができる。これは、停止線に対して車両が傾きの付いた角度で近づいた時を想定している。
従来技術では特徴エッジを画像の横方向に投影して、特徴エッジの累積度を算出していたが、この方法は、停止線に対して車両が直進して接近しているシーンを想定しており、停止線に対して車両が斜めに接近しているシーンでは正しく停止線の位置を推定できなかった。
しかしながら、第１実施形態に係る路面標示検出装置では、直線の傾きの分布を求め、その傾きの分布において頻度が多い傾きの範囲に属する直線同士を合成し、且つ、その傾きを考慮して停止線を検出することで、停止線の位置を従来技術より高精度に推定できるようにした。

（５）第１実施形態に係る路面標示検出装置は、複数の直線成分の傾きの分布の最頻値に基づいて頻度の閾値を算出し、分布において頻度が閾値以上の傾きの範囲に属する直線成分を、分布において頻度が高いと認められる傾きの範囲に属する直線成分とする。
これにより、例えば直線の傾きをヒストグラム化して、傾きの最頻値を基にノイズ除去の判定をして、自車両が停止線に対して傾きを持って（斜めに）接近していった場合に、停止線が画像領域において水平ではなく斜めに傾いていても、ノイズを正しく除去して、後段の処理に出力することができる。

（６）第１実施形態に係る路面標示検出装置は、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成するとき、互いに幅方向にずれている場合には短い方を幅方向に移動して長い方に重畳し、互いに長手方向にずれている場合には少なくとも一方を他方まで延伸して連結することで、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を延長方向に合成する。
具体的には、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成する際に、長い方の直線成分の始点及び終点に基づいて直線パラメータを算出し、その直線パラメータに短い方の直線成分の始点及び終点を代入し、直線パラメータを修正・更新することで、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を延長方向に合成する。
これにより、俯瞰画像上で途切れてしまった停止線の直線エッジを繋ぎ合わせることができる。このときに直線ペア同士の距離と傾きに基づいて延長方向に合成するため、例えば停止線の周辺に撮像時のノイズや他の塗装（区画線、文字、横断歩道等）の直線成分を検出しても、間違って組合せることがない。

（７）第１実施形態に係る路面標示検出装置は、合成された直線成分に沿った位置での特徴エッジの頻度を算出し、合成された直線成分の長さ及び特徴エッジの頻度に基づいて停止線を検出する。
これにより、合成された直線成分と、特徴エッジの累積度との双方に基づいて停止線を検出することができる。このように、直線の線情報と特徴エッジの累積度の点情報とを組合せて推定を行うので、より高精度に停止線を検出することができる。

（８）第１実施形態に係る路面標示検出装置は、視点変換画像から停止線に相当する画素の特徴パターンに適合する画素群を抽出し、抽出された画素群の位置と合成された直線成分の位置とが一致しているか否かを判定し、その判定結果及び合成された直線成分の長さに基づいて、合成された直線を停止線と判定する。
これにより、予め定めた画素の特徴パターンを用いて停止線を検出することができる。ここで、画素の特徴パターンとして、例えば特開２０１３−２１０９９１号公報で開示されている分離度特徴量を用いる場合、停止線の局所領域の形状（縦方向に黒・白・黒）と輝度の分布パターンを用いて停止線のエッジを検出できるため、日照変化等にロバストに停止線相当の画素群を検出することができ、停止線の検出性能も向上させることができる。

（９）第１実施形態に係る路面標示検出装置は、広角レンズ又は魚眼レンズを搭載したカメラを用いて、移動体の前方を撮像し、視点変換画像として俯瞰画像を生成する。
従来技術では、広角レンズ又は魚眼レンズを搭載したカメラを用いると、視点変換画像として俯瞰画像を生成したとしても、俯瞰画像等への変換におけるモデル化誤差や解像度の限界等により、停止線にノイズや歪みが発生して、俯瞰画像上では停止線が途切れて断続的になってしまう。第１実施形態に係る路面標示検出装置では、広角レンズ又は魚眼レンズを搭載したカメラを用いて撮像した画像から視点変換画像として俯瞰画像を生成しても、俯瞰画像内のエッジ群を抽出し、そのエッジ群から直線群を抽出し、その直線群のうち所定の範囲内にある直線群を合成して、長さを測定することができる。したがって、俯瞰画像上で停止線が途切れて断続的になっても、高精度に線分の長さを測り、長さに基づいてより正確に停止線を検出することができる。

＜第２実施形態＞
本発明の第２実施形態では、第１実施形態の構成に車輪速センサー等のセンサー類を追加し、時間軸に処理を追加することでより性能を向上させる。

（システム構成）
図１３、図１４に示すように、本発明の第２実施形態に係る路面標示検出装置は、撮像部１と、制御装置２と、運転支援システム３と、自車情報取得部４とを備える。撮像部１と、制御装置２と、運転支援システム３については、基本的に、第１実施形態と同様である。

第１実施形態との差異は、自車情報取得部４を追加し、制御装置２の停止線判定部２５ｅが自車情報取得部４から取得した車両の移動量の情報から過去の停止線検出結果も用いて、停止線か否かを判定することである。以下、第１実施形態と異なる構成及び処理について説明する。

自車情報取得部４は、自車の速度、加速度、操舵角及びヨーレート等の車両Ａの運動状態（車両挙動）に関する情報（自車情報）を取得し、制御装置２に出力する。自車情報取得部４の例として、車輪速センサー、車速センサー、加速度センサー、舵角センサー、ヨーレートセンサー等の各種センサー群や、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）等を想定している。車輪速センサーは、車両Ａの車輪周辺に取り付けられ、パルスにより単位時間当たりの車輪の回転数を測定する。車速センサーは、車両Ａの速度（車速）を検出する。加速度センサーは、車両Ａの加速度（速度の変化率）を検出する。舵角センサーは、車両Ａの操舵機構又は転舵機構等に取り付けられ、舵角操舵量を検出する。ヨーレートセンサーは、ＥＳＣ（横滑り防止装置）やＡＣＣ（アダプティブ・クルーズ・コントロール）等の挙動安定化装置の中心となるセンサーであり、車両Ａの重心の鉛直軸周りのヨーレート（旋回方向への回転角の変化速度）を検出する。慣性計測装置（ＩＭＵ）は、車両Ａの運動を司る３軸の角度（又は角速度）と加速度を検出する装置である。但し、実際には、自車情報取得部４は、上記の例に限定されるものではなく、単位時間当たりの移動量を取得できるセンサー等であれば良い。

第２実施形態では、自車情報取得部４として、車輪速センサーを例に説明する。自車情報取得部４は、車輪速センサーとして、パルスにより単位時間当たりの車輪の回転数を測定し、その回転数から単位時間当たりの車両の移動量（単位時間当たりに車両が進んだ距離）を算出し、その単位時間当たりの車両の移動量を停止線判定部２５ｅに出力する。すなわち、自車情報取得部４は、単位時間当たりの車両の移動量を計測する移動量計測部として機能する。

停止線判定部２５ｅは、自車情報取得部４から出力される単位時間当たりの車両の移動量を用いて、停止線パターン抽出部２３から出力される停止線パターンのうち、現在の停止線パターンの検出時刻以前に検出された過去の停止線パターンを更新する。そして、停止線判定部２５ｅは、現在の停止線パターンと、更新された過去の停止線パターンとを用いて、停止線か否かを判定する。

具体的には、停止線判定部２５ｅは、停止線パターン抽出部２３から出力される停止線パターンを、一定時間、蓄積しておき、蓄積した過去の停止線パターンを繰り返し処理で時系列順に読み出し、自車情報取得部４から出力される単位時間当たりの車両の移動量から各時刻の過去の停止線パターンの現在時刻における過去の停止線パターンの位置を推測し、この推定した現在時刻における過去の停止線パターンと、実際に停止線パターン抽出部２３から出力される現在時刻に検出された停止線パターンとを用いて、停止線か否かを判定する。

例えば、停止線判定部２５ｅは、図１５に示すように、停止線パターン抽出部２３で検出された停止線相当の画素のうち、現時刻に検出された停止線相当の画素のみならず、一時刻前に検出された停止線相当の画素と、二時刻前に検出された停止線相当の画素とを、画像の横軸方向に積算して、停止線か否かを判定する。

このように、過去に検出された停止線相当の画素群の実空間上での位置を更新して処理に用いることで、検出性能を向上させる。例えば、現時刻に検出された停止線相当の画素のみではＳＮ比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ ｒａｔｉｏ：信号対雑音比）が低くなるが、更に過去に検出された停止線相当の画素も用いるとデータ数を増加することで、ＳＮ比が向上する。

（第２実施形態の効果）
第２実施形態によれば、以下のような効果を奏する。
（１）第１実施形態に係る路面標示検出装置は、単位時間当たりの移動体の移動量を計測し、計測された移動体の移動量に基づいて、過去に停止線パターン抽出部で抽出された画素群の位置を更新し、現時刻の画素群の位置及び更新された過去の画素群の位置と、合成された直線成分の位置とが一致しているか否かを判定し、その判定結果及び合成された直線成分の長さに基づいて、合成された直線を停止線と判定する。
第１実施形態では、現時刻の処理で検出された停止線相当の画素しか利用しなかったが、第２実施形態では、車両の移動量を用いることで、過去に検出した停止線相当の画素の位置を、現時刻に検出した停止線相当の画素の位置に更新することができる。このように、過去の情報を用いることで、停止線相当の画素を検出する際に、車両挙動によるピッチング（前後の揺れ）や、俯瞰画像生成時の解像度や歪みに起因して発生するノイズ、及び実際の停止線に相当する画素のＳＮ比を改善させることができる。そのため、これらの過去の時間と現時刻に検出した停止線相当の画素が分布する位置の直線を停止線と判定することで、結果として停止線の推定位置も向上する。

＜その他実施形態＞
上記のように、本発明は第１実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明の技術的範囲に含まれる。

Ａ 車両
１ 撮像部
２ 制御装置
２１ 俯瞰画像生成部
２２ エッジ抽出部
２３ 停止線パターン抽出部
２４ 直線成分抽出部
２５ 停止線検出部
２５ａ 傾き分布解析部
２５ｂ 基準直線選択部
２５ｃ 直線合成部
２５ｄ 直線長計測部
２５ｅ 停止線判定部
３ 運転支援システム
４ 自車情報取得部

Claims (11)

1. 移動体に搭載され、前記移動体の前方を含む前記移動体の周囲を撮像する撮像部と、
   前記撮像部で撮像された画像を視点変換して視点変換画像を生成する視点変換画像生成部と、
   前記視点変換画像生成部で生成された前記視点変換画像から特徴エッジを抽出するエッジ抽出部と、
   前記エッジ抽出部で抽出した前記特徴エッジが直線状に連続した直線成分を複数抽出する直線成分抽出部と、
   前記直線成分抽出部で抽出された前記複数の直線成分のうち、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成し、前記合成された直線成分の長さに基づいて停止線を検出する停止線検出部と、
   を備えることを特徴とする路面標示検出装置。
2. 前記停止線検出部は、前記複数の直線成分のうち、いずれかの直線成分を基準直線とし、前記基準直線との距離が所定の範囲内である直線成分を、前記位置が所定の範囲内にある直線成分とする請求項１に記載の路面標示検出装置。
3. 前記停止線検出部は、前記複数の直線成分のうち、最も長い直線成分から順に前記基準直線とする請求項２に記載の路面標示検出装置。
4. 前記停止線検出部は、前記複数の直線成分の各々の傾きを指標とした分布において頻度が高いと認められる傾きの範囲に属する直線成分を、前記傾きが所定の範囲内にある直線成分とする請求項１から３のいずれか一項に記載の路面標示検出装置。
5. 前記停止線検出部は、前記複数の直線成分の傾きの分布の最頻値に基づいて頻度の閾値を算出し、前記分布において頻度が前記閾値以上の傾きの範囲に属する直線成分を、前記分布において頻度が高いと認められる傾きの範囲に属する直線成分とする請求項４に記載の路面標示検出装置。
6. 前記停止線検出部は、前記位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成するとき、互いに幅方向にずれている場合には短い方を前記幅方向に移動して長い方に重畳し、互いに長手方向にずれている場合には少なくとも一方を他方まで延伸して連結することで、前記位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を延長方向に合成する請求項１から５のいずれか一項に記載の路面標示検出装置。
7. 前記停止線検出部は、前記合成された直線成分に沿った位置での前記特徴エッジの頻度を算出し、前記合成された直線成分の長さ及び前記特徴エッジの頻度に基づいて前記停止線を検出する請求項１から６のいずれか一項に記載の路面標示検出装置。
8. 前記視点変換画像から停止線に相当する画素の特徴パターンに適合する画素群を抽出する停止線パターン抽出部を更に備え、
   前記停止線検出部は、前記停止線パターン抽出部で抽出された前記画素群の位置と、前記合成された直線成分の位置とが一致しているか否かを判定し、その判定結果及び前記合成された直線成分の長さに基づいて、前記合成された直線を停止線と判定する請求項１から７のいずれか一項に記載の路面標示検出装置。
9. 単位時間当たりの前記移動体の移動量を計測する移動量計測部を更に備え、
   前記停止線検出部は、前記移動量計測部で計測された前記移動体の移動量に基づいて、過去に前記停止線パターン抽出部で抽出された前記画素群の位置を更新し、現時刻の前記画素群の位置及び前記更新された過去の前記画素群の位置と、前記合成された直線成分の位置とが一致しているか否かを判定し、その判定結果及び前記合成された直線成分の長さに基づいて、前記合成された直線を停止線と判定する請求項８に記載の路面標示検出装置。
10. 前記撮像部は、広角レンズ又は魚眼レンズを搭載したカメラであり、
    前記視点変換画像生成部は、前記視点変換画像として俯瞰画像を生成する請求項１から９のいずれか一項に記載の路面標示検出装置。
11. 移動体の前方を含む前記移動体の周囲を撮像し、
    撮像された画像を視点変換して視点変換画像を生成し、
    前記視点変換画像から特徴エッジを抽出し、
    前記特徴エッジが直線状に連続した直線成分を複数抽出し、
    前記複数の直線成分のうち、位置及び傾きがそれぞれ所定の範囲内にある直線成分同士を合成し、
    前記合成された直線成分の長さに基づいて停止線を検出することを特徴とする路面標示検出方法。

Images