JP2020004171A - 車両用ライン検出装置および該方法 - Google Patents

Abstract

【課題】本発明は、道路上のラインをより精度良く検出できる車両用ライン検出装置および該方法を提供する。【解決手段】本発明の車両用ライン検出装置ＬＤは、車両に搭載され、路面を含むように前記車両の前方、右側および左側それぞれを撮像することで前方画像、右側方画像および左側方画像それぞれを生成する前方撮像部１、右側方撮像部２および左側方撮像部３と、前方画像から道路上のラインを第１ラインとして求め、右側方画像から道路上のラインを第２ラインとして求め、左側方画像から道路上のラインを第３ラインとして求めるライン抽出処理部４２とを備え、前記第１ないし第３ラインに基づいて、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１ないし第３ラインに基づいて前記道路上のラインを最終的に求める。【選択図】図１

Description

本発明は、道路上のラインを検出する車両用ライン検出装置および車両用ライン検出方法に関する。

近年、例えば運転支援や自動運転等の車両制御を実施するために、例えば車道中央線（センターライン）や車線境界線（レーンマーカ）等の、道路上のラインを検出する技術が研究、開発されており、例えば、特許文献１に開示されている。

前記特許文献１に開示された車両用ライン検出装置は、車両前方の道路を撮影する第１撮影手段と、車両側方直下の道路を撮影する第２撮影手段と、前記第１撮影手段あるいは前記第２撮影手段のいずれか一方で得られた画像から道路上のラインを検出する第１検出手段と、検出されたライン位置に基づいて他方の撮影手段で得られた画像内の道路上のラインを検出する第２検出手段と、を有する。より具体的には、例えば、第１撮影手段で得られた前方画像から、道路の冠水により太陽光が鏡面反射する場合等で道路の白線を明瞭に取得できない場合に、前記特許文献１に開示された車両用ライン検出装置は、第２撮影手段で得られた側方直下画像から白線を検出し、この検出結果に基づいて前方画像内における白線位置を推定し、この推定結果に基づいて前方画像から例えばパターンマッチングで白線を検出する（例えば、前記特許文献１の［００１８］段落、［００２０］段落および［００２３］段落参照）。

特開平１１−１６７６３６号公報

ところで、低コスト化や取扱いの容易化等を図るために、車両の前方を撮像するカメラ（前方のカメラ）および前記車両の側方を撮像するカメラ（側方のカメラ）それぞれに、同一製品のカメラが利用される場合がある。このような場合、前方のカメラは、水平方向に広く、かつ、走行方向の近くから遠くまでの相対的に広い範囲を撮像する一方、側方のカメラは、車両に近在の相対的に狭い範囲を撮像する。したがって、１画素当たりに含まれる被写体の範囲は、側方のカメラで撮像された画像（側方画像）に較べて前方のカメラで撮像された画像（前方画像）の方が広くなる。このため、側方画像から道路上のラインの位置が比較的精度良く検出できる一方、側方画像に較べて前方画像は、不明瞭となってしまい、前方画像から、道路上のラインを検出する検出精度が低くなってしまう場合がある。前記特許文献１に開示された車両用ライン検出装置でも、推定位置でラインを検出しようとしても、画像自体が不明瞭であれば、同様に、道路上のラインに対する検出精度が低くなってしまう。

また、側方のカメラは、相対的に狭い範囲を撮像するので、側方画像から検出されたラインが、真に単一ラインであるか、二重ラインのうちの一方のラインであるかを判定し難い場合がある。すなわち、側方のカメラ（側方画像）では、単一ラインおよび二重ラインそれぞれを検出する検出精度が低くなってしまう。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、道路上のラインをより精度良く検出できる車両用ライン検出装置および車両用ライン検出方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる車両用ライン検出装置は、車両に搭載され、路面を含むように前記車両の前方を撮像することで前方画像を生成する第１撮像部と、前記車両に搭載され、路面を含むように前記車両の一方側を撮像することで一方側画像を生成する第２撮像部と、前記第１撮像部で生成された前方画像から道路上のラインを第１ラインとして求める第１ライン抽出処理部と、前記第２撮像部で生成された一方側画像から道路上のラインを第２ラインとして求める第２ライン抽出処理部と、前記第１および第２ライン抽出処理部それぞれで求めた第１および第２ラインに基づいて、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１および第２ラインに基づいて前記道路上のラインを最終的に求めるライン決定処理部とを備える。

このような車両用ライン検出装置は、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１および第２ラインに基づいて前記道路上のラインを最終的に求めるので、複数のアルゴリズムの中から、前記道路上のラインを最終的に求めるために適したアルゴリズムを選択でき、この適したアルゴリズムを用いるから、前記道路上のラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記道路上のラインは、主ラインと、前記主ラインを除く他の副ラインとを含み、前記複数のアルゴリズムは、前記第２ライン抽出処理部で求められた第２ラインを前記副ラインとみなし、前記第１ライン抽出処理部で求めた第１ラインを前記道路上の主ラインとすることで前記道路上の主ラインを最終的に求める第１アルゴリズムを含む。

このような車両用ライン検出装置は、前記副ラインとみなした、前記第２ライン抽出処理部で求められた第２ラインを用いることなく、前記第１ライン抽出処理部で求めた第１ラインを前記道路上の主ラインとするので、前記道路上のラインをより精度良く検出できる。

他の一態様では、これら上述の車両用ライン検出装置において、前記道路上のラインは、主ラインと、前記主ラインを除く他の副ラインとを含み、前記複数のアルゴリズムは、前記第２ライン抽出処理部で求められた第２ラインを前記主ラインとみなし、前記第１ライン抽出処理部で求めた第１ラインおよび前記第２ライン抽出処理部で求めた第２ラインに基づいて前記道路上の主ラインを最終的に求める第２アルゴリズムを含む。

このような車両用ライン検出装置は、前記第１ライン抽出処理部で求めた第１ラインだけでなく、前記主ラインとみなした、前記第２ライン抽出処理部で求められた第２ラインも用いるので、前記道路上のラインをより精度良く検出できる。

他の一態様では、これら上述の車両用ライン検出装置において、前記道路上のラインは、主ラインと、前記主ラインを除く他の副ラインとを含み、前記副ラインは、前記主ラインから所定の間隔を空けて前記主ラインに平行な補助ラインを含み、前記複数のアルゴリズムは、前記第２ライン抽出処理部で求められた第２ラインを前記補助ラインとみなし、前記第２ライン抽出処理部で求められた第２ラインおよび前記所定の間隔に基づいて前記主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求められた第１ラインおよび前記推定した第１推定ラインに基づいて前記道路上の主ラインを最終的に求める第３アルゴリズムを含む。

このような車両用ライン検出装置は、前記補助ラインとみなした、前記第２ライン抽出処理部で求められた第２ラインに基づいて前記主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求めた第１ラインだけでなく、前記推定した推定ラインも用いるので、前記道路上のラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記車両に搭載され、路面を含むように前記車両の他方側を撮像することで他方側画像を生成する第３撮像部と、前記第３撮像部で生成された他方側画像から道路上のラインを第３ラインとして求める第３ライン抽出処理部とをさらに備え、前記ライン決定処理部は、前記第１ないし第３ライン抽出処理部それぞれで求めた第１ないし第３ラインに基づいて、前記複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１ないし第３ラインに基づいて前記道路上のラインを最終的に求める。

このような車両用ライン検出装置は、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１ないし第３ラインに基づいて前記道路上のラインを最終的に求めるので、複数のアルゴリズムの中から、前記道路上のラインを最終的に求めるために適したアルゴリズムを選択でき、この適したアルゴリズムを用いるから、前記道路上のラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記道路上のラインは、車線の境界を表す左右１対の主ラインと、前記左右１対の主ラインを除く他の副ラインとを含み、前記第１ライン抽出処理部は、前記第１撮像部で撮像された前方画像から前記道路上の左右１対の主ラインを左右１対の第１ラインとして求め、前記ライン決定処理部は、前記第１ないし第３ライン抽出処理部それぞれで求めた左右１対の第１ライン、第２ラインおよび第３ラインに基づいて、前記複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記左右１対の第１ライン、第２ラインおよび第３ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求める。

このような車両用ライン検出装置は、車線の境界を表す左右１対の主ラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記複数のアルゴリズムは、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインを前記副ライン（前記副ラインに含まれる第１および第２副ライン）とみなし、前記第１ライン抽出処理部で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求める第１アルゴリズムを含む。

このような車両用ライン検出装置は、前記副ラインとみなした、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインを用いることなく、前記第１ライン抽出処理部で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとするので、車線の境界を表す、前記道路上の左右１対の主ラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記副ラインは、横断歩道を表す、所定の規約に基づいて形成された複数のラインから成る横断歩道ラインを含み、前記第１アルゴリズムは、前記第１ライン抽出処理部で求められた左右１対の第１ラインに基づいて前記車線の第１車線幅を求め、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、前記求めた第１車線幅と第２車線幅との差が前記規約に基づく所定の第１範囲以内である場合、または、前記第１ライン抽出処理部で求められた左右１対の第１ラインのうちの一方の第１ラインより前記第２ライン抽出処理部で求められた第２ラインが前記規約に基づく所定の閾値以上内側である場合および前記第１ライン抽出処理部で求められた左右１対の第１ラインのうちの他方の第１ラインより前記第３ライン抽出処理部で求められた第３ラインが前記閾値以上内側である場合のうちの少なくとも一方である場合に、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインを前記横断歩道ラインとみなし、前記第１ライン抽出処理部で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求める。好ましくは、前記規約は、道路法に基づく道路標識、区画線および道路標識に関する命令であり、前記第１範囲は、０．６５ｍ〜１ｍであり、前記閾値は、０．３５ｍである。

このような車両用ライン検出装置は、路面に横断歩道ラインが形成されている場合でも、前記第１ライン抽出処理部で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとするので、車線の境界を表す、前記道路上の左右１対のラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記道路上の左右１対の主ラインは、所定の規約に基づいて形成された、車道中央線および車線境界線、または、１対の車線境界線であり、前記複数のアルゴリズムは、前記第１ライン抽出処理部で求められた左右１対の第１ラインに基づいて前記車線の第１車線幅を求め、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、前記求めた第１車線幅と第２車線幅との差が前記規約に基づく所定の第２範囲以内ではない場合に、前記第１ライン抽出処理部で求められた左右１対の第１ラインならびに前記第２および第３ライン抽出処理部それぞれで求めた第２および第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求める第２アルゴリズムを含む。好ましくは、前記規約は、上述の前記命令であり、前記第２範囲は、０．１ｍ〜０．６５ｍである。

このような車両用ライン検出装置は、前記第１ライン抽出処理部で求めた左右１対の第１ラインだけでなく、前記左右１対の主ラインとみなした、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインも用いるので、車線の境界を表す、前記道路上の左右１対のラインをより精度良く検出できる。

他の一態様では、これら上述の車両用ライン検出装置において、前記道路上の左右１対の主ラインは、所定の規約に基づいて形成された、車道中央線および車線境界線、または、１対の車線境界線であり、前記副ラインは、前記主ラインから所定の間隔を空けて前記主ラインに平行な補助ラインを含み、前記複数のアルゴリズムは、前記第１ライン抽出処理部で求められた左右１対の第１ラインに基づいて前記車線の第１車線幅を求め、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、前記求めた第１車線幅と第２車線幅との差が前記規約に基づく所定の第２範囲以内である場合に、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインのうちの少なくとも一方を前記補助ラインとみなし、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方および前記所定の間隔に基づいて、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方に対する主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求められた左右１対の第１ライン、および、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方の、前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求める第３アルゴリズムを含む。好ましくは、前記規約は、上述の前記命令であり、前記第２範囲は、０．１ｍ〜０．６５ｍであり、前記第４範囲は、０．１ｍ〜０．３５ｍである。

このような車両用ライン検出装置は、前記補助ラインとみなした、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインのうちの少なくとも一方に基づいて前記主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求めた左右１対の第１ラインだけでなく、前記推定した推定ラインも用いるので、車線の境界を表す、前記道路上の左右１対のラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記道路上のラインは、車線の境界を表す左右１対の主ラインと、前記左右１対の主ラインを除く他の副ラインとを含み、前記副ラインは、前記主ラインから所定の間隔を空けて前記主ラインに平行な補助ラインを含み、前記第１ライン抽出処理部は、前記第１撮像部で撮像された前方画像から前記道路上の左右１対の主ラインのうちの一方を第１ラインとして求め、前記複数のアルゴリズムは、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインのうち、前記道路上の左右１対の主ラインのうちの前記一方に対応するラインを第４ラインとし、前記第４ラインが、所定の時間以上、前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合であって、かつ、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合、前記第４ラインを前記補助ラインとみなし、前記第４ラインおよび前記所定の間隔に基づいて前記一方の主ラインを推定ラインとして推定し、前記一方の第１ラインおよび前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインのうちの一方を最終的に求める第４アルゴリズムを含む。好ましくは、前記規約は、上述の前記命令であり、前記第３範囲は、０．１ｍ〜１ｍであり、前記第４範囲は、０．１ｍ〜０．３５ｍである。

このような車両用ライン検出装置は、前記第１ないし第３ライン抽出処理部において、車線の境界を表す左右１対の主ラインのうちの一方が求められている場合に、前記一方において、前記補助ラインとみなした、前記第４ラインに基づいて前記主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求めた一方の第１ラインだけでなく、前記推定した推定ラインも用いるので、車線の境界を表す、前記道路上の左右１対の主ラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記副ラインは、横断歩道を表す、所定の規約に基づいて形成された複数のラインから成る横断歩道ラインであり、前記第４アルゴリズムは、さらに、前記第４ラインが、所定の時間以上、前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合、および、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合、のうちの少なくとも一方を満たさない場合であって、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合に、前記第４ラインを前記横断歩道ラインとみなし、前記一方の第１ライン自体で前記道路上の左右１対の主ラインのうちの一方を最終的に求める。

このような車両用ライン検出装置は、前記一方において、路面に横断歩道ラインが形成されている場合でも、前記一方の第１ライン自体で前記道路上の左右１対の主ラインのうちの一方を最終的に求めるので、車線の境界を表す、前記道路上の左右１対のラインをより精度良く検出できる。

他の一態様では、上述の車両用ライン検出装置において、前記第４アルゴリズムは、さらに、前記第４ラインが所定の時間以上前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合、および、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合、のうちの少なくとも一方を満たさない場合であって、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合を満たさない場合に、前記第４ラインおよび前記一方の第１ラインに基づいて前記道路上の左右１対の主ラインのうちの一方を最終的に求める。

このような車両用ライン検出装置は、前記一方において、前記一方の第１ラインだけでなく、前記主ラインとみなした前記第４ラインも用いるので、車線の境界を表す、前記道路上の左右１対の主ラインをより精度良く検出できる。

本発明の他の一態様にかかる車両用ライン検出方法は、路面を含むように車両の前方を撮像することで前方画像を生成する第１撮像工程と、路面を含むように前記車両の一方側を撮像することで一方側画像を生成する第２撮像工程と、前記第１撮像工程で生成された前方画像から道路上のラインを第１ラインとして求める第１ライン抽出処理工程と、前記第２撮像工程で生成された一方側画像から道路上のラインを第２ラインとして求める第２ライン抽出処理工程と、前記第１および第２ライン抽出処理工程それぞれで求めた第１および第２ラインに基づいて、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１および第２ラインに基づいて前記道路上のラインを最終的に求めるライン決定処理工程とを備える。

車両用ライン検出方法は、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１および第２ラインに基づいて前記道路上のラインを最終的に求めるので、複数のアルゴリズムの中から、前記道路上のラインを最終的に求めるために適したアルゴリズムを選択でき、この適したアルゴリズムを用いるから、前記道路上のラインをより精度良く検出できる。

本発明にかかる車両用ライン検出装置および車両用ライン検出方法は、道路上のラインをより精度良く検出できる。

実施形態における車両用ライン検出装置の構成を示すブロック図である。 前記車両用ライン検出装置におけるライン検出に関する全体動作を示すフローチャートである。 前記全体動作における第１ライン処理の動作を示すフローチャートである。 前記全体動作における第２ライン処理の動作を示すフローチャートである。 前記全体動作における第３ライン処理の動作を示すフローチャートである。 前記全体動作におけるライン検出に関する動作を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

図１は、実施形態における車両用ライン検出装置の構成を示すブロック図である。本実施形態における車両用ライン検出装置は、例えば乗用車、トラック、フォークリフトおよび工場用部品等搬送車等の車両に搭載され、路面上に形成されたラインを検出する装置である。例えば、図１に示すように、実施形態における車両用ライン検出装置ＬＤは、前方撮像部１と、右側方撮像部２と、左側方撮像部３と、制御処理部４と、記憶部７とを備える。そして、本実施形態では、その検出結果を利用するために、実施形態における車両用ライン検出装置ＬＤは、出力部５と、操舵部６とをさらに備える。

前方撮像部１、右側方撮像部２および左側方撮像部３は、それぞれ、制御処理部４に接続され、制御処理部４の制御に従って画像を生成する装置であり、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記被写体の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。これら前方撮像部１、右側方撮像部２および左側方撮像部３は、１つの購入先から多数を購入することで、あるいは、多数を生産することで、低コスト化を図り、一種類とすることで取扱いの容易化を図るために、同種の製品であることが好ましい。

前方撮像部１は、路面を含むように、車両の前方を撮像するように、前記車両に搭載される。例えば、前方撮像部１は、前記車両内において、フロントガラス近傍の天井面（ルーフ内側面）に、路面を含むように、車両の前方を撮像するように、その撮影方向（光軸方向）を斜め下方に向けて配設される。これによって、前方撮像部１は、路面を含むように前記車両の前方を撮像することで前方画像を生成する。

右側方撮像部２は、路面を含むように、前記車両の一方側（ここでは右側）を撮像するように、前記車両に搭載される。例えば、右側方撮像部２は、その対物レンズが保護ガラスを介して外部に臨むように前記車両の右ドアミラに内蔵され、路面を含むように、車両の右側を撮像するように、その撮影方向（光軸方向）を、前記車両側面から離れる外方にかつ斜め下方に向けて、前記右ドアミラ内に配設される。これによって、前方撮像部１は、路面を含むように前記車両の右側を撮像することで右側方画像を生成する。

左側方撮像部３は、路面を含むように、前記車両の他方側（ここでは左側）を撮像するように、前記車両に搭載される。例えば、左側方撮像部３は、その対物レンズが保護ガラスを介して外部に臨むように前記車両の左ドアミラに内蔵され、路面を含むように、車両の左側を撮像するように、その撮影方向（光軸方向）を、前記車両側面から離れる外方にかつ斜め下方に向けて、前記左ドアミラ内に配設される。これによって、前方撮像部１は、路面を含むように前記車両の左側を撮像することで左側方画像を生成する。

なお、本実施形態では、前方撮像部１は、第１撮像部の一例に相当する。右側方撮像部２は、第２撮像部の一例に相当し、前記右側方画像は、一方側画像の一例に相当する。左側方撮像部３は、第３撮像部の一例に相当し、前記左側方画像は、他方側画像の一例に相当する。

出力部５は、制御処理部４に接続され、制御処理部４の制御に従って所定の情報を出力する装置である。前記所定の情報は、任意の種々の情報であって良いが、例えば、本実施形態では、車線の逸脱の警告を表す情報や後述のように検出したライン（検出結果）を表す情報等である。出力部５は、例えば、制御処理部４の制御に従って、音を表す電気信号に応じた音を生成して出力するブザーやスピーカ等であり、車線の逸脱を警告するための警告音や警告メッセージ等を出力する。あるいは、例えば、出力部５は、制御処理部４の制御に従って所定の情報を表示する、例えば液晶表示装置や有機ＥＬ表示装置等の表示装置であり、前記検出結果や前記警告メッセージ等を表示して出力する。

操舵部６は、制御処理部４に接続され、制御処理部４の制御に従って前記車両の操舵を行う、あるいは、前記車両の操舵を支援する装置である。操舵部６は、例えば、制御処理部４の制御に従って前記車両が車線を維持するように操舵を制御する。

記憶部７は、制御処理部４に接続され、制御処理部４の制御に従って各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、車両用ライン検出装置ＬＤの各部１〜３、５〜７を当該各部の機能に応じてそれぞれ制御する制御プログラムや、前方画像、右側方画像および左側方画像の各画像から道路上のラインを求めるライン抽出処理プログラムや、道路上のラインを決定する互いに異なる複数のアルゴリズムを用いることによって、前記ライン抽出処理プログラムで求められたラインに基づいて車線を検出する車線検出処理プログラムや、前記車線検出処理プログラムで検出した車線に基づいて、出力部５で、前記車線の逸脱を警告する警告処理プログラムや、前記車線検出処理プログラムで検出した車線に基づいて、操舵部６で、前記車両（自車両）が前記車線を維持するように操舵を制御する操舵制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、後述の第１ないし第４範囲や、後述の閾値や、警告音（または警告メッセージ）のデータ等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部７は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部７は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部４のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

制御処理部４は、車両用ライン検出装置ＬＤの各部１〜３、５〜７を当該各部の機能に応じてそれぞれ制御し、道路上のラインを求めるための回路である。制御処理部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部４は、前記制御処理プログラムが実行されることによって、制御部４１、ライン抽出処理部４２、車線検出処理部４３、警告処理部４４および操舵処理部４５を機能的に備える。車線検出処理部４３は、第１ライン処理部４３１、第２ライン処理部４３２、第３ライン処理部４３３、第４ライン処理部４３４および車線処理部４３５を機能的に備える。

制御部４１は、車両用ライン検出装置ＬＤの各部１〜３、５〜７を当該各部の機能に応じてそれぞれ制御し、車両用ライン検出装置ＬＤの全体制御を司るものである。

ライン抽出処理部４２は、前方撮像部１で生成された前方画像から道路上のラインを第１ラインとして求め、右側方撮像部２で生成された右側方画像から道路上のラインを第２ラインとして求め、そして、左側方撮像部３で生成された左側方画像から道路上のラインを第３ラインとして求めるものである。画像からラインを抽出するライン抽出処理は、公知の処理手法が用いられる。例えば、前記特許文献１に開示されているように、予め白線を示すテンプレート画像を用意し、前記テンプレート画像とカメラで得られた画像とのマッチングを行って白線位置を検出するテンプレートマッチング法を用いて白線が求められる。あるいは、例えば、特開平７−８５２４９号公報に開示されているように、白線探索エリア内で横方向に明度変化が探索され、明度変化の極めて少ない部分が道路部分であると判断され、明度変化の極めて少ない道路部分に隣接して該明度変化が大きい部分が白線であると判断される。あるいは、例えば、特開２００７−２２００１３号公報に開示されているように、走行路上の画像からエッジ検出により白線の候補となる構造物が検出され、前記白線の候補となる構造物の位置に対して所定の複数の相対位置にそれぞれ所定の構造物が存在するか否かが判定され、この判定結果に基づいて前記白線の候補となる構造物が白線であるか否かが判定される。ここで、前記所定の複数の相対位置および前記所定の構造物は、路上の複数の構造物が有する特有の相対位置関係を基に定められている。

なお、ライン抽出処理部４２は、第１ライン抽出処理部の一例であり、第２ライン抽出処理部の一例であり、そして、第３ライン抽出処理部の一例である。

車線検出処理部４３は、ライン抽出処理部４２で求めた第１ないし第３ラインに基づいて、記憶部７に予め記憶されている、道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、この選択したアルゴリズムで第１ないし第３ラインに基づいて道路上のラインを最終的に求め、この求めた道路上のラインに基づいて車線を検出するものである。前記道路上のラインは、路面に形成された、道路標示や区画線等に関するラインであり、本実施形態では、例えば、主ライン（本実施形態では左右１対の主ライン）と、前記主ラインを除く他の副ラインとを含む。このため、ライン抽出処理部４２は、前方撮像部１で撮像された前方画像から前記道路上の左右１対の主ラインを左右１対の第１ラインとして求める。好ましくは、前記左右１対の主ラインは、所定の規約に基づいて形成された車道中央線および車線境界線、または、１対の車線境界線である。好ましくは、前記副ラインは、前記主ラインから、車線の幅方向に所定の間隔を空けて、前記主ラインに平行な補助ライン、および、横断歩道を表す、所定の規約に基づいて形成された複数のラインから成る横断歩道ラインを含む。前記所定の規約は、任意であって良いが、例えば、日本での、道路法に基づく道路標識、区画線および道路標識に関する命令である。例えば、車線幅（車線幅員）Ｄ１は、３．０ｍ〜３．５ｍであり、車道中央線、車線境界線および補助ラインにおける各幅ｄ１は、それぞれ、０．１ｍ〜０．１５ｍであり、車線境界線と補助ラインとの間隔ｄ２は、車線境界線および補助ラインにおける各幅ｄ１と同一あり（ｄ１＝ｄ２）、横断歩道ラインの各ラインは、それぞれ、幅Ｄ２が０．４５ｍ〜０．５ｍであって各間隔Ｄ３が０．４５ｍ〜０．５ｍである。

より具体的には、車線検出処理部４３は、ライン抽出処理部４２で求めた第１および第２ラインに基づいて、前記複数のアルゴリズムの中から１つのアルゴリズムを選択し、この選択したアルゴリズムで第１および第２ラインに基づいて道路上の一方側のライン、本実施形態では左右１対の主ラインのうちの右の主ラインを最終的に求め、ライン抽出処理部４２で求めた第１および第３ラインに基づいて、前記複数のアルゴリズムの中から１つのアルゴリズムを選択し、この選択したアルゴリズムで第１および第３ラインに基づいて道路上の他方側のライン、本実施形態では左右１対の主ラインのうちの左の主ラインを最終的に求め、これら求めた道路上の左右１対の主ラインに基づいて車線を検出する。好ましくは、前記複数のアルゴリズムは、例えば、第１ないし第４アルゴリズムを含む。

第１アルゴリズムは、第２ラインを副ラインとみなし、第１ラインを道路上の主ラインとすることで前記道路上の主ラインを最終的に求めるアルゴリズム、本実施形態では、第２および第３ラインを副ラインとみなし、左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求めるアルゴリズムである。より具体的には、本実施形態では、第１アルゴリズムは、ライン抽出処理部４２で求められた左右１対の第１ラインに基づいて車線の第１車線幅を求め、ライン抽出処理部４２で求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、これら求めた第１車線幅と第２車線幅との差（例えば第１車線幅から第２車線幅を減算した減算結果）が前記規約に基づく所定の第１範囲以内である場合に、または、ライン抽出処理部４２で求められた左右１対の第１ラインのうちの一方の第１ラインよりライン抽出処理部４２で求められた第２ラインが前記規約に基づく所定の閾値以上内側である場合およびライン抽出処理部４２で求められた左右１対の第１ラインのうちの他方の第１ラインよりライン抽出処理部４２で求められた第３ラインが前記閾値以上内側である場合のうちの少なくとも一方である場合に、ライン抽出処理部４２で求められた第２および第３ラインを横断歩道ラインとみなし、ライン抽出処理部４２で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求める。例えば、前記所定の規約が上述の前記命令である場合に、各ラインが上述のように規定されているため、前記規約に基づく所定の第１範囲は、０．６５ｍ〜１ｍであり、前記規約に基づく所定の閾値は、０．３５ｍである。なお、後述の第２ないし第４範囲も上記規定を同様に考慮して設定される。

第２アルゴリズムは、第２ラインを主ラインとみなし、第１ラインおよび第２ラインに基づいて前記道路上の主ラインを最終的に求めるアルゴリズム、本実施形態では、第２および第３ラインを左右１対の主ラインとみなし、左右１対の第１ラインならびに第２および第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求めるアルゴリズムである。より具体的には、本実施形態では、第２アルゴリズムは、ライン抽出処理部４２で求められた左右１対の第１ラインに基づいて車線の第１車線幅を求め、ライン抽出処理部４２で求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、これら求めた第１車線幅と第２車線幅との差（例えば第１車線幅から第２車線幅を減算した減算結果）が前記規約に基づく所定の第２範囲以内ではない場合に、前記左右１対の第１ラインならびに前記第２および第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求める。前記規約に基づく所定の第２範囲は、例えば、前記規約が上述の前記命令である場合に、０．１ｍ〜０．６５ｍである。

第３アルゴリズムは、第２ラインを補助ラインとみなし、第２ラインおよび前記所定の間隔に基づいて主ラインを推定ラインとして推定し、第１ラインおよび推定ラインに基づいて前記道路上の主ラインを最終的に求めるアルゴリズム、本実施形態では、第２および第３ラインのうちの少なくとも一方を補助ラインとみなし、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方および前記所定の間隔に基づいて、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方に対する主ラインを推定ラインとして推定し、左右１対の第１ライン、および、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方の、前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求めるアルゴリズムである。より具体的には、本実施形態では、第３アルゴリズムは、ライン抽出処理部４２で求められた左右１対の第１ラインに基づいて車線の第１車線幅を求め、ライン抽出処理部４２で求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、これら求めた第１車線幅と第２車線幅との差（例えば第１車線幅から第２車線幅を減算した減算結果）が前記規約に基づく所定の第２範囲以内である場合に、ライン抽出処理部４２で求められた第２および第３ラインのうちの少なくとも一方を補助ラインとみなし、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方および前記所定の間隔に基づいて、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方に対する主ラインを推定ラインとして推定し、ライン抽出処理部４２で求められた左右１対の第１ライン、および、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方の、前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求める。

第４アルゴリズムは、ライン抽出処理部４２が前方画像から道路上の左右１対の主ラインのうちの一方を第１ラインとして求めている場合に、ライン抽出処理部４２で求められた第２および第３ラインのうち、道路上の左右１対の主ラインのうちの前記一方に対応するラインを第４ラインとし、前記第４ラインが所定の時間以上前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合であって、かつ、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合に、前記第４ラインを補助ラインとみなし、前記第４ラインおよび前記所定の間隔に基づいて前記一方の主ラインを推定ラインとして推定し、前記一方の第１ラインおよび前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインのうちの一方を最終的に求めるアルゴリズムである。前記所定の時間は、ライン抽出処理部４２で抽出されたラインが誤検出でもノイズでもなく、ラインであると認定するために必要な時間であり、例えば、複数のサンプルに基づいて適宜に設定される。この第４アルゴリズムは、さらに、前記第４ラインが所定の時間以上前記第１ラインより、前記第３範囲だけ内側である場合、および、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合、のうちの少なくとも一方を満たさない場合であって、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合、前記第４ラインを前記横断歩道ラインとみなし、前記一方の第１ライン自体で前記道路上の左右１対の主ラインのうちの一方を最終的に求める。この第４アルゴリズムは、さらに、前記第４ラインが所定の時間以上前記第１ラインより、前記第３範囲だけ内側である場合、および、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合、のうちの少なくとも一方を満たさない場合であって、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合を満たさない場合に、前記第４ラインおよび前記一方の第１ラインに基づいて前記道路上の左右１対の主ラインのうちの一方を最終的に求める。例えば、前記規約が上述の前記命令である場合に、前記規約に基づく所定の第３範囲は、０．１ｍ〜１ｍであり、前記規約に基づく所定の第４範囲は、０．１ｍ〜０．３５ｍである。

第１ライン処理部４３１は、ライン抽出処理部４２によって前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ライン、第２ラインおよび第３ラインを抽出した場合に、第１ないし第３アルゴリズムを用いて、これら左右１対の第１ライン、第２ラインおよび第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求めるものである。

第２ライン処理部４３２は、ライン抽出処理部４２によって前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ラインのうちの左の第１ラインおよび第３ラインのみを抽出した場合（右の第１ラインおよび第２ラインのうちの少なくとも一方が抽出できない場合）に、第４アルゴリズムを用いて、これら左の第１ラインおよび第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求めるものである。

第３ライン処理部４３３は、ライン抽出処理部４２によって前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ラインのうちの右の第１ラインおよび第２ラインのみを抽出した場合（左の第１ラインおよび第３ラインのうちの少なくとも一方が抽出できない場合）に、第４アルゴリズムを用いて、これら右の第１ラインおよび第２ラインに基づいて前記道路上の左右１対の主ラインを最終的に求めるものである。

第４ライン処理部４３４は、ライン抽出処理部４２によって前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ラインのみを抽出した場合（第２および第３ラインが抽出できない場合）に、この抽出した左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求めるものである。

車線処理部４３５は、第１ないし第４ライン処理部４３２〜４３５で抽出した前記道路上の左右１対の主ラインに基づいて、自車両が走行する車線を求めるものである。

なお、車線検出処理部４３は、ライン決定処理部の一例に相当する。

警告処理部４４は、ライン決定処理部の一例としての車線検出処理部４３で求められた最終的な道路上の左右１対の主ラインに基づいて、出力部５で、車線の逸脱を警告するものである。

操舵処理部４５は、ライン決定処理部の一例としての車線検出処理部４３で求められた最終的な道路上の左右１対の主ラインに基づいて、操舵部６で、自車両が車線を維持するように操舵を制御するものである。

次に、本実施形態における車両用ライン検出装置の動作について説明する。図２は、前記車両用ライン検出装置におけるライン検出に関する全体動作を示すフローチャートである。図３は、前記全体動作における第１ライン処理の動作を示すフローチャートである。図４は、前記全体動作における第２ライン処理の動作を示すフローチャートである。図５は、前記全体動作における第３ライン処理の動作を示すフローチャートである。図６は、前記全体動作におけるライン検出に関する動作を説明するための図である。図６Ａは、道路上の左右１対の主ラインＬＲ、ＬＬが前方撮像部１の前方視野ＦＶ、右側方撮像部２の右側方視野ＲＶおよび左側方撮像部３の左側方視野ＬＶに捉えられている場合を示し、図６Ｂは、道路上の左右１対の主ラインＬＲ、ＬＬが前方撮像部１の前方視野ＦＶ、右側方撮像部２の右側方視野ＲＶおよび左側方撮像部３の左側方視野ＬＶそれぞれに捉えられ、さらに、横断歩道ラインＷＬが右側方撮像部２の右側方視野ＲＶおよび左側方撮像部３の左側方視野ＬＶそれぞれに捉えられている場合を示し、図６Ｃは、道路上の左右１対の主ラインＬＲ、ＬＬおよびそれぞれに平行な各補助ラインＬＣＲ、ＬＣＬが前方撮像部１の前方視野ＦＶ、右側方撮像部２の右側方視野ＲＶおよび左側方撮像部３の左側方視野ＬＶそれぞれに捉えられている場合を示す。

このような車両用ライン検出装置ＬＤは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部４には、制御部４１、ライン抽出処理部４２、車線検出処理部４３、警告処理部４４および操舵処理部４５が機能的に構成される。車線検出処理部４３には、第１ライン処理部４３１、第２ライン処理部４３２、第３ライン処理部４３３、第４ライン処理部４３４および車線処理部４３５が機能的に構成される。前方撮像部１、右側方撮像部２および左側方撮像部３は、それぞれ、制御処理部４の制御に従って互いに略同期して、所定のフレームレートであるいは所定のサンプリング間隔で、前方画像、右側方画像および左側方画像を生成し、これら生成した前方画像、右側方画像および左側方画像を制御処理部４へ出力する。そして、制御処理部４は、各フレームごとに、あるいは、数フレームおきに、あるいは、サンプリング間隔おきに、次のように動作することで、道路上の左右１対の主ラインを検出し、自車両の走行する車線を検出している。

図２において、まず、車両用ライン検出装置ＬＤは、制御処理部４の制御部４１によって、前方撮像部１、右側方撮像部２および左側方撮像部３それぞれから、略同期した前方画像、右側方画像および左側方画像を取得する（Ｓ１）。

次に、車両用ライン検出装置ＬＤは、制御処理部４のライン抽出処理部４２によって、前方撮像部１、右側方撮像部２および左側方撮像部３それぞれから、ラインを抽出する抽出処理を実行する（Ｓ２）。

次に、車両用ライン検出装置ＬＤは、制御処理部４の車線検出処理部４３によって、前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ライン、第２ラインおよび第３ラインを抽出しているか否かを判定する（Ｓ３）。この判定の結果、左右１対の第１ライン、第２ラインおよび第３ラインが抽出されている場合（Ｙｅｓ）には、車線検出処理部４３は、第１ライン処理Ｓ６を実行した後に、処理Ｓ１０を実行する。この第１ライン処理Ｓ６は、第１ないし第３アルゴリズムを選択し、第１ライン処理部４３１によって、これら選択した第１ないし第３アルゴリズムを用いてこれら左右１対の第１ライン、第２ラインおよび第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求める処理であり、図３を用いて後に詳述する。一方、前記判定の結果、左右１対の第１ライン、第２ラインおよび第３ラインが抽出されている場合ではない場合（Ｎｏ）には、車線検出処理部４３は、次に、処理Ｓ４を実行する。

この処理Ｓ４では、車両用ライン検出装置ＬＤは、制御処理部４の車線検出処理部４３によって、前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ラインのうちの左の第１ラインおよび第３ラインを抽出しているか否かを判定する。この判定の結果、左の第１ラインおよび第３ラインが抽出されている場合（Ｙｅｓ）には、車線検出処理部４３は、第２ライン処理Ｓ７を実行した後に、処理Ｓ１０を実行する。この第２ライン処理Ｓ７は、第４アルゴリズムを選択し、第２ライン処理部４３２によって、この選択した第４アルゴリズムを用いてこれら左の第１ラインおよび第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求める処理であり、図４を用いて後に詳述する。一方、前記判定の結果、左の第１ラインおよび第３ラインが抽出されている場合ではない場合（Ｎｏ）には、車線検出処理部４３は、次に、処理Ｓ５を実行する。

この処理Ｓ５では、車両用ライン検出装置ＬＤは、制御処理部４の車線検出処理部４３によって、前方画像、右側方画像および左側方画像それぞれから、左右１対の第１ラインのうちの右の第１ラインおよび第２ラインを抽出しているか否かを判定する。この判定の結果、右の第１ラインおよび第２ラインが抽出されている場合（Ｙｅｓ）には、車線検出処理部４３は、第３ライン処理Ｓ８を実行した後に、処理Ｓ１０を実行する。この第３ライン処理Ｓ８は、第４アルゴリズムを選択し、第３ライン処理部４３３によって、この選択した第４アルゴリズムを用いてこれら右の第１ラインおよび第２ラインに基づいて前記道路上の左右１対の主ラインを最終的に求める処理であり、図５を用いて後に詳述する。一方、前記判定の結果、右の第１ラインおよび第２ラインが抽出されている場合ではない場合（Ｎｏ）には、車線検出処理部４３は、次に、処理Ｓ９を実行する。

この処理Ｓ９では、車両用ライン検出装置ＬＤは、制御処理部４における車線検出処理部４３の第４ライン処理部４３４によって、処理Ｓ２で抽出した左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求める第４ライン処理を実行し、その後、処理Ｓ１０を実行する。

この処理Ｓ１０では、車両用ライン検出装置ＬＤは、制御処理部４における車線検出処理部４３の車線処理部４３５によって、第１ないし第４ライン処理部４３２〜４３５で抽出した前記道路上の左右１対の主ラインに基づいて、自車両が走行する車線を求める。すなわち、車線処理部４３５は、第１ないし第４ライン処理部４３１〜４３４で抽出した前記道路上の左右１対の主ライン間を、自車両が走行する車線とする。この車線を求めた結果、車両用ライン検出装置ＬＤは、車線を逸脱している場合には、制御処理部４の警告処理部４４によって、出力部５で、車線の逸脱を警告する一方、車線を逸脱していない場合には、警告しない。そして、車両用ライン検出装置ＬＤは、制御処理部４の操舵処理部４５によって、操舵部６で、自車両が車線を維持するように操舵を制御する。

これによって、今回のタイミングでの、道路上の左右１対の主ラインを検出し、自車両の走行する車線を検出する処理が終了され、次回のタイミングで、上述と同様な、道路上の左右１対の主ラインを検出し、自車両の走行する車線を検出する処理が、開始される。

次に、第１ライン処理Ｓ６について説明する。この第１ライン処理Ｓ６は、前方画像から左右１対の第１ラインが抽出され、右側方画像から第２ラインが抽出され、左側方画像から第３ラインが抽出されている場合に、車道中央線（センターライン）、車線境界線（レーンマーカ）および補助線が所定の規約、本実施形態では日本での道路法に基づく道路標識、区画線および道路標識に関する命令に従って路面上に形成されていることを利用することによって、第２および第３ラインが、それぞれ、主ライン（車道中央線または車線境界線）であるか否か、補助ライン（補助線）であるか否か、および、横断歩道ラインであるか否かを判定し、この判定結果を用いて左右１対の第１ライン、第２ラインおよび第３ラインに基づいて道路上の左右１対の主ラインを最終的に求める処理である。

より具体的には、図３において、まず、車両用ライン検出装置ＬＤは、右側方撮像部２および左側方撮像部３によって横断歩道ラインを検出しているか否かを判定する（Ｓ６０１）。より詳しくは、左右１対の第１ライン、第２ラインおよび第３ラインが検出されていることから、まず、横断歩道の検出の有無を調べるために第１アルゴリズムが選択され、第１ライン処理部４３１は、この選択された第１アルゴリズムを実行する。すなわち、例えば自車両ＶＣが図６Ａに示す第１状況、図６Ｂに示す第２状況および図６Ｃに示す第３状況のうちのいずれかであることから、第１ライン処理部４３１は、まず、左右１対の第１ラインに基づいて車線の第１車線幅を求め、第２および第３ラインに基づいて前記車線の第２車線幅を求め、第１ライン処理部４３１は、これら求めた第１車線幅と第２車線幅との差（例えば第１車線幅から第２車線幅を減算した減算結果）が前記第１範囲以内であるか否か、左右１対の第１ラインのうちの一方の第１ライン（本実施形態では右の第１ライン）より第２ラインが前記閾値以上内側であるか否か、左右１対の第１ラインのうちの他方の第１ライン（本実施形態では左の第１ライン）より第３ラインが前記閾値以上内側であるか否かを判定する。次に、この判定の結果、前記減算結果が前記第１範囲以内である場合に、または、前記一方の第１ライン（ここでは右の第１ライン）より第２ラインが前記閾値以上内側である場合および前記他方の第１ライン（ここでは左の第１ライン）より第３ラインが前記閾値以上内側である場合のうちの少なくとも一方である場合（Ｙｅｓ、すなわち、自車両ＣＶが図６Ｂに示す第２状況であって横断歩道ＷＬの検出である場合）には、第１ライン処理部４３１は、次に、処理Ｓ６０２を実行した後に、本第１ライン処理Ｓ６を終了する。一方、前記判定の結果、前記減算結果が前記第１範囲以内ではない場合、または、前記一方の第１ラインより第２ラインが前記閾値以上内側である場合および前記他方の第１ラインより第３ラインが前記閾値以上内側である場合を共に満たさない場合（Ｎｏ、すなわち、例えば自車両ＣＶが図６Ａに示す第１状況および図６Ｃに示す第３状況のうちのいずれかであって少なくとも横断歩道ＷＬの検出ではない場合）には、第１ライン処理部４３１は、第１アルゴリズムの処理を終了し、次に、処理Ｓ６０３を実行する。

この処理Ｓ６０２では、第１ライン処理部４３１は、第２および第３ラインを横断歩道ラインとみなし、左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求め、第１アルゴリズムの処理を終了する。

前記処理Ｓ６０３では、車両用ライン検出装置ＬＤは、右側方撮像部２および左側方撮像部３によって補助ラインを検出しているか否かを判定する（Ｓ６０１）。より詳しくは、左右１対の第１ライン、第２ラインおよび第３ラインが検出され、処理Ｓ６０１で横断歩道の検出ではないことから、次に補助ラインの検出の有無を調べるために第２アルゴリズムが選択され、第１ライン処理部４３１は、この選択された第２アルゴリズムを実行する。すなわち、第１ライン処理部４３１は、まず、上述と同様に、第１および第２車線幅それぞれを求める。次に、第１ライン処理部４３１は、これら求めた第１車線幅と第２車線幅との差（例えば前記減算結果）が前記第２範囲以内であるか否かを判定する。次に、この判定の結果、前記減算結果が前記第２範囲以内ではない場合（Ｎｏ、すなわち、例えば自車両ＣＶが図６Ａに示す第１状況であって少なくとも補助ラインＬＣＬ、ＬＣＲの検出ではない場合）には、第１ライン処理部４３１は、次に、処理Ｓ６１５を実行した後に、本第１ライン処理Ｓ６を終了する。一方、前記判定の結果、前記減算結果が前記第２範囲以内である場合（Ｙｅｓ、すなわち、例えば自車両ＣＶが図６Ｃに示す第３状況であって少なくともいずれかの補助ラインＬＣＬ、ＬＣＲの検出である場合）には、第１ライン処理部４３１は、次に、処理Ｓ６０４を実行する。

この処理Ｓ６１５では、第１ライン処理部４３１は、第２および第３ラインを左右１対の主ラインとみなし、前記左右１対の第１ラインならびに前記第２および第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求め、第２アルゴリズムの処理を終了する。例えば、第１ライン処理部４３１は、左右１対の第１ラインの各第１位置を求め、第２および第３ラインの第２および第３位置を求め、これら求めた各第１位置と第２および第３位置との各平均位置（右の第１ラインの第１位置と第２位置との平均位置、および、左の第１ラインの第１位置と第３位置との平均位置）を道路上の左右１対の主ラインにおける各位置として求めることで、前記道路上の左右１対の主ラインを最終的に求める。なお、前方撮像部１、右側方撮像部２および左側方撮像部３の製品バラツキ等によるライン抽出精度に応じた重みで重み付け平均位置が求められても良い。

上述の処理Ｓ６０３の判定によって補助ラインの存在が判定され、処理Ｓ６０３ないし処理Ｓ６１４では、第３アルゴリズムが選択され、第３アルゴリズムによって、補助ラインから主ラインが推定ラインとして推定され、この推定された推定ラインに基づいて最終的に主ラインが求められる。すなわち、これら処理Ｓ６０３ないし処理Ｓ６１４では、第１ライン処理部４３１は、第２および第３ラインのうちの少なくとも一方を補助ラインとみなし、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方および前記所定の間隔に基づいて、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方に対する主ラインを推定ラインとして推定し、左右１対の第１ライン、および、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方の、前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求める。

より具体的には、上述のように処理Ｓ６０３の判定によって補助ラインの存在が判定されたが、左右１対の主ラインそれぞれに対し各補助ラインが存在するか否か、あるいは、左右１対の主ラインのうちのいずれか一方に対し補助ラインが存在するか否かが不明であることから、まず、処理Ｓ６０４では、車両用ライン検出装置ＬＤは、第１段階の判定として、左右１対の主ラインそれぞれに対し各補助ラインが存在するか否かを判定する。より詳しくは、第１ライン処理部４３１は、左右１対の第１ラインのうちの右の第１ラインより第２ラインが前記規約に基づく所定の第４範囲だけ内側であるか否か、および、左右１対の第１ラインのうちの左の第１ラインより第３ラインが前記第４範囲だけ内側であるか否か、を判定する。この判定の結果、前記右の第１ラインより第２ラインが前記第４範囲だけ内側である場合であって、かつ、前記左の第１ラインより第３ラインが前記第４範囲だけ内側である場合（Ｙｅｓ）には、第１ライン処理部４３１は、次に、処理Ｓ６０５および処理Ｓ６０６の各処理を順次に実行し、第３アルゴリズムの処理を終了する。一方、前記判定の結果、前記右の第１ラインより第２ラインが前記第４範囲だけ内側ではない場合、および、前記左の第１ラインより第３ラインが前記第４範囲だけ内側ではない場合のうちの少なくとも一方である場合（Ｎｏ）には、第１ライン処理部４３１は、次に、処理Ｓ６０７を実行する。

この処理Ｓ６０５では、第１ライン処理部４３１は、第２および第３ラインそれぞれを補助ラインとみなし、第２ラインおよび前記所定の間隔に基づいて右の主ラインを右の推定ラインとして推定し、第３ラインおよび前記所定の間隔に基づいて左の主ラインを左の推定ラインとして推定する。

この処理Ｓ６０５に続く処理Ｓ６０６では、第１ライン処理部４３１は、前記左右１対の第１ラインおよび処理Ｓ６０５で求めた左右の各推定ラインに基づいて前記道路上の左右１対の主ラインを最終的に求め、第３アルゴリズムの処理を終了する。例えば、第１ライン処理部４３１は、左右１対の第１ラインの各第１位置を求め、処理Ｓ６０５で求めた左右の各推定ラインの各位置を求め、これら求めた左右１対の第１ラインの各第１位置と処理Ｓ６０５で求めた左右の各推定ラインの各位置との各平均位置（右の第１ラインの第１位置と右の推定ラインの位置との平均位置、および、左の第１ラインの第１位置と左の推定ラインの位置との平均位置）を道路上の左右１対の主ラインにおける各位置として求めることで、前記道路上の左右１対の主ラインを最終的に求める。

一方、前記処理Ｓ６０７では、車両用ライン検出装置ＬＤは、第２段階の判定として、左の主ラインに対し補助ラインが存在するか否かを判定する。より詳しくは、第１ライン処理部４３１は、左右１対の第１ラインのうちの左の第１ラインより第３ラインが前記第４範囲だけ内側であるか否かを判定する。この判定の結果、前記左の第１ラインより第３ラインが前記第４範囲だけ内側である場合には、左の補助ラインが存在すると判定し（Ｙｅｓ）、第１ライン処理部４３１は、次に、処理Ｓ６０８および処理Ｓ６０９の各処理を順次に実行した後に、処理Ｓ６１１を実行する。一方、前記判定の結果、前記左の第１ラインより第３ラインが前記第４範囲だけ内側ではない場合には、左の補助ラインが存在しないと判定し（Ｎｏ）、第３ライン処理部４３３は。次に、処理Ｓ６１０を実行した後に、処理Ｓ６１１を実行する。

この処理Ｓ６０８では、第１ライン処理部４３１は、第３ラインを補助ラインとみなし、第３ラインおよび前記所定の間隔に基づいて左の主ラインを左の推定ラインとして推定する。

この処理Ｓ６０８に続く処理Ｓ６０９では、第１ライン処理部４３１は、前記左右１対の第１ラインのうちの左の第１ラインおよび処理Ｓ６０８で求めた左の推定ラインに基づいて前記道路上の左右１対の主ラインのうちの左の主ラインを最終的に求め、第３アルゴリズムの処理を終了する。

前記処理Ｓ６１０では、第１ライン処理部４３１は、第３ラインを左の主ラインとみなし、前記左右１対の第１ラインのうちの左の第１ラインおよびこの左の主ラインとみなした第３ラインに基づいて前記道路上の左右１対の主ラインのうちの左の主ラインを最終的に求め、第３アルゴリズムの処理を終了する。

このように処理Ｓ６０７ないし処理Ｓ６１０の各処理によって、左の第１ラインおよび第３ラインに基づいて左の主ラインが最終的に求められたが、処理Ｓ６１１ないし処理Ｓ６１４によって、右の第１ラインおよび第２ラインに基づいて右の主ラインが最終的に求められる。このため、処理Ｓ６１１ないし処理Ｓ６１４の各処理は、それぞれ、“左”を“右”に読み替え、“第３”を”第２“に読み替えることで、処理Ｓ６０７ないし処理Ｓ６１０の各処理と同様に説明できるので、その説明を省略する。

このような各処理によって第１ライン処理Ｓ６が実行される。

次に、第２ライン処理Ｓ７について説明する。この第２ライン処理Ｓ７は、前方画像から左の第１ラインが抽出され、左側方画像から第３ラインが抽出されている場合に、車道中央線、車線境界線および補助線が所定の規約に従って路面上に形成されていることを利用することによって、第３ラインが、主ライン（車道中央線または車線境界線）であるか否か、補助ライン（補助線）であるか否か、および、横断歩道ラインであるか否かを判定し、この判定結果を用いて左の第１ラインおよび第３ラインに基づいて道路上の左右１対のうちの左の主ラインを最終的に求める処理である。

より具体的には、図４において、まず、車両用ライン検出装置ＬＤは、右の主ラインを処理しないので、前回で求めた右の主ラインを最終的な右の主ラインとする（Ｓ７０１）。

次に、車両用ライン検出装置ＬＤは、左側方撮像部３によって左の補助ラインを検出しているか否かを判定する（Ｓ７０２）。より詳しくは、左の第１ラインおよび第３ラインが抽出されていることから、左の主ラインを最終的に求めるために、第４アルゴリズムが選択され、第２ライン処理部４３２は、この選択された第４アルゴリズムを実行する。すなわち、第２ライン処理部４３２は、まず、第３ラインが、所定の時間以上、前記左の第１ラインより前記第３範囲だけ内側であるか否か、および、前記第３ラインが前記左の第１ラインより前記第４範囲だけ内側であるか否かを判定する。この判定の結果、第３ラインが、所定の時間以上、前記左の第１ラインより前記第３範囲だけ内側である場合であって、かつ、前記第３ラインが前記左の第１ラインより前記第４範囲だけ内側である場合、左の補助ラインが存在すると判定し（Ｙｅｓ）、第２ライン処理部４３２は、次に、処理Ｓ７０３および処理Ｓ７０４の各処理を順次に実行し、第４アルゴリズムの処理を終了する。一方、前記判定の結果、第３ラインが所定の時間以上前記左の第１ラインより前記第３範囲だけ内側である場合、および、前記第３ラインが前記左の第１ラインより前記第４範囲だけ内側である場合のうちの少なくとも一方を満たさない場合、左の補助ラインが存在しないと判定し（Ｎｏ）、第２ライン処理部４３２は、次に、処理Ｓ７０５を実行する。

この処理Ｓ７０３では、第２ライン処理部４３２は、第３ラインを補助ラインとみなし、第３ラインおよび前記所定の間隔に基づいて左の主ラインを左の推定ラインとして推定する。

この処理Ｓ７０３に続く処理Ｓ７０４では、第２ライン処理部４３２は、前記左右１対の第１ラインのうちの左の第１ラインおよび処理Ｓ７０３で求めた左の推定ラインに基づいて前記道路上の左右１対の主ラインのうちの左の主ラインを最終的に求め、第４アルゴリズムの処理を終了する。

一方、前記処理Ｓ７０５では、車両用ライン検出装置ＬＤは、左側方撮像部３によって横断歩道ラインを検出しているか否かを判定する。より詳しくは、第２ライン処理部４３２は、前記左の第１ラインより前記第３範囲だけ内側であるか否かを判定する。この判定の結果、前記左の第１ラインより前記第３範囲だけ内側である場合（Ｙｅｓ、すなわち、横断歩道の検出の場合）には、第２ライン処理部４３２は、次に、処理Ｓ７０６を実行し、第４アルゴリズムの処理を終了する。一方、前記判定の結果、前記左の第１ラインより前記第３範囲だけ内側ではない場合（Ｎｏ）には、第２ライン処理部４３２は、次に、処理Ｓ７０７を実行し、第４アルゴリズムの処理を終了する。

この処理Ｓ７０６では、第２ライン処理部４３２は、第３ラインを横断歩道ラインとみなし、前記左の第１ライン自体を前記道路上の左右１対の主ラインのうちの左の主ラインとして前記左の主ラインを最終的に求める。

この処理Ｓ７０７では、第２ライン処理部４３２は、第３ラインを左の主ラインとみなし、前記左右１対の第１ラインのうちの左の第１ラインおよびこの左の主ラインとみなした第３ラインに基づいて前記道路上の左右１対の主ラインのうちの左の主ラインを最終的に求める。

このような各処理によって第２ライン処理Ｓ７が実行される。

上述のように、左の第１ラインおよび第３ラインに基づいて最終的に左の主ラインを求めるために、処理Ｓ７０１ないし処理Ｓ７０７の各処理によって第２ライン処理Ｓ７が実行されたが、右の第１ラインおよび第２ラインに基づいて最終的に右の主ラインを求めるために、図５に示す処理Ｓ８０１ないし処理Ｓ８０７によって第３ライン処理Ｓ８が実行される。このため、処理Ｓ８０１ないし処理Ｓ８０７の各処理は、それぞれ、“第２ライン処理部４３２”を“第３ライン処理部４３３”に読み替え、“左”を“右”に読み替え、“第３”を”第２“に読み替えることで、処理Ｓ７０１ないし処理Ｓ７０７の各処理と同様に説明できるので、その説明を省略する。

以上説明したように、本実施形態における車両用ライン検出装置ＬＤおよびこれに実装された車両用ライン検出方法は、道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、この選択したアルゴリズムで第１ないし第３ラインに基づいて前記道路上のライン（本実施形態では左右１対の主ライン）を最終的に求めるので、複数のアルゴリズムの中から、前記道路上のラインを最終的に求めるために適したアルゴリズムを選択でき、この適したアルゴリズムを用いるから、前記道路上のラインをより精度良く検出できる。

上記車両用ライン検出装置ＬＤおよび該方法は、第１アルゴリズムを用いる場合、副ラインとみなした第２および第３ラインを用いることなく（例えば路面に横断歩道ラインが形成されている場合でも横断歩道ラインとみなした第２および第３ラインを用いることなく）、左右１対の第１ラインを道路上の左右１対の主ラインとするので、車線の境界を表す、前記道路上の左右１対の主ラインをより精度良く検出できる。

上記車両用ライン検出装置ＬＤおよび該方法は、第２アルゴリズムを用いる場合、左右１対の第１ラインだけでなく、前記左右１対の主ラインとみなした第２および第３ラインも用いるので、前記道路上の左右１対のラインをより精度良く検出できる。

上記車両用ライン検出装置ＬＤおよび該方法は、第３アルゴリズムを用いる場合、補助ラインとみなした第２および第３ラインのうちの少なくとも一方に基づいて主ラインを推定ラインとして推定し、左右１対の第１ラインだけでなく、この推定した推定ラインも用いるので、前記道路上の左右１対のラインをより精度良く検出できる。

上記車両用ライン検出装置ＬＤおよび該方法は、第４アルゴリズムを用いる場合、左右１対の主ラインのうちの一方が求められている場合に、前記一方において、補助ラインとみなした前記第４ラインに基づいて主ラインを推定ラインとして推定し、前記一方の第１ラインだけでなく、この推定した推定ラインも用いるので、前記道路上の左右１対の主ラインをより精度良く検出できる。前記一方において、路面に横断歩道ラインが形成されている場合でも、前記一方の第１ライン自体で前記道路上の左右１対の主ラインのうちの一方を最終的に求めるので、上記車両用ライン検出装置ＬＤおよび該方法は、前記道路上の左右１対のラインをより精度良く検出できる。前記一方において、前記一方の第１ラインだけでなく、主ラインとみなした前記第４ラインも用いるので、前記道路上の左右１対の主ラインをより精度良く検出できる。

なお、上述の実施形態では、車両用ライン検出装置ＬＤは、今回のタイミングで抽出した第１ないし第３ラインに基づいて、今回のタイミングでの前記道路上の左右１対の主ラインを最終的に求めたが、今回のタイミングで抽出した第１ないし第３ラインだけでなく前回のタイミングで最終的に求めた前記道路上の左右１対の主ラインに基づいて、今回のタイミングでの前記道路上の左右１対の主ラインを最終的に求めても良い。これによれば各タイミング間で主ラインが比較的大きくシフトすることを好適に低減でき、各タイミング間で比較的滑らかに主ラインが検出できる。例えば、今回のタイミングで抽出した第１ないし第３ラインに基づいて最終的に求めた、今回のタイミングでの前記道路上の左右１対の主ライン（左右１対の主ラインの各位置）と、前回のタイミングで最終的に求めた前記道路上の左右１対の主ライン（左右１対の主ラインの各位置）との各差（一方（例えば右）における主ライン間の差と他方（例えば左）における主ライン間の差）が求められ、各差それぞれに予め設定された所定の定数（制御ゲイン）が乗算され、前回のタイミングで最終的に求めた前記道路上の左右１対の主ラインそれぞれに各乗算結果（各補正値）が加算されることで、今回のタイミングでの前記道路上の左右１対の主ラインが最終的に求められても良い。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

ＬＲ 右の主ライン、ＬＬ 左の主ライン、ＬＣＲ 右の補助ライン、ＬＣＬ 左の補助ライン、ＦＶ 前方視野、ＲＶ 右側方視野、ＬＶ 左側方視野、ＬＤ 車両用ライン検出装置、１ 前方撮像部、２ 右側方撮像部、３ 左側方撮像部、４ 制御処理部、５ 出力部、６ 操舵部、７ 記憶部、４１ 制御部、４２ ライン抽出処理部、４３ 車線検出処理部、４４ 警告処理部、４５ 操舵処理部、４３１〜４３４ 第１ないし第４ライン処理部、４３５ 車線処理部

Claims (14)

1. 車両に搭載され、路面を含むように前記車両の前方を撮像することで前方画像を生成する第１撮像部と、
   前記車両に搭載され、路面を含むように前記車両の一方側を撮像することで一方側画像を生成する第２撮像部と、
   前記第１撮像部で生成された前方画像から道路上のラインを第１ラインとして求める第１ライン抽出処理部と、
   前記第２撮像部で生成された一方側画像から道路上のラインを第２ラインとして求める第２ライン抽出処理部と、
   前記第１および第２ライン抽出処理部それぞれで求めた第１および第２ラインに基づいて、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１および第２ラインに基づいて前記道路上のラインを最終的に求めるライン決定処理部とを備える、
   車両用ライン検出装置。
2. 前記道路上のラインは、主ラインと、前記主ラインを除く他の副ラインとを含み、
   前記複数のアルゴリズムは、前記第２ライン抽出処理部で求められた第２ラインを前記副ラインとみなし、前記第１ライン抽出処理部で求めた第１ラインを前記道路上の主ラインとすることで前記道路上の主ラインを最終的に求める第１アルゴリズムを含む、
   請求項１に記載の車両用ライン検出装置。
3. 前記道路上のラインは、主ラインと、前記主ラインを除く他の副ラインとを含み、
   前記複数のアルゴリズムは、前記第２ライン抽出処理部で求められた第２ラインを前記主ラインとみなし、前記第１ライン抽出処理部で求めた第１ラインおよび前記第２ライン抽出処理部で求めた第２ラインに基づいて前記道路上の主ラインを最終的に求める第２アルゴリズムを含む、
   請求項１または請求項２に記載の車両用ライン検出装置。
4. 前記道路上のラインは、主ラインと、前記主ラインを除く他の副ラインとを含み、
   前記副ラインは、前記主ラインから所定の間隔を空けて前記主ラインに平行な補助ラインを含み、
   前記複数のアルゴリズムは、前記第２ライン抽出処理部で求められた第２ラインを前記補助ラインとみなし、前記第２ライン抽出処理部で求められた第２ラインおよび前記所定の間隔に基づいて前記主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求められた第１ラインおよび前記推定した推定ラインに基づいて前記道路上の主ラインを最終的に求める第３アルゴリズムを含む、
   請求項１ないし請求項３のいずれか１項に記載の車両用ライン検出装置。
5. 前記車両に搭載され、路面を含むように前記車両の他方側を撮像することで他方側画像を生成する第３撮像部と、
   前記第３撮像部で生成された他方側画像から道路上のラインを第３ラインとして求める第３ライン抽出処理部とをさらに備え、
   前記ライン決定処理部は、前記第１ないし第３ライン抽出処理部それぞれで求めた第１ないし第３ラインに基づいて、前記複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１ないし第３ラインに基づいて前記道路上のラインを最終的に求める、
   請求項１に記載の車両用ライン検出装置。
6. 前記道路上のラインは、車線の境界を表す左右１対の主ラインと、前記左右１対の主ラインを除く他の副ラインとを含み、
   前記第１ライン抽出処理部は、前記第１撮像部で撮像された前方画像から前記道路上の左右１対の主ラインを左右１対の第１ラインとして求め、
   前記ライン決定処理部は、前記第１ないし第３ライン抽出処理部それぞれで求めた左右１対の第１ライン、第２ラインおよび第３ラインに基づいて、前記複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記左右１対の第１ライン、第２ラインおよび第３ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求める、
   請求項５に記載の車両用ライン検出装置。
7. 前記複数のアルゴリズムは、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインを前記副ラインとみなし、前記第１ライン抽出処理部で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求める第１アルゴリズムを含む、
   請求項６に記載の車両用ライン検出装置。
8. 前記副ラインは、横断歩道を表す、所定の規約に基づいて形成された複数のラインから成る横断歩道ラインを含み、
   前記第１アルゴリズムは、前記第１ライン抽出処理部で求められた左右１対の第１ラインに基づいて前記車線の第１車線幅を求め、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、前記求めた第１車線幅と第２車線幅との差が前記規約に基づく所定の第１範囲以内である場合、または、前記第１ライン抽出処理部で求められた左右１対の第１ラインのうちの一方の第１ラインより前記第２ライン抽出処理部で求められた第２ラインが前記規約に基づく所定の閾値以上内側である場合および前記第１ライン抽出処理部で求められた左右１対の第１ラインのうちの他方の第１ラインより前記第３ライン抽出処理部で求められた第３ラインが前記閾値以上内側である場合のうちの少なくとも一方である場合に、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインを前記横断歩道ラインとみなし、前記第１ライン抽出処理部で求めた左右１対の第１ラインを前記道路上の左右１対の主ラインとすることで前記道路上の左右１対の主ラインを最終的に求める、
   請求項７に記載の車両用ライン検出装置。
9. 前記道路上の左右１対の主ラインは、所定の規約に基づいて形成された、車道中央線および車線境界線、または、１対の車線境界線であり、
   前記複数のアルゴリズムは、前記第１ライン抽出処理部で求められた左右１対の第１ラインに基づいて前記車線の第１車線幅を求め、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、前記求めた第１車線幅と第２車線幅との差が前記規約に基づく所定の第２範囲以内ではない場合に、前記第１ライン抽出処理部で求められた左右１対の第１ラインならびに前記第２および第３ライン抽出処理部それぞれで求めた第２および第３ラインに基づいて前記道路上の左右１対の主ラインを最終的に求める第２アルゴリズムを含む、
   請求項６ないし請求項８のいずれか１項に記載の車両用ライン検出装置。
10. 前記道路上の左右１対の主ラインは、所定の規約に基づいて形成された、車道中央線および車線境界線、または、１対の車線境界線であり、
    前記副ラインは、前記主ラインから所定の間隔を空けて前記主ラインに平行な補助ラインを含み、
    前記複数のアルゴリズムは、前記第１ライン抽出処理部で求められた左右１対の第１ラインに基づいて前記車線の第１車線幅を求め、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインに基づいて前記車線の第２車線幅を求め、前記求めた第１車線幅と第２車線幅との差が前記規約に基づく所定の第２範囲以内である場合に、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインのうちの少なくとも一方を前記補助ラインとみなし、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方および前記所定の間隔に基づいて、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方に対する主ラインを推定ラインとして推定し、前記第１ライン抽出処理部で求められた左右１対の第１ライン、および、前記補助ラインとみなした第２および第３ラインのうちの少なくとも一方の、前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインを最終的に求める第３アルゴリズムを含む、
    請求項６ないし請求項８のいずれか１項に記載の車両用ライン検出装置。
11. 前記道路上のラインは、車線の境界を表す左右１対の主ラインと、前記左右１対の主ラインを除く他の副ラインとを含み、
    前記副ラインは、前記主ラインから所定の間隔を空けて前記主ラインに平行な補助ラインを含み、
    前記第１ライン抽出処理部は、前記第１撮像部で撮像された前方画像から前記道路上の左右１対の主ラインのうちの一方を第１ラインとして求め、
    前記複数のアルゴリズムは、前記第２および第３ライン抽出処理部それぞれで求められた第２および第３ラインのうち、前記道路上の左右１対の主ラインのうちの前記一方に対応するラインを第４ラインとし、前記第４ラインが、所定の時間以上、前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合であって、かつ、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合、前記第４ラインを前記補助ラインとみなし、前記第４ラインおよび前記所定の間隔に基づいて前記一方の主ラインを推定ラインとして推定し、前記一方の第１ラインおよび前記推定した推定ラインに基づいて、前記道路上の左右１対の主ラインのうちの一方を最終的に求める第４アルゴリズムを含む、
    請求項５に記載の車両用ライン検出装置。
12. 前記副ラインは、横断歩道を表す、所定の規約に基づいて形成された複数のラインから成る横断歩道ラインであり、
    前記第４アルゴリズムは、さらに、前記第４ラインが、所定の時間以上、前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合、および、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合、のうちの少なくとも一方を満たさない場合であって、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合に、前記第４ラインを前記横断歩道ラインとみなし、前記一方の第１ライン自体で前記道路上の左右１対の主ラインのうちの一方を最終的に求める、
    請求項１１に記載の車両用ライン検出装置。
13. 前記第４アルゴリズムは、さらに、前記第４ラインが、所定の時間以上、前記第１ラインより、所定の規約に基づく所定の第３範囲だけ内側である場合、および、前記第４ラインが前記第１ラインより前記規約に基づく所定の第４範囲だけ内側である場合、のうちの少なくとも一方を満たさない場合であって、前記第４ラインが前記第１ラインより前記第４範囲だけ内側である場合を満たさない場合に、前記第４ラインおよび前記一方の第１ラインに基づいて前記道路上の左右１対の主ラインのうちの一方を最終的に求める、
    請求項１２に記載の車両用ライン検出装置。
14. 路面を含むように車両の前方を撮像することで前方画像を生成する第１撮像工程と、
    路面を含むように前記車両の一方側を撮像することで一方側画像を生成する第２撮像工程と、
    前記第１撮像工程で生成された前方画像から道路上のラインを第１ラインとして求める第１ライン抽出処理工程と、
    前記第２撮像工程で生成された一方側画像から道路上のラインを第２ラインとして求める第２ライン抽出処理工程と、
    前記第１および第２ライン抽出処理工程それぞれで求めた第１および第２ラインに基づいて、前記道路上のラインを決定する互いに異なる複数のアルゴリズムの中から１つのアルゴリズムを選択し、前記選択したアルゴリズムで前記第１および第２ラインに基づいて前記道路上のラインを最終的に求めるライン決定処理工程とを備える、
    車両用ライン検出方法。
    

Images