JP2020534600A - 車線認識方法および装置、運転支援システムならびに車両 - Google Patents

車線認識方法および装置、運転支援システムならびに車両 Download PDF

Info

Publication number
JP2020534600A
JP2020534600A JP2020514970A JP2020514970A JP2020534600A JP 2020534600 A JP2020534600 A JP 2020534600A JP 2020514970 A JP2020514970 A JP 2020514970A JP 2020514970 A JP2020514970 A JP 2020514970A JP 2020534600 A JP2020534600 A JP 2020534600A
Authority
JP
Japan
Prior art keywords
vehicle
feature points
image
lane
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020514970A
Other languages
English (en)
Other versions
JP7548813B2 (ja
JPWO2019057252A5 (ja
Inventor
バイヤー・クリストファー
ヘラー・クラウディオ
ローイ・クラウディア
アブラモフ・アレクセイ
Original Assignee
コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト filed Critical コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト
Publication of JP2020534600A publication Critical patent/JP2020534600A/ja
Publication of JPWO2019057252A5 publication Critical patent/JPWO2019057252A5/ja
Application granted granted Critical
Publication of JP7548813B2 publication Critical patent/JP7548813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、車線(F)認識方法において:車両(5)のカメラ装置(2)を用いて車両周辺のカメラ画像(K)を撮影するステップ(S1)と;撮影カメラ画像(K)内の特徴点(P1〜P15)を算出するステップ(S2)であって、特徴点(P1〜P15)は車道境界線(M1、M2)の可能性がある領域に対応する、ステップ(S2)と;各特徴点(P1〜P15)の周囲に関して前記撮影カメラ画像(K)の切り出し画像を生成するステップ(S3)と;特徴点(P1〜P15)を分類するニューラルネットワークを用いて切り出し画像を分析するステップ(S4)と;分類された特徴点(P1〜P15)を考慮して車両周辺の車線を算出するステップ(S5)と、を備える、方法に関する。

Description

本発明は、車線認識方法、車線認識装置、運転支援システムおよび車両に関する。
運転支援システムは、大量のセンサデータに基づいて車両周辺のモデルを生成する。障害物そしてさらなる交通参加者の検出とともに、車線の認識は特に重要である。車線内での車両の移動を判定することで、意図せず車線から外れた場合に運転者を適時に警告することができる。また、運転支援システムは、運転者を車線維持に関して支援することができ、または車両を自律的に車線に沿って制御することができる。
一般に、車線認識は、特に走行区画線と縁石を含む、車道境界線の判定により行われる。特許文献1は、いくつかのセンサに基づいて互いに独立して決定される特徴ベクトルを用いた車線評価方法を開示している。
多くの場合白色または黄色である走行区画線を暗色の車道と分離するため、明るい領域と暗い領域との間の遷移を検知する、走行区画線を決定するためのエッジ検出方法を用いることができる。おもに2つの隣り合う領域の輝度差が演算される、ソーベルフィルタの使用が普及している。一定の輝度の場合この差はゼロと数値化される一方、エッジの場合ゼロとは異なる値が得られる。
物体認識、特に走行区画線を認識するためにますますニューラルネットワークが用いられている。そのような方法は、異なる環境条件、例えば輝度の時刻または天候による変化を、これが静的ソーベルフィルタの場合よりも良好に考慮することができるという有利な点を有する。
しかし、認識画像の評価はニューラルネットワークを用いて通常は画素毎に行われるため、演算コストが比較的高く、これによりエネルギー消費が増加し、評価速度が低下する。
ドイツ特許出願公開第102015209467A1号公報
したがって、本発明の課題は、車線を迅速かつ精確に認識することを可能にすることである。
この課題は、請求項1の特徴を有する車線を認識する方法と、請求項10の特徴を有する車線を認識する装置と、請求項14の特徴を有する運転支援システムと、請求項15の特徴を有する車両とにより解決される。
さらなる好ましい実施形態が従属請求項の対象である。
第1態様によると、本発明は、車両のカメラ装置を用いて車両の車両周辺のカメラ画像が撮影される車線認識方法を提供する。車道境界線の可能性がある領域に対応する、撮影カメラ画像内の特徴点が算出される。各特徴点の周囲に関して撮影カメラ画像の切り出し画像が生成される。切り出し画像は、特徴点を分類するニューラルネットワークを用いて分析される。最後には、分類された特徴点を考慮して車両周辺の車線が認識される。
第2態様によると、本発明は、車両のカメラ装置を用いて撮影される、車両の車両周辺のカメラ画像を受信するインタフェースを備える車線認識装置を提供する。本装置は、インタフェースを用いて受信されるカメラ画像内の特徴点を算出し、特徴点が車道境界線の可能性がある領域に対応する、演算装置をさらに備える。演算装置は、各特徴点の周囲に関して撮影カメラ画像の切り出し画像を生成し、特徴点を分類するニューラルネットワークを用いて切り出し画像を分析し、分類された特徴点を考慮して車両周辺の車線を算出する。
第3態様によると、本発明は、車両用運転支援システムにおいて、車両の車両周辺のカメラ画像を撮影するカメラ装置と、カメラ装置により撮影されたカメラ画像に基づいて車線を認識する装置と、を備える車両用運転支援システムに関する。
第4態様によると、本発明は、運転支援システムを備える車両に関する。
本発明は、車線の2段階認識を提供する。第1段階において、好ましくは一般的な特徴認識方法を用いてカメラ画像が分析され、車道境界線の可能性がある領域に対応する特徴点が算出される。この第1段階では、大まかな評価においてすでにあまり関連性が高くない領域、つまり高い蓋然性で車道境界線が予期されないような領域が除外される。これにより、さらなるデータ処理における演算コストが低減される。
次の第2段階において、検出された特徴点の詳細な分析が実行される。ここで、特徴点の周囲に関する切り出し画像がニューラルネットワークを用いて評価される。これにより、特徴点の分類、つまり特徴点が車道境界線に対応するか否かの分類を実行できる。車線は、車道境界線に対応する特徴点として分類されたその特徴点に基づいて算出される。
ソーベルフィルタに対するニューラルネットワークのさらなる有利な点は、より大きな切り出し画像を考慮に入れることにある。ソーベルフィルタは、一般に、3×3画素の撮影領域を有する一方、ニューラルネットワークの切り出し画像は、例えば128×128画素の撮影領域を有することができる。このより大きな切り出し画像により、ニューラルネットワークは、周辺のコンテキストを撮影して特徴点を分類することが可能である。この場合、例えば切り出し画像内の灌木が、ガードレール、したがって誤識別または外れ値を示唆する場合がある。そのため、切り出し画像の周辺領域も評価されることは有利である。
このように好ましくは、本発明は、一般的な方法をニューラルネットワークの使用と組み合わせる。その一方、プレフィルタリングに基づいて、カメラ画像の特定領域のみをニューラルネットワークを用いて分析する必要があるだけであり、全ての画素の全体評価を省略することができる。これにより、車線認識を迅速かつ効率的に実施することができる。それと同時に、ニューラルネットワークの高い認識精度が十分に活用される。
車道境界線が認識されないことを防止するため、特徴点として画素を検出するために超えられるべき閾値は、好ましくは比較的低く設定される。これにより発生する誤認識は、その後、ニューラルネットワークを用いて再度フィルタリング除去される。ソーベルフィルタのみを用いる場合、閾値は、一般に、誤認識の発生が可能な限り少なくなるように選択される。しかし、これにより、低コントラストの車道境界線が認識されない場合がある。本発明の2段階方法によれば、そのような中間のものが入り込むことはなく、認識精度はより高い。
本方法の1つの好ましい発展形態によると、特徴点はエッジ検出用アルゴリズムを用いて算出される。したがって、エッジ検出は一般的な方法を用いて、好ましくはソーベルフィルタを用いて実行される。
本方法の1つの好ましい発展形態によると、車道境界線の可能性は、走行区画線を含む。特に、走行区画線のみを車道境界線の可能性として認識してよい。走行区画線または道路標示には、個々の車線を区分するかまたは境界を定める車道路面上のカラー標示が含まれてよい。その一方、さらなる実施形態によると、車道境界線には、特に道路標示がない場合、縁石、ガードレールまたは草木も含まれてよい。
本方法の1つの好ましい発展形態によると、ニューラルネットワークは畳み込みニューラルネットワークである。
本方法の1つの好ましい発展形態によると、ニューラルネットワークはデータベースの所定の訓練データを用いて学習する。
1つの発展形態によると、訓練データは車道境界線の画像を含む。訓練データは道路標示を示さない構造体の画像をさらに含んでよい。好ましくはこれらの画像は、通常、一般的なエッジ検出を用いて道路標示と誤認識される可能性がある構造体と物体を映すように選択される。例えば、車道境界線を示さない、車両またはガードレールの画像であってよい。これにより、ニューラルネットワークは、車道境界線の画像が車道境界線を示さない画像から区別されるように学習する。
分析のためにニューラルネットワークを用いて使用される切り出し画像は、好ましくは所定の画素数または所定のサイズを有する。訓練データとして選択される画像は、好ましくは車両のカメラ装置により撮影される、これらの所定の画素数またはサイズの一般的な画像に対応する。
好ましくは、画像は少なくとも一部が異なる輝度において生成される。例えば、画像は異なる時刻において生成されてよい。また、画像は、異なる照明条件、例えば照明不良の道路または照明良好の道路上で生成されてよい。さらに、画像は、異なる天候条件、例えば、晴れ、霧、降雨または降雪の条件下で撮影されてよい。
本方法の1つの好ましい発展形態によると、車道境界線に属するとして分類された隣り合う特徴点が補間され、車道境界線の延在状態が算出される。車道境界線の延在状態に基づいて車両が走行可能な車線が決定される。
本装置の1つの好ましい発展形態によると、演算装置は特徴点をエッジ検出用アルゴリズムを用いて算出する。
本装置の1つの好ましい発展形態によると、演算装置はエッジ検出用にソーベルフィルタを用いる。
1つの好ましい発展形態によると、本装置の演算装置は、車道境界線に対応するとして分類された隣り合う特徴点の補間により車道境界線の延在状態が算出される。演算装置は、車道境界線の延在状態に基づいて車両が走行可能な車線を決定する。
以下、本発明を図面の概略図に示される実施形態例に基づいてさらに詳細に説明する。
図1は、本発明の1つの実施形態による車線認識装置の概略ブロック図である。 図2は、カメラ装置により撮影された概略的なカメラ画像を示す図である。 図3は、ニューラルネットワーク用トレーニングデータとしての図を示す図である。 図4は、カメラ画像において認識された車道境界線を示す図である。 図5は、運転支援システムの概略ブロック図である。 図6は、車両の概略ブロック図である。 図7は、車線認識方法のフロー図である。
本発明のさらなる可能な実施形態、発展形態および実装には、上記または以下に実施形態例に関して記載される本発明の特徴の明示されていない組み合わせも含まれる。
添付の図面は、本発明の実施形態のさらなる理解に資するものである。添付の図面は、実施形態と、本発明の原理および概念の説明の記載に関連する形態とを示している。他の実施形態および多くの記載される有利な点は、図面に照らして得られる。この場合、同一の参照符号は、同一または類似して機能する構成要素を示す。
図1は、車線認識装置1の概略ブロック図を示す。
装置1は、無線または有線接続を介してデータを受信および送信するように構成されるインタフェース11を有する。インタフェース11は、特に、カメラデータを受信し、これを装置1の演算装置12に送信する。カメラデータは、少なくとも、車両のカメラ装置2により生成されたカメラ画像を含む。また、カメラ画像は、カメラ装置2の1つの車両カメラの複数の単一画像に基づいて、またはカメラ装置2の複数の車両カメラの複数の画像に基づいて組み合わされてもよい。
演算装置12は画像認識方法を用いてカメラ画像を分析し、車両周辺の車道境界線を有する領域に対応する特徴点を抽出する。演算装置12は演算ステップを実行する少なくとも1つのマイクロプロセッサを含む。
演算装置12は各特徴点の周囲に関してそれぞれの切り出し画像を生成する。この切り出し画像は、切り出し画像を評価するニューラルネットワークの入力変数としての役割を果たす。ニューラルネットワークとは、好ましくは畳み込みニューラルネットワークに関する。ニューラルネットワークを用いて、切り出し画像が車道境界線を映す蓋然性が演算される。蓋然性が所定の閾値を超える場合、演算装置12は切り出し画像の特徴点が車道境界線に対応することを認識する。
そのように分類された特徴点は演算装置12によりさらに評価され、車両の車両周辺の車線を算出する。このように、車道境界線に対応する互いに隣り合う特徴点の補間によりカメラ画像における車道境界線の延在状態が算出されてよい。車道境界線間に延在する領域は車道として識別されてよく、演算装置12は周辺モデルを生成してよい。
以下、装置1のいくつかの態様を図2〜4に基づいてさらに詳細に説明する。
図2はカメラ装置2により撮影されるカメラ画像Kを示す。映される物体は、右側道路標示51、中央道路標示52、右側路側にあるガードレール53および並行する車道を走行する車両54を含む。
演算装置12は一般的なエッジ検出方法を用いてカメラ画像Kの画素を分析する。特に、演算装置12は、画素または画素周辺のエッジを検出するために各画素にソーベルフィルタを適用してよい。ソーベルフィルタは検討すべき画素周辺の3×3画素を考慮してよい一方、さらに大きい画素周辺領域を算入してもよい。
演算装置12は各画素について、画素がエッジ近傍に接するかまたは近傍内に位置するか否かを決定してよい。特に、演算装置12は、ソーベルフィルタを用いて演算される値を所定の閾値と比較してよい。閾値が超えられる場合、演算装置12は、画素が車道境界線の可能性に対応する特徴点に関するものであると決定する。
図2に示されるカメラ画像Kにおいて、演算装置12は特徴点P1〜P15全体を算出する。このことは例示に過ぎないものと理解されるべきである。一般にはさらに多数の特徴点が生成される。
各特徴点P1〜P15について、演算装置12は、図2においては明瞭化を目的として最初の3つの特徴点P1〜P3についてのみ示されている、切り出し画像B1〜B3を生成する。切り出し画像B1〜B3は、所定のサイズ、例えば128×128画素を有してよい。特徴点P1〜P15は、好ましくは各切り出し画像B1〜B3の中心部にそれぞれ配置される。
図3は、切り出し画像B1〜B3をさらに分析するために用いられるニューラルネットワークの作成についてより詳細に説明するものである。この場合、最初に、訓練データを有するデータベースDBが生成される。訓練データは、車両カメラを用いて撮影された画像を含む。画像は好ましくは手動で2つのグループに分類される。第1グループTa1〜Ta4は車道境界線を示す画像を含む。画像は道路標示の画像のみを含んでよい。その一方、画像は、さらなる実施形態においては縁石またはさらなる車道境界線も映してよい。この場合、画像は異なる輝度または天候条件下で生成されてよい。第2グループTb1〜Tb4は、エッジを有する一方で車道境界線ではない物体を示す画像を含む。この場合、車両Tb1、Tb3、ガードレールTb2または橋Tb4の画像に関するものであってよい。
ここで、ニューラルネットワークは、第1グループTa1〜Ta4の画像が車道境界線の画像として分類される一方、第2グループTb1〜Tb4の画像は車道境界線ではない画像として分類されるように訓練される。訓練フェーズ後、演算装置12はニューラルネットワークを用いて任意の切り出し画像B1〜B3を分類してよい。この場合、まず、ニューラルネットワークを用いて、切り出し画像B1〜B3が車道境界線に関する蓋然性が出力される。演算される蓋然性が所定の閾値、例えば0.5を超える場合、演算装置12は切り出し画像B1〜B3を車道境界線に対応するとして分類する。
カメラ画像Kの特徴点P1〜P15について、演算装置12は、例えば、中央道路標示52の特徴点P2、P5〜P8と右側道路標示51の特徴点P1、P9〜P13が車道境界線に対応する特徴点に関するものであると認識する。反対に、ガードレール53および車両54の測定点P4、P3、P14、P15は誤識別として却下されるのは、映される物体が車道境界線に関するものでないからである。
車線を算出するため、演算装置12は好ましくは車道境界線に対応するとして認識されたその特徴点P1〜P15のみを含める。
ここで、演算装置12は、隣り合う残りの特徴点P1〜P15または画素の補間により対応する車道境界線を算出してよい。
図4に示されるように、演算装置12は図2で映されているカメラ画像Kについて、例えば第1車道境界線M1と第2車道境界線M2を認識する。それに対応して演算装置12は、第1車道境界線M1、M2間に車道Fが延在することを算出する。
好ましくは、記載の車道認識は反復して実行されることにより、すでに認識されている車道境界線および車道が更新される。
図5において、本発明の1つの実施形態による車両用運転支援システム4のブロック図が示される。運転支援システム4は、車両に設置されるかまたは車両に設置可能な1つまたは複数の車両カメラを有するカメラ装置2を含む。
運転支援システム4は、上記車線認識装置1をさらに含む。装置は、カメラ装置2により撮影されるカメラ画像を受信する上記インタフェース12と、カメラ画像に基づいて車道Fを算出する演算装置12とを含む。
運転支援システム4は、車両の特定の走行機能を制御してよい制御装置3を含んでよい。このようにして、制御装置3は認識される車両の車線に応じて、車両を加速、減速または操舵するように制御してよい。これにより、運転支援システム4は半自律または自律制御を可能にできる。制御装置3は、車両が認識されている車道Fから離脱する場合、車道Fから意図せず逸脱していることを運転者に警告するために信号を出力するようにさらに構成されてよい。
図6において、本発明の1つの実施形態による車両5のブロック図が示される。車両5とは例えば乗用車、トラックまたは自動二輪車に関してよい。車両5は、車両5の車両周辺の車線認識装置1を有する上記運転支援システム4を含む。
図7は、本発明の1つの実施形態による車線F認識方法のフロー図を示す。
方法ステップS1において、車両周辺のカメラ画像がカメラ装置2を用いて撮影される。また、複数の単一画像が組み合わされてもよい。
さらなる方法ステップS2において、カメラ画像の個々の画素がエッジ検出方法を用いて評価され、特徴点P1〜P15を算出する。ここで、例えばエッジ検出用ソーベルフィルタが用いられてよい。ソーベルフィルタを用いて演算される値が所定の閾値を超える場合、画素は車道境界線に対応する可能性がある特徴点P1〜P15として識別される。
各特徴点P1〜P15の周囲に関して、方法ステップS3において切り出し画像B1〜B3が生成される。特徴点P1〜P15は、好ましくは四角形の切り出し画像B1〜B3の中心部にそれぞれ位置してよい。切り出し画像のサイズは、例えば128×128画素であってよい。しかしこれに本発明は限定されない。このように、切り出し画像は必ずしも四角形または矩形に構成される必要はない。切り出し画像の形状は、例えばカメラ装置2の視野に応じて選択されてよい。
方法ステップS4において、切り出し画像はニューラルネットワークを用いて分析される。また、ニューラルネットワークはデータベースの訓練データに基づいて作成されるかまたは学習する。訓練データは、図3を参照して説明された車道境界線または車道境界線を含まない車道周辺の画像を含む。訓練フェーズ後、ニューラルネットワークは、任意の切り出し画像を分析して、分類するように構成される。各切り出し画像に関して、映されている車両周辺領域が車道境界線を映している否かが認識される。それに応じて特徴点が分類される。ニューラルネットワークを用いて車道境界線に対応すると分類されるその特徴点はさらに評価される一方、残りの特徴点は却下される。
残っている特徴点に基づいて、方法ステップS5において、車道境界線M1、M2の延在状態が算出される。車道境界線M1、M2の延在状態に基づいて、車両5が走行可能な車道Fが認識される。
さらに認識車道Fに基づいて警告信号が出力されてよく、または車両5の半自律もしくは自律制御を実行してよい。
1 車線認識装置
2 カメラ装置
3 制御装置
4 運転支援システム
5 車両
11 インタフェース
12 演算装置
51 右側走行区画線
52 中央走行区画線
53 ガードレール
54 車両
F 車道
M1、M2 車道境界線
P1〜P15 特徴点
B1〜B3 切り出し画像
Ta1〜Ta4車道境界線の画像
Tb1〜Tb4車道境界線ではない物体の画像

Claims (15)

  1. 車線(F)認識方法において:
    車両(5)のカメラ装置(2)を用いて車両周辺のカメラ画像(K)を撮影するステップ(S1)と;
    前記撮影カメラ画像(K)内の特徴点(P1〜P15)を算出するステップ(S2)であって、前記特徴点(P1〜P15)は車道境界線(M1、M2)の可能性がある領域に対応する、ステップ(S2)と;
    各特徴点(P1〜P15)の周囲に関して前記撮影カメラ画像(K)の切り出し画像を生成するステップ(S3)と;
    前記特徴点(P1〜P15)を分類するニューラルネットワークを用いて前記切り出し画像を分析するステップ(S4)と;
    前記分類された特徴点(P1〜P15)を考慮して前記車両周辺の車線を算出するステップ(S5)と、を備える、方法。
  2. 前記特徴点(P1〜P15)はエッジ検出用アルゴリズムを用いて算出される、請求項1に記載の方法。
  3. エッジ検出はソーベルフィルタの使用を含む、請求項2に記載の方法。
  4. 前記車道境界線(M1、M2)の可能性は走行区画線(51、52)を含む、請求項1〜3のいずれか1項に記載の方法。
  5. 前記ニューラルネットワークは畳み込みニューラルネットワークである、請求項1〜4のいずれか1項に記載の方法。
  6. 前記ニューラルネットワークはデータベースの所定の訓練データを用いて学習する、請求項1〜5のいずれか1項に記載の方法。
  7. 前記訓練データは車道境界線(M1、M2)の画像と、車道境界線(M1、M2)を示さない構造体の画像とを含む、請求項6に記載の方法。
  8. 前記画像は少なくとも一部が異なる輝度および/または時刻および/または天候条件において生成される、請求項7に記載の方法。
  9. 車道境界線に対応するとして分類された隣り合う特徴点(P1〜P15)の補間により車道境界線(M1、M2)の延在状態が算出されるのであって、前記車道境界線(M1、M2)の前記延在状態に基づいて前記車両(5)が走行可能な前記車線(F)が決定される、請求項1〜8のいずれか1項に記載の方法。
  10. 車線(F)認識装置(1)において:
    車両(5)のカメラ装置(2)を用いて撮影される、前記車両(5)の車両周辺のカメラ画像(K)を受信するインタフェース(11)と;
    演算装置(12)と、を備え、前記演算装置(12)は:
    ‐前記インタフェース(11)を用いて受信される前記カメラ画像(K)内の特徴点(P1〜P15)を算出するように構成されるのであって、前記特徴点(P1〜P15)は車道境界線(M1、M2)の可能性がある領域に対応し、
    ‐各特徴点(P1〜P15)の周囲に関して前記撮影カメラ画像(K)の切り出し画像を生成するように構成され、
    ‐前記特徴点(P1〜P15)を分類するニューラルネットワークを用いて前記切り出し画像を分析するように構成され、
    ‐前記分類された特徴点(P1〜P15)を考慮して前記車両周辺の車線(F)を算出するように構成される、装置(1)。
  11. 前記演算装置(12)は前記特徴点(P1〜P15)をエッジ検出用アルゴリズムを用いて算出する、請求項10に記載の装置(1)。
  12. 前記演算装置(12)はエッジ検出用にソーベルフィルタを用いる、請求項10または11に記載の装置(1)。
  13. 前記演算装置は、車道境界線(M1、M2)に対応するとして分類された隣り合う特徴点(P1〜P15)の補間により車道境界線(M1、M2)の延在状態が算出され、前記車道境界線(M1、M2)の前記延在状態に基づいて前記車両(5)が走行可能な前記車線(F)が決定されるように構成される、請求項10〜12のいずれか1項に記載の装置(1)。
  14. 車両(5)用運転支援システム(4)において、
    前記車両(5)の車両周辺のカメラ画像(K)を撮影するように構成されるカメラ装置(2)と;
    前記カメラ装置(2)により撮影された前記カメラ画像(K)に基づいて車線(F)を認識する、請求項10〜13のいずれか1項に記載の装置(1)と、を備える、運転支援システム(4)。
  15. 請求項14に記載の運転支援システム(4)を備える、車両(5)。
JP2020514970A 2017-09-22 2018-08-31 車線を認識するための方法及び装置並びに運転支援システム及び車両 Active JP7548813B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017216802.1A DE102017216802A1 (de) 2017-09-22 2017-09-22 Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102017216802.1 2017-09-22
PCT/DE2018/200078 WO2019057252A1 (de) 2017-09-22 2018-08-31 Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug

Publications (3)

Publication Number Publication Date
JP2020534600A true JP2020534600A (ja) 2020-11-26
JPWO2019057252A5 JPWO2019057252A5 (ja) 2022-09-13
JP7548813B2 JP7548813B2 (ja) 2024-09-10

Family

ID=63637607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514970A Active JP7548813B2 (ja) 2017-09-22 2018-08-31 車線を認識するための方法及び装置並びに運転支援システム及び車両

Country Status (5)

Country Link
US (1) US11417117B2 (ja)
JP (1) JP7548813B2 (ja)
CN (1) CN111066024B (ja)
DE (2) DE102017216802A1 (ja)
WO (1) WO2019057252A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933755A4 (en) * 2019-03-01 2022-03-16 NEC Corporation CONTROL METHOD, LEARNING DEVICE, DISCRIMINATION DEVICE AND PROGRAM
CN112164228A (zh) * 2020-09-15 2021-01-01 深圳市点创科技有限公司 驾驶电动车未佩戴头盔行为检测方法、电子设备、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) * 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
JP2007003298A (ja) * 2005-06-22 2007-01-11 Toyota Motor Corp 道路モデル生成装置
US20090268948A1 (en) * 2008-04-24 2009-10-29 Gm Global Technology Operations, Inc. Pixel-based texture-rich clear path detection
CN104967885A (zh) * 2015-03-27 2015-10-07 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
JP2015191372A (ja) * 2014-03-27 2015-11-02 トヨタ自動車株式会社 走路境界区画線検出装置
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置
JP2015203992A (ja) * 2014-04-14 2015-11-16 本田技研工業株式会社 レーンマーク認識装置
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
US20170015317A1 (en) * 2015-07-13 2017-01-19 Cruise Automation, Inc. Method for image-based vehicle localization
CN107145904A (zh) * 2017-04-28 2017-09-08 北京小米移动软件有限公司 图像类别的确定方法、装置及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE10127034A1 (de) * 2001-06-02 2002-12-05 Opel Adam Ag Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
EP2549408A1 (de) * 2011-07-20 2013-01-23 Delphi Technologies, Inc. Verfahren zur Detektion und Klassifikation von Objekten
DE102011111856B4 (de) * 2011-08-27 2019-01-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102011122310A1 (de) 2011-12-23 2015-06-18 Daimler Ag Verfahren und Vorrichtung zur Erkennung von Fahrspurmarkierungen
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务(中国)有限公司 一种车道线追踪方法及系统
DE102015209467A1 (de) 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
US10124730B2 (en) 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
US10545029B2 (en) * 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies
US10634317B2 (en) * 2017-08-03 2020-04-28 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic control of vehicle lamps during maneuvers

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) * 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
JP2007003298A (ja) * 2005-06-22 2007-01-11 Toyota Motor Corp 道路モデル生成装置
US20090268948A1 (en) * 2008-04-24 2009-10-29 Gm Global Technology Operations, Inc. Pixel-based texture-rich clear path detection
JP2015191372A (ja) * 2014-03-27 2015-11-02 トヨタ自動車株式会社 走路境界区画線検出装置
JP2015203992A (ja) * 2014-04-14 2015-11-16 本田技研工業株式会社 レーンマーク認識装置
CN104967885A (zh) * 2015-03-27 2015-10-07 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
US20170015317A1 (en) * 2015-07-13 2017-01-19 Cruise Automation, Inc. Method for image-based vehicle localization
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
CN107145904A (zh) * 2017-04-28 2017-09-08 北京小米移动软件有限公司 图像类别的确定方法、装置及存储介质

Also Published As

Publication number Publication date
DE112018003499A5 (de) 2020-04-30
CN111066024A (zh) 2020-04-24
DE102017216802A1 (de) 2019-03-28
US11417117B2 (en) 2022-08-16
US20200410256A1 (en) 2020-12-31
JP7548813B2 (ja) 2024-09-10
CN111066024B (zh) 2024-07-19
WO2019057252A1 (de) 2019-03-28

Similar Documents

Publication Publication Date Title
US11318928B2 (en) Vehicular automated parking system
US8670592B2 (en) Clear path detection using segmentation-based method
US10147002B2 (en) Method and apparatus for determining a road condition
JP5679461B2 (ja) 有効車線区分線を確定する方法及び装置
EP1930863B1 (en) Detecting and recognizing traffic signs
US8634593B2 (en) Pixel-based texture-less clear path detection
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8751154B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
JP4321821B2 (ja) 画像認識装置及び画像認識方法
CN114375467B (zh) 用于检测紧急车辆的系统和方法
US20100098295A1 (en) Clear path detection through road modeling
CN109476309A (zh) 高级驾驶辅助系统中的动态传感器范围
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
CN104185588A (zh) 用于确定道路宽度的车载成像系统及方法
US20140152432A1 (en) Method for Detecting a Traffic Lane by Means of a Camera
JP5355209B2 (ja) ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
JP7548813B2 (ja) 車線を認識するための方法及び装置並びに運転支援システム及び車両
EP4113377A1 (en) Use of dbscan for lane detection
US20240029389A1 (en) Method and device for sensing the environment of a vehicle driving with at least semi-automation
Beresnev et al. Automated Driving System based on Roadway and Traffic Conditions Monitoring.
JPWO2019057252A5 (ja)
KR101608359B1 (ko) 그림자 영상 영역 처리 장치 및 그 방법
Berriel Vision-Based Ego-Lane Analysis System: dataset and algorithms

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230906

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240829

R150 Certificate of patent or registration of utility model

Ref document number: 7548813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150