JP2020119527A - レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＡＮＥ ＤＥＴＥＣＴＩＯＮ ＷＩＴＨＯＵＴ ＰＯＳＴ−ＰＲＯＣＥＳＳＩＮＧ ＢＹ ＵＳＩＮＧ ＬＡＮＥ ＭＡＳＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝ - Google Patents

レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＡＮＥ ＤＥＴＥＣＴＩＯＮ ＷＩＴＨＯＵＴ ＰＯＳＴ−ＰＲＯＣＥＳＳＩＮＧ ＢＹ ＵＳＩＮＧ ＬＡＮＥ ＭＡＳＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝ Download PDF

Info

Publication number
JP2020119527A
JP2020119527A JP2020000984A JP2020000984A JP2020119527A JP 2020119527 A JP2020119527 A JP 2020119527A JP 2020000984 A JP2020000984 A JP 2020000984A JP 2020000984 A JP2020000984 A JP 2020000984A JP 2020119527 A JP2020119527 A JP 2020119527A
Authority
JP
Japan
Prior art keywords
feature map
lane
test
cnn
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020000984A
Other languages
English (en)
Other versions
JP6895693B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金寅洙
Insu Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119527A publication Critical patent/JP2020119527A/ja
Application granted granted Critical
Publication of JP6895693B2 publication Critical patent/JP6895693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】レーンマスクを使用して車線を検出する方法の学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置を提供する。【解決手段】レーンマスクを使用して入力イメージに含まれた一つ以上の車線を検出する方法において、学習装置が第２ＣＮＮをもって、最終特徴マップと、セグメンテーションスコアマップと、エンベディッド特徴マップと、を取得する段階と、最終特徴マップ及びレーンマスクを参照して、マスキング済み特徴マップを生成させる段階と、マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップを生成させる段階と、レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階と、第２ＣＮＮに含まれた第１ＦＣレイヤ、第２ＦＣレイヤ及びコンボリューションレイヤのうち一部のパラメータを学習する段階と、を含む。【選択図】図２

Description

本発明はレーンマスクを使用して車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置に関する。より詳細には、レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、（ａ）（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した状態で、学習装置が、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階；（ｂ）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（ｃ）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（ｄ）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階；（ｅ）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を含むことを特徴とする学習方法及び装置、並びにこれを利用したテスト方法及びテスト装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にも使われていたが、近年になって初めて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にイメージ認識コンテスト（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは、機械学習分野で非常に有用なツールとして使用されるようになった。
一方、イメージセグメンテーションは、入力によってイメージ（トレーニングイメージ又はテストイメージ）を得て、出力によってラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴びるようになるに伴い、セグメンテーションにもディープラーニングを多く使用する傾向にある。
近年、自動車の自律走行システムにディープランニングが広く使用されている。自主走行システムの場合、自律走行状況を示すイメージにおいて車線を認識することが非常に重要である。したがって、自律走行システムは、（ｉ）イメージをセグメンテーションした結果を利用して全ての車線候補を全て検出し、（ｉｉ）ピクセルエンベディッド結果を利用して各車線を分類することで、それぞれの車線を認識するようになる。
しかし、このような従来の車線認識方法は、（ｉ）車線として誤って認識された非車線領域をフィルタリングするための作業と、（ｉｉ）車線をフィッティングする作業である後処理作業を自律走行システムの出力に適用しなければならない問題点がある。
本発明は、上述の問題点を解決することを目的とする。
本発明は、（ｉ）道路走行状況を示す入力映像において車線を認識するメインプロセスと、（ｉｉ）非車線の領域を取り除いてラインフィッティングを行う後処理プロセスとを含む統合プロセスを提供することを他の目的とする。
また、車線部分が強調された特徴マップを使用して、非車線領域をフィルタリングする方法を提供することをまた他の目的とする。
前記する本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、（ａ）（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した状態で、学習装置が、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階；（ｂ）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（ｃ）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（ｄ）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階；（ｅ）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を含むことを特徴とする学習方法が提供される。
一実施例において、前記（ｃ）段階で前記学習装置が、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする学習方法が提供される。
一実施例において、前記（ｂ）段階で、前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする学習方法が提供される。
一実施例において、前記（ａ）段階で、前記第１ＣＮＮは（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする学習方法が提供される。
一実施例において、前記（ｂ）段階で前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする学習方法が提供される。
一実施例において、前記（ｂ）段階で前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする学習方法が提供される。
一実施例において、前記（ｅ）段階で、前記ソフトマックスロス値は、

前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする学習方法が提供される。
一実施例において、前記（ｄ）段階で前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする学習方法が提供される。
一実施例において、前記（ｅ）段階で前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする学習方法が提供される。
本発明の他の態様によると、レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト方法において、（ａ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した状態で、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階；（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレイニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階；（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を経て学習が完了した状態で、テスト装置が、前記第１ＣＮＮが前記テストイメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、前記第２ＣＮＮをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得する段階；（ｂ）前記テスト装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（ｃ）前記テスト装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（ｄ）前記テスト装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させる段階；を含むことを特徴とするテスト方法が提供される。
一実施例において、前記（ｂ）段階で、前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とするテスト方法が提供される。
一実施例において、前記（ｄ）段階で、前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とするテスト方法が提供される。
本発明のまた他の態様によると、レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する学習装置において、各インストラクションを格納する少なくとも一つのメモリと、（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得した状態で、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させるプロセス；（ＩＶ）（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする学習装置が提供される。
一実施例において、前記（ＩＩ）プロセスで、前記プロセスが、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする学習装置が提供される。
一実施例において、前記（Ｉ）プロセスで、前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする学習装置が提供される。
一実施例において、前記第１ＣＮＮは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする学習装置が提供される。
一実施例において、前記（Ｉ）プロセスで、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする学習装置が提供される。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする学習装置が提供される。
一実施例において、前記（ＩＶ）プロセスで、前記ソフトマックスロス値は、

前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする学習装置が提供される。
一実施例において、前記（ＩＩＩ）プロセスで、前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする学習装置が提供される。
一実施例において、前記（ＩＶ）プロセスで、前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする学習装置が提供される。
本発明のまた他の態様によると、レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト装置において、各インストラクションを格納する少なくとも一つのメモリと、第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階；（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階；（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を経て学習が完了した状態で、第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成し、第２ＣＮＮをもって、前記テスト用最終特徴マップ、前記テスト用セグメンテーションスコアマップ及び前記テスト用エンベディッド特徴マップを取得した後、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするテスト装置が提供される。
一実施例において、前記（Ｉ）プロセスで、前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されていることを特徴とするテスト装置が提供される。
一実施例において、前記（ＩＩＩ）プロセスで、前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とするテスト装置が提供される。
本発明によると、（ｉ）道路走行状況を示す入力映像で車線を認識するメインプロセスと、（ｉｉ）非車線の領域を取り除いてラインフィッティングを行う後処理プロセスとを含む統合プロセスを提供する。このような過程を通じて、後処理なしに注意基盤（ａｔｔｅｎｔｉｏｎ−ｂａｓｅｄ）の車線検出を遂行することができるので、街中で車線をより正確に感知することができる。
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこのような図面に基づいて他の各図面が得られ得る。
入力イメージに含まれた車線を検出し、レーンマスクを使用して車線の領域をフィッティングする過程を遂行するための学習装置の構成を示した図である。 第１ＣＮＮと第２ＣＮＮとの関係、第２ＣＮＮの構成を示した図である。 第１ＣＮＮによって生成された最終特徴マップの例を示す図である。 レーンマスクと最終特徴マップとを参照して生成されたマスキング済み特徴マップの例を示す図である。 第１ＦＣレイヤで生成されたセグメンテーションスコアマップを示した例示図である。 第２ＦＣレイヤで生成されたレーンパラメータを示した例示図である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。このような実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施するようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
図１は、入力イメージに含まれた車線を認識し、レーンマスクを使用して車線の領域をフィッティングする過程を遂行するための学習装置の構成を示した図である。
図１を参照すると、学習装置１００は、第１ＣＮＮ２００及び第２ＣＮＮ３００を含むことができる。前記第１ＣＮＮ２００及び第２ＣＮＮ３００による様々なデータ入力及び出力機能と様々なデータ演算機能は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０がどのように連結されるのかについての具体的な連結関係を省略した。また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能な各インストラクションを格納することができるメモリ１１５が含まれ得る。一例として、プロセッサ、メモリ、ミディアム（ｍｅｄｉｕｍ）等は、統合プロセッサとともに統合され得る。
図２は、第１ＣＮＮと第２ＣＮＮとの関係、第２ＣＮＮの構成を示した図である。
図２を参照すると、第１ＣＮＮ２００は、最終特徴マップ、セグメンテーションスコアマップ及びエンベディッド特徴マップを生成することができ、これを第２ＣＮＮ３００に伝達することができる。第２ＣＮＮ３００は、レーンマスキングレイヤ３１０と、コンボリューションレイヤ３２０と、第１ＦＣレイヤ３３０と、第２ＦＣレイヤ３４０と、多項式ロジスティックロスレイヤ３５０と、ラインフィッティングロスレイヤ３６０とを含むことができる。
具体的に、第１ＣＮＮ２００は、（ｉ）少なくとも一つの第１コンボリューション演算を遂行するエンコードレイヤと、（ｉｉ）少なくとも一つの第１デコンボリューション演算を遂行するデコードレイヤと、（ｉｉｉ）ソフトマックス演算を遂行するソフトマックスレイヤと、（ｉｖ）エンベディッド演算を遂行するエンベディッドレイヤとを含むことができる。通信部１１０によって入力イメージが取得されると、第１ＣＮＮ２００は、（ｉ）前記エンコードレイヤ及びデコードレイヤをもって、入力イメージに第１コンボリューション演算及び第１デコンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）ソフトマックスレイヤをもって、最終特徴マップにソフトマックス演算を適用してセグメンテーションスコアマップを生成させ、（ｉｉｉ）エンベディッドレイヤをもって、最終特徴マップにエンベディッド演算を適用して、エンベディッド特徴マップを生成させることができる。以後、最終特徴マップと、セグメンテーションスコアマップと、エンベディッド特徴マップとを第２ＣＮＮ３００に伝達することができる。
その後、第２ＣＮＮ３００は、レーンマスキングレイヤ３１０をもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与して、前記最終特徴マップに前記レーンマスクを生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップを生成させるプロセスを遂行させることができる。
そして、第２ＣＮＮ３００のコンボリューションレイヤ３２０をもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップを生成させるプロセスを遂行することができる。以後、第２ＣＮＮ３００の第１ＦＣレイヤ３３０及び第２ＦＣレイヤ３４０をもって、前記レーン特徴マップを参照してソフトマックススコアマップ及び一つ以上のレーンパラメータをそれぞれ生成させるプロセスを遂行することができる。ソフトマックススコアマップは、多項式ロジスティックロスレイヤ３５０によって取得され、レーンパラメータは、ラインフィッティングロスレイヤ３６０によって取得された後、第２ＣＮＮ３００は多項式ロジスティックロスレイヤ３５０及びラインフィッティングロスレイヤ３６０をもって、ソフトマックススコアマップに対応する第１原本正解とレーンパラメータに対応する第２原本正解とをそれぞれ参照して、ソフトマックスロス値とラインフィッティングロス値とをそれぞれ生成させるプロセスを遂行することができる。前記ソフトマックスロス値及びラインフィッティングロス値は、第２ＣＮＮ３００に含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するためにバックプロパゲーションされ得る。
以上、第１ＣＮＮと第２ＣＮＮとの関係及び第２ＣＮＮの構成について概括的に検討してみたところ、以下においては、本発明の一実施例による非車線領域の検出及びラインフィッティング学習過程について図３ａ、図３ｂ、図４及び図５を参照して詳しく説明する。
まず、第１ＣＮＮ２００は、入力イメージに第１コンボリューション演算を適用した後、通信部１１０によって取得された入力イメージに第１デコンボリューション演算を適用することにより、最終特徴マップを生成し、最終特徴マップを参照してエンベディッド特徴マップ及びセグメンテーションスコアマップを生成することができる。
ここで、エンベディッド特徴マップは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれた各ピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれた各ピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して生成することができる。
また、セグメンテーションスコアマップは、最終特徴マップにソフトマックス演算を適用して生成されたものである。ソフトマックス演算は、値が０から１の間の確率でマッピングされるように最終特徴マップの値を正規化するものである。ここで、正規化された最終特徴マップそれぞれの値は、該当する各ピクセルが属するクラスタを示す。したがって、セグメンテーションスコアマップは、入力イメージ内の各ピクセルが示す特徴値のセットが複数の車線領域のうちどの車線領域に属するのか、又は背景領域（例えば、丘の領域又は空の領域など）に属するのかを示す。
前記のように、最終特徴マップとセグメンテーションスコアマップとエンベディッド特徴マップとが第１ＣＮＮ２００によって生成され、第２ＣＮＮ３００は、このような特徴マップを取得することができ、レーンマスキングレイヤ３１０をもって、レーンマスクを生成するプロセスを遂行させることができる。
ここで、第２ＣＮＮは、レーンマスキングレイヤ３１０をもって、セグメンテーションスコアマップ及びエンベディッド特徴マップを参照して車線候補群を認識することができる。レーンマスキングレイヤ３１０は、セグメンテーションスコアマップを参照して、入力イメージに含まれた非車線領域と背景領域とは別に車線候補を検出し、エンベディッド特徴マップを参照して、車線候補群を車線別に分類することができる。先に説明したように、入力イメージに含まれた前記それぞれの車線に含まれた各ピクセルに対応する前記最終特徴マップに含まれた前記値の平均のうち、それぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ ｄｉｆｆｅｒｅｎｃｅｓ）を増加させるか、又は前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａｃｌａｓｓ ｖａｒａｎｃｅｓ）を減少するものである。
この段階で、車線候補群を認識する場合は、車線である確率の低い領域も大まかに車線として判断する。今後の段階で、車線と判断される確率が設定済み閾値以下である部分（非車線領域）を取り除くものであるからである。
車線候補群が認識されると、入力イメージ上で車線候補群に対応する一つ以上の領域に一つ以上の重み付け値を付与するレーンマスクを生成する。レーンマスクは、一種の重み付けマトリクス（ｗｅｉｇｈｔ ｍａｔｒｉｘ）であるので、最終特徴マップとレーンマスクとをピクセル単位で掛け合わせて、該当領域に重み付け値を付与するようになる。
前記車線候補に対応する領域は、前記車線候補のサイドポイント（ｓｉｄｅ ｐｏｉｎｔ）からの距離が第３閾値より小さいピクセルを含むことができる。ここで、車線候補のサイドポイントは、車線候補の水平線（ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ）と境界（ｂｏｕｎｄａｒｉｅｓ）との交差点（ｉｎｔｅｒｓｅｃｔｉｏｎ ｐｏｉｎｔ）であり得る。前記該当領域が車線候補周辺のピクセルを含むことにより、重み付け値は車線候補の周辺に割り当てられて車線をより正確に認識することができる。
前記のような方式でレーンマスクが生成されると、第２ＣＮＮ３００はレーンマスキングレイヤ３１０をもって、最終特徴マップ及びレーンマスクを参照してマスキング済み特徴マップを生成することができる。マスキング済み特徴マップの一例が図３ｂとともに説明されるので、図３ａに示された最終特徴マップと図３ｂに示されたマスキング済み特徴マップとを比較することができる。
図３ａは、第１ＣＮＮ２００によって生成された最終特徴マップの例示図である。
図３ａを参照すると、入力イメージに含まれた領域、例えば、空の領域、丘の領域、車線領域、車線でない道路領域など、それぞれの領域に対応する最終特徴マップの値にあまり差がないことを確認することができる。
図３ｂは、第２ＣＮＮ３００のレーンマスキングレイヤ３１０によって生成されたマスキング済み特徴マップの例示図である。
図３ｂを参照すると、車線の領域に対応する最終特徴マップの値が図３ａに比べて大きくなっていることが分かる。これは上述したとおり、レーンマスクと最終特徴マップとが掛け合わされたことに起因する。重み付けマトリクスの一種であるレーンマスクにより、車線候補に対応する最終特徴マップの値は前記乗算によって重み付け値が付与され得るのである。
以後、第２ＣＮＮ３００は、コンボリューションレイヤ３２０をもって、（ｉ）前記マスキング済み特徴マップに一回以上の前記第２コンボリューション演算を適用するか、又は（ｉｉ）前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成することができる。レーン特徴マップは、第１ＦＣレイヤ３３０及び第２ＦＣレイヤ３４０に伝達されて、（ｉ）非車線領域を認識し、（ｉｉ）車線のパラメータを生成することができる。第１ＦＣレイヤ３３０及び第２ＦＣレイヤ３４０によって遂行されるプロセスは下記にてそれぞれ説明することにする。
まず、非車線領域の認識学習のためのソフトマックスロス値を生成する過程を検討する。
レーン特徴マップが第１ＦＣレイヤ３３０に伝達された後、第１ＦＣレイヤ３３０は、レーン特徴マップにクラシフィケーション演算を適用することにより、出力値を生成し、この出力値にソフトマックス演算を適用することにより、ソフトマックススコアマップを生成する。
前記ソフトマックス演算は、第１ＣＮＮ２００で遂行されたソフトマックス演算と同一であるところ、これについての説明は省略する。
学習過程で、ソフトマックススコアマップは、多項式ロジスティックロスレイヤ３５０に伝達される。以後、伝達されたソフトマックススコアマップ及びこれに対応する第１原本正解は、ソフトマックスロス値を生成するために参照される。

第２ＣＮＮ３００は、多項式ロジスティックロスレイヤ３５０をもって、前記式の演算をソフトマックススコアマップに適用してソフトマックスロス値を生成することができる。ここで、ｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味する。
図４は、本発明の一例示にしたがって生成されたソフトマックススコアマップの例示図である。
図４を参照してソフトマックス損失値に対する前記数式が意味するところを詳しく説明する。図４で、左側車線の特定ピクセルに対応するソフトマックススコアが（０．０１、０．１、０．８９、０、０、０、０）と表現されたことが分かり、それに対応するｌｉベクトルは（０、０、１、０、０、０、０）と表現されるので、特定ピクセルに対応するソフトマックスロス値は−１×ｌоｇ（０．８９）と計算される。このような方式により計算されたピクセルごとのロス値が合算された後、ピクセルの個数で割られてソフトマックスロス値が導き出される。本発明のソフトマックスロス値は、前記数式を通じて演算され得るが、これに限定されるわけではない。
次に、車線領域をフィッティングする方法を学習するためのラインフィッティングロス値を生成する過程を検討してみる。
レーン特徴マップが第２ＦＣレイヤ３４０に伝達された後、第２ＦＣレイヤ３４０はそれぞれの第１成分及びそれぞれの第２成分の関係を示す多項式であるレーンパラメータを生成する。前記第１成分及び第２成分は、各車線候補それぞれの中央に位置したピクセルの各座標に含まれたＸ座標（第１成分）及びＹ座標（第２成分）である。
図５は、第２ＦＣレイヤによって生成されたレーンパラメータの一例を示す。
学習過程において、レーンパラメータはラインフィッティングロスレイヤ３６０に伝達される。以後、伝達されたレーンパラメータ及びこれに対応する第２原本正解は、ラインフィッティングロス値を生成するために参照される。
ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成される。
たとえば、特定のレーンパラメータに対応する特定の多項式がＹ＝３Ｘであり、それに対応する第２原本正解の中心座標が（１、３．５）であれば、誤差は３．５−（１×３）である０．５と計算される。このような誤差値を参照して、各ピクセルごとにそれぞれのラインフィッティングロス値が生成され得る。
前記の方式によってソフトマックスロス値及びラインフィッティングロス値が生成された後、前記各ロスはバックプロパゲーションされることで、第２ＣＮＮ３００に含まれた第１ＦＣレイヤ、第２ＦＣレイヤ及びコンボリューションレイヤのうち少なくとも一部のパラメータを学習するのに使用される。
以上、本発明の一実施例による学習装置１００の学習過程を説明したところ、（ｉ）本発明がテスト装置として機能する際の構成、及び（ｉｉ）学習装置１００とテスト装置との相違点について説明する。
参考までに、後述する説明において混同を防止するために、学習プロセスと関連する用語には「学習用」という文言が追加され、テストプロセスに関連する用語には「テスト用」という文言が追加された。
まず、第１ＣＮＮ２００が前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した状態で、（１）学習装置１００が、第２ＣＮＮ３００をもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階；（２）前記学習装置１００が、前記第２ＣＮＮ３００のレーンマスキングレイヤ３１０をもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用の重み付け値を付与して、前記トレーニング用最終特徴マップに前記トレーニング用レーンマスクを生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（３）前記学習装置１００が、前記第２ＣＮＮ３００のコンボリューションレイヤ３２０をもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；（４）前記学習装置１００が、前記第２ＣＮＮ３００の第１ＦＣレイヤ３３０をもって、前記トレーニング用レーン特徴マップを参照してトレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤ３４０をもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階；（５）前記学習装置１００が、（ｉ）前記第２ＣＮＮ３００の多項式ロジスティックロスレイヤ３５０をもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮ３００のラインフィッティングロスレイヤ３６０をもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮ３００に含まれた前記第１ＦＣレイヤ３３０、前記第２ＦＣレイヤ３４０及び前記コンボリューションレイヤ３２０のうち少なくとも一部のパラメータを学習する段階；を経て学習が完了した状態で、テスト装置が、（ｉ）前記第１ＣＮＮ２００が前記テストイメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、（ｉｉ）前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、前記第２ＣＮＮ３００をもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得することができる。
第二に、前記テスト装置が、前記第２ＣＮＮのレーンマスキングレイヤ３１０をもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成することができる。
第三に、前記テスト装置が、前記第２ＣＮＮ３００のコンボリューションレイヤ３２０をもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成することができる。
最後に、前記テスト装置が、前記第２ＣＮＮ３００の第１ＦＣレイヤ３３０をもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮ３００の第２ＦＣレイヤ３４０をもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成することができる。
第１ＦＣレイヤ３３０、第２ＦＣレイヤ３４０及びコンボリューションレイヤ３２０のパラメータは、テストの際にすべて学習された状態であるので、ロス値を求める過程とバックプロパゲーションの過程は省略される。すなわち、テスト装置として本発明が機能する場合の構成は、学習装置として機能する場合の構成においてロス値を求める構成を除いて学習装置１００の構成と同一である。
本発明の技術分野における通常の技術者に理解されるところとして、上記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算とを遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (24)

  1. レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、
    （ａ）（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した状態で、学習装置が、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階；
    （ｂ）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；
    （ｃ）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；
    （ｄ）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階；
    （ｅ）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；
    を含むことを特徴とする学習方法。
  2. 前記（ｃ）段階で、
    前記学習装置が、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする請求項１に記載の学習方法。
  3. 前記（ｂ）段階で、
    前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、
    前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする請求項１に記載の学習方法。
  4. 前記（ａ）段階で、
    前記第１ＣＮＮは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする請求項１に記載の学習方法。
  5. 前記（ｂ）段階で、
    前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする請求項１に記載の学習方法。
  6. 前記（ｂ）段階で、
    前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする請求項１に記載の学習方法。
  7. 前記（ｅ）段階で、
    前記ソフトマックスロス値は、

    前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする請求項１に記載の学習方法。
  8. 前記（ｄ）段階で、
    前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項１に記載の学習方法。
  9. 前記（ｅ）段階で、
    前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする請求項８に記載の学習方法。
  10. レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト方法において、
    （ａ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した状態で、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階と、（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階と、（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階と、（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階と、（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階と、を経て学習が完了した状態で、テスト装置が、前記第１ＣＮＮが前記テストイメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、前記第２ＣＮＮをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得する段階；
    （ｂ）前記テスト装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；
    （ｃ）前記テスト装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させる段階；
    （ｄ）前記テスト装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させる段階；
    を含むことを特徴とするテスト方法。
  11. 前記（ｂ）段階で、
    前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれた、これに対応する値を要素ごとに掛け合わせて生成することにより、
    前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とする請求項１０に記載のテスト方法。
  12. 前記（ｄ）段階で、
    前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項１０に記載のテスト方法。
  13. レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得した状態で、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させるプロセス；（ＩＶ）（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする学習装置。
  14. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする請求項１３に記載の学習装置。
  15. 前記（Ｉ）プロセスで、
    前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することで、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする請求項１３に記載の学習装置。
  16. 前記第１ＣＮＮは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする請求項１３に記載の学習装置。
  17. 前記（Ｉ）プロセスで、
    前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする請求項１３に記載の学習装置。
  18. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする請求項１３に記載の学習装置。
  19. 前記（ＩＶ）プロセスで、
    前記ソフトマックスロス値は、

    前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする請求項１３に記載の学習装置。
  20. 前記（ＩＩＩ）プロセスで、
    前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項１３に記載の学習装置。
  21. 前記（ＩＶ）プロセスで、
    前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする請求項２０に記載の学習装置。
  22. レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト装置において、
    各インストラクションを格納する少なくとも一つのメモリと、
    第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成した後、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得するプロセス；（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させるプロセス；（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス；を経て学習が完了した状態で、第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｏｒｅ ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成し、第２ＣＮＮをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、前記テスト用エンベディッド特徴マップとを取得した後、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ ｆｅａｔｕｒｅ ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ ｓｃｏｒｅ ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするテスト装置。
  23. 前記（Ｉ）プロセスで、
    前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とする請求項２２に記載のテスト装置。
  24. 前記（ＩＩＩ）プロセスで、
    前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項２２に記載のテスト装置。
JP2020000984A 2019-01-22 2020-01-07 レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＡＮＥ ＤＥＴＥＣＴＩＯＮ ＷＩＴＨＯＵＴ ＰＯＳＴ−ＰＲＯＣＥＳＳＩＮＧ ＢＹ ＵＳＩＮＧ ＬＡＮＥ ＭＡＳＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝ Active JP6895693B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,572 US10346693B1 (en) 2019-01-22 2019-01-22 Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
US16/254572 2019-01-22

Publications (2)

Publication Number Publication Date
JP2020119527A true JP2020119527A (ja) 2020-08-06
JP6895693B2 JP6895693B2 (ja) 2021-06-30

Family

ID=67106438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020000984A Active JP6895693B2 (ja) 2019-01-22 2020-01-07 レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＡＮＥ ＤＥＴＥＣＴＩＯＮ ＷＩＴＨＯＵＴ ＰＯＳＴ−ＰＲＯＣＥＳＳＩＮＧ ＢＹ ＵＳＩＮＧ ＬＡＮＥ ＭＡＳＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝

Country Status (5)

Country Link
US (1) US10346693B1 (ja)
EP (1) EP3686779B1 (ja)
JP (1) JP6895693B2 (ja)
KR (1) KR102337376B1 (ja)
CN (1) CN111462130B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
CN110705402A (zh) * 2019-09-19 2020-01-17 天津天地伟业机器人技术有限公司 人脸识别置信值映射算法
CN111027670B (zh) * 2019-11-04 2022-07-22 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN111325108B (zh) * 2020-01-22 2023-05-26 中能国际高新科技研究院有限公司 一种多任务网络模型及使用方法、装置、和存储介质
CN111340543B (zh) * 2020-02-25 2024-03-22 上海大学 一种基于注意力机制的细粒度打车需求预测方法
CN111368931B (zh) * 2020-03-09 2023-11-17 第四范式（北京）技术有限公司 确定图像分类模型的学习率的方法
KR102168753B1 (ko) * 2020-03-17 2020-10-22 한국과학기술원 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
CN112184686B (zh) * 2020-10-10 2022-08-23 深圳大学 一种用于检测动力电池安全阀激光焊接缺陷的分割算法
CN112364701B (zh) * 2020-10-15 2022-11-04 东风汽车集团有限公司 一种应用于平行驾驶系统的视频图像处理方法和装置
CN112966569B (zh) * 2021-02-09 2022-02-11 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN113468967B (zh) * 2021-06-02 2023-08-18 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
EP4242691A1 (en) * 2022-03-08 2023-09-13 Hyundai Mobis Co., Ltd. Method and apparatus for detecting lane using lidar
CN115050006B (zh) * 2022-06-21 2023-07-18 荆州职业技术学院 一种基于卷积神经网络的车道偏离预警方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129887A1 (en) * 2016-11-07 2018-05-10 Samsung Electronics Co., Ltd. Method and apparatus for indicating lane
US20180225527A1 (en) * 2015-08-03 2018-08-09 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2487461B1 (en) * 2011-02-09 2015-10-07 Harman Becker Automotive Systems GmbH Vehicle navigation device and method
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10453214B2 (en) * 2015-01-22 2019-10-22 Mitsubishi Electric Corporation Image capturing device and method, program, and record medium to perform exposure control based on the brightness in an attention area corresponding to a detected object
US20160239706A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks
US20160358069A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Neural network suppression
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108701210B (zh) * 2016-02-02 2021-08-17 北京市商汤科技开发有限公司 用于cnn网络适配和对象在线追踪的方法和系统
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
EP3430525A4 (en) * 2016-03-17 2019-11-06 Imagia Cybernetics Inc. METHOD AND SYSTEM FOR TREATING A ROBUSTNESS TASK WITH MISSING INPUT INFORMATION
GB2549554A (en) * 2016-04-21 2017-10-25 Ramot At Tel-Aviv Univ Ltd Method and system for detecting an object in an image
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
KR102267553B1 (ko) * 2016-11-15 2021-06-22 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
US11321604B2 (en) * 2017-06-21 2022-05-03 Arm Ltd. Systems and devices for compressing neural network parameters
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
US10303956B2 (en) * 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225527A1 (en) * 2015-08-03 2018-08-09 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
JP2018523875A (ja) * 2015-08-03 2018-08-23 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
US20180129887A1 (en) * 2016-11-07 2018-05-10 Samsung Electronics Co., Ltd. Method and apparatus for indicating lane

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVY NEVEN;BERT DE BRABANDERE;STAMATIOS GEORGOULIS;MARC PROESMANS;LUC VAN GOOL: "Towards End-to-End Lane Detection: an Instance Segmentation Approach", 2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), JPN6021005952, 2018, pages 286 - 291, XP033423446, ISSN: 0004450848, DOI: 10.1109/IVS.2018.8500547 *

Also Published As

Publication number Publication date
KR102337376B1 (ko) 2021-12-10
EP3686779C0 (en) 2024-01-24
CN111462130A (zh) 2020-07-28
KR20200091319A (ko) 2020-07-30
EP3686779B1 (en) 2024-01-24
CN111462130B (zh) 2023-10-17
JP6895693B2 (ja) 2021-06-30
US10346693B1 (en) 2019-07-09
EP3686779A1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
JP6895693B2 (ja) レーンマスク（Ｌａｎｅ Ｍａｓｋ）を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＡＮＥ ＤＥＴＥＣＴＩＯＮ ＷＩＴＨＯＵＴ ＰＯＳＴ−ＰＲＯＣＥＳＳＩＮＧ ＢＹ ＵＳＩＮＧ ＬＡＮＥ ＭＡＳＫ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP6886202B2 (ja) 仮想走行の環境で使用されるドメイン適応に適用され得るｇａｎを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6847463B2 (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP2020123330A (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP2020061141A (ja) Ｒ−ｃｎｎ基盤の物体検出器の学習方法とテスト方法、及びそれを利用した学習装置とテスト装置
JP2020119553A (ja) ドメイン適応に適用され得るサイクルｇａｎを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
KR102252155B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
JP6865342B2 (ja) Ｃｎｎ基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6853592B2 (ja) ハードウェア最適化に使用される１ｘ１コンボリューションを利用したＣＮＮ基盤の物体検出器を学習する方法及び学習装置、これを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＯＢＪＥＣＴ ＤＥＴＥＣＴＯＲ ＢＡＳＥＤ ＯＮ ＣＮＮ ＵＳＩＮＧ １×１ ＣＯＮＶＯＬＵＴＩＯＮ ＴＯ ＢＥ ＵＳＥＤ ＦＯＲ ＨＡＲＤＷＡＲＥ ＯＰＴＩＭＩＺＡＴＩＯＮ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200108

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200709

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210601

R150 Certificate of patent or registration of utility model

Ref document number: 6895693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250