JP2021532449A - 車線属性検出 - Google Patents

車線属性検出 Download PDF

Info

Publication number
JP2021532449A
JP2021532449A JP2021500086A JP2021500086A JP2021532449A JP 2021532449 A JP2021532449 A JP 2021532449A JP 2021500086 A JP2021500086 A JP 2021500086A JP 2021500086 A JP2021500086 A JP 2021500086A JP 2021532449 A JP2021532449 A JP 2021532449A
Authority
JP
Japan
Prior art keywords
attribute
lane
value
probability map
book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021500086A
Other languages
English (en)
Other versions
JP7119197B2 (ja
Inventor
雅▲シュー▼ ▲張▼
培文 林
光亮 程
建萍 石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2021532449A publication Critical patent/JP2021532449A/ja
Application granted granted Critical
Publication of JP7119197B2 publication Critical patent/JP7119197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)

Abstract

本発明の実施例は、車線属性検出方法、装置、電子デバイス、及びスマートデバイスを提供し、当該方法は、スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、前記路面画像に基づいて確率マップを確定するステップと、前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、含み、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、各々の色属性確率マップは、前記路面画像における点が当該種の色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における点が当該種の線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における点が当該種のエッジに属する確率を表す。【選択図】図２

Description

本発明の実施例は、コンピュータ技術に関し、特に、車線属性検出方法、装置、電子デバイス、及びスマートデバイスに関する。
補助運転と自動運転は、スマート運転分野における２つの重要な技術であり、補助運転または自動運転によって、車両間の間隔を縮小し、交通事故の発生を減らし、運転者の負担を軽減することができるため、スマート運転の分野で重要な役割を果たしている。補助運転技術と自動運転技術では、車線属性検出を実行する必要があり、車線属性検出によって、白色実線、白色破線などの、路面上の車線の種類を識別する。車線属性の検出結果に基づいて、経路計画、経路オフセット警告、交通流分析などを実行することができ、精確なナビゲーションに参照を提供することもできる。
したがって、車線属性検出は、補助運転と自動運転にとって非常に重要であり、どのように正確かつ効率的な車線属性検出を実行するかは、研究に値する重要な課題である。
本発明の実施例は、車線属性検出の技術的解決策を提供する。
本発明の実施例の第１の態様によると、車線属性検出方法を提供し、当該方法は、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、前記路面画像に基づいて確率マップを確定するステップと、前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、を含み、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、ここで、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、各々の色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す。
本発明の実施例の第２の態様によると、車線属性検出装置を提供し、当該装置は、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するための第１取得モジュールと、前記路面画像に基づいて確率マップを確定するための第１確定モジュールと、前記確率マップに基づいて前記路面画像における車線属性を確定するための第２確定モジュールと、を備え、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、ここで、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、各々の色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す。
本発明の実施例の第３の態様によると、電子デバイスを提供し、当該電子デバイスは、
プログラム命令を記憶するためのメモリと、前記メモリ中のプログラム命令を呼び出して実行することによって、上記の第１の態様に記載の方法のステップを実行するためのプロセッサと、を備える。
本発明の実施例の第４の態様によると、スマートデバイスに用いられるスマート運転方法を提供し、当該方法は、
路面画像を取得するステップと、上記の第１の態様に記載の車線属性検出方法を使用して、取得した路面画像における車線属性を検出するステップと、検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行するステップと、含む。
本発明の実施例の第５の態様によると、スマートデバイスを提供し、当該デバイスは、
路面画像を取得するための画像収集装置と、プログラム命令を記憶するためのメモリであって、記憶されたプログラム命令が実行されると、上記の第１の態様に記載の車線属性検出方法が実現されるメモリと、前記画像収集装置が取得した路面画像に基づいて、前記メモリに記憶されたプログラム命令を実行することによって、前記路面画像における車線属性を検出し，検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行するためのプロセッサと、を備える。
本発明の実施例の第６の態様によると、不揮発性可読記憶媒体を提供し、前記可読記憶媒体には、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、上記の第１の態様に記載の方法のステップを実行する。
本発明の実施例によって提供される車線属性検出方法、装置、電子デバイス、及びスマートデバイスによると、車線属性を色、線形、および、エッジのような３種の次元に区分し、得られた路面画像の各点を利用してこの３種の次元における３種の属性確率マップを確定し、この３種の属性確率マップの中の少なくとも２種に基づいて、路面画像における車線属性を確定することができる。上記の過程で得られた３種の属性確率マップは、それぞれ１種の次元の車線属性に対するものであるため、路面画像に基づいて各種の確率マップを確定することを単一のタスクの検出を実行することとして見なすことができ、タスク検出の複雑度を軽減した。その後、各々のタスクで検出した結果に基づいて路面画像における車線属性を確定し、つまり、各種の検出結果を結合することで車線属性を得ることになる。したがって、車線属性の種類がより多い場合、または、車線の属性を精密に確定する必要がある場合、本発明の実施例によって提供される車線属性検出方法は、車線属性を検出する際に、異なる属性を別々に検出し、検出結果を結合する方式を使用することによって、車線属性を予測する正確性と堅牢性を向上させた。したがって、上記の方法を複雑度がより高いシーンに適用する場合、もう一層正確な車線属性検出結果を得ることができる。
本発明の１実施例によって提供される車線属性検出方法のシーンの模式図である。 本発明の１実施例によって提供される車線属性検出方法のフローの模式図である。 本発明のもう１実施例によって提供される車線属性検出方法のフローの模式図である。 本発明の別の１実施例によって提供される車線属性検出方法のフローの模式図である。 本発明の１実施例によって提供される車線属性検出を実行するためのニューラルネットワークのトレーニング方法のフローの模式図である。 本発明の１実施例によって提供される畳み込みニューラルネットワークの構成の模式図である。 本発明の１実施例によって提供される車線属性検出を実行するためのニューラルネットワークが路面画像処理を実行するフローの模式図である。 本発明の１実施例によって提供される車線属性検出装置のモジュールの構成図である。 本発明のもう１実施例によって提供される車線属性検出装置のモジュールの構成図である。 本発明の１実施例によって提供される電子デバイスの構成の模式図である。 本発明の１実施例によって提供されるスマートデバイスの構成の模式図である。 本発明の１実施例によって提供されるスマート運転方法のフローの模式図である。
以下、本発明の目的、技術的解決策、および、利点をいっそう明確にするために、本発明の実施例の図面と結合して、本発明の実施例の技術的解決策を明確かつ完全に叙述し、当然ながら、叙述する実施例は、本発明の一部の実施例に過ぎず、全部の実施例ではない。当業者が本発明の実施例に基づいて創造的な仕事なしで取得したすべての他の実施例は、いずれも、本発明が保護する範囲に属する。
図１は、本発明の実施例によって提供される車線属性検出方法のシーンの模式図である。図１に示すように、当該方法は、画像収集装置１１０が装着されている車両１２０に適用され得る。ここで、当該画像収集装置１１０は、車両１２０に装着されている撮影機能を有するデバイスであり得、例えば、カメラ、ドライビングレコーダーなどデバイスであり得る。車両が路面上に位置しているときに、車両上の画像収集装置を利用して路面画像を収集し、本発明によって提供される方法を利用して車両が位置している路面上の車線属性を検出し、さらに、得られた検出結果が補助運転または自動運転中に適用されるようにする。例えば、経路計画、経路オフセット警告、交通流分析などを実行する。
いくつかの例において、本発明によって提供される車線属性検出方法は、ロボットまたはブラインド案内デバイスなどの道路識別を実行する必要があるスマートデバイスにも適用される。
図２は、本発明の実施例によって提供される車線属性検出方法のフローの模式図であり、図２に示すように、当該方法は、ステップＳ２０１〜Ｓ２０３を含む。
Ｓ２０１において、スマートデバイスに装着された画像収集装置が収集した路面画像を取得する。
スマートデバイスが車両である例を挙げると、車両上に装着された画像収集装置は、車両が走行している路面上の路面画像をリアルタイムに収集することができる。さらに、後続のステップを通じて、継続的に、画像収集装置によって収集された路面画像に基づいて、継続的に更新される車線属性検出結果を得ることができる。
Ｓ２０２において、上記路面画像に基づいて確率マップを確定する。
ここで、上記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含む。
上記色属性確率マップは、Ｎ１個あり、各々の色属性確率マップは、１種の色に対応し、Ｎ１個の色属性確率マップは、Ｎ１種の色に対応する。上記線形属性確率マップは、Ｎ２個あり、各々の線形属性確率マップは、１種の線形に対応し、Ｎ２個の線形属性確率マップは、Ｎ２種の線形に対応する。上記エッジ属性確率マップは、Ｎ３個あり、各々のエッジ属性確率マップは、１種のエッジに対応し、Ｎ３個のエッジ属性確率マップは、Ｎ３種のエッジに対応する。ここで、各々の色属性確率マップは、上記路面画像における各点が対応する当該種の色に属する確率を表し、各々の線形属性確率マップは、上記路面画像における各点が対応する当該種の線形に属する確率を表し、各々のエッジ属性確率マップは、上記路面画像における各点が対応する当該種のエッジに属する確率を表す。ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数である。
いくつかの例において、ニューラルネットワークを利用して上記確率マップを確定することができる。具体的に、上記路面画像をニューラルネットワークに入力し、ニューラルネットワークによって上記確率マップが出力される。ここで、上記のニューラルネットワークは、畳み込みニューラルネットワークを含んでもよいが、これらに限定されない。
本発明の実施例において、車線の属性を、色、線形、および、エッジのような３個の次元にしたがって分割し、ニューラルネットワークを利用して路面画像の各点それぞれの上記の３個の次元の中の少なくとも２個の次元における確率マップを予測する。
１例において、色の次元の場合、上記のＮ１種の色は、白色、黄色、および、青色の中の少なくとも１つを含んでもよい。この３種の色に加えて、色の次元の場合、無車線と他の色のような２種の結果をさらに含んでもよく、すなわち、無車線と他の色もそれぞれ１種の色とする。ここで、無車線は、路面画像の点が車線に属しないことを表し、他の色は、路面画像の点の色が白色、黄色、および、青色以外の色であることを表す。
表１は、上記色の次元での色種類の例であり、表１に示すように、色の次元では、５種の色種類を含んでもよく、Ｎ１の値は５である。
Figure 2021532449
１例において、線形の次元の場合、上記のＮ２種の線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含んでもよい。これら線形に加えて、線形の次元の場合、無車線と他の線形のような２種の結果をさらに含んでもよく、すなわち、無車線と他の線形もそれぞれ１種の線形とする。ここで、無車線は、路面画像の点が車線に属しないことを表し、他の線形は、路面画像の点の線形が上記線形以外の線形であることを表す。上記の破線実線二重線は、左から右への方向において、１本目の線が破線であり、２本目の線が実線であり、これに応じて、上記の実線破線二重線は、左から右への方向において、１本目の線が実線であり、２本目の線が破線である。
表２は、上記線形の次元での線形の例であり、表２に示すように、線形の次元では、１０種の線形を含んでもよく、Ｎ２の値は１０である。
Figure 2021532449
１例において、エッジの次元の場合、上記のＮ３種のエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含んでもよい。ここで、非エッジは、路面画像の点がエッジに属せずに、車線に属することを表す。これらエッジ種類に加えて、エッジの次元の場合、無車線と他のエッジのような２種の結果をさらに含んでもよく、すなわち、無車線と他のエッジもそれぞれ１種のエッジとする。ここで、無車線は、路面画像の点が、車線にも属しないし、エッジにも属しないことを表し、他のエッジは、路面画像の点が上記エッジ種類以外のエッジ種類に属することを表す。
表３は、上記エッジの次元でのエッジの例であり、表３に示すように、エッジの次元上は、７種のエッジ種類を含んでもよく、Ｎ３の値は７である。
Figure 2021532449
上記の表１、表２、および、表３に示した各属性の種類を例とすると、本ステップにおいて、路面画像をニューラルネットワークに入力した後に、ニューラルネットワークによって、５個の色属性確率マップ、１０個の線形属性確率マップ、および、７個のエッジ属性確率マップが出力されることができる。ここで、５個の色属性確率マップの中の各々の色属性確率マップは、路面画像における各点が上記の表１中の１種の色に属する確率を代表し、１０個の線形属性確率マップの中の各々の線形属性確率マップは、路面画像における各点が上記の表２中の１種の線形に属する確率を代表し、７個のエッジ属性確率マップの中の各々のエッジ属性確率マップは、路面画像における各点が上記の表３の中の１種のエッジに属する確率を代表する。
色属性を例とすると、上記の表１に示したナンバーを使用し、５個の色属性確率マップが、それぞれ、確率マップ０、確率マップ１、確率マップ２、確率マップ３、および、確率マップ４であると仮定する。すると、色属性確率マップと表１中の色種類との対応関係は、表４に示すようであってもよい。
Figure 2021532449
さらに、上記の表４に示した対応関係に基づいて、例示的に、確率マップ２は、路面画像における各々の点が白色に属する確率を表すことができる。路面画像を２００＊２００サイズのマトリックスを使用して表すと仮定すると、当該マトリックスを上記のニューラルネットワークに入力した後、もう１つの２００＊２００大きさのマトリックスを出力することができ、ここで、出力したマトリックスの中の各々の要素の値が路面画像上の対応する位置の点が白色に属する確率である。例えば、ニューラルネットワークが出力した２００＊２００大きさのマトリックスにおいて、１行目１列目の要素の値が０．４であると、路面画像における１行目１列目の点が白色の種類に属する確率が０．４であることを表す。さらに、ニューラルネットワークによって出力されたマトリックスは、色属性確率マップの形式で表すことができる。
Ｓ２０３において、上記確率マップに基づいて上記路面画像における車線属性を確定する。
本発明の実施例において、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップは、３種の確率マップに属し、ここでの１種の確率マップを使用する場合、当該種の確率マップの中の複数の確率マップを同時に使用することができることを説明する必要がある。例えば、色属性確率マップを使用する場合、Ｎ１個の色属性確率マップを同時に使用して路面画像の色属性を確定することができる。
１種の選択可能な形態において、上記確率マップは、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の２種であり得、すなわち、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の２種を使用して路面画像における車線属性を確定することができる。
このような形態において、路面画像における車線属性を確定する場合、車線属性の数は、使用する２種の確率マップに対応する属性の数の組み合わせの数であり、各々の車線属性は、使用する２種の確率マップ中の各々の属性のセットである。
例示的に、色属性確率マップと線形属性確率マップを使用して路面画像における車線属性を確定し、色属性確率マップがＮ１個あり、線形属性確率マップがＮ２個あると、確定する路面画像における車線属性の数は、Ｎ１＊Ｎ２である。ここで、１つの車線属性は、１つの色属性と１つの線形属性のセットであり、すなわち、１つの車線属性は、１つの色属性と１つの線形属性を含む。例えば、特定の車線属性が白色破線であることは、白色と破線のセットであることである。
もう１種の選択可能な形態において、上記確率マップは、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の３種であり得、すなわち、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップを同時に使用して、路面画像における車線属性を確定することができる。
このような形態において、路面画像における車線属性を確定する場合、車線属性の数は、使用する３種の確率マップに対応する属性の数の組み合わせの数であり、各々の車線属性は、使用する３種の確率マップ中の各々の属性の組み合わせである。
例示的に、色属性確率マップがＮ１個あり、線形属性確率マップがＮ２個あり、エッジ属性確率マップがＮ３個あると、確定する路面画像における車線属性の数は、Ｎ１＊Ｎ２＊Ｎ３である。ここで、１つの車線属性は、１つの色属性、１つの線形属性、および、１つのエッジ属性の組み合わせであり、すなわち、１つの車線属性は、１つの色属性、１つの線形属性、および、１つのエッジ属性を含む。例えば、特定の車線属性が白色破線の車線であることは、白色、破線、および、非エッジの組み合わせである。
上記のＮ１＊Ｎ２＊Ｎ３は、本発明の実施例がサポートできるすべての組み合わせであり、具体的な実施過程において特定の組み合わせが実際の使用過程で出現されない可能性があることを説明する必要がある。
上記の３種の形態の具体的な実施過程は、下記の実施例で詳細に説明される。
本実施例において、車線属性を色、線形、および、エッジのような３種の次元に区分し、さらに、路面画像の各点のこの３種の次元における３種の属性確率マップを得ることができ、この３種の属性確率マップの中の少なくとも２種に基づいて、路面画像における車線属性を確定することができる。上記の過程で得られた３種の属性確率マップは、それぞれ１種の次元の車線属性に対するものであるため、路面画像に基づいて各種の確率マップを確定することを単一のタスクの検出を実行することとして見なすことができ、タスク検出の複雑度を軽減した。その後、各々のタスクで検出した結果に基づいて路面画像における車線属性を確定し、つまり、各種の検出結果を結合して、車線属性を得る必要がある。したがって、車線属性の種類がより多い場合、または、車線の属性を精密に確定する必要がある場合、本発明の実施例によって提供される車線属性検出方法は、車線属性を検出際に、異なる属性を別々に検出し、検出結果を結合する方式を使用することによって、車線属性を予測する正確性と堅牢性を向上させた。上記の過程を複雑度がより高いシーンに適用する場合、もう一層正確な車線属性検出結果を得ることができる。また、本発明において、エッジを１種の属性次元とすることによって、本発明は、車線標示線が標示されている構造化された路面シーンで車線種類などを正確に検出できるだけでなく、車線標示線が欠落しているか、または車線標示線が標示されていないシーン、例えば地方の道路走行シーンでも、本実施例の方法によって各種類のエッジ種類などを正確に検出することができる。
上記の実施例を基として、本実施例は、確率マップを使用して路面画像における車線属性を確定する過程を具体的に叙述する。
１種の選択可能な形態において、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の２種を使用して路面画像における車線属性を確定することができる。
１例において、上記のステップＳ２０３で使用した確率マップは、第１属性確率マップと第２属性確率マップとを含み、第１属性確率マップと第２属性確率マップとは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の２種であり、第１属性確率マップと第２属性確率マップと互いに異なる。
図３は、本発明のもう１実施例によって提供される車線属性検出方法のフローの模式図であり、図３に示すように、上記確率マップが第１属性確率マップと第２属性確率マップとを含む場合、上記のステップＳ２０３で確率マップに基づいて路面画像における車線属性を確定する過程は、以下のステップを含む。
Ｓ３０１において、上記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の第１属性確率マップにおける対応する位置のそれぞれの確率値を確定する。
Ｓ３０２において、当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とする。
Ｓ３０３において、上記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定する。
上記のステップＳ３０１の前に、まず、上記路面画像に対して前処理を実行して、路面画像における車線を得ることができる。例えば、路面画像を特定の既にトレーニングされたニューラルネットワークに入力し、当該ニューラルネットワークによって当該路面画像における車線結果を出力することができる。さらに、例えば、路面画像を特定の既にトレーニングされたセマンティック分割ネットワークに入力し、当該セマンティック分割ネットワークによって当該路面画像における車線分割結果を出力することができる。その後、図３に示した方法を使用して、車線に対して属性処理を実行して、車線の属性を算出する。このようにして、車線識別の正確性を向上させる。
上記のステップＳ３０１〜Ｓ３０３は、路面画像における１本の車線の第１属性の値を確定することができる。ここで、第１属性は、第１属性確率マップに対応する属性であり、例示的に、第１属性確率マップが色属性確率マップであると、第１属性は色属性であり、第１属性の値は、白色、黄色、青色、他の色などであり得る。
ニューラルネットワークを使用して確率マップを得る例を挙げると、当該過程で、路面画像をニューラルネットワークに入力した後、ニューラルネットワークは、Ｌ個の第１属性確率マップを出力することができ、路面画像における１本の車線中の１つの点に対して、各々の第１属性確率マップはいずれも１つの対応する位置の確率値を有し、確率値が大きいほど、当該点が当該確率マップに対応する属性に属する確率が大きいことを意味し、したがって、当該点に対して、Ｌ個の第１属性確率マップ中の対応する位置の確率値と比較し、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とすることができる。
例示的に、第１属性確率マップが色属性確率マップであり、第１属性が色属性であり、Ｌが５であり、すなわち、５個の色属性確率マップを含み、それぞれ、上記の表４に示した確率マップ０、確率マップ１、確率マップ２、確率マップ３、および、確率マップ４であると仮定すると、各々の確率マップが１種の色属性に対応する。路面画像における１本の車線中の１つの点の確率マップ１における確率値が最大であると仮定すると、当該点の色属性の値を確率マップ１に対応する色属性として確定することができる。
上記の方法を使用して路面画像における１本の車線の位置のところの各点の第１属性の値を得ることができ、これを基礎として、各点の第１属性の値に基づいて当該本の車線の第１属性の値を確定することができる。
例えば、当該本の車線の位置のところの各点の第１属性の値が互いに異なると、当該本の車線の位置のところの、第１属性の値が同一である点の数が最多である点の第１属性の値を、当該本の車線の第１属性の値とすることができる。
例示的に、第１属性が色属性であり、当該本の車線中の各点の中で、第１属性の値が白色である点の数が総点の数の８０％を占め、第１属性の値が黄色である点の数が総点の数の１７％を占め、第１属性の値が他の色である点の数が総点の数の３％を占めると仮定すると、白色を当該本の車線の第１属性の値とし、すなわち色属性の値とすることができる。
さらに、例えば、当該本の車線の位置のところの各点の第１属性の値が同一であると、当該本の車線の位置のところの点の第１属性の値を当該本の車線の第１属性の値とすることができる。
例示的に、第１属性が色属性であり、当該本の車線位置上のすべての点の第１属性の値がいずれも黄色であると仮定すると、黄色を当該本の車線の第１属性の値とし、すなわち色属性の値とすることができる。
Ｓ３０４において、上記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＳ個の第２属性確率マップにおける対応する位置のそれぞれの確率値を確定する。
Ｓ３０５において、当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とする。
Ｓ３０６において、上記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定する。
上記のステップＳ３０４〜Ｓ３０６は、路面画像における１本の車線の第２属性の値を確定することができる。ここで、第２属性は、第２属性確率マップに対応する属性であり、例示的に、第２属性確率マップが線形属性確率マップであると、第２属性は、線形属性であり、第２属性の値は、実線、破線、二重実線、二重破線などであり得る。
ニューラルネットワークを使用して確率マップを得る例を挙げると、当該過程で、路面画像をニューラルネットワークに入力した後、ニューラルネットワークは、Ｓ個の第２属性確率マップを出力することができ、路面画像における１本の車線中の１つの点に対して、各々の第２属性確率マップはいずれも１つの対応する確率値を有し、確率値が大きいほど、当該点が当該確率マップに対応する属性に属する確率が大きいことを意味し、したがって、当該点に対して、Ｓ個の第２属性確率マップ中の対応する位置の確率値を比較して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とすることができる。
例示的に、第２属性確率マップが線形属性確率マップであり、第２属性が線形属性であり、Ｓが１０であり、すなわち、１０個の線形属性確率マップを含むと仮定すると、各々の確率マップが１種の線形属性に対応する。路面画像における１本の車線中の１つの点の１番目の線形属性確率マップにおける確率値が最大であると仮定すると、当該点の線形属性の値を１番目の線形属性確率マップに対応する線形属性として確定できる。
上記の方法を使用して路面画像における１本の車線の位置のところの各点の第２属性の値を得ることができ、これを基礎として、各点の第２属性の値に基づいて当該本の車線の第２属性の値を確定することができる。
例えば、当該本の車線の位置のところの各点の第２属性の値が互いに異なると、当該本の車線の位置のところの、第２属性の値が同一である点の数が最多である点の第２属性の値を、当該本の車線の第２属性の値とすることができる。
例示的に、第２属性が線形属性であり、当該本の車線中の各点の中で、第２属性の値が実線である点の数が総点の数の８１％を占め、第２属性の値が破線である点の数が総点の数の１５％を占め、第２属性の値が他の線形である点の数が総点の数の４％を占めると仮定すると、実線を当該本の車線の第２属性の値とし、すなわち線形属性の値とすることができる。
さらに、例えば、当該本の車線の位置のところの各点の第２属性の値が同一であると、当該本の車線の位置のところの点の第２属性の値を当該本の車線の第２属性の値とすることができる。
例示的に、第２属性が線形属性であり、当該本の車線位置上のすべての点の第２属性の値がいずれもが実線であると仮定すると、実線を当該本の車線の第２属性の値とし、すなわち線形属性の値とすることができる。
上記のステップＳ３０１〜Ｓ３０３は、順に実行され、上記のステップＳ３０４〜Ｓ３０６も、順に実行されるが、本発明の実施例は、Ｓ３０１〜Ｓ３０３およびＳ３０４〜Ｓ３０６の実行順序に対して限定しなく、まずＳ３０１〜Ｓ３０３を実行してから、Ｓ３０４〜Ｓ３０６を実行してもよいし、まずＳ３０４〜Ｓ３０６を実行してから、Ｓ３０１〜Ｓ３０３を実行してもよいし、Ｓ３０１〜Ｓ３０３およびＳ３０４〜Ｓ３０６を並行して実行してもよいことを説明する必要がある。
上記のステップＳ３０１〜Ｓ３０６において、第１属性確率マップは、Ｌ個であり、第２属性確率マップは、Ｓ個である。上述したように、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個ある。すると、Ｌ、Ｓと、前述したＮ１、Ｎ２、Ｎ３との関係は、以下である。
第１属性確率マップが色属性確率マップであると、ＬはＮ１に等しく、第１属性は色属性である。第１属性確率マップが線形属性確率マップであると、ＬはＮ２に等しく、第１属性は線形属性である。第１属性確率マップがエッジ属性確率マップであると、ＬはＮ３に等しく、第１属性はエッジ属性である。第２属性確率マップが色属性確率マップであると、ＳはＮ１に等しく、第２属性は色属性である。第２属性確率マップが線形属性確率マップであると、ＳはＮ２に等しく、第２属性は線形属性である。第２属性確率マップがエッジ属性確率マップであると、ＳはＮ３に等しく、第２属性はエッジ属性である。
第１属性確率マップが第２属性確率マップと互いに異なるため、第１属性確率マップが色属性確率マップであると、第２属性確率マップは、線形属性確率マップまたはエッジ属性確率マップであり得、第１属性確率マップが線形属性確率マップであると、第２属性確率マップは、色属性確率マップまたはエッジ属性確率マップであり得、第１属性確率マップがエッジ属性確率マップであると、第２属性確率マップは、色属性確率マップまたは線形属性確率マップであり得ることに注意する必要がある。
Ｓ３０７において、当該本の車線の第１属性の値と当該本の車線の第２属性の値とを組み合わせる。
Ｓ３０８において、組み合わせた後の属性の値を当該本の車線の属性の値とする。
例えば、１本の車線の第１属性の値と第２属性の値とを得た後、第１属性の値と第２属性の値とに対して組み合わせ処理を実行することによって、組み合わせた後の属性の値を当該本の車線の属性の値とすることができる。組み合わせ処理の方式は、例えば、第２属性の値を第１属性の値の後の重ね合せること、または、第１属性の値を第２属性の値の後に重ね合せることであり得る。
例示的に、第１属性が色属性であり、第２属性が線形属性であり、前述したステップを通じて、路面画像における特定本の車線の第１属性の値が白色であり、第２属性の値が実線であると仮定すると、第２属性の値を第１属性の値の後に重ね合せて、「白色実線」を得、「白色実線」が当該本の車線の属性の値である。
１例において、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップを同時に使用して、路面画像における車線属性を確定することができる。
このような形態において、上記のステップＳ２０３で使用した確率マップは、前述した第１属性確率マップと第２属性確率マップに加えて、第３属性確率マップをさらに含む。ここで、当該第３属性確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の１種であり、かつ、当該第３属性確率マップ、上記の第２属性確率マップ、および、上記の第１属性確率マップは、その属性がいずれも互いに異なる確率マップである。
図４は、本発明の別の１実施例によって提供される車線属性検出方法のフローの模式図であり、図４に示すように、上記確率マップが、第１属性確率マップと第２属性確率マップも含むし、さらに、第３属性確率マップも含む場合、上記のステップＳ３０７で第１属性の値と第２属性の値とを組み合わせる前に、以下のステップを実行することができる。
Ｓ４０１において、上記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＵ個の第３属性確率マップにおける対応する位置のそれぞれの確率値を確定する。
Ｓ４０２において、当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とする。
Ｓ４０３において、上記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定する。
上記のステップＳ４０１〜Ｓ４０３は、路面画像における１本の車線の第３属性の値を確定することができる。ここで、第３属性は、第３属性確率マップに対応する属性であり、例示的に、第３属性確率マップがエッジ属性確率マップであると、第３属性はエッジ属性であり、第３属性の値は、縁石型エッジ、フェンス型エッジ、仮想エッジなどであり得る。
ニューラルネットワークを使用して確率マップを得る例を挙げると、当該過程で、路面画像をニューラルネットワークに入力した後、ニューラルネットワークは、Ｕ個の第３属性確率マップを出力することができ、路面画像における１本の車線中の１つの点に対して、各々の第３属性確率マップはいずれも１つの対応する確率値を有し、確率値が大きいほど、当該点が当該確率マップに対応する属性に属する確率が大きいことを意味し、したがって、当該点に対して、Ｕ個の第３属性確率マップ中の対応する位置の確率値を比較し、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とすることができる。
例示的に、第３属性確率マップがエッジ属性確率マップであり、第３属性がエッジ属性であり、Ｕが７であり、すなわち、７個のエッジ属性確率マップを含むと仮定すると、各々の確率マップは、１種のエッジ属性に対応する。路面画像における１本の車線中の１つの点の７番目のエッジ属性確率マップにおける確率値が最大であると仮定すると、当該点のエッジ属性の値を第７個のエッジ属性確率マップに対応するエッジ属性として確定することができる。
上記の方法を使用して路面画像における１本の車線の位置のところの各点の第３属性の値を得ることができ、これを基礎として、各点の第３属性の値に基づいて当該本の車線の第３属性の値を確定することができる。
例えば、当該本の車線の位置のところの各点の第３属性の値が互いに異なると、当該本の車線の位置のところの、第３属性の値が同一である点の数が最多である点の第３属性の値を、当該本の車線の第３属性の値とすることができる。
例示的に、第３属性がエッジ属性であり、当該本の車線中の各点の中で、第３属性の値が縁石型エッジである点の数が総点の数の８２％を占め、第３属性の値が仮想エッジである点の数が総点の数の１４％を占め、第３属性の値が非エッジである点の数が総点の数の４％を占めると仮定すると、縁石型エッジを当該本の車線の第３属性の値とし、すなわちエッジ属性の値とすることができる。
さらに、例えば、当該本の車線の位置のところの各点の第３属性の値が同一であると、当該本の車線の位置のところの点の第３属性の値を当該本の車線の第３属性の値とすることができる。
例示的に、第３属性がエッジ属性であり、当該本の車線位置上のすべての点の第３属性の値がいずれも縁石型エッジであると仮定すると、縁石型エッジを当該本の車線の第３属性の値とし、すなわちエッジ属性の値とすることができる。
具体的な実施過程で、上記のステップＳ４０１〜Ｓ４０３は、順に実行されるが、本発明の実施例は、Ｓ４０１〜Ｓ４０３、Ｓ３０１〜Ｓ３０３、および、Ｓ３０４〜Ｓ３０６の実行順序に対して限定しない。例示的に、まずＳ３０１〜Ｓ３０３を実行してから、Ｓ３０４〜Ｓ３０６を実行し、その後に、Ｓ４０１〜Ｓ４０３を実行してもよいし、まずＳ３０４〜Ｓ３０６を実行してから、Ｓ３０１〜Ｓ３０３を実行し、その後に、Ｓ４０１〜Ｓ４０３を実行してもよいし、まずＳ４０１〜Ｓ４０３を実行してから、Ｓ３０４〜Ｓ３０６を実行し、その後に、Ｓ３０１〜Ｓ３０３を実行してもよいし、Ｓ３０１〜Ｓ３０３、Ｓ３０４〜Ｓ３０６、および、Ｓ４０１〜Ｓ４０３を並行して実行してもよいことを説明する必要がある。
上記のステップＳ４０１〜Ｓ４０３において、第３属性確率マップは、Ｕ個であり、上述したように、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個ある。すると、Ｕと前述したＮ１、Ｎ２、Ｎ３との関係は、以下である。
第３属性確率マップが色属性確率マップであると、ＵはＮ１に等しく、第３属性は色属性である。第３属性確率マップが線形属性確率マップであると、ＵはＮ２に等しく、第３属性は線形属性である。第３属性確率マップがエッジ属性確率マップであると、ＵはＮ３に等しく、第３属性はエッジ属性である。
１例において、上記確率マップが、第１属性確率マップ、第２属性確率マップ、および、第３属性確率マップを含む場合、上記のステップＳ３０７で１本の車線の第１属性の値と第２属性の値を組み合わせるときに、具体的に、当該本の車線の第１属性の値、当該本の車線の第２属性の値、および、当該本の車線の第３属性の値を組み合わせることができる。
例示的に、組み合わせ処理の方式は、例えば、第３属性の値を第２属性の値と第１属性の値の後に重ね合せること、または、第３属性の値を第２属性の値と第１属性の値の前に重ね合せることができる。
例示的に、第１属性が色属性であり、第２属性が線形属性であり、第３属性がエッジ属性であり、前述した方式を通じて路面画像における特定本の車線の第１属性の値が白色であり、第２属性の値が実線であり、第３属性の値が非エッジであると仮定すると、第３属性の値を第２属性と第１属性の後に重ね合せて、「白色実線の非エッジ」を得ることができ、上述したように、非エッジは、エッジに属せずに、車線に属することを表し、したがって、当該例で得られた車線属性は、白色実線の車線である。
上記のように、確率マップに基づいて路面画像における車線属性を確定する過程を説明した。上述したように、当該確率マップは、ニューラルネットワークによって得ることができ、路面画像をニューラルネットワークに入力して、ニューラルネットワークによって上記確率マップを出力することができる。
以下、実施例を使用して上記の実施例に関するニューラルネットワークのトレーニングおよび使用過程を説明する。
上記のニューラルネットワークを使用する前に、上記のニューラルネットワークに対して、事前に、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して、監督トレーニングを実行することができる。当該路面トレーニング画像セットは、大量のトレーニング用画像を含む。各々のトレーニング用画像は、実際の路面画像を収集してラベル付けを実行する過程で得たものである。１例において、まず、昼、夜、雨、トンネル、直線道路、カーブ、強い光などの複数の種類のシーンでの複数枚の実際路面画像を収集し、さらに、各枚の実際路面画像に対して、ピクセルレベルのラベル付けを実行し、すなわち、実際路面画像における各々のピクセル点の種類を、色種類、線形種類、および、エッジの種類のラベル情報にラベル付けすることによって、トレーニング画像セットを得る。ニューラルネットワークのパラメータは、豊富なシーンで収集したトレーニング画像セットを利用して監督トレーニングを実行して得られたものであり、したがって、トレーニングされた後のニューラルネットワークは、いくつかの簡単なシーン、例えば、天気条件と光の条件がいずれもより良い昼のシーンで、正確な車線属性検出結果を得ることができるだけでなく、複雑度がより高いシーン、例えば、雨、夜、トンネル、カーブ、強い光などのシーンでも、正確な車線属性検出結果を得ることができる。
上記の過程に関するトレーニングを通じた画像セットは、実際の各種のシーンをカバーし、したがって、トレーニング画像セットを使用してトレーニングされたニューラルネットワークは、各種のシーンでの車線属性検出でいずれも良い堅牢性を有し、検出時間が短く、検出結果の正確性が高い。
路面トレーニング画像セットを取得した後、下記の過程に従って上記のニューラルネットワークをトレーニングすることができる。
図５は、本発明の実施例によって提供される車線属性検出を実行するためのニューラルネットワークをトレーニングする方法のフローの模式図であり、図５に示すように、上記のニューラルネットワークのトレーニング過程は、以下のステップを含んでもよい。
Ｓ５０１において、ニューラルネットワークが、入力されたトレーニング用画像に対して処理を実行して、トレーニング用画像の予測色属性確率マップ、予測線形属性確率マップ、および、予測エッジ属性確率マップを出力する。
ここで、上記トレーニング用画像は、上記の路面トレーニング画像セットに含まれている。
ここで、上記の予測色属性確率マップ、予測線形属性確率マップ、および、予測エッジ属性確率マップは、ニューラルネットワークの現在実際に出力する予測色属性確率マップ、予測線形属性確率マップ、および、予測エッジ属性確率マップである。
Ｓ５０２において、上記トレーニング用画像における１本の車線の位置のところの各々の点に対して、当該点の色属性の値、線形属性の値、および、エッジ属性の値をそれぞれ確定する。
Ｓ５０３において、上記トレーニング用画像における当該本の車線の位置のところの各点の色属性の値、線形属性の値、および、エッジ属性の値にそれぞれ基づいて、当該本の車線の予測色種類、予測線形種類、および、予測エッジ種類を確定する。
ここで、予測色種類とは、ニューラルネットワークが出力した確率マップによって得られた車線の色属性の値を指し、予測線形種類とは、ニューラルネットワークが出力した確率マップによって得られた車線の線形属性の値を指し、予測エッジ種類とは、ニューラルネットワークが出力した確率マップによって得られた車線のエッジ属性の値を指す。
上記のステップＳ５０２〜Ｓ５０３において、色、線形、エッジの次元に従って別々に処理して、トレーニング用画像における１本の車線の予測色種類、予測線形種類、および、予測エッジ種類を確定することができる。
ここで、トレーニング用画像における１本の車線の位置のところの各々の点の色属性の値を確定する具体的な方法、および、各点の色属性の値に基づいて車線の予測色種類を確定する具体的な方法は、前述したステップＳ３０１〜Ｓ３０３、ステップＳ３０４〜Ｓ３０６、または、ステップＳ４０１〜Ｓ４０３を参照すればよく、ここでは再度繰り返して説明しない。
トレーニング用画像における１本の車線の位置のところの各々の点の線形属性の値を確定する具体的な方法、および、各点の線形属性の値に基づいて車線の予測線形を確定する具体的な方法、前述したステップＳ３０１〜Ｓ３０３、ステップＳ３０４〜Ｓ３０６、または、ステップＳ４０１〜Ｓ４０３を参照すればよく、ここでは再度繰り返して説明しない。
ニューラルネットワークは、１本の車線の位置のところの各々の点の線形属性またはエッジ属性を確定する場合、路面画像全体を利用して車線が破線であるか実線であるかを判断し、その後、車線上の点が破線であるか実線であるかの確率を得、なぜなら、ニューラルネットワークが路面画像から抽出した特徴マップ中の各々のピクセル点が路面画像における広い領域の情報を集約するため、車線の線形またはエッジの種類を判断できるからである。
トレーニング用画像における１本の車線の位置のところの１つの点のエッジ属性の値を確定する具体的な方法、および、各点のエッジ属性の値に基づいて車線の予測エッジ種類を確定する具体的な方法は、前述したステップＳ３０１〜Ｓ３０３、ステップＳ３０４〜Ｓ３０６、または、ステップＳ４０１〜Ｓ４０３を参照すればよく、ここでは再度繰り返して説明しない。
Ｓ５０４において、上記トレーニング用画像の車線の予測色種類と上記トレーニング用画像の車線の色種類の真の値（Ｇｒｏｕｎｄ−ｔｒｕｔｈ）マップ中の色種類との間の第１損失値、上記トレーニング用画像の車線の予測線形と上記トレーニング用画像の車線の線形の真の値マップ中の線形との間の第２損失値、および、上記トレーニング用画像の車線の予測エッジ種類と上記トレーニング用画像の車線のエッジ種類の真の値マップ中のエッジ種類との間の第３損失値を取得する。
ここで、上記色種類の真の値マップは、論理代数の方式によってトレーニング用画像の色を表し、上記色種類の真の値マップは、上記トレーニング用画像の色種類のラベル情報に基づいて得たものである。上記線形の真の値マップは、論理代数の方式によってトレーニング用画像の線形を表し、上記線形の真の値マップは、上記トレーニング用画像の線形のラベル情報に基づいて得たものである。上記エッジ種類の真の値マップは、論理代数の方式によってトレーニング用画像のエッジ種類を表し、上記エッジ種類の真の値マップは、上記トレーニング用画像のエッジの種類のラベル情報に基づいて得たものである。
１例において、損失関数を使用して、予測色種類と色種類の真の値マップの色種類との間の第１損失値、予測線形と線形の真の値マップの線形との間の第２損失値、および、予測エッジ種類とエッジ種類の真の値マップ中のエッジ種類との間の第３損失値を算出することができる。
Ｓ５０５において、上記の第１損失値、第２損失値、および、第３損失値に基づいて、上記のニューラルネットワークのネットワークのパラメータ値を調整する。
例えば、ニューラルネットワークのネットワークパラメータは、畳み込みカーネルのサイズ、重み情報などを含んでもよい。
本ステップにおいて、勾配逆方向伝播の方式によって、上記の損失値をニューラルネットワーク中で逆方向バック伝播することによって、ニューラルネットワークのネットワークパラメータ値を調整する。
本ステップを介した後、すなわち、１回のトレーニングの反復過程を完成して、新たなニューラルネットワークのパラメータ値を得る。
１例において、上記の第１損失値が所定の損失範囲内に入るまで、かつ、第２損失値が所定の損失範囲内に入るまで、かつ、第３損失値が所定の損失範囲内に入るまで、当該新たなニューラルネットワークのパラメータ値に基づいて、継続的に、上記のステップＳ５０１〜Ｓ５０４を実行し、この時に得られたニューラルネットワークのパラメータ値が最適化後のパラメータ値であり、当該ニューラルネットワークのトレーニングが終了される。
もう１つの例において、上記の第１損失値と第２損失値と第３損失値との和の値がもう１つの所定の損失範囲内に入るまでに、当該新たなニューラルネットワークのパラメータ値に基づいて、継続的に上記のステップＳ５０１〜Ｓ５０４を実行し、この時に得られたニューラルネットワークのパラメータ値が最適化後のパラメータ値であり、当該ニューラルネットワークのトレーニングが終了される。
別の１つの例において、さらに、勾配降下アルゴリズムまたは他のニューラルネットワーク分野の一般的なアルゴリズムによって、当該ニューラルネットワークのトレーニングを終了するか否かを判断することができる。
例示的に、毎回に１枚のトレーニング画像を使用してニューラルネットワークをトレーニングしてもよいし、１回に複数枚のトレーニング画像を使用してニューラルネットワークをトレーニングしてもよい。
１例において、上記のニューラルネットワークは、畳み込みニューラルネットワークであり得、当該畳み込みニューラルネットワークは、畳み込み層、残差ネットワークユニット、アップサンプリング層、および、正規化層を含んでもよい。ここで、畳み込み層と残差ネットワークユニットの前後の順序は、必要によって柔軟に設定することができ、また、各層の数も、必要によって柔軟に設定することができる。
例えば、上記の畳み込みニューラルネットワークは、接続された６〜１０個の畳み込み層、接続された７〜１２個の残差ネットワークユニット、および、１〜４個のアップサンプリング層を含んでもよい。当該特定構成を有する畳み込みニューラルネットワークを車線属性検出に用いる場合、複数のシーンまたは複雑なシーンでの車線属性検出の用件を満たして、検出結果の堅牢性がいっそう良くなるようにする。
１例において、上記の畳み込みニューラルネットワークは、接続された８個の畳み込み層、接続された９個の残差ネットワークユニット、および、接続された２個のアップサンプリング層を含んでもよい。
図６は、本発明の１実施例によって提供される畳み込みニューラルネットワークの構成の模式図であり、図６に示すように、路面画像入力６１０の後に、まず、当該畳み込みニューラルネットワークの連続された８個の畳み込み層６２０を経過し、当該連続された８個の畳み込み層６２０の後に、連続された９個の残差ネットワークユニット６３０を含み、当該連続された９個の残差ネットワークユニット６３０の後に、連続された２個のアップサンプリング層６４０を含み、当該連続された２個のアップサンプリング層６４０の後に、正規化層６５０があり、最終に、正規化層６５０によって確率マップが出力される。
例示的に、各々の上記の残差ネットワークユニット６３０は、２５６個のフィルタを含んでもよく、各層は、１２８個の３＊３と１２８個の１＊１のサイズのフィルタを含んでもよい。
上記の過程を通じてニューラルネットワークのトレーニングを完成した後、ニューラルネットワークを使用して前述した確率マップを出力するときに、以下の過程に従って出力することができる。
図７は、本発明の実施例によって提供される車線属性検出を実行するためのニューラルネットワークが路面画像処理を実行するフローの模式図であり、図７に示すように、ニューラルネットワークを利用して上記確率マップを取得する過程は、以下のステップを含む。
Ｓ７０１において、上記のニューラルネットワークの少なくとも１つの畳み込み層を利用して上記路面画像のＭ個のチャンネルの低レベル特徴情報を抽出する。
ここで、Ｍは、ステップＳ２０２で得られた確率マップの数である。１例において、確率マップが色属性確率マップと線形属性確率マップとを含むと、Ｍは、Ｎ１とＮ２の和である。もう１例において、確率マップが色属性確率マップと線形属性確率マップとエッジ属性確率マップとを含むと、Ｍは、Ｎ１とＮ２とＮ３との和である。
畳み込み層を利用して路面画像の解像度を低下させ、路面画像の低レベル特徴を残すことができる。例示的に、路面画像の低レベル特徴情報は、画像における縁情報、直線情報、および、曲線情報などを含んでもよい。
確率マップが色属性確率マップと線形属性確率マップとエッジ属性確率マップとを含む例を挙げると、上記路面画像のＭ個のチャンネルの中の各々のチャンネルは、１種の色属性、１種の線形属性、または、１種のエッジ属性に対応する。
Ｓ７０２において、上記のニューラルネットワークの少なくとも１つの残差ネットワークユニットを利用して上記のＭ個のチャンネル低レベル特徴情報に基づいて上記路面画像のＭ個のチャンネルの高レベル特徴情報を抽出する。
残差ネットワークユニットを利用して抽出した路面画像のＭ個のチャンネルの高レベル特徴情報は、語義特徴、輪郭、全体的構造などを含む。
Ｓ７０３において、上記のニューラルネットワークの少なくとも１つのアップサンプリング層を利用して上記のＭ個のチャンネルの高レベル特徴情報に対してアップサンプリング処理を実行して、上記路面画像と同じ大きさのＭ個の確率マップを得る。
アップサンプリング層のアップサンプリング処理を通じて、画像をニューラルネットワークに入力した画像の元の大きさに復元することができる。本ステップにおいて、Ｍ個のチャンネルの高レベル特徴情報に対してアップサンプリング処理を実行した後、ニューラルネットワークに入力した路面画像と同じ大きさのＭ個の確率マップを得ることができる。
本発明の実施例に記載の低レベル特徴情報と高レベル特徴情報は、１つの特定ニューラルネットワークでの相対的な概念であることを説明する必要がある。例えば、深度ニューラルネットワークにおいて、深度がより浅いネットワーク層によって抽出された特徴は、深度がより深いネットワーク層によって抽出された特徴と比較すると、前者によって抽出されたものが低レベル特徴情報に属し、後者によって抽出されたものが高レベル特徴情報に属する。
１例において、ニューラルネットワークで、上記のアップサンプリング層の後に、正規化層をさらに含んでもよく、正規化層を利用して上記のＭ個の確率マップを出力する。
例示的に、アップサンプリング処理を通じた後に得られた路面画像の特徴マップの場合、当該特徴マップ中の各ピクセル点の値に対して正規化処理を実行することによって、特徴マップ中の各ピクセル点の値が０から１の範囲内に入るようにして、Ｍ個の確率マップを得る。
例示的に、１種の正規化方法は、まず、特徴マップ中のピクセル点の値の最大値を確定し、その後、各ピクセル点の値を当該最大値で除算することによって、特徴マップ中の各ピクセル点の値が０から１の範囲内に入るようにする。
本発明の実施例は、上記のステップＳ７０１とＳ７０２の実行順序に対して限定しなく、すなわち、まずＳ７０１を実行してからＳ７０２を実行してもよいし、まずＳ７０２を実行してからＳ７０１を実行してもよいことを説明する必要がある。
選択的な１実施形態として、上記のステップＳ２０２で路面画像をニューラルネットワークに入力する前に、まず、上記路面画像に対して歪み除去処理を実行することによって、ニューラルネットワーク出力結果の正確性をいっそう向上させることができる。
図８は、本発明の実施例によって提供される車線属性検出装置のモジュールの構成図であり、図８に示すように、当該装置は、第１取得モジュール８０１と、第１確定モジュール８０２と、第２確定モジュール８０３と、備える。
第１取得モジュール８０１は、スマートデバイスに装着された画像収集装置が収集した路面画像を取得する。
第１確定モジュール８０２は、前記路面画像に基づいて確率マップを確定し、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、ここで、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、各々の色属性確率マップは、前記路面画像における各点が当該種の色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における各点が当該種の線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における各点が当該種のエッジに属する確率を表す。
第２確定モジュール８０３は、前記確率マップに基づいて前記路面画像における車線属性を確定する。
もう１実施例において、前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む。
もう１実施例において、前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む。
もう１実施例において、前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む。
もう１実施例において、前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なる。
第２確定モジュール８０３は、具体的に、前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定し、当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とし、前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定し、前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定し、当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とし、前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定し、当該本の車線の第１属性の値と当該本の車線の第２属性の値とを組み合わせ、組み合わせた後の属性の値を当該本の車線の属性の値とし、ここで、第１属性確率マップが色属性確率マップであると、ＬはＮ１に等しく、第１属性は色属性であり、第１属性確率マップが線形属性確率マップであると、ＬはＮ２に等しく、第１属性は線形属性であり、第１属性確率マップがエッジ属性確率マップであると、ＬはＮ３に等しく、第１属性はエッジ属性であり、第２属性確率マップが色属性確率マップであると、ＳはＮ１に等しく、第２属性は色属性であり、第２属性確率マップが線形属性確率マップであると、ＳはＮ２に等しく、第２属性は線形属性であり、第２属性確率マップがエッジ属性確率マップであると、ＳはＮ３に等しく、第２属性はエッジ属性である。
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第１属性に基づいて、当該本の車線の第１属性の値を確定することは、当該本の車線の位置のところの各点の第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第１属性の値が同一である点の数が最多である点の第１属性の値を、当該本の車線の第１属性の値とすることを含む。
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第１属性に基づいて、当該本の車線の第１属性の値を確定することは、当該本の車線の位置のところの各点の第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の第１属性の値を当該本の車線の第１属性の値とすることを含む。
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定することは、当該本の車線の位置のところの各点の第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第２属性の値が同一である点の数が最多である点の第２属性の値を、当該本の車線の第２属性の値とすることを含む。
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定することは、当該本の車線の位置のところの各点の第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の第２属性の値を当該本の車線の第２属性の値とすることを含む。
もう１実施例において、前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップである。
第２確定モジュール８０３は、さらに、当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせる前に、前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定し、当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とし、前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定し、ここで、第３属性確率マップが色属性確率マップであると、ＵはＮ１に等しく、第３属性は色属性であり、第３属性確率マップが線形属性確率マップであると、ＵはＮ２に等しく、第３属性は線形属性であり、第３属性確率マップがエッジ属性確率マップであると、ＵはＮ３に等しく、第３属性はエッジ属性であり、第２確定モジュール８０３が当該本の車線の第１属性の値と当該本の車線の第２属性の値とを組み合わせることは、当該本の車線の第１属性の値、当該本の車線の第２属性の値、および、当該本の車線の第３属性の値を組み合わせることをふくむ。
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定することは、当該本の車線の位置のところの各点の第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第３属性の値が同一である点の数が最多である点の第３属性の値を、当該本の車線の第３属性の値とすることを含む。
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定することは、当該本の車線の位置のところの各点の第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の第３属性の値を当該本の車線の第３属性の値とすることを含む。
もう１実施例において、第１確定モジュール８０２は、具体的に、前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力し、ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである。
図９は、本発明の実施例によって提供される車線属性検出装置のモジュールの構成図であり、図９に示すように、前記路面画像に対して歪み除去処理を実行するための前処理モジュール８０４をさらに備える。
上記の装置の各モジュールの分割は、ただ、論理的な機能の分割に過ぎず、実際に実現するときに、全部または一部を１つの物理的実体に統合されてもよく、物理的に分離されてもよいことを理解すべきであることを、説明する必要がある。また、これらモジュールは、すべてソフトウェアが処理要素によって呼び出される形式で実現されてもよいし、全部がハードウェアの形式で実現されてもよいし、一部のモジュールが処理要素によってソフトウェアを呼び出す形式で実現されてもよいし、一部のモジュールがハードウェアの形式で実現されてもよい。例えば、確定モジュールは、単独的に確立された処理要素であってもよいし、上記の装置の特定のチップに統合されて実現されてもよく、なお、プログラムコードの形式で上記の装置のメモリに記憶されてもよいし、上記の装置の特定の処理要素によって上記の確定モジュールの機能を呼び出すて実行されてもよい。他のモジュールの実現も、同様である。なお、これらモジュールは、全部または一部が統合されてもよいし、独立的に実現されてもよい。ここで記載される処理要素は、信号の処理能力を有する集積回路であってもよい。実現過程において、上記の方法の各ステップまたは上記の各モジュールは、プロセッサ要素中のハードウェアの集積論理回路またはソフトウェア形式の命令によって完成されることができる。
例えば、上記のこれらモジュールは、上記の方法を実施する１つまたは複数の集積回路として構成されてもよく、例えば、１つまたは複数の特定集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、１つまたは複数のマイクロプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、または、１つまたは複数のフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）などであってもよい。また、例えば、上記の特定のモジュールが処理要素によってプログラムコードを呼び出す形式で実現される場合、当該処理要素は、汎用プロセッサであり得、例えば、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）または他のプログラムコードを呼び出すことができるプロセッサであり得る。また、例えば、これらモジュールは、１つに統合されて、システムオンチップ（ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ、ＳＯＣ）の形式で実現されてもよい。
上記の実施例は、ソフトウェア、ハードウェア、ファームウェア、または、その任意の組み合わせによって、全部または一部が実現され得る。ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形式によって、全部または一部が実現され得る。前記コンピュータプログラム製品は、１つまたは複数のコンピュータ命令を含む。コンピュータ上に前記コンピュータプログラム命令をロードして実行するときに、本発明の実施例に記載のフローまたは機能の全部または一部が発生される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または、他のプログラム可能な装置であり得る。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されることができるか、または、１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体に伝送されることができる。例えば、前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ、または、データセンターから、有線（例えば、同軸ケーブル、光ファイバ、デジタル追加者回線（ＤＳＬ））、または、無線（例えば、赤外線、無線、マイクロ波など）方式によって、もう１つのウェブサイト、コンピュータ、サーバ、または、データセンターへ、伝送されることができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスできるいかなる利用可能な媒体、または、１つまたは複数の利用可能な媒体が統合されたサーバ、データセンターなどを含むデータ記憶デバイスであり得る。前記利用可能な媒体は、磁気媒体、（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、または、半導体媒体（例えば、ソリッドステートディスクｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ （ＳＳＤ））などであり得る。
図１０は、本発明の実施例によって提供される電子デバイスの構成の模式図である。図１０に示すように、当該電子デバイス１０００は、プロセッサ１００１と、メモリ１００２と、通信インターフェース１００３と、システムバス１００４と、を含んでもよい。前記メモリ１００２と前記通信インターフェース１００３は、前記システムバス１００４を介して前記プロセッサ１００１と接続されて相互間の通信を完成する。前記メモリ１００２は、コンピュータ実行命令を記憶し、前記通信インターフェース１００３は、他のデバイスと通信を実行する。前記プロセッサ１００１によって前記コンピュータ命令を実行されるときに、本発明の実施例によって提供される車線属性検出方法が実現される。
当該図１０で言及されたシステムバスは、周辺部品相互接続標準（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張産業標準構成（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであり得る。前記システムバスは、アドレスバス、データバス、制御バスなどに分けることができる。便利に示すために、図面では１本の太線のみで表したが、１本のバスまたは１つの種類のバスのみが存在することを意味しない。通信インターフェースは、データベースアクセス装置と他のデバイス（例えば、クライアント、読み取り／書き込みライブラリ、および、読み取り専用ライブラリ）との間の通信を実現する。メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）を含んでもよく、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）をさらに含んでもよいし、例えば、少なくとも１つのディスクメモリを含む。
上記のプロセッサは、中央処理ユニットＣＰＵ、ネットワークプロセッサ（ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｏｒ、ＮＰ）などを含む、汎用プロセッサであり得、デジタル信号プロセッサＤＳＰ、専用集積回路ＡＳＩＣ、フィールドプログラマブルゲートアレイＦＰＧＡまたは他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。
図１１は、本発明の実施例によって提供されるスマートデバイスの構成の模式図であり、図１１に示すように、本実施例のスマートデバイス１１００は、画像収集装置１１０１と、プロセッサ１１０２と、メモリ１１０３と、を備える。
具体的に、図１１に示すように、実際に使用するときに、画像収集装置１１０１は、路面画像を撮影して、路面画像をプロセッサ１１０２に送信し、プロセッサ１１０２は、メモリ１１０３を呼び出してメモリ１１０３中のプログラム命令を実行して、取得した路面画像における車線属性を検出し、検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行する。
本実施例のスマートデバイスは、道路上で走行できるスマートデバイスであり、例えば、スマート運転車両、ロボット、ブラインド案内デバイスなどであり、ここで、スマート運転車両は、自動運転車両、または、補助運転システムを有する車両であり得る。
ここで、プロンプト情報は、車線オフセット警告プロンプト、車線維持プロンプト、走行速度変更、走行方向変更、車線維持、車両灯状態変更などを含んでもよい。
上記の走行制御は、制動、走行速度変更、走行方向変更、車線維持、車両灯状態変更、運転モード切替えなどを含んでもよく、ここで、運転モード切替えは、補助運転と自動運転との間の切替えであってもよく、例えば、補助運転から自動運転への切替えである。
図１２は、本発明の実施例によって提供されるスマート運転方法のフローの模式図であり、上記の実施例を基として、本発明の実施例は、上記の図１１に記載のスマートデバイスに用いられるスマート運転方法をさらに提供し、図１２に示すように、当該方法は、以下のステップを含む。
Ｓ１２０１において、路面画像を取得する。
Ｓ１２０２において、上記の方法の実施例に記載の車線属性検出方法を使用して、取得した路面画像における車線属性を検出する。
Ｓ１２０３において、検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行する。
本実施例の実行主体は、移動できるスマートデバイスであり、例えば、スマート運転車両、ロボット、ブラインド案内デバイスなどであり、ここで、スマート運転車両は、自動運転車両、または、補助運転システムを有する車両であり得る。
本実施例のスマート運転は、補助運転、自動運転、および／または、補助運転と自動運転との間の運転モード切替えを含む。
ここで、路面画像の車線属性検出結果は、上記の実施例の車線属性検出方法によって得られ、具体的な過程は、上記の実施例の叙述を参照すればよく、ここでは再度繰り返して説明しない。
具体的に、スマートデバイスは、上記の車線属性検出方法を実行して、路面画像の車線属性検出結果を得、路面画像の車線属性検出結果に基づいてプロンプト情報を出力するか、および／または、移動制御を実行する。
ここで、プロンプト情報は、車線オフセット警告プロンプト、車線維持プロンプト、走行速度変更、走行方向変更、車線維持、車両灯状態変更などを含んでもよい。
上記の走行制御は、制動、走行速度変更、走行方向変更、車線維持などを含んでもよい。
本実施例によって提供される運転制御方法によると、スマートデバイスは、路面画像の車線属性検出結果を取得し、路面画像の車線属性検出結果に基づいてプロンプト情報を出力するか、または、スマートデバイスの走行制御を実行することによって、スマートデバイスの安全性と信頼性をさらに向上させた。
選択的に、本発明の実施例は、不揮発性記憶媒体をさらに提供し、前記記憶媒体には、命令が記憶されており、当該命令がコンピュータで運行されると、コンピュータが本発明の実施例によって提供される車線属性検出方法を実行するようにする。
選択的に、本発明の実施例は、命令を運行するチップをさらに提供し、前記チップは、本発明の実施例によって提供される車線属性検出方法を実行する。
本発明の実施例は、プログラム製品をさらに提供し、前記プログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、記憶媒体に記憶されており、少なくとも１つのプロセッサは、前記記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサによって前記コンピュータプログラムが実行されるときに、本発明の実施例によって提供される車線属性検出方法が実現される。
本発明の実施例において、「少なくとも１つ」は、１つまたは複数を指し、「複数」は、２つ以上を指す。「および／または」は、関連対象の関連関係を叙述し、３種の関係の存在を表し、例えば、Ａおよび／またはＢは、Ａが単独的に存在すること、ＡとＢが同時に存在すること、および、Ｂが単独的に存在することを表すことができ、ここで、Ａ、Ｂは、単数または複数であり得る。文字である「／」は、一般的に、前後の関連対象の間が「または」の関係であることを表す。式において、文字「／」は、前後の関連対象の間が「除算」の関係であることを表す。「以下の少なくとも１項（個）」または類似な表現は、これら項の中の任意の組み合わせを指し、単一の項（個）または複数項（個）の任意の組み合わせを含む。例えば、ａ、ｂ、または、ｃの中の少なくとも１項（個）は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、または、ａ−ｂ−ｃを表し、ここで、ａ、ｂ、ｃは、単数または複数であり得る。
本発明の実施例で言及された各種の数字のナンバーは、ただ、叙述の便利のために区分したものであり、本発明の実施例の範囲を限定しないことを理解できる。
本発明の実施例において、上記の各過程の配列番号の大きさは、実行順序の前後を意味しない。各過程の実行順序は、その機能と内部論理によって決定されるべきであり、本発明の実施例の実施過程に対するいかなる制限も構成しないことを理解できる。
最後に説明すべきなのは、以上の各実施例は、ただ、本発明の技術的解決策を説明するために使用され、それを限定するものではない。前述した各実施例を参照して本発明を詳細に説明したが、当業者は、依然として、前述した各実施例に記載の技術的解決策を修正するか、または、その中の一部または全部の技術的特徴に対して同等の置換を行うことができるが、これら修正または置換は、該当する技術的解決策の本質が本発明の各実施例の技術的解決策の範囲を逸脱するようにしないことを理解すべきである。

Claims (32)

  1. 車線属性検出方法であって、
    スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、
    前記路面画像に基づいて確率マップを確定するステップと、
    前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、を含み、
    前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、
    前記色属性確率マップは、Ｎ１個あり、前記線形属性確率マップは、Ｎ２個あり、前記エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、
    各々の前記色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、
    各々の前記線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、
    各々の前記エッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す
    ことを特徴とする車線属性検出方法。
  2. 前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む
    ことを特徴とする請求項１に記載の車線属性検出方法。
  3. 前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む
    ことを特徴とする請求項１または２に記載の車線属性検出方法。
  4. 前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む
    ことを特徴とする請求項１乃至３の何れか１項に記載の車線属性検出方法。
  5. 前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なり、
    前記確率マップに基づいて前記路面画像における前記車線属性を確定するステップは、
    前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
    当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とするステップと、
    前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定するステップと、
    前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
    当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とするステップと、
    前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定するステップと、
    当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップと、
    組み合わせた後の属性の値を当該本の車線の属性の値とするステップと、を含み、
    ここで、前記第１属性確率マップが前記色属性確率マップである場合、ＬはＮ１に等しく、前記第１属性は色属性であり、
    前記第１属性確率マップが前記線形属性確率マップである場合、ＬはＮ２に等しく、前記第１属性は線形属性であり、
    前記第１属性確率マップが前記エッジ属性確率マップである場合、ＬはＮ３に等しく、第１属性はエッジ属性であり、
    前記第２属性確率マップが前記色属性確率マップである場合、ＳはＮ１に等しく、前記第２属性は前記色属性であり、
    前記第２属性確率マップが前記線形属性確率マップである場合、ＳはＮ２に等しく、前記第２属性は前記線形属性であり、
    前記第２属性確率マップが前記エッジ属性確率マップである場合、ＳはＮ３に等しく、前記第２属性は前記エッジ属性である
    ことを特徴とする請求項１乃至４の何れか１項に記載の車線属性検出方法。
  6. 前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定するステップは、
    当該本の車線の位置のところの各点の前記第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第１属性の値が同一である点の数が最多である点の前記第１属性の値を、当該本の車線の前記第１属性の値とするステップを含む
    ことを特徴とする請求項５に記載の車線属性検出方法。
  7. 前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定するステップは、
    当該本の車線の位置のところの各点の前記第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第１属性の値を当該本の車線の前記第１属性の値とするステップを含む
    ことを特徴とする請求項５または６に記載の車線属性検出方法。
  8. 前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定するステップは、
    当該本の車線の位置のところの各点の前記第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第２属性の値が同一である点の数が最多である点の前記第２属性の値を、当該本の車線の前記第２属性の値とするステップを含む
    ことを特徴とする請求項５乃至７の何れか１項に記載の車線属性検出方法。
  9. 前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定するステップは、
    当該本の車線の位置のところの各点の前記第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第２属性の値を当該本の車線の前記第２属性の値とするステップを含む
    ことを特徴とする請求項５乃至８の何れか１項に記載の車線属性検出方法。
  10. 前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップであり、
    当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップの前に、前記車線属性検出方法は、
    前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
    当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とするステップと、
    前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定するステップと、をさらに含み、
    ここで、前記第３属性確率マップが前記色属性確率マップである場合、ＵはＮ１に等しく、前記第３属性は前記色属性であり、
    前記第３属性確率マップが前記線形属性確率マップである場合、ＵはＮ２に等しく、前記第３属性は前記線形属性であり、
    前記第３属性確率マップが前記エッジ属性確率マップである場合、ＵはＮ３に等しく、前記第３属性は前記エッジ属性であり、
    当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップは、
    当該本の車線の前記第１属性の値、当該本の車線の前記第２属性の値、および、当該本の車線の前記第３属性の値を組み合わせるステップを含む
    ことを特徴とする請求項５乃至９の何れか１項に記載の車線属性検出方法。
  11. 前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定するステップは、
    当該本の車線の位置のところの各点の前記第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第３属性の値が同一である点の数が最多である点の前記第３属性の値を、当該本の車線の前記第３属性の値とするステップを含む
    ことを特徴とする請求項１０に記載の車線属性検出方法。
  12. 前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定するステップは、
    当該本の車線の位置のところの各点の前記第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第３属性の値を当該本の車線の前記第３属性の値とするステップを含む
    ことを特徴とする請求項１０または１１に記載の車線属性検出方法。
  13. 前記路面画像に基づいて前記確率マップを確定するステップは、
    前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力するステップを含み、
    ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである
    ことを特徴とする請求項１乃至１２の何れか１項に記載の車線属性検出方法。
  14. 前記路面画像を前記ニューラルネットワークに入力する前に、前記車線属性検出方法は、
    前記路面画像に対して歪み除去処理を実行するステップをさらに含む
    ことを特徴とする請求項１３に記載の車線属性検出方法。
  15. 車線属性検出装置であって、
    スマートデバイスに装着された画像収集装置が収集した路面画像を取得するための第１取得モジュールと、
    前記路面画像に基づいて確率マップを確定するための第１確定モジュールと、
    前記確率マップに基づいて前記路面画像における車線属性を確定するための第２確定モジュールと、を備え、
    前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、
    前記色属性確率マップは、Ｎ１個あり、前記線形属性確率マップは、Ｎ２個あり、前記エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、
    各々の前記色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、
    各々の前記線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、
    各々の前記エッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す
    ことを特徴とする車線属性検出装置。
  16. 前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む
    ことを特徴とする請求項１５に記載の車線属性検出装置。
  17. 前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む
    ことを特徴とする請求項１５または１６に記載の車線属性検出装置。
  18. 前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む
    ことを特徴とする請求項１５乃至１７の何れか１項に記載の車線属性検出装置。
  19. 前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なり、
    前記第２確定モジュールは、具体的に、
    前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定し、
    当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とし、
    前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定し、
    前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定し、
    当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とし、
    前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定し、
    当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせ、
    組み合わせた後の属性の値を当該本の車線の属性の値とし、
    ここで、前記第１属性確率マップが前記色属性確率マップである場合、ＬはＮ１に等しく、前記第１属性は色属性であり、
    前記第１属性確率マップが前記線形属性確率マップである場合、ＬはＮ２に等しく、前記第１属性は線形属性であり、
    前記第１属性確率マップが前記エッジ属性確率マップである場合、ＬはＮ３に等しく、第１属性はエッジ属性であり、
    前記第２属性確率マップが前記色属性確率マップである場合、ＳはＮ１に等しく、前記第２属性は前記色属性であり、
    前記第２属性確率マップが前記線形属性確率マップである場合、ＳはＮ２に等しく、前記第２属性は前記線形属性であり、
    前記第２属性確率マップが前記エッジ属性確率マップである場合、ＳはＮ３に等しく、前記第２属性は前記エッジ属性である
    ことを特徴とする請求項１５乃至１８の何れか１項に記載の車線属性検出装置。
  20. 前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定することは、
    当該本の車線の位置のところの各点の前記第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第１属性の値が同一である点の数が最多である点の前記第１属性の値を、当該本の車線の前記第１属性の値とすることを含む
    ことを特徴とする請求項１９に記載の車線属性検出装置。
  21. 前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定することは、
    当該本の車線の位置のところの各点の前記第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第１属性の値を当該本の車線の前記第１属性の値とすることを含む
    ことを特徴とする請求項１９または２０に記載の車線属性検出装置。
  22. 前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定することは、
    当該本の車線の位置のところの各点の前記第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第２属性の値が同一である点の数が最多である点の前記第２属性の値を、当該本の車線の前記第２属性の値とすることを含む
    ことを特徴とする請求項１９乃至２１の何れか１項に記載の車線属性検出装置。
  23. 前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定することは、
    当該本の車線の位置のところの各点の前記第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第２属性の値を当該本の車線の前記第２属性の値とすることを含む
    ことを特徴とする請求項１９乃至２２の何れか１項に記載の車線属性検出装置。
  24. 前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップであり、
    前記第２確定モジュールは、さらに、
    当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせる前に、前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定し、
    当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とし、
    前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定し、
    ここで、前記第３属性確率マップが前記色属性確率マップである場合、ＵはＮ１に等しく、前記第３属性は前記色属性であり、
    前記第３属性確率マップが前記線形属性確率マップである場合、ＵはＮ２に等しく、前記第３属性は前記線形属性であり、
    前記第３属性確率マップが前記エッジ属性確率マップである場合、ＵはＮ３に等しく、前記第３属性は前記エッジ属性であり、
    前記第２確定モジュールが、当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせることは、
    当該本の車線の前記第１属性の値、当該本の車線の前記第２属性の値、および、当該本の車線の前記第３属性の値を組み合わせることを含む
    ことを特徴とする請求項１９乃至２３の何れか１項に記載の車線属性検出装置。
  25. 前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定することは、
    当該本の車線の位置のところの各点の前記第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第３属性の値が同一である点の数が最多である点の前記第３属性の値を、当該本の車線の前記第３属性の値とすることを含む
    ことを特徴とする請求項２４に記載の車線属性検出装置。
  26. 前記第２確定モジュールが、前記路面画像における１本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定することは、
    当該本の車線の位置のところの各点の前記第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第３属性の値を当該本の車線の前記第３属性の値とすることを含む
    ことを特徴とする請求項２４または２５に記載の車線属性検出装置。
  27. 前記第１確定モジュールは、具体的に、
    前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力し、
    ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである
    ことを特徴とする請求項１５乃至２６の何れか１項に記載の車線属性検出装置。
  28. 前記路面画像に対して歪み除去処理を実行するための前処理モジュールをさらに備える
    ことを特徴とする請求項２７に記載の車線属性検出装置。
  29. 電子デバイスであって、
    プログラム命令を記憶するためのメモリと、
    前記メモリ中の前記プログラム命令を呼び出して実行することによって、請求項１乃至１４の何れか１項に記載の方法のステップを実行するためのプロセッサと、を備える
    ことを特徴とする電子デバイス。
  30. スマートデバイスに用いられるスマート運転方法であって、
    路面画像を取得するステップと、
    請求項１乃至１４の何れか１項に記載の車線属性検出方法を使用して、取得した前記路面画像における車線属性を検出するステップと、
    検出して得た前記車線属性に基づいてプロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行するステップと、を含む
    ことを特徴とするスマート運転方法。
  31. スマートデバイスであって、
    路面画像を取得するための画像収集装置と、
    プログラム命令を記憶するためのメモリであって、記憶されたプログラム命令が実行されると、請求項１乃至１４の何れか１項に記載の車線属性検出方法が実現されるメモリと、
    前記画像収集装置が取得した前記路面画像に基づいて、前記メモリに記憶された前記プログラム命令を実行することによって、前記路面画像における車線属性を検出し，検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行するためのプロセッサと、を備える
    ことを特徴とするスマートデバイス。
  32. コンピュータプログラムが記憶されている不揮発性可読記憶媒体であって、
    前記コンピュータプログラムは、請求項１乃至１４の何れか１項に記載の方法のステップを実行する
    ことを特徴とする不揮発性可読記憶媒体。
JP2021500086A 2019-06-25 2020-02-20 車線属性検出 Active JP7119197B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910556260.X 2019-06-25
CN201910556260.XA CN112131914B (zh) 2019-06-25 2019-06-25 车道线属性检测方法、装置、电子设备及智能设备
PCT/CN2020/076036 WO2020258894A1 (zh) 2019-06-25 2020-02-20 车道线属性检测

Publications (2)

Publication Number Publication Date
JP2021532449A true JP2021532449A (ja) 2021-11-25
JP7119197B2 JP7119197B2 (ja) 2022-08-16

Family

ID=73849445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500086A Active JP7119197B2 (ja) 2019-06-25 2020-02-20 車線属性検出

Country Status (6)

Country Link
US (1) US20210117700A1 (ja)
JP (1) JP7119197B2 (ja)
KR (1) KR20210018493A (ja)
CN (1) CN112131914B (ja)
SG (1) SG11202013052UA (ja)
WO (1) WO2020258894A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396044B (zh) * 2021-01-21 2021-04-27 国汽智控(北京)科技有限公司 车道线属性信息检测模型训练、车道线属性信息检测方法
CN112818792A (zh) * 2021-01-25 2021-05-18 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备及计算机存储介质
US11776282B2 (en) * 2021-03-26 2023-10-03 Here Global B.V. Method, apparatus, and system for removing outliers from road lane marking data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JP2001263479A (ja) * 2000-03-17 2001-09-26 Equos Research Co Ltd 車両制御装置、車両制御方法及びそのプログラムを記録した記録媒体
JP2009237706A (ja) * 2008-03-26 2009-10-15 Honda Motor Co Ltd 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP2010060371A (ja) * 2008-09-02 2010-03-18 Omron Corp 物体検出装置
CN102862574A (zh) * 2012-09-21 2013-01-09 上海永畅信息科技有限公司 基于智能手机实现车辆主动安全的方法
JP2014067136A (ja) * 2012-09-25 2014-04-17 Nissan Motor Co Ltd 車線境界線検出装置及び車線境界線検出方法
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
CN108052904A (zh) * 2017-12-13 2018-05-18 辽宁工业大学 车道线的获取方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2465094B1 (en) * 2009-08-12 2016-01-06 Koninklijke Philips N.V. Generating object data
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
CN104376297B (zh) * 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
KR101738034B1 (ko) * 2015-07-09 2017-05-22 현대자동차주식회사 개선된 차선 인식 방법
CN108216229B (zh) * 2017-09-08 2020-01-10 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN109670376B (zh) * 2017-10-13 2021-05-25 神州优车股份有限公司 车道线识别方法及系统
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
CN107945168B (zh) * 2017-11-30 2021-12-10 上海联影医疗科技股份有限公司 一种医学图像的处理方法及医学图像处理系统
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109635816B (zh) * 2018-10-31 2021-04-06 百度在线网络技术（北京）有限公司 车道线生成方法、装置、设备以及存储介质
CN109740469B (zh) * 2018-12-24 2021-01-22 百度在线网络技术（北京）有限公司 车道线检测方法、装置、计算机设备和存储介质
CN109657632B (zh) * 2018-12-25 2022-05-06 重庆邮电大学 一种车道线检测识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JP2001263479A (ja) * 2000-03-17 2001-09-26 Equos Research Co Ltd 車両制御装置、車両制御方法及びそのプログラムを記録した記録媒体
JP2009237706A (ja) * 2008-03-26 2009-10-15 Honda Motor Co Ltd 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP2010060371A (ja) * 2008-09-02 2010-03-18 Omron Corp 物体検出装置
CN102862574A (zh) * 2012-09-21 2013-01-09 上海永畅信息科技有限公司 基于智能手机实现车辆主动安全的方法
JP2014067136A (ja) * 2012-09-25 2014-04-17 Nissan Motor Co Ltd 車線境界線検出装置及び車線境界線検出方法
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
CN108052904A (zh) * 2017-12-13 2018-05-18 辽宁工业大学 车道线的获取方法及装置

Also Published As

Publication number Publication date
KR20210018493A (ko) 2021-02-17
JP7119197B2 (ja) 2022-08-16
SG11202013052UA (en) 2021-01-28
US20210117700A1 (en) 2021-04-22
CN112131914B (zh) 2022-10-21
WO2020258894A1 (zh) 2020-12-30
CN112131914A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
WO2019170012A1 (zh) 车道线数据处理方法、装置、计算机设备和存储介质
CN108986465B (zh) 一种车流量检测的方法、系统及终端设备
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
JP2021532449A (ja) 車線属性検出
JP2022506920A (ja) 区画線検出方法、装置、電子機器及び可読記憶媒体
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
Zhang et al. Vehicle detection in UAV aerial images based on improved YOLOv3
CN110909674A (zh) 一种交通标志识别方法、装置、设备和存储介质
JP2022513781A (ja) ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置
CN112749602A (zh) 目标查询方法、装置、设备及存储介质
CN114841084B (zh) 一种基于航拍图像的人员疏散模拟方法、系统及设备
CN117392348B (zh) 一种多目标物的抖动消除方法、装置、设备及介质
TWI755214B (zh) 區分物件的方法、電腦裝置及儲存介質
TWI807904B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備
KR102234311B1 (ko) 이미지 특징 추출 방법 및 시스템
CN117152456A (zh) 农业轨迹点识别方法、装置和系统
CN117197776A (zh) 一种车位占用识别方法、终端设备及存储介质
CN118279635A (zh) 数据扩增方法、装置、计算机设备、存储介质及程序产品
CN118279846A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN112270216A (zh) 改进的Densebox目标检测方法、装置及存储介质
CN118155202A (zh) 基于LiDAR点云数据的3D目标检测模型的构建方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R150 Certificate of patent or registration of utility model

Ref document number: 7119197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150