JP2022507077A - 区画線属性検出方法、装置、電子機器及び可読記憶媒体 - Google Patents

Abstract

本開示の実施例は、区画線属性検出方法、装置、電子機器及び可読記憶媒体を提供し、該方法は、車両に取り付けられた車載装置により収集された路面画像を取得するステップと、前記路面画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記路面画像に対応するＭ個の確率マップを出力するステップと、前記車道タイプ確率マップ及び前記路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定するステップとを含み、前記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、前記Ｎ１個の車道タイプ確率マップは前記路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、前記Ｎ２個の路側タイプ確率マップは前記路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示す。【選択図】図２

Description

本開示は２０１８年１１月２１日に中国特許庁に提出し、出願番号がＣＮ２０１８１１３９３４４３．６、発明名称「区画線属性検出方法、装置、電子機器及び可読記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は引用により本開示に組み込まれるものとする。

本開示の実施例はコンピュータの技術に関し、特に区画線属性検出方法、装置、電子機器及び可読記憶媒体に関する。

運転支援及び自動運転はインテリジェント運転の分野の２つの重要な技術であり、運転支援又は自動運転により、車間距離を最小程度に減少させ、交通事故の発生を減少させ、運転者の心身負荷を減少させることができるため、インテリジェント運転の分野において重要な役割を果たす。運転支援の技術及び自動運転の技術において、区画線属性を検出し、すなわち、路面上の区画線のタイプ、例えば、白色実線、白色破線を検出する必要がある。区画線属性の検出結果に基づいて、車両が交通規則に従って正確に走行することができる。例えば、交通規則には実線で進路変更できないことが要求され、区画線属性検出により路面上に白色実線があることを検出すれば、車両を進路変更行をしないように制御する必要がある。

したがって、区画線属性検出は運転支援及び自動運転に対する意味が大きく、どのように正確で効率的に区画線属性を検出するかは、研究に値する重要な課題である。

本開示の実施例は区画線属性検出の技術的解決手段を提供する。

本開示の実施例の一態様に係る区画線属性検出方法は、
車両に取り付けられた車載装置により収集された路面画像を取得するステップと、
前記路面画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記路面画像に対応するＭ個の確率マップを出力するステップと、
前記車道タイプ確率マップ及び路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定するステップとを含み、前記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、前記Ｎ１個の車道タイプ確率マップは路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、前記Ｎ２個の路側タイプ確率マップは路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示し、Ｎ１及びＮ２はいずれも正整数であり、ＭはＮ１とＮ２との和以上の整数である。

本開示の実施例の別の態様に係る区画線属性検出装置は、
車両に取り付けられた車載装置により収集された路面画像を取得する第１取得モジュールと、
前記路面画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記路面画像に対応するＭ個の確率マップを出力する第２取得モジュールと、
前記車道タイプ確率マップ及び路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定する第１決定モジュールとを含み、前記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、前記Ｎ１個の車道タイプ確率マップは路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、前記Ｎ２個の路側タイプ確率マップは路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示し、Ｎ１及びＮ２はいずれも正整数であり、ＭはＮ１とＮ２との和以上の整数である。

本開示の実施例のまた別の態様に係る運転制御方法は、
運転制御装置が、上記いずれか一実施例に記載の区画線属性検出方法により得られた路面画像の区画線属性検出結果を取得するステップと、
前記運転制御装置が前記区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行うステップとを含む。

本開示の実施例のさらに別の態様に係る運転制御装置は、
上記いずれか一実施例に記載の区画線属性検出方法により得られた路面画像の区画線属性検出結果を取得する取得モジュールと、
前記区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う運転制御モジュールとを含む。

本開示の実施例の更なる態様に係る電子機器は、
プログラム命令を記憶するメモリと、
上記いずれか一実施例に記載の方法ステップを実行するように、前記メモリに記憶されたプログラム命令を呼び出し実行するプロセッサとを含む。

本開示の実施例の更なる態様に係るインテリジェント運転システムは、通信接続されるカメラ、上記いずれか一実施例に記載の電子機器及び上記いずれか一実施例に記載の運転制御装置を含み、前記カメラは路面画像を取得する。

本開示の実施例の更なる態様に係る可読記憶媒体には、上記第１態様に記載の方法ステップを実行するコンピュータプログラムが記憶される。

本開示の実施例に係る区画線属性検出方法、装置、電子機器及び可読記憶媒体は、車道タイプ標示情報及び路側タイプ標示情報を含む路面トレーニング画像をトレーニングして得られたニューラルネットワークを使用して路面画像における各画素点が対応する車道タイプ又は路側タイプに属する確率マップを得て、車道タイプ確率マップ及び路側タイプ確率マップに基づいて、路面画像における区画線属性を決定することにより、区画線属性の自動的で、正確な検出を実現する。本開示の実施例は複雑度が高いシーンでも正確な区画線属性検出結果を得ることができる。また、本開示の実施例において、路側タイプを区画線属性とするため、車道標識線が標識された構造化路面シーンで車道タイプなどを正確に検出することができるだけでなく、車道標識線が欠失するか又は車道標識線が標識されないシーンで、例えば農村道路で走行するシーンで、路側タイプなどを正確に検出することができる。

以下に図面と実施例に合わせて、本開示の技術的解決手段をさらに詳細に説明する。

本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に使用する必要のある図面を簡単に説明し、明らかに、以下の説明における図面は本開示のいくつかの実施例に過ぎず、当業者であれば、創造的な労働を行うことなくこれらの図面に基づいて他の図面を得ることができる。
本開示の実施例に係る区画線属性検出方法のシーン概略図である。 本開示の実施例に係る区画線属性検出方法の一実施例のフローチャートである。 本開示の実施例に係る区画線属性検出方法の別の実施例のフローチャートである。 本開示の実施例に係る区画線属性検出方法のまた別の実施例のフローチャートである。 該例に対応する畳み込みニューラルネットワークの構造概略図である。 本開示の実施例に係る区画線属性検出方法のさらに別の実施例のフローチャートである。 は本開示の実施例に係る区画線属性検出方法のさらに別の実施例のフローチャートである。 本開示の実施例に係る区画線属性検出装置の一実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置の別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のまた別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図である。 本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図である。 本開示の実施例に係る電子機器の実体ブロック図である。 本開示の実施例に係る運転制御方法のフローチャートである。 本開示の実施例に係る運転制御装置の構造概略図である。 本開示の実施例に係るインテリジェント運転システムの概略図である。 本開示の電子機器の一応用実施例の構造概略図である。

本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本開示の実施例における図面を参照しながら、本開示の実施例における技術的解決手段を明らかに、完全に述べると、明らかに、全ての実施例ではなく本開示の一部の実施例である。本開示における実施例に基づいて、当業者が創造的な労力を要さずに想到し得る他の実施例は、すべて本開示の保護範囲に属するものと了解される。

特に具体的に説明しない限り、これらの実施例において記載された部品及びステップの相対的配置、数式及び数値は、本開示の範囲を限定するものではないことに留意されたい。

さらに、本開示の実施例では、「複数」は、２つ又は２つ以上を指してよく、「少なくとも１つ」は、１つ、２つ又は２つ以上を指してよいことを理解されたい。

当業者であれば理解できるように、本開示の実施例における「第一」、「第二」等の用語は異なるステップ、装置又はモジュール等を区別するために用いられ、いかなる特定の技術的意味を表すものではなく、それらの間の必然的な論理的順序を表すものでもない。

さらに、本開示の実施例で言及された任意の部品、データ又は構造は、明確に限定されるか又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解されたい。

さらに、本開示における各実施例についての説明は各実施例の間の相違点を重点として強調し、その同一又は類似する点については互いに参照してよく、簡潔にするために、ここで一つずつ繰り返して説明しないことを理解されたい。

同時に、説明の便宜上、図面に示された各部分の寸法は実際の比例関係に従って描いたものではないことを理解されたい。

以下、少なくとも１つの例示的な実施例についての説明は、本質的に例示的なものに過ぎず、決して本開示及びその適用又は使用を限定するものではない。

当業者が公知の技術、方法、及び装置を詳細に説明しない場合があるが、これらの技術、方法、及び装置は、適宜、明細書の一部とみなされるべきである。

類似の符号及び文字が以下の図面において類似のものを表すため、あるものが１つの図面において定義されれば、後の図面においてそれをさらに検討する必要がないことに留意されたい。

また、本開示における「及び／又は」という用語は、関連対象について説明する関連関係であり、３つの関係が存在し得ることを表し、例えば、Ａ及び／又はＢは、単にＡが存在、Ａ及びＢが同時に存在、単にＢが存在という３つの場合を表すことができる。また、本開示における文字「／」、一般的に前後関連対象が「又は」の関係であることを示す。

本開示の実施例は、多端末装置、コンピュータシステム、サーバ、車載機器等の電子機器に応用されてよく、多数の他の多目的又は特定目的のコンピュータシステム環境又は構成で動作可能である。端末装置、コンピュータシステム、サーバ、車載機器等の電子機器と共に使用される周知である端末装置、コンピュータシステム、環境及び／又は配置の例は、車載装置、パソコンシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ち又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費電子製品、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム、車載機器及び上記任意のシステムを含む分散型クラウドコンピューティング技術環境等を含むが、これらに限定されない。

端末装置、コンピュータシステム、サーバ、車載機器等の電子機器は、コンピュータシステムが実行するコンピュータシステム実行可能な命令（例えば、プログラムモジュール）の一般的言語環境下で説明することができる。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造等を含み、これらは特定のタスクを実行するか又は特定の抽象的データタイプを実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング技術環境において実施することができ、分散型クラウドコンピューティング技術環境において、タスクは通信ネットワークによりリンクされた遠隔処理装置によって実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又は遠隔コンピューティングシステムの記憶媒体に位置してよい。

図１は本開示の実施例に係る区画線属性検出方法のシーン概略図である。図１に示すように、該方法は車載装置が取り付けられた車両に適用することができる。該車載装置は車両に取り付けられたカメラ又はドライブレコーダなどの撮像機能を有する装置であってよい。車両が路面に位置する時、車両上の車載装置により路面画像を収集し、本開示の実施例の方法に基づいて車両が位置する路面上の区画線属性を検出し、さらに区画線属性の検出結果を車両の運転支援又は自動運転に適用することができる。

図２は本開示の実施例に係る区画線属性検出方法の一実施例のフローチャートであり、図２に示すように、該方法は、Ｓ２０１、Ｓ２０２及びＳ２０３を含む。

Ｓ２０１、車両に取り付けられた車載装置により収集された路面画像を取得する。

好ましくは、車両に取り付けられた車載装置は車両の走行路面上の路面画像をリアルタイムに収集し、さらに車載装置が収集した路面画像を畳み込みニューラルネットワークに入力し続けることにより、絶えず更新された車道属性検出結果を取得することができる。

選択的な一例では、該Ｓ２０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第１取得モジュール８０１により実行されてもよい。

Ｓ２０２、上記路面画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記路面画像に対応するＭ個の確率マップを出力し、上記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、上記Ｎ１個の車道タイプ確率マップは路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、上記Ｎ２個の路側タイプ確率マップは路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示し、
Ｎ１及びＮ２はいずれも正整数であり、ＭはＮ１とＮ２との和以上の整数である。

好ましくは、上記ニューラルネットワークは畳み込みニューラルネットワークを含んでよいが、これに限定されない。

好ましくは、上記ニューラルネットワークは車道タイプ、路側タイプ及び／又は非区画線標示情報を含む路面トレーニング画像セットを予め用いて教師ありトレーニングして得られるものである。該路面トレーニング画像セットには大量のトレーニング用画像が含まれる。各トレーニング用画像は実際の路面画像の収集及び標識の過程により取得される。好ましくは、まず昼間、夜、雨天、トンネルなどの様々なシーンにおける実際の路面画像を収集し、さらに、各枚の実際の路面画像に対して、画素レベルの標識を行い、すなわち実際の路面画像における画素点のタイプを車道タイプ、路側タイプ又は非区画線標示情報と標識することにより、トレーニング用画像を取得する。ニューラルネットワークが豊富なシーンに収集されたトレーニング画像により教師ありトレーニングして得られるものであるため、トレーニングされたニューラルネットワークは、いくつかの簡単なシーンで、例えば天気条件及び光照条件がいずれもよい昼間シーンで、正確な区画線属性検出結果を取得することができるだけでなく、複雑度が高いシーンで、例えば雨天、夜、トンネル等のシーンで、正確な区画線属性検出結果を取得することができる。

好ましくは、上記Ｎ１個の車道タイプは、白色破線、白色実線、二重白破線、二重白実線、白色虚実線、白色実破線、黄色破線、黄色実線、二重黄破線、二重黄実線、黄色虚実線、黄色実破線、鋸歯状の実線などの任意の１つ又は複数を含んでよいが、これらに限定されない。

好ましくは、上記Ｎ２個の路側タイプは、左路側エッジ、右路側エッジ、左フェンス、右フェンスなどの任意の１つ又は複数を含んでよいが、これらに限定されない。

好ましくは、上記Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップ以外に、上記Ｍ個の確率マップは、路面画像における画素点が背景タイプに属する確率を示すＭ－Ｎ１－Ｎ２個の背景確率マップをさらに含んでよい。

好ましくは、上記背景タイプは車両走行路面上の車道タイプ及び路側タイプ以外の路面背景を指してよい。例示的に、区画線以外の路面、路面上の車両などは、いずれも非区画線の範囲に属する。

一例として、上記Ｍは１８、上記Ｎ１は１３、上記Ｎ２は４であってよい。対応的に、上記ニューラルネットワークは１８つの確率マップを出力してよく、該１８つの確率マップには１３つの車道タイプ確率マップが１３種の車道タイプにそれぞれ対応し、すなわち、該１３つの車道タイプ確率マップは１３種の車道タイプと１対１対応する。該１８つの確率マップにはさらに４つの路側タイプ確率マップが４種の路側タイプにそれぞれ対応し、すなわち該４種の路側タイプ確率マップは４種の路側タイプと１対１対応する。それ以外に、該１８つの確率マップにおける残りの１つの確率マップは背景タイプに対応する。

上記例における車道タイプ、路側タイプ及び背景タイプは、例えば、以下の表１に示すように、番号はそれぞれ０～１７である。

表１

上記表１に示す番号を使用し、かつ上記１８つの確率マップがそれぞれ確率マップ０、確率マップ１、確率マップ２、このように類推し、確率マップ１７までであれば、確率マップと車道タイプ、路側タイプ及び背景タイプとの対応関係を下記表２に示すことができる。

表２

すなわち、上記ニューラルネットワークが出力した確率マップ１は白色破線の車道タイプに対応し、確率マップ２は白色実線の車道タイプに対応し、このように類推する。

説明すべきものとして、上記表１は確率マップと車道タイプ、路側タイプ及び背景タイプとの対応関係の一例に過ぎず、実施過程において、確率マップと車道タイプとの対応関係は必要に応じて柔軟に設定することができ、本開示の実施例はこれを限定しない。

さらに、例示的に、上記表１に示す対応関係に基づいて、確率マップ１は路面画像における各画素点が白色破線の車道タイプに属する確率を示すことができる。路面画像が２００＊２００の大きさのアレイで表されるとすれば、該アレイを上記ニューラルネットワークに入力した後、２００＊２００の大きさのアレイを出力することができ、アレイにおける各要素の値は対応する画素点が白色破線の車道タイプに属する確率である。例えば、ニューラルネットワークが出力した２００＊２００の大きさのアレイにおいて、第１行第１列の値が０．４であると、路面画像における第１行第１列の画素点が白色破線の車道タイプに属する確率が０．４であることを示す。さらに、ニューラルネットワークが出力したアレイは車道タイプ確率マップの形式で表すことができる。

選択的な一例では、該Ｓ２０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第２取得モジュール８０２により実行されてもよい。

Ｓ２０３、上記車道タイプ確率マップ及び路側タイプ確率マップに基づいて、上記路面画像における区画線属性を決定する。

上記ステップを経た後、路面画像における各画素点が各車道タイプ及び路側タイプに属する確率を決定することができ、これらの確率に基づいて、路面画像における区画線属性を決定することができる。

好ましくは、ニューラルネットワークが出力したＮ１個の車道タイプ確率マップはそれぞれ路面上のＮ１種の車道タイプに対応し、出力したＮ２個の路側タイプ確率マップはそれぞれ路面上のＮ２種の路側タイプに対応し、各確率マップに対して、所定条件に応じてこのうちの一部の画素点を選択し、これらの画素点によりこれらの画素点の属する車道タイプ又は路側タイプを決定することができる。

選択的な一例では、該Ｓ２０３はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第１決定モジュール８０３により実行されてもよい。

本実施例において、車道タイプ標示情報及び路側タイプ標示情報を含む路面トレーニング画像をトレーニングして得られたニューラルネットワークを使用して、路面画像における各画素点が対応する車道タイプ又は路側タイプに属する確率マップを得て、車道タイプ確率マップ及び路側タイプ確率マップに基づいて、路面画像における区画線属性を決定することにより、区画線属性の自動的で、正確な検出を実現する。本開示の実施例は複雑度が高いシーンでも正確な区画線属性検出結果を得ることができる。また、本開示の実施例において、路側タイプを区画線属性とするため、車道標識線が標識された構造化路面シーンで車道タイプなどを正確に検出することができるだけでなく、車道標識線が欠失するか又は車道標識線が標識されないシーンで、例えば農村道路で走行するシーンで、路側タイプなどを正確に検出することができる。

さらに、前記のように、ニューラルネットワークが出力した確率マップは、車道タイプ確率マップ及び路側タイプ確率マップに加えて、背景確率マップを含むことができ、該背景確率マップを利用して、路面画像の分割の正確性を向上させ、さらに区画線属性検出の正確性を向上させることができる。

好ましくは、前記のように、上記Ｍ個の確率マップにおけるＮ１個の車道タイプ確率マップは路面上のＮ１個の車道タイプに対応する。

好ましくは、Ｌ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれることに応答して、確率値が所定閾値以上である複数の画素点に基づいて上記複数の画素点の属する車道タイプを決定し、上記Ｌ番目の車道タイプ確率マップは上記Ｎ１個の車道タイプ確率マップのうちのいずれかの車道タイプ確率マップである。

まず、路面画像をニューラルネットワークに入力した後、ニューラルネットワークが出力したＬ番目の車道タイプ確率マップにおいて、各画素点はいずれも確率値を有し、確率値が所定閾値以上であると、該画素点がＬ番目の車道タイプに属する確率が大きいことを示す。

さらに、Ｌ番目の車道タイプ確率マップから確率値が所定閾値以上である複数の画素点を選択した後、これらの選択された画素点に対して最大連通領域を求める計算を行い、さらに、最大連通領域に基づいて区画線フィッティングを行って、１本の区画線をフィッティングし、該区画線のタイプはＬ番目の車道タイプ確率マップに対応する車道タイプである。

例示的に、上記所定閾値は、例えば、０．５であってよい。

一例において、Ｌ番目の車道タイプ確率マップが３つの画素点の確率値を含み、画素点Ａの確率値が０．５であり、画素点Ｂの確率値が０．６であり、画素点Ｃの確率値が０．２であり、すなわち画素点Ａ及び画素点Ｂの確率値が所定閾値より大きいと仮定し、画素点Ａ及び画素点Ｂにより１本の区画線をフィッティングし、該区画線のタイプはＬ番目の車道タイプ確率マップに対応する車道タイプである。

別の状況では、Ｌ番目の車道タイプ確率マップが確率値が所定閾値以上である複数の画素点を含む条件を満たさないと、現在の路面画像にはＬ番目の車道タイプ確率マップに対応する車道タイプが存在しないことを示す。

好ましくは、前記のように、上記Ｍ個の確率マップにおけるＮ２個の車道タイプ確率マップは路面上のＮ２個の路側タイプに対応する。

好ましくは、Ｓ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれることに応答して、確率値が所定閾値以上である複数の画素点に基づいて該複数の画素点の属する路側タイプを決定し、上記Ｓ番目の路側タイプ確率マップは上記Ｎ２個の車道タイプ確率マップのうちのいずれかの路側タイプ確率マップである。

まず、路面画像をニューラルネットワークに入力した後、ニューラルネットワークが出力したＳ番目の路側タイプ確率マップにおいて、各画素点はいずれも確率値を有し、確率値が所定閾値以上であると、該画素点がＳ番目の路側タイプに属する確率が大きいことを示す。

さらに、Ｓ番目の路側タイプ確率マップから確率値が所定閾値以上である複数の画素点を選択した後、これらの選択された画素点に対して最大連通領域を求める計算を行い、さらに、最大連通領域に基づいて路側エッジフィッティングを行って、１本の路側エッジをフィッティングし、該路側エッジのタイプはＳ番目の路側タイプ確率マップに対応する路側タイプである。

例示的に、上記所定閾値は、例えば、０．５であってよい。

一例において、Ｓ番目の路側タイプ確率マップが３つの画素点の確率値を含み、画素点Ｄの確率値が０．５であり、画素点Ｅの確率値が０．６であり、画素点Ｆの確率値が０．２であり、すなわち画素点Ｄ及び画素点Ｅの確率値が所定閾値より大きいとすれば、画素点Ｄ及び画素点Ｅにより１本の路側エッジをフィッティングすることができ、該区画線のタイプはＳ番目の路側タイプ確率マップに対応する路側タイプである。

別の状況では、Ｓ番目の路側タイプ確率マップが確率値が所定閾値以上である複数の画素点を含む条件を満たさないと、現在の路面画像にはＳ番目の路側タイプ確率マップに対応する路側タイプが存在しないことを示す。

具体的な実施過程では、同じ画素点の複数の確率マップにおける確率値がいずれも所定閾値以上である状況が存在する可能性があり、このような状況では、以下の方式に応じて処理してよい。

好ましくは、第１画素点の上記Ｍ個の確率マップにおける複数の確率マップにおいて対応する確率値がいずれも所定閾値以上であることに応答し、上記第１画素点を第１確率マップに対応するタイプを決定する時の画素点とし、上記第１確率マップは上記複数の確率値における最大確率値に対応する確率マップである。

上記複数の確率マップは、複数の車道タイプ確率マップを含む可能性があり、複数の路側タイプ確率マップを含む可能性もあり、車道タイプ確率マップを含むだけでなく路側タイプ確率マップを含む可能性もある。

例示的に、上記所定閾値が０．５であれば、ニューラルネットワークが共に４つの確率マップを出力し、該４つの確率マップにおける１番目の確率マップ及び２番目の確率マップが車道タイプ確率マップであり、３番目の確率マップ及び４番目の確率マップが路側タイプ確率マップであり、上記第１画素点の１番目の確率マップにおける確率値が０．５であり、２番目の確率マップにおける確率値が０．６であり、３番目の確率マップにおける確率値が０．７であり、４番目の区画線確率マップにおける確率値が０．２であり、すなわち、第１画素点の１番目、２番目、３番目の確率マップにおける確率値はいずれも所定閾値以上であり、この場合に、第１画素点が３番目の確率マップに対応するタイプに属すると考えてよい。

上記処理により、ノイズを効果的に除去するという目的を達成し、１つの画素点が様々な区画線属性に属する状況の出現を回避することができる。

別の実施例において、前記のように、上記Ｍ個の確率マップにおけるＭ－Ｎ１－Ｎ２個の背景確率マップは路面背景に対応する。

好ましくは、Ｒ番目の背景確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれることに応答し、確率値が所定閾値以上である複数の画素点に基づいて上記複数の画素点の属する背景タイプを決定し、上記Ｒ番目の背景確率マップは上記Ｍ－Ｎ１－Ｎ２個の背景確率マップのうちのいずれかの背景確率マップである。

まず、路面画像をニューラルネットワークに入力した後、ニューラルネットワークが出力したＲ番目の背景確率マップにおいて、各画素点はいずれも確率値を有し、確率値が所定閾値以上であると、該画素点が路面背景に属する確率が大きいことを示す。

さらに、Ｓ番目の背景確率マップから確率値が所定閾値以上である複数の画素点を選択した後、これらの選択された画素点に対して、例えば最大連通領域を求める計算を行うことにより、Ｓ番目の背景確率マップに対応する路面背景を得る。

さらに、上記実施例により路面画像における区画線属性を決定した後、好ましくは、さらに上記路面画像における画素点の属する区画線属性に基づいて、上記路面画像における画素点の形状及び色を調整してもよい。

図３は本開示の実施例に係る区画線属性検出方法の別の実施例のフローチャートであり、図３に示すように、上記方法は、Ｓ３０１及びＳ３０２をさらに含む。

Ｓ３０１、上記Ｍ個の確率マップを融合し、目標確率マップを得る。

上記Ｍ個の確率マップはそれぞれ車道タイプ、路側タイプ又は背景タイプに対応し、該Ｍ個の確率マップを使用して対応するタイプの区画線、路側エッジ及び路面背景をそれぞれフィッティングした後、該Ｍ個の確率マップを１つの目標確率マップとして融合してよい。該目標確率マップには対応するタイプの区画線、路側エッジ及び路面背景の情報が含まれる。

選択的な一例では、該Ｓ３０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された融合モジュール８０４により実行されてもよい。

Ｓ３０２、上記目標確率マップにおける第２確率マップに対応する画素点の画素値を上記第２確率マップに対応する所定画素値に調整する。

上記第２確率マップは上記Ｍ個の確率マップのうちのいずれかの確率マップである。

好ましくは、上記Ｍ個の確率マップはそれぞれ一種類の車道タイプ、路側タイプ又は路面背景に対応し、車道タイプを例として、白色実線の車道タイプは「実線」の形状及び「白色」の色を有するため、第２確率マップに対応する画素点の画素値を調整することにより、第２確率マップに対応する画素点は白色実線の表示効果を呈することができる。

上記第２確率マップに対応する画素点とは、第２確率マップにおける確率値が所定閾値以上であり、それに基づいて区画線、路側エッジ又は路面背景をフィッティングできる画素点を指す。

選択的な一例では、該Ｓ３０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された調整モジュール８０５により実行されてもよい。

本実施例において、路面画像における第２確率マップに対応する複数の画素点の形状及び色を調整することにより、車両内のユーザが路面上の車道タイプ、路側タイプ及び路面背景をより直感的で明確に見て、ユーザの体験を向上させることができる。

上記実施例を基礎として、本実施例はニューラルネットワークにより上記Ｍ個の確率マップを取得する過程に係る。

図４は本開示の実施例に係る区画線属性検出方法のまた別の実施例のフローチャートであり、図４に示すように、ニューラルネットワークによりＭ個の確率マップを取得する過程は、Ｓ４０１、Ｓ４０２及びＳ４０３である。

Ｓ４０１、上記ニューラルネットワークの少なくとも１つの畳み込み層により上記路面画像のＭ個のチャネルの下位層特徴情報を抽出する。

好ましくは、畳み込み層により路面画像の解像度を縮小し、かつ路面画像の下位層特徴を保持することができる。

例示的に、路面画像の下位層特徴情報は、画像におけるエッジ情報、直線情報及び曲線情報を含んでよい。

好ましくは、上記路面画像のＭ個のチャネルはそれぞれ一種類の車道タイプ、路側タイプ又は路面背景に対応する。

選択的な一例では、該Ｓ４０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第１取得ユニット８０２１により実行されてもよい。

Ｓ４０２、上記ニューラルネットワークの少なくとも１つの残差ネットワークユニットにより、上記Ｍ個のチャネルの下位層特徴情報に基づいて、上記路面画像のＭ個のチャネルの上位層特徴情報を抽出する。

好ましくは、残差ネットワークユニットにより抽出された路面画像のＭ個のチャネルの上位層特徴情報は、意味特徴、輪郭、全体構造などを含む。

選択的な一例では、該Ｓ４０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第２取得ユニット８０２２により実行されてもよい。

Ｓ４０３、上記ニューラルネットワークの少なくとも１つのアップサンプリング層により、上記Ｍ個のチャネルの上位層特徴情報をアップサンプリングし、上記路面画像と同じ大きさの（すなわち、大きさが同じ）Ｍ個の確率マップを取得する。

好ましくは、アップサンプリング層のアップサンプリングにより、画像をニューラルネットワークに入力された画像の元の大きさに回復することができる。

本ステップでは、Ｍ個のチャネルの上位層特徴情報をアップサンプリングした後、ニューラルネットワークに入力された路面画像と同じ大きさのＭ個の確率マップを得ることができる。

選択的な一例では、該Ｓ４０３はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第３取得ユニット８０２３により実行されてもよい。

説明すべきものとして、本開示の実施例に記載の下位層特徴情報及び上位層特徴情報は特定のニューラルネットワークでの相対的な概念である。例えば、ディープニューラルネットワークでは、深度の浅いネットワーク層により抽出された特徴は深度の深いネットワーク層により抽出された特徴に対して、前者により抽出されたものは下位層特徴情報に属し，後者により抽出されたものは上位層特徴情報に属する。

さらに、好ましくは、ニューラルネットワークにおいて上記アップサンプリング層の後にさらに正規化層を含むことができ、正規化層により上記Ｍ個の確率マップを出力する。

例示的に、アップサンプリング処理の後に、路面画像の特徴マップを得て、該特徴マップにおける各画素点の値を正規化をすることにより、特徴マップにおける各画素点の値を０～１の範囲内にさせて、Ｍ個の確率マップを得る。

例示的に、一種類の正規化方法は、まず、特徴マップにおける画素点の値の最大値を決定し、次に、各画素点の値を該最大値で割ることにより、特徴マップにおける各画素点の値を０～１の範囲内にすることである。

説明すべきものとして、本開示の実施例は上記ステップＳ４０１及びＳ４０２の実行順序について限定しておらず、すなわち、先にＳ４０１を実行してＳ４０２を実行してよく、又は先にＳ４０２を実行してＳ４０１を実行してもよい。

上記実施例を基礎として、本実施例は上記ニューラルネットワークの構築トレーニング過程に係る。

好ましくは、前述の実施例に基づいて分かるように、本開示の実施例に係るニューラルネットワークは畳み込みニューラルネットワークであってよく、畳み込みニューラルネットワークは、畳み込み層、残差ネットワークユニット、アップサンプリング層及び正規化層を含んでよい。畳み込み層及び残差ネットワークユニットの優先順位は必要に応じて柔軟に設定してよく、また、各層の数も必要に応じて柔軟に設定してもよい。

選択可能な方式では、上記畳み込みニューラルネットワークには、接続された６～１０のうちのいずれかの数の畳み込み層、接続された７～１２のうちのいずれかの数の残差ネットワークユニット及び１～４のうちのいずれかの数のアップサンプリング層が含まれてよい。

該特定の構造を有する畳み込みニューラルネットワークは、区画線属性検出に用いられる時、マルチシーン又は複雑なシーンでの区画線属性検出の要求を満たすことにより、検出結果のロバストネス性を向上させることができる。

一例において、上記畳み込みニューラルネットワークには、接続された８つの畳み込み層、接続された９つの残差ネットワークユニット及び接続された２つのアップサンプリング層が含まれてよい。

図５は該例に対応する畳み込みニューラルネットワークの構造概略図であり、図５に示すように、路面画像を入力した後、まず該畳み込みニューラルネットワークの接続された８つの畳み込み層を経て、該接続された８つの畳み込み層の後には接続された９つの残差ネットワークユニットが含まれ、該９つの残差ネットワークユニットの後には接続された２つのアップサンプリング層が含まれ、該接続された２つのアップサンプリング層の後には正規化層であり、すなわち最終的に、正規化層により確率マップが出力される。

例示的に、各上記残差ネットワークユニットは２５６つのフィルタを含んでよく、各層は１２８つの大きさの３＊３のフィルタ及び１２８つの大きさの１＊１のフィルタを含む。

好ましくは、ニューラルネットワークを使用して路面画像に対応する確率マップを決定する前に、上記路面トレーニング画像セットを使用して上記ニューラルネットワークをトレーニングしてよい。

図６は本開示の実施例に係る区画線属性検出方法のさらに別の実施例のフローチャートであり、図６に示すように、上記ニューラルネットワークのトレーニング過程は、Ｓ６０１、Ｓ６０２、Ｓ６０３及びＳ６０４であってよい。

Ｓ６０１、上記路面トレーニング画像セットに含まれるトレーニング用画像を上記ニューラルネットワークに入力し、上記トレーニング用画像の予測車道タイプ確率マップ又は予測路側タイプ確率マップを取得する。

上記予測車道タイプ確率マップ又は路側タイプ確率マップはニューラルネットワークが現在出力した車道タイプ確率マップ又は路側タイプ確率マップである。

Ｓ６０２、上記予測車道タイプ確率マップ又は路側タイプ確率マップに含まれる確率値が所定閾値以上である複数の画素点に基づいて、上記複数の画素点の属する予測車道タイプ又は予測路側タイプを決定する。

具体的な過程は車道タイプ確率マップ及び路側タイプ確率マップに基づいて路面画像における区画線を決定する上記部分を参照、ここでは説明を省略する。

Ｓ６０３、上記トレーニング用画像の予測車道タイプと上記トレーニング用画像の車道タイプ真値マップにおける車道タイプとの間の第１損失、及び／又は、上記トレーニング用画像の予測路側タイプと上記トレーニング用画像の路側タイプ真値マップにおける路側タイプとの間の第２損失を取得し、上記車道タイプ真値マップは上記トレーニング用画像の車道タイプの標示情報に基づいて取得され、上記路側タイプ真値マップは上記トレーニング用画像の路側タイプの標示情報に基づいて取得される。

好ましくは、損失関数を用いることにより、予測車道タイプと車道タイプ真値マップの車道タイプとの路側タイプ、及び予測路側タイプと路側タイプ真値マップの路側タイプとの間の損失を計算することができる。

Ｓ６０４、上記第１損失及び／又は第２損失に基づいて、上記ニューラルネットワークのネットワークパラメータを調整する。

好ましくは、ニューラルネットワークのネットワークパラメータは畳み込み層の大きさ、ウェイト情報などを含んでよい。

本ステップでは、勾配逆伝播の方式により、上記損失をニューラルネットワークで逆向きに返信し、ニューラルネットワークのネットワークパラメータを調整することができる。

選択的な一例では、該Ｓ６０１～Ｓ６０４はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行されたトレーニングモジュールにより実行されてもよい。

本ステップの後、一回のトレーニング過程を完了させ、新たなニューラルネットワークを得る。

さらに、上記予測車道タイプ確率マップと車道タイプ真値マップにおける車道タイプとの間の第１損失が所定損失範囲内にあり、及び／又は予測路側タイプ確率マップと路側タイプ真値マップにおける路側タイプとの間の第２損失が所定損失範囲内にあるまで、該新たなニューラルネットワークに基づいて上記ステップＳ６０１～Ｓ６０４を反復実行し、この際にトレーニングされた畳み込みニューラルネットワークを得る。

例示的に、毎回一枚のトレーニング用画像を用いてニューラルネットワークをトレーニングしてよく、又は、一回で複数枚のトレーニング用画像を用いてニューラルネットワークをトレーニングしてもよい。

上記実施例を基礎として、本実施例は上記トレーニング用画像の生成の過程に関する。

図７は本開示の実施例に係る区画線属性検出方法のさらに別の実施例のフローチャートであり、図７に示すように、上記ニューラルネットワークをトレーニングする前に、
複数のシーンにおける路面画像を収集するＳ７０１と、
上記複数のシーンにおける路面画像に対して区画線属性標識を行った後に得られた画像を上記トレーニング用画像とするＳ７０２とをさらに含む。

上記複数のシーンは、雨天シーン、霧シーン、直線路シーン、カーブ路シーン、トンネルシーン、強光照射シーン及び夜シーンなどのシーンのうちの少なくとも２つのシーンのうちの任意の１つ又は複数を含むが、これらに限定されない。

好ましくは、車両上のカメラなどの車載装置を予め使用して、それぞれ上記各シーン下で路面画像を収集し、さらに、手動標識などの方式により収集された路面画像上の車道タイプ、路側タイプを標識することにより、各シーンにおけるトレーニング用画像を得ることができる。

選択的な一例では、該Ｓ７０１～Ｓ７０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された収集モジュール８０６により実行されてもよい。

上記過程により得られたトレーニング用画像は実際の様々なシーンをカバーするため、これらのトレーニング用画像を使用してトレーニングしたニューラルネットワークは、様々なシーン下での区画線属性検出に対していずれも高いロバストネス性を有し、検出時間が短く、検出結果の正確性が高い。

選択可能な一実施形態では、上記ステップＳ２０２路面画像をニューラルネットワークに入力する前に、まず上記路面画像の歪みを除去して、ニューラルネットワークが出力する結果の正確性を向上させることができる。

上記各実施例を基礎として、さらに、路面画像における区画線属性を決定した後、上記路面画像における車道タイプ及び路側タイプをグローバル座標系にマッピングして、グローバル座標系における車道タイプ情報及び路側タイプ情報を得ることができる。

好ましくは、一種類の特定の車道タイプに属する、路面画像における複数の画素点に対して、これらの画素点をそれぞれグローバル座標系にマッピングし、これらの画素点のグローバル座標系における座標を得て、得られたグローバル座標系における座標に対応する車道タイプは該一種類の特定の車道タイプである。

図８は本開示の実施例に係る区画線属性検出装置の一実施例のモジュール構造図であり、該実施例の区画線属性検出装置は本開示の上記区画線属性検出方法の各実施例を実現することができる。図８に示すように、該装置は、
車両に取り付けられた車載装置により収集された路面画像を取得する第１取得モジュール８０１と、
上記路面画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記路面画像に対応するＭ個の確率マップを出力する第２取得モジュール８０２と、
上記車道タイプ確率マップ及び上記路側タイプ確率マップに基づいて、上記路面画像における区画線属性を決定する第１決定モジュール８０３とを含み、上記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、上記Ｎ１個の車道タイプ確率マップは上記路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、上記Ｎ２個の路側タイプ確率マップは上記路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示し、Ｎ１及びＮ２はいずれも正整数であり、ＭはＮ１とＮ２との和以上の整数である。

該装置は前述の方法実施例を実行し、その実現原理及び技術的効果は類似し、ここでは説明を省略する。

別の実施例において、上記Ｎ１個の車道タイプは、白色破線、白色実線、二重白破線、二重白実線、白色虚実線、白色実破線、黄色破線、黄色実線、二重黄破線、二重黄実線、黄色虚実線、黄色実破線、鋸歯状の実線などの任意の１つ又は複数を含んでよいが、これらに限定されない。

別の実施例において、上記Ｎ２個の路側タイプは、左路側エッジ、右路側エッジ、左フェンス、右フェンスなどの任意の１つ又は複数を含んでよいが、これらに限定されない。

別の実施例において、上記ＭはＮ１とＮ２との和より大きい整数であり、上記Ｍ個の確率マップは、路面画像における画素点が背景タイプに属する確率を示すＭ－Ｎ１－Ｎ２個の背景確率マップをさらに含む。

図９は本開示の実施例に係る区画線属性検出装置の別の実施例のモジュール構造図であり、図９に示すように、第１決定モジュール８０３は、
Ｌ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれる時、確率値が所定閾値以上である複数の画素点に基づいて上記複数の画素点の属する車道タイプを決定する第１決定ユニット８０３１を含み、上記Ｌ番目の車道タイプ確率マップは上記Ｎ１個の車道タイプ確率マップのうちのいずれかの車道タイプ確率マップである。

図１０は本開示の実施例に係る区画線属性検出装置のまた別の実施例のモジュール構造図であり、図１０に示すように、第１決定モジュール８０３は、
Ｓ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれる時、確率値が所定閾値以上である複数の画素点に基づいて上記複数の画素点の属する車道タイプを決定する第２決定ユニット８０３２をさらに含み、上記Ｓ番目の路側タイプ確率マップは上記Ｎ２個の車道タイプ確率マップのうちのいずれかの路側タイプ確率マップである。

図１１は本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図であり、図１１に示すように、第１決定モジュール８０３は、
第１画素点の上記Ｍ個の確率マップにおける複数の確率マップにおいて対応する確率値がいずれも所定閾値以上である時、上記第１画素点を第１確率マップに対応するタイプを決定する時の画素点とする第３決定ユニット８０３３をさらに含み、上記第１確率マップは前記複数の確率値における最大確率値に対応する確率マップである。

図１２は本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図であり、図１２に示すように、
上記Ｍ個の確率マップを融合し、目標確率マップを得る融合モジュール８０４と、
上記目標確率マップにおける第２確率マップに対応する画素点の画素値を上記第２確率マップに対応する所定画素値に調整する調整モジュール８０５とをさらに含み、上記第２確率マップは上記Ｍ個の確率マップのうちのいずれかの確率マップである。

図１３は本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図であり、図１３に示すように、第２取得モジュール８０２は、
上記ニューラルネットワークの少なくとも１つの畳み込み層により上記路面画像のＭ個のチャネルの下位層特徴情報を抽出する第１取得ユニット８０２１と、
上記ニューラルネットワークの少なくとも１つの残差ネットワークユニットにより、上記Ｍ個のチャネルの下位層特徴情報に基づいて、上記路面画像のＭ個のチャネルの上位層特徴情報を抽出する第２取得ユニット８０２２と、
上記ニューラルネットワークの少なくとも１つのアップサンプリング層により、上記Ｍ個のチャネルの上位層特徴情報をアップサンプリングし、上記路面画像と同じ大きさのＭ個の確率マップを取得する第３取得ユニット８０２３とを含む。

別の実施例において、上記少なくとも１つの畳み込み層は接続された６～１０のうちのいずれかの数の畳み込み層を含み、上記少なくとも１つの残差ネットワークユニットは接続された７～１２のうちのいずれかの数の残差ネットワークユニットを含み、上記少なくとも１つのアップサンプリング層は接続された１～４のうちのいずれかの数のアップサンプリング層を含む。

図１４は本開示の実施例に係る区画線属性検出装置のさらに別の実施例のモジュール構造図であり、図１４に示すように、車道タイプ、路側タイプ及び／又は非区画線標示情報を含む路面トレーニング画像セットを用いて教師ありトレーニングして上記ニューラルネットワークを得るトレーニングモジュール（図示せず）をさらに含む。

好ましくは、上記トレーニングモジュールは、上記路面トレーニング画像セットに含まれるトレーニング用画像を上記ニューラルネットワークに入力し、上記トレーニング用画像の予測車道タイプ確率マップ又は予測路側タイプ確率マップを取得し、上記予測車道タイプ確率マップ又は上記路側タイプ確率マップに含まれる確率値が所定閾値以上である複数の画素点に基づいて、上記複数の画素点の属する予測車道タイプ又は予測路側タイプを決定し、上記トレーニング用画像の予測車道タイプと上記トレーニング用画像の車道タイプ真値マップにおける車道タイプとの間の第１損失、及び／又は上記トレーニング用画像の予測路側タイプと上記トレーニング用画像の路側タイプ真値マップにおける路側タイプとの間の第２損失を取得し、上記第１損失及び／又は上記第２損失に基づいて、上記ニューラルネットワークのネットワークパラメータを調整することに用いられ、上記車道タイプ真値マップは前記トレーニング用画像の車道タイプの標示情報に基づいて取得され、上記路側タイプ真値マップは上記トレーニング用画像の路側タイプの標示情報に基づいて取得される。

好ましくは、図１４に示すように、
複数のシーンにおける路面画像を収集し、及び、上記複数のシーンにおける路面画像に対して区画線属性標識を行った後に得られた画像を上記トレーニング用画像とする収集モジュール８０６をさらに含み、
上記複数のシーンは、雨天シーン、霧シーン、直線路シーン、カーブ路シーン、トンネルシーン、強光照射シーン及び夜シーンのうちの少なくとも２つのシーンのうちの任意の１つ又は複数を含む。

図１５は本開示の実施例に係る区画線属性検出装置の第８実施例のモジュール構造図であり、図１５に示すように、上記路面画像に対して歪み除去処理を行う前処理モジュール８０７をさらに含む。

図１６は本開示の実施例に係る区画線属性検出装置の第９実施例のモジュール構造図であり、図１６に示すように、上記路面画像における車道タイプ及び路側タイプをグローバル座標系にマッピングして、グローバル座標系における車道タイプ情報及び路側タイプ情報を得るマッピングモジュール８０８をさらに含む。

図１７は本開示の実施例に係る電子機器の実体ブロック図であり、図１７に示すように、該電子機器１７００は、
プログラム命令を記憶するメモリ１７０１と、
メモリ１７０１に記憶されたプログラム命令を呼び出し、上記第１態様に記載の方法ステップを実行するプロセッサ１７０２とを含む。

図１８は本開示の実施例に係る運転制御方法のフローチャートであり、上記実施例を基礎として、本開示の実施例に係る運転制御方法は、Ｓ１８０１及びＳ１８０２を含む。

Ｓ１８０１、運転制御装置が路面画像の区画線属性検出結果を取得する。

選択的な一例では、該１８０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された第３取得モジュール１９０１により実行されてもよい。

Ｓ１８０２、上記運転制御装置が上記区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う。

選択的な一例では、該Ｓ１８０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行されてよく、プロセッサにより実行された運転制御モジュール１９０２により実行されてもよい。

本実施例の実行主体は運転制御装置であり、本実施例の運転制御装置は上記実施例に記載の電子機器は同一の設備に位置してよく、単独で異なる設備に位置してもよい。本実施例の運転制御装置は上記電子機器と通信接続される。

路面画像の区画線属性検出結果は上記実施例の区画線属性検出方法により得られるものであり、具体的な過程は上記実施例の説明を参照、ここでは説明を省略する。

好ましくは、電子機器は、上記区画線属性検出方法を実行し、路面画像の区画線属性検出結果を取得し、かつ路面画像の区画線属性検出結果を出力する。運転制御装置は、路面画像の区画線属性検出結果を取得し、路面画像の区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う。

ここで、提示情報は区画線逸脱警報提示、又は区画線保持提示を含んでよい。

本実施例のインテリジェント運転は運転支援、自動運転及び／又は運転支援と自動運転との間の運転モードの切り替えを含む。

上記インテリジェント運転制御は、ブレーキ、運転速度の変更、運転方向の変更、区画線の保持、ランプ状態の変更、運転モードの切り替えなどを含んでよく、運転モードの切り替えは運転支援と自動運転との間の切り替えであり、例えば、運転支援を自動運転に切り替える。

本実施例に係る運転制御方法では、運転制御装置は路面画像の区画線属性検出結果を取得し、路面画像の区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行って、さらにインテリジェント運転の安全性及び信頼性を向上させる。

図１９は本開示の実施例に係る運転制御装置の構造概略図であり、該実施例の運転制御装置は、本開示の上記各運転制御方法の実施例を実現する。図１０に示すように、上記実施例を基礎として、本開示の実施例の運転制御装置１９００は、
上記区画線属性検出方法により得られた路面画像の区画線属性検出結果を取得する第３取得モジュール１９０１と、
上記区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う運転制御モジュール１９０２とを含む。

本開示の実施例に係る運転制御装置は、上記方法実施例の技術的解決手段を実行でき、その実現原理及び技術的効果は類似し、ここでは説明を省略する。

図２０は本開示の実施例に係るインテリジェント運転システムの概略図であり、図２０に示すように、本実施例のインテリジェント運転システム２０００は、通信接続されたカメラ２００１と、図１７に示すような電子機器１７００と、図１９に示すような運転制御装置１９００とを含み、カメラ２００１は路面画像を撮像する。

好ましくは、図２０に示すように、実際の使用際に、カメラ２００１は路面画像を撮像し、かつ路面画像を電子機器１７００に送信し、電子機器１７００は路面画像を受信した後、上記区画線属性検出方法に基づいて路面画像を処理し、路面画像の区画線属性検出結果を取得する。次に、電子機器１７００は取得された路面画像の区画線属性検出結果を運転制御装置１９００に送信し、運転制御装置１９００は路面画像の区画線属性検出結果に基づいて提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う。

図２１は本開示の電子機器の一応用実施例の構造概略図である。以下に図２１を参照し、それは本開示の実施例の端末装置又はサーバを実現する電子機器の構造概略図を示す。図２１に示すように、該電子機器は１つ以上のプロセッサ、通信部などを含み、上記１つ以上のプロセッサは、例えば、１つ以上の中央処理装置（ＣＰＵ）２１０１、及び／又は１つ以上の画像処理プロセッサ（ＧＰＵ）２１１３などであり、プロセッサは読み出し専用メモリ（ＲＯＭ）２１０２に記憶された実行可能な命令又は記憶部分２１０８からランダムアクセスメモリ（ＲＡＭ）２１０３にロードされた実行可能な命令に基づいて様々な適切な動作及び処理を実行することができる。通信部２１１２はネットカードを含むが、これに限定されておらず、上記ネットカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットカードを含んでよいが、これに限定されておらず、プロセッサは、読み出し専用メモリ２１０２及び／又はランダムアクセスメモリ２１０３と通信することにより実行可能な命令を実行し、バス２１０４を介して通信部２１１２に接続され、かつ通信部２１１２を介して他の対象装置と通信することにより、本開示の実施例に係る任意の区画線属性検出方法又は任意の運転制御方法に対応する操作を完了させる。

また、ＲＡＭ２１０３には、さらに装置の操作に必要な様々なプログラム及びデータを記憶することができる。ＣＰＵ２１０１、ＲＯＭ２１０２、及びＲＡＭ２１０３は、バス２１０４により互いに接続される。ＲＡＭ２１０３がある場合、ＲＯＭ２１０２は、オプションモジュールである。ＲＡＭ２１０３は実行可能な命令を記憶し、又は実行されるとＲＯＭ２１０２に実行可能な命令を書き込み、実行可能な命令によりプロセッサ２１０１が上記いずれか一実施例に係る区画線属性検出方法又は運転制御方法に対応する操作を実行する。入出力（Ｉ／Ｏ）インタフェース２１０５もバス２１０４に接続される。通信部２１１２は、集積して設定されてもよく、複数のサブモジュール（例えば、複数のＩＢネットカード）を有し、かつバスに接続されるように設定されてもよい。

キーボード、マウスなどを含む入力部分２１０６と、ブラウン管（ＣＲＴ）、液晶表示装置（ＬＣＤ）など及びスピーカなどを含む出力部分２１０７と、ハードディスクなどを含む記憶部分２１０８と、ＬＡＮカード、変調復調器などのネットワークインタフェースカードを含む通信部分２１０９とは、Ｉ／Ｏインタフェース２１０５に接続される。通信部分２１０９は、インターネットなどのネットワークを介して通信処理を実行する。ドライバ２１１０も必要に応じてＩ／Ｏインタフェース２１０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体２１１１は、必要に応じて運転部２１１０にインストールされることにより、そこから読み出されたコンピュータプログラムは、必要に応じて記憶部分２１０８にインストールされる。

説明すべきものとして、図２１に示すようなアーキテクチャは１つの選択可能な実現方式のみであり、具体的な実施過程において、実際の必要に応じて上記図２１の部品数及びタイプを選択し、削除し、追加するか又は置換することができ、各機能部品の設置において、分離設置又は集積設置などの実現方式を用いてもよく、例えば、ＧＰＵとＣＰＵは分離設置するか又はＧＰＵをＣＰＵに集積してもよく、通信部は分離設置してもよく、ＣＰＵ又はＧＰＵに集積して設置してもよい。これらの代替的な実施形態は、いずれも本開示の技術的範囲に属する。

特に、本開示の実施例によれば、上記フローチャートを参照して説明したプロセスはコンピュータソフトウェアプログラムとして実現されてよい。例えば、本開示の実施例はコンピュータプログラムの製品を含み、機械可読媒体に一時的に含まれるコンピュータプログラムを含み、コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含み、プログラムコードは本開示のいずれか一実施例に係る区画線属性検出方法又は運転制御方法を対応的に実行することに対応する命令を含むことができる。

本開示の実施例に係る任意の方法は、適切なデータ処理能力を有する、端末装置及びサーバなどを含むがこれらに限定されない任意の装置により実行されてよい。又は、本開示の実施例に係る任意の方法はプロセッサにより実行され、例えば、プロセッサはメモリに記憶された対応する命令を呼び出して本開示の実施例に係る任意の方法を実行する。本開示の実施例は説明を省略する。

当業者によって理解されるように、ＲＯＭ、ＲＡＭ、磁性ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含むコンピュータ可読記憶媒体に記憶されて、実行されると、上記方法の実施例を含むステップを実行するプログラムにより、関連するハードウェアを命令することで、上記方法実施例の全部又は一部のステップを実現することができることを、当業者は理解するであろう。

様々な方式により、本開示の実施例の方法及び装置を実現することができる。例えば、本開示の実施例の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合せによって実現することができる。上記方法に用いられるステップの上記順序は説明のためだけであり、本開示の実施例の方法ステップは以上の順序に限定されず、他の方式で特に説明しない限りである。また、いくつかの実施例において、さらに本開示を記録媒体に記録されたプログラムとして実施することができ、これらのプログラムは本開示の実施例の方法を実現する機械可読命令を含む。したがって、本開示は、本開示の実施例の方法を実行するためのプログラムが記憶された記録媒体も含む。

なお、上記各実施例は、本開示の技術的解決手段を説明するための例示に過ぎず、限定するものではないと説明すべきであり、前述の各実施例を参照して本開示を詳細に説明したが、当業者が理解すべきこととして、依然として、前述の各実施例において記載される技術的解決手段を修正するか、又はその技術的特徴の全て又は一部に同等置換を行うことができ、これらの修正や置換によって、対応する技術的解決手段の本質は、本開示の実施例に係る技術的解決手段の範囲から逸脱することはない。

Claims (35)

1. 車両に取り付けられた車載装置により収集された路面画像を取得するステップと、
   前記路面画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記路面画像に対応するＭ個の確率マップを出力するステップと、
   前記車道タイプ確率マップ及び前記路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定するステップとを含み、前記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、前記Ｎ１個の車道タイプ確率マップは前記路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、前記Ｎ２個の路側タイプ確率マップは前記路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示し、Ｎ１及びＮ２はいずれも正整数であり、ＭはＮ１とＮ２との和以上の整数であることを特徴とする区画線属性検出方法。
2. 前記Ｎ１個の車道タイプは、白色破線、白色実線、二重白破線、二重白実線、白色虚実線、白色実破線、黄色破線、黄色実線、二重黄破線、二重黄実線、黄色虚実線、黄色実破線、鋸歯状の実線のうちの任意の１つ又は複数を含むことを特徴とする請求項１に記載の方法。
3. 前記Ｎ２個の路側タイプは、左路側エッジ、右路側エッジ、左フェンス、右フェンスのうちの任意の１つ又は複数を含むことを特徴とする請求項１又は２に記載の方法。
4. 前記ＭはＮ１とＮ２との和より大きい整数であり、前記Ｍ個の確率マップは、前記路面画像における画素点が背景タイプに属する確率を示すＭ－Ｎ１－Ｎ２個の背景確率マップをさらに含むことを特徴とする請求項１～３のいずれか一項に記載の方法。
5. 前記車道タイプ確率マップ及び前記路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定する前記ステップは、
   Ｌ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれることに応答し、確率値が所定閾値以上である複数の画素点に基づいて前記複数の画素点の属する車道タイプを決定するステップを含み、前記Ｌ番目の車道タイプ確率マップは前記Ｎ１個の車道タイプ確率マップのうちのいずれかの車道タイプ確率マップであることを特徴とする請求項１～４のいずれか一項に記載の方法。
6. 前記車道タイプ確率マップ及び前記路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定する前記ステップは、
   Ｓ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれることに応答し、確率値が所定閾値以上である複数の画素点に基づいて前記複数の画素点の属する車道タイプを決定するステップを含み、前記Ｓ番目の路側タイプ確率マップは前記Ｎ２個の車道タイプ確率マップのうちのいずれかの路側タイプ確率マップであることを特徴とする請求項１～５のいずれか一項に記載の方法。
7. 前記車道タイプ確率マップ及び前記路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定する前記ステップは、
   第１画素点の前記Ｍ個の確率マップにおける複数の確率マップにおいて対応する確率値がいずれも所定閾値以上であることに応答し、前記第１画素点を第１確率マップに対応するタイプを決定する時の画素点とするステップを含み、前記第１確率マップは前記複数の確率値における最大確率値に対応する確率マップであることを特徴とする請求項１～６のいずれか一項に記載の方法。
8. 前記Ｍ個の確率マップを融合し、目標確率マップを得るステップと、
   前記目標確率マップにおける第２確率マップに対応する画素点の画素値を前記第２確率マップに対応する所定画素値に調整するステップとをさらに含み、前記第２確率マップは前記Ｍ個の確率マップのうちのいずれかの確率マップであることを特徴とする請求項１～７のいずれか一項に記載の方法。
9. 前記ニューラルネットワークにより前記路面画像に対応するＭ個の確率マップを出力する前記ステップは、
   前記ニューラルネットワークの少なくとも１つの畳み込み層により前記路面画像のＭ個のチャネルの下位層特徴情報を抽出するステップと、
   前記ニューラルネットワークの少なくとも１つの残差ネットワークユニットにより、前記Ｍ個のチャネルの下位層特徴情報に基づいて、前記路面画像のＭ個のチャネルの上位層特徴情報を抽出するステップと、
   前記ニューラルネットワークの少なくとも１つのアップサンプリング層により、前記Ｍ個のチャネルの上位層特徴情報をアップサンプリングし、前記路面画像と同じ大きさのＭ個の確率マップを取得するステップとを含むことを特徴とする請求項１～８のいずれか一項に記載の方法。
10. 前記少なくとも１つの畳み込み層は接続された６～１０のうちのいずれかの数の畳み込み層を含み、前記少なくとも１つの残差ネットワークユニットは接続された７～１２のうちのいずれかの数の残差ネットワークユニットを含み、前記少なくとも１つのアップサンプリング層は接続された１～４のうちのいずれかの数のアップサンプリング層を含むことを特徴とする請求項９に記載の方法。
11. 前記ニューラルネットワークは、車道タイプ、路側タイプ及び／又は非区画線標示情報を含む路面トレーニング画像セットを用いて教師ありトレーニングして得られるものであることを特徴とする請求項１～１０のいずれか一項に記載の方法。
12. 車道タイプ、路側タイプ及び／又は非区画線標示情報を含む路面トレーニング画像セットを用いて教師ありトレーニングして前記ニューラルネットワークを得るステップは、
    前記路面トレーニング画像セットに含まれるトレーニング用画像を前記ニューラルネットワークに入力し、前記トレーニング用画像の予測車道タイプ確率マップ又は予測路側タイプ確率マップを取得するステップと、
    前記予測車道タイプ確率マップ又は前記路側タイプ確率マップに含まれる確率値が所定閾値以上である複数の画素点に基づいて、前記複数の画素点の属する予測車道タイプ又は予測路側タイプを決定するステップと、
    前記トレーニング用画像の予測車道タイプと前記トレーニング用画像の車道タイプ真値マップにおける車道タイプとの間の第１損失、及び／又は前記トレーニング用画像の予測路側タイプと前記トレーニング用画像の路側タイプ真値マップにおける路側タイプとの間の第２損失を取得するステップと、
    前記第１損失及び／又は前記第２損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整するステップとを含み、前記車道タイプ真値マップは前記トレーニング用画像の車道タイプの標示情報に基づいて取得され、前記路側タイプ真値マップは前記トレーニング用画像の路側タイプの標示情報に基づいて取得されることを特徴とする請求項１１に記載の方法。
13. 車道タイプ、路側タイプ及び／又は非区画線標示情報を含む路面トレーニング画像セットを用いて教師ありトレーニングして前記ニューラルネットワークを得る前記ステップの前に、
    複数のシーンにおける路面画像を収集するステップと、
    前記複数のシーンにおける路面画像に対して区画線属性標識を行った後に得られた画像を前記トレーニング用画像とするステップとをさらに含み、
    前記複数のシーンは、雨天シーン、霧シーン、直線路シーン、カーブ路シーン、トンネルシーン、強光照射シーン及び夜シーンのうちの少なくとも２つのシーンのうちの任意の１つ又は複数を含むことを特徴とする請求項１１又は１２に記載の方法。
14. 前記路面画像をニューラルネットワークに入力する前記ステップの前に、
    前記路面画像に対して歪み除去処理を行うステップをさらに含むことを特徴とする請求項１～１３のいずれか一項に記載の方法。
15. 前記路面画像における車道タイプ及び路側タイプをグローバル座標系にマッピングして、グローバル座標系における車道タイプ情報及び路側タイプ情報を得るステップをさらに含むことを特徴とする請求項１～１４のいずれか一項に記載の方法。
16. 車両に取り付けられた車載装置により収集された路面画像を取得する第１取得モジュールと、
    前記路面画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記路面画像に対応するＭ個の確率マップを出力する第２取得モジュールと、
    前記車道タイプ確率マップ及び前記路側タイプ確率マップに基づいて、前記路面画像における区画線属性を決定する第１決定モジュールとを含み、前記Ｍ個の確率マップは、Ｎ１個の車道タイプ確率マップ及びＮ２個の路側タイプ確率マップを含み、前記Ｎ１個の車道タイプ確率マップは前記路面画像における画素点がそれぞれＮ１個の車道タイプに属する確率を示し、前記Ｎ２個の路側タイプ確率マップは前記路面画像における画素点がそれぞれＮ２個の路側タイプに属する確率を示し、Ｎ１及びＮ２はいずれも正整数であり、ＭはＮ１とＮ２との和以上の整数であることを特徴とする区画線属性検出装置。
17. 前記Ｎ１個の車道タイプは、白色破線、白色実線、二重白破線、二重白実線、白色虚実線、白色実破線、黄色破線、黄色実線、二重黄破線、二重黄実線、黄色虚実線、黄色実破線、鋸歯状の実線のうちの任意の１つ又は複数を含むことを特徴とする請求項１６に記載の装置。
18. 前記Ｎ２個の路側タイプは、左路側エッジ、右路側エッジ、左フェンス、右フェンスのうちの任意の１つ又は複数を含むことを特徴とする請求項１６又は１７に記載の装置。
19. 前記ＭはＮ１とＮ２との和より大きい整数であり、前記Ｍ個の確率マップは、前記路面画像における画素点が背景タイプに属する確率を示すＭ－Ｎ１－Ｎ２個の背景確率マップをさらに含むことを特徴とする請求項１６～１８のいずれか一項に記載の装置。
20. 前記第１決定モジュールは、
    Ｌ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれる時、確率値が所定閾値以上である複数の画素点に基づいて前記複数の画素点の属する車道タイプを決定する第１決定ユニットを含み、前記Ｌ番目の車道タイプ確率マップは前記Ｎ１個の車道タイプ確率マップのうちのいずれかの車道タイプ確率マップであることを特徴とする請求項１６～１９のいずれか一項に記載の装置。
21. 前記第１決定モジュールは、
    Ｓ番目の車道タイプ確率マップにおいて確率値が所定閾値以上である複数の画素点が含まれる時、確率値が所定閾値以上である複数の画素点に基づいて前記複数の画素点の属する車道タイプを決定する第２決定ユニットをさらに含み、前記Ｓ番目の路側タイプ確率マップは前記Ｎ２個の車道タイプ確率マップのうちのいずれかの路側タイプ確率マップであることを特徴とする請求項１６～２０のいずれか一項に記載の装置。
22. 前記第１決定モジュールは、
    第１画素点の前記Ｍ個の確率マップにおける複数の確率マップにおいて対応する確率値がいずれも所定閾値以上である時、前記第１画素点を第１確率マップに対応するタイプを決定する時の画素点とする第３決定ユニットをさらに含み、前記第１確率マップは前記複数の確率値における最大確率値に対応する確率マップであることを特徴とする請求項１６～２１のいずれか一項に記載の装置。
23. 前記Ｍ個の確率マップを融合し、目標確率マップを得る融合モジュールと、
    前記目標確率マップにおける第２確率マップに対応する画素点の画素値を前記第２確率マップに対応する所定画素値に調整する調整モジュールとを含み、
    前記第２確率マップは前記Ｍ個の確率マップのうちのいずれかの確率マップであることを特徴とする請求項１６～２２のいずれか一項に記載の装置。
24. 前記第２取得モジュールは、
    前記ニューラルネットワークの少なくとも１つの畳み込み層により前記路面画像のＭ個のチャネルの下位層特徴情報を抽出する第１取得ユニットと、
    前記ニューラルネットワークの少なくとも１つの残差ネットワークユニットにより、前記Ｍ個のチャネルの下位層特徴情報に基づいて、前記路面画像のＭ個のチャネルの上位層特徴情報を抽出する第２取得ユニットと、
    前記ニューラルネットワークの少なくとも１つのアップサンプリング層により、前記Ｍ個のチャネルの上位層特徴情報をアップサンプリングし、前記路面画像と同じ大きさのＭ個の確率マップを取得する第３取得ユニットとを含むことを特徴とする請求項１６～２３のいずれか一項に記載の装置。
25. 前記少なくとも１つの畳み込み層は接続された６～１０のうちのいずれかの数の畳み込み層を含み、前記少なくとも１つの残差ネットワークユニットは接続された７～１２のうちのいずれかの数の残差ネットワークユニットを含み、前記少なくとも１つのアップサンプリング層は接続された１～４のうちのいずれかの数のアップサンプリング層を含むことを特徴とする請求項２４に記載の装置。
26. 車道タイプ、路側タイプ及び／又は非区画線標示情報を含む路面トレーニング画像セットを用いて教師ありトレーニングして前記ニューラルネットワークを得るトレーニングモジュールをさらに含むことを特徴とする請求項１６～２５のいずれか一項に記載の装置。
27. 前記トレーニングモジュールは、
    前記路面トレーニング画像セットに含まれるトレーニング用画像を前記ニューラルネットワークに入力し、前記トレーニング用画像の予測車道タイプ確率マップ又は予測路側タイプ確率マップを取得し、
    前記予測車道タイプ確率マップ又は前記路側タイプ確率マップに含まれる確率値が所定閾値以上である複数の画素点に基づいて、前記複数の画素点の属する予測車道タイプ又は予測路側タイプを決定し、
    前記トレーニング用画像の予測車道タイプと前記トレーニング用画像の車道タイプ真値マップにおける車道タイプとの間の第１損失、及び／又は前記トレーニング用画像の予測路側タイプと前記トレーニング用画像の路側タイプ真値マップにおける路側タイプとの間の第２損失を取得し、
    前記第１損失及び／又は第２損失に基づいて、ニューラルネットワークのネットワークパラメータを調整し、前記車道タイプ真値マップは前記トレーニング用画像の車道タイプの標示情報に基づいて取得され、前記路側タイプ真値マップは前記トレーニング用画像の路側タイプの標示情報に基づいて取得されることを特徴とする請求項２６に記載の装置。
28. 複数のシーンにおける路面画像を収集し、及び、前記複数のシーンにおける路面画像に対して区画線属性標識を行った後に得られた画像を前記トレーニング用画像とする収集モジュールをさらに含み、
    前記複数のシーンは、雨天シーン、霧シーン、直線路シーン、カーブ路シーン、トンネルシーン、強光照射シーン及び夜シーンのうちの少なくとも２つのシーンのうちの任意の１つ又は複数を含むことを特徴とする請求項２６又は２７に記載の装置。
29. 前記路面画像に対して歪み除去処理を行うステップを前処理モジュールをさらに含むことを特徴とする請求項１６～２８のいずれか一項に記載の装置。
30. 前記路面画像における車道タイプ及び路側タイプをグローバル座標系にマッピングして、グローバル座標系における車道タイプ情報及び路側タイプ情報を得るマッピングモジュールをさらに含むことを特徴とする請求項１６～２９のいずれか一項に記載の装置。
31. 運転制御装置が、請求項１～１５のいずれか一項に記載の区画線属性検出方法により得られた路面画像の区画線属性検出結果を取得するステップと、
    前記運転制御装置が前記区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行うステップとを含むことを特徴とする運転制御方法。
32. 請求項１～１５のいずれか一項に記載の区画線属性検出方法により得られた路面画像の区画線属性検出結果を取得する第３取得モジュールと、
    前記区画線属性検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う運転制御モジュールとを含むことを特徴とする運転制御装置。
33. プログラム命令を記憶するメモリと、
    請求項１～１５のいずれか一項に記載の方法ステップを実行するように、前記メモリに記憶されたプログラム命令を呼び出し実行するプロセッサとを含むことを特徴とする電子機器。
34. 通信接続されるカメラ、請求項３３に記載の電子機器及び請求項３２に記載の運転制御装置を含み、前記カメラは路面画像を取得することを特徴とするインテリジェント運転システム。
35. 請求項１～１５のいずれか一項に記載の方法ステップを実行するコンピュータプログラムが記憶されることを特徴とする可読記憶媒体。

Images