JP2022507226A - 区画線検出方法、装置、及び運転制御方法、装置並びに電子機器 - Google Patents

区画線検出方法、装置、及び運転制御方法、装置並びに電子機器 Download PDF

Info

Publication number
JP2022507226A
JP2022507226A JP2021525695A JP2021525695A JP2022507226A JP 2022507226 A JP2022507226 A JP 2022507226A JP 2021525695 A JP2021525695 A JP 2021525695A JP 2021525695 A JP2021525695 A JP 2021525695A JP 2022507226 A JP2022507226 A JP 2022507226A
Authority
JP
Japan
Prior art keywords
lane marking
lane
difference
detection
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021525695A
Other languages
English (en)
Inventor
チュワン，ペイエ
チェン，グァンリャン
シー，ジャンピン
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント シーオー．，エルティーディー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント シーオー．，エルティーディー filed Critical ベイジン センスタイム テクノロジー デベロップメント シーオー．，エルティーディー
Publication of JP2022507226A publication Critical patent/JP2022507226A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示の実施例は区画線検出方法、装置、及び運転制御方法、装置並びに電子機器を開示し、上記区画線検出方法は、道路画像を取得し、上記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得るステップと、上記少なくとも２本の区画線の予測結果に基づいて、前記少なくとも２本の区画線の消失点を決定するステップと、上記少なくとも２本の区画線の予測結果及び上記消失点に基づいて、上記道路画像の区画線検出結果を出力するステップとを含む。【選択図】図１

Description

本開示は２０１８年１１月１４日に中国特許庁に提出し、出願番号がＣＮ２０１８１１３５５２２３．４、発明名称が「区画線検出方法、装置、及び運転制御方法、装置並びに電子機器」である中国特許出願の優先権を主張し、その全ての内容は引用により本開示に組み込まれるものとする。
本開示の実施例はコンピュータビジョンの技術分野に関し、特に区画線検出方法、装置、及び運転制御方法、装置並びに電子機器に関する。
区画線検出技術は運転支援、自動運転等のインテリジェント運転を実現するための重要な技術の１つである。区画線検出は主にビジョンナビゲーションシステムに用いられ、撮影された道路画像内から道路画像における区画線の位置を見出す。
区画線検出の主な作業は区画線のフィッティングであり、区画線のフィッティングの正確性は区画線検出結果の正確性に直接的に影響を与え、さらにインテリジェント運転の安全性を決定する。
本開示の実施例は区画線検出の技術的解決手段を提供する。
本開示の実施例の一態様に係る区画線検出方法は、
少なくとも２本の区画線を含む道路画像を取得するステップと、
前記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得るステップと、
前記少なくとも２本の区画線の予測結果に基づいて、前記少なくとも２本の区画線の消失点を決定するステップと、
前記少なくとも２本の区画線の予測結果及び前記消失点に基づいて、前記道路画像の区画線検出結果を出力するステップとを含む。
本開示の実施例の他の一態様に係る区画線検出装置は、
少なくとも２本の区画線を含む道路画像を取得する取得モジュールと、
前記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得る予測モジュールと、
前記少なくとも２本の区画線の予測結果に基づいて前記少なくとも２本の区画線の消失点を決定する決定モジュールと、
前記少なくとも２本の区画線の予測結果及び前記消失点に基づいて、前記道路画像の区画線検出結果を出力する出力モジュールとを含む。
本開示の実施例の別の態様に係る運転制御方法は、
運転制御装置が第１態様のいずれか一項に記載の区画線検出方法により得られた道路画像の区画線検出結果を取得するステップと、
前記運転制御装置が前記区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対して運転制御を行うステップとを含む。
本開示の実施例の更なる態様に係る運転制御装置は、
本開示の上記いずれか一実施例に記載の区画線検出方法により得られた道路画像の区画線検出結果を取得する取得モジュールと、
前記区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対して運転制御を行う運転制御モジュールとを含む。
本開示の実施例の更なる態様に係る電子機器は、
コンピュータプログラムを記憶するメモリと、
第１態様に記載の区画線検出方法を実現するように前記コンピュータプログラムを実行するプロセッサとを含む。
本開示の実施例の更なる態様に係る電子機器は、
少なくとも２本の区画線を含む道路画像を取得するカメラと、
コンピュータプログラムを記憶するメモリと、
第１態様に記載の区画線検出方法を実現するように前記コンピュータプログラムを実行するプロセッサとを含む。
本開示の実施例の更なる態様に係るインテリジェント運転システムは、通信接続されるカメラ、本開示の上記いずれか一実施例に記載の電子機器及び運転制御装置を含み、前記カメラは道路画像を取得する。
本開示の実施例の更なる態様に係るコンピュータ記憶媒体には、実行されると、本開示の上記いずれか一実施例に記載の区画線検出方法を実現するコンピュータプログラムが記憶される。
本開示の実施例に係る区画線検出方法、装置、及び運転制御方法、装置並びに電子機器は、道路画像を取得し、前記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得て、前記少なくとも２本の区画線の予測結果に基づいて、前記少なくとも２本の区画線の消失点を決定し、前記少なくとも２本の区画線の予測結果及び前記消失点に基づいて、前記道路画像の区画線検出結果を出力する。本開示の実施例は、区画線の消失点を取得し、消失点に基づいて区画線の予測結果を補正することにより、区画線を補完し、より完全な区画線を生成することができるだけでなく、予測と実際の偏差が大きい点を除去することができ、区画線検出の正確性を向上させ、区画線逸脱システム及び車両車線変更システム等に技術的基礎を定め、インテリジェント運転の安全性及び信頼性を向上させる。
以下、図面と実施例を参照しながら、本開示の技術的解決手段をさらに詳細に説明する。
本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に使用する必要のある図面を簡単に説明し、明らかに、以下の説明における図面は本開示のいくつかの実施例に過ぎず、当業者であれば、創造的な労働を行うことなくこれらの図面に基づいて他の図面を得ることができる。
本開示の一実施例に係る区画線検出方法のフローチャートである。 本開示の別の実施例に係る区画線検出方法のフローチャートである。 本開示の実施例に係るニューラルネットワークモデルの構造概略図である。 本開示の実施例に係る道路画像である。 図４に示す道路画像に対応する確率マップである。 本開示の実施例に係る各予測フィッティング曲線の交差概略図である。 本開示の実施例に係る予測フィッティング曲線の概略図である。 本開示の実施例に係る検出フィッティング曲線の概略図である。 本開示のまた別の実施例に係る区画線検出方法のフローチャートである。 本開示の一実施例に係る区画線検出装置の構造概略図である。 本開示の別の実施例に係る区画線検出装置の構造概略図である。 本開示のまた別の実施例に係る区画線検出装置の構造概略図である。 本開示のさらに別の実施例に係る区画線検出装置の構造概略図である。 本開示のさらにまた別の実施例に係る区画線検出装置の構造概略図である。 本開示の一実施例に係る電子機器の構造概略図である。 本開示の別の実施例に係る電子機器の構造概略図である。 本開示の電子機器の応用実施例の構造概略図である。 本開示の一実施例に係る運転制御方法のフローチャートである。 本開示の一実施例に係る運転制御装置の構造概略図である。 本開示の一実施例に係るインテリジェント運転システムの概略図である。
本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下では、本開示の実施例中の図面を参照しながら、本開示の実施例における技術的解決手段を明確かつ完全に説明する。明らかに、説明される実施例は、本開示の実施例の一部であり、全てではない。本開示における実施例に基づいて、当業者が創造的な労力を行うことなく得る他の実施例は、すべて本開示の保護範囲に属するものである。
特に説明がない限り、これらの実施例において記載された部品及びステップの対向配置、数字表現式及び数値は、本開示の範囲を限定しないことを留意されたい。
さらに、本開示の実施例において、「複数」は２つ又は２つ以上を指し、「少なくとも１つ」は１つ、２つ又は２つ以上を指すことができることを理解されたい。
当業者であれば理解できるように、本開示の実施例における「第１」、「第２」等の用語は異なるステップ、装置又はモジュール等を区別するために用いられ、いかなる特定の技術的意味を表すものではなく、それらの間の必然的な論理的順序を表すものでもない。
さらに理解すべきこととして、本開示の実施例に言及されたいずれかの部品、データ又は構造に対して、明確に限定されないか又は前後に逆の示唆が与えられない場合、一般的に１つ又は複数と理解することができる。
さらに理解すべきこととして、本開示の各実施例に対する説明は各実施例の間の相違点を強調し、その同一又は類似点を互いに参照することができ、簡潔にするために、説明を省略する。
同時に、明らかに、説明しやすくするため、図面中に示された各部分の寸法は実際の比率関係に応じて描画されるものではない。
以下、少なくとも１つの例示的な実施例についての説明は、実際的に例示的なものに過ぎず、本開示及びその適用又は使用を限定するものでは決してない。
当業者が公知の技術、方法、及び装置を詳細に説明しない場合があるが、これらの技術、方法、及び装置は、適宜、明細書の一部とみなされるべきである。
類似の符号及び文字が以下の図面において類似のものを表すため、あるものが１つの図面において定義されれば、後の図面においてそれをさらに検討する必要がないことに留意されたい。
また、本開示における「及び／又は」という用語は、関連対象について説明する関連関係であり、３つの関係が存在し得ることを表し、例えば、Ａ及び／又はＢは、単にＡが存在、Ａ及びＢが同時に存在、単にＢが存在という３つの場合を表すことができる。また、本開示における記号「／」、一般的に前後関連対象が「又は」の関係であることを示す。
本開示の実施例は、端末装置、コンピュータシステム、サーバ、車載機器等の電子機器に応用されてよく、多数の他の多目的又は特定目的のコンピュータシステム環境又は構成で動作可能である。端末装置、コンピュータシステム、サーバ、車載機器等の電子機器と共に使用される周知の端末装置、コンピュータシステム、環境及び／又は構成の例は、パソコンシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ち又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費電子製品、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム、車載機器及び上記任意のシステムを含む分散型クラウドコンピューティング技術環境等を含むが、これらに限定されない。
端末装置、コンピュータシステム、サーバ、車載機器等の電子機器は、コンピュータシステムが実行するコンピュータシステム実行可能な命令（例えば、プログラムモジュール）の一般的言語環境下で説明することができる。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造等を含み、これらは特定のタスクを実行するか又は特定の抽象的データタイプを実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング技術環境において実施することができ、分散型クラウドコンピューティング技術環境において、タスクは通信ネットワークによりリンクされた遠隔処理装置によって実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶装置を含むローカル又は遠隔コンピューティングシステムの記憶媒体に位置することができる。
本開示の実施例に係る方法は、コンピュータビジョン、インテリジェント運転等の区画線のフィッティング曲線を取得する必要がある分野に適合する。
本開示の各実施例におけるニューラルネットワークは、それぞれ１つの多層ニューラルネットワーク（すなわち：ディープニューラルネットワーク）であってもよく、そのうちのニューラルネットワークはコンボリューショナルニューラルネットワークであってもよく、例えばＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧ、ＲｅｓＮｅｔ等の任意のニューラルネットワークモデルであってもよい。各ニューラルネットワークは、同じタイプ及び構造のニューラルネットワークを用いてよく、異なるタイプ及び／又は構造のニューラルネットワークを用いてもよい。本開示の実施例はこれについて限定していない。
以下、いくつかの実施例を参照して本開示の技術的解決手段を詳細に説明する。以下のいくつかの実施例は互いに結合することができ、同じ又は類似する概念又は過程についていくつかの実施例で説明しない可能性がある。
図１は本開示の一実施例に係る区画線検出方法のフローチャートである。該図１に示すように、本実施例の方法は、Ｓ１０１、Ｓ１０２、Ｓ１０３及びＳ１０４を含む。
Ｓ１０１、道路画像を取得する。
本実施例の実行主体は、スマートフォン、コンピュータ、車載システム等を含むがこれらに限定されていない電子機器である。本実施例の実行主体は、上記電子機器におけるプロセッサであってよい。
好ましくは、本実施例の電子機器はカメラを備えるか又はカメラに接続することができ、カメラにより車両進行前方（又は周り）のシーンの道路画像を撮像し、電子機器のプロセッサにより該道路画像を処理することができる。該道路画像はシングルフレーム画像であってよく、撮像されたビデオストリーム中のフレーム画像であってもよい。
好ましくは、上記道路画像は予め設定されたものであってもよく、例えば、ユーザは道路画像を入力して電子機器の区画線検出機能をテストする。
好ましくは、上記道路画像は、車線標示情報を有し、電子機器の区画線検出の正確性をトレーニングするための道路トレーニング画像であってもよい。
本実施例では、電子機器が道路画像を取得する方式について限定されていない。
本実施例の道路画像には少なくとも２本の区画線を含む。
選択的な一例では、該ステップＳ１０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される取得モジュールにより実行してもよい。
Ｓ１０２、上記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得る。
好ましくは、本実施例は、エッジ検出方法を用いて、道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得ることができる。
好ましくは、本実施例は、サポートベクトルマシン方法を用いて、道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得ることができる。
好ましくは、本実施例は、他の区画線検出方法を用いて、道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得ることができる。
選択的な一例では、該ステップＳ１０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される予測モジュールにより実行してもよい。
Ｓ１０３、上記少なくとも２本の区画線の予測結果に基づいて、上記少なくとも２本の区画線の消失点を決定する。
区画線は実世界の３Ｄ空間において平行であるが、二次元カメラ画像において区画線は最終的に一点で交差し、該交点を区画線の消失点（Ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）と呼ぶ。
このように、上記少なくとも２本の区画線の予測結果に基づいて、区画線の消失点を取得することができる。
選択的な一例では、該ステップＳ１０３はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される決定モジュールにより実行してもよい。
Ｓ１０４、上記少なくとも２本の区画線の予測結果及び上記消失点に基づいて、上記道路画像の区画線検出結果を出力する。
本実施例は、上記ステップに基づいて、区画線の予測結果及び消失点を取得し、消失点を使用して区画線の予測結果を補正することにより、区画線を補完し、より完全な区画線を生成することができるだけでなく、予測と実際の偏差が大きい点を除去することができる。
好ましくは、予測された区画線を消失点と接続し、接続した後の区画線を道路画像の区画線検出結果とする。
好ましくは、さらに予測された区画線を消失点と改めてフィッティングし、フィッティングされた後の区画線を道路画像の区画線検出結果とすることができる。
選択的な一例では、該ステップＳ１０４はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される出力モジュールにより実行してもよい。
本開示の実施例に係る区画線検出方法は、道路画像を取得し、上記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得て、上記少なくとも２本の区画線の予測結果に基づいて、上記少なくとも２本の区画線の消失点を決定し、上記少なくとも２本の区画線の予測結果及び上記消失点に基づいて、上記道路画像の区画線検出結果を出力する。本開示の実施例は、区画線の消失点を取得し、消失点に基づいて区画線の予測結果を補正することにより、区画線を補完し、より完全な区画線を生成することができるだけでなく、予測と実際の偏差が大きい点を除去することができ、区画線検出の正確性を向上させ、区画線逸脱システム及び車両車線変更システム等に技術的基礎を築き、インテリジェント運転の安全性及び信頼性を向上させる。
一例において、上記Ｓ１０２は、上記道路画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記少なくとも２本の区画線の第１区画線確率マップを出力するステップと、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第１予測フィッティング曲線を決定するステップとを含んでよい。
一例において、上記Ｓ１０３は、上記少なくとも２本の区画線の第１予測フィッティング曲線の共通交点を上記少なくとも２本の区画線の消失点として決定するステップを含んでよい。
一例において、上記Ｓ１０４は、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び上記消失点に基づいて曲線フィッティングを行い、上記区画線の第１検出フィッティング曲線を決定し出力するステップを含んでよい。
図２は本開示の別の実施例に係る区画線検出方法のフローチャートであり、上記実施例を基礎として、本実施例に係る区画線検出の選択可能なプロセスは、図２に示すように、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４及びＳ２０５を含んでよい。
Ｓ２０１、道路画像を取得する。
本実施例の道路画像は、車載カメラにより収集された車両が位置するシーンの道路画像などの車両運転環境のリアルタイムな道路画像であってよい。
該道路画像に基づいて、車両進行前方の区画線をリアルタイムに検出し、区画線逸脱システム及び車両車線変更システムに参考を提供する。
選択的な一例では、該ステップＳ１０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行され取得モジュールにより実行してもよい。
Ｓ２０２、上記道路画像をニューラルネットワークに入力して、上記ニューラルネットワークにより前記少なくとも２本の区画線の第１区画線確率マップを出力する。
本実施例の所定のニューラルネットワークはＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、全畳み込みネットワーク）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ、残差ネットワーク）又は畳み込みニューラルネットワーク等であってよい。
好ましくは、図３に示すように、本実施例もニューラルネットワークは７つの畳み込み層を含み、それぞれ、１番目の畳み込み層のパラメータは１４５＊１６９＊１６であり、２番目の畳み込み層のパラメータは７３＊８５＊３２であり、３番目の畳み込み層のパラメータは３７＊４３＊６４であり、４番目の畳み込み層のパラメータは１９＊２２＊１２８であり、５番目の畳み込み層のパラメータは７３＊８５＊３２であり、６番目の畳み込み層のパラメータは１４５＊１６９＊１６であり、７番目の畳み込み層のパラメータは２８９＊３３７＊５である。
図３に示すように、本実施例のニューラルネットワークは予めトレーニング済みであってよく、図４に示す道路画像を該ニューラルネットワークに入力するとき、該ニューラルネットワークは道路画像における各本の区画線の区画線確率マップを、図５に示すように第１区画線確率マップとして記する。
選択的な一例では、該ステップＳ２０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される予測モジュール又は第１予測ユニットにより実行してもよい。
Ｓ２０３、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第１予測フィッティング曲線を決定する。
各本の区画線の区画線確率マップは複数の確率点を含み、各確率点は道路画像における画素点と１対１に対応する。各確率点の値は、道路図における対応する位置の画素点が該区画線となる確率値である。
図５における最右側の区画線を例とし、各確率点の値は道路画像における対応する位置の画素点が区画線となる確率値を示し、図５に示すように、例えば、白い色の確率点の確率値は１であり、黒い色の確率点の確率値は０である。
次に、図５に示す第１区画線確率マップに基づいて、図５における確率値が所定値より大きい確率点を取得し、これらの確率点に対応する画素点に対して曲線フィッティングを行い、該区画線の第１予測フィッティング曲線を生成する。
所定値は確率点に対応する画素点が区画線上にあるかどうかを区分する標準であり、該所定値は実際の必要に応じて決定することができる。
例えば、所定値が０．８であれば、図５における確率値が０．８より大きい点、即ち図５における白い色の確率点を選択することができ、これらの白い色の確率点に対応する画素点に対して曲線フィッティングを行って、該区画線の第１予測フィッティング曲線を取得することができる。
好ましくは、本実施例は、曲線フィッティングを行うとき、一次関数曲線フィッティング、二次関数曲線フィッティング、三次関数曲線フィッティング、又は高次関数曲線フィッティングを使用してよい。本実施例は第１予測フィッティング曲線のフィッティング方式を限定せず、実際の必要に応じて決定することができる。
一例において、上記Ｓ２０３は、上記第１区画線確率マップにおける確率値が所定値より大きい各確率点をサンプリングし、上記少なくとも２本の第１区画線確率マップのサンプリング点を決定するステップと、上記少なくとも２本の第１区画線確率マップのサンプリング点に対応する画素点に対して曲線フィッティングを行い、上記少なくとも２本の区画線の第１予測フィッティング曲線を決定するステップとを含む。
道路画像における区画線に対応する画素点の数が大きく、区画線に対応する各画素点に対してフィッティング実行を行えば、その演算量が大きく、フィッティング速度が遅い。
上記問題を解決するために、本実施例は区画線に対応する画素点を選別し、条件に合致する一部の画素点を選択して曲線フィッティングを行う。
好ましくは、各本の区画線の第１区画線確率マップから確率値が所定値より大きい少なくとも一部の確率点を選択し、該所定値は画素点が区画線であるかどうかを区分する標準であり、画素点の確率値が該所定値より大きい場合、該画素点は区画線上の点であり、保留することができる。画素点の確率値が該所定値より小さい場合、該画素点は区画線上の点でなく、廃棄することができる。
説明しやすくするため、各本の区画線の区画線確率マップにおける確率値が所定値より大きい各確率点をサンプリング点と記し、サンプリング点に対応する画素点はいずれも区画線上の点である。
好ましくは、マルコフ連鎖モンテカルロサンプリング方法（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｏ Ｃａｒｌｏ）、ギブスサンプリング（Ｇｉｂｂｓ ｓａｍｐｌｉｎｇ）などのサンプリング方法を使用してサンプリングしてよい。
好ましくは、本実施例は第１区画線確率マップにおける確率値が所定値より大きい各確率点に対してガウスサンプリングを行って、少なくとも２本の第１区画線確率マップのサンプリング点を決定する。
選択的な一例では、該ステップＳ２０３はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される予測モジュール又は第１フィッティングユニットにより実行してもよい。
Ｓ２０４、上記少なくとも２本の区画線の第１予測フィッティング曲線の共通交点を上記少なくとも２本の区画線の消失点として決定する。
上記ステップに基づいて、道路画像における各本の区画線の第１予測フィッティング曲線を取得し、以上から分かるように、撮像角度の違いにより、同じ道路図における各区画線の延長線は点Ａで交差し、点Ａを各第１予測フィッティング曲線の共通交点と記する。
例えば、図６Ａに示すように、道路画像が３本の区画線を含むとすれば、上記所定のニューラルネットワークにより、１本目の区画線の第１予測フィッティング曲線ｙ＝ｆ1（ｘ）、２本目の区画線の第１予測フィッティング曲線ｙ＝ｆ2（ｘ）、３本目の第１予測フィッティング曲線ｙ＝ｆ3（ｘ）を取得することができる。
ｆ1（ｘ）＝ｆ3（ｘ）＝ｆ2（ｘ）とし、上記３本の第１予測フィッティング曲線の共通交点、例えば共通交点Ａ＝（７２３、６０７）であることを求める。
すなわち、上記各本の区画線の第１予測フィッティング曲線はいずれも該消失点を通過し、このように該消失点を利用して上記各予測フィッティング曲線を補正し、例えば、完全ではない第１予測フィッティング曲線を補完することができ、かつ予測と実際の偏差が大きい点を除去することができる。
選択的な一例では、該ステップＳ２０４はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される予測モジュール又は第１フィッティングユニットにより実行してもよい。
Ｓ２０５、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び上記消失点に基づいて曲線フィッティングを行い、上記区画線の第１検出フィッティング曲線を決定し出力する。
本実施例は、上記ステップにより取得された区画線の第１区画線確率マップ、第１予測フィッティング曲線及び消失点を取得し、区画線の曲線を改めてフィッティングし、区画線の第１検出フィッティング曲線を生成する。
好ましくは、１本の区画線を例とし、該区画線の第１区画線確率マップにおける確率値が所定値より大きい確率点を取得し、既存の曲線フィッティング方法を使用して、これらの該確率点に対応する画素点及び消失点をフィッティング点とし、曲線フィッティングを行い、該区画線の第１検出フィッティング曲線を生成する。
実施の応用において、上記第１予測フィッティング曲線の消失点は区画線上にあり、本実施例は曲線フィッティングにおいて既知の消失点を追加し、不備の第１予測フィッティング曲線を補完し、かつ予測と実際の偏差が大きい点を除去し、フィッティング結果をより正確にすることができる。
好ましくは、曲線フィッティングを行うとき、消失点のフィッティングレベルを向上させることにより、フィッティング曲線が消失点を必ず通過するように曲線フィッティングを行い、このように実際の状況から遠く離れたフィッティング点をフィルタリングし、曲線フィッティングの正確性をさらに向上させることができる。
本実施例は区画線の予測結果に対して後続処理を行い、好ましくは、予測された各第１予測フィッティング曲線の消失点に基づいて、第１予測フィッティング曲線を改めてフィッティングし、第１検出フィッティング曲線を取得し、区画線検出の正確性を向上させる。
選択的な一例では、該ステップＳ２０５はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される予測モジュール又は第１フィッティングユニットにより実行してもよい。ニューラルネットワークが確率マップを予測する過程は時間がかかるが、本実施例は第１予測フィッティング曲線を補正する過程において、ニューラルネットワークの１回目に生成した確率マップを使用し、ニューラルネットワークモデル予測確率マップに改めて戻る必要がなく、その第１検出フィッティング曲線のフィッティング過程にかかる時間が短く、さらに区画線検出の正確性を向上させると同時に、区画線検出の速度を保証する。
図６Ｂは所定のニューラルネットワークに基づいて取得された第１予測フィッティング曲線の概略図であり、図６Ｃは本開示の実施例の区画線検出方法を使用して取得された第１検出フィッティング曲線の概略図である。
さらに、図６Ｂ及び図６Ｃに示すように、区画線のフィッティング過程において、本開示の実施例がフィッティングして生成した第１検出フィッティング曲線は区画線を補完し、より完全な区画線を生成するだけでなく、予測と実際の偏差が大きい点を除去することができる。
本開示の実施例に係る区画線検出方法は、上記道路画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記少なくとも２本の区画線の第１区画線確率マップを出力し、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第１予測フィッティング曲線を決定し、上記少なくとも２本の区画線の第１予測フィッティング曲線の共通交点を上記少なくとも２本の区画線の消失点として決定し、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び前記消失点に基づいて曲線フィッティングを行い、上記区画線の第１検出フィッティング曲線を決定し出力する。すなわち、本実施例は、消失点及び区画線確率マップにおける画素点に基づいて、各区画線の第１検出フィッティング曲線をフィッティングし生成し、このように区画線を補完し、より完全な区画線を生成することができるだけでなく、予測と実際の偏差が大きい点を除去することができ、区画線検出の正確性を向上させ、かつフィッティング過程にかかる時間が短い。
本実施例は、図２に示すように道路画像をニューラルネットワークに入力し区画線検出を行う前に、ニューラルネットワークのトレーニング、すなわち、上記道路トレーニング画像及び上記道路トレーニング画像における区画線の消失点に基づいて、上記ニューラルネットワークをトレーニングすることをさらに含み、図７に示すとおりである。
図７は本開示のまた別の実施例に係る区画線検出方法のフローチャートである。上記実施例を基礎として、本実施例はニューラルネットワークをトレーニングするための好ましい過程に係る。図７に示すように、本実施例の方法は、Ｓ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５を含んでよい。
Ｓ３０１、上記道路トレーニング画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記少なくとも２本の区画線に基づいて第２区画線確率マップを出力する。
選択的な一例では、該ステップＳ３０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行されるトレーニングモジュール又は第２予測ユニットにより実行してもよい。
Ｓ３０２、上記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第２予測フィッティング曲線を決定する。
該道路トレーニング画像は車線標示情報を有し、該道路トレーニング画像をニューラルネットワークに入力し、少なくとも２本の区画線の第２区画線確率マップを出力する。各本の区画線に対して、該区画線の第２区画線確率マップから確率値が設定閾値より大きい少なくとも一部の確率点を決定し、該一部の確率点に対応する画素点を曲線フィッティングを行い、該区画線の第２予測フィッティング曲線を生成する。その実現過程は上記第１区画線確率マップ及び第１予測フィッティング曲線の決定過程を参照すればよい。ここで説明を省略する。
選択的な一例では、該ステップＳ３０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行されるトレーニングモジュール又は第２フィッティングユニットにより実行してもよい。
Ｓ３０３、上記少なくとも２本の区画線を決定する第２予測フィッティング曲線に基づいて、上記少なくとも２本の区画線の消失点を決定する。
好ましくは、上記少なくとも２本の区画線の第２予測フィッティング曲線の共通交点を少なくとも２本の区画線の消失点として決定してよい。
選択的な一例では、該ステップＳ３０３はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される消失点決定ユニットにより実行してもよい。
Ｓ３０４、上記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び上記消失点に基づいて曲線フィッティングを行い、上記区画線の第２検出フィッティング曲線を決定する。
各本の区画線に対して、上記該区画線を取得する第２区画線確率マップから、確率値が設定閾値より大きい点を決定し、これらの確率点に対応する画素点及びＳ３０３における消失点をフィッティング点とし、曲線フィッティングを行い、該区画線の第２検出フィッティング曲線を生成する。
選択的な一例では、該ステップＳ３０４はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される第２フィッティングユニットにより実行してもよい。
Ｓ３０５、前記第２予測フィッティング曲線と区画線の真値との第１差異、及び前記第２検出フィッティング曲線と区画線の真値との第２差異に基づいて、前記ニューラルネットワークのネットワークパラメータを調整する。
本実施例に記載の区画線の真値は、客観的に存在する区画線であってよく、又は標示された区画線であってよく、又は標示情報に基づいてフィッティングして得られた区画線であってもよく、ニューラルネットワークトレーニング過程において監督情報として、予測された区画線又は検出された区画線を補正する。
各本の区画線の第２予測フィッティング曲線を該区画線の真値と比較し、各本の区画線のフィッティング曲線と真値との間の差異（すなわち偏差）を決定し、該差異を第１差異と記する。
各本の区画線の第２検出フィッティング曲線を該区画線の真値と比較し、各本の区画線の第２検出フィッティング曲線と真値との間の差異（すなわち偏差）を決定し、該差異を第２差異と記する。
上記第１差異及び第２差異に基づいて、ニューラルネットワークのネットワークパラメータを調整し、例えば、ニューラルネットワークの畳み込みカーネルパラメータ、アレイウェイトなどのネットワークパラメータを調整する。
一例において、上記Ｓ３０５は、上記少なくとも２本の区画線のうちの各本の区画線に対して、該区画線の第２予測フィッティング曲線と該区画線の真値との第１差異、及び該区画線の第２検出フィッティング曲線と該区画線の真値との間の第２差異を決定するステップと、各本の上記区画線の第１差異及び第２差異に基づいて、上記ニューラルネットワークの検出損失を決定するステップと、上記検出損失に基づいて、上記ニューラルネットワークのネットワークパラメータを調整するステップとを含む。
選択的な一例では、該ステップＳ３０５はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される調整ユニットにより実行してもよい。本実施例は、各本の区画線の第２予測フィッティング曲線と各本の区画線の真値との間の第１差異を決定する方法について限定していない。
例えば、区画線ｊを例とし、該区画線ｊの第２予測フィッティング曲線ｆ1j（ｘi）と区画線ｊのの真値ｆ0j（ｘi）との第１差異ε1jについて式（１）～式（４）のうちの任意の式により決定することができ、式中、ｉはフィッティング点であり、ｉ＝０、１、…ｍであり、ｊは区画線であり、ｊ＝０、１、…ｎである。
Figure 2022507226000002
Figure 2022507226000003
Figure 2022507226000004
Figure 2022507226000005
すなわち、本実施例は、上記任意の式を使用して、各本の区画線の第２予測フィッティング曲線と各本の区画線の真値との間の第１差異を決定することができる。理解できるように、上記式も例示的なものに過ぎず、第１差異は上記式の変形又は上記式と異なる他の式又は他の方式を用いて決定することができ、本開示の実施例はこれについて限定していない。
一例において、上記各本の区画線の第２予測フィッティング曲線と各本の上記区画線の真値との間の第１差異を決定する上記ステップは、
各本の上記区画線の第２予測フィッティング曲線と各本の上記区画線の真値との間の最小二乗演算結果を上記第１差異とするステップを含む。
好ましくは、以下の式（５）に基づいて、各本の上記区画線の第２予測フィッティング曲線と各本の上記区画線の真値との間の最小二乗演算結果を上記区画線の上記第１差異とする。
Figure 2022507226000006
式中、ｘiはフィッティング点ｉの横座標、ｆ1j（ｘi）は区画線ｊに対応する第２予測フィッティング曲線上のフィッティング点ｉの縦座標を表す。ｆ0j（ｘi）は区画線ｊに対応する真値上のフィッティング点ｉの縦座標を表す。
最小二乗実行は演算過程が簡単であり、かつ全体の誤差分布を考慮したため、本実施例は上記式（５）に基づいて、各本の区画線の第２予測フィッティング曲線と真値との間の第１差異を迅速で正確に決定することができる。理解できるように、上記式（５）も例示的なものに過ぎず、第１差異は上記式（５）の変形又は上記式（５）と異なる他の式又は他の方式を用いて決定することができ、本開示の実施例はこれについて限定していない。
本実施例は、各本の区画線の第２検出フィッティング曲線と各本の区画線の真値との間の第２差異を決定する方法について限定していない。
例えば、区画線ｊを例とし、該区画線ｊの第２検出フィッティング曲線ｆ2j（ｘi）と区画線ｊの真値ｆ0j（ｘi）との第２差異ε2jについて式（６）～式（９）のうちの任意の式により決定することができ、式中、ｉ＝０、１、…ｍであり、ｊ＝０、１、…ｎである。
Figure 2022507226000007
Figure 2022507226000008
Figure 2022507226000009
Figure 2022507226000010
すなわち、本実施例は、差異を決定する上記任意の方法を使用して、区画線の第２検出フィッティング曲線と該区画線１の真値との間の第２差異を決定することができる。理解できるように、上記式（６）～式（９）も例示的なものに過ぎず、第２差異は上記式の変形又は上記式と異なる他の式又は他の方式を用いて決定してもよく、本開示の実施例はこれについて限定していない。
一例において、各本の上記区画線の第２検出フィッティング曲線と各本の上記区画線の真値との間の第２差異を決定する上記ステップは、
各本の上記区画線の第２検出フィッティング曲線と各本の上記区画線の真値との間の交差エントロピーを上記第２差異とするステップを含む。
好ましくは、以下の式（１０）に基づいて、各本の上記区画線の第２検出フィッティング曲線と各本の上記区画線の真値との間の交差エントロピーを上記第２差異とする。
Figure 2022507226000011
式中、ｆ2j（ｘi）は区画線ｊに対応する第２検出フィッティング曲線上のフィッティング点ｉの縦座標を表す。
このように上記式（１０）に基づいて、各本の区画線の第２検出フィッティング曲線と真値との間の第２差異を正確に決定することができる。理解できるように、上記式（１０）も例示的なものに過ぎず、第２差異は上記式（１０）の変形又は上記式（１０）と異なる他の式又は他の方式を用いて決定することができ、本開示の実施例はこれについて限定していない。
別の一例において、本実施例はさらに各本の上記区画線の第２予測フィッティング曲線と各本の上記区画線の真値との間の交差エントロピーを上記第１差異とし、各本の上記区画線の第２検出フィッティング曲線と各本の上記区画線の真値との間の交差エントロピーを上記第２差異としてもよい。
好ましくは、各本の上記区画線の第２予測フィッティング曲線と各本の上記区画線の真値との間の最小二乗演算結果を上記第１差異とし、各本の上記区画線の第２検出フィッティング曲線と各本の上記区画線の真値との間の最小二乗演算結果を上記第２差異としてもよい。
好ましくは、各本の上記区画線の第２予測フィッティング曲線と各本の上記区画線の真値との間の交差エントロピーを上記第１差異とし、各本の上記区画線の第２検出フィッティング曲線と各本の上記区画線の真値との間の最小二乗演算結果を上記第２差異としてもよい。
好ましくは、本実施例が第１差異及び第２差異を解決する方法は同じであってよく、異なってもよく、本実施例はこれについて限定していない。
次に、各本の上記区画線の第１差異及び第２差異に基づいて、上記ニューラルネットワークの検出損失を決定する。
好ましくは、上記決定された各本の区画線の第１差異及び第２差異を、ニューラルネットワークの損失関数に導入し、ニューラルネットワークの検出損失を代入する。
一例において、本実施例は各本の区画線の第１差異及び第２差異の加重和をニューラルネットワークモデルの損失関数とすることができる。
例えば、各第１差異ε1jのウェイトがａであり、各第２差異ε2jのウェイトがｂであると、ニューラルネットワークの損失関数の値ｌｏｓｓを、と決定することができる。
Figure 2022507226000012
式中、ｎは道路画像における区画線の総数を表す。
一例において、本実施例は各本の区画線の第１差異及び第２差異の最小二乗演算結果をニューラルネットワークの検出損失とすることができる。
他の一例において、本実施例はさらに各本の区画線の第１差異と第２差異との和を、ニューラルネットワークの検出損失とすることができる。
好ましくは、各第２差異ε2jと各第１差異ε1jとの和を、ニューラルネットワークの検出損失とし、すなわちニューラルネットワークの損失関数の値ｌｏｓｓを、とする。
Figure 2022507226000013
上記検出損失に基づいて上記ニューラルネットワークのネットワークパラメータを調整し、例えば、ニューラルネットワークの検出損失を所定の損失を比較し、逆勾配伝播はニューラルネットワークのネットワークパラメータを調整する。
次に、調整後のネットワークパラメータに基づいて、区画線検出を継続し、好ましくは、新たな道路トレーニング画像を調整後のニューラルネットワークに入力し、上記ステップを実行し、ニューラルネットワークの検出損失を決定する。該検出損失が収束条件に達するかどうか、例えば、該検出損失が所定の損失より小さいかどうかを判定し、そうであれば、ニューラルネットワークが完了すると決定し、トレーニング済のニューラルネットワークを使用して区画線を予測する。検出損失が収束条件に達しないと、ニューラルネットワークのネットワークパラメータを調整し続き、新たな道路トレーニング画像を使用して、ニューラルネットワークの検出損失が収束条件を満たすまで、調整後のニューラルネットワークをトレーニングし続ける。
このように、大量の反復トレーニングを経た後、ニューラルネットワークの予測精度を効果的に向上させることができ、このように実際の区画線検出過程において、該高精度なニューラルネットワークは区画線の第２予測フィッティング曲線を正確に予測することができる。次に、各第２予測フィッティング曲線の消失点に基づいて、第２予測フィッティング曲線を補正し、より精度の高い検出フィッティング曲線を生成し、区画線に対する正確な検出をさらに向上させ、インテリジェント運転の普及に保障を提供する。
本開示の実施例に係る区画線検出方法は、上記道路トレーニング画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記少なくとも２本の区画線に基づいて第２区画線確率マップを出力し、上記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第２予測フィッティング曲線を決定し、上記少なくとも２本の区画線を決定する予測フィッティング曲線に基づいて、上記少なくとも２本の区画線の消失点を決定し、上記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び上記消失点に基づいて曲線フィッティングを行い、上記区画線の第２検出フィッティング曲線を決定し、上記第２予測フィッティング曲線と区画線の真値との第１差異、及び上記第２検出フィッティング曲線と区画線の真値との第２差異に基づいて、上記ニューラルネットワークのネットワークパラメータを調整することにより、ニューラルネットワークのトレーニングを実現し、さらにニューラルネットワークの区画線予測の精度を向上させる。図８は本開示の一実施例に係る区画線検出装置の構造概略図である。図８に示すように、本実施例の区画線検出装置１００は、
少なくとも２本の区画線を含む道路画像を取得する取得モジュール１１０と、
上記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得る予測モジュール１２０と、
上記少なくとも２本の区画線の予測結果に基づいて、上記少なくとも２本の区画線の消失点を決定する決定モジュール１３０と、
上記少なくとも２本の区画線の予測結果及び上記消失点に基づいて、上記道路画像の区画線検出結果を出力する出力モジュール１４０とを含む。
本開示の実施例に係る区画線検出装置は、上記区画線検出方法の実施例の技術的解決手段を実行でき、その実現原理及び技術的効果は同様であるため、ここでは説明を省略する。
図９は本開示の別の実施例に係る区画線検出装置の構造概略図である。図９に示すように、上記予測モジュール１２０は、
上記道路画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記少なくとも２本の区画線の第１区画線確率マップを出力する第１予測ユニット１２１と、
上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第１予測フィッティング曲線を決定する第１フィッティングユニット１２２とを含む。
本実施例の可能な実現方式において、上記第１フィッティングユニット１２２は、上記第１区画線確率マップにおける確率値が所定値より大きい各確率点をサンプリングし、上記少なくとも２本の第１区画線確率マップのサンプリング点を決定し、かつ上記少なくとも２本の第１区画線確率マップのサンプリング点に対応する画素点に対して曲線フィッティングを行い、上記少なくとも２本の区画線の第１予測フィッティング曲線を決定する。
本実施例の可能な実現方式において、上記第１フィッティングユニット１２２は、上記第１区画線確率マップにおける確率値が所定値より大きい各確率点に対してガウスサンプリングを行い、上記少なくとも２本の第１区画線確率マップのサンプリング点を決定する。
本実施例の可能な実現方式において、上記第１フィッティングユニット１２２は、上記少なくとも２本の区画線の第１予測フィッティング曲線の共通交点を上記少なくとも２本の区画線の消失点として決定する。
本実施例の可能な実現方式において、上記第１フィッティングユニット１２２は、上記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び上記消失点に基づいて曲線フィッティングを行い、上記区画線の第１検出フィッティング曲線を決定し出力することができる。
本実施例の可能な実現方式において、上記取得モジュール１１０は、車載カメラにより車両が位置するシーンの道路画像を収集する。
図１０は本開示のまた別の実施例に係る区画線検出装置の構造概略図である。図１０に示すように、上記装置は、
上記道路トレーニング画像及び上記道路トレーニング画像における区画線の消失点に基づいて、上記ニューラルネットワークをトレーニングするトレーニングモジュール１５０をさらに含む。
図１１は本開示のさらに別の実施例に係る区画線検出装置の構造概略図であり、上記実施例を基礎として、上記トレーニングモジュール１５０は、第２予測ユニット１５１と、第２フィッティングユニット１５２と、消失点決定ユニット１５３と、調整ユニット１５４とを含む。
第２予測ユニット１５１は、上記道路トレーニング画像をニューラルネットワークに入力して、上記ニューラルネットワークにより上記少なくとも２本の区画線に基づいて第２区画線確率マップを出力する。
第２フィッティングユニット１５２は、上記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、上記少なくとも２本の区画線の第２予測フィッティング曲線を決定する。
消失点決定ユニット１５３は、上記少なくとも２本の区画線を決定する第２予測フィッティング曲線に基づいて、上記少なくとも２本の区画線の消失点を決定する。
上記第２フィッティングユニット１５２は、さらに、上記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び上記消失点に基づいて曲線フィッティングを行い、上記少なくとも２本の区画線の第２検出フィッティング曲線を決定する。
調整ユニット１５４は、各本の区画線の第２予測フィッティング曲線と各本の区画線の真値との第１差異、及び各本の区画線の第２検出フィッティング曲線と各本の区画線の真値との第２差異に基づいて、上記ニューラルネットワークのネットワークパラメータを調整する。
図１２は本開示のさらにまた別の実施例に係る区画線検出装置の構造概略図であり、上記実施例を基礎として、上記調整ユニット１５４は、差異サブユニット１５４１と、損失決定サブユニット１５４２と、調整サブユニット１５４３とを含む。
上記差異サブユニット１５４１は、上記少なくとも２本の区画線のうちの各本の区画線に対して、該区画線の第２予測フィッティング曲線と該区画線の真値との第１差異、及び該区画線の第２検出フィッティング曲線と該区画線の真値との間の第２差異を決定する。
損失決定サブユニット１５４２は、各本の上記区画線の第１差異及び第２差異に基づいて、上記ニューラルネットワークの検出損失を決定する。
調整サブユニット１５４３は、上記検出損失に基づいて、上記ニューラルネットワークのネットワークパラメータを調整する。
可能な実施形態において、上記差異サブユニット１５４１は、該区画線の第２予測フィッティング曲線と該区画線の真値との間の最小二乗演算結果を該区画線の第１差異とする。
別の可能な実施形態において、上記差異サブユニット１５４１は、該区画線の第２検出フィッティング曲線と該区画線の真値との間の交差エントロピーを該区画線の上記第２差異とする。
別の可能な実施形態において、上記損失決定サブユニット１５４２は、各本の上記区画線の第１差異と第２差異との和を、上記ニューラルネットワークの検出損失とする。
図１３は本開示の一実施例に係る電子機器の構造概略図であり、図１３に示すように、本実施例の電子機器３０は、
コンピュータプログラムを記憶するメモリ３１と、
本開示の上記実施例の区画線検出方法を実現するように、上記コンピュータプログラムを実行するプロセッサ３２とを含み、その実現原理及び技術的効果は同様であるため、ここでは説明を省略する。
図１４は本開示の一実施例に係る電子機器の構造概略図であり、図１４に示すように、本実施例の電子機器４０は、
少なくとも２本の区画線を含む道路画像を取得するカメラ４１と、
コンピュータプログラムを記憶するメモリ４２と、
本開示の上記区画線検出方法の実施例を実現するように、上記コンピュータプログラムを実行するプロセッサ４３とを含み、その実現原理及び技術的効果は同様であるため、ここでは説明を省略する。
図１５は本開示の電子機器の応用実施例の構造概略図である。以下に図１５を参照し、それは本開示の実施例の端末装置又はサーバを実現する電子機器の構造概略図を示す。図１５に示すように、該電子機器は１つ以上のプロセッサ、通信部などを含み、１つ以上のプロセッサは、例えば、１つ以上の中央処理装置（ＣＰＵ）、及び／又は１つ以上の画像処理プロセッサ（ＧＰＵ）などであり、プロセッサは読み出し専用メモリ（ＲＯＭ）に記憶された実行可能な命令又は記憶部分からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能な命令に基づいて様々な適切な動作及び処理を実行することができる。通信部は、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）を含むがこれに限定されていないネットカードを含むが、これに限定されない。プロセッサは実行可能な命令を実行するように、読み出し専用メモリ及び／又はランダムアクセスメモリと通信し、バスにより通信部に接続され、かつ通信部により他の対象装置と通信して、本開示の実施例に係る任意の方法に対応する操作、例えば、道路画像を取得する操作、上記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得る操作、上記少なくとも２本の区画線の予測結果に基づいて、上記少なくとも２本の区画線の消失点を決定する操作、上記少なくとも２本の区画線の予測結果及び上記消失点に基づいて、上記道路画像の区画線検出結果を出力する操作を完了させる。さらに、例えば、運転制御装置は、上記実施例に記載の区画線検出方法により得られた道路画像の区画線検出結果を取得し、上記運転制御装置は上記区画線検出結果に基づいて提示情報を出力し及び／又は車両についてインテリジェント運転制御を行う。
また、ＲＡＭには、さらに装置操作に必要な様々なプログラム及びデータを記憶することができる。ＣＰＵ、ＲＯＭ、及びＲＡＭは、バスにより互に接続される。ＲＡＭがある場合、ＲＯＭは選択的なモジュールである。ＲＡＭは実行可能な命令を記憶するか、又は実行時にＲＯＭに実行可能な命令を書き込み、実行可能な命令によりプロセッサが本開示の上記任意の方法に対応する動作を実行する入出力（Ｉ／Ｏ）インタフェースもバスに接続される。通信部は集積設置してもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。
キーボード、マウスなどを含む入力部分、ブラウン管（ＣＲＴ）、液晶表示装置（ＬＣＤ）など及びスピーカなどを含む出力部分、ハードディクスなどを含む記憶部、及びＬＡＮカード、変調復調器などのネットワークインタフェースカードを含む通信部分は、Ｉ／Ｏインタフェースに接続される。通信部分は、インターネットを含むネットワークによる通信処理を行う。ドライバも必要に応じてＩ／Ｏインタフェースに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライバにインストールされることにより、それから読み出されたコンピュータプログラムが必要に応じて記憶部にインストールされる。
説明すべきものとして、図１５に示すようなアーキテクチャは１つの選択可能な実現方式のみであり、具体的な実施過程において、実際の必要に応じて上記図１５の部品数及びタイプを選択し、削除し、追加するか又は置換することができ、各機能部品の設置において、分離設置又は集積設置などの実現方式を用いてもよく、例えば、ＧＰＵとＣＰＵは分離設置するか又はＧＰＵをＣＰＵに集積してもよく、通信部は分離設置してもよく、ＣＰＵ又はＧＰＵに集積して設置してもよい。これらの代替的な実施形態は、いずれも本開示の技術的範囲に属する。
特に、本開示の実施例によれば、上記フローチャートを参照して説明したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラムの製品を含み、機械可読媒体に一時的に含まれるコンピュータプログラムを含み、コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含み、プログラムコードは本開示いずれか一実施例に係る方法ステップを実行することに対応する命令を含むことができる。このような実施例において、該コンピュータプログラムは通信部分によりネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされる。該コンピュータプログラムがＣＰＵにより実行されると、本開示の実施例の方法に限定された上記機能が実行される。
図１６は本開示の一実施例に係る運転制御方法のフローチャートであり、図１６に示すように、本実施例の駆動制御方法は、Ｓ４０１及びＳ４０２を含む。
Ｓ４０１、運転制御装置が道路画像の区画線検出結果を取得する。
選択的な一例では、該ステップＳ４０１はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される取得モジュールにより実行してもよい。
運転制御装置が上記区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行うＳ４０２。
選択的な一例では、該ステップＳ４０２はプロセッサによりメモリに記憶された対応する命令を呼び出して実行してよく、プロセッサにより実行される運転制御モジュールにより実行してもよい。
本実施例の実行主体は運転制御装置であり、本実施例の運転制御装置は上記実施例に記載の電子機器は同一の設備に位置してよく、単独で異なる設備に位置してもよい。本実施例の運転制御装置は上記電子機器と通信接続される。
道路画像の区画線検出結果は上記実施例の区画線検出方法により得られるものであり、具体的な過程は上記実施例の説明を参照、ここでは説明を省略する。
好ましくは、電子機器は上記区画線検出方法を実行し、道路画像の区画線検出結果を取得し、かつ道路画像の区画線検出結果を出力する。運転制御装置は道路画像の区画線検出結果を取得し、道路画像の区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う。
提示情報は区画線逸脱警報提示、又は区画線保持提示を含んでよい。
本実施例のインテリジェント運転は運転支援及び／又は自動運転を含む。
上記インテリジェント運転制御は、ブレーキ、運転速度の変更、運転方向の変更、区画線の保持、ランプ状態の変更、運転モードの切り替えなどを含んでよく、運転モードの切り替えは運転支援と自動運転との間の切り替えであり、例えば、運転支援を自動運転に切り替える。
本実施例に係る車両運転方法では、運転制御装置は道路画像の区画線検出結果を取得し、道路画像の区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行ってインテリジェント運転の安全性及び信頼性を向上させる。本開示の実施例に係る任意の区画線検出方法又は運転制御方法は、任意の適切なデータ処理能力を有する、端末装置及びサーバなどを含むがこれらに限定されていない装置により実行されてよい。或いは、本開示の実施例に係る任意の区画線検出方法又は運転制御方法はプロセッサにより実行され、例えば、プロセッサはメモリに記憶された対応する命令を呼び出して本開示の実施例に係る任意の区画線検出方法又は運転制御方法を実行する。以下、説明を省略する。
ＲＯＭ、ＲＡＭ、磁性ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含むコンピュータ可読記憶媒体に記憶されて、実行されると、上記方法の実施例を含むステップを実行するプログラムにより、関連するハードウェアを命令することで、上記方法実施例の全部又は一部のステップを実現することができることを、当業者は理解するであろう。
図１７は本開示の一実施例に係る運転制御装置の構造概略図であり、上記実施例を基礎として、本開示の実施例の運転制御装置２００は、
上記区画線検出方法により得られた道路画像の区画線検出結果を取得する取得モジュール２１０と、
上記区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う運転制御モジュール２２０とを含む。
本開示の実施例に係る運転制御装置は、上記運転制御方法の実施例の技術的解決手段を実行でき、その実現原理及び技術的効果は同様であるため、ここでは説明を省略する。
図１８は本開示の一実施例に係るインテリジェント運転システムの概略図であるり、図１８に示すように、本実施例のインテリジェント運転システム５０は、道路画像を撮像する通信接続されたカメラ５１、図１３又は１４に示す電子機器３０と、図１７に示す運転制御装置２００とを含む。
好ましくは、図１８に示すように、実際の使用際に、カメラ５１は道路画像を撮像し、かつ道路画像を電子機器３０に送信し、電子機器３０は道路画像を受信した後、上記区画線検出方法に基づいて道路画像を処理し、道路画像の区画線検出結果を取得する。次に、電子機器３０は取得された道路画像の区画線検出結果を運転制御装置２００に送信し、運転制御装置２００は道路画像の区画線検出結果に基づいて提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う。
さらに、本開示の実施例における区画線検出方法及び／又は運転制御方法の少なくとも一部の機能がソフトウェアにより実現される場合、本開示の実施例はさらにコンピュータ記憶媒体を提供し、コンピュータ記憶媒体は上記区画線検出のコンピュータソフトウェア命令を記憶し、それがコンピュータで実行する時、コンピュータは上記方法実施例における様々な可能な区画線検出方法及び／又は運転制御方法を実行することができる。コンピュータに上記コンピュータ実行命令をロードし実行する場合、本開示の実施例に記載のフロー又は機能を全て又は部分的に生成することができる。上記コンピュータ命令はコンピュータ記憶媒体に記憶されてよく、又は１つのコンピュータ記憶媒体から別のコンピュータ記憶媒体に伝送されてもよく、上記伝送は無線（例えば、セルラー通信、赤外線、短距離無線、マイクロ波など）の方式で他のウェブサイト、コンピュータ、サーバ又はデータセンタに伝送してもよい。上記コンピュータ記憶媒体は、コンピュータがアクセス可能な任意の利用可能媒体又は１つ以上の利用可能媒体集積を含むサーバ、データセンタなどのデータ記憶装置であってもよい。上記利用可能媒体は、磁気媒体（例えば、ソフトディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、ＳＳＤ）などであってもよい。
本明細書の各実施例はいずれも漸進的に説明し、各実施例で重点的に説明するのは他の実施例との相違点であり、各実施例の場合と同じ又は同様の部分は相互に参照すればよい。システムの実施例について、方法の実施例とは基本的に類似するため、簡単に説明したが、関連する部分は、方法の実施例の説明を参照すればよい。
それによって、本開示の方法及び装置が実現される。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合せによって実現することができる。上記方法に用いられるステップの上記順序は説明のためだけであり、本開示の方法のステップは以上の選択可能な順序に限定されず、他の方式で特に説明しない限りである。また、いくつかの実施例において、さらに本開示を記録媒体に記録されたプログラムとして実施することができ、これらのプログラムは本開示の方法を実現する機械可読命令を含む。したがって、本開示はさらに本開示の方法に係るプログラムを実行するための記録媒体をカバー記憶する。本開示の説明は、例示及び説明のために提示され、包括的であること、又は、開示された形態の発明に限定されることを意図していない。多くの修正態様及び変形態様は当業者にとって明らかである。実施例を選択し及び説明することは、本開示の原理、実際の応用をよりよく説明するためであり、また、当業者は本開示を理解して特定用途に適する様々な修正を有する様々な実施例を設計することができる。
なお、上記各実施例は、本開示の技術的解決手段を説明するためのに過ぎず、限定するものではない。前述の各実施例を参照して本開示を詳細に説明したが、当業者が理解すべきこととして、依然として、前述の各実施例において記載される技術的解決手段を修正するか、又はその技術的特徴の全て又は一部に同等置換を行うことができ、これらの修正や置換によって、対応する技術的解決手段の本質が本開示の実施例に係る技術的解決手段の範囲から逸脱することはない。

Claims (32)

  1. 道路画像を取得するステップと、
    前記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得るステップと、
    前記少なくとも２本の区画線の予測結果に基づいて前記少なくとも２本の区画線の消失点を決定するステップと、
    前記少なくとも２本の区画線の予測結果及び前記消失点に基づいて、前記道路画像の区画線検出結果を出力するステップとを含むことを特徴とする、区画線検出方法。
  2. 前記道路画像に対して区画線予測を行い、少なくとも２本の区画線の予測結果を得る前記ステップは、
    前記道路画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記少なくとも２本の区画線の第１区画線確率マップを出力するステップと、
    前記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、前記少なくとも２本の区画線の第１予測フィッティング曲線を決定するステップとを含むことを特徴とする請求項１に記載の方法。
  3. 前記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、前記少なくとも２本の区画線の第１予測フィッティング曲線を決定する前記ステップは、
    前記第１区画線確率マップにおける確率値が所定値より大きい各確率点をサンプリングし、前記少なくとも２本の第１区画線確率マップのサンプリング点を決定するステップと、
    前記少なくとも２本の第１区画線確率マップのサンプリング点に対応する画素点に対して曲線フィッティングを行い、前記少なくとも２本の区画線の第１予測フィッティング曲線を決定するステップとを含むことを特徴とする請求項２に記載の方法。
  4. 前記少なくとも２本の第１区画線確率マップにおける確率値が所定値より大きい各確率点をサンプリングし、前記少なくとも２本の第１区画線確率マップのサンプリング点を決定する前記ステップは、
    前記第１区画線確率マップにおける確率値が所定値より大きい各確率点に対してガウスサンプリングを行い、前記少なくとも２本の第１区画線確率マップのサンプリング点を決定するステップを含むことを特徴とする請求項３に記載の方法。
  5. 前記少なくとも２本の区画線の予測結果に基づいて前記少なくとも２本の区画線の消失点を決定する前記ステップは、
    前記少なくとも２本の区画線の第１予測フィッティング曲線の共通交点を前記少なくとも２本の区画線の消失点として決定するステップを含むことを特徴とする請求項２～４のいずれか一項に記載の方法。
  6. 前記少なくとも２本の区画線の予測結果及び前記消失点に基づいて、前記道路画像の区画線検出結果を出力する前記ステップは、
    前記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び前記消失点に基づいて曲線フィッティングを行い、前記区画線の第１検出フィッティング曲線を決定し出力するステップを含むことを特徴とする請求項２～５のいずれか一項に記載の方法。
  7. 道路画像を取得する前記ステップは、
    車載カメラにより車両が位置するシーンの道路画像を収集するステップを含ことを特徴とする請求項１～６のいずれか一項に記載の方法。
  8. 前記道路画像は車線標示情報を有する道路トレーニング画像であり、前記道路画像をニューラルネットワークに入力する前記ステップの前に、
    前記道路トレーニング画像及び前記道路トレーニング画像における区画線の消失点に基づいて、前記ニューラルネットワークをトレーニングするステップをさらに含むことを特徴とする請求項２～４のいずれか一項に記載の方法。
  9. 前記道路トレーニング画像及び前記道路トレーニング画像における区画線の消失点に基づいて、前記ニューラルネットワークをトレーニングする前記ステップは、
    前記道路トレーニング画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記少なくとも２本の区画線に基づいて第２区画線確率マップを出力するステップと、
    前記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、前記少なくとも２本の区画線の第２予測フィッティング曲線を決定するステップと、
    前記少なくとも２本の区画線を決定する第２予測フィッティング曲線に基づいて、前記少なくとも２本の区画線の消失点を決定するステップと、
    前記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び前記消失点に基づいて曲線フィッティングを行い、前記少なくとも２本の区画線の第２予測フィッティング曲線を決定するステップと、
    各本の区画線の第２予測フィッティング曲線と各本の区画線の真値との第１差異、及び各本の区画線の第２検出フィッティング曲線と各本の区画線の真値との第２差異に基づいて、前記ニューラルネットワークのネットワークパラメータを調整するステップとを含むことを特徴とする請求項８に記載の方法。
  10. 各本の区画線の第２予測フィッティング曲線と各本の区画線の真値との第１差異、及び各本の区画線の第２検出フィッティング曲線と各本の区画線の真値との第２差異に基づいて、前記ニューラルネットワークのネットワークパラメータを調整する前記ステップは、
    前記少なくとも２本の区画線のうちの各本の区画線に対して、該区画線の第２予測フィッティング曲線と該区画線の真値との第１差異、及び該区画線の第２検出フィッティング曲線と該区画線の真値との間の第２差異を決定するステップと、
    各本の前記区画線の第１差異及び第２差異に基づいて、前記ニューラルネットワークの検出損失を決定するステップと、
    前記検出損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整するステップとを含むことを特徴とする請求項９に記載の方法。
  11. 該区画線の第２予測フィッティング曲線と該区画線の真値との第１差異を決定する前記ステップは、
    該区画線の第２予測フィッティング曲線と該区画線の真値との間の最小二乗演算結果を該区画線の第１差異とするステップを含むことを特徴とする前記１０に記載の方法。
  12. 該区画線の第２検出フィッティング曲線と該区画線の真値との第２差異を決定する前記ステップは、
    該区画線の第２検出フィッティング曲線と該区画線の真値の間の交差エントロピーを該区画線の前記第２差異とするステップを含むことを特徴とする請求項１０又は１１に記載の方法。
  13. 各本の前記区画線の第１差異及び第２差異に基づいて、前記ニューラルネットワークの検出損失を決定する前記ステップは、
    各本の前記区画線の第１差異と第２差異との和を、前記ニューラルネットワークの検出損失とするステップを含むことを特徴とする請求項１０～１２のいずれか一項に記載の方法。
  14. 道路画像を取得する取得モジュールと、
    前記道路画像に対して区画線予測を行い、少なくとも二本の区画線の予測結果を得る予測モジュールと、
    前記少なくとも二本の区画線の予測結果に基づいて前記少なくとも二本の区画線の消失点を決定する決定モジュールと、
    前記少なくとも二本の区画線の予測結果及び前記消失点に基づいて、前記道路画像の区画線検出結果を出力する出力モジュールとを含むことを特徴とする、区画線の検出装置。
  15. 前記予測モジュールは、
    前記道路画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記少なくとも２本の区画線の第１区画線確率マップを出力する第１予測ユニットと、
    前記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、前記少なくとも２本の区画線の第１予測フィッティング曲線を決定する第１フィッティングユニットとを含むことを特徴とする請求項１４に記載の装置。
  16. 前記第１フィッティングユニットは、前記第１区画線確率マップにおける確率値が所定値より大きい各確率点をサンプリングし、前記少なくとも２本の第１区画線確率マップのサンプリング点を決定し、かつ前記少なくとも２本の第１区画線確率マップのサンプリング点に対応する画素点に対して曲線フィッティングを行い、前記少なくとも２本の区画線の第１予測フィッティング曲線を決定することを特徴とする請求項１５に記載の装置。
  17. 前記第１フィッティングユニットは、前記第１区画線確率マップにおける確率値が所定値より大きい各確率点に対してガウスサンプリングを行い、前記少なくとも２本の第１区画線確率マップのサンプリング点を決定することを特徴とする請求項１６に記載の装置。
  18. 前記第１フィッティングユニットは、前記少なくとも２本の区画線の第１予測フィッティング曲線の共通交点を前記少なくとも２本の区画線の消失点として決定することを特徴とする請求項１５～１７のいずれか一項に記載の装置。
  19. 前記第１フィッティングユニットは、前記第１区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び前記消失点に基づいて曲線フィッティングを行い、前記区画線の第１検出フィッティング曲線を決定し出力することを特徴とする請求項１５～１８のいずれか一項に記載の装置。
  20. 前記取得モジュールは、車載カメラにより車両が位置するシーンの道路画像を収集することを特徴とする請求項１５～１９のいずれか一項に記載の装置。
  21. 前記道路画像は車線標示情報を有する道路トレーニング画像であり、前記装置は、
    前記道路トレーニング画像及び前記道路トレーニング画像における区画線の消失点に基づいて、前記ニューラルネットワークをトレーニングするトレーニングモジュールをさらに含むことを特徴とする請求項１５～１７のいずれか一項に記載の装置。
  22. 前記トレーニングモジュールは、
    前記道路トレーニング画像をニューラルネットワークに入力して、前記ニューラルネットワークにより前記少なくとも２本の区画線に基づいて第２区画線確率マップを出力する第２予測ユニットと、
    前記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点に基づいて、前記少なくとも２本の区画線の第２予測フィッティング曲線を決定する第２フィッティングユニットと、
    前記少なくとも２本の区画線を決定する第２予測フィッティング曲線に基づいて、前記少なくとも２本の区画線の消失点を決定する消失点決定ユニットと、
    各本の区画線の第２予測フィッティング曲線と各本の区画線の真値との第１差異、及び各本の区画線の第２検出フィッティング曲線と各本の区画線の真値との第２差異に基づいて、前記ニューラルネットワークのネットワークパラメータを調整する調整ユニットとを含み、前記第２フィッティングユニットは、前記第２区画線確率マップにおける確率値が設定閾値より大きい少なくとも一部の画素点及び前記消失点に基づいて曲線フィッティングを行い、前記少なくとも２本の区画線の第２検出フィッティング曲線を決定することを特徴とする請求項２１に記載の装置。
  23. 前記調整ユニットは、
    前記少なくとも２本の区画線のうちの各本の区画線に対して、該区画線の第２予測フィッティング曲線と該区画線の真値との第１差異、及び該区画線の第２検出フィッティング曲線と該区画線の真値との間の第２差異を決定する差異サブユニットと、
    各本の前記区画線の第１差異及び第２差異に基づいて、前記ニューラルネットワークの検出損失を決定する損失決定サブユニットと、
    前記検出損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整する調整サブユニットとを含むことを特徴とする請求項２２に記載の装置。
  24. 前記差異サブユニットは、該区画線の第２予測フィッティング曲線と該区画線の真値との間の最小二乗演算結果を該区画線の第１差異とすることを特徴とする請求項２３に記載の装置。
  25. 前記差異サブユニットは、該区画線の第２検出フィッティング曲線と該区画線の真値の間の交差エントロピーを該区画線の前記第２差異とすることを特徴とする請求項２３又は２４に記載の装置。
  26. 損失決定サブユニットは、各本の前記区画線の第１差異及び第２差異の和を、前記ニューラルネットワークの検出損失とすることを特徴とする請求項２３～２５のいずれか一項に記載の装置。
  27. 運転制御装置が請求項１～１３のいずれか一項に記載の区画線検出方法により得られた道路画像の区画線検出結果を取得するステップと、
    前記運転制御装置が前記区画線検出結果に基づいて、提示情報を出力し及び／又は車両に対してインテリジェント運転制御を行うステップとを含むことを特徴とする運転制御方法。
  28. 請求項１～１３のいずれか一項に記載の区画線検出方法により得られた道路画像の区画線検出結果を取得する取得モジュールと、
    前記区画線検出結果に基づいて、表示情報を出力し及び／又は車両に対してインテリジェント運転制御を行う運転制御モジュールとを含むことを特徴とする運転制御装置。
  29. コンピュータプログラムを記憶するメモリと、
    請求項１～１３のいずれか一項に記載の区画線検出方法を実現するように前記コンピュータプログラムを実行するプロセッサとを含むことを特徴とする電子機器。
  30. 少なくとも二本の区画線の道路画像を取得するカメラヘッドと、
    コンピュータプログラムを記憶するメモリと、
    請求項１～１３のいずれか一項に記載の区画線検出方法を実現するように前記コンピュータプログラムを実行するプロセッサとを含むことを特徴とする電子機器。
  31. 通信接続されるカメラ、請求項２９又は３０に記載の電子機器及び請求項２８に記載の運転制御装置を含み、前記カメラは道路画像を取得することを特徴とするインテリジェント運転システム。
  32. 実行されると、請求項１～１３のいずれか一項に記載の区画線検出方法及び請求項２７に記載の運転制御方法を実現するコンピュータプログラムが記憶されるコンピュータ記憶媒体。
JP2021525695A 2018-11-14 2019-11-13 区画線検出方法、装置、及び運転制御方法、装置並びに電子機器 Pending JP2022507226A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811355223.4A CN111191487A (zh) 2018-11-14 2018-11-14 车道线的检测及驾驶控制方法、装置和电子设备
CN201811355223.4 2018-11-14
PCT/CN2019/118097 WO2020098708A1 (zh) 2018-11-14 2019-11-13 车道线的检测及驾驶控制方法、装置和电子设备

Publications (1)

Publication Number Publication Date
JP2022507226A true JP2022507226A (ja) 2022-01-18

Family

ID=70709100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525695A Pending JP2022507226A (ja) 2018-11-14 2019-11-13 区画線検出方法、装置、及び運転制御方法、装置並びに電子機器

Country Status (4)

Country Link
JP (1) JP2022507226A (ja)
KR (1) KR20210079339A (ja)
CN (1) CN111191487A (ja)
WO (1) WO2020098708A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652952B (zh) * 2020-06-05 2022-03-18 腾讯科技（深圳）有限公司 车道线生成方法、装置、计算机设备和存储介质
CN111814651B (zh) * 2020-07-02 2024-01-12 阿波罗智能技术(北京)有限公司 车道线的生成方法、装置和设备
CN111539401B (zh) * 2020-07-13 2020-10-23 平安国际智慧城市科技股份有限公司 基于人工智能的车道线检测方法、装置、终端及存储介质
CN112199999B (zh) * 2020-09-09 2024-08-20 浙江大华技术股份有限公司 道路检测方法、装置、存储介质和电子设备
CN112132109B (zh) * 2020-10-10 2024-09-06 阿波罗智联(北京)科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质
CN112101321B (zh) * 2020-11-18 2021-02-02 蘑菇车联信息科技有限公司 灭点提取方法、装置、电子设备及存储介质
CN112465925A (zh) * 2020-11-20 2021-03-09 北京赛目科技有限公司 一种用于仿真测试的车道线的处理方法及装置
CN112146620B (zh) * 2020-11-25 2021-03-16 腾讯科技（深圳）有限公司 目标物体的测距方法及装置
CN112215214A (zh) * 2020-12-11 2021-01-12 智道网联科技(北京)有限公司 调整智能车载终端的摄像头偏移的方法及系统
CN112560680B (zh) * 2020-12-16 2024-09-03 阿波罗智联(北京)科技有限公司 车道线处理方法、装置、电子设备及存储介质
CN112734139B (zh) * 2021-01-28 2023-09-29 腾讯科技（深圳）有限公司 通行时长预测方法和装置、存储介质及电子设备
CN113011285B (zh) * 2021-03-02 2023-04-07 北京三快在线科技有限公司 车道线检测方法、装置、自动驾驶车辆及可读存储介质
CN113869293B (zh) * 2021-12-03 2022-03-11 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN114743178B (zh) * 2021-12-29 2024-03-08 北京百度网讯科技有限公司 道路边缘线生成方法、装置、设备及存储介质
CN114494158A (zh) * 2022-01-07 2022-05-13 华为技术有限公司 一种图像处理方法、一种车道线检测方法及相关设备
CN115063762B (zh) * 2022-05-20 2024-08-20 广州文远知行科技有限公司 车道线的检测方法、装置、设备及存储介质
CN115082884A (zh) * 2022-06-15 2022-09-20 广州文远知行科技有限公司 一种车道线检测方法、装置、无人设备及存储介质
CN115440048A (zh) * 2022-09-20 2022-12-06 澳克诺(上海)汽车科技有限公司 预测车辆行驶轨迹的方法、装置及介质
CN115470830B (zh) * 2022-10-28 2023-04-07 电子科技大学 一种基于多源域适应的脑电信号跨用户警觉性监测方法
CN116091648B (zh) * 2023-02-09 2023-12-01 禾多科技（北京）有限公司 车道线的生成方法及装置、存储介质及电子装置
CN117351109B (zh) * 2023-09-05 2024-06-07 中交第二公路勘察设计研究院有限公司 一种盾构隧道的截面曲线重构方法
CN117649635B (zh) * 2024-01-30 2024-06-11 湖北经济学院 狭窄水道场景影消点检测方法、系统及存储介质
CN118012630B (zh) * 2024-04-08 2024-07-05 腾讯科技（深圳）有限公司 车道线数据处理方法以及相关设备
CN118097642B (zh) * 2024-04-19 2024-07-23 山东冠通交通设施有限公司 一种交通工程标线清除质量评估方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256854A (ja) * 2002-02-27 2003-09-12 Nissan Motor Co Ltd 道路白線認識装置
JP2012048289A (ja) * 2010-08-24 2012-03-08 Isuzu Motors Ltd 直線検知装置
JP2014232439A (ja) * 2013-05-29 2014-12-11 日産自動車株式会社 画像処理装置および画像処理方法
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
CN105138955A (zh) * 2015-07-10 2015-12-09 深圳市中天安驰有限责任公司 一种道路消失点的检测方法
CN105893949B (zh) * 2016-03-29 2019-07-12 西南交通大学 一种复杂路况场景下的车道线检测方法
CN108216229B (zh) * 2017-09-08 2020-01-10 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN108229354A (zh) * 2017-12-22 2018-06-29 温州大学激光与光电智能制造研究院 车道线检测的方法
CN108629292B (zh) * 2018-04-16 2022-02-18 海信集团有限公司 弯曲车道线检测方法、装置及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256854A (ja) * 2002-02-27 2003-09-12 Nissan Motor Co Ltd 道路白線認識装置
JP2012048289A (ja) * 2010-08-24 2012-03-08 Isuzu Motors Ltd 直線検知装置
JP2014232439A (ja) * 2013-05-29 2014-12-11 日産自動車株式会社 画像処理装置および画像処理方法
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法

Also Published As

Publication number Publication date
CN111191487A (zh) 2020-05-22
KR20210079339A (ko) 2021-06-29
WO2020098708A1 (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
JP2022507226A (ja) 区画線検出方法、装置、及び運転制御方法、装置並びに電子機器
KR102523886B1 (ko) 스몰 타깃 검출 방법 및 장치
JP7567049B2 (ja) 点群分割方法、装置、機器および記憶媒体
CN110276345B (zh) 卷积神经网络模型训练方法、装置和计算机可读存储介质
US20180197302A1 (en) Method and apparatus for determining to-be-superimposed area of image, superimposing image and presenting picture
US20170124115A1 (en) High performance and efficient multi-scale trajectory retrieval
CN109003297A (zh) 一种单目深度估计方法、装置、终端和存储介质
CN112348828A (zh) 基于神经网络的实例分割方法和装置以及存储介质
CN115616937B (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
JP2022028870A (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
EP3993428A1 (en) Time delay error correction method, terminal device, server, and storage medium
CN111222509A (zh) 目标检测方法、装置及电子设备
EP4117284A1 (en) Heterogeneous vehicle camera stereo pair system and method for depth estimation
CN110956128A (zh) 生成车道线图像的方法、装置、电子设备和介质
CN112036517B (zh) 图像缺陷分类方法、装置及电子设备
WO2024056030A1 (zh) 一种图像深度估计方法、装置、电子设备及存储介质
CN111340880B (zh) 用于生成预测模型的方法和装置
CN112558036B (zh) 用于输出信息的方法和装置
CN112489450A (zh) 交通路口处的车辆流量控制方法、路侧设备及云控平台
CN111611835A (zh) 一种船只检测方法及装置
CN108595095B (zh) 基于手势控制模拟目标体运动轨迹的方法和装置
CN110223338A (zh) 基于图像提取的深度信息计算方法、装置及电子设备
CN115511870A (zh) 对象检测方法、装置、电子设备和存储介质
CN111832354A (zh) 目标对象年龄识别方法、装置及电子设备
CN113705432B (zh) 一种模型训练、三维目标检测方法、装置、设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220714

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230217