JP2022513781A - ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置 - Google Patents

ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置 Download PDF

Info

Publication number
JP2022513781A
JP2022513781A JP2021533200A JP2021533200A JP2022513781A JP 2022513781 A JP2022513781 A JP 2022513781A JP 2021533200 A JP2021533200 A JP 2021533200A JP 2021533200 A JP2021533200 A JP 2021533200A JP 2022513781 A JP2022513781 A JP 2022513781A
Authority
JP
Japan
Prior art keywords
target
image
attribute
lane
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021533200A
Other languages
English (en)
Inventor
ペイウェン リン
グアンリアン チョン
ジェンピン シー
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2022513781A publication Critical patent/JP2022513781A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本実施例は、ターゲット属性検出方法、ニューラルネットワークトレーニング方法及びインテリジェント走行方法、装置、電子デバイス、コンピュータ記憶媒体及びコンピュータプログラムを開示する。当該ターゲット属性検出方法は、処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するステップであって、前記マスク画像が前記処理対象画像内のターゲットの位置を表すステップと、前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するステップであって、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表すステップと、前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップとを含む。

Description

（関連出願への相互参照）
本出願は、出願番号が２０１９１１０８１２１６．４であり、出願日が２０１９年１１月７日である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全内容は、参照により本出願に組み込まれる。
本出願は、コンピュータビジョン処理技術に関し、ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置、電子デバイス、コンピュータ記憶媒体及びコンピュータプログラムに関するが、これらに限定されない。
コンピュータビジョン技術の発展に伴い、画像内のターゲット属性の識別は、徐々に人気のある研究方向になり、例えば、車線属性の識別は、車線区分、経路計画及び衝突予知警告などに有利であり、関連技術では、どのように画像内でターゲット属性を正確に識別するかは、緊急に解決すべき技術的な問題である。
本出願の実施例は、ターゲット属性検出のための技術的解決策を提供することが期待される。
本出願の実施例におけるターゲット属性検出方法は、
処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するステップであって、前記マスク画像が前記処理対象画像内のターゲットの位置を表すステップと、
前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するステップであって、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表すステップと、
前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップとを含む。
本出願の実施例によるニューラルネットワークトレーニング方法は、
サンプル画像のラベリングされたマスク画像に基づき、前記サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定するステップであって、前記ラベリングされたマスク画像が前記サンプル画像における前記ターゲットの位置を表し、前記サンプル画像の属性特徴マップが前記サンプル画像の属性を表すステップと、
前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップと、
確定された前記ターゲットの属性と前記ターゲットのラベリングされた属性の間の差異、及び前記ラベリングされたマスク画像と前記サンプル画像に対してセマンティックセグメンテーションを行った後に確定された前記サンプル画像のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップとを含む。
本出願の実施例によるインテリジェント走行方法は、
上記の任意のターゲット属性検出方法により、インテリジェント走行デバイスで取得された道路画像内の車線属性を検出するステップと、
検出された車線属性に基づいて、前記道路画像に対応する道路において走行するようにインテリジェント走行デバイスに指示するステップとを含む。
本出願の実施例によるターゲット属性検出装置は、
処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するように構成され、前記マスク画像が前記処理対象画像内のターゲットの位置を表す第１の処理モジュールと、
前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するように構成され、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表す第２の処理モジュールと、
前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される第３の処理モジュールとを備える。
本出願の実施例によるニューラルネットワークトレーニング装置は、
サンプル画像のラベリングされたマスク画像に基づき、前記サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定するように構成され、前記ラベリングされたマスク画像が前記サンプル画像における前記ターゲットの位置を表し、前記サンプル画像の属性特徴マップが前記サンプル画像の属性を表す第四の処理モジュールと、
前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される第５の処理モジュールと、
確定された前記ターゲットの属性と前記ターゲットのラベリングされた属性の間の差異、及び前記ラベリングされたマスク画像と前記サンプル画像に対してセマンティックセグメンテーションを行った後に確定された前記サンプル画像のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成される調整モジュールとを備える。
本出願の実施例によるインテリジェント走行装置は、
上記の任意のターゲット属性検出方法により、インテリジェント走行デバイスで取得された道路画像内の車線属性を検出するように構成される検出モジュールと、
検出された車線属性に基づいて、前記道路画像に対応する道路において走行するようにインテリジェント走行デバイスに指示するように構成される指示モジュールとを備える。
本出願の実施例による電子デバイスは、
前記コンピュータプログラムを動作させるとき、上記の任意のターゲット属性検出方法又は上記の任意のニューラルネットワークトレーニング方法又は上記の任意のインテリジェント走行方法を実行するように構成されるプロセッサと、
プロセッサで動作できるコンピュータプログラムを記憶するように構成されるメモリとを備える。
本出願の実施例によるコンピュータプログラムを記憶しているコンピュータ記憶媒体は、当該コンピュータプログラムがプロセッサによって実行されるとき、上記の任意のターゲット属性検出方法又は上記の任意のニューラルネットワークトレーニング方法又は上記の任意のインテリジェント走行方法が実現される。
本出願の実施例によるコンピュータで読み取り可能なコードを含むコンピュータプログラムは、前記コンピュータで読み取り可能なコードが電子デバイスで実行される場合、前記電子デバイスでのプロセッサが上記の任意のターゲット属性検出方法又は上記の任意のニューラルネットワークトレーニング方法又は上記の任意のインテリジェント走行方法を実現するために実行される。
本出願の実施例によって提供されるターゲット属性検出方法、ニューラルネットワークトレーニング方法及びインテリジェント走行方法、装置、電子デバイス、コンピュータ記憶媒体及びコンピュータプログラムでは、処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定し、前記マスク画像が前記処理対象画像内のターゲットの位置を表し、前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定し、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表し、前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定する。これにより、本出願の実施例におけるターゲット属性検出方法では、ターゲット属性検出が２つのステップに分けられ、まず、処理対象画像からターゲットの位置を確定し、次に処理対象画像におけるターゲットの位置に基づいて処理対象画像の属性特徴マップと組み合わせ、ターゲットの属性特徴を確定し、次にターゲットの属性特徴に基づいてターゲットの属性を確定し、これは、処理対象画像におけるターゲットの位置の画素に基づいてターゲットの所在する領域の特徴を確定し、確定された特徴に基づいてターゲットに対してターゲット分類を行う場合と比較して、まず分類に必要な特徴抽出を避け、かつ、本出願の実施例によって提供されるターゲット属性検出方法で抽出されたターゲットの属性特徴がより判別性を有し、それによってターゲットの品種分類をより正確に判別する。
上記の一般的な説明及び以下の詳細な説明は、本出願を制限するものではなく、例示的かつ説明的なものに過ぎないことを理解すべきである。
本出願の実施例におけるターゲット属性検出方法のフローチャートである。 本出願の実施例による車線属性検出のフローチャートである。 本出願の実施例によるニューラルネットワークトレーニング方法のフローチャートである。 本出願の実施例によるインテリジェント走行方法のフローチャートである。 本出願の実施例によるターゲット属性検出装置の構成構造図である。 本出願の実施例によるニューラルネットワークトレーニング装置の構成構造図である。 本出願の実施例によるインテリジェント走行装置の構成構造図である。 本出願の実施例による電子デバイスの構造図である。
ここでの図面は、明細書に組み込まれて明細書の一部を構成し、これらの図面は、本出願に合致する実施例を示し、本明細書とともに本出願の技術的解決策を説明するために使用される。
以下に図面及び実施例を組み合わせて本出願をさらに詳しく説明する。ここで提供される実施例が本出願を解釈するためのものだけであるが、本出願を限定するために使用されないことを理解すべきである。また、以下に提供される実施例は、本出願を実施するためのすべての実施例ではなく、本出願を実施するための一部の実施であり、矛盾がない場合、本出願の実施例に記載の技術的解決策は、任意に組み合わせて実現されてもよい。
なお、本出願の実施例では、「含む」、「包含」又は他の任意の変形という用語は、非排他的包含をカバーすることを意図しているので、一連の要素を含む方法又は装置は、明確に記載される要素だけでなく、明確に記載されていない他の要素、又は方法を実施するための要素又は装置に固有の要素を含む。さらなる制限がない場合、「１つの．．を含む」という文で定義された要素は、当該要素を含む方法又は装置に他の関連要素（例えば方法におけるステップ又は装置におけるユニット、例えばユニットが回路の一部、プロセッサの一部、プログラム又Ｈソフトウェアの一部などであってもよい）も存在することを排除しない。
例えば、本出願の実施例におけるターゲット属性検出方法、ニューラルネットワークトレーニング方法及びインテリジェント走行方法には一連のステップが含まれるが、本出願の実施例におけるターゲット属性検出方法、ニューラルネットワークトレーニング方法及びインテリジェント走行方法は、記載されるステップに限られなく、同様に、本出願によるターゲット属性検出装置、ニューラルネットワークトレーニング装置及びインテリジェント走行装置は、一連のモジュールを備えるが、本出願の実施例による装置は、明確に記載されるモジュールだけでなく、関連情報を取得し、又は情報に基づいて処理するために設けられる必要があるモジュールを備えることができる。
本明細書では「及び／又は」という用語は、関連付けられたオブジェクトの関連関係を説明するためのものだけであり、３種類の関係が存在できることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書では「少なくとも１つ」用語は、複数のもののうちのいずれか１つ又は複数のものの少なくとも２つのものの任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択される任意の１つ又は複数の要素を含むことを示すことができる。
本出願の実施例は、端末及びサーバーで構成されたコンピュータシステムに応用されてもよく、多くの他の汎用又は専用コンピューティングシステム環境又は構成と共に動作することができる。ここで、端末は、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルコンシューマーエレクトロニクス、ネットワークパーソナルコンピュータ、小型コンピュータシステムなどであってもよく、サーバーは、サーバーコンピューターシステムの小型コンピュータシステム、大型コンピュータシステム、及び上記のいずれかのシステムを含む分散型クラウドコンピューティング技術環境などであってもよい。
端末、サーバーなどの電子デバイスは、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（プログラムモジュールなど）の一般的なコンテキストで説明されてもよい。通常、プログラムモジュールは、特定のタスクを実行したり、特定の抽象データタイプを実現したりするためのルーチン、プログラム、ターゲットプログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバーは、分散型クラウドコンピューティング環境で実施でき、分散型クラウドコンピューティング環境では、タスクは、通信ネットワークを介してリンクされたリモート処理デバイスによって実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、記憶デバイスを含むローカル又はリモートコンピューティングシステムの記憶媒体に配置されてもよい。
関連技術において、ターゲット、例えば車線の属性検出に対して、一般的に、ターゲット分類方法とセマンティックセグメンテーション方法を使用することができる。ターゲット分類方法のプロセスは、画像からターゲットの所在する領域を抽出し、ターゲットの所在する領域画像からターゲット分類ネットワークに入力し、ターゲット分類によってターゲットの属性を取得することを含み、ターゲット分類方法の主な問題は、ターゲットに占有されるピクチャーの領域が小さく、識別度が低く、ターゲット分類ネットワークが有用な判別性特徴を学習することが困難であるため、識別されたターゲットの属性の精度が低くなることであり、セマンティックセグメンテーション方法のプロセスは、ターゲットの画像内の各々の画素に関する属性を予測してから、モードを求める方式でターゲット全体の属性を確定し、即ち、ターゲットの各画素の属性の中で、出現回数の最も多い属性をターゲット全体の属性として取ることを含み、セマンティックセグメンテーション方法の主な問題は、ターゲット属性がターゲット全体に対して１つの全体であり、セマンティックセグメンテーション方法がこの全体的な関係を無視し、それによって、識別されるターゲット属性の精度を低下させることである。
上記の技術的課題に対して、本出願のいくつかの実施例では、ターゲット属性検出方法を提案し、本出願の実施例は、画像分類、車線属性識別、自動運転などのシーンに応用されてもよい。
図１は本出願の実施例におけるターゲット属性検出方法のフローチャートである。図１に示すように、当該プロセスは、以下のステップを含むことができる。
ステップ１０１において、処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定し、マスク画像が前記処理対象画像内のターゲットの位置を表す。
ここで、処理対象画像は、ターゲット属性識別を行おうとする画像であり、例えば、処理対象画像内のターゲットは、車線又は他のターゲットであってもよい。
例示的には、ローカル記憶領域又はネットワークから処理対象画像を取得することができ、処理対象画像のフォーマットは、ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ ＧＲＯＵＰ）、ビットマップ（ＢＭＰ：Ｂｉｔｍａｐ）、ポータブルネットワークグラフィックス（ＰＮＧ：Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）又は他のフォーマットであってもよく、ここでは、処理対象画像のフォーマット及びソースのみを例を挙げて説明するが、本発明の実施例では処理対象画像のフォーマット及び他のルートから入手されるものが限定されない。
本出願の実施例では、処理対象画像内のターゲットの数が制限されず、処理対象画像内のターゲットは、１つであってもよいし、複数であってもよく、例示的には、ターゲットが車線である場合、処理対象画像には複数の車線が存在してもよい。
処理対象画像内に複数のターゲットがある場合、ステップ１０１で得られたマスク画像に基づいて処理対象画像内の各々のターゲットの位置を表すことができることが明らかである。
実際の応用において、処理対象画像をトレーニング済みセマンティックセグメンテーションネットワークに入力し、セマンティックセグメンテーションネットワークにおいて、処理対象画像から処理対象画像のマスク画像を抽出することができる。
ステップ１０２において、マスク画像に基づき、処理対象画像の属性特徴マップ内のターゲットに属する属性特徴を確定し、処理対象画像の属性特徴マップが前記処理対象画像の属性を表す。
本出願の実施例では、処理対象画像の属性は、画像の色、テクスチャ、表面粗さなどの特徴を表すことができ、処理対象画像の属性は、処理対象画像の各画素の属性によって得られてもよく、処理対象画像の画素の属性は、処理対象画像の画素の色などの情報を表すことができる。同様に、ターゲットの属性特徴は、ターゲットの色、テクスチャ、表面粗さなどの特徴を表すことができる。例示的には、ターゲットの属性特徴は、設定されたチャネル数の特徴マップとして表されてもよく、設定されたチャネル数は、ターゲット属性の識別効果に応じて設定されてもよく、例えば、チャネル数は、５、６又は７である。
マスク画像が処理対象画像内のターゲットの位置を表すことができるため、マスク画像に基づき、処理対象画像の属性特徴マップ内のターゲットに属する属性特徴を確定することができることは明らかである。
ステップ１０３において、ターゲットの属性特徴に基づいて、ターゲットの属性を確定する。
ここで、ターゲットの属性は、処理対象画像内のターゲットの色、サイズ、形状などの情報を示すことができ、例えば、ターゲットが車線である場合、車線の属性は、車線の色、線幅、線のタイプなどの情報を示すことができる。
これから分かるように、処理対象画像内に複数のターゲットがある場合、ステップ１０３を実行することで処理対象画像内の各ターゲットの属性を得ることができる。
実際の応用において、ターゲットの属性特徴をトレーニング済みターゲット分類ネットワークに入力し、ターゲット分類ネットワークを使用してターゲットの属性特徴を分類し、処理対象画像内のターゲットの属性を取得することができる。
実際の応用において、ステップ１０１～ステップ１０３は、電子デバイスでのプロセッサで実現されてもよく、上記のプロセッサは、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ、マイクロコントローラ、マイクロプロセッサの少なくとも１つであってもよい。
本出願の実施例では、まず、セマンティックセグメンテーション方法を使用して処理対象画像のマスク画像を取得し、次にマスク画像に基づいてターゲットの属性特徴を確定し、さらにターゲット属性を確定し、これによって、本出願の実施例におけるターゲット属性検出方法では、ターゲット属性検出を２つのステップに分割し、まず、処理対象画像からターゲットの位置を確定し、次に処理対象画像におけるターゲットの位置に基づいて、処理対象画像の属性特徴マップを利用して、ターゲットの属性特徴を確定し、次にターゲットの属性特徴に基づいてターゲットの属性を確定し、これは、処理対象画像におけるターゲットの位置の画素に基づいてターゲットの所在する領域の特徴を確定し、確定された特徴に基づいてターゲットを分類するという方法と比較して、まず分類に必要な特徴抽出を避け、しかも、本出願の実施例によって提供されるターゲット属性検出方法で抽出されたターゲットの属性特徴がより判別性を有し、それによってターゲットの品種分類をより正確に判別する。また、本出願の実施例によって提供されるターゲット属性検出方法は、ターゲット全体を分類することであり、セマンティックセグメンテーションのみによってターゲット属性を検出する方法と比較して、ターゲット全体からターゲット属性の検出を行っているため、ターゲット属性を正確に取得することができる。
ターゲットの属性特徴に基づいてターゲットの属性を確定する実現方式について、例示的には、ターゲットの属性特徴を予め設定された長さの特徴に変換し、変換後の予め設定された長さのターゲットの属性特徴に基づいて、ターゲットの属性を確定することができ、本出願の実施例では、予め設定された長さは、実際の応用シーンに応じて設定されてもよい。
具体的には、処理対象画像内に１つ又は複数のターゲットが存在してもよく、上記の１つ又は複数のターゲットの属性特徴を予め設定された長さの特徴に変換し、上記の１つ又は複数のターゲットの予め設定された長さの特徴に基づいて、上記の１つ又は複数のターゲットに対してターゲットを行い、上記の１つ又は複数のターゲットの属性を取得する。
また、処理対象画像内に複数のターゲットが存在し、かつ複数のターゲットの属性特徴の長さが同じである場合、処理対象画像内の複数のターゲットの属性特徴に基づいて、上記の複数のターゲットに対して直接ターゲット分類を行い、上記の複数のターゲットの属性を取得することができる。
いくつかのターゲット分類方法は、同じ長さの特徴を取得することに基づいて実現する必要があり、したがって、本出願の実施例では、不定長のターゲットの属性特徴を予め設定された長さの特徴に変換することにより、ターゲット分類を実現することに有利であり、さらに、ターゲットの属性を取得することが有利である。
ターゲットの属性特徴を予め設定された長さの特徴に変換する実現方式の場合、例示的には、ターゲットの属性特徴に対応する点をｋ個分に分割し、ｋが１以上の整数であり、ｋ個分のうちの１個分毎における点の対応するターゲットの属性特徴の平均値を計算し、ｋ個の平均値を得、上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であり、取得された平均値を用いて予め設定された長さの特徴を構成する。
具体的には、各ターゲットの属性特徴に対して、それぞれｎ回分割し、ここで、各ターゲットの属性特徴の画素点をｉ回目分割し、、Ｋｉ個の部分を取得することができ、ｉが１～ｎであり、Ｋｉがｉ番目分割するときのｋの値を表す。本出願の実施例では、得られたＫｉ個の部分の長さが等しくてもよいし、等しくなくてもよく、ｉ回目分割して得られたＫｉ個の部分に対してそれぞれ平均プーリングして、各部分の点に対応するターゲットの属性特徴の平均値を取得し、次に、得られた長さがＫ１である特徴から長さがＫｎである特徴を接続し、長さがＰである特徴を取得することができ、
Figure 2022513781000002
Ｐが予め設定された長さを表す。
本出願の実施例では、ｋは実際の状況に応じて設定されてもよく、例示的には、ターゲットの属性特徴の画素点の可能な最大数が３０である場合、ｋの値は３０以下である。
１つの具体的な例では、ターゲット属性検出方法は車線属性検出方法であり、処理対象画像は道路画像であり、ターゲットは車線である。これにより、道路画像に対して特徴抽出を行い、道路画像の領域特徴マップ及び道路画像の属性特徴マップを確定し、道路画像の領域特徴マップに基づき、道路画像内の車線のマスク画像を確定し、道路画像内の車線のマスク画像に基づき、道路画像の属性特徴マップ内の車線に属する属性特徴を確定し、車線の属性特徴に基づいて、車線の属性を確定することができる。
本出願の実施例では、道路画像の領域特徴マップが道路画像における車線の位置を表すため、道路画像の領域特徴マップに基づいて、道路画像における車線のマスク画像を取得することができる。
図２は出願の実施例による車線属性検出のフローチャートである。図２を参照すると、本出願の実施例では、道路画像をトレーニング済みセマンティックセグメンテーションネットワークに入力することができ、セマンティックセグメンテーションネットワークでは、セマンティックセグメンテーションネットワークによって車線セグメンテーション結果を取得することができ、図２では、車線セグメンテーション結果は、道路画像の領域特徴マップとして表されてもよく、かつ、セマンティックセグメンテーションネットワークによって道路画像の属性特徴マップを取得することができ、これにより、道路画像の領域特徴マップに基づき、車線のマスク画像を取得することができ、車線のマスク画像及び道路画像の属性特徴マップに基づき、道路画像の属性特徴マップのうち、車線に属する属性特徴を取得することができる。
実際の応用において、車線の長さ及び角度が一般的に異なるため、本出願の実施例で得られた各車線の属性特徴の長さは、一般的に異なり、ターゲット分類プロセスが同じ長さの特徴を取得することに基づいて実現する必要がある場合、異なる長さの車線の属性特徴を同じ長さの特徴に予め変換することができる。
具体的に実現する時に、図２を参照すると、各車線の属性特徴を固定長特徴抽出モジュールに入力することができ、固定長特徴抽出モジュールは、以下のステップを実行するように構成されることが可能であり、即ち、各車線の属性特徴に対応する点をｋ個分に分割し、ｋが１以上の整数であり、１個分毎における点に対応する車線の属性特徴の平均値を計算し、ｋ個の平均値を得、上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であり、取得された平均値を用いて予め設定された長さの特徴を構成する。
１つの具体的な例において、１回目で、１本の車線の属性特徴を直接プーリングし、１つの特徴値を得ることができ、次に当該車線の属性特徴の画素をそれぞれ６回分割し、ここで、当該車線の属性特徴の画素を２個分に分割し、１個分毎における画素値を平均化し、２つの特徴値を得、当該車線の属性特徴の画素を３個分に分割し、１個分毎における画素値を平均化し、３つの特徴値を得、当該車線の属性特徴の画素を６個分に分割し、１個分毎における画素値を平均化し、６つの特徴値を得、当該車線の属性特徴の画素を８個分に分割し、１個分毎における画素値を平均化し、８つの特徴値を得、当該車線の属性特徴の画素を１０個分に分割し、１個分毎における画素値を平均化し、１０つの特徴値を得、当該車線の属性特徴の画素を１２個分に分割し、１個分毎における画素値を平均化し、１２つの特徴値を得、取得された１つ、２つ、３つ、６つ、８つ、１０つ、１２つの特徴値を組み合わせ、長さが４２である特徴を取得し、即ち、当該車線の予め設定された長さの特徴を取得する。
つまり、各車線の属性特徴に対して、固定長特徴抽出モジュールにより、同じ長さ（長さがいずれも４２である）の画素属性特徴を取得することができる。
図２を参照すると、固定長特徴抽出モジュールを使用して各車線の属性特徴を同じ長さの特徴に変換した後、同じ長さの特徴をトレーニング済みのターゲット分類ネットワークに入力し、ターゲット分類ネットワークを使用し、入力された特徴に対してターゲット分類を行い、それによって各車線の属性を取得することができる。
１つの具体的な例では、ターゲット分類ネットワークは、２つの完全接続層を含むことができ、第１の完全接続層の入力は、各ターゲットに対応する同じ長さ（例えば長さが４２である）の画素属性特徴であり、第１の完全接続層のノードの数が２５６であり、第２の完全接続層のノードの数が１２８であり、第２の完全接続層は、各ターゲットの属性を出力することができる。
なお、図２はターゲット属性検出の１つの具体的な応用シーン、即ち車線属性識別のみを例示的に説明している。本出願の実施例は、車線の属性検出に限られず、例えば、他の種類のターゲットに対して属性検出を行うことができる。
さらに、車線の属性が確定された後、道路画像、確定された道路画像内の車線のマスク画像及び確定された車線の属性特徴に基づいて、前記道路画像内の車線を確定することができる。
道路画像の車線を確定することにより、車両の運転を支援し、車両の運転の安全性を向上させることに役立つことが理解できる。
本出願のいくつかの実施例では、上記ターゲット属性検出方法は、ニューラルネットワークによって実行され、上記ニューラルネットワークは、サンプル画像、サンプル画像のラベリングされたマスク画像及びサンプル画像のターゲットのラベリングされた属性によってトレーニングして得られたものである。
ここで、サンプル画像は、予め確定された、ターゲットを含む画像であり、例えば、ターゲットは、車線又は他のターゲットであってもよい。
例示的には、ローカル記憶領域又はネットワークからサンプル画像を取得することができ、サンプル画像のフォーマットは、ＪＰＥＧ、ＢＭＰ、ＰＮＧ又は他のフォーマットであってもよく、なお、ここでは、サンプル画像のフォーマット及びソースのみを例を挙げて説明するが、本発明の実施例ではサンプル画像のフォーマット及びソースが限定されない。
本出願の実施例では、サンプル画像内のターゲットの数が制限されず、サンプル画像内のターゲットは１つであってもよいし、複数であってもよく、例示的には、ターゲットが車線である場合、サンプル画像には複数の車線が存在してもよい。
実際の応用において、サンプル画像のラベリングされたマスク画像は予め設定されてもよく、サンプル画像のラベリングされたマスク画像がサンプル画像におけるターゲットの位置を表すため、サンプル画像のラベリングされたマスク画像に基づき、サンプル画像の属性特徴マップのうち、ターゲットに属する属性特徴を確定することができることが明らかであり、それによって、トレーニング済みニューラルネットワークがターゲットの属性を確定することを可能にすることに役立ち、さらに、トレーニング済みニューラルネットワークがターゲットの属性特徴に基づいてターゲットの属性を確定することを可能にすることに役立つ。
以下に添付の図面を参照して上記のニューラルネットワークのトレーニングプロセスを例示的に説明する。
図３は本出願の実施例によるニューラルネットワークトレーニング方法のフローチャートである。図３に示すように、当該プロセスは、以下のステップを含むことができる。
ステップ３０１において、サンプル画像のラベリングされたマスク画像に基づき、サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定し、ラベリングされたマスク画像が前記サンプル画像におけるターゲットの位置を表し、サンプル画像の属性特徴マップが前記サンプル画像の属性を表す。
本出願の実施例では、サンプル画像の属性は、画像の色、テクスチャ、表面粗さなどの特徴を表すことができ、サンプル画像の属性は、サンプル画像の各画素の属性によって得られてもよく、サンプル画像の画素の属性は、サンプル画像の画素の色などの情報を表すことができる。同様に、ターゲットの属性特徴は、ターゲットの色、テクスチャ、表面粗さなどの特徴を表すことができる。例示的には、ターゲットの属性特徴は、設定されたチャネル数の特徴マップとして表されてよく、チャネル数は、ターゲット属性の識別効果に応じて設定されてもよく、例えば、設定されたチャネル数は、５、６又は７である。
ステップ３０２において、ターゲットの属性特徴に基づいて、ターゲットの属性を確定する。
このステップの実現方式は、上述したコンテンツで説明されているため、ここでは説明を省略する。
ステップ３０３において、確定されたターゲットの属性とターゲットのラベリングされた属性の間の差異、及びラベリングされたマスク画像とサンプル画像に対してセマンティックセグメンテーションを行った後に確定されたサンプル画像のマスク画像の間の差異に基づいて、ニューラルネットワークのネットワークパラメータ値を調整する。
このステップの実現方式について、例示的には、確定されたターゲットの属性とターゲットのラベリングされた属性の間の差異、及びラベリングされたマスク画像とサンプル画像に対してセマンティックセグメンテーションを行った後に確定されたサンプル画像のマスク画像の間の差異に基づいて、初期のニューラルネットワークの損失を計算し、ニューラルネットワークの損失に基づき、ニューラルネットワークのネットワークパラメータを調整することができる。
ステップ３０４において、ネットワークパラメータが調整されたニューラルネットワークによるサンプル画像の処理が所定要求を満たしているか否かを判断し、満たしていない場合、ステップ３０５を実行する。
本出願のいくつかの実施例では、所定要求は、ネットワークパラメータが調整されたニューラルネットワークの損失が設定された損失値よりも小さいことであってもよく、本出願の実施例では、設定された損失値は、実際のニーズに応じて予め設定されてもよい。
ステップ３０５において、ネットワークパラメータが調整されたニューラルネットワークをトレーニング済みニューラルネットワークとして使用する。
実際の応用において、ステップ３０１からステップ３０５は、電子デバイスでのプロセッサによって実現されてもよく、上記のプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
１つの具体的な実施形態では、上記のニューラルネットワークは車線の属性検出に用いられ、サンプル画像は道路サンプル画像であり、ターゲットは車線であり、このようにして、まず、前記道路サンプル画像のラベリングされたマスク画像に基づき、前記道路サンプル画像の属性特徴マップ内の前記車線に属する属性特徴を確定することができ、前記道路サンプル画像のラベリングされたマスク画像が前記道路サンプル画像における前記車線の位置を表し、次に、前記車線の属性特徴に基づいて、前記車線の属性を確定することができ、最後に、確定された前記車線の属性と前記車線のラベリングされた属性の間の差異、及び前記道路サンプル画像のラベリングされたマスク画像と前記道路サンプル画像の領域特徴マップに基づいて確定された前記車線のマスク画像（セマンティックセグメンテーションネットワークによって車線のマスク画像を検出することができる）の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整することができる。
これからわかるように、上記のニューラルネットワークのトレーニングプロセスでは、まずラベリングされたマスク画像に基づいてターゲットの属性特徴を確定し、さらにターゲットの属性を確定し、トレーニング段階でのニューラルネットワークが十分にトレーニングされていないため、十分にトレーニングされていないネットワークを使用して車線のマスク画像を予測すると、その後のニューラルネットワーク内の分類ネットワークが収束できなくなり、したがって、トレーニング段階で、ラベリングされたマスク画像を使用してターゲットの属性特徴を確定する。
上記のニューラルネットワークのトレーニングプロセスでは、ターゲット属性を確定する時にも２つのステップが分けられ、まず、ラベリングされたマスク画像に基づいてターゲットの属性特徴を確定し、次にターゲットの属性特徴に基づいてターゲットの属性を確定し、これは、処理対象画像におけるターゲットの位置の画素に基づいてターゲットの所在する領域の特徴を確定し、確定された特徴に基づいてターゲットを分類する場合と比較して、判別性を有するより多くの属性特徴を抽出し、それによって分類をより良く学習することができ、これにより、トレーニング済みニューラルネットワークによるターゲットの検出の正確さがより高く、ニューラルネットワークのトレーニングプロセスでは、ターゲットの属性を確定するときに、ターゲット全体が分類され、これは、セマンティックセグメンテーションのみでターゲット属性を検出する解決策と比較して、ターゲット全体からターゲット属性を検出することにより、ターゲット属性をより正確に取得することができ、同様に、トレーニング済みニューラルネットワークによるターゲットの検出の精度をより高めることができる。
上記の実施例によるターゲット属性検出方法に基づき、本出願の実施例は、さらにインテリジェント走行デバイスに適用可能なインテリジェント走行方法を提供する。ここで、インテリジェント走行デバイスは、自動運転車、先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ）を搭載した車両、ＡＤＡＳを搭載したロボットなどを含むが、これらに限定されない。
図４は本出願の実施例によるインテリジェント走行方法のフローチャートである。図４に示すように、当該プロセスは、以下のステップを含むことができる。
ステップ４０１において、ターゲット属性検出方法が車線属性検出方法であり、かつ処理対象画像が道路画像である場合、上記の任意のターゲット属性検出方法により、インテリジェント走行デバイスで取得された道路画像内の車線属性を検出する。
ここで、車線属性は、線のタイプ、線の色、線幅などを含むがこれらに限定されず、線のタイプは、単線、二重線、実線又は破線であってもよく、線の色は、白色、黄色又は青色、又は２つの色の組み合わせなどであってもよい。
ステップ４０２において、検出された車線属性に基づいて、前記道路画像に対応する道路において走行するようにインテリジェント走行デバイスに指示する。
実際の応用において、インテリジェント走行デバイス（自動運転車及びロボット）を直接制御することができ、命令を運転者に送信し、運転者は、車（ＡＤＡＳを搭載した車など）の走行を制御するようにしてもよい。
これから分かるように、車線属性検出方法に基づき、車線属性を取得することができ、これは、車両の運転を支援し、車両の運転の安全性を向上させることに役立つ。
当業者は、具体的な実施形態の上記の方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対する制限を構成せず、各ステップの具体的な実行順序がその機能及び可能な内部論理で確定されるべきである。
上記の実施例で提供されるターゲット属性検出方法に基づき、本出願の実施例は、ターゲット属性検出装置を提供する。
図５は本出願の実施例によるターゲット属性検出装置の構成構造図である。図５に示すように、前記装置は、
処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するように構成され、前記マスク画像が前記処理対象画像内のターゲットの位置を表す第１の処理モジュール５０１と、
前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するように構成され、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表す第２の処理モジュール５０２と、
前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される第３の処理モジュール５０３とを備える。
本出願のいくつかの実施例では、前記第３の処理モジュール５０３は、前記ターゲットの属性特徴を予め設定された長さの特徴に変換し、変換後の予め設定された長さの前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される。
本出願のいくつかの実施例では、前記第３の処理モジュール５０３は、前記ターゲットの属性特徴に対応する点をｋ個分に分割し、１個分毎における点の対応する前記ターゲットの属性特徴の平均値を計算し、ｋ個の平均値を得、上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であり、取得された平均値を用いて予め設定された長さの特徴を構成するように構成される。
本出願のいくつかの実施例では、前記ターゲット属性検出装置は、車線属性検出装置であり、前記処理対象画像は道路画像であり、
前記第１の処理モジュール５０１は、前記道路画像に対して特徴抽出を行い、前記道路画像の領域特徴マップ及び前記道路画像の属性特徴マップを確定し、前記道路画像の領域特徴マップに基づき、前記道路画像内の車線のマスク画像を確定するように構成され、
前記第２の処理モジュール５０２は、前記道路画像内の車線のマスク画像に基づき、前記道路画像の属性特徴マップ内の車線に属する属性特徴を確定するように構成され、
前記第３の処理モジュール５０３は、前記車線の属性特徴に基づいて、前記車線の属性を確定するように構成される。
本出願のいくつかの実施例では、前記第３の処理モジュール５０３は、さらに前記車線の属性が確定された後、前記道路画像、確定された前記道路画像内の車線のマスク画像及び確定された前記車線の属性に基づいて、前記道路画像内の車線を確定するように構成される。
本出願のいくつかの実施例では、前記ターゲット属性検出装置は、ニューラルネットワークに基づいて実現され、前記ニューラルネットワークは、サンプル画像、前記サンプル画像のラベリングされたマスク画像及び前記サンプル画像のターゲットのラベリングされた属性によってトレーニングして得られたものである。
実際の応用において、第１の処理モジュール５０１、第２の処理モジュール５０２と第３の処理モジュール５０３はいずれも電子デバイスでのプロセッサによって実現されてもよく、上記のプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
図６は本出願の実施例によるニューラルネットワークトレーニング装置の構成構造図である。図６に示すように、前記装置は、
サンプル画像のラベリングされたマスク画像に基づき、前記サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定するように構成され、前記ラベリングされたマスク画像が前記サンプル画像における前記ターゲットの位置を表し、前記サンプル画像の属性特徴マップが前記サンプル画像の属性を表す第四の処理モジュール６０１と、
前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される第５の処理モジュール６０２と、
確定された前記ターゲットの属性と前記ターゲットのラベリングされた属性の間の差異、及び前記ラベリングされたマスク画像と前記サンプル画像に対してセマンティックセグメンテーションを行った後に確定された前記サンプル画像のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成される調整モジュール６０３とを備える。
本出願のいくつかの実施例では、前記第５の処理モジュール６０２は、前記ターゲットの属性特徴を予め設定された長さの特徴に変換し、変換後の予め設定された長さの前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される。
本出願のいくつかの実施例では、前記第５の処理モジュール６０２は、前記ターゲットの属性特徴を予め設定された長さの特徴に変換する場合において、前記ターゲットの属性特徴に対応する点をｋ個分に分割し、１個分毎における点の対応する前記ターゲットの属性特徴の平均値を計算し、ｋ個の平均値を得、上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であり、取得された平均値を用いて前記予め設定された長さの特徴を構成するように構成される。
本出願のいくつかの実施例では、前記ニューラルネットワークは車線属性の検出に用いられ、前記サンプル画像は道路サンプル画像であり、前記ターゲットは車線であり、
前記第４の処理モジュール６０１は、前記道路サンプル画像のラベリングされたマスク画像に基づき、前記道路サンプル画像の属性特徴マップ内の前記車線に属する属性特徴を確定するように構成され、前記道路サンプル画像のラベリングされたマスク画像が前記道路サンプル画像における前記車線の位置を表す。
前記第５の処理モジュール６０２は、前記車線の属性特徴に基づいて、前記車線の属性を確定するように構成され、
前記調整モジュール６０３は、確定された前記車線の属性と前記車線のラベリングされた属性の間の差異、及び前記道路サンプル画像のラベリングされたマスク画像と前記道路サンプル画像の領域特徴マップに基づいて確定された前記車線のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成される。
実際の応用において、第４の処理モジュール６０１、第５の処理モジュール６０２と調整モジュール６０３はいずれも電子デバイスでのプロセッサによって実現されてもよく、上記のプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
図７は本出願の実施例によるインテリジェント走行装置の構成構造図である。図７に示すように、前記装置は、
前記ターゲット属性検出方法が車線属性検出方法であり、かつ前記処理対象画像が道路画像であり、ターゲットが車線である場合、上記の任意のターゲット属性検出方法により、インテリジェント走行デバイスで取得された道路画像内の車線属性を検出するように構成される検出モジュール７０１と、
検出された車線属性に基づいて、前記道路画像に対応する道路において走行するようにインテリジェント走行デバイスに指示するように構成される指示モジュール７０２とを備える。
実際の応用において、検出モジュール７０１と指示モジュール７０２はいずれもインテリジェント走行デバイスでのプロセッサによって実現されてもよく、上記のプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
また、この実施例における各機能モジュールは、１つの処理ユニットに統合されてもよいし、各ユニットは、物理的に単独で存在してもよく、２つ以上のユニットは、１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよいし、ソフトウェア機能モジュールの形で実現されてもよい。
前記統合されたユニットは、ソフトウェア機能モジュールの形で実現されて独立した製品として販売又は使用される場合、１つのコンピュータで読み取り可能な記憶媒体に記憶されてもよく、このような理解に基づき、本実施例の技術的解決策は、本質的にソフトウェア製品の形で具体化でき、又は従来技術に貢献する部分又は当該技術的解決策の全部又は一部は、ソフトウェア製品の形で具体化でき、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、又はネットワークデバイスなど）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本実施例に記載の方法のステップの全て又は一部を実行させるためのいくつかの命令を含む。上述した記憶媒体は、Ｕフラッシュディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる様々な媒体を含む。
具体的には、本実施例における任意のターゲット属性検出方法、ニューラルネットワークトレーニング方法又はインテリジェント走行方法に対応するコンピュータプログラム命令は、光ディスク、ハードディスク、Ｕフラッシュディスクなどの記憶媒体に記憶されてもよく、記憶媒体のうち、任意のターゲット属性検出方法、ニューラルネットワークトレーニング方法又はインテリジェント走行方法に対応するコンピュータプログラム命令が電子デバイスによって読み取られ又は実行される場合、上記の実施例の任意のターゲット属性検出方法又は上記の任意のニューラルネットワークトレーニング方法又は上記の任意のインテリジェント走行方法が実現される。
上記の実施例と同じ技術的概念に基づき、図８を参照すると、それは本出願の実施例による電子デバイス８０を示す。前記電子デバイス８０は、
コンピュータプログラム及びデータを記憶するように構成されるメモリ８１と、
前記メモリに記憶されたコンピュータプログラムを実行して、上記の実施例の任意のターゲット属性検出方法又は上記の任意のニューラルネットワークトレーニング方法又は上記の任意のインテリジェント走行方法を実現するように構成されるプロセッサ８２とを備えることができる。
実際の応用において、上記のメモリ８１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）例えばＲＡＭ、又は不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）例えばＲＯＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）、又は上記のタイプのメモリの組み合わせであってもよく、プロセッサ８２に命令及びデータを提供する。
上記プロセッサ８２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。異なるデバイスについて、上記のプロセッサ機能を実装するための電子デバイスは、他のものであってもよいことが理解でき、これは本出願の実施例で具体的に限定されない。
本出願の実施例によるコンピュータで読み取り可能なコードを含むコンピュータプログラムは、前記コンピュータで読み取り可能なコードが電子デバイスで実行される場合、前記電子デバイスでのプロセッサが上記の任意のターゲット属性検出方法又は上記の任意のニューラルネットワークトレーニング方法又は上記の任意のインテリジェント走行方法を実現するために実行される。
いくつかの実施例では、本出願の実施例で提供される装置が有する機能又はそれに含まれるモジュールは、上記の方法の実施例で説明される方法を実行するために使用されてもよく、その具体的な実現については、上記の方法の実施例の説明を参照でき、簡潔にするために、ここでは説明を省略する。
各実施例についての上記の説明は、各実施例の間の異なる差異を強調する傾向があり、同じ又は類似する点について相互に参照でき、簡潔にするために、説明を省略しない。
本出願で提供される方法の実施例で開示される方法は、矛盾がない場合、任意に組み合わせられてもよく、新しい方法の実施例が得られる。
本出願で提供される各製品の実施例で開示される特徴は、矛盾がない場合、任意に組み合わせられてもよく、新しい製品の実施例が得られる。
本出願で提供される各方法又はデバイスの実施例で開示される特徴は、矛盾がない場合、任意に組み合わせられてもよく、新しい方法の実施例又はデバイスの実施例が得られる。
以上の実施形態の説明により、当業者は、上記の実施例の方法がソフトウェアと必要な汎用ハードウェアプラットフォームを組み合わせることで実現されてもよく、当然、ハードウェアで実現されてもよいことを明確に理解できるが、多くの場合で前者の方が優れた実施形態である。このような理解に基づき、本発明の技術的解決策は、本質的にソフトウェア製品の形で具体化でき、又は従来技術に貢献する部分は、ソフトウェア製品の形で具体化でき、当該コンピュータソフトウェア製品は、1つの記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなど）に記憶され、端末（携帯電話、コンピュータ、サーバー、エアコン、又はネットワークデバイス等であってもよい）に本発明の各実施例に記載の方法を実行させるためのいくつかの命令を含む。
以上に本発明の実施例は、添付の図面を参照して説明されたが、本発明は、上記の具体的な実施形態に限定されず、上記の具体的な実施例は、例示的なものに過ぎず、限定的なものではない。当業者は、本発明の啓示の下で、本発明の要旨及び特許請求の範囲の保護範囲から逸脱することなく、多くの形態で実施することが可能であり、これらはいずれも本発明の保護の範囲に属する。
産業上の利用可能性
本出願の実施例は、ターゲット属性検出方法、ニューラルネットワークトレーニング方法及びインテリジェント走行方法、装置、電子デバイス、コンピュータ記憶媒体及びコンピュータプログラムを提供する。当該ターゲット属性検出方法は、処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するステップであって、前記マスク画像が前記処理対象画像内のターゲットの位置を表すステップと、前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するステップであって、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表すステップと、前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップとを含む。このように、本出願の実施例では、画像内のターゲットの所在する領域を抽出する必要がないので、セマンティックセグメンテーションにより得られたより識別性のあるマスク画像でターゲットの属性特徴を確定することができ、したがって、ターゲット属性の検出の精度を向上させることができる。

Claims (21)

  1. ターゲット属性検出方法であって、
    処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するステップであって、前記マスク画像が前記処理対象画像内のターゲットの位置を表すステップと、
    前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するステップであって、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表すステップと、
    前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップと、を含む、ターゲット属性検出方法。
  2. 前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップは、
    前記ターゲットの属性特徴を予め設定された長さの特徴に変換するステップと、
    変換後の予め設定された長さの前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップと、を含むことを特徴とする
    請求項１に記載の方法。
  3. 前記ターゲットの属性特徴を予め設定された長さの特徴に変換するステップは、
    前記ターゲットの属性特徴に対応する点をｋ個分に分割するステップと、
    １個分毎における点の対応する前記ターゲットの属性特徴の平均値を計算し、ｋ個の平均値を得るステップと、
    上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であるステップと、
    取得された平均値を用いて前記予め設定された長さの特徴を構成するステップとを含むことを特徴とする
    請求項２に記載の方法。
  4. 前記ターゲット属性検出方法は車線属性検出方法であり、前記処理対象画像は道路画像であり、
    処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するステップは、
    前記道路画像に対して特徴抽出を行い、前記道路画像の領域特徴マップ及び前記道路画像の属性特徴マップを確定するステップと、
    前記道路画像の領域特徴マップに基づき、前記道路画像内の車線のマスク画像を確定するステップとを含み、
    前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するステップは、
    前記道路画像内の車線のマスク画像に基づき、前記道路画像の属性特徴マップ内の車線に属する属性特徴を確定するステップを含み、
    前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップは、
    前記車線の属性特徴に基づいて、前記車線の属性を確定するステップを含むことを特徴とする
    請求項１－３のいずれか一項に記載の方法。
  5. 前記車線の属性が確定された後、前記方法は、さらに、
    前記道路画像、確定された前記道路画像内の車線のマスク画像及び確定された前記車線の属性に基づいて、前記道路画像内の車線を確定するステップを含むことを特徴とする
    請求項４に記載の方法。
  6. 前記ターゲット属性検出方法は、ニューラルネットワークによって実行され、前記ニューラルネットワークは、サンプル画像、前記サンプル画像のラベリングされたマスク画像及び前記サンプル画像のターゲットのラベリングされた属性によってトレーニングして得られたものであることを特徴とする
    請求項１－５のいずれか一項に記載の方法。
  7. ニューラルネットワークトレーニング方法であって、
    サンプル画像のラベリングされたマスク画像に基づき、前記サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定するステップであって、前記ラベリングされたマスク画像が前記サンプル画像における前記ターゲットの位置を表し、前記サンプル画像の属性特徴マップが前記サンプル画像の属性を表すステップと、
    前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップと、
    確定された前記ターゲットの属性と前記ターゲットのラベリングされた属性の間の差異、及び前記ラベリングされたマスク画像と前記サンプル画像に対してセマンティックセグメンテーションを行った後に確定された前記サンプル画像のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップとを含む、ニューラルネットワークトレーニング方法。
  8. 前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップは、
    前記ターゲットの属性特徴を予め設定された長さの特徴に変換するステップと、
    変換後の予め設定された長さの前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップとを含むことを特徴とする
    請求項７に記載の方法。
  9. 前記ターゲットの属性特徴を予め設定された長さの特徴に変換するステップは、
    前記ターゲットの属性特徴に対応する点をｋ個分に分割するステップと、
    １個分毎における点の対応する前記ターゲットの属性特徴の平均値を計算し、ｋ個の平均値を得るステップと、
    上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であるステップと、
    取得された平均値を用いて前記予め設定された長さの特徴を構成するステップとを含むことを特徴とする
    請求項８に記載の方法。
  10. 前記ニューラルネットワークは車線属性の検出に用いられ、前記サンプル画像は道路サンプル画像であり、前記ターゲットは車線であり、
    サンプル画像のラベリングされたマスク画像に基づき、前記サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定するステップは、
    前記道路サンプル画像のラベリングされたマスク画像に基づき、前記道路サンプル画像の属性特徴マップ内の前記車線に属する属性特徴を確定するステップであって、前記道路サンプル画像のラベリングされたマスク画像が前記道路サンプル画像における前記車線の位置を表すステップを含み、
    前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するステップは、
    前記車線の属性特徴に基づいて、前記車線の属性を確定するステップを含み、
    確定された前記ターゲットの属性と前記ターゲットのラベリングされた属性の間の差異、及び前記ラベリングされたマスク画像と前記サンプル画像に対してセマンティックセグメンテーションを行った後に確定された前記サンプル画像のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップは、
    確定された前記車線の属性と前記車線のラベリングされた属性の間の差異、及び前記道路サンプル画像のラベリングされたマスク画像と前記道路サンプル画像の領域特徴マップに基づいて確定された前記車線のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップとを含むことを特徴とする
    請求項７－９のいずれか一項に記載の方法。
  11. インテリジェント走行方法であって、
    請求項４－６のいずれか一項に記載の方法により、インテリジェント走行デバイスで取得された道路画像内の車線属性を検出するステップと、
    検出された車線属性に基づいて、前記道路画像に対応する道路において走行するようにインテリジェント走行デバイスに指示するステップとを含む、インテリジェント走行方法。
  12. ターゲット属性検出装置であって、
    処理対象画像に対してセマンティックセグメンテーションを行い、前記処理対象画像のマスク画像を確定するように構成され、前記マスク画像が前記処理対象画像内のターゲットの位置を表す第１の処理モジュールと、
    前記マスク画像に基づき、前記処理対象画像の属性特徴マップ内の前記ターゲットに属する属性特徴を確定するように構成され、前記処理対象画像の属性特徴マップが前記処理対象画像の属性を表す第２の処理モジュールと、
    前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される第３の処理モジュールと、を備える、ターゲット属性検出装置。
  13. 前記第３の処理モジュールは、前記ターゲットの属性特徴を予め設定された長さの特徴に変換し、変換後の予め設定された長さの前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成されることを特徴とする
    請求項１２に記載の装置。
  14. 前記第３の処理モジュールは、前記ターゲットの属性特徴を予め設定された長さの特徴に変換する場合において、
    前記ターゲットの属性特徴に対応する点をｋ個分に分割し、１個分毎における点の対応する前記ターゲットの属性特徴の平均値を計算し、ｋ個の平均値を得、上記のステップをｎ回繰り返して実行し、かつ任意の２回の実行プロセスにおけるｋの値が異なり、かつｋがターゲットの属性特徴に対応する点の可能な最大数未満であり、ｎが１よりも大きい整数であり、取得された平均値を用いて前記予め設定された長さの特徴を構成するように構成されることを特徴とする
    請求項１３に記載の装置。
  15. 前記ターゲット属性検出装置は車線属性検出装置であり、前記処理対象画像は道路画像であり、
    前記第１の処理モジュールは、前記道路画像に対して特徴抽出を行い、前記道路画像の領域特徴マップ及び前記道路画像の属性特徴マップを確定し、前記道路画像の領域特徴マップに基づき、前記道路画像内の車線のマスク画像を確定するように構成され、
    前記第２の処理モジュールは、前記道路画像内の車線のマスク画像に基づき、前記道路画像の属性特徴マップ内の車線に属する属性特徴を確定するように構成され、
    前記第３の処理モジュールは、前記車線の属性特徴に基づいて、前記車線の属性を確定するように構成されることを特徴とする
    請求項１２－１４のいずれかの一項に記載の装置。
  16. 前記第３の処理モジュールは、さらに前記車線の属性が確定された後、前記道路画像、確定された前記道路画像内の車線のマスク画像及び確定された前記車線の属性に基づいて、前記道路画像内の車線を確定するように構成されることを特徴とする
    請求項１５に記載の装置。
  17. ニューラルネットワークトレーニング装置であって、
    サンプル画像のラベリングされたマスク画像に基づき、前記サンプル画像の属性特徴マップ内のターゲットに属する属性特徴を確定するように構成され、前記ラベリングされたマスク画像が前記サンプル画像における前記ターゲットの位置を表し、前記サンプル画像の属性特徴マップが前記サンプル画像の属性を表す第４の処理モジュールと、
    前記ターゲットの属性特徴に基づいて、前記ターゲットの属性を確定するように構成される第５の処理モジュールと、
    確定された前記ターゲットの属性と前記ターゲットのラベリングされた属性の間の差異、及び前記ラベリングされたマスク画像と前記サンプル画像に対してセマンティックセグメンテーションを行った後に確定された前記サンプル画像のマスク画像の間の差異に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成される調整モジュールとを備える、ニューラルネットワークトレーニング装置。
  18. インテリジェント走行装置であって、
    請求項４－６のいずれか一項に記載の方法により、インテリジェント走行デバイスで取得された道路画像内の車線属性を検出するように構成される検出モジュールと、
    検出された車線属性に基づいて、前記道路画像に対応する道路において走行するようにインテリジェント走行デバイスに指示するように構成される指示モジュールと、を備える、インテリジェント走行装置。
  19. 電子デバイスであって、
    前記コンピュータプログラムを動作させるとき、請求項１－６のいずれか一項に記載のターゲット属性検出方法又は請求項７－１０のいずれか一項に記載のニューラルネットワークトレーニング方法又は請求項１１に記載のインテリジェント走行方法を実行するように構成されるプロセッサと、
    前記プロセッサで動作できるコンピュータプログラムを記憶するように構成されるメモリと、を備える、電子デバイス。
  20. コンピュータプログラムを記憶しているコンピュータ記憶媒体であって、
    当該コンピュータプログラムがプロセッサによって実行されるとき、請求項１－６のいずれか一項に記載のターゲット属性検出方法又は請求項７－１０のいずれか一項に記載のニューラルネットワークトレーニング方法又は請求項１１に記載のインテリジェント走行方法が実現される、コンピュータ記憶媒体。
  21. コンピュータで読み取り可能なコードを含むコンピュータプログラムであって、
    前記コンピュータで読み取り可能なコードが電子デバイスで実行される場合、前記電子デバイスでのプロセッサは、請求項１－６のいずれか一項に記載のターゲット属性検出方法又は請求項７－１０のいずれか一項に記載のニューラルネットワークトレーニング方法又は請求項１１に記載のインテリジェント走行方法を実行する、コンピュータプログラム。
JP2021533200A 2019-11-07 2020-09-08 ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置 Pending JP2022513781A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911081216.4 2019-11-07
CN201911081216.4A CN112785595B (zh) 2019-11-07 2019-11-07 目标属性检测、神经网络训练及智能行驶方法、装置
PCT/CN2020/114109 WO2021088505A1 (zh) 2019-11-07 2020-09-08 目标属性检测、神经网络训练及智能行驶方法、装置

Publications (1)

Publication Number Publication Date
JP2022513781A true JP2022513781A (ja) 2022-02-09

Family

ID=75747824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533200A Pending JP2022513781A (ja) 2019-11-07 2020-09-08 ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置

Country Status (4)

Country Link
JP (1) JP2022513781A (ja)
KR (1) KR20210087496A (ja)
CN (1) CN112785595B (ja)
WO (1) WO2021088505A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146286A1 (ko) * 2022-01-28 2023-08-03 삼성전자 주식회사 이미지의 화질을 개선하기 위한 전자 장치 및 방법
CN115661556B (zh) * 2022-10-20 2024-04-12 南京领行科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092970A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車線認識装置
JP2006018688A (ja) * 2004-07-02 2006-01-19 Toyota Motor Corp 道路環境認識方法及び道路環境認識装置
JP2011150689A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置
JP2016206721A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
JP2018195097A (ja) * 2017-05-18 2018-12-06 株式会社デンソーアイティーラボラトリ 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
JP2019139762A (ja) * 2018-02-12 2019-08-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 車両走行のための情報を提供する方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718870B (zh) * 2016-01-15 2019-06-14 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
CN105956122A (zh) * 2016-05-03 2016-09-21 无锡雅座在线科技发展有限公司 对象属性的确定方法和装置
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN107729880A (zh) * 2017-11-15 2018-02-23 北京小米移动软件有限公司 人脸检测方法及装置
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN110163069B (zh) * 2019-01-04 2023-09-08 深圳市布谷鸟科技有限公司 用于辅助驾驶的车道线检测方法
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092970A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車線認識装置
JP2006018688A (ja) * 2004-07-02 2006-01-19 Toyota Motor Corp 道路環境認識方法及び道路環境認識装置
JP2011150689A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置
JP2016206721A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
JP2018195097A (ja) * 2017-05-18 2018-12-06 株式会社デンソーアイティーラボラトリ 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
JP2019139762A (ja) * 2018-02-12 2019-08-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 車両走行のための情報を提供する方法

Also Published As

Publication number Publication date
KR20210087496A (ko) 2021-07-12
WO2021088505A1 (zh) 2021-05-14
CN112785595B (zh) 2023-02-28
CN112785595A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN108564874B (zh) 地面标志提取的方法、模型训练的方法、设备及存储介质
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
US10769473B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR102206834B1 (ko) 도로정보 변화 감지 방법 및 시스템
CN111222395A (zh) 目标检测方法、装置与电子设备
US11295144B2 (en) Obstacle classification method and apparatus based on unmanned vehicle, device, and storage medium
US20120294476A1 (en) Salient Object Detection by Composition
CN112541395A (zh) 一种目标检测和跟踪方法、装置、存储介质及电子装置
KR102207408B1 (ko) 이미지 처리를 위한 방법, 장치 및 컴퓨터 판독 가능한 매체
JP2022513781A (ja) ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置
WO2023116113A1 (zh) 交通灯状态检测方法、装置、车辆及存储介质
JP2018180945A (ja) 物体検出装置及びプログラム
JP7119197B2 (ja) 車線属性検出
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
WO2023273467A1 (zh) 真值数据确定、神经网络训练、行驶控制方法及装置
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN114495041A (zh) 车辆与目标物之间距离的测量方法、装置、设备及介质
WO2021095463A1 (ja) 自己位置推定モデル学習方法、自己位置推定モデル学習装置、自己位置推定モデル学習プログラム、自己位置推定方法、自己位置推定装置、自己位置推定プログラム、及びロボット
Acun et al. D3NET (divide and detect drivable area net): deep learning based drivable area detection and its embedded application
JP2017174380A (ja) 認識装置、物体の認識方法、プログラム、及び、記憶媒体
US20220164584A1 (en) Method and system for detecting lane pattern
JP2011043995A (ja) 路面標示認識装置
JP2011081614A (ja) 認識装置、認識方法及びプログラム
US11113549B2 (en) Method and device for analyzing an image and providing the analysis for a driving assistance system of a vehicle
KR102384177B1 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230711