JP2022510329A - 駐車スペース検出方法、装置及び電子機器 - Google Patents

駐車スペース検出方法、装置及び電子機器 Download PDF

Info

Publication number
JP2022510329A
JP2022510329A JP2021531322A JP2021531322A JP2022510329A JP 2022510329 A JP2022510329 A JP 2022510329A JP 2021531322 A JP2021531322 A JP 2021531322A JP 2021531322 A JP2021531322 A JP 2021531322A JP 2022510329 A JP2022510329 A JP 2022510329A
Authority
JP
Japan
Prior art keywords
parking space
image
point information
corner point
vacant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021531322A
Other languages
English (en)
Inventor
ジョー ワン
ミンユー ディン
ジエンピン シー
ユーファン ホー
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Publication of JP2022510329A publication Critical patent/JP2022510329A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

駐車スペース検出方法、装置及び電子機器であって、該方法は、駐車スペース画像を取得すること(S101)と、駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得ること(S102)と、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定すること(S103)と、を含む。【選択図】図1

Description

(関連出願の相互参照)
本願は、2019年5月29日に提出された出願番号が201910458754.4である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、人工知能技術に関し、特に駐車スペース検出方法、装置及び電子機器に関する。
人々の生活水準の向上に伴い、自動車は、生活中の不可欠な交通手段になってきた。コンピュータビジョンの成長に伴い、インテリジェント運転は、注目を集めている。インテリジェント運転における1つの重要なタスクは、駐車スペース検出である。駐車スペース検出の目的は、空き駐車スペースを自動的に探し、車両を空き駐車スペースに駐車することである。
本願の実施例は、駐車スペース検出方法、装置及び電子機器を提供する。
第1態様によれば、本願の実施例は、駐車スペース検出方法を提供する。前記方法は、駐車スペース画像を取得することと、前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得ることと、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することと、を含む。
第2態様によれば、本願の実施例は、駐車スペース検出装置を提供する。前記装置は、
駐車スペース画像を取得するように構成される第1取得モジュールと、
前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得るように構成される処理モジュールと、
前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成される決定モジュールと、を備える。
第3態様によれば、本願の実施例は、電子機器を提供する。前記電子機器は、コンピュータプログラムを記憶するように構成されるメモリと、前記コンピュータプログラムを実行し、第1態様のいずれか一項に記載の駐車スペース検出方法を実現させるように構成されるプロセッサと、を備える。
第4態様によれば、本願の実施例は、コンピュータ記憶媒体を提供する。前記記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムが実行される時、第1態様のいずれか一項に記載の駐車スペース検出方法を実現させる。
本願の実施例が提供する駐車スペース検出方法、装置及び電子機器は、駐車スペース画像を取得し、駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得て、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定する。つまり、本願の実施例の検出方法は、得られた駐車スペース画像をニューラルネットワークに入力さえすれば、正確な空き駐車スペースの領域情報及び/又は角点情報を得ることができる。初期の画像処理を必要とせず、検出プロセス全体は、簡単であり、かかる時間が短い。また、駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、駐車スペースにおける空き駐車スペースの検出結果を決定することで、空き駐車スペースの検出の正確性を効果的に向上させる。
本願の実施例による駐車スペース検出方法を示す第1フローチャートである。 駐車スペースの例を示す図である。 本願の実施例による駐車スペース検出方法を示す第2フローチャートである。 本願の実施例による用いられる駐車スペース訓練画像の例を示す図である。 図4aに対してキーポイントアノテーションを行った後の画像を示す図である。 本願の実施例によるインスタンスセグメンテーションネットワークの訓練を示すフローチャートである。 本願の実施例によるインスタンスセグメンテーションネットワークの構造を示す概略図である。 本願の実施例による駐車スペース検出結果を示す概略図である。 本願の実施例による駐車スペース検出装置の構造を示す第1概略図である。 本願の実施例による駐車スペース検出装置の構造を示す第2概略図である。 本願の実施例による駐車スペース検出装置の構造を示す第3概略図である。 本願の実施例による電子機器の構造を示す概略図である。
本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記述に必要な図面を簡単に説明する。勿論、下記図面は、本願の幾つかの実施例であり、当業者は、これらの図面に基づいて、創造的な労力なしに他の図面を得ることもできる。
本願の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本願における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本発明の保護範囲に含まれる。
本願の実施例は、端末機器、コンピュータシステム、サーバなどの電子機器に適用なの宇であり、これは、他の多くの汎用または専用のコンピューティング環境または構成と共に操作されることが可能である。端末機器、コンピュータシステム、サーバなどの電子機器と共に使用される周知の端末機器、コンピュータシステム、環境及び/又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサ、中央演算装置(Central Processing Unit:CPU)、グラフィックスプロセッサ(Graphics Processing Unit:GPU)ベースのシステム、車載システム、セットトップボックス、プログラマブル消費者向け電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム及び上記いずれかのシステムを含む分散型クラウドコンピューティング技術環境などのうちの少なくとも1つを含むが、これらに限定されない。
端末機器、コンピュータシステム、サーバなどの電子機器は、コンピュータシステムにより実行されるコンピュータシステムによる実行可能な命令(例えば、プログラムモジュール)の一般的な内容で説明できる。一般的には、プログラムモジュールは、ルーチン、プログラム、ターゲットプログラム、アセンブリ、ロジック、データ構造などを含んでもよい。これらは、特定のタスクを実行するか又は特定の抽象データタイプを実現させる。コンピュータシステム/サーバは、分散型クラウドコンピューティング環境で実行可能であり、分散型クラウドコンピューティング環境において、タスクは、通信ネットワークを介してリンクされるリモート処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又はリモートコンピューティングシステム記憶媒体に位置してもよい。
1つの例示的な適用において、上記電子機器を車両に設け、後退システムに接続し、後退システムを補助して車両を空き駐車スペースに駐車するために用いる。もう1つの例示的な適用において、電子機器を補助運転システムに接続し、電子機器は、得られた空き駐車スペースの検出結果を補助運転システムに送信する。これにより、補助運転システムは、該空き駐車スペースの検出結果に基づいて車両の走行を制御する。例えば、車両を空き駐車スペースに駐車するように制御する。選択的に、該電子機器は、直接的に、補助運転システムの一部又は全部であってもよく、又は、後退システムの一部又は全部であってもよい。選択的に、該電子機器は、実際の需要に応じて他の車両制御システムに接続されてもよい。本願の実施例は、これを限定しない。
以下、具体的な実施例を参照しながら、本願の技術的解決手段を詳しく説明する。下記複数の実施例を互いに組み合わせることができる。同一又は類似した概念又はプロセスについて幾つかの実施例において重複した説明を省略することがある。
図1は、本願の実施例による駐車スペース検出方法を示す第1フローチャートである。図1に示すように、本願の方法は、以下を含んでもよい。
S101において、駐車スペース画像を取得する。
本実施例は、実行主体が電子機器であることを例として説明する。該電子機器は、スマートフォン、コンピュータ、車載システムなどであってもよく、これらに限定されない。
選択的に、図2は、駐車スペースの例を示す図である。本実施例の電子機器は、カメラを更に備えてもよい。カメラにより、車両の走行環境を撮影することができる。例えば、カメラにより、車両が走行する道路周辺の駐車スペースの画像を撮り、駐車スペース画像を得て、該駐車スペース画像を電子機器のプロセッサに送信し、プロセッサに本実施例の方法を実行させ、駐車スペース画像内の空き駐車スペースの検出結果を得る。
選択的に、本実施例の電子機器は、外部のカメラに接続されてもよい。外部のカメラにより、車両の走行環境を撮影し、駐車スペース画像を得る。
選択的に、本願の実施例のカメラのイメージングアセンブリは、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor:CMOS)又は電荷結合素子(Charge Coupled Device:CCD)であってもよく、これらに限定されない。
S102において、前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得る。
本願の実施例のニューラルネットワークは、逆伝播(Back Propagation:BP)ニューラルネットワーク、動径基底関数(Radial Basis Function:RBF)ニューラルネットワーク、パーセプトロンニューラルネットワーク、線形ニューラルネットワーク、フィードバックニューラルネットワーク等を含むが、これらに限定されない。
選択的に、上記ニューラルネットワークは、インスタンスセグメンテーションを実現させることができる。ここで、インスタンスセグメンテーションは、画素レベルの分類を行うだけでなく、具体的なクラスの中で異なるインスタンスを見分ける必要がある。例えば、駐車スペース画像に複数の空き駐車スペースA、B、Cがあれば、インスタンスセグメンテーションにより、該3つの空き駐車スペースを異なる対象として認識することができる。
本願の実施例は、ニューラルネットワークにより、駐車スペース画像内の空き駐車スペースの領域情報、及び/又は、空き駐車スペースの角点情報を検出することができる。例えば、空き駐車スペースの領域情報及び/又は空き駐車スペースの角点情報を含む駐車スペース画像により、ニューラルネットワークに対して予め訓練を行い、ニューラルネットワークに、空き駐車スペースの領域情報及び/又は角点情報を抽出する能力を学習させる。これにより、図2に示す駐車スペース画像をニューラルネットワークに入力し、ニューラルネットワークにより駐車スペース画像を処理することで、該駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を出力することができる。
ここで、空き駐車スペースの領域情報は、該空き駐車スペースの位置及び大きさなどの情報を含んでもよく、角点情報は、空き駐車スペースの角点の位置情報を含む。
選択的に、空き駐車スペースの角点情報は、該空き駐車スペースの少なくとも3つの角点の角点情報を含んでもよい。駐車スペースが一般的には長方形であるため、空き駐車スペースの少なくとも3つの角点の角点情報に基づいて、該空き駐車スペースの領域情報を決定することができる。
本願の実施例の検出方法は、得られた駐車スペース画像をニューラルネットワークに入力さえすれば、正確な空き駐車スペースの領域情報及び/又は角点情報を得ることができる。初期の画像処理を必要とせず、検出プロセス全体は、簡単であり、かかる時間が短い。
S103において、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定する。
一例において、駐車スペース画像内の空き駐車スペースの領域情報を空き駐車スペースの検出結果とすることができる。もう1つの例において、駐車スペース画像内の空き駐車スペースの角点情報を空き駐車スペースの検出結果とすることができる。
また1つの例において、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することは、駐車スペース画像内の空き駐車スペースの領域情報と角点情報をフュージョンし、駐車スペース画像内の空き駐車スペースの検出結果を決定することを含む。ここで、空き駐車スペースの領域情報と角点情報をフュージョンし、前記空き駐車スペースの検出結果を決定する方式は、下記方式を含むが、これらに限定されない。
方式1において、駐車スペース画像内の空き駐車スペースの角点情報で構成される駐車スペース領域情報を決定し、駐車スペース画像内の空き駐車スペースの領域情報と、角点情報で構成される駐車スペース領域情報と、をフュージョンし、フュージョンした領域情報に基づいて、駐車スペース画像内の空き駐車スペースの検出結果を決定する。例えば、空き駐車スペースの角点情報で囲まれて形成された駐車スペース領域情報を駐車スペース領域情報1と記し、駐車スペース画像内の空き駐車スペースの領域情報を領域情報2と記し、駐車スペース領域情報1と領域情報2をフュージョンし、領域情報3を得る。例えば、駐車スペース領域情報1と領域情報2の平均値を領域情報3とし、フュージョンした領域情報3を駐車スペース画像内の空き駐車スペースの検出結果とする。
方式2において、駐車スペース画像内の空き駐車スペースの領域情報の角点情報を決定し、駐車スペース画像内の空き駐車スペースの角点情報と領域情報の角点情報をフュージョンし、フュージョンした角点情報に基づいて、駐車スペース画像内の空き駐車スペースの検出結果を決定する。例えば、駐車スペース画像内の空き駐車スペースの領域情報に対応する角点をそれぞれ角点a1、角点a2、角点a3及び角点a4と記し、駐車スペース画像内の空き駐車スペースの角点情報に対応する角点をそれぞれ角点b1、角点b2、角点b3及び角点b4と記し、ここで、角点a1、角点a2、角点a3、角点a4はそれぞれ、角点b1、角点b2、角点b3、角点b4に一対一で対応する。従って、対応する2つの角点をフュージョンして1つの角点を得ることができる。例えば、角点a1と角点b1をフュージョンして角点ab1を得る。これにより、新たな角点情報を得て、これらの新たな角点情報を駐車スペース画像内の空き駐車スペースの検出結果とすることができる。
本願の実施例は、駐車スペース画像内の空き駐車スペースの領域情報と角点情報をフュージョンし、駐車スペース画像内の空き駐車スペースの検出結果を決定することで、空き駐車スペースの検出の正確性を向上させることができる。
選択的に、本願の実施例の方法は、車両が駐車スペースを探す時しか、上記ステップを実行しないようにすることができる。例えば、インテリジェント運転システムが目的地に到着し、又は外部から送信された駐車スペース探し命令を受信した場合、インテリジェント運転システムは、電子機器を制御して動作させる。上記シーンにおいて、電子機器がカメラを有する場合、該電子機器におけるプロセッサは、カメラを、車両周辺の駐車スペース画像を撮影するように制御する。電子機器がカメラを有しないと、電子機器は、外部のカメラに撮影命令を送信する。これにより、カメラは、撮影した車両周辺の駐車スペース画像を電子機器に送信する。電子機器は、駐車スペース画像を得た後、該駐車スペース画像を処理し、駐車スペース画像内の空き駐車スペースの検出結果を検出する。例えば、電子機器は、得られた駐車スペース画像をニューラルネットワークに入力し、該ニューラルネットワークにより処理することで、駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を出力し、更に、駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、駐車スペース画像内の空き駐車スペースの検出結果を決定し、駐車スペースに対する正確な検出を更に実現させる。
選択的に、該電子機器は更に、インテリジェント運転システムに接続され、空き駐車スペースの検出結果をインテリジェント運転システムに送信する。インテリジェント運転システムは、該空き駐車スペースの検出結果に基づいて、車両を該空き駐車スペースに駐車するように制御する。
本願の実施例が提供する駐車スペース検出方法は、駐車スペース画像を取得し、駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得て、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定する。つまり、本願の実施例の検出方法は、得られた駐車スペース画像をニューラルネットワークに入力さえすれば、正確な空き駐車スペースの領域情報及び/又は角点情報を得ることができる。初期の画像処理を必要とせず、検出プロセス全体は、簡単であり、かかる時間が短い。また、駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、駐車スペースにおける空き駐車スペースの検出結果を決定することで、空き駐車スペースの検出の正確性を効果的に向上させる。
幾つかの実施例において、駐車スペース画像内の不完全な空き駐車スペースを検出するために、本願の実施例は、S102において前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得る前に、以下を更に含む。
S102aにおいて、前記駐車スペース画像の四周縁において、外へ所定値で拡張する。
選択的に、前記所定値は、駐車スペースの長さの半分以下である。
例示的に、図4a及び図4bに示すように、図4aが電子機器が取得した駐車スペース画像であるとすれば、該駐車スペース画像に、空き駐車スペース1及び空き駐車スペース2という2つの空き駐車スペースが含まれ、ここで、駐車スペース画像に、空き駐車スペースの一部分だけが含まれる。空き駐車スペース2を検出するために、図4aに示す駐車スペース画像の四周縁を外へ所定値で拡張し、図4bにおける黒枠に示すように、図4bに示す結果を得る。これにより、駐車スペース画像の画角範囲を増大し、一部分が駐車スペース画像外に位置する空き駐車スペースを検出し、駐車スペース検出の正確性を更に向上させることができる。
この場合、上記S103において駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得ることは、S103aで置き換えられてもよい。
S103aにおいて、拡張後の前記駐車スペース画像を前記ニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得る。
例えば、図4bをニューラルネットワークに入力し、図4bにおける空き駐車スペース1及び空き駐車スペース2の領域情報、及び/又は、空き駐車スペース1及び空き駐車スペース2の角点情報を検出することができる。
本願の実施例の方法は、駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を検出する前に、駐車スペース画像の四周縁において、外へ所定値で拡張し、拡張後の前記駐車スペース画像をニューラルネットワークに入力する。これにより、一部分が駐車スペース画像外に位置する空き駐車スペースを検出することができ、駐車スペース検出の正確性及び実用性を更に向上させる。
図3は、本願の実施例による駐車スペース検出方法を示す第2フローチャートである。上記実施例を基に、本願の実施例の方法は、ニューラルネットワークを訓練するプロセスを更に含む。図3に示すように、訓練プロセスは以下を含む。
S201において、複数の駐車スペース訓練画像を取得する。
該複数の駐車スペース訓練画像は、電子機器によりデータベースから取得されたものであってもよく、電子機器により過去に撮影されたものであってもい。本願の実施例は、電子機器が複数の駐車スペース訓練画像を取得する具体的なプロセスを限定しない。
ここで、各駐車スペース画像は、1つ又は複数の空き駐車スペースを含む。例えば、図4bは、駐車スペース訓練画像であり、ここに空き駐車スペース1及び空き駐車スペース2が含まれる。
選択的に、上記駐車スペース訓練画像は、広角カメラにより撮られた画像であってもよい。該画像は、一定の歪度を有する。該広角カメラにより撮られた駐車スペース訓練画像を用いてニューラルネットワークを訓練する場合、訓練されたニューラルネットワークは、異なる画角で撮られた駐車スペース画像に対して予測を行うことができ、更に、予測の正確性を確保すると共に、駐車スペース画像に対する撮影要求を下げることができる。
空き駐車スペースのキーポイントは、駐車スペースの境界線におけるポイント、空き駐車スペースの角点、又は空き駐車スペースの2本の対角線の交点を含んでもよい。これらのキーポイントに基づいて、空き駐車スペースの領域及び位置を正確に得ることができる。
上記駐車スペース訓練画像は、空き駐車スペースのキーポイント情報に対するアノテーション情報を含む。例えば、図4bに示すように、空き駐車スペース4のキーポイントとアノテーションされたキーポイントは、キーポイント1、キーポイント2、キーポイント3及びキーポイント4である。図4bは、空き駐車スペース1のキーポイントの1つのアノテーション方式であり、空き駐車スペース1のキーポイントは、上記4つのキーポイントを含むが、これらに限定されず、空き駐車スペース1のキーポイントの具体的な数及び選択方式は、実際の需要に応じて決定され、本願の実施例は、これを限定しないことに留意されたい。
S202において、前記複数の駐車スペース訓練画像を用いて、前記ニューラルネットワークを訓練する。
空き駐車スペースのキーポイントに対するアノテーション情報を含む複数の駐車スペース画像をニューラルネットワークに入力し、ニューラルネットワークにより入力された検出結果と空き駐車スペースのキーポイント情報に対するアノテーション情報との差異に基づいて、該ニューラルネットワークのネットワークパラメータを調整し、該ニューラルネットワークの訓練を遂行する。
可能な実現形態において、ニューラルネットワークにより駐車スペース画像内の不完全な空き駐車スペースを検出することを実現させるために、ニューラルネットワークの訓練過程において、用いられる駐車スペース訓練画像の四周縁は、外へ所定値で拡張する。選択的に、上記所定値は、駐車スペースの長さの半分以下である。
引き続き図4bを参照すると、図4bに示す駐車スペース訓練画像の四周縁を外へ所定値で拡張する。前記所定値は、駐車スペースの長さの半分以下であり、図4bにおける黒枠に示すとおりである。これにより、駐車スペース訓練画像の画角範囲を増大することができる。訓練したニューラルネットワークが後続で駐車スペースを検出する時、一部分が撮られた駐車スペース画像外に位置する空き駐車スペースを検出できることを目的とする。
図4bに示す駐車スペース訓練画像の四周縁を外へ所定値で拡張した後、図4bにおける空き駐車スペース2を完全に表示することができる。これにより、空き駐車スペース2のキーポイントに対してアノテーションを行うことができる。空き駐車スペース2のキーポイントとアノテーションされたキーポイントは、キーポイント11、キーポイント12、キーポイント13、キーポイント14、キーポイント15及びキーポイント16であり、ここで、キーポイント14は、拡張領域内に位置する。図4bは、空き駐車スペース2のキーポイント情報の1つの可能なアノテーション方式だけであり、空き駐車スペース2のキーポイントは、上記6つのキーポイントを含むが、これらに限定されず、空き駐車スペース2のキーポイントの具体的な数及び選択方式は、実際の需要に応じて決定され、本願の実施例はこれを限定しないことに留意されたい。
選択的に、上記空き駐車スペース1及び空き駐車スペース2のキーポイントの数及び選択方式は、同じであっても異なってもよく、空き駐車スペース1の各キーポイントを順次接続することで区画形成された面積が空き駐車スペース1の面積であり、空き駐車スペース2の各キーポイントを順次接続することで区画形成された面積が空き駐車スペース2の面積であることを確保すればよい。
図4bにおいて、空き駐車スペース1のキーポイント3及び4は、空き駐車スペース2のキーポイント13及び11と重なり合う。
選択的に、駐車スペース訓練画像内の空き駐車スペースのキーポイント情報は、前記空き駐車スペースの少なくとも1つの角点情報を含み、ここで、各角点情報に対応する角点は、空き駐車スペースの2本の境界線の交点である。
本願の実施例において、駐車スペース訓練画像の四周縁を外へ所定値で拡張することで、不完全な空き駐車スペースを補完し、駐車スペース訓練画像に、不完全な空き駐車スペースのキーポイント情報の標準情報を含ませる。このような駐車スペース訓練画像を用いてニューラルネットワークを訓練することで、訓練したニューラルネットワークは、駐車スペース画像内の完全に撮影されていない空き駐車スペースを予測することができ、駐車スペース検出の完全性及び正確性を向上させる。
上記ニューラルネットワークの訓練の実施例を基に、可能な実現形態において、図5に示すように、上記S202において、前記複数の駐車スペース訓練画像を用いて、前記ニューラルネットワークを訓練することは、具体的には、以下を含んでもよい。
S301において、前記駐車スペース訓練画像内の空き駐車スペースの角点情報と、前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報と、を取得する。
例示的に、図4bにおける空き駐車スペース2を例として、空き駐車スペース2の6つのキーポイントに4つ角点が含まれる。例えば、4つの角点のアノテーションを1と記し、他のキーポイントを0と記す。これにより、空き駐車スペース2の6つのキーポイント情報が{“kpts”: [[1346.2850971922246,517.6241900647948,1.0],[1225.010799136069,591.1447084233262, 1.0],[1280.6479481641468,666.6522678185745, 0.0],[1300.5183585313175,728.2505399568034,1.0],[1339.2656587473002,707.3866090712743,0.0],[1431.6630669546437,630.8855291576674,1.0]]}であるとする。
上記空き駐車スペース2の6つのキーポイント情報で構成される領域情報を取得する。例えば、空き駐車スペース2の6つのキーポイントを時計回り又は反時計回りに順序付けし、続いて、その区画形成された面積を求め、区画形成された面積を空き駐車スペース2の領域情報とする。該空き駐車スペース2の領域情報は、駐車スペースの検出過程における領域情報の真値としてもよい。
上記方法を参照して、複数の駐車スペース訓練画像のうちの各枚の駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報を得て、空き駐車スペースの領域真値(Groundtruth)を形成する。
なお、引き続き図4bにおける空き駐車スペース2を例として、空き駐車スペース2の6つのキーポイント情報から、空き駐車スペース2の4つの角点情報を取得し、{“角点”: [[1346.2850971922246,517.6241900647948,1.0],[1225.010799136069,591.1447084233262, 1.0],[1300.5183585313175,728.2505399568034,1.0], [1431.6630669546437,630.8855291576674,1.0]]}であるとする。該4つの角点情報は、空き駐車スペース2の角点真値を構成する。
上記方法を参照して、複数の駐車スペース訓練画像のうちの各枚の駐車スペース訓練画像内の空き駐車スペースの角点情報により、空き駐車スペースの角点真値を形成する。
S302において、前記駐車スペース訓練画像、前記駐車スペース訓練画像内の空き駐車スペースの角点情及び領域情報を用いて、前記ニューラルネットワークを訓練する。
図6を参照すると、図6は、本願の実施例によるニューラルネットワークの構造を示す概略図である。本願の実施例に係わるニューラルネットワークは、図6に示すニューラルネットワークを含むが、これに限定されない。
図6に示すように、該ニューラルネットワークはインスタンスセグメンテーション層を備えてもよく、該インスタンスセグメンテーション層は、空き駐車スペースの領域情報を取得するように構成される。
選択的に、本願の実施例のニューラルネットワークは、mask-RCNN構造のニューラルネットワークであり、図6に示すように、該ニューラルネットワークは、特徴ピラミッドネットワーク(Feature Pyramid Networks:FPN)検出底部及び領域畳み込みニューラルネットワーク(Region CNN:RCNN)位置回帰層を更に備え、ここで、FPN検出底部の出力端は、RCNN位置回帰層の入力端に接続され、RCNN位置回帰層の出力端は、インスタンスセグメンテーション層の入力端に接続される。従って、FPN検出底部は、前記駐車スペース訓練画像から、図6に示す矩形枠のような、空き駐車スペースの検出枠を検出するように構成される。続いて、検出された空き駐車スペースの検出枠をRCNN位置回帰層に入力し、RCNN位置回帰層は、FPN検出底部により検出された空き駐車スペースの検出枠に対して微調整を行う。RCNN位置回帰層は、微調整された空き駐車スペースの検出枠をインスタンスセグメンテーション層に入力し、該インスタンスセグメンテーション層は、セグメンテーションを行い、空き駐車スペースの領域情報を得て、例えば、図7における白色領域に示すとおりである。
選択的に、上記インスタンスセグメンテーション層は、一連の畳み込み層又はプーリング層を所定の順番に応じて積層することで得られたものである。
引き続き図6を参照すると、該ニューラルネットワークは、キーポイント検出層を更に備えてもよく、該キーポイント検出層は、空き駐車スペースの角点情報を取得するように構成される。
選択的に、該キーポイント検出層の入力端は、RCNN位置回帰層の出力端に接続され、RCNN位置回帰層は、微調整された空き駐車スペースの検出枠をキーポイント検出層に入力し、該キーポイント検出層は、空き駐車スペースの角点情報を出力し、例えば、図7における黒色角点に示すとおりである。図7における2つの隣接する空き駐車スペースの1本の境界線が重なり合うため、更に、別の2つの空き駐車スペースにおける2つの角点を重なり合わせる。
上記方法によれば、ニューラルネットワークにより、空き駐車スペースの領域情報及び角点情報を予測し、予測された空き駐車スペースの領域情報を上記ステップで得られた駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報と比較し、予測された空き駐車スペースの角点情報を上記ステップで得られた駐車スペース訓練画像内の空き駐車スペースの角点情報と比較し、ニューラルネットワークのパラメータを調整する。上記ステップを繰り返し、ニューラルネットワークの訓練回数が所定の回数に達すまで継続し、又は、ニューラルネットワークの予測誤差が所定の誤差値に達するまで継続する。
本願の実施例の方法は、前記駐車スペース訓練画像内の空き駐車スペースの角点情報と、前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報を取得し、前記駐車スペース訓練画像、前記駐車スペース訓練画像内の空き駐車スペースの角点情報及び領域情報を用いて、前記ニューラルネットワークを訓練することで、訓練されたニューラルネットワークは、空き駐車スペースの領域情報及び/又は角点情報を正確に予測することができる。
本願の実施例が提供するいずれか1つの駐車スペース検出方法は、データ処理能力を持つ如何なる適切な機器により実行されてもよい。該機器は、端末機器又はサーバなどを含むが、これらに限定されない。又は、本願の実施例が提供するいずれか1つの駐車スペース検出方法は、プロセッサにより実行されてもよい。例えば、プロセッサは、メモリに記憶された命令を呼び出すことで、本願の実施例で言及されたいずれか1つの駐車スペース検出方法を実行する。下述において詳細な説明を省略する。
上記方法の実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現されてもよく、上述したプログラムは、コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例のステップを実行し、上述した記憶媒体は、ROM、RAM、磁気ディスク又は光ディスクなどのような、プログラムコードを記憶できる種々の媒体を含むことは、当業者であれば理解すべきである。
図8は、本願の実施例による駐車スペース検出装置の構造を示す第1概略図である。図8に示すように、本実施例の駐車スペース検出装置100は、
駐車スペース画像を取得するように構成される第1取得モジュール110と、
前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得るように構成される処理モジュール120と、
前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成される決定モジュール130と、を備えてもよい。
本願の実施例の駐車スペース検出装置は、上述した方法の実施例の技術的解決手段を実行するために用いられる。その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
可能な実現形態において、前記決定モジュール130は、前記駐車スペース画像内の空き駐車スペースの領域情報と角点情報をフュージョンし、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成される。
もう1つの可能な実現形態において、前記決定モジュール130は、前記駐車スペース画像内の空き駐車スペースの角点情報で構成される駐車スペース領域情報を決定し、前記駐車スペース画像内の空き駐車スペースの領域情報と、前記角点情報で構成される駐車スペース領域情報と、をフュージョンし、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成される。
図9は、本願の実施例による駐車スペース検出装置の構造を示す概略図である。前記駐車スペース検出装置100は、拡張モジュール140を更に備え、
拡張モジュール140は、前記駐車スペース画像の四周縁において、外へ所定値で拡張するように構成され、前記所定値は、駐車スペースの長さの半分以下であり、
前記処理モジュール120は、拡張後の前記駐車スペース画像を前記ニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得るように構成される。
本願の実施例の駐車スペース検出装置は、上述した方法の実施例における技術的解決手段を実行するために用いられる。その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
図10は、本願の実施例による駐車スペース検出装置の構造を示す第3概略図である。前記駐車スペース検出装置100は、
複数の駐車スペース訓練画像を取得するように構成される第2取得モジュール150と、
前記複数の駐車スペース訓練画像を用いて、前記ニューラルネットワークを訓練するように構成される訓練モジュール160であって、前記駐車スペース訓練画像は、空き駐車スペースのキーポイント情報に対するアノテーション情報を含む、訓練モジュール160と、を備える。
可能な実現形態において、前記駐車スペース訓練画像の四周縁を外へ所定値で拡張し、前記所定値は、駐車スペースの長さの半分以下である。
もう1つの可能な実現形態において、前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報は、前記空き駐車スペースの少なくとも1つの角点情報を含む。
もう1つの可能な実現形態において、前記訓練モジュール160は、
前記駐車スペース訓練画像内の空き駐車スペースの角点情報と、前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報と、を取得し、前記駐車スペース訓練画像、前記駐車スペース訓練画像内の空き駐車スペースの角点情及び領域情報を用いて、前記ニューラルネットワークを訓練するように構成される。
選択的に、前記駐車スペース訓練画像は、広角カメラにより撮影された画像である。
本願の実施例の駐車スペース検出装置は、上述した方法の実施例における技術的解決手段を実行するために用いられる。その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
図11は、本願の実施例による電子機器の構造を示す概略図である。図11に示すように、本願の実施例の電子機器30は、
コンピュータプログラムを記憶するように構成されるメモリ310と、
前記コンピュータプログラムを実行し、上記駐車スペース検出方法を実現させるように構成されるプロセッサ320と、を備え、その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
更に、本願の実施例における駐車スペース検出方法の少なくとも一部の機能は、ソフトウェアにより実現する時、本願の実施例は、コンピュータ記憶媒体を更に提供する。該コンピュータ記憶媒体は、揮発性又は不揮発性コンピュータ記憶媒体である。コンピュータ記憶媒体は、上記駐車スペース検出のためのコンピュータソフトウェア命令を記憶するように構成される。それはコンピュータで実行される時、コンピュータに上記方法の実施例における種々の可能な駐車スペース検出方法を実行させる。コンピュータに前記コンピュータ実行命令をロードして実行する時、本願の実施例に記載のプロセス又は機能を全体的にまたは部分的に発生することができる。前記コンピュータ命令は、コンピュータ記憶媒体に記憶されてもよく、又は、1つのコンピュータ記憶媒体からもう1つのコンピュータ記憶媒体に伝送されてもよい。前記伝送は、無線(例えば、セルラー通信、赤外、短距離無線、マイクロウェーブなど)の方式で、もう1つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送されてもよい。前記コンピュータ記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、1つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能ば媒体は、磁気媒体(例えば、フレキシブルディスク、ハードディスク、磁気ディスク)、光媒体(例えば、デジタルバーサタイルディスク(digital versatile disc:DVD))、又は半導体媒体(例えば、ソリッドステートドライブ(solid state disk:SSD))等であってもよい。
上記実施例において、ソフトウェア、ハードウェア、ファームウェア又はその任意の組み合わせにより全体的又は部分的に実現可能である。ソフトウェアで実現する時、コンピュータプログラム製品の形態で全体的又は部分的に実現可能である。前記コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードして実行する場合、本願の実施例に記載のプロセス又は機能を全体的にまたは部分的に発生する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、1つのコンピュータ可読記憶媒体からもう1つのコンピュータ可読記憶媒体に伝送されてもよい。例えば、前記コンピュータ命令を、1つのウェブサイト、コンピュータ、サーバ又はデータセンタから、有線(例えば、同軸ケーブル、光ファイバー、デジタル加入者回線(digital subscriber line:DSL))又は無線(例えば、赤外、無線、マイクロウェーブ等)の方式で、もう1つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、1つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体(例えば、フレキシブルディスク、ハードディスク、磁気ディスク)、光媒体(例えば、DVD)、又は半導体媒体(例えば、SSD)等であってもよい。
本願の実施例において、「少なくとも1つ」は、1つ又は複数を表し、「複数」は、2つ以上を表す。「及び/又は」は、関連対象の関連関係を説明するためのものであり、3通りの関係が存在することを表す。例えば、A及び/又はBは、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在するという3つの場合を表す。ここで、A、Bは、奇数又は偶数であってもよい。文字「/」は一般的には、前後関連対象が「又は」という関係であることを示す。式において、文字「/」前後関連対象が「除算」という関係であることを示す。「以下少なくとも一項(個)」又はそのと類似した表現は、これらの項の任意の組み合わせを表し、奇数項(個)又は偶数項(個)の任意の組み合わせを含む。例えば、a、b、又はcのうちの少なくとも一項(個)は、a、b、c、a-b、a-c、b-c又はa-b-cを表すことができ、ここで、a、b、cは、1つであってもよく、複数個であってもよい。
本願の実施例に係わる種々の数字番号は単に説明を容易にするために区別するためのものに過ぎず、本願の実施例の範囲を限定するものではないことは、理解されるべきである。
本願の実施例において、各ステップの番号の大きさは、実行順番を意味するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まり、本願の実施例の実施プロセスを限定するものではないことは、理解されるべきである。
最後に説明しておきたいこととして、上記各実施例は本願の技術的解決手段を説明するためのものに過ぎず、本願の技術的解決手段を限定するものではない。上述した各実施例を参照しながら詳しく説明したが、依然として前記各実施例に記載の技術的解決手段を修正し、又はその一部又は全ての技術的特徴に対して均等物による置換を行うことができ、これらの修正や置換によって、対応する技術的解決手段の本質が本願の各実施例の技術的解決手段の範囲から逸脱することはないことが、当業者であれば、理解すべきである。

Claims (20)

  1. 駐車スペース検出方法であって、
    駐車スペース画像を取得することと、
    前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得ることと、
    前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することと、を含む、駐車スペース検出方法。
  2. 前記駐車スペース画像内の空き駐車スペースの領域情報及び角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することは、
    前記駐車スペース画像内の空き駐車スペースの領域情報と角点情報をフュージョンし、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することを含むことを特徴とする
    請求項1に記載の方法。
  3. 前記駐車スペース画像内の空き駐車スペースの領域情報と角点情報をフュージョンし、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することは、
    前記駐車スペース画像内の空き駐車スペースの角点情報で構成される駐車スペース領域情報を決定することと、
    前記駐車スペース画像内の空き駐車スペースの領域情報と、前記角点情報で構成される駐車スペース領域情報と、をフュージョンし、フュージョンした領域情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定することと、を含むことを特徴とする
    請求項2に記載の方法。
  4. 前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得る前に、前記方法は、
    前記駐車スペース画像の四周縁において、外へ所定値で拡張することであって、前記所定値は、駐車スペースの長さの半分以下である、ことを更に含み、
    前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得ることは、
    拡張後の前記駐車スペース画像を前記ニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得ることを含むことを特徴とする
    請求項1-3のうちいずれか一項に記載の方法。
  5. 前記方法は、
    複数の駐車スペース訓練画像を取得することと、
    前記複数の駐車スペース訓練画像を用いて、前記ニューラルネットワークを訓練することであって、前記駐車スペース訓練画像は、空き駐車スペースのキーポイント情報に対するアノテーション情報を含む、ことと、を更に含むことを特徴とする
    請求項1-4のうちいずれか一項に記載の方法。
  6. 前記駐車スペース訓練画像の四周縁を外へ所定値で拡張し、前記所定値は、駐車スペースの長さの半分以下であることを特徴とする
    請求項5に記載の方法。
  7. 前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報は、前記空き駐車スペースの少なくとも1つの角点情報を含むことを特徴とする
    請求項5又は6に記載の方法。
  8. 前記複数の駐車スペース訓練画像を用いて、前記ニューラルネットワークを訓練することは、
    前記駐車スペース訓練画像内の空き駐車スペースの角点情報と、前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報と、を取得することと、
    前記駐車スペース訓練画像、前記駐車スペース訓練画像内の空き駐車スペースの角点情及び領域情報を用いて、前記ニューラルネットワークを訓練することと、を含むことを特徴とする
    請求項7に記載の方法。
  9. 前記駐車スペース訓練画像は、広角カメラにより撮影された画像であることを特徴とする
    請求項5-8のうちいずれか一項に記載の方法。
  10. 駐車スペース検出装置であって、
    駐車スペース画像を取得するように構成される第1取得モジュールと、
    前記駐車スペース画像をニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得るように構成される処理モジュールと、
    前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成される決定モジュールと、を備える、駐車スペース検出装置。
  11. 前記決定モジュールは、前記駐車スペース画像内の空き駐車スペースの領域情報と角点情報をフュージョンし、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成されることを特徴とする
    請求項10に記載の装置。
  12. 前記決定モジュールは、前記駐車スペース画像内の空き駐車スペースの角点情報で構成される駐車スペース領域情報を決定し、前記駐車スペース画像内の空き駐車スペースの領域情報と、前記角点情報で構成される駐車スペース領域情報と、をフュージョンし、フュージョンした領域情報に基づいて、前記駐車スペース画像内の空き駐車スペースの検出結果を決定するように構成されることを特徴とする
    請求項11に記載の装置。
  13. 前記装置は、
    前記駐車スペース画像の四周縁において、外へ所定値で拡張するように構成される拡張モジュールを更に備え、前記所定値は、駐車スペースの長さの半分以下であり、
    前記処理モジュールは、拡張後の前記駐車スペース画像を前記ニューラルネットワークに入力し、前記駐車スペース画像内の空き駐車スペースの領域情報及び/又は角点情報を得るように構成されることを特徴とする
    請求項10-12のうちいずれか一項に記載の装置。
  14. 前記装置は、
    複数の駐車スペース訓練画像を取得するように構成される第2取得モジュールと、
    前記複数の駐車スペース訓練画像を用いて、前記ニューラルネットワークを訓練するように構成される訓練モジュールであって、前記駐車スペース訓練画像は、空き駐車スペースのキーポイント情報に対するアノテーション情報を含む、訓練モジュールと、を更に備えることを特徴とする
    請求項10-13のうちいずれか一項に記載の装置。
  15. 前記駐車スペース訓練画像の四周縁を外へ所定値で拡張し、前記所定値は、駐車スペースの長さの半分以下であることを特徴とする
    請求項14に記載の装置。
  16. 前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報は、前記空き駐車スペースの少なくとも1つの角点情報を含むことを特徴とする
    請求項14又は15に記載の装置。
  17. 前記訓練モジュールは、前記駐車スペース訓練画像内の空き駐車スペースの角点情報と、前記駐車スペース訓練画像内の空き駐車スペースのキーポイント情報で構成される領域情報と、を取得し、前記駐車スペース訓練画像、前記駐車スペース訓練画像内の空き駐車スペースの角点情及び領域情報を用いて、前記ニューラルネットワークを訓練するように構成されることを特徴とする
    請求項16に記載の装置。
  18. 前記駐車スペース訓練画像は、広角カメラにより撮影された画像であることを特徴とする
    請求項14-17のうちいずれか一項に記載の装置。
  19. 電子機器であって、
    コンピュータプログラムを記憶するように構成されるメモリと、
    前記コンピュータプログラムを実行し、請求項1-9のうちいずれか一項に記載の駐車スペース検出方法を実現するように構成されるプロセッサと、を備える、電子機器。
  20. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムが実行される時、請求項1-9のうちいずれか一項に記載の駐車スペース検出方法を実現する、コンピュータ記憶媒体。
JP2021531322A 2019-05-29 2020-02-13 駐車スペース検出方法、装置及び電子機器 Pending JP2022510329A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910458754.4 2019-05-29
CN201910458754.4A CN112016349A (zh) 2019-05-29 2019-05-29 停车位的检测方法、装置与电子设备
PCT/CN2020/075065 WO2020238284A1 (zh) 2019-05-29 2020-02-13 停车位的检测方法、装置与电子设备

Publications (1)

Publication Number Publication Date
JP2022510329A true JP2022510329A (ja) 2022-01-26

Family

ID=73501819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531322A Pending JP2022510329A (ja) 2019-05-29 2020-02-13 駐車スペース検出方法、装置及び電子機器

Country Status (4)

Country Link
JP (1) JP2022510329A (ja)
KR (1) KR20210087070A (ja)
CN (1) CN112016349A (ja)
WO (1) WO2020238284A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067598B (zh) * 2020-07-30 2023-06-13 上汽通用汽车有限公司 确定空闲车位的方法、装置
CN112560689B (zh) * 2020-12-17 2024-04-19 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、电子设备和存储介质
CN115131762A (zh) * 2021-03-18 2022-09-30 广州汽车集团股份有限公司 一种车辆泊车方法、系统及计算机可读存储介质
CN113408514A (zh) * 2021-06-16 2021-09-17 超级视线科技有限公司 一种基于深度学习检测路侧停车场泊位的方法及装置
CN113674199A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 停车位检测方法、电子设备及存储介质
CN113822156B (zh) * 2021-08-13 2022-05-24 北京易航远智科技有限公司 车位检测处理方法、装置、电子设备及存储介质
CN113903188B (zh) * 2021-08-17 2022-12-06 浙江大华技术股份有限公司 车位检测方法、电子设备及计算机可读存储介质
CN113408509B (zh) * 2021-08-20 2021-11-09 智道网联科技(北京)有限公司 用于自动驾驶的标识牌识别方法及装置
CN113870613B (zh) * 2021-10-14 2022-09-30 中国第一汽车股份有限公司 停车位确定方法、装置、电子设备及存储介质
CN114359231A (zh) * 2022-01-06 2022-04-15 腾讯科技(深圳)有限公司 一种停车位的检测方法、装置、设备及存储介质
CN115206130B (zh) * 2022-07-12 2023-07-18 合众新能源汽车股份有限公司 一种车位检测方法、系统、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041176A (ja) * 2016-09-05 2018-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
JP2018206260A (ja) * 2017-06-08 2018-12-27 国立大学法人 筑波大学 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897655A (zh) * 2015-12-18 2017-06-27 富士通株式会社 停车位的检测装置、方法以及图像处理设备
CN107424116B (zh) * 2017-07-03 2020-06-19 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法
CN108281041A (zh) * 2018-03-05 2018-07-13 东南大学 一种基于超声波和视觉传感器相融合的泊车车位检测方法
CN109086708A (zh) * 2018-07-25 2018-12-25 深圳大学 一种基于深度学习的停车位检测方法及系统
CN109685000A (zh) * 2018-12-21 2019-04-26 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041176A (ja) * 2016-09-05 2018-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
JP2018206260A (ja) * 2017-06-08 2018-12-27 国立大学法人 筑波大学 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIN ZHANG ET AL.: "Vision-Based Parking-Slot Detection: ADCNN-Based Approach and a Large-Scale Benchmark Dataset", [ONLINE], JPN6022026899, November 2018 (2018-11-01), ISSN: 0004989515 *

Also Published As

Publication number Publication date
KR20210087070A (ko) 2021-07-09
CN112016349A (zh) 2020-12-01
WO2020238284A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
JP2022510329A (ja) 駐車スペース検出方法、装置及び電子機器
US10482572B2 (en) Fusion of motion and appearance features for object detection and trajectory prediction
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
JP6775263B2 (ja) 測位方法及び装置
US20190325203A1 (en) Dynamic emotion recognition in unconstrained scenarios
CN112258512B (zh) 点云分割方法、装置、设备和存储介质
CN107392189B (zh) 用于确定无人车的驾驶行为的方法和装置
WO2021008206A1 (zh) 神经网络结构的搜索方法、图像处理方法和装置
WO2021169852A1 (en) System and method for real-time, simultaneous object detection and semantic segmentation
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
CN111126140A (zh) 文本识别方法、装置、电子设备以及存储介质
CN110287877B (zh) 视频目标的处理方法及装置
CN114223019A (zh) 用于参数有效的语义图像分割的反馈解码器
CN112862828A (zh) 一种语义分割方法、模型训练方法及装置
KR20210059576A (ko) 인공 지능 기반의 영상 처리 방법 및 이를 수행하는 영상 처리 장치
US10460453B2 (en) Feature point identification in sparse optical flow based tracking in a computer vision system
CN111862351B (zh) 定位模型优化方法、定位方法和定位设备
CN107146245B (zh) 图像匹配方法和装置
John et al. Deep visible and thermal camera-based optimal semantic segmentation using semantic forecasting
Deng et al. Incremental image set querying based localization
CN116310179A (zh) 点云补全方法、装置、设备和介质
CN116485880A (zh) 针对电池顶盖的飞行焊接方法、装置和计算机设备
Pei et al. MWNet: object detection network applicable for different weather conditions
US20210241105A1 (en) Inference apparatus, inference method, and storage medium
CN113362227A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230214