JP2022551717A - 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体 - Google Patents

駐車スペース及びその方向角検出方法、装置、デバイス及び媒体 Download PDF

Info

Publication number
JP2022551717A
JP2022551717A JP2022521761A JP2022521761A JP2022551717A JP 2022551717 A JP2022551717 A JP 2022551717A JP 2022521761 A JP2022521761 A JP 2022521761A JP 2022521761 A JP2022521761 A JP 2022521761A JP 2022551717 A JP2022551717 A JP 2022551717A
Authority
JP
Japan
Prior art keywords
parking space
image
detection
candidate
direction angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022521761A
Other languages
English (en)
Other versions
JP7414978B2 (ja
Inventor
飛 ▲パン▼
晋 呂
▲てぃん▼ 周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Publication of JP2022551717A publication Critical patent/JP2022551717A/ja
Application granted granted Critical
Publication of JP7414978B2 publication Critical patent/JP7414978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

駐車スペース及びその方向角検出方法、装置、デバイス及びコンピュータ可読媒体であって、検出方法は、検出対象画像を取得するステップ（Ｓ４０１）と、検出対象画像における駐車スペースのコーナー点を認識し、駐車スペースのコーナー点に基づき、検出対象画像をトリミングして、候補駐車スペース画像を取得するステップ（Ｓ４０２）と、予めトレーニングされた駐車スペース検出モデルによって候補駐車スペース画像を検出して、駐車スペース検出結果を取得するステップ（Ｓ４０３）と、を含む。駐車スペース検出結果は、候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、候補駐車スペース画像が実際の駐車スペースとして識別された場合、駐車スペース検出結果には、駐車スペースの方向角も含まれる。２つのタスクを１つのネットワークモデルに融合して並行トレーニングを行い、当該モデルに基づいて予測することで、２つのネットワークカスケードを採用して駐車スペースの分類及び駐車スペース方向角の検出をそれぞれ実行することによって発生するパフォーマンス消費を回避することができ、高可用性を有する。

Description

本出願は、２０１９年１０月１２日に中国専利局に提出した、出願番号が２０１９１０９６９４７０.１であって、発明の名称が「駐車スペース及びその方向角検出方法、装置、デバイス及び媒体」である中国特許出願に基づく優先権を主張し、その全内容を援用により本出願に組み込む。
本出願は、コンピュータ技術分野に関し、具体的には、駐車スペース及びその方向角検出方法、装置、デバイス、車両及びコンピュータ可読記憶媒体に関する。
自動駐車システムでは、駐車スペースの検出は、後続の車両経路の計画、追跡、正確なパーキングなどの機能において重要な役割を果たす。駐車スペースの検出は、自動駐車システムの最も重要な部分である。
既存の駐車スペース検出アルゴリズムは、ユーザーインターフェースに基づく方法、インフラストラクチャに基づく方法、空きスペースに基づく方法及び駐車スペースマークに基づく方法の４つのカテゴリに大別される。その中で、駐車スペースマークに基づく方法は、その認識プロセスが隣接車両の存在に依存しなく、駐車スペースマークに依存するため、駐車スペースをより正確に識別することができる。
現在、このタイプのアルゴリズムは、一般的に、先に駐車スペースのコーナー点を検出し、次に駐車スペースのタイプ及び駐車スペースの角度を判断する。コーナー点の検出後に処理される複数のタスクは、複数の方法又は複数のネットワークカスケードによって実現される。このカスケード方式は、車両の組み込み環境ではパフォーマンス消費が高すぎ、可用性が高くない。
本出願は、駐車スペース及びその方向角検出方法を提供する。当該方法は、駐車スペースカテゴリ検出と駐車スペース方向角検出の２つのタスクを１つのネットワークに融合して共同トレーニングを行って駐車スペース検出モデルを取得し、このモデルによって検出対象画像を検出することで、候補駐車スペース画像が実際の駐車スペースを示すかどうかということ、及び実際の駐車スペースの方向角を決定する。これによって、パフォーマンス消費を削減し、高可用性を有する。本出願は、対応する装置、デバイス、車両、コンピュータ可読記憶媒体及びコンピュータプログラムも提供する。
本出願の第１の態様は、駐車スペース及びその方向角検出方法を提供し、前記方法は、
検出対象画像を取得するステップと、
前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得するステップと、
予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得するステップであって、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれるステップと、を含む。
本出願の第２の態様は、駐車スペース及びその方向角検出装置を提供し、前記装置は、
検出対象画像を取得するための取得モジュールと、
前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得するための認識モジュールと、
予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得するための検出モジュールであって、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれる検出モジュールと、を含む。
本出願の第３の態様は、デバイスを提供し、前記デバイスは、プロセッサーとメモリを含み、
前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサーは、前記メモリにおける前記コンピュータプログラムを呼び出して、第１の態様に記載の駐車スペース及びその方向角検出方法を実行する。
本出願の第４の態様は、車両を提供し、前記車両は、駐車システム及びコントローラーを含み、
前記駐車システムは、第１の態様に記載の駐車スペース及びその方向角検出方法を実行して駐車可能な駐車スペースを決定し、前記駐車可能な駐車スペースは、駐車スペース検出結果が実際の駐車スペースとして示された候補駐車スペース画像によって決定され、
前記コントローラーは、前記駐車可能な駐車スペースに基づき車両の駐車を制御する。
本出願の第５の態様は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサーによって実行される場合、第１の態様に記載の駐車スペース及びその方向角検出方法を実現する。
本出願の第６の態様は、コンピュータプログラムを提供し、データ処理デバイスで実行される場合、第１の態様に記載の駐車スペース及びその方向角検出方法を初期化したプログラムを実行するのに適する。
上記の技術案から分かるように、本出願の実施例は、次の利点を有する。
本出願の実施例は、モデルに基づく駐車スペース及びその方向角検出方法を提供する。当該方法は、駐車スペースタイプを決定すること及び駐車スペース方向角を決定することの２つのタスクを、１つのネットワークモデルに融合して、共同トレーニングを行って、駐車スペース検出モデルを取得する。このように、検出対象画像を取得し、検出対象画像における駐車スペースのコーナー点を認識し、駐車スペースのコーナー点に基づき、検出対象画像をトリミングして候補駐車スペース画像を取得した後、当該候補駐車スペース画像を駐車スペース検出モデルに直接入力して検出し、当該駐車スペース検出モデルは、駐車スペースのタイプと駐車スペースの方向角を同時に予測して、駐車スペース検出結果を取得することができる。当該駐車スペース検出結果は、候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、それが実際の駐車スペースを示している場合、同時に、駐車スペースの方向角を出力する。これにより、２つのネットワークカスケードを採用して駐車スペースの分類及び駐車スペースの方向角の検出をそれぞれ実行することによって発生するパフォーマンス消費を回避することができ、高可用性を有する。
本発明の実施例又は先行技術の技術案をより明確に説明するために、以下に、実施例又は先行技術の説明に必要な図面を簡単に紹介する。明らかに、以下に説明する図面は、本出願のいくつかの実施例にすぎない。当業者にとって、創造的な作業なしで、これらの図面に基づいて他の図面を取得することができる。
本出願の実施例におけるモデルトレーニング方法と駐車スペース及びその方向角検出方法のシステムアーキテクチャ図である。 本出願の実施例におけるモデルトレーニング方法のフローチャートである。 本出願の実施例におけるトレーニングサンプルの概略図である。 本出願の実施例における駐車スペース及びその方向角検出方法のフローチャートである。 本出願の実施例における駐車スペース及びその方向角検出方法の概略図である。 本出願の実施例におけるモデルトレーニング装置の構成概略図である。 本出願の実施例における駐車スペース及びその方向角検出装置の構成概略図である。 本出願の実施例におけるサーバーの構成概略図である。
当業者が本出願の解決策をよりよく理解できるために、本出願の実施例における図面に基づいて、本出願の実施例における技術案を以下に明確かつ完全に説明する。明らかに、説明する実施例は、すべての実施例ではなく、本出願の実施例の一部に過ぎない。本出願の実施例に基づいて、当業者によって創造的な作業なしに得られたすべての実施例は、本出願の保護の範囲に属する。
本出願の明細書、特許請求の範囲、及び上記の図面における「第１」、「第２」、「第３」、「第４」など(存在する場合)の用語は、類似するオブジェクトを区別するためにのみ使用され、特定の順序又はシーケンスを説明するものではない。このように使用されるデータは、適切な状況下で交換することができ、本明細書に記載の本出願の実施例は、例えば、本明細書に図示または記載されたもの以外の順序で実施できることを理解すべきである。また、「含む」、「有する」という用語及びそれらの他の変形は、非排他的な包含をカバーすることを意図して、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又はデバイスは、明示的にリストされたステップ又はユニットに限定されず、明示的にリストされていない又はこれらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを含んでもよい。
既存の駐車スペース検出アルゴリズムでコーナー点検出後に処理される複数のタスクに対して、複数の方法又は複数のネットワークカスケードによって実現するため、車載組み込み環境でのパフォーマンス消費が高すぎ、可用性が低いという問題に繋がる。本出願は、モデルに基づく駐車スペース及びその方向角検出方法を提供し、駐車スペースのタイプを決定することと駐車スペースの方向角を決定することの２つのタスクを、予め１つのネットワークモデルに融合してトレーニングし、検出対象画像におけるコーナー点に基づき、トリミングした候補駐車スペース画像を当該モデルに入力して、駐車スペースのタイプと駐車スペースの方向角を同時に検出することで、車載組み込み環境でのネットワークカスケードによるパフォーマンス消費が高すぎるという問題を解決した。
次に、それぞれモデルトレーニングとモデル適用の観点から、本出願の技術案を紹介する。モデルトレーニング方法は、画像処理能力を備えた任意の処理デバイスに適用できる。当該処理デバイスは、具体的には、中央処理装置(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ/Ｐｒｏｃｅｓｓｏｒ、ＣＰＵ)、及び/又は、グラフィックス処理装置(Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ)を有するデバイスである。当該処理デバイスは、具体的には、端末であってもよく、この端末は、パーソナルコンピュータ(Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ)又はワークステーションなどを含むが、これらに限定されない。もちろん、処理デバイスは、サーバーであってもよい。当該処理デバイスは、単独で存在してもよく、クラスターの形で存在してもよい。これに対応して、モデルに基づく駐車スペース及びその方向角検出方法は、主に車両の駐車システムに適用される。
上記のモデルトレーニング方法は、コンピュータプログラムの形で処理デバイスに記憶することができ、処理デバイスは、コンピュータプログラムを実行することによってモデルトレーニングを実現する。上記のモデルに基づく駐車スペース及びその方向角検出方法は、コンピュータプログラムの形で車両の駐車システムに記憶することもでき、駐車システムは、コンピュータプログラムを実行することによって駐車スペース検出を実現する。コンピュータプログラムは、独立していてもよいし、他のプログラムに統合された機能モジュール、プラグイン、又はミニプログラムなどであってもよい。
なお、本出願によって提供されるモデルトレーニング方法、及びモデルに基づく駐車スペースとその方向角検出方法は、図１に示すような適用環境に適用するが、これに限定されない。
図１に示すように、サーバー１０１と車両の駐車システム１０２は、無線通信ネットワークなどのネットワークを介して接続され、サーバー１０１はまた、サンプルデータベース１０３に接続されている。これによって、サーバー１０１は、サンプルデータ１０３からトレーニングサンプルを取得することができ、当該トレーニングサンプルは、駐車スペースサンプル画像とその注釈情報を含み、当該注釈情報は、駐車スペース位置及び駐車スペースラベルを含む。ただし、駐車スペースラベルは、前記駐車スペースサンプル画像が、実際の駐車スペース及び前記実際の駐車スペースに対応する駐車スペース方向角を示すかどうかを表すために使用される。
そして、サーバー１０１は、トレーニングサンプルを利用して、駐車スペース検出モデルをトレーニングする。当該駐車スペース検出モデルは、候補駐車スペース画像を入力として、駐車スペース検出結果を出力とする。駐車スペース検出結果は、具体的には、前記候補駐車スペース画像が、実際の駐車スペース及び前記実際の駐車スペースの駐車スペース方向角を示すかどうかを表すために使用される。このようにして、サーバー１０１がトレーニングサンプルを駐車スペース検出モデルに入力した後、駐車スペース検出モデルは、トレーニングサンプルにおける駐車スペースサンプル画像に対して特徴抽出を実行し、そして、抽出した画像特徴に基づいて駐車スペースを検出し、駐車スペース検出結果をトレーニングサンプルにおける駐車スペースサンプル画像に対応する駐車スペースラベルと比較して、比較結果に基づき駐車スペース検出モデルの損失関数を計算し、当該損失関数に基づいて駐車スペース検出モデルのパラメータを更新することができる。例えば、損失関数が収束状態にある場合、又は損失関数が予め設置された閾値より小さい場合などの、駐車スペース検出モデルの損失関数がトレーニング終了条件を満たす場合、サーバー１０１は、トレーニングを停止し、この時点の駐車スペースモデルを駐車スペースとその方向角の検出に適用することができる。
駐車スペース検出モデルをトレーニングした後、サーバー１０１は、当該駐車スペース検出モデルのモデルパラメータを車両の駐車システム１０２に送信する。これにより、駐車システム１０２は、当該駐車スペース検出モデルを使用して、駐車スペースを検出することができる。具体的には、駐車システム１０２は、駐車システムによって駐車スペースを撮影して得られた画像から検出対象画像を取得し、そして、前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得する。駐車スペース検出モデルによって候補駐車スペース画像を検出して、駐車スペース検出結果を取得する。なお、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースであることを表す場合、前記駐車スペース検出結果には当該実際の駐車スペースの駐車スペース方向角も含まれる。そして、駐車システム１０２は、表示パネルによって上記の駐車スペース検出結果を表示することができる。
次に、それぞれサーバー及び車両駐車システムの観点から、本出願のモデルトレーニング方法、及び駐車スペースとその方向検出方法を紹介する。
図２に示すモデルトレーニング方法のフローチャートを参照して、当該方法は、以下のステップを含む。
Ｓ２０１：トレーニングサンプルを取得する。
前記トレーニングサンプルは、駐車スペースサンプル画像とその注釈情報を含み、前記注釈情報は、駐車スペースサンプル画像に対応する駐車スペース位置及び駐車スペースラベルを含む。なお、駐車スペースラベルは、駐車スペースサンプル画像が実際の駐車スペース及び実際の駐車スペースに対応する駐車スペース方向角を示すかどうかを示すために使用される。つまり、正のサンプルの場合、駐車スペースラベルは、駐車スペースサンプル画像が実際の駐車スペースであることと、当該実際の駐車スペースの駐車スペース方向角を示すために使用され、負のサンプルの場合、駐車スペースラベルは、駐車スペースサンプル画像が実際の駐車スペースではないことを示すために使用される。
なお、駐車スペースサンプル画像とは、サラウンドビュースティッチング画像から抽出された、候補駐車スペースを含む画像を指す。前記サラウンドビュースティッチング画像とは、具体的には、車両のフロントカメラとリアカメラを含む複数のカメラ(例えば、４つのカメラ)によって撮影された駐車スペース画像をスティッチングした画像を指す。サラウンドビュースティッチング画像に対して、画像グレースケール、エッジ検出、又は機械学習などの方式によって、サラウンドビュースティッチング画像における駐車スペースコーナー点を認識し、そして、前記駐車スペースコーナー点に基づき、駐車スペース入口ラインを構築し、駐車スペース入口ラインと他の駐車スペースコーナー点に基づいて、駐車スペース入口ラインの２つの端点にそれぞれ接続された駐車スペース分離ラインを決定し、駐車スペース入口ライン及び駐車スペース分離ラインに基づいて、前記サラウンドビュースティッチング画像をトリミングして、駐車スペースサンプル画像を取得することができる。
具体的に実現する場合、各駐車スペースサンプル画像は、上記の駐車スペース入口ラインと、駐車スペース入口ラインに接続されている２本の駐車スペース分離ラインによって、駐車スペース位置を表す。駐車スペース入口ラインに接続されている２本の駐車スペース分離ラインは、駐車スペース入口ラインに垂直な２本の駐車スペース分離ラインであってもよい。これにより、当該駐車スペース位置に対応する駐車スペースは、水平駐車スペース又は垂直駐車スペースである。もちろん、駐車スペース入口ラインに接続されている２本の駐車スペース分離ラインは、駐車スペース入口ラインと交差するが垂直ではない２本の駐車スペース分離ラインであってもよい。これにより、当該駐車スペース位置に対応する駐車スペースは、斜め駐車スペースである。
なお、上記のサラウンドビュースティッチング画像がトリミングされると、複数の候補の駐車スペース画像を取得することができる。その中で、実際の駐車スペースでマークされた駐車スペース画像のサンプルは、正のサンプルであり、非実際の駐車スペースでマークされていない駐車スペース画像のサンプルは、負のサンプルである。本出願の実施例でトレーニングされる駐車スペース検出モデルは、駐車スペース画像が実際の駐車スペースであるかどうかを認識し、認識結果が実際の駐車スペースである場合、駐車スペース方向角のモデルを出力するために使用される。これに基づいて、正のサンプルにも駐車スペース方向角をマークしている。当該駐車スペース方向角は、具体的には、車両の中心軸と駐車スペース入口ラインとの間の角度、又は車両の走行方向と駐車スペース入口ラインとの間の角度などであってもよい。上記の注釈情報は、サラウンドビュースティッチング画像ではマークされた後、座標変換などの方式により駐車スペース画像に変換される。
実際の適用では、計算と処理を容易にするために、サラウンドビュースティッチング画像をトリミングして駐車スペースサンプル画像を取得する場合、駐車スペース入口ラインの中点から駐車スペースサンプル画像における駐車スペース分離ラインに平行又は重ね合わせる２本の辺までの距離が等しいように、駐車スペース入口ラインの中点に基づきトリミングすることができる。このようにして、後続の画像処理プロセスでのオフセット補正による余分な計算量を回避することができる。
分かりやすくするために、図３に示すサラウンドビュースティッチング画像の概略図を参照して、サラウンドビュースティッチング画像に対してマークしてトリミングすることで、トレーニングサンプルを取得することができる。例えば、当該サラウンドビュースティッチング画像の左側の駐車スペースコーナー点１、２、３、４が位置する駐車スペースをマークすることができる。具体的には、左側のコーナー点１、２に対応する線分を駐車スペース入口ラインとし、左側のコーナー点１、４が位置する線分と左側のコーナー点２、３が位置する線分を駐車スペース分離ラインとして、駐車スペース位置をマークし、駐車スペースラベルを実際の駐車スペースとしてマークし、駐車スペース方向角をマークし、サラウンドビュースティッチング画像から対応する画像をトリミングする。このようにして、１つの正のサンプルを取得することができる。また、例えば、駐車スペース画像の右側のコーナー点１、２、３、４が位置する駐車スペースをマークしてもよい。コーナー点１、２に対応する線分を駐車スペース入口ラインとし、コーナー点１、４が位置する線分とコーナー点２、３が位置する線分を駐車スペース分離ラインとして、駐車スペースラベルを実際の駐車スペースとしてマークし、同時に駐車スペース方向角をマークし、サラウンドビュースティッチング画像から対応する画像をトリミングする。これにより、別の１つの正のサンプルを取得することができる。
なお、実際の駐車スペースには複数の種類の駐車スペースが含まれる可能性があることを考慮すると、駐車スペースラベルが、前記駐車スペース位置が実際の駐車スペースであることを示すと同時に、駐車スペースタイプも示すことができる。一例では、駐車スペースラベルは、具体的には、前記実際の駐車スペースに対応する駐車スペースタイプが、垂直駐車スペース、平行駐車スペース、又は斜め駐車スペースであることを示すことができる。図３に示すように、画像の左側のコーナー点１、２、３、４が位置する駐車スペースを垂直駐車スペースとして示し、画像の右側のコーナー点１、２、３、４が位置する駐車スペースを水平駐車スペースとして示してもよい。
つまり、駐車スペースラベルは、駐車スペースサンプル画像が実際の駐車スペースを示すか、又は非実際の駐車スペースを識別することを示すために使用されてもよい。このように、当該トレーニングサンプルによってトレーニングされたモデルは、主に候補駐車スペース画像が実際の駐車スペースを示すかどうかを予測するために使用され、出力確率Ｐ０、Ｐ１は、それぞれ実際の駐車スペースである確率と実際の駐車スペースではない確率を表す。実際の駐車スペースには異なるタイプが存在することを考慮すると、駐車スペースラベルは、駐車スペースサンプル画像が水平駐車スペース、垂直駐車スペース、斜め駐車スペースであるか、又は実際の駐車スペースではないなどを示すことを示すために使用されてもよい。このようにして、当該トレーニングサンプルによってトレーニングされたモデルは、主に候補駐車スペース画像が水平駐車スペース、垂直駐車スペース、斜め駐車スペースであるか、又は実際の駐車スペースではないことを示すことを予測するために使用され、出力確率Ｐ０、Ｐ１、Ｐ２及びＰ３は、それぞれ、水平駐車スペースである確率と、垂直駐車スペースである確率と、斜め駐車スペースである確率と、又は実際の駐車スペースではない確率を表す。
図３に示す例では、駐車スペース画像の左側のコーナー点１、３が位置する線分を駐車スペース入口ラインとし、当該駐車スペース入口ラインに基づき、その２つの端点にそれぞれ接続されている２本の駐車スペース分離ラインを決定し、対応する駐車スペース位置を非実際の駐車スペースとしてマークすると、負のサンプルを形成する。
Ｓ２０２：前記トレーニングサンプルを使用して、駐車スペース検出モデルをトレーニングし、前記駐車スペース検出モデルの損失関数がトレーニング終了条件を満たす場合、トレーニングを停止する。
前記駐車スペース検出モデルは、駐車スペース位置をマークした候補駐車スペース画像を入力とし、駐車スペース検出結果を出力とする。駐車スペース検出結果は、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用される。前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれる。
駐車スペースの分類と駐車スペース方向角の測位という２つのタスクを同時に実現するために、２つのタスクのそれぞれに対応する損失関数を融合する。具体的には、サーバーは、分類損失と回帰損失に基づき、駐車スペース検出モデルの損失関数を決定することができる。なお、分類損失は、実際の駐車スペースを予測することによって生じる損失を測定するために使用され、回帰損失は、駐車スペースの方向角を予測することによって生じる損失を測定するために使用される。
具体的に実現する場合、サーバーは、分類損失と回帰損失を重み付けすることにより、駐車スペース検出モデルの損失関数を取得することができる。なお、分類結果が、候補駐車スペース画像が非実際の駐車スペースを示すことを表す場合、回帰損失は発生せず、回帰損失の重みを０に設定することができる。分類結果が、候補駐車スペース画像が実際の駐車スペースを示すことを表す場合、回帰分析を実行して駐車スペース方向角を生成する必要がある。このようにして、損失部分は回帰損失も含み、実際の必要に応じて重みを設定することができる。一例として、１に設置することができる。駐車スペース検出モデルの損失関数では、分類損失はｓｏｆｔｍａｘなどの分類損失関数を採用することができ、回帰損失は、絶対値損失Ｌ１ｌｏｓｓ、二乗損失Ｌ２ｌｏｓｓ、又は平滑化された平均絶対誤差損失Ｈｕｂｅｒ ｌｏｓｓなどの回帰損失関数Ｌ_ｒｅｇｒｅｓｓｉｏｎを採用することができる。
具体的には、サーバーは、共同トレーニングの方法を使用して、駐車スペース検出モデルをトレーニングする。即ち、駐車スペースカテゴリ検出と駐車スペース方向角検出は、１つの損失関数を共同で使用する。次の式で表す。
ｌｏｓｓ_ｄｅｔｅｃｔ＝α*Ｌ_ｓｏｆｔｍａｘ+ｆ(.)*Ｌ_ｒｅｇｒｅｓｓｉｏｎ (１)
ただし、上記の式(１)の損失関数の第２の部分損失では、ｆ(.)は、出力結果の値の範囲が{０,１}であり、分類結果が実際の駐車スペースを表す場合、ｆ(.)＝１であり、非実際の駐車スペースを示す場合、ｆ(.)＝０である。
このように、正のサンプルのトレーニング結果では、損失関数は、分類損失と回帰損失の影響を受け、具体的には、式１を参照することができる。負のサンプルのトレーニング結果では、損失関数は、分類損失の影響を受け、具体的には、次の式で表す。
ｌｏｓｓ_ｄｅｔｅｃｔ＝α*Ｌ_ｓｏｆｔｍａｘ (２)
実際に適用する場合、駐車スペース検出モデルは、具体的にはニューラルネットワークモデルであってもよい。例えば、駐車スペース検出モデルは、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇｌｅＮｅｔ、又はＭｏｂｉｌｅＮｅｔに基づくネットワークモデルであってもよい。もちろん、駐車スペース検出モデルは、上記のネットワークに基づいていくつかのネットワーク層を修正したネットワークであってもよい。
トレーニングサンプルを使用して駐車スペース検出モデルをトレーニングすることは、実際にはトレーニングサンプルを使用して、モデルパラメータを反復して更新するプロセスである。これに基づいて、駐車スペース検出モデルの損失関数が予測値と実際値の偏差の程度を反映する。これによって、駐車スペース検出モデルの損失関数が収束する傾向にある場合、駐車スペース検出モデルの現在のさらなる最適化スペースが小さいことを表し、トレーニング終了条件を満たすと見なすことができるため、サーバーは、トレーニングを停止することができる。もちろん、場合によっては、駐車スペース検出モデルの損失関数が予め設定された閾値より小さい場合、トレーニング終了条件を満たすと見なすことができるため、サーバーは、トレーニングを停止することができる。
以上のように、本出願の実施例は、モデルトレーニング方法を提供し、当該方法は、駐車スペースのタイプを決定することと駐車スペース方向角を決定することの２つのタスクを、１つのネットワークモデルに融合して、共同トレーニングを行う。具体的には、駐車スペースサンプル画像に対して、駐車スペース入口ラインと前記駐車スペース入口ラインの２つの端点にそれぞれ接続されている２本の駐車スペース分離ラインによって駐車スペース位置をマークし、駐車スペースラベルによって前記駐車スペースサンプル画像が実際の駐車スペースであるかどうかを示し、実際の駐車スペースを示している場合、駐車スペース方向角もマークする。これのようにして、上記の２つのタスクに対応するトレーニングサンプルの融合を実現する。そして、融合したトレーニングサンプルを使用して、駐車スペース検出モデルを共同でトレーニングする。駐車スペース検出モデルには２つのタスクがあることを考慮すると、駐車スペース検出モデルの損失関数を融合する必要もある。具体的には、損失関数は、分類損失と回帰損失という２つの部分を含み、駐車スペースラベルが、駐車スペース位置が実際の駐車スペースではないことを示している場合、回帰損失の重みを０とする。これにより、２つのタスクを１つのネットワークモデルに融合してモデルをトレーニングすることを実現できるため、計算パフォーマンス及びトレーニング効率を向上させ、高可用性を有する。
次に、駐車システムの観点から、本出願の実施例によって提供される駐車スペース及びその方向角検出方法を紹介する。図４に示す駐車スペース及びその方向角検出方法のフローチャートを参照して、当該方法は、以下のステップを含む。
Ｓ４０１：検出対象画像を取得する。
具体的には、車両が駐車場又は駐車可能な他の場所に入ると、駐車システムによってカメラをトリガーして撮影操作を実行する。当該駐車システムは、車両の前後左右の複数のカメラにより駐車スペースを撮影した画像をスティッチングしたサラウンドビュースティッチング画像を、検出対象画像とする。
Ｓ４０２：前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得する。
駐車場などのシーンでは、駐車スペースコーナー点は、一般的に、Ｔ字型またはＬ字型のマークで示される。これに基づいて、車両の駐車システムは、機械学習によって駐車スペースコーナー点の特徴を抽出することにより、検出対象画像における駐車スペースのコーナー点を認識したり、エッジ検出、画像グレースケールなどの方式で前記駐車スペースコーナー点を認識したりすることができる。
前記駐車スペースコーナー点を認識した後、駐車システムは、前記駐車スペースコーナー点に基づき、可能なすべての駐車スペース入口ラインを決定してもよい。そして、前記駐車スペース入口ラインに基づき、駐車スペース分離ラインを決定し、前記駐車スペース入口ラインと駐車スペース分離ラインに基づいて、候補駐車スペース画像をトリミングして取得することができる。
選択した駐車スペース入口ラインが異なることによって、トリミングされた候補駐車スペース画像は異なる。これに基づいて、１つのサラウンドビュースティッチング画像をトリミングして、複数の候補駐車スペース画像を取得することができる。
Ｓ４０３：予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得する。
前記駐車スペース検出結果は、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用される。前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれる。
前記駐車スペース検出モデルは、図２に示す実施例によって提供されるモデルトレーニング方法でトレーニングして得られたものである。具体的には、トレーニングサンプルを使用してトレーニングし、前記駐車スペース検出モデルの損失関数がトレーニング終了条件を満たす場合、トレーニングを停止する。このようにして得られたモデルは、駐車システムが駐車スペースを検出するための駐車スペース検出モデルとして使用される。
次のことを理解できる。即ち、駐車スペース検出モデルは、特徴抽出レイヤー、分類レイヤー、及び回帰レイヤーを含む。検出時に、まず特徴抽出レイヤーによって、候補駐車スペース画像に対して特徴抽出を実行し、候補駐車スペース画像に対応する画像特徴を取得する。そして、モデルトレーニング階段で学習した隠れ層マッピング関係に基づいて、当該画像特徴に基づき、分類レイヤーによって候補駐車スペース画像を分類する。分類結果が、候補駐車スペース画像が実際の駐車スペースを示すことを表す場合、画像特徴に基づき、回帰レイヤーによって、回帰分析を実行して駐車スペース方向角を取得する。分類結果が、候補駐車スペース画像が非実際の駐車スペースを示すことを表す場合、分類結果を直接に駐車スペース検出結果とする。
具体的に実現する場合、駐車システムは、表示パネルを介して前記検出結果を表示することができる。これにより、ユーザーは、表示された検出結果に基づき駐車する。なお、ユーザーは、前記検出結果に基づき手動で駐車してもよいし、駐車システムによって上記の検出結果をコントローラーに送信し、コントローラーは、車両を制御して自動的に駐車してもよい。
さらに、トレーニングサンプルの駐車スペースラベルが、前記実際の駐車スペースに対応する駐車スペースのタイプが垂直駐車スペース、平行駐車スペース、又は斜め駐車スペースであることを示す場合、前記駐車スペース検出結果は、具体的には、前記駐車スペース位置が垂直駐車スペース、平行駐車スペース、斜め駐車スペースであるか、又は実際の駐車スペースではないことを示すために使用される。このように、駐車システムは、表示パネルを介して駐車スペース検出結果を表示する場合、指定されたタイプの駐車スペースを強調表示することができる。当該指定されたタイプの駐車スペースは、具体的には、垂直駐車スペース、水平駐車スペース、又は斜め駐車スペースのいずれかである。
図５は、候補駐車スペース画像を駐車スペース検出モデルに入力して駐車スペース検出結果を取得する概略図である。図５に示すように、入力された候補駐車スペース画像には、Ｔ字型のマークが含まれる。当該Ｔ字型のマークは、具体的には、駐車スペースコーナー点を示す。当該候補駐車スペース画像には、当該駐車スペースコーナー点に基づいて決定された駐車スペース入口ラインと、駐車スペース入口ラインの２つの端点にそれぞれ接続されている駐車スペース分離ラインとがマークされている。実際に適用する場合、異なる色や線種によって、上記の駐車スペース入口ラインと駐車スペース分離ラインを区別してもよい。駐車スペース検出モデルは、候補駐車スペース画像を認識することにより、上記の駐車スペース入口ラインと駐車スペース分離ラインによって示される駐車スペースが実際の駐車スペースであるかどうかを決定することができる。その駐車スペースが実際の駐車スペースであると、駐車スペース方向角をさらに出力する。
以上のように、本出願の実施例は、駐車スペース及びその方向角検出方法を提供し、当該方法は、予めトレーニングされた駐車スペース検出モデルを使用して、駐車スペースを認識する。駐車スペースタイプと駐車スペース方向角を１つのディープニューラルネットワークに融合するため、計算パフォーマンスが向上する。そして、角度と駐車スペースタイプを同時に検出するため、駐車スペース分類ネットワークは、駐車スペースのカテゴリを判断せずに、当該駐車スペースが駐車スペースであるかどうかを判断するだけでよい。駐車スペース方向角によって駐車スペースのカテゴリの判断を支援する。
なお、図４に示す実施例は、駐車システムを例として説明したが、他の可能な実現方式では、駐車システムは、検出対象画像をサーバーに送信し、サーバーによって駐車スペース及びその方向角を検出してもよい。
以上は、本出願の実施例によって提供されるモデルトレーニング方法、及び駐車スペースとその方向角検出方法のいくつかの具体的な実現方式である。これに基づいて、本出願の実施例は、対応するモデルトレーニング装置及び駐車スペース検出装置も提供する。次に、機能モジュール化の観点から詳細に紹介する。
図６に示すモデルトレーニング装置の構造概略図を参照して、当該装置６００は、
トレーニングサンプルを取得するための取得モジュール６１０であって、前記トレーニングサンプルが、駐車スペースサンプル画像とその注釈情報を含み、前記注釈情報が、駐車スペース位置と駐車スペースラベルを含み、前記駐車スペースラベルが、前記駐車スペースサンプル画像が実際の駐車スペースを示すかどうかということ、及び前記実際の駐車スペースに対応する駐車スペース方向角を示すために使用される取得モジュール６１０と、
前記トレーニングサンプルを使用して、駐車スペース検出モデルをトレーニングするためのトレーニングモジュール６２０であって、前記駐車スペース検出モデルの損失関数がトレーニング終了条件を満たす場合、トレーニングを停止し、前記駐車スペース検出モデルが、駐車スペース位置をマークした候補駐車スペース画像を入力とし、駐車スペース検出結果を出力とし、駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを示し、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれるトレーニングモジュール６２０と、を含む。
好ましくは、前記回帰損失は、二乗損失、絶対値損失、または平滑化された平均絶対誤差損失のうちのいずれかの損失関数によって決定される。
好ましくは、前記駐車スペース検出モデルは、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇｌｅＮｅｔ、又はＭｏｂｉｌｅＮｅｔに基づくネットワークモデルである。
次に、図７に示す駐車スペース及びその方向角検出装置の構造概略図を参照して、当該装置７００は、
検出対象画像を取得するための取得モジュール７１０と、
前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得するためのトリミングモジュール７２０と、
予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得するための検出モジュール７３０であって、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれる検出モジュール７３０を含む。
好ましくは、前記駐車スペース検出モデルは、特徴抽出レイヤーと、分類レイヤーと、回帰レイヤーとを含み、
前記検出モジュール７３０は、具体的には、
前記特徴抽出レイヤーによって前記候補駐車スペース画像に対して特徴抽出を実行して、前記候補駐車スペース画像に対応する画像特徴を取得し、
前記画像特徴に基づき、前記分類レイヤーを使用して、前記候補駐車スペースの画像を分類し、
分類結果が、前記候補駐車スペース画像が実際の駐車スペースを示すことを表す場合、前記画像特徴に基づき、前記回帰レイヤーを使用して回帰分析を実行し、駐車スペースの方向角を取得する。
好ましくは、前記駐車スペース検出モデルの損失関数は、分類損失と回帰損失によって決定され、前記分類損失は、実際の駐車スペースを予測することによって生じる損失を測定するために使用され、前記回帰損失は、駐車スペースの方向角を予測することによって生じる損失を測定するために使用される。
好ましくは、前記駐車スペース検出モデルの損失関数は、前記分類損失と前記回帰損失の加重和であり、前記分類レイヤーの分類結果が、前記候補駐車スペース画像が非実際の駐車スペースを示すことを表す場合、前記回帰損失の重みは０である。
好ましくは、前記駐車スペース検出モデルは、トレーニングサンプルをトレーニングすることによって取得され、前記トレーニングサンプルは、駐車スペースサンプル画像とその注釈情報を含み、前記注釈情報は、駐車スペースサンプル画像に対応する駐車スペース位置及び駐車スペースラベルを含み、前記駐車スペースラベルは、前記駐車スペースサンプル画像が実際の駐車スペースを示すかどうかということ及び前記実際の駐車スペースに対応する駐車スペース方向角を示すために使用される。
好ましくは、前記駐車スペースラベルが、前記駐車スペースサンプル画像が実際の駐車スペースを示すことを示している場合、前記駐車スペースラベルは、具体的には、前記駐車スペースサンプル画像が垂直駐車スペース、平行駐車スペース及び斜め駐車スペースを示すことを示すために使用される。
好ましくは、前記駐車スペースの位置は、駐車スペース入口ラインと、前記駐車スペース入口ラインの２つの端点にそれぞれ接続されている２本の駐車スペース分離ラインによって表される。
好ましくは、前記駐車スペース入口ラインの中点から、前記駐車スペースサンプル画像における前記駐車スペース分離ラインに平行又は重ね合わせる２つの辺までの距離は等しい。
本出願の実施例は、本出願の駐車スペース及びその方向角検出方法を実現するためのデバイスをさらに提供する。当該デバイスは、具体的には、サーバーであってもよい。次に、ハードウェアエンティティ化の観点から、紹介する。
図８に示すように、当該サーバー８００は、配置又はパフォーマンスが異なることによって、比較的大きな違いを発生することがある。１つ又は複数の中央処理装置(ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ)８２２(例えば、１つ又は複数のプロセッサー)及びメモリ８３２、アプリケーションプログラム８４２又はデータ８４４を記憶する１つ又は複数の記憶媒体８３０(例えば、１つ又は複数の大容量記憶デバイス)を含んでもよい。なお、メモリ８３２と記憶媒体８３０は、一時記憶又は永続記憶であってもよい。記憶媒体８３０に記憶されるプログラムは、１つ又は複数のモジュール(図示せず)を含み、各モジュールは、サーバーでの一連の指令に対する操作を含む。さらに、中央処理装置８２２は、記憶媒体８３０と通信して、サーバー８００上で記憶媒体８３０における一連の指令操作を実行するように設置されてもよい。
サーバー８００は、１つ又は複数の電源８２６、１つ又は複数の有線又は無線ネットワークインターフェース８５０、１つ又は複数の入出力インターフェース８５８、及び／又は、１つ又は複数のオペレーティングシステム８４１をさらに含んでもよい。オペレーティングシステム８４１は、例えば、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどである。
上記の実施例におけるサーバーによって実行されるステップは、当該図８に示すサーバー構成に基づくことができる。
ＣＰＵ８２２は、次のステップを実行する。即ち、
検出対象画像を取得するステップと、
前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得するステップと、
予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得するステップであって、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを示すために使用され、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれるステップと、を含む。
好ましくは、ＣＰＵ８２２は、本出願の実施例によって提供される駐車スペース及びその方向角検出方法の任意の実現方式のステップを実行する。
本出願の実施例は、デバイスをさらに提供し、前記デバイスは、プロセッサーとメモリを含み、
前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサーは、前記メモリにおける前記コンピュータプログラムを呼び出して、本出願に記載の駐車スペース及びその方向角検出方法を実行する。
本出願の実施例は、車両をさらに提供し、前記車両は、駐車システム及びコントローラーを含み、
前記駐車システムは、上記の駐車スペース及びその方向角検出方法を実行して駐車可能な駐車スペースを決定し、前記駐車可能な駐車スペースは、駐車スペース検出結果が実際の駐車スペースとして示された候補駐車スペース画像によって決定され、
前記コントローラーは、前記駐車可能な駐車スペースに基づき車両の駐車を制御する。
本出願の実施例は、コンピュータプログラムを記憶するためのコンピュータ可読記憶媒体をさらに提供し、当該コンピュータプログラムは、前述の各実施例に記載の駐車スペース及びその方向角検出方法における任意の実施形態を実行するために使用される。
本出願の実施例は、指令を含むコンピュータプログラムをさらに提供し、それがコンピュータで実行される場合、前述の各実施例に記載の駐車スペース及びその方向角検出方法の任意の実施形態をコンピュータに実行させる。
当業者は、説明の便宜および簡潔さのために、上記のシステム、装置及びユニットの具体的な作業プロセスが、前述の方法の実施例における対応するプロセスを参照できることを明確に理解でき、ここでは繰り返さない。
本出願によって提供されるいくつかの実施例では、開示されるシステム、装置、及び方法は、他の形態で実現され得ることが理解されるべきである。例えば、上記の装置の実施例は、単なる例示であり、例えば、上記のユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合、他の分割方式が存在する可能性があり、例えば、複数のユニット又はコンポーネントを組み合わせたり、別のシステムに統合したり、一部の特徴を無視したり、実行しなかったりする場合がある。また、表示又は議論する相互結合又は直接結合又は通信接続は、いくつかのインターフェースを介して行われ、装置又はユニットの間接的な結合又は通信接続は、電気的、機械的、またはその他の形式にしてもよい。
上記の個別の構成要素として説明したユニットは、物理的に別個である場合とそうでない場合があり、ユニットとして表示される構成要素は、物理ユニットである場合とそうでない場合があり、即ち、１つの場所にあってもよく、複数のネットワークユニットに分散されてもよい。実際の必要に応じて、ユニットの一部又はすべてを選択して本実施例の解決策の目的を達成する。
また、本出願の各実施例における各機能ユニットは、１つの処理ユニットに統合してもよく、各ユニットが物理的に単独で存在してもよく、２つ以上のユニットが１つのユニットに統合してもよい。上記の統合されたユニットは、ハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。
上記の統合されたユニットがソフトウェア機能ユニットの形で実現され、独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶できる。このような理解に基づいて、本出願の技術案は、本質的に、又は既存の技術に寄与する部分、又は当該技術案の全て又は一部を、ソフトウェア製品の形態で具現化することができる。当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス(パーソナルコンピュータ、サーバー、又はネットワークデバイスなど)に、本出願の各実施例に記載の方法のステップの全て又は一部を実行させるためのいくつかの指令を含む。前述の記憶媒体には、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる媒体を含む。
上記のように、以上の実施例は、本出願の技術案を説明するためにのみ使用され、それらを限定するものではない。前述の実施例を参照して本出願を詳細に説明したが、当業者は、依然として前述の各実施例に記載の技術案を修正できること、又は一部の技術的な特徴に対して均等な置換を実行できることを理解すべきである。これらの修正又は置換により、対応する技術案の本質が、本出願の各実施例の技術案の精神及び範囲から逸脱することはない。

Claims (12)

  1. 駐車スペース及びその方向角検出方法であって、
    検出対象画像を取得するステップと、
    前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得するステップと、
    予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得するステップであって、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれるステップと、
    を含むことを特徴とする方法。
  2. 前記駐車スペース検出モデルは、特徴抽出レイヤーと、分類レイヤーと、回帰レイヤーとを含み、
    予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出するステップは、
    前記特徴抽出レイヤーによって前記候補駐車スペース画像に対して特徴抽出を実行して、前記候補駐車スペース画像に対応する画像特徴を取得するステップと、
    前記画像特徴に基づき、前記分類レイヤーを使用して、前記候補駐車スペース画像を分類するステップと、
    分類結果が、前記候補駐車スペース画像が実際の駐車スペースを示すことを表す場合、前記画像特徴に基づき、前記回帰レイヤーを使用して回帰分析を実行し、駐車スペースの方向角を取得するステップと、
    を含むことを特徴とする請求項１に記載の方法。
  3. 前記駐車スペース検出モデルの損失関数は、分類損失と回帰損失によって決定され、前記分類損失は、実際の駐車スペースを予測することによって生じる損失を測定するために使用され、前記回帰損失は、駐車スペースの方向角を予測することによって生じる損失を測定するために使用される、ことを特徴とする請求項１に記載の方法。
  4. 前記駐車スペース検出モデルの損失関数は、前記分類損失と前記回帰損失の加重和であり、前記分類レイヤーの分類結果が、前記候補駐車スペース画像が非実際の駐車スペースを示すことを表す場合、前記回帰損失の重みは、０であることを特徴とする請求項３に記載の方法。
  5. 前記駐車スペース検出モデルは、トレーニングサンプルをトレーニングすることによって得られ、前記トレーニングサンプルは、駐車スペースサンプル画像とその注釈情報を含み、前記注釈情報は、駐車スペースサンプル画像に対応する駐車スペース位置及び駐車スペースラベルを含み、前記駐車スペースラベルは、前記駐車スペースサンプル画像が実際の駐車スペースを示すかどうかということ、及び前記実際の駐車スペースに対応する駐車スペース方向角を示すために使用される、ことを特徴とする請求項１に記載の方法。
  6. 前記駐車スペースラベルが、前記駐車スペースサンプル画像が実際の駐車スペースを示していることを示した場合、前記駐車スペースラベルは、具体的には、前記駐車スペースサンプル画像が垂直駐車スペース、平行駐車スペース及び傾斜駐車スペースを示すことを示すために使用される、ことを特徴とする請求項５に記載の方法。
  7. 前記駐車スペースの位置は、駐車スペース入口ラインと、前記駐車スペース入口ラインの２つの端点にそれぞれ接続された２本の駐車スペース分離ラインによって表されることを特徴とする請求項５に記載の方法。
  8. 前記駐車スペース入口ラインの中点から、前記駐車スペースサンプル画像における前記駐車スペース分離ラインに平行又は重ね合わせる２つの辺までの距離は、等しいことを特徴とする請求項７に記載の方法。
  9. 駐車スペース及びその方向角検出装置であって、
    検出対象画像を取得するための取得モジュールと、
    前記検出対象画像における駐車スペースのコーナー点を認識し、前記駐車スペースのコーナー点に基づき、前記検出対象画像をトリミングして、候補駐車スペース画像を取得するための認識モジュールと、
    予めトレーニングされた駐車スペース検出モデルによって前記候補駐車スペース画像を検出して、駐車スペース検出結果を取得するための検出モジュールであって、前記駐車スペース検出結果が、前記候補駐車スペース画像が実際の駐車スペースを示すかどうかを表すために使用され、前記候補駐車スペース画像が実際の駐車スペースを示している場合、前記駐車スペース検出結果には、駐車スペースの方向角も含まれる検出モジュールと、を含むことを特徴とする装置。
  10. プロセッサーとメモリを含むデバイスであって、
    前記メモリは、コンピュータプログラムを記憶し、
    前記プロセッサーは、前記メモリにおける前記コンピュータプログラムを呼び出して、請求項１から８のいずれか１項に記載の駐車スペース及びその方向角検出方法を実行することを特徴とするデバイス。
  11. 駐車システム及びコントローラーを含む車両であって、
    前記駐車システムは、請求項１から８のいずれか１項に記載の駐車スペース及びその方向角検出方法を実行して、駐車可能な駐車スペースを決定し、前記駐車可能な駐車スペースは、駐車スペース検出結果が実際の駐車スペースとして示された候補駐車スペース画像によって決定され、
    前記コントローラーは、前記駐車可能な駐車スペースに基づき車両の駐車を制御することを特徴とする車両。
  12. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムがプロセッサーによって実行される場合、請求項１から８のいずれか１項に記載の駐車スペース及びその方向角検出方法を実現することを特徴とする記憶媒体。
JP2022521761A 2019-10-12 2020-07-17 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体 Active JP7414978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910969470.1A CN110706509B (zh) 2019-10-12 2019-10-12 车位及其方向角度检测方法、装置、设备及介质
CN201910969470.1 2019-10-12
PCT/CN2020/102517 WO2021068588A1 (zh) 2019-10-12 2020-07-17 车位及其方向角度检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
JP2022551717A true JP2022551717A (ja) 2022-12-13
JP7414978B2 JP7414978B2 (ja) 2024-01-16

Family

ID=69198621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521761A Active JP7414978B2 (ja) 2019-10-12 2020-07-17 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体

Country Status (5)

Country Link
US (1) US20240092344A1 (ja)
EP (1) EP4044146A4 (ja)
JP (1) JP7414978B2 (ja)
CN (1) CN110706509B (ja)
WO (1) WO2021068588A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706509B (zh) * 2019-10-12 2021-06-18 东软睿驰汽车技术（沈阳）有限公司 车位及其方向角度检测方法、装置、设备及介质
CN111311675B (zh) * 2020-02-11 2022-09-16 腾讯科技（深圳）有限公司 车辆定位方法、装置、设备和存储介质
CN111428616B (zh) * 2020-03-20 2023-05-23 东软睿驰汽车技术（沈阳）有限公司 一种车位检测方法、装置、设备及存储介质
CN112329601B (zh) * 2020-11-02 2024-05-07 东软睿驰汽车技术（沈阳）有限公司 基于多任务网络的车位检测方法和装置
CN113076896A (zh) * 2021-04-09 2021-07-06 北京骑胜科技有限公司 一种规范停车方法、系统、装置及存储介质
CN113095266B (zh) * 2021-04-19 2024-05-10 北京经纬恒润科技股份有限公司 一种角度识别方法、装置及设备
CN113593245B (zh) * 2021-06-25 2022-10-21 北京云星宇交通科技股份有限公司 驻停车辆的电子巡查装置
CN113537105B (zh) * 2021-07-23 2024-05-10 北京经纬恒润科技股份有限公司 一种车位检测方法及装置
CN114379544A (zh) * 2021-12-31 2022-04-22 北京华玉通软科技有限公司 一种基于多传感器前融合的自动泊车系统、方法及装置
CN115206130B (zh) * 2022-07-12 2023-07-18 合众新能源汽车股份有限公司 一种车位检测方法、系统、终端及存储介质
CN115527189B (zh) * 2022-11-01 2023-03-21 杭州枕石智能科技有限公司 车位状态的检测方法、终端设备及计算机可读存储介质
CN116189137B (zh) * 2022-12-07 2023-08-04 深圳市速腾聚创科技有限公司 车位检测方法、电子设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013216305A (ja) * 2012-04-10 2013-10-24 Hyundai Motor Co Ltd 車両の駐車区画認識方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3404793B2 (ja) * 1993-03-24 2003-05-12 トヨタ自動車株式会社 駐車空間検出装置
TWI347900B (en) * 2009-03-10 2011-09-01 Univ Nat Chiao Tung Parking assistance system and method
TW201111206A (en) * 2009-09-29 2011-04-01 Automotive Res & Testing Ct Multiple-turn automatic parking device
US10325165B2 (en) * 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
CN106945660B (zh) * 2017-02-24 2019-09-24 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN107527017B (zh) * 2017-07-25 2021-03-12 纵目科技（上海）股份有限公司 停车位检测方法及系统、存储介质及电子设备
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法
CN109918977B (zh) * 2017-12-13 2021-01-05 华为技术有限公司 确定空闲车位的方法、装置及设备
TWI651697B (zh) * 2018-01-24 2019-02-21 National Chung Cheng University 停車場空位偵測方法及其偵測模型建立方法
CN110322680B (zh) * 2018-03-29 2022-01-28 纵目科技（上海）股份有限公司 一种基于指定点的单车位检测方法、系统、终端和存储介质
CN108875911B (zh) * 2018-05-25 2021-06-18 同济大学 一种泊车位检测方法
CN109614913A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 一种斜车位识别方法、装置和存储介质
CN109583392A (zh) * 2018-12-05 2019-04-05 北京纵目安驰智能科技有限公司 一种车位检测方法、装置和存储介质
CN109740584B (zh) * 2019-04-02 2019-06-25 纽劢科技(上海)有限公司 基于深度学习的自动泊车停车位检测方法
CN110706509B (zh) * 2019-10-12 2021-06-18 东软睿驰汽车技术（沈阳）有限公司 车位及其方向角度检测方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013216305A (ja) * 2012-04-10 2013-10-24 Hyundai Motor Co Ltd 車両の駐車区画認識方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREA ZINELLI, LUIGI MUSTO, FABIO PIZZATI: "A Deep-Learning Approach for Parking Slot Detection on Surround-View Images", 2019 IEEE INTELLIGENT VEHICLE SYMPOSIUM (IV), JPN6023022484, 9 June 2019 (2019-06-09), US, pages 683 - 688, XP033605917, ISSN: 0005079030, DOI: 10.1109/IVS.2019.8813777 *
JUNHAO HUANG, LIN ZHANG, YING SHEN, HUIJUAN ZHANG, SHENGJIE ZHAO, YUKAI YANG: "DMPR-PS: A Novel Approach for Parking-Slot Detection Using Directional Marking-Point Regression", 2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), JPN6023022483, 8 July 2019 (2019-07-08), US, pages 212 - 217, XP033590188, ISSN: 0005079031, DOI: 10.1109/ICME.2019.00045 *
LIN ZHANG, JUNHAO HUANG, XIYUAN LI, LU XIONG: "Vision-Based Parking-Slot Detection: A DCNN-Based Approach and a Large-Scale Benchmark Dataset", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. Vol. 27, No. 11 (November 2018), JPN6023022482, 18 July 2018 (2018-07-18), US, pages 5350 - 5364, ISSN: 0005079032 *
小久保 嘉人, 上田 康貴, 足立 淳, 末次 恵久: "軽量・低計算量モデルを利用した駐車スペース推定", 電子情報通信学会技術研究報告, vol. Vol. 119, No. 235, PRMU2019-37 (2019-10), JPN6023022481, 11 October 2019 (2019-10-11), JP, pages 29 - 34, ISSN: 0005079033 *

Also Published As

Publication number Publication date
CN110706509B (zh) 2021-06-18
EP4044146A1 (en) 2022-08-17
EP4044146A4 (en) 2023-11-08
CN110706509A (zh) 2020-01-17
WO2021068588A1 (zh) 2021-04-15
US20240092344A1 (en) 2024-03-21
JP7414978B2 (ja) 2024-01-16

Similar Documents

Publication Publication Date Title
JP7414978B2 (ja) 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体
CN111126304B (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN108764048B (zh) 人脸关键点检测方法及装置
CN107025662B (zh) 一种实现增强现实的方法、服务器、终端及系统
US9984280B2 (en) Object recognition system using left and right images and method
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
CN111814752B (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
CN111862296A (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN112200830A (zh) 一种目标跟踪方法及设备
CN111259704A (zh) 一种虚线车道线端点检测模型的训练方法
CN111259706A (zh) 一种车辆的车道线压线判断方法和系统
JP5228148B2 (ja) 画像データから位置を推定する位置推定方法、位置推定装置及び位置推定プログラム
CN114898313A (zh) 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
Kim et al. Vision-based navigation with efficient scene recognition
CN112529953B (zh) 电梯的空间状态判断方法、装置及存储介质
CN113158816B (zh) 面向室外场景物体的视觉里程计二次曲面路标构建方法
Kasebi et al. Hybrid navigation based on GPS data and SIFT-based place recognition using Biologically-inspired SLAM
JP2007257489A (ja) 画像処理装置および画像処理方法
CN115700507B (zh) 地图更新方法及其装置
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
Couto et al. Autonomous self-localization of mobile robots through reference point based computer vision
Zhong et al. The Research on Server Signal Light Image Recognition Algorithm Based on SPD_YOLOV5

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150