DE102022208059B3 - Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes - Google Patents

Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes Download PDF

Info

Publication number
DE102022208059B3
DE102022208059B3 DE102022208059.9A DE102022208059A DE102022208059B3 DE 102022208059 B3 DE102022208059 B3 DE 102022208059B3 DE 102022208059 A DE102022208059 A DE 102022208059A DE 102022208059 B3 DE102022208059 B3 DE 102022208059B3
Authority
DE
Germany
Prior art keywords
parking space
vehicle
environment
measurement data
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102022208059.9A
Other languages
English (en)
Inventor
Mohanad Youssef
Jonas Schönichen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to DE102022208059.9A priority Critical patent/DE102022208059B3/de
Priority to JP2023096994A priority patent/JP2024022481A/ja
Application granted granted Critical
Publication of DE102022208059B3 publication Critical patent/DE102022208059B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/147—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is within an open public zone, e.g. city centre
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/935—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/936—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring parking spaces extending transverse or diagonal to the driving direction, i.e. not parallel to the driving direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer wenigstens eine Parklücke (9) beschreibenden Umfeldinformation mit einer Sensoreinrichtung (2) eines Fahrzeugs (1), wobei die Sensoreinrichtung (2) wenigstens einen Umfeldsensor (3) und eine Recheneinrichtung (4) aufweist, umfassend die Schritte:- Erfassen von ein Umfeld des Fahrzeugs (1) beschreibenden Messdaten mit dem wenigstens einen Umfeldsensor (1), wobei die Messdaten einem oder mehreren Objekten im Umfeld des Fahrzeugs (1) zugeordnet sind,- Erstellen wenigstens einer das Umfeld des Fahrzeugs (1) beschreibenden Umfeldkarte (5) aus den Messdaten, wobei die Messdaten in der Umfeldkarte räumlich in Bezug zu dem Fahrzeug (1) angegeben sind,- Auswerten der wenigstens einen Umfeldkarte (5) durch die Recheneinrichtung (4), wobei die Umfeldkarte (5) einem faltenden neuronalen Netzwerk zugeführt wird, wobei das neuronale Netzwerk aus der Umfeldkarte (5) im Umfeld des Fahrzeugs (1) vorhandene Parklücken (9) klassifiziert und lokalisiert, wobei das neuronale Netz aus der Umfeldkarte für jede der Parklücken (9) wenigstens eine Strukturbeschreibung (15 - 18) zumindest eines Teils einer die Parklücke (9) begrenzenden Struktur ermittelt, und- Erzeugen der Umfeldinformation aus den klassifizierten und lokalisierten Parklücken (9) sowie der wenigstens einen Strukturbeschreibung (15 - 18).

Description

  • Die Erfindung betrifft ein Verfahren zum Ermitteln einer wenigstens eine Parklücke beschreibenden Umfeldinformation mit einer Sensoreinrichtung eines Fahrzeugs, wobei die Sensoreinrichtung wenigstens einen Umfeldsensor und eine Recheneinrichtung aufweist. Weiterhin betrifft die Erfindung ein Verfahren zum Trainieren eines faltenden neuronalen Netzes, eine Sensoreinrichtung, ein Fahrzeug, ein Computerprogrammprodukt und ein computerlesbares Speichermedium.
  • Moderne Fahrzeuge können mittels Umfeldsensoren Informationen über verschiedene Objekte im Umfeld des Fahrzeugs gewinnen. Diese Objekte können zum Beispiel andere Verkehrsteilnehmer, beispielsweise sich bewegende oder stationäre Fremdfahrzeuge, oder unbewegliche Strukturen wie Bordsteine, Mauern, Markierungen oder dergleichen sein. Die auf diese Weise gewonnenen Information können zur Bereitstellung unterschiedlicher Fahrerassistenzfunktionen herangezogen werden.
  • Beispielsweise können aus einer auf solchen Objektinformationen basierenden Umfeldbeschreibung weitere Informationen hinsichtlich zur Verfügung stehender Parklücken im Umfeld des Fahrzeugs abgeleitet werden. Dazu werden in der Regel Algorithmen verwendet, welche aus den im Umfeld erkannten Objekten und/oder ihrer Anordnung gemäß festgelegter Regeln und Abhängigkeiten freie Parklücken ermitteln. Die Regeln werden dabei beispielsweise durch Suchtabellen und/oder durch einzelne Fallabfragen bzw. if-Bedingungen festgelegt.
  • Dieses Vorgehen hat den Nachteil, dass das Erstellen und Überprüfen dieser vergleichsweise komplexen und umfangreichen Regeln zeitaufwändig ist und dass grundsätzlich die Parklückenerkennung auf die durch die Regeln abgefragten Szenarien beschränkt ist. Weiterhin sind auch eine Weiterentwicklung der Regeln sowie deren Anpassung an unterschiedliche Fahrzeuge und/oder unterschiedliche Anforderungen an die Parklückenermittlung nur mit großem Aufwand umzusetzen.
  • Aus anderen Bereichen der Technik sind zur maschinellen Auswertung von Bilddaten bzw. zum computerbasierten Sehen sogenannte Deep-Learning-Methoden, welche eine Auswertung der Bilddaten mittels Verfahren aus dem Gebiet der künstlichen Intelligenz vorsehen, bekannt.
  • Ein Beispiel für eine solche Methode ist die im Artikel von Redmon, Joseph, et al. „You only look once: Unified, real-time object detection.“ Proceedings of the IEEE conference on computer vision and pattern recognition (2016) beschriebene „You-Only-Look-Once-Methode“ (auch als YOLO-Methode bezeichnet), welche durch Verwendung eines Rasters in einem einzelnen neuronalen Netz die simultane Klassifizierung und Lokalisierung von Objekten in Bildern ermöglicht. Das neuronale Netz ermittelt dabei den Objekten zugeordnete Klassenwahrscheinlichkeiten sowie die Objekte in dem Bild einfassende, das Objekt lokalisierende Rahmen. Die Rahmen umgeben dabei jeweils ein einzelnes klassifiziertes Objekt, wobei die Kanten der Rahmen jeweils parallel zu den Kanten des rechteckigen, ausgewerteten Bildes verlaufen.
  • Aus der DE 10 2017 107 700 A1 ist ein Verfahren zum Erkennen von Parklücken bekannt, bei dem vorgesehen ist, neben einer sensorischen Erfassung einer Parklücke basierend auf Umfelddaten zweite sensorische Daten zu erfassen, mit denen in einem Backend eine Klassifizierung der Parklücke hinsichtlich Gültigkeit zum Parken erfolgt.
  • Aus der DE 10 2017 130 488 A1 ist ein Verfahren zur Klassifizierung von Parklücken bekannt, wobei vorgesehen ist, neben einer sensorischen Erkennung eines parklückenartigen Bereiches mittels weiterer sensorischer Erfassung und einem neuronalen Netzwerk eine Klassifizierung hinsichtlich der Art der Parklücke und deren tatsächliche Beparkbarkeit vorzunehmen.
  • Aus der DE 10 2018 214 915 A1 ist ein Verfahren zum zum Identifizieren einer Parklücke bekannt, wobei vorgesehen ist, Begrenzungen der Parklücke und deren Kontur zu bestimmen sowie ein den Fahrzeugabmessungen entsprechendes Rechteck innerhalb der Parklücke anzuordnen und basierend darauf zu bestimmen, ob die Parklücke für das Fahrzeug geeignet ist.
  • Aus der DE 10 2020 211 332 A1 ist ein Verfahren zum Bestimmen einer Parkposition bekannt, wobei vorgesehen ist, der Parklücke benachbarte Fahrzeuge als Begrenzung zu erfassen und die Parkposition basierend auf diesen benachbarten Fahrzeugen anzupassen, bspw. im Hinblick auf die Möglichkeiten zur Türöffnung im geparkten Zustand.
  • Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation anzugeben, welches insbesondere eine verbesserte Anpassbarkeit der Parklückenerkennung an unterschiedliche Anforderungen sowie eine verbesserte Beschreibung unterschiedlicher Szenarien ermöglicht.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren der eingangs genannten Art gelöst, wobei das Verfahren die folgenden Schritte umfasst:
    • - Erfassen von ein Umfeld des Fahrzeugs beschreibenden Messdaten mit dem wenigstens einen Umfeldsensor, wobei die Messdaten einem oder mehreren Objekten im Umfeld des Fahrzeugs zugeordnet sind,
    • - Erstellen wenigstens einer das Umfeld des Fahrzeugs beschreibenden Umfeldkarte aus den Messdaten, wobei die Messdaten in der Umfeldkarte räumlich in Bezug zu dem Fahrzeug angegeben sind,
    • - Auswerten der wenigstens einen Umfeldkarte durch die Recheneinrichtung, wobei die Umfeldkarte einem faltenden neuronalen Netzwerk zugeführt wird, wobei das neuronale Netzwerk aus der Umfeldkarte im Umfeld des Fahrzeugs vorhandene Parklücken klassifiziert und lokalisiert, wobei das neuronale Netz aus der Umfeldkarte für jede der Parklücken wenigstens eine Strukturbeschreibung zumindest eines Teils einer die Parklücke begrenzenden Struktur ermittelt, und
    • - Erzeugen der Umfeldinformation aus den klassifizierten und lokalisierten Parklücken sowie der wenigstens einen Strukturbeschreibung.
  • Das erfindungsgemäße Verfahren geht von Messdaten, welche mit einem oder mehreren Umfeldsensoren eines Fahrzeugs ermittelt werden, aus. Die Messdaten beschreiben dabei Objekte im Umfeld des Fahrzeugs. Bei den Objekten kann es sich insbesondere um Fremdfahrzeuge, Infrastrukturobjekte, Gebäude oder Bauwerke sowie um Fahrbahn- und/oder Parkplatzmarkierungen handeln. Insbesondere beschreiben die Messdaten Objekte oder Abschnitte von Objekten, welche im Allgemeinen Parklücken begrenzen können. Die Messdaten können mittels einem oder mehrerer unterschiedlicher Typen von Umfeldsensoren erfasst werden.
  • Die Messdaten können abhängig vom Typ des Umfeldsensors zum Beispiel Messpunkte sein, welchen eine Entfernung zum Fahrzeug zugeordnet ist. Derartige Messpunkte können beispielsweise mittels Ultraschallsensoren, Radarsensoren oder Lidar-Sensoren erzeugt werden. Die Messpunkte können dabei zum Beispiel einen Abstand zu einem Punkt an der Oberfläche des Objekts angeben. Zusätzlich kann den Messpunkten auch eine Richtung zugeordnet sein, sodass die relative Position des Detektionsorts, also einer Oberfläche des Objekts, zu dem Fahrzeug aus den Messpunkten hervorgeht. Bei einem als Kamera ausgebildeten Sensor können die Messdaten als Objekt zum Beispiel eine Fahrbahn- oder Parkplatzmarkierung sowie deren Abstand bzw. Anordnung relativ zum Fahrzeug beschreiben.
  • Aus den erfassten Messdaten, welche insbesondere das aktuelle Umfeld des Fahrzeugs beschreiben, wird anschließend eine Umfeldkarte erstellt. Dazu werden die Messdaten räumlich in Bezug zu dem Fahrzeug angegeben, beispielsweise in einer rechteckigen Karte, in der das Fahrzeug im Zentrum liegt. Die Messdaten können dabei zum Beispiel in einer zweidimensionalen Karte, welche die sich entlang der Fahrzeuglängsrichtung und der Fahrzeugquerrichtung erstreckende Ebene abbildet, eingetragen werden. Die Umfeldkarte kann zum Beispiel als eine Belegungskarte (engl. occupancy map) erzeugt werden. Auch die Verwendung von anderen Kartentypen und/oder Darstellungsarten, welche die relative Anordnung der Messpunkte in Bezug zu dem Fahrzeug wiedergeben, ist möglich. Die Umfeldkarte kann bevorzugt ein räumliches Raster aufweisen, in welches die Messdaten eingetragen werden bzw. welchem die Messdaten zugeordnet werden. Auf diese Weise kann das durch die Messdaten beschriebene Umfeld des Fahrzeugs in der Umfeldkarte abgebildet werden.
  • Die Erfindung beruht auf der Erkenntnis, dass eine solche Umfeldkarte als ein Bild aufgefasst werden kann, bzw. dass für die Bildauswertung verwendete Deep-Learning-Methoden auch auf eine derartige Umfeldkarte anwendbar sein können. Entsprechend wird erfindungsgemäß zur Auswertung der Umfeldkarte ein faltendes neuronales Netz (convolutional neural network, CNN) verwendet. Dieses ist zum Beispiel in der Recheneinrichtung der Sensoreinrichtung hinterlegt, sodass ihm die Umfeldkarte als Eingangsdaten zugeführt werden kann. Alternativ kann das faltende neuronale Netz auch in einer mit den Sensoreinrichtungen kommunizierenden, weiteren Recheneinrichtung, beispielsweise einem Zentralsteuergerät, hinterlegt sein, wobei die weitere Recheneinrichtung insbesondere separat von den Sensoreinrichtungen bzw. den Recheneinrichtungen der Sensoreinrichtung ausgeführt ist
  • Mithilfe des neuronalen Netzes erfolgt eine Auswertung der Umfeldkarte hinsichtlich in der Umgebung des Fahrzeugs vorhandener Parklücken, bzw. in der Umgebung des Fahrzeugs vorhandener, freier Parkplätze, sowie hinsichtlich einer oder mehrerer Strukturen, welche die Parklücke zumindest abschnittsweise begrenzen. Dazu klassifiziert und lokalisiert das neuronale Netzwerk auf Grundlage der Umfeldkarte Parklücken in der Umgebung des Fahrzeugs und ermittelt für jede der Parklücken dabei wenigstens eine Strukturbeschreibung zumindest eines Teils einer die Parklücke begrenzenden Struktur.
  • Insbesondere wird zur Auswertung nur ein einzelnes faltendes neuronales Netz verwendet, welches sowohl die Klassifizierung als auch die Lokalisierung der Parklücken sowie die Ermittlung der wenigstens einen Strukturbeschreibung für die jeweiligen Parklücken durchführt. Mit anderen Worten wird durch das neuronale Netzwerk ein an die YOLO-Methode angelehntes Bildauswerteverfahren an der Umfeldkarte durchgeführt. Es ist möglich, dass dem faltenden neuronalen Netz ein weiteres neuronales Netz zur Auswertung der von dem faltenden neuronalen Netz ermittelten Ausgangsdaten nachgeschaltet ist.
  • Die Klassifizierung der Parklücken kann insbesondere unter Zuordnung einer Klassifizierungswahrscheinlichkeit zu unterschiedlichen Teilabschnitten der Umfeldkarte erfolgen. In anderen Worten kann die Klassifizierung durch Angabe jeweils einer Klassifizierungswahrscheinlichkeit zu unterschiedlichen Teilbereichen der Umfeldkarte erfolgen, wobei die Klassifizierungswahrscheinlichkeit angibt, mit welcher Wahrscheinlichkeit es sich bei dem Teilabschnitt um eine Parklücke handelt.
  • Im Vergleich zu der eingangs beschriebenen, klassischen YOLO-Methode erfolgt die Lokalisierung einer erkannten Parklücke nicht durch das Einfügen eines die Parklücke einfassenden, stets entlang der Bildkanten ausgerichteten rechteckigen Rahmens, sondern es erfolgt stattdessen eine genaue Ermittlung einer oder mehrerer Strukturen, welche die Parklücke jeweils zumindest teilweise begrenzen. Die Strukturen werden dabei jeweils durch wenigstens eine Strukturbeschreibung mathematisch beschrieben.
  • Die Strukturbeschreibung kann insbesondere einen Verlauf der Struktur bzw. eines Abschnitts der Struktur relativ zu dem Fahrzeug beschreiben, sodass die Umfeldinformation vorteilhaft Angaben über die Anwesenheit sowie die relative Anordnung von Strukturen wie Objekten, Markierungen und Ähnlichem, welche die Parklücke begrenzen, umfasst. Vorteilhaft können dabei unterschiedliche Szenarien aus der Umfeldkarte erkannt und als Umfeldinformation nutzbar gemacht werden.
  • Das neuronale Netz kann vorteilhaft dazu eingerichtet sein, aus der Umfeldkarte unterschiedliche Typen von Strukturen zu ermitteln, sodass als Parklückeninformation eine genaue Beschreibung der Umgebung einer mithilfe des neuronalen Netzwerks klassifizierten Parklücke gewonnen werden kann. Aus den von dem neuronalen Netz klassifizierten Parklücken und ihrer relativen Anordnung wird anschließend die Umfeldinformation gebildet. Beispielsweise kann die Umfeldinformation dabei wenigstens die Parklücken enthalten, deren Klassifizierungswahrscheinlichkeit über einem vorgegebenen Grenzwert liegt, wobei zu diesen Parklücken jeweils auch die ermittelte wenigstens eine Strukturbeschreibung angegeben wird.
  • Vorteilhaft wird auf diese Weise eine Umfeldinformation generiert, welche Messdaten verschiedener Typen von Sensoren berücksichtigen und auswerten kann. Dies erlaubt es, das Verfahren flexibel bei unterschiedlichen Typen von Fahrzeugen und/oder bei insbesondere hinsichtlich ihrer Sensoren unterschiedlich konfigurierten Fahrzeugen einzusetzen. Ferner wird ermöglicht, das Verfahren, insbesondere durch ein entsprechendes Training des verwendeten neuronalen Netzes, an unterschiedliche Szenarien anzupassen, sodass auch in einer Vielzahl von unterschiedlichen Umgebungen eine Umfeldinformation erzeugt werden kann, welche eine präzise Beschreibung der Umgebung des Fahrzeugs liefert. Vorteilhaft kann das Verfahren in einfacher Weise auf neue Szenarien ausgedehnt werden, indem diese für ein Training dem neuronalen Netz zugeführt werden.
  • Durch die Strukturbeschreibung, welche für jede klassifizierte Parklücke ermittelt wird, kann die Umfeldinformation flexibel für eine Vielzahl von weiteren Anwendungen, beispielsweise Fahrerassistenzsystemen, eingesetzt werden. Insbesondere können durch die Umfeldinformation alle gängigen Einparkszenarien abgedeckt werden, sodass die weitere Planung und/oder die Durchführung eines Einparkvorgangs auf Grundlage der Umfeldinformation einfach umgesetzt werden können.
  • Die Umfeldinformation kann insbesondere dazu verwendet werden, um einen Aktor des Fahrzeugs und/oder eine Anzeigevorrichtung des Fahrzeugs anzusteuern. Bei dem Aktor des Fahrzeugs kann es sich zum Beispiel um einen zur Querführung und/oder zur Längsführung ausgebildeten Aktor des Fahrzeugs handeln. Der wenigstens eine Aktor kann beispielsweise ein Antriebsmotor des Fahrzeugs und/oder ein Lenkantrieb des Fahrzeugs sein. Die Ansteuerung des Aktors kann dabei zum Beispiel in Abhängigkeit einer aus der Umfeldinformation erzeugten, ein Fahrmanöver des Fahrzeugs beschreibenden Trajektorieninformation erfolgen.
  • In Abhängigkeit der Umfeldinformation kann beispielsweise eine automatisierte oder teilautomatisierte Steuerung eines Einparkvorgangs des Fahrzeugs erfolgen, insbesondere durch Ansteuerung des wenigstens einen Aktors des Fahrzeugs.
  • Das Fahrzeug kann sich bei dem Einparkvorgang vorwärts und/oder rückwärts bewegen, zwischen und/oder während diesen Bewegungen Lenkwinkeländerungen eines eingestellten Lenkwinkels vornehmen und insbesondere auch mehrere Bewegungen bzw. Züge in unterschiedliche Richtungen ausführen. Der Einparkvorgang kann dabei insbesondere derart ausgeführt werden, dass das Fahrzeug in wenigstens einer durch die Umfeldinformation beschriebenen Parklücke positioniert wird.
  • Zusätzlich oder alternativ zu dem Aktor kann auch wenigstens eine Anzeigevorrichtung des Fahrzeugs angesteuert werden, sodass beispielsweise einem Fahrer des Fahrzeugs die im Umfeld des Fahrzeugs ermittelten Parklücken, beispielsweise durch eine entsprechende bildliche Darstellung, kenntlich gemacht werden können. Die Anzeigevorrichtung kann dabei beispielsweise ein in einem Innenraum des Fahrzeugs angeordnetes Display, ein Heads-Up-Display, ein virtueller Seitenspiegel und/oder Ähnliches sein. Die Darstellung auf der Anzeigevorrichtung kann beispielsweise dazu verwendet werden, um dem Fahrer die Auswahl einer von mehreren ermittelten Parklücken als Zielort eines Einparkvorgangs zu ermöglichen. Zusätzlich oder alternativ dazu können Hilfsmittel wie virtuelle Linien und Markierungen für eine Bewegung des Fahrzeugs in eine ermittelte und/oder ausgewählte Parklücke auf der Anzeigevorrichtung angezeigt werden, die es dem Fahrer ermöglichen, eine Bewegung des Fahrzeugs in diese Parklücke zu steuern. Bei einem Fahrzeug, welches für eine fahrerlose Bewegung ausgebildet ist, kann sich die Anzeigevorrichtung auch außerhalb des Fahrzeugs befinden und beispielsweise als ein Mobilgerät und/oder als Teil einer stationären Rechenvorrichtung ausgeführt sein.
  • Bei dem Fahrzeug kann es sich beispielsweise um ein Kraftfahrzeug wie einen Personenkraftwagen oder einen Lastkraftwagen handeln. Weiterhin kann das Fahrzeug auch ein Fahrzeuggespann sein, welches beispielsweise ein Zugfahrzeug sowie einen oder mehrere Anhänger aufweist. Alternativ kann das Verfahren auch bei weiteren Typen von Fahrzeugen eingesetzt werden. Das Fahrzeug kann insbesondere auch ein bewegbarer Roboter sein, welcher sich zumindest lokal frei und insbesondere autonom bewegen kann.
  • Die Parklücke kann zum Beispiel ein Parkplatz für das Fahrzeug sein. Es ist auch möglich, dass die Parklücke eine Ladestation für das Fahrzeug ist und/oder zum Abstellen eines Teils des Fahrzeugs, zum Beispiel eines Anhängers geeignet ist. Weiterhin ist es möglich, dass die Parklücke zum Abstellen einer von dem Fahrzeug mitgeführten Ladung und/oder eines von dem Fahrzeug transportierten Objekts dient. In diesem Kontext kann die Umfeldinformation zum Beispiel Strukturen einer Logistikeinrichtung im Umfeld des Fahrzeugs beschreiben, welche ein präzises Abstellen der Ladung bzw. eines transportierten Objekts ermöglichen.
  • Die Sensoreinrichtung des Fahrzeugs kann eine oder mehrere Umfeldsensoren aufweisen. Die Umfeldsensoren sind dabei an dem Fahrzeug angeordnet, sodass sie die unmittelbare Umgebung des Fahrzeugs erfassen können. Die Sensoreinrichtung umfasst weiterhin eine Recheneinrichtung, welche Teil des Fahrzeugs sein kann. Alternativ ist es möglich, dass die Rechenrichtung eine fahrzeugexterne Rechenrichtung ist, welche beispielsweise mit dem wenigstens einen Umfeldsensor über eine insbesondere drahtlose Kommunikationsverbindung kommuniziert. Eine von einer fahrzeugexternen Recheneinrichtung ermittelte Umfeldinformation kann über die Kommunikationsverbindung auch wieder an das Fahrzeug übermittelt werden, sodass die vorangehend beschriebene Ansteuerung des Aktors und/oder der Anzeigevorrichtung des Fahrzeugs in Abhängigkeit der Umfeldinformation erfolgen kann.
  • Das Erstellen der Umfeldkarte aus den Messdaten des wenigstens einen Umfeldsensors kann ebenfalls durch die Recheneinrichtung erfolgen. Alternativ kann dieser Schritt auch von einer weiteren Recheneinrichtung des Fahrzeugs und/oder einer weiteren, fahrzeugexternen Recheneinrichtung vorgenommen werden, wobei die weitere Recheneinrichtung die Umfeldkarte an die Recheneinrichtung übermittelt.
  • Das zur Auswertung der Umfeldkarte verwendete neuronale Netz ist ein faltendes neuronales Netz (convolutional neural network, CNN), welches in der Recheneinrichtung bzw. einer Speichereinheit der Recheneinrichtung hinterlegt ist. Die Auswertung der Umfeldkarte erfolgt also mittels künstlicher Intelligenz bzw. mittels einer Deep-Learning-Methode. Das faltende neuronale Netz ist insbesondere dazu eingerichtet bzw. dazu trainiert, aus der Umfeldkarte im Umfeld des Fahrzeugs vorhandene Parklücken zu klassifizieren und zu lokalisieren und zum Beispiel mittels Regression jeweils die relative Anordnung der Parklücken zu dem Fahrzeug zu ermitteln. Ferner ist das neuronale Netz dazu eingerichtet bzw. trainiert aus der Umfeldkarte für jede der Parklücken wenigstens eine Strukturbeschreibung zumindest eines Teils einer die Parklücke begrenzenden Struktur zu ermitteln. Auf diese Weise kann die Parklückenermittlung auf Grundlage der Umfeldkarte mittels einem durch maschinelles Lernen anpassbaren und verbesserbaren Vorgang erfolgen. Dies ermöglicht es, die Parklückenermittlung durch entsprechendes Trainieren des neuronalen Netzes flexibel an unterschiedliche Szenarien anzupassen. Vorteilhaft wird so eine einfach umsetzbare Anpassungsmöglichkeit der Parklückenermittlung erreicht.
  • Im Sinne der Erfindung bezeichnet der Begriff „maschinelles Lernen“ (ML) die Verwendung von Algorithmen zur Analyse von Trainingsdaten, zum Lernen aus diesen Trainingsdaten und zur anschließenden Bestimmung oder Vorhersage einer zunächst unbekannten Eigenschaft von auszuwertenden Eingangsdaten. In diesem Zusammenhang können sowohl kontrolliertes Lernen als auch unkontrolliertes Lernen eingesetzt werden. Unter anderem kann die Kennzeichnungsstrategie oder die Kennzeichnung von Trainingsdaten für deren Analyse von entscheidender Bedeutung sein.
  • Der Begriff „deep learning“ (DL) im Sinne der Erfindung umfasst eine Kaskade aus mehreren Schichten nichtlinearer Verarbeitungseinheiten (meist künstliche neuronale Netze) zur Extraktion und Transformation von Merkmalen (oder zur Extraktion und Transformation von Parametern). Der Begriff „künstliches neuronales Netz“ (ANN) oder „faltendes neuronales Netz“ (CNN) umfasst Netze künstlicher Neuronen, die abstrakt wie in einem Nervensystem eines Lebewesens in Bezug auf die Informationsverarbeitung miteinander verbunden sind. Die Neuronen können als Knoten und deren Verbindungen als Kanten in einem Diagramm dargestellt werden. Die hinterste (Knoten-)Ebene des Netzwerks wird als Ausgabeschicht bezeichnet und die „unsichtbaren“ (Knoten-)Ebenen, die sich vorne befinden, werden als versteckte Ebenen bezeichnet.
  • Derartige künstliche neuronale Netze können vom Aufbau einschichtig (eine Ausgabeschicht), zweischichtig (eine Ausgabeschicht und eine verdeckte Schicht zur Verbesserung der Abstraktion) oder mehr-schichtig (mindestens eine Ausgabeschicht sowie mehrere verdeckte Schichten zur Verbesserung der Abstraktion) sein. Zudem können diese in Hinblick auf ihre Datenübertragung vorwärtsgerichtet (feedforward) und/oder mit rückwärtsgerichteten Kanten (rekurrente Verbindungen) ausgestaltet sein (Rückkopplung; Feedbacknetz).
  • Im Sinne der Erfindung bezeichnet der Begriff „computerimplementiertes Verfahren“ einen Ablaufplan, der auf der Grundlage eines Datenprozessors realisiert und durchgeführt werden kann. Der Datenprozessor, z.B. ein Computer, ein Computernetzwerk oder ein anderes programmierbares Gerät, kann Daten mittels programmierbarer Berechnungsregeln verarbeiten. In Bezug auf die Methode können wesentliche Eigenschaften realisiert werden, z.B. durch ein neues Programm, neue Programme, Algorithmen oder Ähnliches.
  • Erfindungsgemäß kann vorgesehen sein, dass die Umfeldkarte ein Kartenraster enthält und die Messdaten den Zellen des Kartenrasters zugeordnet werden, wobei für jede Zelle die Anzahl von der Zelle zugeordneten Messpunkten der Messdaten, die Höhe eines von den der Zelle zugeordneten Messdaten beschriebenen Objekts, der Typ eines von den der Zelle zugeordneten Messdaten beschriebenen Objekts und/oder wenigstens eine Signaleigenschaft von der Zelle zugeordneten Messdaten angegeben wird.
  • Beispielsweise können bei Messdaten, welche von einem Sensortyp stammen, der reflektierte Echos von ausgesendeten Signalen auswertet, als Signaleigenschaften jeweils die Anzahl der von einem Objekt aus der Zelle reflektierten Echos gespeichert werden. Bei einem Sensor dieses Typs kann es sich zum Beispiel um einen Ultraschallsensor, einen Radarsensor oder einen Lidarsensor handeln. Die Echos können dabei insbesondere jeweils einen Messpunkt darstellen. Ferner ist es möglich, dass aus den Echos bzw. Messpunkten von derartigen Sensoren auch eine Information über die Höhe des Objekts, an dem das Echo reflektiert wurde, bestimmbar ist. Eine diese Höhe des Objekts beschriebene Höheninformation kann für jeden Messpunkt oder über mehrere Messpunkte gemittelt ebenfalls den einzelnen Zellen des Kartenrasters der Umfeldkarte zugeordnet werden.
  • Als Signaleigenschaft kann beispielsweise die Intensität von der Zelle zugeordneten Echos bzw. Messpunkten in der Umfeldkarte hinterlegt werden. Die Intensität kann dabei für die einzelnen Messpunkte oder gemittelt angegeben werden. Je nach Sensortyp können auch weitere Eigenschaften der Messdaten, insbesondere Eigenschaften, welche Rückschlüsse auf einen Objekttyp und/oder eine Detektionsgüte ermöglichen, in der Umfeldkarte eingetragen werden.
  • Weiterhin kann auch der Typ eines durch die Messdaten für die jeweilige Zelle beschriebenen Objekts in der Umfeldkarte angegeben bzw. den einzelnen Zellen zugeordnet werden. Der Typ eines Objekts kann aus den Messdaten, beispielsweise aus über eine Umfeldkamera gewonnenen Messdaten, ermittelt werden. Auf diese Weise können auch Objekte, welche über Ultraschall-, Radar- oder Lidarsensoren nicht oder nur schlecht erfassbar sind, wie zum Beispiel Fahrbahn- oder Parkplatzmarkierungen, in der Umfeldkarte eingetragen werden.
  • Diese Informationen werden dabei insbesondere denjenigen Zellen zugeordnet, deren Position mit der über die Sensoreinrichtung ermittelten Objektposition entspricht. Insbesondere können Zellen der Umfeldkarte, welche einem nicht von einem Objekt blockiertem Raumabschnitt im Umfeld des Fahrzeugs entsprechen, keine Messdaten zugeordnet werden, sodass diese frei bleiben.
  • Erfindungsgemäß kann vorgesehen sein, dass das neuronale Netz dazu eingerichtet ist, die Umfeldkarte mit einem mehrere Zellen umfassenden Auswertungsraster zu überlagern, wobei jeder Zelle wenigstens ein Rahmen zugewiesen ist, wobei in der Umfeldinformation für jeden der Rahmen eine Klassifizierung als Parklücke, eine Orientierung einer durch die Messdaten beschriebenen und dem Rahmen zugeordneten Parklücke relativ zu dem Rahmen, und/oder wenigstens eine Strukturbeschreibung einer die Parklücke begrenzenden Struktur angegeben wird.
  • Der Rahmen, welcher auch als Box bezeichnet werden kann, weist dabei insbesondere eine rechteckige Form auf. Es ist möglich, dass die Rahmen mehrerer Zellen des Auswertungsrasters jeweils bezüglich der Zellen gleich positioniert und/oder ausgerichtet sind. Die Rahmen stellen jeweils Initialannahmen für mögliche Parklücken dar, welchen durch das neuronale Netz jeweils eine Klassifizierungsangabe, zum Beispiel eine Klassifizierungswahrscheinlichkeit, für eine Klassifizierung als Parklücke zugeordnet werden kann. Dies ermöglicht ebenfalls eine zumindest grundlegende Lokalisierung möglicher Parklücken in der Umfeldkarte. Für jeden als eine Parklücke klassifizierten Rahmen können einen oder mehrere Strukturbeschreibungen ermittelt und in der Umfeldinformation dem Rahmen zugeordnet werden. Insbesondere für jeden als Parklücke klassifizierten Rahmen können somit die für die jeweilige Parklücke relevanten Strukturen angegeben werden.
  • Zusätzlich dazu können zumindest für als Parklücken klassifizierte Rahmen weiterhin zusätzliche Eigenschaften, welche die genaue Positionierung und/oder Orientierung der Parklücke und/oder deren jeweilige Breite und Länge beschrieben, mittels Regression durch das neuronale Netzwerk ermittelt und ebenfalls als ein Teil der Umfeldinformation gespeichert bzw. weiterverarbeitet werden. Dazu kann beispielsweise ein Rotationswinkel angegeben werden, um den der jeweilige Rahmen gedreht werden muss, um mit der tatsächlichen Parklücke übereinzustimmen. Zusätzlich oder alternativ dazu können auch weitere den geometrischen Bezug beschreibende Parameter, zum Beispiel ein Skalierungsfaktor zwischen Rahmen und Parklücke oder Ähnliches, angegeben werden.
  • In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass ein Auswertungsraster verwendet wird, in dem jeder Zelle mehrere unterschiedlich positionierte und/oder unterschiedlich orientierte Rahmen zugeordnet sind. Die Rahmen können dabei beispielsweise zwei um 90° gegeneinander verdreht angeordnete, rechteckige Rahmen sein. Dies vereinfacht die Ermittlung der relativen Ausrichtung der Parklücke zum Fahrzeug, da initial von dem Rahmen ausgegangen werden kann, welcher bereits die größere Übereinstimmung mit einer durch die Umfeldkarte beschriebenen Parklücke bzw. die höhere Klassifizierungswahrscheinlichkeit aufweist.
  • Es ist auch möglich, dass jede Zelle des Auswertungsraters mehr als zwei Rahmen enthält und/oder dass diese in einer anderen Weise zueinander orientiert sind. Insbesondere kann das Auswertungsraster einen ersten rechteckigen Rahmen, dessen längere Kanten in Fahrzeuglängsrichtung verlaufen, sowie zwei zweite Rahmen aufweisen, wobei die längeren Kanten der zweiten Rahmen jeweils in Fahrzeugquerrichtung verlaufen. Die zweiten Rahmen können dabei jeweils in Fahrzeuglängsrichtung versetzt in der Zelle angeordnet werden. Vorteilhaft kann dabei ein Raster verwendet werden, dessen Zellen parallel zu der Fahrzeuglängsrichtung und parallel zu der Fahrzeugquerrichtung verlaufende Kanten aufweisen.
  • Je mehr Rahmen das Auswerterasters umfasst, desto genauer können die Anordnung und/oder der Verlauf von durch die Strukturbeschreibungen beschriebenen Strukturen ermittelt bzw. in der Umfeldinformation wiedergegeben werden. Ferner können auch eine Lokalisierung und eine Ermittlung der relativen Anordnung der Parklücke in Bezug zu dem Fahrzeug mit einer verbesserten Genauigkeit erfolgen.
  • In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass als Strukturbeschreibung wenigstens eine Konturlinie verwendet wird, wobei die Konturlinie aus einem oder mehreren Liniensegmenten und/oder durch zwei oder mehr Punkte gebildet ist.
  • Das Verwenden einer Konturlinie zur Beschreibung der Struktur oder eines Teils der Struktur erlaubt es, die Parklücke begrenzende Seitenflächen der Struktur mit einer hohen Genauigkeit abzubilden, sodass zum Beispiel ein Fahrmanöver bzw. einer Trajektorienplanung auf Grundlage der Umfeldinformation effizient und präzise durchgeführt werden können. Eine Beschreibung der Konturlinie als eine Poly-Linie aus mehreren Liniensegmenten und/oder durch zwei oder mehr Punkte ermöglicht dabei eine kompakte Wiedergabe der Strukturbeschreibung und somit ebenfalls eine kompakte Umfeldinformation, was sich vorteilhaft auf den Speicherbedarf und/oder den Rechenbedarf für die Verarbeitung der Umfeldinformation auswirkt.
  • Erfindungsgemäß kann vorgesehen sein, dass die Strukturbeschreibung zumindest eine zum Fahrzeug weisende Kante eines die Parklücke begrenzenden Objekts, zumindest eine die Parklücke in Längsrichtung und/oder in Querrichtung begrenzende Kante eines die Parklücke begrenzenden Objekts, zumindest eine Kante eines eine Einfahrtsöffnung der Parklücke begrenzenden Objekts, zumindest eine Kante eines der Einfahrtsöffnung gegenüberliegenden Objekts und/oder zumindest eine Parkplatzmarkierung beschreibt.
  • Ein eine zum Fahrzeug weisende Kante umfassendes und die Parklücke begrenzendes Objekt kann zum Beispiel ein weiteres Fahrzeug sein, welches neben der Parklücke steht. Weiterhin kann das Objekt auch ein Bauwerk, ein Bestandteil der Infrastruktur oder Ähnliches sein. Derartige Objekte können auch wenigstens eine weitere Kante aufweisen, welche die Parklücke in Längsrichtung und/oder in Querrichtung begrenzt. Ein Objekt, welches eine Einfahrtsöffnung der Parklücke begrenzt, kann zum Beispiel auch ein Pfeiler, ein großer Stein o. ä. sein, welcher beim Einfahren in die Parklücke umfahren werden muss.
  • Die durch die Strukturbeschreibung beschriebene Struktur kann auch ein Objekt sein, welches einer Einfahrtsöffnung der Parklücke gegenüberliegt. Bein einem derartigen Objekt kann es sich zum Beispiel um einen Bordstein, eine Mauer oder ein weiteres Fahrzeug handeln. Durch die Strukturbeschreibung kann weiterhin auch eine Parkplatzmarkierung beschrieben werden, welche einzelne Kanten eines Parkplatzes und/oder einen Umriss eines Parkplatzes kennzeichnet.
  • Die durch die Strukturbeschreibungen beschriebenen Strukturen begrenzen die Parklücke jeweils entweder physisch oder legen, wie beispielsweise die Markierung, einen vorgesehenen Parkplatz fest. Durch die Beschreibung dieser Strukturen im Rahmen der Umfeldinformation wird es ermöglicht, für die unterschiedlichen Szenarien, welche sich aus beliebigen Kombination der vorangehend genannten Strukturen ergeben, jeweils eine passende Trajektorie zu ermitteln, welche beispielsweise eine Bewegung des Fahrzeugs in die Parklücke zwischen den Strukturen ermöglicht.
  • Es ist möglich, dass die Strukturbeschreibung für die Objekte auch eine Höheninformation enthält, wenn diese beispielsweise als Teil der Messdaten vorliegt und/oder wenn diese mithilfe des neuronalen Netzes aus der Umfeldkarte ermittelt werden kann. Beispielsweise für eine Einfahrtsöffnung der Parklücke gegenüberliegende Strukturen können auch mehrere Bordsteine und/oder mehrere Mauern durch jeweils eine Strukturbeschreibung beschrieben werden, beispielsweise wenn die Parklücke zunächst durch einen oder mehrere Bordsteine begrenzt wird, auf die weiter von der Einfahrtsöffnung entfernt eine Mauer folgt. In solchen Fällen kann beispielsweise das Fahrzeug derart eingeparkt werden, dass es teilweise über die Bordsteine ragt, ohne gegen die Mauer zu stoßen (sogenanntes Boot-Over-Scenario). Zusätzlich oder alternativ dazu kann auch teilweise auf einem Bordstein geparkt werden, wenn dieser eine Höhe aufweist, welche ein Überfahren des Bordsteins durch das Kraftfahrzeug ermöglicht.
  • Durch das Berücksichtigen von die Einfahrtsöffnung begrenzenden Strukturen können beispielsweise Szenarien wie in Tiefgaragen beschrieben werden, bei denen die zur Verfügung stehenden Parkplätze seitlich durch Pfeiler o. ä. begrenzt werden. Vorteilhaft können durch die Umfeldinformation auf diese Weise unterschiedliche Parkszenarien ermittelt und als Teil der Umfeldinformation abgebildet werden. Die Verwendung des neuronalen Netzes ermöglicht es in diesem Zusammenhang vorteilhaft, eine Vielzahl unterschiedlicher Szenarien effizient und korrekt zu behandeln.
  • Erfindungsgemäß kann vorgesehen sein, dass die Umfeldinformation für zumindest einen Teil der klassifizierten Parklücken eine Parkflächeninformation, welche die Anordnung und/oder Orientierung einer zur Verfügung stehenden Parkfläche in der Parklücke beschreibt, und/oder wenigstens eine Parklückentypklassifizierung, welche eine Klassifizierung für wenigstens einen Parklückentyp angibt, umfasst.
  • Die Parkflächeninformation kann dabei angeben, welche Parkfläche innerhalb der erkannten Parklücke zur Verfügung steht. Diese kann beispielsweise berücksichtigen, dass durch einen Teil der Strukturen die Parkfläche innerhalb der Parklücke für das Fahrzeug reduziert sein kann. Ferner kann sich auch, beispielsweise durch das vorangehend beschriebene Überfahren eines Bordsteins oder das Parken derart, dass ein Teil des Fahrzeugs über den Bordsteinrad, eine Parkfläche ergeben, welche größer als eine Lücke zwischen den die Parklücke begrenzenden Strukturen ist. Die Parkflächeninformation kann dabei zum Beispiel als Lokalisierung der Parklücke mittels Regression durch das neuronale Netz ermittelt werden.
  • Die Parklückentypklassifizierung kann in Bezug zu einer klassifizierten Parklücke angeben, ob es sich beispielsweise um eine Querparklücke oder eine Längsparklücke handelt. Dazu kann beispielsweise für jede klassifizierte Parklücke in der Umfeldinformation eine Klassifizierung als Querparklücke sowie eine Klassifizierung als Längsparklücke enthalten sein, wobei die jeweiligen Klassifizierungen beispielsweise als Klassifizierungswahrscheinlichkeit angegeben werden können. Dabei beschreibt eine Längsparklücke eine Parklücke, in die längs zu Fahrtrichtung einer Straße, auf der sich das Fahrzeug befindet, geparkt werden kann. Entsprechend bezeichnet eine Querparklücke, eine Parklücke, in welcher das Fahrzeug quer zu Fahrtrichtung einer Straße, auf der sich das Fahrzeug befindet, geparkt werden kann. Eine Unterscheidung zwischen einer Querparklücke und einer Längsparklücke kann zum Beispiel durch das Bereitstellen zweier rechteckiger und gegeneinander um 90° verdrehter Rahmen im Auswerteraster in besonders einfacher Weise erfolgen.
  • Zusätzlich ist es möglich, dass auch unterschiedliche Arten von Querparklücken unterschiedlich klassifiziert werden. Beispielsweise können Querparklücken, welche vorwärts befahren werden können, sowie Querparklücken, welche von dem Kraftfahrzeug rückwärts befahren werden können, jeweils eine eigenständige Klassifizierung aufweisen. In welcher Richtung eine Querparklücke von dem Fahrzeug befahren werden kann, kann auch über eine Orientierung der Parklücke relativ zu dem Fahrzeug, welche ebenfalls von dem neuronalen Netzwerk ermittelt werden kann, abgeleitet werden. Auf diese Weise können in der Umfeldinformation Klassifizierungen angegeben werden, welche das anschließende Verwenden der Umfeldinformation zur Durchführung einer Parkbewegung bzw. zur Ermittlung einer Trajektorie für eine solche Bewegung, signifikant erleichtern.
  • Die von dem faltenden neuronalen Netz ermittelte Umfeldinformation kann in einem nachgelagerten Schritt durch eine Positionsinformation ergänzt werden. Durch die Positionsinformation kann berücksichtigt werden, dass die Parklücke und/oder die grundsätzlich zur Verfügung stehende Parkfläche in der Parklücke in der Regel größer als die von dem Fahrzeug nach dem Einparken eingenommene Fläche ist. Die Zielposition kann daher insbesondere vollständig innerhalb der Parklücke und/oder innerhalb einer Parkfläche liegen und dabei beispielsweise zu den Rändern bzw. zu den Kanten der Parklücke einen vorgegebenen Sicherheitsabstand einhalten. Die Zielposition kann zum Beispiel ebenfalls durch ein Rechteck beschrieben werden, welches eine geringere Kantenlänge als die Parklücke bzw. die Parkfläche aufweist und/oder gegenüber der Parklücke bzw. der Parkfläche um einen Winkel verdreht ist.
  • In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass eine Sensoreinrichtung verwendet wird, welche als wenigstens einen Umfeldsensor eine mehrere Ultraschallsensoren umfassende Ultraschallsensoranordnung, wenigstens einen Lidarsensor, wenigstens einen Radarsensor und/oder wenigstens eine Umfeldkamera umfasst. Die Sensoreinrichtung kann insbesondere mehrere der vorgenannten Sensortypen und/oder Kombinationen der vorgenannten Sensortypen umfassen. Die jeweiligen Messdaten von verschiedenen Sensoren können insbesondere in derselben Umfeldkarte eingetragen bzw. zusammengeführt werden.
  • Weiterhin betrifft die Erfindung ein Verfahren zum Trainieren eines faltenden neuronalen Netzes, umfassend die Schritte:
    • - Bereitstellen wenigstens eines Trainingsdatensatzes umfassend mehrere jeweils das Umfeld eines Fahrzeugs beschreibende Trainings-Umfeldkarten aus Trainings-Messdaten, wobei die Trainings-Messdaten in der Trainings-Umfeldkarte räumlich in Bezug zu dem Fahrzeug angegeben sind,
    • - Zuweisen einer wenigstens eine Parklücke in dem Umfeld des Fahrzeugs beschreibenden Grundwahrheit zu zumindest einer Teilmenge der Trainings-Umfeldkarten, wobei die Grundwahrheit zumindest einen Abschnitt der Trainings-Umfeldkarte als eine Parklücke klassifiziert und lokalisiert, wobei die Grundwahrheit für die Parklücke wenigstens eine Strukturbeschreibung zumindest eines Teils einer die Parklücke begrenzenden Struktur angibt,
    • - Überlagern der Trainings-Umfeldkarten jeweils mit einem mehrere Zellen umfassenden Auswertungsraster, wobei jeder Zelle des Auswertungsrasters wenigstens ein Rahmen zugewiesen ist und jedem Rahmen wenigstens eine Strukturbeschreibung zugeordnet ist,
    • - Ermitteln des jeweiligen Rahmens mit dem größten Überlapp zu der wenigstens einen, durch die Grundwahrheit beschriebenen Parklücke,
    • - Optimieren des neuronalen Netzes hinsichtlich einer Übereinstimmung der wenigstens einen Strukturbeschreibung des Rahmens mit dem größten Überlapp und der durch die Grundwahrheit beschriebenen Strukturbeschreibung.
  • Das erfindungsgemäße Verfahren zum Trainieren eines faltenden neuronalen Netzes kann insbesondere zum Trainieren eines in einem erfindungsgemäßen Verfahren zum Ermitteln einer wenigstens eine Parklücke beschreibenden Umfeldinformation eingesetzten neuronalen Netz verwendet werden. Durch das Training können die internen Parameter des neuronalen Netzes angepasst werden, sodass dieses für die Auswertung der aus den Messdaten erstellten Umfeldkarten gemäß dem erfindungsgemäßen Verfahren zum Ermitteln einer wenigstens eine Parklücke beschreibenden Umfeldinformation eingerichtet bzw. ausgebildet werden kann.
  • Das Erstellen der Trainings-Umfeldkarten aus den Trainings-Messdaten erfolgt insbesondere analog zu dem Erstellen der Umfeldkarten aus den Messdaten, so wie es vorangehend beschrieben wurde. Die Trainings-Messdaten sind in den Trainings-Umfeldkarte jeweils in Bezug zu der Position eines Fahrzeugs angegeben. Die Trainings-Messdaten können beispielsweise mittels einer wenigstens einen Umfeldsensor umfassenden Sensoreinrichtung eines Fahrzeugs zu einem früheren Zeitpunkt ermittelt worden sein und anschließend für das Training herangezogen werden. Alternativ können auch auf andere Weise erstellte und/oder berechnete Trainings-Messdaten verwendet werden.
  • Den Trainings-Umfeldkarten wird anschließend jeweils eine Grundwahrheit zugewiesen. Für zumindest eine Teilmenge der Training-Umfeldkarten beschreibt die Grundwahrheit dabei eine oder mehrere Parklücken in der Umfeldkarte. Zusätzlich gibt die Grundwahrheit dabei für die Parklücken jeweils auch wenigstens eine Strukturbeschreibung an, welche eine Struktur beschreibt, die die durch die Grundwahrheit beschriebene Parklücke zumindest teilweise begrenzt. Es ist möglich, dass für die weiteren Trainings-Umfeldkarten, welche von der Teilmenge nicht umfasst sind, eine Grundwahrheit verwendet wird, welche keine Parklücke beschreibt. Dies ermöglicht es beispielsweise, eine Falsch-Positiv-Rate der Parklückenerkennung zu verbessern.
  • Eine wenigstens eine Parklücke beschreibende Grundwahrheit kann auch weitere, von dem neuronalen Netz zu ermittelnde Parameter der Parklücke enthalten, beispielsweise den Ort für die Lokalisierung der Parklücke und/oder die relative Orientierung der Parklücke zu dem in der Trainings-Umfeldkarte beschriebenen Fahrzeug. Die Grundwahrheit stellt dabei das Ergebnis dar, auf das die Auswertung des neuronalen Netzes beim Training hin optimiert wird.
  • Die Trainings-Umfeldkarten werden anschließend während des Trainings jeweils mit einem mehrere Zellen umfassenden Auswerteraster, welches in Bezug zu dem Training des neuronalen Netzes auch als Trainings-Auswerteraster bezeichnet werden kann, überlagert. Den Zellen des Auswerterasters ist dabei jeweils wenigstens ein Rahmen bzw. wenigstens eine Box zugewiesen. Diese stellen Initial-Annahmen für mögliche Parklücken dar.
  • Danach wird aus der Mehrzahl an Rahmen im Auswerteraster derjenige Rahmen ausgewählt, der jeweils den größten Überlapp mit einer durch die Grundwahrheit beschriebenen Parklücke hat. Dabei wird insbesondere für jede in der Grundwahrheit beschriebene Parklücke der Rahmen mit dem jeweils größten Überlapp bestimmt. Der Überlapp bzw. die Überlappung kann auch als Intersection Over Union (IoU) bezeichnet werden und gibt an, zu welchem Anteil jeder der Rahmen im Auswerteraster mit einer der durch die Grundwahrheit beschriebenen Parklücken überlappt.
  • Nach dem Ermitteln des jeweiligen Rahmens mit dem größten Überlapp zu einer oder mehrerer der durch die Grundwahrheit beschriebenen Parklücken erfolgt eine Optimierung des neuronalen Netzes hinsichtlich der wenigstens einen Strukturbeschreibung des Rahmens mit dem größten Überlapp und der durch die Grundwahrheit beschriebenen Strukturbeschreibung. Die Strukturbeschreibungen der Rahmen, welche nicht den größten Überlapp aufweisen, können jeweils verworfen werden bzw. leer bleiben, da den Rahmen jeweils keine Parklücke zugeordnet ist und entsprechend auch keine Strukturbeschreibung in der Grundwahrheit vorhanden ist.
  • Auch eine Optimierung des neuronalen Netzes hinsichtlich einer Übereinstimmung in der relativen Anordnung zwischen dem jeweiligen Rahmen mit dem größten Überlapp und einer durch die Grundwahrheit beschriebenen, dem Rahmen zugeordneten Parklücke kann dabei erfolgen. Dazu kann zum Beispiel die Grundwahrheit auch eine Orientierung der durch die Grundwahrheit angegebenen Parklücke enthalten, sodass entsprechend auch eine Optimierung einer von dem neuronalen Netz ermittelten Orientierung eines der Rahmen erfolgen kann. Auf diese Weise kann das neuronale Netz effizient für die Erkennung von Parklücken sowie der die Parklücke jeweils begrenzenden Umgebung in Umfeldkarten trainiert werden, insbesondere für einen Einsatz in einem erfindungsgemäßen Verfahren zur Ermittlung einer wenigstens eine Parklücke beschreibenden Umfeldinformation.
  • Erfindungsgemäß kann vorgesehen sein, dass jeder Zelle mehrere unterschiedlich positionierte und/oder unterschiedlich orientierte Rahmen zugeordnet sind und/oder dass für das Ermitteln des Überlapps bestimmt wird, in welcher Zelle jeweils der Mittelpunkt der wenigstens einen durch die Grundwahrheit beschriebenen Parklücke liegt, wobei derjenige Rahmen dieser Zelle als Rahmen mit dem größten Überlapp gewählt wird, dessen Überschneidung mit der durch die Grundwahrheit beschriebenen Parklücke am größten ist. Wenn zunächst ermittelt wird, in welcher Zelle des Auswerterasters der Mittelpunkt der oder einer durch die Grundwahrheit beschriebenen Parklücke liegt, kann die Anzahl der Rahmen, zu der jeweils der Überlapp ermittelt wird, reduziert werden, sodass weniger Berechnungsschritte erforderlich sind und somit ein effizienteres Training möglich ist.
  • In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass ein Auswertungsraster verwendet wird, in dem jeder Zelle mehrere unterschiedlich positionierte und/oder unterschiedlich orientierte Rahmen zugeordnet sind und/oder dass die Klassifizierung der Parklücke eine Klassifizierung als Querparklücke und als Längsparklücke umfasst.
  • Analog zu der Ermittlung der wenigstens eine Parklücke beschreibenden Umfeldinformation können auch beim Training mehrere Rahmen pro Zelle des Auswerterasters verwendet werden. Diese Rahmen können jeweils insbesondere rechteckig sein und an unterschiedlichen Positionen und/oder mit unterschiedlichen Orientierungen zu den Kanten einer rechteckigen Zelle des Auswerterasters angeordnet sein. Diese Rahmen können zum Beispiel dafür verwendet werden, eine Unterscheidung zwischen einer Querparklücke und einer Längsparklücke vorzunehmen und somit das neuronale Netz auch hinsichtlich einer entsprechenden Klassifizierung bzw. Unterscheidung zu trainieren.
  • Erfindungsgemäß kann vorgesehen sein, dass als Strukturbeschreibung der Grundwahrheit wenigstens eine Konturlinie verwendet wird, wobei die Konturlinie aus einem oder mehreren Liniensegmenten und/oder durch zwei oder mehr Punkte gebildet ist, und/oder dass die Strukturbeschreibung der Grundwahrheit zumindest eine zum Fahrzeug weisende Kante eines die Parklücke begrenzenden Objekts, zumindest eine die Parklücke in Längsrichtung und/oder in Querrichtung begrenzende Kante eines die Parklücke begrenzenden Objekts, zumindest eine Kante eines eine Einfahrtsöffnung der Parklücke begrenzenden Objekts, zumindest eine Kante eines der Einfahrtsöffnung gegenüberliegenden Objekts und/oder zumindest eine Parkplatzmarkierung beschreibt. Auf diese Weise kann erreicht werden, dass ein Training des neuronalen Netzes auch hinsichtlich der bevorzugten Strukturbeschreibungen in Form von Konturlinien erfolgen kann, sowie dass für eine anschließende Verwendung der Umfeldinformation insbesondere für einen Parkvorgang relevante Strukturbeschreibungen in der Umfeldinformation korrekt abgebildet werden.
  • In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Grundwahrheit für zumindest einen Teil der klassifizierten Parklücken eine Parkflächeninformation, welche die Anordnung und/oder Orientierung einer zur Verfügung stehende Parkfläche in der Parklücke beschreibt und/oder wenigstens eine Parklückentypklassifizierung, welche eine Klassifizierung für wenigstens einen Parklückentyp angibt, umfasst, wobei die Optimierung des neuronalen Netzes auch hinsichtlich der Parkflächeninformation und/oder der Parklückenklassifizierung erfolgt. Auf diese Weise kann das neuronale Netzwerk vorteilhaft dazu eingerichtet werden, aus der Umfeldkarte die Parkflächeninformation und/oder die Parklückenklassifizierung als ein Teil der Umfeldinformation zu ermitteln.
  • Die Erfindung betrifft weiterhin eine Sensoreinrichtung umfassend wenigstens einen Umfeldsensor und eine Recheneinrichtung, wobei die Recheneinrichtung zur Durchführung eines erfindungsgemäßen Verfahrens zum Ermitteln einer wenigstens eine Parklücke beschreibenden Umfeldinformation eingerichtet ist.
  • Ferner betrifft die Erfindung ein Fahrzeug umfassend wenigstens eine erfindungsgemäße Sensoreinrichtung.
  • Die Erfindung betrifft außerdem ein Computerprogrammprodukt umfassend Instruktionen, welche eine Recheneinrichtung dazu veranlassen, ein erfindungsgemäßes Verfahren zum Ermitteln einer wenigstens eine Parklücke beschreibenden Umfeldinformation auszuführen.
  • Darüber hinaus betrifft die Erfindung ein computerlesbares Speichermedium umfassend ein erfindungsgemäßes Computerprogrammprodukt. Bei dem computerlesbaren Speichermedium kann es sich zum Beispiel um einen nichttransienten Datenträger, beispielsweise eine CD, eine DVD, eine Diskette, einen Flash-Speicher oder Ähnliches handeln.
  • Sämtliche vorangehend für das erfindungsgemäße Verfahren zum Ermitteln einer wenigstens eine Parklücke beschreibenden Umfeldinformation beschriebenen Vorteile und Ausgestaltungen gelten entsprechend auch für das erfindungsgemäße Verfahren zum Trainieren eines faltenden neuronalen Netzes und umgekehrt.
  • Ferner gelten sämtliche in Bezug zu einem der erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen auch entsprechend für die erfindungsgemäße Sensoreinrichtung, das erfindungsgemäße Fahrzeug, das erfindungsgemäße Computerprogrammprodukt sowie das erfindungsgemäße computerlesbare Speichermedium und umgekehrt.
  • Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
    • 1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs umfassend ein Ausführungsbeispiel einer erfindungsgemäßen Sensoreinrichtung,
    • 2 eine Darstellung einer Umfeldkarte zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer wenigstens eine Parklücke beschreibenden Umfeldinformation,
    • 3 eine Darstellung einer mit einem Auswerteraster überlagerten Umfeldkarte zur Erläuterung des Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer wenigstens eine Parklücke beschreibenden Umfeldinformation sowie eines Ausführungsbeispiels zum Trainieren eines neuronalen Netzes, und
    • 4 eine Darstellung einer Parklücke sowie mehrerer der Parklücke zugeordneten Strukturbeschreibungen.
  • In 1 ist ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs 1 gezeigt. Bei dem Fahrzeug 1 kann es sich beispielsweise um ein Kraftfahrzeug wie einen Personenkraftwagen oder einen Lastkraftwagen handeln. Weiterhin kann das Fahrzeug 1 auch ein Fahrzeuggespann sein, welches beispielsweise ein Zugfahrzeug sowie einen oder mehrere Anhänger aufweist. Alternativ kann das Verfahren auch bei weiteren Typen von Fahrzeugen eingesetzt werden.
  • Das Fahrzeug 1 umfasst eine Sensoreinrichtung 2, welche mehrere Umfeldsensoren 3 sowie eine Recheneinrichtung 4 aufweist. Die Umfeldsensoren 3 der Sensoreinrichtung 2 sind beispielsweise als Ultraschallsensoren ausgeführt.
  • Zusätzlich oder alternativ dazu kann zumindest ein Teil der Umfeldsensoren 3 auch als Umfeldkamera, als Radarsensor und/oder als Lidarsensor ausgebildet sein.
  • Die Rechnereinrichtung 4 der Sensoreinrichtung 2 ist im vorliegenden Ausführungsbeispiel als ein Teil des Fahrzeugs 1 dargestellt. Es ist möglich, dass die Recheneinrichtung 4 in einen der Umfeldsensoren 3 integriert ist oder dass es sich um eine fahrzeugexterne Recheneinrichtung handelt. Eine fahrzeugexterne Recheneinrichtung kann dabei über eine insbesondere drahtlose Kommunikationsverbindung mit den Umfeldsensoren 3 und/oder weiteren Einrichtungen des Fahrzeugs 1 kommunizieren.
  • Mittels der Umfeldsensoren 3 können Messdaten aus dem Umfeld des Fahrzeugs 1 ermittelt werden. Die Messdaten beschreiben Objekte, welche sich im Umfeld des Fahrzeugs 1 befinden. Bei den Objekten kann es sich beispielsweise um andere Verkehrsteilnehmer wie weitere Fahrzeuge o. ä. handeln. Weiterhin können als Objekte auch unbewegliche Objekte, beispielsweise Infrastrukturobjekte, Teile von Gebäuden o. ä. erfasst werden.
  • Die Recheneinrichtung 4 der Sensoreinrichtung 2 ist dazu ausgebildet, ein Verfahren zum Ermitteln einer wenigstens eine Parklücke im Umfeld des Fahrzeugs 1 beschreibenden Umfeldinformation durchzuführen. In Abhängigkeit der Umfeldinformation kann beispielsweise eine automatisierte oder teilautomatisierte Steuerung eines Einparkvorgangs des Fahrzeugs 1 erfolgen, insbesondere durch Ansteuerung wenigstens eines Aktors (nicht dargestellt) des Fahrzeugs 1. Das Fahrzeug 1 kann sich bei dem Einparkvorgang vorwärts und/oder rückwärts bewegen, Lenkbewegungen ausführen und insbesondere auch mehrere Teilbewegungen bzw. Züge ausführen. Der Einparkvorgang kann dabei insbesondere derart ausgeführt werden, dass das Fahrzeug in wenigstens einer durch die Umfeldinformation beschriebenen Parklücke positioniert wird.
  • Zusätzlich oder alternativ zu dem Aktor kann auch eine Anzeigevorrichtung (nicht dargestellt) des Fahrzeugs 1 angesteuert werden, sodass beispielsweise einem Fahrer des Fahrzeugs 1 die im Umfeld des Fahrzeugs ermittelten Parklücken, beispielsweise durch eine entsprechende bildliche Darstellung, kenntlich gemacht werden können. Die Anzeigevorrichtung kann dabei beispielsweise ein in einem Innenraum des Fahrzeugs 1 angeordnetes Display, ein Heads-Up-Display, ein virtueller Seitenspiegel oder Ähnliches sein.
  • Die Darstellung auf der Anzeigevorrichtung kann beispielsweise dazu verwendet werden, um dem Fahrer die Auswahl einer von mehreren ermittelten Parklücken als Zielort eines Einparkvorgangs zu ermöglichen. Zusätzlich oder alternativ dazu können Hilfsmittel für eine Bewegung des Fahrzeugs 1 in eine ermittelte und/oder ausgewählte Parklücke auf der Anzeigevorrichtung angezeigt werden, die es dem Fahrer ermöglichen, das Fahrzeug 1 in diese Parklücke zu bewegen.
  • Zum Ermitteln der Umfeldinformation mit der Recheneinrichtung 4 bzw. zum Ermitteln der Umfeldinformation in einem computerimplementierten Verfahren werden zunächst das Umfeld bzw. die Umgebung des Fahrzeugs 1 beschreibende Messdaten mit einem oder mehreren der Umfeldsensoren 3 ermittelt, wobei die Messdaten einem oder mehreren Objekten im Umfeld des Fahrzeugs 1 zugeordnet sind. Anschließend erfolgt das Erstellen wenigstens einer das Umfeld des Fahrzeugs 1 beschreibenden Umfeldkarte 5 aus den Messdaten, wobei die Messdaten in der Umfeldkarte 5 räumlich in Bezug zu dem Fahrzeug 1 angegeben sind.
  • In 2 ist ein Ausführungsbeispiel einer solchen Umfeldkarte 5 dargestellt. Die Umfeldkarte 5 ist eine rechteckige Karte, bei der das Fahrzeug 1 in der Mitte angeordnet ist. In der Umfeldkarte 5 sind die Messdaten räumlich in Bezug zu dem Fahrzeug 1 angegeben. Die Messdaten sind vorliegend als Messpunkte 6 dargestellt, welche zum Beispiel durch als Ultraschallsensoren ausgebildete Umfeldsensoren 3 ermittelt werden können. Die Messpunkte 6 der Messdaten beschreiben dabei jeweils ein Signalecho, welches von einem Objekt im Umfeld des Fahrzeugs 1 reflektiert wurde.
  • Die einzelnen Messpunkte 6 umfassen jeweils eine Entfernungsmessung in Bezug zu dem Fahrzeug 1, welche beispielsweise aus einer Laufzeitmessung erfolgen kann. Zusätzlich kann für jeden der Messpunkte 6 auch eine Richtung bestimmt werden, sodass die den Messpunkte 6 zugeordneten Reflexionsorte bzw. die Objekte in räumlichen Bezug zu dem Fahrzeug 1 gesetzt werden können.
  • Die Umfeldkarte 5 umfasst weiterhin ein Kartenraster 7, wobei die Messdaten den einzelnen Zellen 8 des Kartenrasters 7 zugeordnet sind. Je höher die Anzahl der Zellen 8 ist, desto besser ist die räumliche Auflösung der Umfeldinformation. Allerdings wird mit steigender Anzahl an Zellen 8 auch mehr Speicher für die Verarbeitung der Umfeldkarte 5 benötigt.
  • Für jede der Zellen 8 kann beispielsweise die Anzahl von der Zelle 8 zugeordneten Messpunkten 6 der Messdaten ermittelt und in der Umfeldkarte 5 hinterlegt werden. Weiterhin können zu den einzelnen Zellen 8 auch jeweils die Höhe eines von den der Zelle 8 zugeordneten Messdaten beschriebenen Objekts, der Typ eines solchen Objekts und/oder wenigstens eine weitere Signaleigenschaft der der Zelle zugeordneten Messdaten angegeben werden.
  • Bei der Signaleigenschaft kann es sich zum Beispiel um die Intensität der einzelnen Messpunkte 6 handeln. Dabei ist es möglich, dass eine Signaleigenschaft wie die Intensität zum Beispiel gemittelt für alle Messpunkte einer der Zellen 8 angegeben wird. Dies kann entsprechend auch bei Informationen bezüglich der Höhe eines Objekts und/oder des Typs eines Objekts erfolgen.
  • Neben den Messpunkten 6 von als Ultraschallsensoren ausgebildeten Umfeldsensoren 2 können auch Messpunkte 6 von als Radarsensoren und/oder Lidarsensoren ausgebildeten Umfeldsensoren 3 entsprechend in die Umfeldkarte 5 eingetragen werden. Weiterhin können auch über andere Typen von Sensoren, beispielsweise als Umfeldkameras ausgebildete Umfeldsensoren 3, ermittelte Objekte in der Umfeldkarte 5 eingetragen werden. Auf diese Weise können auch Objekte wie beispielsweise Fahrbahnmarkierungen, Parkplatzmarkierungen oder ähnliches in der Umfeldkarte 5 eingetragen werden.
  • Anschließend erfolgt das Auswerten der wenigstens einen Umfeldkarte 5 durch die Recheneinrichtung 4, wobei die Umfeldkarte 5 einem durch die Recheneinrichtung 4 realisierten faltenden neuronalen Netzwerk zugeführt wird, wobei das neuronale Netzwerk aus der Umfeldkarte 5 im Umfeld des Fahrzeugs 1 vorhandene Parklücken 9 klassifiziert und lokalisiert, wobei das neuronale Netz aus der Umfeldkarte 5 für jede der Parklücken 9 wenigstens eine Strukturbeschreibung zumindest eines Teils einer die Parklücke 9 begrenzenden Struktur ermittelt. Aus den klassifizierten Parklücken 9 und der wenigstens einen Strukturbeschreibung erzeugt die Recheneinrichtung 4 oder eine weitere Recheneinrichtung (nicht dargestellt) anschließend die wenigstens eine Parklücke 9 im Umfeld des Fahrzeugs 1 beschreibende Umfeldinformation. Vorteilhaft kann dabei die Umfeldkarte 5 wie eine zweidimensionale Bilddatei durch das neuronale Netz verarbeitet werden.
  • Das neuronale Netz ist dazu eingerichtet ist, die Umfeldkarte 5 mit einem mehrere Zellen 10 umfassenden Auswerteraster 11 zu überlagern, wobei jeder Zelle 10 wenigstens ein Rahmen 12 zugewiesen ist. Eine mit einem Auswerteraster 11 überlagerte Umfeldkarte 5 ist in 3 dargestellt. Dabei ist das Kartenraster 7 der Umfeldkarte 5 aus Gründen der Übersichtlichkeit nicht abgebildet.
  • Vorliegend umfasst jede Zelle 10 drei jeweils rechteckige Rahmen 12, 13, 14. Die Rahmen 12 und 13 sind gegenüber dem Rahmen 14 um 90° verdreht angeordnet, sodass die Rahmen 12, 13 auch bezüglich der Zelle 10 anders orientiert sind als der Rahmen 14. Im vorliegenden Beispiel ermöglicht der Rahmen 14 die Ermittlung einer Längsparklücke für das Fahrzeug 1, wohingegen die Rahmen 12, 13 jeweils die Ermittlung einer Querparklücke ermöglichen. Die Verwendung der drei Rahmen 12, 13, 14 berücksichtigt dabei, dass in der Regel auf der Länge einer Längsparklücke zwei Querparklücken liegen können.
  • Es ist möglich, dass den Zellen 10 jeweils auch noch weitere Rahmen (nicht dargestellt) zugeordnet werden, welche beispielsweise die gleiche Orientierung wie einer der Rahmen 12, 13, 14 aufweisen, jedoch entlang einer der Kanten der Zelle 10 in x-Richtung und/oder in y-Richtung versetzt angeordnet sind.
  • In der Umfeldinformation wird für jeden der Rahmen 12, 13, 14 aller Zellen 10 des Auswerterasters 11 eine Klassifizierung als Parklücke angeben. Insbesondere nur für die als Parklücke 9 klassifizierten Rahmen 12, 13, 14 wird zusätzlich auch wenigstens eine Strukturbeschreibung zumindest eines Teils einer die Parklücke 9 begrenzenden Struktur angegeben. Zusätzlich kann für jeden als Parklücke klassifizierten Rahmen 12, 13, 14 eine Orientierung einer durch die Messdaten beschriebenen und dem Rahmen 12, 13, 14 zugeordneten Parklücke 9 relativ zu dem Rahmen 12, 13, 14 angegeben werden. Diese Orientierung kann von dem neuronalen Netz zum Beispiel mittels Regression ermittelt werden.
  • In 4 ist eine Parklücke 9 mit mehreren der Parklücke 9 zugeordneten Strukturbeschreibungen 15 - 18 grafisch dargestellt. Die Strukturbeschreibungen 15 -18 beschreiben jeweils eine unterschiedliche, die Parklücke 9 teilweise begrenzende Struktur, wobei es sich bei den Strukturen um Objekte und Markierungen handelt. Das neuronale Netz ermittelt die Strukturbeschreibungen 15 - 18 aus der Umfeldkarte 5.
  • Ausgehend von einer Scanrichtung 19, in der das Fahrzeug 1 mit seinen Umfeldsensoren 3 Messdaten aufnimmt, ergibt sich beispielsweise jeweils eine Messdatenhäufung in einem ersten Bereich 20 und einem zweiten Bereich 21. Diese Messdaten kommen dabei jeweils durch Objekte zustande, welche die Parklücke 9 seitlich begrenzen. Zusätzlich können auch in einem dritten Bereich 22 Messdaten vorhanden sein, welche auf ein oder mehrere Objekte zurückgehen, die die Parklücke 9 an einer einer Einfahrtsöffnung 23 gegenüberliegenden Seite 24 begrenzen.
  • Als Strukturbeschreibungen 15 - 18 werden Konturlinien verwendet, welche jeweils ein oder mehrere Liniensegmente umfassen und/oder durch zwei oder mehr Punkte gebildet werden. Dabei beschreiben die Strukturbeschreibungen 15a, 15b jeweils zum Beispiel eine zum Fahrzeug 1 weisende Kante eines die Parklücke begrenzenden Objekts, eine die Parklücke in Querrichtung begrenzende Kante des Objekts sowie eine die Einfahrtsöffnung 23 der Parklücke 9 begrenzende Kante des Objekts. Dabei wird jede dieser Kanten des Objekts durch ein Liniensegment beschrieben. Die Konturlinien sind somit Poly-Linien, welche mehrere aneinander anschließende Liniensegmente umfassen können.
  • Bei den Objekten, welches zumindest teilweise durch die Strukturbeschreibungen 15a, 15b beschrieben werden, kann es sich zum Beispiel jeweils um ein Fremdfahrzeug handeln. Durch die unterschiedlichen Liniensegmente, welche als Teil der Strukturbeschreibungen 15a, 15b ermittelt werden, kann ein präzises Einfahren in die Parklücke 9 auf Grundlage der Umfeldinformation erfolgen, da für eine Trajektorienplanung der Verlauf von Objektaußenkanten insbesondere im Bereich der Einfahrtsöffnung 23 genau beschrieben ist.
  • Die Strukturbeschreibungen 16a, 16b beschreiben jeweils eine Parkplatzmarkierung, welche einen vorgesehenen Parkplatz kennzeichnen. Die Strukturbeschreibungen 16a, 16b können zum Beispiel durch das neuronale Netz aus Messdaten ermittelt werden, welche mittels einem als Kamera ausgeführten Umfeldsensor 3 des Fahrzeugs 1 erfasst wurden.
  • Durch die Strukturbeschreibungen 17a, 17b werden jeweils zum Strukturen beschrieben, welche die Einfahrtsöffnung 23 der Parklücke 9 seitlich begrenzen. Die Strukturbeschreibungen 17a, 17b umfassen dazu jeweils eine Beschreibung einer zum Fahrzeug 1 weisenden Kante sowie einer sich in Längsrichtung der Parklücke 9 erstreckenden, weiteren Kante der Struktur. Bei den durch die Strukturbeschreibungen 17a, 17b beschriebenen Strukturen kann es sich zum Beispiel um Säulen bzw. um Pfeiler oder um große Steine handeln.
  • Entsprechende Strukturbeschreibungen 17c, 17d können auch für Strukturen ermittelt werden, welche an einer der Einfahrtsöffnung gegenüberliegenden Seite 24 der Parklücke 9 angeordnet sind.
  • An der der Einfahrtsöffnung 23 gegenüberliegenden Seite 24 werden durch die Strukturbeschreibungen 18a, 18b, 18c jeweils Strukturen beschrieben, welche die Parklücke 9 gegenüber der Einfahrtsöffnung 23 begrenzen. Bei solchen Strukturen kann es sich zum Beispiel um Bordsteine, Mauern, Wände oder Ähnliches handeln. Den Strukturbeschreibungen 18a, 18b, 18c kann dabei in der Umfeldinformation jeweils auch eine Höheninformation zugeordnet sein, sodass mehrere hintereinanderliegende Objekte mit unterschiedlichen Höhen unterschieden werden können. Dies ermöglicht es, auf Grundlage der Umfeldinformation ein teilweises Überragen eines solchen Objekts, beispielsweise durch eine Fahrzeugfront, und/oder ein zumindest teilweises Überfahren eines solchen Objekts einzuplanen.
  • Von den vorliegend dargestellten Strukturbeschreibungen 15 - 18 kann durch das neuronale Netz pro klassifizierter Parklücke 9 auch nur ein Teil ermittelt werden. Weiterhin können auch zusätzliche Strukturbeschreibungen ergänzt werden. Die Strukturbeschreibungen decken vorteilhaft für eine Vielzahl von unterschiedlichen Szenarien die für die Planung eines Parkmanövers, also für eine Bewegung des Fahrzeugs 1 in die Parklücke 9, relevante Strukturen im Umfeld der Parklücke 9 ab.
  • Dabei muss nicht für jede klassifizierte Parklücke 9 jede der Strukturbeschreibungen vorhanden sein. Je nach ermitteltem Szenario können weniger Objekte und/oder Markierungen vorhanden sein. Beispielsweise kann das Vorhandensein aller oder zumindest eines Teils der vorgenannten Strukturen durch das neuronale Netz überprüft werden, wobei das Vorliegen einer entsprechenden Struktur und somit die Validität einer die Struktur beschreibenden Strukturbeschreibung jeweils durch eine die Ermittlungswahrscheinlichkeit und/oder einen aus der Ermittlungswahrscheinlichkeit abgeleiteten Wert angegeben werden.
  • Das neuronale Netzwerk kann weiterhin eine, im vorliegenden Beispiel nur schematisch mit dargestellte, Parkflächeninformation 25 umfassen, welche eine für das Parken des Fahrzeugs 1 zur Verfügung stehende Fläche angibt. Diese Parkflächeninformation 25 kann aus einer durch das neuronale Netz erzeugten und dem jeweiligen Rahmen 12, 13, 14 zugeordneten Orientierung und/oder einer durch das neuronale Netz erzeugten und dem jeweiligen Rahmen 12, 13, 14 zugeordneten Skalierung ermittelt werden. Die in 4 beispielhaft dargestellte Fläche kann zum Beispiel verwendet werden, wenn die durch die Strukturbeschreibungen 17a - 17d beschriebenen Objekte nicht vorhanden sind.
  • Die Strukturbeschreibungen 15 - 18 können durch zum Beispiel anhand der in Tabelle 1 dargestellten Datenstruktur in der Umfeldinformation wiedergegeben werden. Tabelle 1:
    Slot [PB FO SO FPM SPM CO1 CO2 FOB SOB] T
    ParkingBox (PB) [PB x 1 , PB y 1 PB x 2 PB y 2 PB x 3 PB y 3 PB x 4 PB y 4 ] T
    FirstObject (FO) [P FO x1 FO y1 FO x2 FO y2 FO x3 FO y3 FO x4 FO y4 ] T
    SecondObject (SO) [P SO x1 SO y1 SO x2 SO y2 SO x3 SO y3 SO x4 SO y4 ] T
    FirstParkMarker (FPM) [P FPM x1 FPM y1 FPM x2 FPM y2 ] T
    SecondParkMarker (SPM) [P SPM x1 SPM y1 SPM x2 SPM y2 ] T
    CurbObject1 (CO1) [P CO1 x1 CO1 y1 CO1 x2 CO1 y2 ] T
    CurbObject2 (CO2) [P CO2 x1 CO2 y1 CO2 x2 CO2 y2 ] T
    FirstObjectBoulders (FOB) [P FOB x1 FOB y1 FOB x2 FOB y2 FOB x3 FOB y3 ] T
    SecondObjectBoulders (SOB) [P SOB x1 SOB y1 SOB x2 SOB y2 SOB x3 SOB y3 ] T
  • Dabei gibt die Zeile „ParkingBox (PB)“ die Eckpunkte (x1, y1); (x2, y2) usw. der Parkflächeninformation 25 an. Für die Strukturbeschreibungen geben entsprechend die Zeilen „FirstObject (FO)“ und „SecondObject (SO)“ jeweils die definierenden Punkte der als Konturlinien ausgeführten Strukturbeschreibungen 15a, 15b wieder. Die Zeilen „FirstParkMarker (FPM)“ und „SecondParkMarker (SPM)“ enthalten die Koordinaten der Endpunkte der Parkplatzmarkierungen entsprechend der Strukturbeschreibungen 16a, 16b.
  • Beispielhaft angegeben sind in den Zeilen „CurbObject1 (CO1)“ und „CurbObject2 (CO2)“ jeweils die Eckpunkte von zwei der Strukturbeschreibungen 18a, 18b, 18c. In den Zeilen „FirstObjectBoulders (FOB)“ und „SecondObjectBoulders (SOB)“ sind beispielsweise zwei der Strukturbeschreibungen 17a - 17d hinterlegt. Es ist möglich, dass auch die weiteren Strukturbeschreibungen 17a - 17d in der Umfeldinformation angegeben werden oder dass nur zwei der Strukturbeschreibungen 17a - 17d verwendet werden, da Parklücken in der Regel nur durch zwei Pfeiler oder Ähnliches begrenzt sind, sodass in den Zeilen „FirstObjectBoulders (FOB)“ und „SecondObjectBoulders (SOB)“ je nach Szenario zum Beispiel die Strukturbeschreibungen 17a und 17b oder 17c und 17d wiedergegeben werden.
  • Die vorangehend beschriebenen Werte der Strukturbeschreibungen 15 - 18 können dabei jeweils in Prozent bezogen auf die Zellen 10 des Auswerterasters 11 angegeben werden, sodass Werte zwischen 0 und 1 erhalten werden. Die Werte können dabei jeweils bezogen auf eine Referenzposition, zum Beispiel einen Mittelpunkt der Parkflächeninformation 25, einen Eckpunkt der insbesondere eine rechteckige Box beschreibenden Parkflächeninformation 25 und/oder einem anderen Referenzpunkt angegeben werden. Eine derartige Angabe der jeweiligen Koordinaten für die Strukturbeschreibungen 15 - 18 ermöglicht die Angabe kleiner Werte zwischen 0 und 1 und vereinfacht insbesondere ein Training des neuronalen Netzwerks mit entsprechenden Trainingsdaten. Das Auftreten von zu stark steigenden Gradienten während der Trainings und/oder das Auftreten von untrainierten Knoten des Netzes kann dabei vermieden werden.
  • Jeder der Strukturbeschreibungen 15 - 18 sowie der Parkflächeninformation 25 ist in der Umfeldinformation eine Wahrscheinlichkeit P zugeordnet, welche die Wahrscheinlichkeit für das Vorhandensein der jeweiligen Struktur angibt. Alternativ kann als Wert P jeweils auch eine 1 oder eine 0 angegeben werden, beispielsweise, wenn die ermittelte Wahrscheinlichkeit oberhalb oder unterhalb eines vorgegebenen Grenzwerts liegt.
  • Für jeden als Parklücke klassifizierten Rahmen 12, 13, 14 kann die Umfeldinformation zusätzlich oder alternativ zu der Parkflächeninformation 25 auch eine Orientierung angeben, welche einen Winkel zwischen dem jeweiligen Rahmen 12, 13, 14 und einer tatsächlichen, durch die Messdaten in der Umfeldkarte beschriebenen Parkfläche innerhalb der Parklücke 9 angibt. Auf diese Weise können neben einer senkrechten und einer waagerechten Anordnung der Parklücke 9 auch alle weiteren Orientierungen berücksichtigt und abgebildet werden. Zusätzlich dazu ist dabei auch die Angabe eines Skalierungsfaktors möglich, welcher den Rahmen 12, 13, 14 auf die tatsächliche Parklücke abbildet.
  • Die Umfeldinformation kann für jeden als Parklücke 9 klassifizierten Rahmen 12, 13, 14 weiterhin eine oder mehrere Parklückentypklassifizierungen enthalten, welche zum Beispiel angeben, ob oder mit welcher Wahrscheinlichkeit es sich um eine Querparklücke oder eine Längsparklücke handelt. Eine Parklücke 9 kann als solche klassifiziert werden, wenn eine von dem neuronalen Netz ermittelte Klassifizierungswahrscheinlichkeit über einem vorgegebenen Grenzwert liegt. Entsprechend kann eine Parklücke als Längsparklücke oder als Querparklücke klassifiziert werden, wenn die entsprechende, einem der Rahmen 12, 13, 14 zugeordnete Klassifizierungswahrscheinlichkeit über einem vorgegebenen Grenzwert liegt. Die Parklückentypklassifizierung kann weiterhin angeben, ob es sich zum Beispiel um eine vorwärts oder rückwärts zu befahrende Querparklücke handelt.
  • Die erzeugte Umfeldinformation kann zum Beispiel ein Tensor sein, welcher für jeden der Rahmen 12, 13, 14 angibt, ob es sich um eine Parklücke 9 handelt oder nicht bzw. ob es sich um eine Querparklücke oder eine Längsparklücke handelt. Für jeden als Parklücke 9 klassifizierten Rahmen 12, 13 können weitere Informationen angegeben werden. Für jede Zelle 10 des Auswerterasters 11 kann die Umfeldinformation dabei beispielsweise einen Vektor ycell enthalten, welcher als y c e l l = [ P 1 < P a r k i n g   S l o t   p a r a m e t e r s > C p a r t 1 C p e r _ f w 1 C p e r _ b w 1 C v o i d P 2 … P 3 … ] T
    Figure DE102022208059B3_0001
    ausgedrückt werden kann. Dabei sind die dem Rahmen 12 zugeordneten Werte beispielsweise mit dem Index „1“, die dem Rahmen 13 zugeordneten, größtenteils aus Übersichtsgründen nicht dargestellten Werte mit dem Index „2“ sowie die dem Rahmen 14 zugeordneten, größtenteils aus Übersichtsgründen nicht dargestellten Werte mit dem Index „3“ gekennzeichnet. Bei den einzelnen Werten bzw. Komponenten des Vektors beschreiben:
    • Pi
    einen Indikator (z.B. 0 oder 1), ob es sich bei dem entsprechenden Rahmen 12, 13, 14 um eine Parklücke 9 handelt,
    <Parking Slot Parameters>
    die Strukturbeschreibungen 15 -18 und die Parkflächeninformation 25, z.B. wie in Tabelle 1 angegeben, welche zu der dem jeweiligen Rahmen zugeordneten Parklücke gehören,
    Cpar
    die Klassenwahrscheinlichkeit für das Vorliegen einer Längsparklücke,
    Cper_fw
    die Klassenwahrscheinlichkeit für das Vorliegen einer Querparklücke, welche vorwärts zu befahren ist,
    Cper_bw
    die Klassenwahrscheinlichkeit für das Vorliegen einer Querparklücke, welche rückwärts zu befahren ist und
    Cvoid
    die Klassenwahrscheinlichkeit für das Vorliegen keiner Parklücke.
  • Der Indikator P kann zum Beispiel auf eins gesetzt werden, wenn eine der Wahrscheinlichkeiten Cpar, Cper_fw oder Cper_bw oberhalb eines vorgegebenen Grenzwerts liegt, bzw. auf null gesetzt werden, wenn die Wahrscheinlichkeit Cvoid oberhalb eines vorgegebenen Grenzwerts liegt.
  • Die beispielsweise in Form eines Tensors ausgegebene Umfeldinformation weist dabei eine Dimensionalität von A × B × (ycell) bzw. von A × B × (n ∗ i) auf,
    wobei A und B die Anzahl der Zeilen und Spalten des Auswerterasters darstellen und ihr Produkt somit die Anzahl der Zellen im Auswerteraster angibt und ycell der jeweils einer Zelle zugeordnete Vektor ist, welcher allgemein n ∗ i Komponenten aufweist, wobei n die Anzahl der Rahmen pro Zelle und i die Anzahl der pro Rahmen in der Zelle ermittelten Informationen beschreibt. Im obigen Ausführungsbeispiel für ycell ist zum Beispiel n = 3 und i = 65.
  • In einem Ausführungsbeispiel für ein Verfahren zum Trainieren des faltenden neuronalen Netzes wird zunächst wenigstens ein Trainingsdatensatz umfassend mehrere jeweils das Umfeld des Fahrzeugs 1 beschreibenden Trainings-Umfeldkarten aus Trainings-Messdaten bereitgestellt. Dabei sind die Messdaten in der Trainings-Umfeldkarte räumlich in Bezug zu einem Fahrzeug 1 angegeben. Das Trainingsverfahren dient insbesondere dazu, das in der Recheneinrichtung 4 realisierte, faltende neuronale Netz zur Durchführung des vorangehend beschriebenen Ausführungsbeispiels zu trainieren.
  • Jeder der Trainings-Umfeldkarten wird eine wenigstens eine Parklücke 26 in dem Umfeld des Fahrzeugs 1 beschreibende Grundwahrheit zugewiesen, wobei die Grundwahrheit zumindest einen Abschnitt der Trainings-Umfeldkarte als eine Parklücke 26 klassifiziert und lokalisiert. Außerdem gibt die Grundwahrheit die für die unmittelbare Umgebung der Parklücke 26 relevanten Strukturbeschreibungen 15 - 18 an. Es ist auch möglich, dass nur einer Teilmenge der Trainings-Umfeldkarten eine wenigstens eine Parklücke 26 beschreibende Grundwahrheit zugewiesen wird, wobei den verbleibenden Trainings-Umfeldkarten zum Beispiel jeweils eine Grundwahrheit zugewiesen wird, welche keine Parklücke 26 beschreibt. Auf diese Weise kann die Falsch-Positiv-Rate der Parklückenerkennung verbessert bzw. reduziert werden.
  • In 3 ist eine durch die Grundwahrheit vorgegebene Parklücke 26 dargestellt. Die Trainings-Umfeldkarten entsprechen grundsätzlich den Umfeldkarten 5, so wie sie vorangehend beschrieben wurden. Das faltende neuronale Netzwerk kann zum Beispiel mittels einer Dempster-Shafer Rasterkarte (Dempster-Shafer Gridmap) als Trainings-Umfeldkarte, welche aus Radardaten erstellt wurde, trainiert werden, so dass mittels des vorangehend beschriebenen Verfahrens Parklücken aus Radardaten ermittelt werden können. Zusätzlich oder alternativ dazu können auch Trainings-Umfeldkarten verwendet werden, welche auf Grundlage von Messdaten von Ultraschallsensoren, Lidarsensoren, Umfeldkameras oder jeder beliebigen Kombination dieser Sensortypen erstellt wurden. Grundsätzlich kann dabei jede Art von Trainings-Umfeldkarte herangezogen werden, welche belegte und freie Flächen beinhaltet.
  • Auch beim Training werden die Trainings-Umfeldkarten, wie vorangehend beschrieben wurde und wie in 3 gezeigt ist, jeweils mit einem mehrere Zellen 10 umfassenden Auswerteraster 11 überlagert, wobei jeder der Zellen 10 des Auswerterasters 11 entsprechend wenigstens ein Rahmen 12, 13, 14 zugewiesen ist. Anschließend erfolgt das Ermitteln des jeweiligen Rahmens 12, 13, 14 mit dem größten Überlapp zu der wenigstens einen, durch die Grundwahrheit beschriebenen Parklücke 26. Dann wird das neuronale Netz hinsichtlich einer Übereinstimmung der wenigstens einen Strukturbeschreibung des Rahmens 12, 13, 14 mit dem größten Überlapp und der durch die Grundwahrheit beschriebenen Strukturbeschreibung optimiert.
  • Für das Ermitteln des Überlapps wird bestimmt, in welcher der Zellen 10 des Auswerterasters 11 jeweils der Mittelpunkt 27 der wenigstens einen durch die Grundwahrheit beschriebenen Parklücke 26 liegt. Dies ist in dem in 3 dargestellten Beispiel die Zelle 10, welche in der zweiten Zeile und der zweiten Spalte liegt.
  • Anschließend wird derjenige Rahmen 12, 13, 14 in dieser Zelle als Rahmen mit dem größten Überlapp gewählt, dessen Überschneidung mit der durch die Grundwahrheit beschriebenen Parklücke 26 am größten ist. Zum Ermitteln des jeweiligen Überlapps wird für jeden der Rahmen 12, 13, 14 in der Zelle 10, in der der Mittelpunkt 27 liegt, jeweils ein Wert für dessen flächenbezogenen Überlapp bzw. dessen Intersection Over Union (IoU) ermittelt.
  • In dem in 3 dargestellten Beispiel ist der Überlapp mit dem rechten, vertikal orientierten Rahmen 13 am größten, sodass dieser als Ziel der Optimierung des neuronalen Netzwerks gewählt wird. Basierend auf der Wahl des Rahmens 12, 13, 14 und der Anordnung des Fahrzeugs 1 in der Umfeldkarte 5 kann entsprechend ermittelt bzw. trainiert werden, ob es sich um eine Längsparklücke oder, wie vorliegend, um eine Querparklücke handelt. Ferner kann auch die Anordnung zwischen der Parklücke 26 und dem Fahrzeug 1 bei einer Klassifizierung als Querparklücke eine Einparkrichtung, also ob das Fahrzeug 1 vorwärts oder rückwärts in die Parklücke 26 fahren soll, ermittelt bzw. trainiert werden.
  • Als Strukturbeschreibung der Grundwahrheit kann dabei wenigstens eine Konturlinie verwendet werden, wobei die Konturlinie, wie vorangehend beschrieben wurde, aus einem oder mehreren Liniensegmenten und/oder durch zwei oder mehr Punkte gebildet ist. Die Strukturbeschreibung der Grundwahrheit kann zumindest eine zum Fahrzeug 1 weisende Kante eines die Parklücke 26 begrenzenden Objekts, zumindest eine die Parklücke 26 in Längsrichtung und/oder in Querrichtung begrenzende Kante eines die Parklücke 26 begrenzenden Objekts, zumindest eine Kante eines eine Einfahrtsöffnung 23 der Parklücke 26 begrenzenden Objekts, zumindest eine Kante eines der Einfahrtsöffnung 23 gegenüberliegenden Objekts und/oder zumindest eine Parkplatzmarkierung beschreiben.
  • Es ist möglich, dass ein Auswerteraster 11 verwendet wird, in dem jeder Zelle 10 mehr als zwei Rahmen 12, 13, 14 zugeordnet sind. Die mehreren Rahmen 12, 13, 14 können dabei unterschiedlich positioniert und/oder unterschiedlich orientiert sein. Unterschiedliche Abmessungen, wie eine unterschiedliche Breite, eine unterschiedliche Länge, eine unterschiedliche Lage des Mittelpunkts des Rahmens 12 und der Parklücke 26 bezogen auf die Zelle 10 sowie die relative Orientierung zwischen Rahmen 12 und der Parklücke 26, welche durch das neuronale Netz ebenfalls mittels Regression ermittelt werden, können dabei ebenfalls trainiert werden.
  • Durch die Rahmen 12, 13, 14 kann auch die Orientierung der Parklücke 26 angenähert werden bzw. es können durch die Verwendung von zwei oder mehreren Rahmen 12, 13, 14 pro Zelle 10 unterschiedlich positionierte und/oder unterschiedlich orientierte Lokalisierungs- und/oder Orientierungsparameter initial vorgegeben werden. Je mehr Rahmen 12, 13, 14 dabei herangezogen werden, desto genauer können die Lokalisierung und die Ermittlung der relativen Anordnung der Parklücke 26 in Bezug zu dem Fahrzeug, die Ermittlung der die freie Parkfläche in der Parklücke beschreibenden Parkflächeninformation 25 sowie der Ermittlung der die Parklücke 26 zumindest teilweise begrenzende Strukturen beschreibenden Strukturbeschreibungen durch das neuronale Netzwerk erfolgen.
  • Das Optimieren des neuronalen Netzes kann mithilfe einer Verlustfunktion erfolgen. Die Verlustfunktion kann dabei für alle Variablen des Vektors ycell bzw. für alle Variablen i, welche in Bezug zu einem der Rahmen 12, 13, 14 ermittelbar sein sollen, Fehlerquadrate minimieren. Zusätzlich oder alternativ dazu kann auch eine Softmax-Funktion verwendet werden oder es können nur die Fehler der Klassenwahrscheinlichkeiten Cpar, Cperpfw, Cperp_bw und Cvoid und/oder der Klassifizierungswahrscheinlichkeit Pn minimiert werden.
  • Ein Beispiel für eine Verlustfunktion ℓ(ŷ,y) ist l ( y ^ , y ) = ( y ^ 1 − y 1 ) 2 + ( y ^ 2 − y 2 ) 2 + … + ( y ^ n − y n ) 2 ,   w e n n   y 1 = 1 l ( y ^ , y ) = ( y ^ 1 − y 1 ) 2 ,   w e n n   y 1 = 0.  
    Figure DE102022208059B3_0002
  • Wenn y1 = 1 ist, bedeutet dies, dass der dem Index „1“ zugewiesene Rahmen 12 als eine Parklücke klassifiziert wurde. In diesem Fall wird mittels der Verlustfunktion der quadrierte Fehler jeder Variable i d.h. jeder Komponente yn des Vektors ycell berechnet. Wenn y1 = 0 ist, bedeutet dies, dass der dem Index „1“ zugewiesene Rahmen 12 als „keine Parklücke“ klassifiziert wurde, wobei in diesem Fall nur der quadrierte Fehler in dem Indikator bzw. der Klassifizierungswahrscheinlichkeit Pn, also der Komponente y1 des Vektors ycell, minimiert wird. Entsprechend wird auch mit den weiteren Rahmen 13, 14 verfahren.

Claims (15)

  1. Verfahren zum Ermitteln einer wenigstens eine Parklücke (9) beschreibenden Umfeldinformation mit einer Sensoreinrichtung (2) eines Fahrzeugs (1), wobei die Sensoreinrichtung (2) wenigstens einen Umfeldsensor (3) und eine Recheneinrichtung (4) aufweist, umfassend die Schritte: - Erfassen von ein Umfeld des Fahrzeugs (1) beschreibenden Messdaten mit dem wenigstens einen Umfeldsensor (1), wobei die Messdaten einem oder mehreren Objekten im Umfeld des Fahrzeugs (1) zugeordnet sind, - Erstellen wenigstens einer das Umfeld des Fahrzeugs (1) beschreibenden Umfeldkarte (5) aus den Messdaten, wobei die Messdaten in der Umfeldkarte räumlich in Bezug zu dem Fahrzeug (1) angegeben sind, - Auswerten der wenigstens einen Umfeldkarte (5) durch die Recheneinrichtung (4), wobei die Umfeldkarte (5) einem faltenden neuronalen Netzwerk zugeführt wird, wobei das neuronale Netzwerk aus der Umfeldkarte (5) im Umfeld des Fahrzeugs (1) vorhandene Parklücken (9) klassifiziert und lokalisiert, wobei das neuronale Netz aus der Umfeldkarte für jede der Parklücken (9) wenigstens eine Strukturbeschreibung (15 - 18) zumindest eines Teils einer die Parklücke (9) begrenzenden Struktur ermittelt, und - Erzeugen der Umfeldinformation aus den klassifizierten und lokalisierten Parklücken (9) sowie der wenigstens einen Strukturbeschreibung (15 - 18).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Umfeldkarte (5) ein Kartenraster (7) enthält und die Messdaten den Zellen (8) des Kartenrasters (7) zugeordnet werden, wobei für jede Zelle (8) die Anzahl von der Zelle (8) zugeordneten Messpunkten (6) der Messdaten, die Höhe eines von den der Zelle (8) zugeordneten Messdaten beschriebenen Objekts, der Typ eines von den der Zelle (8) zugeordneten Messdaten beschriebenen Objekts und/oder wenigstens eine Signaleigenschaft von der Zelle (8) zugeordneten Messdaten angegeben wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das neuronale Netz dazu eingerichtet ist, die Umfeldkarte (5) mit einem mehrere Zellen (10) umfassenden Auswertungsraster (11) zu überlagern, wobei jeder Zelle (10) wenigstens ein Rahmen (12, 13, 14) zugewiesen ist, wobei in der Umfeldinformation für jeden der Rahmen (12, 13, 14) eine Klassifizierung als Parklücke, eine Orientierung einer durch die Messdaten beschriebenen und dem Rahmen (12, 13, 14) zugeordneten Parklücke relativ zu dem Rahmen (12, 13, 14) und/oder wenigstens eine Strukturbeschreibung (15 - 18) einer die Parklücke (9) begrenzenden Struktur angegeben wird.
  4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Strukturbeschreibung (15 -18) wenigstens eine Konturlinie verwendet wird, wobei die Konturlinie aus einem oder mehreren Liniensegmenten und/oder durch zwei oder mehr Punkte gebildet ist.
  5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Strukturbeschreibung (15 - 18) zumindest eine zum Fahrzeug (1) weisende Kante eines die Parklücke (9) begrenzenden Objekts, zumindest eine die Parklücke (9) in Längsrichtung und/oder in Querrichtung begrenzende Kante eines die Parklücke (9) begrenzenden Objekts, zumindest eine Kante eines eine Einfahrtsöffnung (23) der Parklücke (9) begrenzenden Objekts, zumindest eine Kante eines der Einfahrtsöffnung (23) gegenüberliegenden Objekts und/oder zumindest eine Parkplatzmarkierung beschreibt.
  6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Umfeldinformation für zumindest einen Teil der klassifizierten Parklücken (9) eine Parkflächeninformation (25), welche die Anordnung und/oder Orientierung einer zur Verfügung stehenden Parkfläche in der Parklücke beschreibt, und/oder wenigstens eine Parklückentypklassifizierung, welche eine Klassifizierung für wenigstens einen Parklückentyp angibt, umfasst.
  7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Sensoreinrichtung (2) verwendet wird, welche als wenigstens einen Umfeldsensor (3) eine mehrere Ultraschallsensoren umfassende Ultraschallsensoranordnung, wenigstens einen Lidarsensor, wenigstens einen Radarsensor und/oder wenigstens eine Umfeldkamera umfasst.
  8. Verfahren zum Trainieren eines faltenden neuronalen Netzes, insbesondere für die Verwendung in einem Verfahren nach einem der vorangehenden Ansprüche, umfassend die Schritte: - Bereitstellen wenigstens eines Trainingsdatensatzes umfassend mehrere jeweils das Umfeld eines Fahrzeugs (1) beschreibende Trainings-Umfeldkarten aus Trainings-Messdaten, wobei die Trainings-Messdaten in der Trainings-Umfeldkarte räumlich in Bezug zu dem Fahrzeug (1) angegeben sind, - Zuweisen einer wenigstens eine Parklücke (26) in dem Umfeld des Fahrzeugs (1) beschreibenden Grundwahrheit zu zumindest einer Teilmenge der Trainings-Umfeldkarten, wobei die Grundwahrheit zumindest einen Abschnitt der Trainings-Umfeldkarte als eine Parklücke (26) klassifiziert und lokalisiert, wobei die Grundwahrheit für die Parklücke (26) wenigstens eine Strukturbeschreibung (15 - 18) zumindest eines Teils einer die Parklücke (9) begrenzenden Struktur angibt, - Überlagern der Trainings-Umfeldkarten jeweils mit einem mehrere Zellen (10) umfassenden Auswertungsraster (11), wobei jeder Zelle (10) des Auswertungsrasters (11) wenigstens ein Rahmen (12, 13, 14) zugewiesen ist und jedem Rahmen wenigstens eine Strukturbeschreibung (15 - 18) zugeordnet ist, - Ermitteln des jeweiligen Rahmens (12, 13, 14) mit dem größten Überlapp zu der wenigstens einen, durch die Grundwahrheit beschriebenen Parklücke (26), - Optimieren des neuronalen Netzes hinsichtlich einer Übereinstimmung der wenigstens einen Strukturbeschreibung (15 - 18) des Rahmens (12, 13, 14) mit dem größten Überlapp und der durch die Grundwahrheit beschriebenen Strukturbeschreibung (15 - 18).
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass jeder Zelle (10) mehrere unterschiedlich positionierte und/oder unterschiedlich orientierte Rahmen (12, 13, 14) zugeordnet sind und/oder dass für das Ermitteln des Überlapps bestimmt wird, in welcher Zelle (10) jeweils der Mittelpunkt (15) der wenigstens einen durch die Grundwahrheit beschriebenen Parklücke (26) liegt, wobei derjenige Rahmen (12, 13, 14) dieser Zelle (10) als Rahmen (12, 13, 14) mit dem größten Überlapp gewählt wird, dessen Überschneidung mit der durch die Grundwahrheit beschriebenen Parklücke (26) am größten ist.
  10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass als Strukturbeschreibung (15 - 18) der Grundwahrheit wenigstens eine Konturlinie verwendet wird, wobei die Konturlinie aus einem oder mehreren Liniensegmenten und/oder durch zwei oder mehr Punkte gebildet ist, und/oder dass die Strukturbeschreibung (15 - 18) der Grundwahrheit zumindest eine zum Fahrzeug weisende Kante eines die Parklücke (26) begrenzenden Objekts, zumindest eine die Parklücke (26) in Längsrichtung und/oder in Querrichtung begrenzende Kante eines die Parklücke begrenzenden Objekts, zumindest eine Kante eines eine Einfahrtsöffnung der Parklücke (26) begrenzenden Objekts, zumindest eine Kante eines der Einfahrtsöffnung gegenüberliegenden Objekts und/oder zumindest eine Parkplatzmarkierung beschreibt.
  11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Grundwahrheit für zumindest einen Teil der klassifizierten Parklücken (26) eine Parkflächeninformation (25), welche die Anordnung und/oder Orientierung einer zur Verfügung stehenden Parkfläche in der Parklücke (26) beschreibt, und/oder wenigstens eine Parklückentypklassifizierung, welche eine Klassifizierung für wenigstens einen Parklückentyp angibt, umfasst, wobei die Optimierung des neuronalen Netzes auch hinsichtlich der Parkflächeninformation (25) und/oder der Parklückenklassifizierung erfolgt.
  12. Sensoreinrichtung umfassend wenigstens einen Umfeldsensor (3) und eine Recheneinrichtung (4), wobei die Recheneinrichtung (4) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7 eingerichtet ist.
  13. Fahrzeug umfassend wenigstens eine Sensoreinrichtung (2) nach Anspruch 12.
  14. Computerprogrammprodukt umfassend Instruktionen, welche eine Recheneinrichtung (4) dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
  15. Computerlesbares Speichermedium umfassend ein Computerprogrammprodukt nach Anspruch 14.
DE102022208059.9A 2022-08-03 2022-08-03 Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes Active DE102022208059B3 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022208059.9A DE102022208059B3 (de) 2022-08-03 2022-08-03 Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes
JP2023096994A JP2024022481A (ja) 2022-08-03 2023-06-13 畳み込みニューラルネットワークを用いて駐車スペースを記述する周辺環境情報を検出する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022208059.9A DE102022208059B3 (de) 2022-08-03 2022-08-03 Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes

Publications (1)

Publication Number Publication Date
DE102022208059B3 true DE102022208059B3 (de) 2024-02-08

Family

ID=89575604

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022208059.9A Active DE102022208059B3 (de) 2022-08-03 2022-08-03 Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes

Country Status (2)

Country Link
JP (1) JP2024022481A (de)
DE (1) DE102022208059B3 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017107700A1 (de) 2017-04-10 2018-10-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen von Parklücken in einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Parkassistenzsystem, Kraftfahrzeug sowie vernetztes System
DE102017130488A1 (de) 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
DE102018214915A1 (de) 2018-09-03 2020-03-05 Continental Teves Ag & Co. Ohg System zur Erkennung einer Parklücke in Fahrtrichtung
DE102020211332A1 (de) 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer Parkposition für ein Kraftfahrzeug, Fahrerassistenzsystem zum Durchführen eines solchen Verfahrens sowie Kraftfahrzeug mit einem Fahrerassistenzsystem

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017107700A1 (de) 2017-04-10 2018-10-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen von Parklücken in einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Parkassistenzsystem, Kraftfahrzeug sowie vernetztes System
DE102017130488A1 (de) 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
DE102018214915A1 (de) 2018-09-03 2020-03-05 Continental Teves Ag & Co. Ohg System zur Erkennung einer Parklücke in Fahrtrichtung
DE102020211332A1 (de) 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer Parkposition für ein Kraftfahrzeug, Fahrerassistenzsystem zum Durchführen eines solchen Verfahrens sowie Kraftfahrzeug mit einem Fahrerassistenzsystem

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REDMON, Joseph [u.a.]: You only look once: Unified, real-time object detection. In: IEEE: Conference on Computer Vision and Pattern Recognition (CVPR) - 27-30 June 2016 - Las Vegas, NV, USA, 2016, S. 779-788. - ISBN 978-1-4673-8851-1 (E); 978-1-4673-8852-8 (P). DOI: 10.1109/CVPR.2016.91. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7780460 [abgerufen am 2022-10-12].

Also Published As

Publication number Publication date
JP2024022481A (ja) 2024-02-16

Similar Documents

Publication Publication Date Title
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE112015001150B4 (de) Verfahren, Vorrichtung und System zur Unterstützung von Platooning
DE102014223363B4 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
EP3491339B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
DE102019122826A1 (de) Adaptives fahrzeuglernen
EP3873784A1 (de) Steuerungssystem und steuerungsverfahren zum samplingbasierten planen möglicher trajektorien für kraftfahrzeuge
DE102017129075A1 (de) Parkplatznavigationssystem und -verfahren
EP3616181A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
DE102015209467A1 (de) Verfahren zur Schätzung von Fahrstreifen
DE102020113848A1 (de) Ekzentrizitätsbildfusion
DE102016224212A1 (de) Automatisierte Freiraumerkennung mittels Differenzanalyse für Fahrzeuge
DE102020100749A1 (de) Ermittlung von wegen für fahrzeuge
DE102020100022A1 (de) Positionsbestimmungstechnik
DE102020127855A1 (de) Sicherheitssystem, automatisiertes fahrsystem und verfahren dafür
EP3454084A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems für ein kraftfahrzeug unter verwendung einer vektorbasierten und einer gitterbasierten umgebungskarte sowie fahrerassistenzsystem
DE112020002139T5 (de) Fahrzeugfahrsteuervorrichtung, Fahrzeugfahrsteuerverfahren und Computerprogrammprodukt
DE102020117767A1 (de) Trajektorienplanung für ein autonomes Fahrmanöver eines Ego-Fahrzeugs
DE112022001981T5 (de) Pönalisierung des Gegenlenkens bei Fahrzeugkurvenfahrten
DE102020127206A1 (de) Prozess und system zur gemeinsamen nutzung von sensoren für einen autonomen fahrspurwechsel
DE102020121504A1 (de) Antriebssteuervorrichtung für ein autonom fahrendes Fahrzeug, Halteziel und Antriebssteuersystem
DE102014110175A1 (de) Verfahren zum Unterstützen eines Fahrers beim Einparken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102022208059B3 (de) Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
EP2982564A2 (de) Verfahren zum unterstützen eines fahrers beim einparken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102022111718A1 (de) Verbesserter fahrzeugbetrieb

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division