DE102023003124A1 - Method for automated parking of a vehicle - Google Patents

Method for automated parking of a vehicle Download PDF

Info

Publication number
DE102023003124A1
DE102023003124A1 DE102023003124.0A DE102023003124A DE102023003124A1 DE 102023003124 A1 DE102023003124 A1 DE 102023003124A1 DE 102023003124 A DE102023003124 A DE 102023003124A DE 102023003124 A1 DE102023003124 A1 DE 102023003124A1
Authority
DE
Germany
Prior art keywords
vehicle
parking space
parking
overall image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102023003124.0A
Other languages
German (de)
Inventor
Julian Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102023003124.0A priority Critical patent/DE102023003124A1/en
Publication of DE102023003124A1 publication Critical patent/DE102023003124A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles

Abstract

Die Erfindung betrifft ein Verfahren zum automatisierten Einparken eines Fahrzeugs in einen Parkplatz (P, P1 bis Pn) eines vorgegebenen Parkraums (PR). Dabei ist erfindungsgemäß vorgesehen, dass- Eigenschaften (E) des Fahrzeugs ermittelt und in einem Merkmalsvektor zusammengefasst werden,- einem trainierten künstlichen neuronalen Netzwerk (1.1) mit einer bildverarbeitenden Encoder-Decoder-Struktur ein den Parkraum (PR) vollständig darstellendes Gesamtbild (GB) und der Merkmalsvektor zugeführt werden,- mittels des künstlichen neuronalen Netzwerks (1.1) anhand des Gesamtbilds (GB) und des Merkmalsvektors eine Heatmap (HM) erzeugt wird, welche für jedes Pixel des Gesamtbilds (GB) angibt, mit welcher Wahrscheinlichkeit ein menschlicher Fahrer das Fahrzeug dort parken würde,- aus der Heatmap (HM) der Parkplatz (P) zum Parken des Fahrzeugs ausgewählt wird, an dessen Position die Heatmap (HM) die höchste Dichte aufweist, und- das Fahrzeug automatisiert in den ausgewählten Parkplatz (P) eingeparkt wird.The invention relates to a method for automatically parking a vehicle in a parking space (P, P1 to Pn) of a predetermined parking space (PR). According to the invention, characteristics (E) of the vehicle are determined and summarized in a feature vector; and the feature vector is supplied, - a heat map (HM) is generated by means of the artificial neural network (1.1) based on the overall image (GB) and the feature vector, which indicates for each pixel of the overall image (GB) the probability with which a human driver will do this vehicle would park there, - the parking space (P) is selected from the heatmap (HM) for parking the vehicle at whose position the heatmap (HM) has the highest density, and - the vehicle is automatically parked in the selected parking space (P). becomes.

Description

Die Erfindung betrifft ein Verfahren zum automatisierten Einparken eines Fahrzeugs in einen Parkplatz eines vorgegebenen Parkraums.The invention relates to a method for automatically parking a vehicle in a parking space of a predetermined parking space.

Aus der DE 10 2017 007 118 A1 ist ein Verfahren zur Parkplatzauswahl in einem vorgegebenen Parkraum für ein autonom fahrendes Fahrzeug bekannt. Vor einer Durchführung eines autonomen Einparkvorgangs wird eine Anzahl von Parkplätzen in Bezug auf ein manuell durchführbares Einparkmanöver, in Bezug auf eine Beschilderung der Anzahl von Parkplätzen und in Bezug auf eine Entfernung der Anzahl von Parkplätzen zu einem Eingang und einem Ausgang des Parkraums bewertet. In der Bewertung wird für jeden Parkplatz der Anzahl eine Wahrscheinlichkeit dafür ermittelt, dass dieser Parkplatz von einem Fahrzeugnutzer für einen manuellen Einparkvorgang genutzt wird, wobei die Bewertung des Parkplatzes in Abhängigkeit einer vorgegebenen Anzahl freier Parkplätze erfolgt. Für den autonomen Einparkvorgang wird der Parkplatz aus der Anzahl gewählt, welcher die geringste Wahrscheinlichkeit aufweist.From the DE 10 2017 007 118 A1 a method for selecting a parking space in a given parking space for an autonomously driving vehicle is known. Before an autonomous parking operation is carried out, a number of parking spaces is evaluated in relation to a parking maneuver that can be carried out manually, in relation to signage of the number of parking spaces and in relation to a distance of the number of parking spaces to an entrance and an exit of the parking space. In the evaluation, for each parking space of the number, a probability is determined that this parking space will be used by a vehicle user for a manual parking process, with the parking space being evaluated depending on a predetermined number of free parking spaces. For the autonomous parking process, the parking space is selected from the number that has the lowest probability.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zum automatisierten Einparken eines Fahrzeugs in einen Parkplatz eines vorgegebenen Parkraums anzugeben.The invention is based on the object of specifying a novel method for automatically parking a vehicle in a parking space of a predetermined parking space.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the subclaims.

In dem Verfahren zum automatisierten Einparken eines Fahrzeugs in einen Parkplatz eines vorgegebenen Parkraums werden Eigenschaften des Fahrzeugs ermittelt und in einem Merkmalsvektor zusammengefasst. Ein den Parkraum vollständig darstellendes Gesamtbild und der Merkmalsvektor werden einem trainierten künstlichen neuronalen Netzwerk mit einer bildverarbeitenden Encoder-Decoder-Struktur zugeführt, wobei mittels des künstlichen neuronalen Netzwerks anhand des Gesamtbilds und des Merkmalsvektors eine Heatmap erzeugt wird, welche für jedes Pixel des Gesamtbilds angibt, mit welcher Wahrscheinlichkeit ein menschlicher Fahrer das Fahrzeug dort parken würde. Aus der Heatmap wird der Parkplatz zum Parken des Fahrzeugs ausgewählt, an dessen Position die Heatmap die höchste Dichte aufweist. Anschließend wird das Fahrzeug automatisiert in den ausgewählten Parkplatz eingeparkt.In the method for automatically parking a vehicle in a parking space of a predetermined parking space, properties of the vehicle are determined and summarized in a feature vector. An overall image that completely represents the parking space and the feature vector are fed to a trained artificial neural network with an image-processing encoder-decoder structure, with the artificial neural network using the overall image and the feature vector to generate a heat map, which indicates for each pixel of the overall image, how likely a human driver would be to park the vehicle there. The parking space for parking the vehicle is selected from the heatmap, at whose position the heatmap has the highest density. The vehicle is then automatically parked in the selected parking space.

Menschliche Fahrer eines Fahrzeugs wählen ihren Parkplatz in Parkräumen, beispielsweise in Parkhäusern oder auf anderen Parkflächen, nach einer Vielzahl an Kriterien aus. Diese können beispielsweise eine Ausleuchtung, eine Nähe zu einem Ausgang, eine Nähe zu einem Parkautomat, eine Breite des Parkplatzes, eine Nähe zu einer Wand, ein Vorhandensein bereits umliegender Fahrzeuge etc., umfassen.Human drivers of a vehicle select their parking space in parking spaces, for example in parking garages or other parking areas, based on a variety of criteria. These can include, for example, illumination, proximity to an exit, proximity to a parking meter, width of the parking space, proximity to a wall, presence of surrounding vehicles, etc.

Fahrzeugsysteme, die ein automatisiertes Parken und eine automatisierte Parkplatzsuche ermöglichen, müssen ebenfalls die Fähigkeit besitzen, eine Parkplatzauswahl gegeben eines Parkplatzes oder eines Parkplatzes und des eigenen Fahrzeugs zu treffen.Vehicle systems that enable automated parking and parking search must also have the ability to make parking selection given a parking space or a parking space and your own vehicle.

In dem vorliegenden Verfahren wird ein lernbasierter Ansatz zum Auffinden und zur Auswahl eines Parkplatzes in einem Parkraum verwendet, wobei die Auswahl die Auswahl des Parkplatzes automatisiert in der gleichen Art erfolgt, wie ein Mensch in der gleichen Parksituation wählen würde. Hierzu werden automatisch und implizit beispielsweise alle oben genannten Kriterien, die ein Mensch zur Parkplatzauswahl einfließen lässt, auch von dem lernbasierten Ansatz verwendet. Wie diese Kriterien dabei in die Parkplatzauswahl einfließen, wird automatisch erlernt.In the present method, a learning-based approach is used to find and select a parking space in a parking space, the selection of the parking space being made automatically in the same way as a human would choose in the same parking situation. For this purpose, for example, all of the above-mentioned criteria that a person uses to select a parking space are automatically and implicitly used by the learning-based approach. How these criteria are incorporated into the selection of parking spaces is learned automatically.

Der mittels des Verfahrens durchgeführte bildbasierte Ansatz ist in vorteilhafter Weise in der Lage, mit unstrukturierten Umgebungen umzugehen. Im Vergleich zu einer Graphstruktur oder ähnlichen Ansätzen ist ein Lösungsraum nicht auf eine Auswahl von definierten Parkplätzen beschränkt. Die Ausgabe der Heatmap ermöglicht, gegeben der Situation, auch unstrukturierte Ausgaben. Nimmt ein Fahrzeug beim Parken beispielsweise zwei Parkplätze ein, ist es möglich, dass die Ausgabe der Heatmap eine Parkplatzauswahl vorschlägt, die direkt neben dem bereits falsch geparkten Fahrzeug ist und ebenfalls über zwei Parkplätze geht. Dies bedeutet auch, dass der mittels des Verfahrens durchgeführte Ansatz beispielsweise auf Parkflächen ohne definierte Parkplätze anwendbar ist. Die Heatmap wird immer dort die höchste Dichte ausgeben, wo der menschliche Fahrer geparkt hätte. Bei einem vollen Parkplatz, wo händisch erstellte Algorithmen oftmals scheitern, würde das auch bedeuten, dass die Heatmap trotzdem einen temporären Parkplatz findet, beispielsweise an einem Rand, an dem das Parken eigentlich nicht vorgesehen ist. Weiterhin ermöglicht das Verfahren eine implizite Gewichtung einer Vielzahl von Attributen bzw. Eigenschaften des Fahrzeugs zur Auswahl des Parkplatzes. Somit kann mittels des vorliegenden Verfahrens eine menschenähnliche Parkplatzauswahl erreicht werden, welche durch Verwendung des künstlichen neuronalen Netzwerks effektiv und mit geringem Aufwand realisiert werden kann. Eine händische Modellierung ist dagegen aufgrund einer Vielzahl von Einflussfaktoren nahezu unmöglich. Auch ist kein manuelles Labeling erforderlich. Durch diese menschenähnliche Parkplatzauswahl wird eine Akzeptanz automatisiert betriebener Fahrzeuge erhöht.The image-based approach carried out using the method is advantageously able to deal with unstructured environments. In comparison to a graph structure or similar approaches, a solution space is not limited to a selection of defined parking spaces. Depending on the situation, the output of the heat map also enables unstructured output. For example, if a vehicle takes up two parking spaces when parking, it is possible that the output of the heat map suggests a parking space selection that is directly next to the vehicle that has already been parked incorrectly and also spans two parking spaces. This also means that the approach carried out using the method can be used, for example, in parking areas without defined parking spaces. The heatmap will always show the highest density where the human driver would have parked. In the case of a full parking lot, where manually created algorithms often fail, this would also mean that the heat map would still find a temporary parking space, for example on an edge where parking is not actually intended. Furthermore, the method enables an implicit weighting of a large number of attributes or properties of the vehicle for selecting the parking space. Thus, using the present method, a human-like parking space selection can be achieved, which can be implemented effectively and with little effort by using the artificial neural network. Manual modeling, on the other hand, is difficult due to a variety of influencing factors almost impossible. No manual labeling is required either. This human-like parking space selection increases acceptance of automated vehicles.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

  • 1 schematisch eine Datenverarbeitungseinheit sowie Eingangsdaten und Ausgangsdaten und
  • 2 schematisch ein mit einer Heatmap überlagertes Gesamtbild eines Parkraums mit mehreren Parkplätzen.
Show:
  • 1 schematically a data processing unit as well as input data and output data and
  • 2 schematically an overall image of a parking area with several parking spaces overlaid with a heatmap.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference numbers in all figures.

In 1 ist schematisch eine Datenverarbeitungseinheit 1 dargestellt, welche Bestanteil eines nicht gezeigten Fahrzeugs ist. Das Fahrzeug ist ausgebildet, einen Einparkvorgang automatisiert auszuführen.In 1 A data processing unit 1 is shown schematically, which is part of a vehicle, not shown. The vehicle is designed to carry out a parking process automatically.

Zu einem solchen automatisierten Einparken des Fahrzeugs in einen Parkplatz P1 bis Pn eines vorgegebenen Parkraums PR ist vorgesehen, dass dann, wenn ein Einparkvorgang geplant ist, initial auf Bilder von an oder in dem Parkraum PR befindlichen Kameras zugegriffen wird.For such automated parking of the vehicle in a parking space P1 to Pn of a predetermined parking space PR, it is provided that, when a parking process is planned, images from cameras located on or in the parking space PR are initially accessed.

Alle mittels der Kameras erfasste Bilder, welche unterschiedliche Abschnitte des Parkraums PR darstellen, werden in ein einziges Gesamtbild GB, welches den gesamten Parkraum PR beispielsweise aus einer Vogelperspektive darstellt. Ist der Parkraum PR ein mehrstöckiges Parkhaus, können mehrere Stockwerke des Parkhauses nebeneinander im gleichen Gesamtbild GB dargestellt werden.All images captured by the cameras, which represent different sections of the parking space PR, are converted into a single overall image GB, which represents the entire parking space PR, for example from a bird's eye view. If the parking space PR is a multi-story parking garage, several floors of the parking garage can be displayed side by side in the same overall image GB.

Im Anschluss werden Eigenschaften E des zu parkenden Fahrzeugs ermittelt und in einem Merkmalsvektor zusammengefasst. Diese Eigenschaften E können beispielsweise eine Anzahl von Fahrzeuginsassen (Integer) und/oder Geschlechter von Fahrzeuginsassen (Integers oder One Hot Encodings) und/oder körperliche und/oder geistige Beeinträchtigungen von Fahrzeuginsassen (Bool) und/oder ein Vorhandensein eines Kindes als Fahrzeuginsasse (Bool) und/oder eine Länge des Fahrzeugs (Gleitkomma) und/oder eine Breite des Fahrzeugs (Gleitkomma) und/oder eine aktuelle Position des Fahrzeugs in dem Parkraum PR (zweidimensionale oder dreidimensionale Koordinaten) umfassen. Die Beschreibung in Klammern gibt dabei, in welcher Form bzw. welchem Format die Eigenschaften E ermittelt werden.The properties E of the vehicle to be parked are then determined and summarized in a feature vector. These properties E can, for example, be a number of vehicle occupants (Integer) and/or genders of vehicle occupants (Integers or One Hot Encodings) and/or physical and/or mental impairments of vehicle occupants (Bool) and/or the presence of a child as a vehicle occupant (Bool ) and/or a length of the vehicle (floating point) and/or a width of the vehicle (floating point) and/or a current position of the vehicle in the parking space PR (two-dimensional or three-dimensional coordinates). The description in brackets indicates the form or format in which the properties E are determined.

Anschließend werden das Gesamtbild GB und die Eigenschaften E der Datenverarbeitungseinheit 1 zugeführt, welche ein trainiertes künstliches neuronales Netzwerk 1.1 umfasst. Dieses künstliche neuronale Netzwerk 1.1 umfasst eine bildverarbeitende Encoder-Decoder-Struktur und wird auf das Gesamtbild GB angewandt. Das künstliche neuronale Netzwerk 1.1 ist beispielsweise ein so genanntes Convolutional Neural Network, kurz CNN, oder Transformer-basiert. Der Merkmalsvektor wird beispielsweise in den Encoder oder unmittelbar nach dem Encoder in das neuronale Netzwerk 1.1 eingegeben. Dies kann beispielsweise durch eine so genannte Konkatenation durchgeführt werden.The overall image GB and the properties E are then fed to the data processing unit 1, which includes a trained artificial neural network 1.1. This artificial neural network 1.1 includes an image processing encoder-decoder structure and is applied to the overall image GB. The artificial neural network 1.1 is, for example, a so-called convolutional neural network, CNN for short, or transformer-based. The feature vector is entered, for example, into the encoder or immediately after the encoder into the neural network 1.1. This can be done, for example, through a so-called concatenation.

Mittels des künstlichen neuronalen Netzwerks 1.1 wird anhand des Gesamtbilds GB und des Merkmalsvektors eine Heatmap HM erzeugt, welche in einer rasterbasierten Darstellung des Parkraums PR für jedes Pixel des Gesamtbilds GB angibt, mit welcher Wahrscheinlichkeit ein menschlicher Fahrer das Fahrzeug dort parken würde. Dabei zeigen Bereiche B1 bis B4 Positionen in dem Parkraum PR, in welchen der Fahrer mit großer Wahrscheinlichkeit parken würde. Die Heatmap HM ist dabei zur Verdeutlichung dem Gesamtbild GB überlagert dargestellt.Using the artificial neural network 1.1, a heat map HM is generated based on the overall image GB and the feature vector, which indicates in a grid-based representation of the parking space PR for each pixel of the overall image GB the probability with which a human driver would park the vehicle there. Areas B1 to B4 show positions in the parking space PR in which the driver would most likely park. The heatmap HM is shown superimposed on the overall image GB for clarity.

Dem nachgelagert wird die Heatmap HM verarbeitet und aus der Heatmap HM wird der Parkplatz P aus den Parkplätzen P1 bis Pn zum Parken des Fahrzeugs ausgewählt, an dessen Position die Heatmap HM die höchste Dichte aufweist. Dies entspricht der mathematischen Operation der Integration innerhalb des Gesamtbilds GB. Dies ist im dargestellten Ausführungsbeispiel der Bereich B1, was in 2 in der dort das Gesamtbild GB überlagert dargestellten Heatmap HM verdeutlicht dargestellt ist.Subsequently, the heatmap HM is processed and from the heatmap HM the parking space P is selected from the parking spaces P1 to Pn for parking the vehicle at whose position the heatmap HM has the highest density. This corresponds to the mathematical operation of integration within the overall picture GB. In the exemplary embodiment shown, this is the area B1, which is in 2 in which the overall image GB is shown superimposed on the heatmap HM.

Insbesondere wird dabei die Position in der Heatmap HM gewählt, an der die höchste Dichte innerhalb eines definierten Radius vorliegt. Anstatt einen Radius zu verwenden, kann auch die Position gewählt werden, welche die höchste Dichte in einem Bereich, welcher mit Außenabmessungen des Fahrzeugs bzw. einer Fahrzeugform übereinstimmt, aufweist.In particular, the position in the heatmap HM is selected where the highest density is present within a defined radius. Instead of using a radius, the position can also be selected that has the highest density in an area that corresponds to the external dimensions of the vehicle or a vehicle shape.

Der ausgewählte Parkplatz P wird dann von einem Fahrzeugsystem verwendet, um das Fahrzeug automatisiert in diesen einzuparken.The selected parking space P is then used by a vehicle system to automatically park the vehicle there.

Durch Berücksichtigung der Eigenschaften E des Fahrzeugs bei der Auswahl des Parkplatzes P kann beispielsweise bei

  • - einer großen Anzahl von Fahrzeuginsassen ein Parkplatz P gewählt werden, welcher allen Fahrzeuginsassen eine weite Öffnung von Fahrzeugtüren ermöglicht,
  • - bei einem weiblichen Fahrzeuginsassen ein so genannter Frauenparkplatz gewählt werden,
  • - einem körperlich und/oder geistig beeinträchtigten Fahrzeuginsassen ein Behindertenparkplatz gewählt werden,
  • - bei Vorhandensein eines Kindes als Fahrzeuginsasse ein so genannter Mutter-Kind- oder Familien-Parkplatz gewählt werden,
  • - bei einer großen Länge des Fahrzeugs ein Parkplatz P mit großer Länge,
  • - bei einer großen Breite des Fahrzeugs ein Parkplatz P mit großer Breite und/oder
  • - in Abhängigkeit einer aktuellen Position des Fahrzeugs in dem Parkraum PR ein nahe gelegener Parkplatz P gewählt werden.
By taking the characteristics E of the vehicle into account when selecting the parking space P, for example,
  • - a parking space P can be selected for a large number of vehicle occupants, which allows all vehicle occupants to open the vehicle doors wide,
  • - if there is a female passenger in the vehicle, a so-called women's parking space can be selected,
  • - a disabled parking space can be selected for a physically and/or mentally impaired vehicle occupant,
  • - if there is a child as a passenger, a so-called mother-child or family parking space can be selected,
  • - if the vehicle is long, a parking space P with a long length,
  • - if the vehicle is large, a parking space P with a large width and/or
  • - Depending on a current position of the vehicle in the parking space PR, a nearby parking space P can be selected.

Um mittels des künstlichen neuronalen Netzwerks 1.1 die zuvor beschriebene automatische Auswahl des Parkplatzes P, P1 bis Pn durchzuführen, ist dieses entsprechend trainiert. In diesem Training wird ein gelabelter Datensatz verwendet, welcher das aus mehreren Bildern zusammengefügte Gesamtbild GB des Parkraums PR, die Eigenschaften E des zu parkenden Fahrzeugs und ein Ground-Truth-Label, welches eine Position im Gesamtbild GB angibt, die in einer in dem Gesamtbild GB dargestellten Situation in Wirklichkeit von einem menschlichen Fahrer als Parkplatz P, P1 bis Pn gewählt wurde, umfasst. Das Ground-Truth-Label stellt somit eine reale Heatmap nach einem durchgeführten Parkvorgang dar. Eine Erstellung eines solchen Datensatzes ist einfach und erfordert keinen manuellen Labelaufwand. Es müssen lediglich viele menschliche Einparkvorgänge beobachtet werden.In order to carry out the previously described automatic selection of the parking space P, P1 to Pn using the artificial neural network 1.1, it is trained accordingly. In this training, a labeled data set is used, which contains the overall image GB of the parking space PR composed of several images, the properties E of the vehicle to be parked and a ground truth label, which indicates a position in the overall image GB, which is in one in the overall image GB illustrated situation was actually chosen by a human driver as parking space P, P1 to Pn. The ground truth label therefore represents a real heat map after a parking process has been carried out. Creating such a data set is easy and does not require any manual label effort. All you have to do is observe a lot of human parking processes.

Weiterhin werden während des Trainings werden auf Basis vieler solcher Datentriplets, das heißt auf Basis einer Mehrzahl von aus mehreren Bildern zusammengefügten Gesamtbildern GB des Parkraums PR, einer Mehrzahl von Eigenschaften E zumindest eines parkenden Fahrzeugs und einer aus einer Mehrzahl von Ground-Truth-Labeln gebildeten Ground-Truth-Map, Gewichte des künstlichen neuronalen Netzwerks 1.1 mit statistischen Verfahren des maschinellen Lernens angepasst.Furthermore, during training, a plurality of properties E of at least one parked vehicle and one of a plurality of ground truth labels are formed on the basis of many such data triplets, that is to say on the basis of a plurality of overall images GB of the parking space PR put together from several images Ground truth map, weights of the artificial neural network 1.1 adapted using statistical machine learning methods.

Nach dem Training ist das künstliche neuronale Netzwerk 1.1 somit in der Lage ist, abzuschätzen, wo ein Mensch in einer ähnlichen Situation geparkt hätte. Diese Abschätzung erfolgt in der Heatmap HM. Das künstliche neuronale Netzwerk 1.1 bezieht für die Erstellung der Heatmap HM eine Vielzahl von Attributen, insbesondere Eigenschaften E des Fahrzeugs, Eigenschaften des Parkraums PR selbst, Eigenschaften von dessen Nachbarschaft etc., mit ein und gewichtet diese Attribute implizit durch die vorhanden Trainingsdaten.After training, the artificial neural network 1.1 is able to estimate where a human would have parked in a similar situation. This estimate is made in the heatmap HM. To create the heatmap HM, the artificial neural network 1.1 includes a variety of attributes, in particular properties E of the vehicle, properties of the parking space PR itself, properties of its neighborhood, etc., and implicitly weights these attributes using the existing training data.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102017007118 A1 [0002]DE 102017007118 A1 [0002]

Claims (5)

Verfahren zum automatisierten Einparken eines Fahrzeugs in einen Parkplatz (P, P1 bis Pn) eines vorgegebenen Parkraums (PR), dadurch gekennzeichnet, dass - Eigenschaften (E) des Fahrzeugs ermittelt und in einem Merkmalsvektor zusammengefasst werden, - einem trainierten künstlichen neuronalen Netzwerk (1.1) mit einer bildverarbeitenden Encoder-Decoder-Struktur ein den Parkraum (PR) vollständig darstellendes Gesamtbild (GB) und der Merkmalsvektor zugeführt werden, - mittels des künstlichen neuronalen Netzwerks (1.1) anhand des Gesamtbilds (GB) und des Merkmalsvektors eine Heatmap (HM) erzeugt wird, welche für jedes Pixel des Gesamtbilds (GB) angibt, mit welcher Wahrscheinlichkeit ein menschlicher Fahrer das Fahrzeug dort parken würde, - aus der Heatmap (HM) der Parkplatz (P) zum Parken des Fahrzeugs ausgewählt wird, an dessen Position die Heatmap (HM) die höchste Dichte aufweist, und - das Fahrzeug automatisiert in den ausgewählten Parkplatz (P) eingeparkt wird.Method for automatically parking a vehicle in a parking space (P, P1 to Pn) of a predetermined parking space (PR), characterized in that - properties (E) of the vehicle are determined and summarized in a feature vector, - a trained artificial neural network (1.1 ) an overall image (GB) that completely represents the parking space (PR) and the feature vector are supplied with an image-processing encoder-decoder structure, - a heat map (HM) using the artificial neural network (1.1) based on the overall image (GB) and the feature vector is generated, which indicates for each pixel of the overall image (GB) the probability with which a human driver would park the vehicle there, - the parking space (P) for parking the vehicle is selected from the heat map (HM), at whose position the heat map is (HM) has the highest density, and - the vehicle is automatically parked in the selected parking space (P). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mehrere mittels zumindest einer Kamera erfasste Bilder und verschiedene Abschnitte des Parkraums (PR) darstellende Bilder in das Gesamtbild (GB) transformiert werden.Procedure according to Claim 1 , characterized in that several images captured by at least one camera and images representing different sections of the parking space (PR) are transformed into the overall image (GB). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass während eines Trainings des künstlichen neuronalen Netzwerks (1.1) ein gelabelter Datensatz verwendet wird, welcher - das aus mehreren Bildern zusammengefügte Gesamtbild (GB) des Parkraums (PR), - Eigenschaften (E) des zu parkenden Fahrzeugs und - ein Ground-Truth-Label, welches eine Position im Gesamtbild (GB) angibt, die in einer in dem Gesamtbild (GB) dargestellten Situation in Wirklichkeit von einem menschlichen Fahrer als Parkplatz (P, P1 bis Pn) gewählt wurde, umfasst.Procedure according to Claim 1 or 2 , characterized in that during training of the artificial neural network (1.1) a labeled data set is used, which - the overall image (GB) of the parking space (PR) assembled from several images), - properties (E) of the vehicle to be parked and - a Ground truth label, which indicates a position in the overall image (GB) that was actually chosen by a human driver as a parking space (P, P1 to Pn) in a situation shown in the overall image (GB). Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass während des Trainings des künstlichen neuronalen Netzwerks (1.1) auf Basis - einer Mehrzahl von aus mehreren Bildern zusammengefügten Gesamtbildern (GB) des Parkraums (PR), - einer Mehrzahl von Eigenschaften (E) zumindest eines parkenden Fahrzeugs und - einer aus einer Mehrzahl von Ground-Truth-Labeln gebildeten Ground-Truth-Map Gewichte des künstlichen neuronalen Netzwerks (1.1) mit statistischen Verfahren des maschinellen Lernens angepasst werden.Procedure according to Claim 3 , characterized in that during the training of the artificial neural network (1.1) on the basis of - a plurality of overall images (GB) of the parking space (PR) assembled from several images), - a plurality of properties (E) of at least one parked vehicle and - one Ground truth map weights of the artificial neural network (1.1) formed from a plurality of ground truth labels are adjusted using statistical machine learning methods. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Eigenschaften (E) des Fahrzeugs - eine Anzahl von Fahrzeuginsassen und/oder - Geschlechter von Fahrzeuginsassen und/oder - körperliche und/oder geistige Beeinträchtigungen von Fahrzeuginsassen und/oder - ein Vorhandensein eines Kindes als Fahrzeuginsasse und/oder - eine Länge des Fahrzeugs und/oder - eine Breite des Fahrzeugs und/oder - eine aktuelle Position des Fahrzeugs in dem Parkraum (PR) berücksichtigt werden.Method according to one of the preceding claims, characterized in that the characteristics (E) of the vehicle are - a number of vehicle occupants and/or - genders of vehicle occupants and/or - physical and/or mental impairments of vehicle occupants and/or - the presence of a child as a vehicle occupant and/or - a length of the vehicle and/or - a width of the vehicle and/or - a current position of the vehicle in the parking space (PR).
DE102023003124.0A 2023-07-28 2023-07-28 Method for automated parking of a vehicle Pending DE102023003124A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023003124.0A DE102023003124A1 (en) 2023-07-28 2023-07-28 Method for automated parking of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023003124.0A DE102023003124A1 (en) 2023-07-28 2023-07-28 Method for automated parking of a vehicle

Publications (1)

Publication Number Publication Date
DE102023003124A1 true DE102023003124A1 (en) 2023-10-19

Family

ID=88191770

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023003124.0A Pending DE102023003124A1 (en) 2023-07-28 2023-07-28 Method for automated parking of a vehicle

Country Status (1)

Country Link
DE (1) DE102023003124A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017007118A1 (en) 2017-07-27 2018-03-08 Daimler Ag Method for parking selection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017007118A1 (en) 2017-07-27 2018-03-08 Daimler Ag Method for parking selection

Similar Documents

Publication Publication Date Title
DE102014009077A1 (en) Parking control device, parking control method and parking control system
DE102014214514A1 (en) Apparatus and method for exchanging data between vehicles for setting up a convoy
DE102019118366A1 (en) Method and control device for a system for controlling a motor vehicle
DE102018008685A1 (en) Method for training an artificial neural network, artificial neural network, use of an artificial neural network and corresponding computer program, machine-readable storage medium and corresponding device
DE102017127600A1 (en) Method for automatic parking for a motor vehicle with a driving support system
WO2019206792A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
DE102022003079A1 (en) Method for an automated generation of data for raster map-based prediction approaches
DE102018201570A1 (en) Multiple target object tracking method, apparatus and computer program for performing multiple target object tracking on moving objects
EP3869390A1 (en) Computer-implemented method and system for creating a virtual vehicle environment
DE102018128706A1 (en) Dynamic information protection for display devices
DE102018201111A1 (en) Method for monitoring at least one parking space for availability and system for carrying out the method
DE102017007118A1 (en) Method for parking selection
DE102023001698A1 (en) Method for an automated generation of data for raster map-based prediction approaches
DE102023003124A1 (en) Method for automated parking of a vehicle
DE102016124888A1 (en) A method for assisting a driver of a motor vehicle when parking using a driver assistance device, corresponding computer program product and driver assistance device
WO2015062750A1 (en) Infortainment system for a vehicle
DE102019114399A1 (en) Method for parking a vehicle with a protrusion
DE102022001569A1 (en) Method for detecting and selecting a parking space
EP3876157B1 (en) Computer-implemented method and system for generating synthetic sensor data and training method
DE102018129871A1 (en) Train a deep convolutional neural network to process sensor data for use in a driving support system
DE102023003113A1 (en) Method for automated parking of a vehicle
DE102019001955A1 (en) Method for operating an autonomously moving vehicle
DE102019119276A1 (en) Driver assistance system and driver assistance method for a vehicle
DE102018100211A1 (en) A method for generating a representation of an environment by moving a virtual camera towards an interior mirror of a vehicle; as well as camera setup
DE102022130692B3 (en) Computer-implemented method for creating a three-dimensional virtual model of a motor vehicle environment

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings