DE102018114628A1

DE102018114628A1 - Automatic or semi-automatic parking procedures based on deep learning

Info

Publication number: DE102018114628A1
Application number: DE102018114628.0A
Authority: DE
Inventors: Mohamed MAHMOUD
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-06-19
Filing date: 2018-06-19
Publication date: 2019-12-19

Abstract

Die Erfindung betrifft ein automatisches oder halbautomatisches Ausparkverfahren für ein Kraftfahrzeug mit einem Fahrunterstützungssystem, das mindestens die folgenden Schritte aufweist:- Bereitstellen von Merkmalen einer Fahrzeugparkumgebung unter Verwendung eines oder mehrerer Detektoren,- Einspeisen der Merkmale als Eingabe in ein tiefes neuronales Netzwerk (DNN) zum Lernen einer Zeitfolge von Fahrsignalen, und- Bereitstellen des Lernergebnisses als eine Ausgabesequenz, wobei die DNN-Eingabemerkmale mindestens die Position von Objekten in der Umgebung und zusätzliche Objektattribute aufweisen, und wobei die Ausgabemerkmale mindestens die Fahrzeug-Zielposition aufweisen.The invention relates to an automatic or semi-automatic parking method for a motor vehicle with a driving support system, which has at least the following steps: - providing features of a vehicle parking environment using one or more detectors, - feeding the features as input into a deep neural network (DNN) for Learning a time sequence of driving signals, and - providing the learning result as an output sequence, the DNN input features having at least the position of objects in the environment and additional object attributes, and wherein the output features having at least the vehicle target position.

Description

Die Erfindung betrifft ein automatisches oder halbautomatisches Ausparkverfahren für ein Kraftfahrzeug mit einem Fahrunterstützungssystem, das mindestens die folgenden Schritte aufweist:

- Bereitstellen von Merkmalen einer Fahrzeugparkumgebung unter Verwendung eines oder mehrerer Detektoren,
- Einspeisen der Merkmale als Eingabe in ein tiefes neuronales Netzwerk (DNN) zum Lernen einer Zeitfolge von Fahrsignalen, und
- Bereitstellen des Lernergebnisses als eine Ausgabesequenz, wobei die DNN-Eingabemerkmale mindestens die Position von Objekten in der Umgebung und zusätzliche Objektattribute aufweisen, und wobei die Ausgabemerkmale mindestens die Fahrzeug-Zielposition aufweisen.

The invention relates to an automatic or semi-automatic parking method for a motor vehicle with a driving support system, which has at least the following steps:

Providing features of a vehicle parking environment using one or more detectors,
Feeding the features as input into a deep neural network (DNN) for learning a time sequence of driving signals, and
- Providing the learning result as an output sequence, the DNN input features having at least the position of objects in the environment and additional object attributes, and wherein the output features having at least the vehicle target position.

Neben dem Manövrieren im fließenden Verkehr ist auch das Parken eine grundlegende und wichtige Funktion autonomer oder halbautonomer Fahrzeuge. Nichtsdestotrotz ist das Parken für den menschlichen Autofahrer schon immer ein „schwieriger“ Vorgang gewesen und ist immer noch schwierig, da der Vorgang normalerweise eine Serie geeigneter Aktionen erfordert, um ein bestimmtes Ziel unter komplizierten Umgebungsbedingungen zu erreichen. Letzteres trifft insbesondere zu, denn in den meisten Fällen ist der Verkehr am Parkort nicht statisch, sondern ändert sich, d.h. eine dynamische Situation, so dass zusätzlich mehrere verschiedene Umgebungsnebenbedingungen bestimmen, ob ein ausgewähltes Parkmanöver ein erfolgreiches und sicheres Parkmanöver ist. Diese komplexe Aufgabe lässt sich nur schwer auf automatisierte Prozesse übertragen, da die vorliegende Situation in den meisten Fällen nicht auf eine vollständig deterministische Weise beschreibbar ist. In den letzten Jahren wurden umfangreiche Forschungen zu tiefen neuronalen Netzwerken (DNNs) auch im Bereich des automatisierten Fahrens ausgeführt, da basierend auf ihrem Design und der Erhöhung der Rechenleistung derartige Computerarchitekturen in der Lage sein sollten, große Datensätze zu verarbeiten. In der Regel wird bei diesen Ansätzen jedoch die Umgebung durch eine Szene (Liniengruppe) abstrahiert, was zwar für Standardparkszenarien sinnvoll ist, d.h. für Szenarien, die nur grundlegende Hindernisse aufweisen, aber im Falle eines komplexen Szenarios mit komplexen Hindernissen, d.h. unterschiedlichen oder sogar dynamischen Hindernissen, wird es sehr schwierig, die Umgebung durch die Szene auf eine geeignete Weise zu abstrahieren.In addition to maneuvering in flowing traffic, parking is also a fundamental and important function of autonomous or semi-autonomous vehicles. Nonetheless, parking has always been a "difficult" process for human drivers, and is still difficult, since the process usually requires a series of suitable actions to reach a specific destination under complex environmental conditions. The latter applies in particular, because in most cases the traffic at the parking location is not static, but changes, i.e. a dynamic situation, so that several different environmental constraints also determine whether a selected parking maneuver is a successful and safe parking maneuver. This complex task is difficult to transfer to automated processes, since in most cases the present situation cannot be described in a completely deterministic way. In recent years, extensive research on deep neural networks (DNNs) has also been carried out in the field of automated driving, because based on their design and the increase in computing power, such computer architectures should be able to process large data sets. As a rule, however, with these approaches the environment is abstracted by a scene (line group), which is useful for standard parking scenarios, i.e. for scenarios that only have basic obstacles, but in the case of a complex scenario with complex obstacles, i.e. different or even dynamic obstacles, it becomes very difficult to abstract the environment through the scene in a suitable way.

Eine mögliche Anwendung von DNNs in einer Parkumgebung ist beispielsweise in Sirithinaphongin, T. et al. in „The recognition of car license plate for automatic parking system“ (ISBN 1-86435-451-8, in Signal Processing and Its Applications, 1999, ISSPA '99, Proceedings of the Fifth International Symposium, DOI 10.1109/ISSPA. 1999.818210 ) beschrieben. In diesem Artikel ist dargestellt, dass die Erkennung eines Autokennzeichens für ein automatisches Parksystem wichtig ist, um das Auto am Eingang des Parkbereichs zu identifizieren, da das Autokennzeichen eine eindeutige Information für jedes Auto anzeigt. Der Artikel schlägt die Erkennung eines Autokennzeichens vor, die genau und bezüglich Umgebungsvariationen robust ist, indem Autokennzeichenmuster gemäß den Kraftfahrzeugkennzeichenvorschriften und ein neuronales 4-schichtiges BP-Netzwerk mit überwachtem Lernen verwendet werden. Bei diesem Verfahren werden die Kandidatenbereiche des Autokennzeichens zunächst gemäß den Kraftfahrzeugkennzeichenvorschriften, wie beispielsweise gemäß der Farbe, dem Verhältnis und der Form des Autokennzeichens, dem Muster von Schriftzeichen und Zahlen usw. bestimmt. Für die Ergebnisse der Erkennung durch neuronale Netzwerke wird der Kandidat, der Schriftzeichen und Zahlen gemäß den Kraftfahrzeugkennzeichenvorschriften aufweist, als ein Kennzeichenbereich identifiziert. Da die Ergebnisse der Zeichenmustererkennung verwendet werden, um das Kennzeichen zu identifizieren, ist die Fähigkeit der Kennzeichenextraktion genauer und kann gleichzeitig das Auto identifiziert werden.A possible application of DNNs in a parking environment is, for example, in Sirithinaphongin, T. et al. in "The recognition of car license plate for automatic parking system" (ISBN 1-86435-451-8, in Signal Processing and Its Applications, 1999, ISSPA '99, Proceedings of the Fifth International Symposium, DOI 10.1109 / ISSPA. 1999.818210 ) described. This article shows that the recognition of a license plate is important for an automatic parking system to identify the car at the entrance to the parking area, since the license plate shows unique information for each car. The article suggests recognition of a license plate number that is accurate and robust with regard to environmental variations by using car license plate patterns according to vehicle license plate regulations and a 4-layer neural BP network with supervised learning. In this method, the candidate areas of the license plate are first determined in accordance with the vehicle license plate regulations, such as, for example, the color, ratio and shape of the license plate, the pattern of characters and numbers, etc. For the results of the recognition by neural networks, the candidate, which has characters and numbers in accordance with the vehicle license plate regulations, is identified as a license plate area. Since the results of character pattern recognition are used to identify the license plate, the license plate extraction ability is more accurate and the car can be identified at the same time.

Neben den bereits existierenden DNN-basierten Ansätzen nach dem Stand der Technik besteht jedoch immer noch ein Bedarf dafür Fahrzeugparkverfahren bereitzustellen, die in der Lage sind, das gesamte Parkmanöver zu verbessern und in der Lage sind, ein sichereres und zuverlässigeres autonomes oder halbautonomes Parken von Fahrzeugen, insbesondere für Ausparkmanöver, zu ermöglichen.In addition to the existing DNN-based approaches according to the prior art, however, there is still a need to provide vehicle parking methods that are able to improve the overall parking maneuver and are able to park vehicles more safely and reliably, autonomously or semi-autonomously , especially for parking maneuvers.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Nachteile des Stands der Technik zumindest teilweise zu überwinden. Insbesondere liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine verbesserte Lösung für DNN-basierte Fahrzeugausparkmanöver anzugeben.The present invention has for its object to at least partially overcome the disadvantages of the prior art. In particular, the present invention is based on the object of specifying an improved solution for DNN-based vehicle parking maneuvers.

Die Lösung der vorstehenden Aufgabe erfolgt durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs 1. Außerdem erfolgt die Lösung der Aufgabe durch die Verwendung des Verfahrens in einem Fahrunterstützungssystem nach Anspruch 8, ein Fahrunterstützungssystem gemäß den technischen Merkmalen von Anspruch 9, ein nichtflüchtiges computerlesbares Medium nach Anspruch 10 und ein Kraftfahrzeug mit dem erfindungsgemäßen System nach Anspruch 11.The above object is achieved by a method having the features of independent claim 1. In addition, the object is achieved by using the method in a driving support system according to claim 8, a driving support system according to the technical features of claim 9, and a non-volatile computer-readable medium Claim 10 and a motor vehicle with the system according to the invention according to claim 11.

Bevorzugte Ausführungsformen der Erfindung sind durch die Merkmale der abhängigen Ansprüche und die in der Beschreibung dargestellten Merkmale definiert, wobei eine Kombination von Merkmalen separater Teile innerhalb des Schutzumfangs der Erfindung liegt, sofern dies nicht ausdrücklich ausgeschlossen ist.Preferred embodiments of the invention are dependent on the features of the Claims and the features shown in the description are defined, a combination of features of separate parts being within the scope of the invention, unless this is expressly excluded.

Die Erfindung betrifft einen automatischen oder halbautomatischen Ausparkvorgang für ein Kraftfahrzeug mit einem Fahrunterstützungssystem, das mindestens die folgenden Schritte aufweist:

- Bereitstellen von Merkmalen einer Fahrzeugparkumgebung unter Verwendung eines oder mehrerer Detektoren,
- Einspeisen der Merkmale als Eingabe in ein tiefes neuronales Netzwerk (DNN) zum Lernen einer Zeitfolge von Fahrsignalen, und
- Bereitstellen des Lernergebnisses als eine Ausgabesequenz, wobei die DNN-Eingabemerkmale mindestens die Position von Objekten in der Umgebung und zusätzliche Objektattribute aufweisen, und die Ausgabemerkmale mindestens die Fahrzeug-Zielposition aufweisen.

The invention relates to an automatic or semi-automatic parking process for a motor vehicle with a driving support system, which has at least the following steps:

Providing features of a vehicle parking environment using one or more detectors,
Feeding the features as input into a deep neural network (DNN) for learning a time sequence of driving signals, and
- Providing the learning result as an output sequence, the DNN input features having at least the position of objects in the environment and additional object attributes, and the output features having at least the vehicle target position.

Überraschenderweise hat sich gezeigt, dass es möglich ist, den oben beschriebenen Vorgang zu verwenden, um ein tiefes neuronales Netzwerk zu trainieren, und basierend auf dem Trainingsergebnis ist es möglich, vorteilhafte Ausparkszenarien so schnell wie möglich zu identifizieren. Die resultierende Auspark-Zielposition ist sicher und reproduzierbar, und das Parkmanöver imitiert ein menschenähnliches Parkverhalten. Dieses Ergebnis steht im Gegensatz zu Standardlernroutinen, bei denen die Umgebung unter Verwendung einer Szene (Liniengruppe) abstrahiert wird, was bei Standard-Ausparkszenarien, die nur grundlegende Hindernisse aufweisen, ziemlich gut funktioniert, aber in komplexen Fall-Szenarien mit komplexen Hindernissen, wie beispielsweise Pfosten, Mülleimer, wartende Fahrzeuge am Straßenrand, versagt. Durch die Verwendung herkömmlicher Lernverfahren war es schwierig, die Umgebung auf eine geeignete Weise durch die Szene zu abstrahieren. Im Gegensatz zum Stand der Technik ist das erfindungsgemäße Verfahren in der Lage, neben den Standard-Anwendungsfällen auch komplexe zu erfassen, bei denen unterschiedliche Objekte mit unterschiedlichen Dynamiken und Verhaltensweisen vorhanden sind. Es ist möglich, verschiedene Objektattribute basierend auf der verfügbaren Sensortechnologie als Trainingsattribute in das erfindungsgemäße Verfahren zu integrieren. Beispielsweise war es in der Vergangenheit für universelle laserbasierte Systeme (ULS) möglich, nur die ULS-Kartendaten als Trainingsdaten zu verwenden. Dieser Ansatz deckte einige der vorstehend beschriebenen „einfachen“ Anwendungsfälle ab, aber mit dieser Datenbank wird beispielsweise die Ziel-Fahrspur für den Ausparkvorgang nicht berücksichtigt. In einem solchen Verfahren könnte ein gültiges Ergebnis ein unerwünschter Ausparkvorgang sein, der zu einer Fahrzeugposition in der Fahrspur der entgegengesetzten Richtung führt. Indem auch die Fahrspurrichtung in dem Verfahren berücksichtigt wird, wird ein solches unerwünschtes Ausparkergebnis vermieden. Dieses Ergebnis gilt auch für weitere Eingabevariablen, die in der Lage sind, zusätzlich verschiedene Objekttypen zu klassifizieren und unterschiedliches Objektverhalten in das Verfahren zu integrieren. Beispielsweise kann oder sollte die resultierende Ausparkposition im Fall des Vorhandenseins eines Fahrzeugs oder einer Säule im Vergleich zu dem Trainingsergebnis bei Anwesenheit eines Fußgängers verschieden sein. Daher können auf der Basis der zusätzlichen Eingabemerkmale komplexere Szenarien gehandhabt werden, kann die Gesamtprozessfehlerrate signifikant reduziert werden und ist ein „intuitiveres“ humanisiertes Ausparkmanöver erzielbar.Surprisingly, it has been shown that it is possible to use the process described above to train a deep neural network, and based on the training result, it is possible to identify advantageous parking scenarios as quickly as possible. The resulting parking-out target position is safe and reproducible, and the parking maneuver imitates human-like parking behavior. This result is in contrast to standard learning routines, in which the environment is abstracted using a scene (line group), which works quite well for standard parking scenarios with only basic obstacles, but in complex case scenarios with complex obstacles, such as Posts, trash cans, vehicles waiting on the roadside, failed. Using conventional learning methods, it was difficult to appropriately abstract the environment through the scene. In contrast to the prior art, the method according to the invention is able to record complex applications in addition to the standard use cases, in which different objects with different dynamics and behaviors are present. It is possible to integrate various object attributes based on the available sensor technology as training attributes into the method according to the invention. For example, in the past it was possible for universal laser-based systems (ULS) to use only the ULS card data as training data. This approach covered some of the “simple” use cases described above, but with this database, for example, the target lane is not taken into account for the parking process. In such a method, a valid result could be an undesired parking process that leads to a vehicle position in the lane in the opposite direction. Such an undesired parking result is avoided by also taking the lane direction into account in the method. This result also applies to other input variables that are able to additionally classify different object types and to integrate different object behavior into the process. For example, the resulting parking position in the presence of a vehicle or a pillar may or should be different from the training result in the presence of a pedestrian. Therefore, more complex scenarios can be handled on the basis of the additional input features, the overall process error rate can be significantly reduced and a “more intuitive” humanized maneuvering maneuver can be achieved.

Das erfindungsgemäße Verfahren kann in einem Kraftfahrzeug mit einem Fahrunterstützungssystem verwendet werden. Kraftfahrzeuge sind Fahrzeuge, die auf öffentlichen Straßen fahren dürfen und sind beispielsweise Autos, Lastwagen, Anhänger, Wohnwagen oder dergleichen. Das Fahrzeug weist außerdem ein Fahrunterstützungssystem auf, wie später beschrieben wird. Dies bedeutet, dass entweder das Fahrzeug ein solches System aufweist oder das Fahrzeug eine elektronische Einrichtung für einen Zugriff auf solche Systeme aufweist. Es ist bevorzugt, dass das Kraftfahrzeug ein solches System aufweist.The method according to the invention can be used in a motor vehicle with a driving support system. Motor vehicles are vehicles that are allowed to drive on public roads and are, for example, cars, trucks, trailers, caravans or the like. The vehicle also has a driving support system, as will be described later. This means that either the vehicle has such a system or the vehicle has an electronic device for accessing such systems. It is preferred that the motor vehicle has such a system.

Der Lernprozess basiert auf Merkmalen einer Fahrzeugparkumgebung, die durch einen oder mehreren Detektoren erfasst oder abgetastet wird. Merkmale können beispielsweise Objekte sein, die benachbart oder in der Nähe des Fahrzeugs angeordnet sind, und zusätzlich die Objekteigenschaften. Zusätzliche Merkmale können auch mit der Fahrsituation verknüpft sein und können relevante Verkehrsinformationen wie Fahrspurrichtung, Einbahnstraßen, Fußgängerzonen oder dergleichen beinhalten. Objektattribute können beispielsweise die Objektposition und Gesamtabmessungen, wie beispielsweise eine Objektlänge oder -höhe, sein. Weitere Objektattribute können die Objektgeschwindigkeit oder eine mögliche Geschwindigkeitsänderung sein. Es hat sich als zweckmäßig erwiesen, die Fahrzeugumgebung als Funktion der direkten Parksituation anzunähern. Nichtsdestotrotz kann die Umgebung für die meisten Lernfälle Objekte enthalten, die vorzugsweise weniger als 20 m, auch vorzugsweise weniger als 15 m und bevorzugter weniger als 10 m von der Fahrzeugmitte entfernt sind. Objekte innerhalb dieses Bereichs können stationäre, halbdynamische oder dynamische Objekte sein, d.h., die Objekte können sich entweder bewegen oder an ihrer Position verbleiben. Es ist auch möglich, dass eine Bewegungswahrscheinlichkeit bestimmt oder definiert wird, wobei es für halbdynamische Objekte möglich, aber unwahrscheinlich ist, dass sich diese Objekte innerhalb eines vorgegebenen Zeitrahmens bewegen (z.B. ein Ball oder ein Papier-/Plastikbeutel). Objekte im Allgemeinen sind physische Dinge wie Fußgänger, andere sich bewegende oder geparkte Fahrzeuge, Fahrräder mit Fahrradfahrern, Säulen, Zäune, Bordsteine, abgesenkte Randsteine oder dergleichen. Diese Objekte können in der Nähe des Fahrzeugs durch einen beliebigen dem Fachmann bekannten Sensortyp erfasst werden, der in einer Automobilumgebung verwendet werden kann. Mögliche Sensortypen sind RADAR-, LIDAR-, Ultraschall- und Bildsensoren, wie beispielsweise Digitalkameras.The learning process is based on features of a vehicle parking environment, which is detected or scanned by one or more detectors. Features can be, for example, objects that are arranged adjacent or in the vicinity of the vehicle, and in addition the object properties. Additional features can also be linked to the driving situation and can contain relevant traffic information such as lane direction, one-way streets, pedestrian zones or the like. Object attributes can be, for example, the object position and overall dimensions, such as an object length or height. Other object attributes can be the object speed or a possible speed change. It has proven expedient to approximate the vehicle environment as a function of the direct parking situation. Nevertheless, for most learning cases, the surroundings can contain objects which are preferably less than 20 m, also preferably less than 15 m and more preferably less than 10 m from the center of the vehicle. Objects within this area can be stationary, semi-dynamic or dynamic objects, ie the objects can either move or remain in position. It is also possible that one The probability of movement is determined or defined, whereby it is possible for semi-dynamic objects, but it is unlikely that these objects will move within a given time frame (e.g. a ball or a paper / plastic bag). Objects in general are physical things such as pedestrians, other moving or parked vehicles, bicycles with cyclists, pillars, fences, curbs, lowered curbs or the like. These objects can be detected near the vehicle by any type of sensor known to those skilled in the art that can be used in an automotive environment. Possible sensor types are RADAR, LIDAR, ultrasound and image sensors, such as digital cameras.

Die erfassten Merkmale oder Attribute werden als Eingabe in ein tiefes neuronales Netzwerk (DNN) eingespeist, um eine Zeitfolge von Fahrsignalen zu lernen. Die Merkmale können innerhalb eines im oder am Fahrzeug angeordneten DNN verarbeitet werden. Es ist auch möglich, dass das Netzwerktraining offline auf einem Remote-Server erfolgt. Daher kann das Verfahren entweder auf dem Fahrzeug oder auf einem Cloud-Server implementiert werden, wobei das Fahrzeug alle Daten über einen TCP/IP-Kanal über die ECU an das Netzwerk übertragen kann, um die lineare Regression anzuwenden und die endgültige Zielposition zurückzuübertagen. Die Zeitfolge von Fahrsignalen beinhaltet alle notwendigen Informationen über die gesamte Ausparktrajektorie und die notwendigen Fahrzeugsignale und die Zeitfolge, um sicher entlang der Trajektorie zur endgültigen Zielposition zu fahren. Geeignete DNNs können ein beliebiges der bereits eingeführten Netzwerke (CNN, Fullyconnected Layers ... usw.) sein.The recorded features or attributes are fed as input into a deep neural network (DNN) in order to learn a time sequence of driving signals. The features can be processed within a DNN arranged in or on the vehicle. It is also possible for the network training to take place offline on a remote server. Therefore, the method can be implemented either on the vehicle or on a cloud server, whereby the vehicle can transmit all data over a TCP / IP channel via the ECU to the network in order to apply the linear regression and to transmit the final target position again. The time sequence of driving signals contains all the necessary information about the entire parking trajectory and the necessary vehicle signals and the time sequence in order to drive safely along the trajectory to the final target position. Suitable DNNs can be any of the networks already introduced (CNN, fully connected layers ... etc.).

Nach dem Lernschritt wird das Lernergebnis als Ausgabesequenz bereitgestellt. Die Ausgabesequenz kann neben der Zielposition i) Lenkwinkel, ii) Bremssignale und/oder iii) Beschleunigungspedalsignale aufweisen. Die Ausgabesequenz kann eine Zeitfolge mit variabler Länge sein. Die Ausgabesequenz kann eine beliebige Anzahl von i) Lenkwinkeln, ii) Bremssignalen und/oder iii) Beschleunigungspedalsignalen in einer beliebigen Kombination aufweisen. Vorzugsweise bildet die Ausgabesequenz von Lenksignalen, Bremssignalen und/oder Beschleunigungspedalsignalen im Wesentlichen das Ausparkmanöver, das durch das Kraftfahrzeug für den Ausparkvorgang ausgeführt werden soll. Die Zielposition kann auch in der Form von Absolutwerten der x, y-Position bereitgestellt werden.After the learning step, the learning result is provided as an output sequence. In addition to the target position, the output sequence can have i) steering angle, ii) brake signals and / or iii) accelerator pedal signals. The output sequence can be a time sequence of variable length. The output sequence can have any number of i) steering angles, ii) brake signals and / or iii) accelerator pedal signals in any combination. The output sequence of steering signals, brake signals and / or accelerator pedal signals preferably essentially forms the parking maneuver that is to be carried out by the motor vehicle for the parking process. The target position can also be provided in the form of absolute values of the x, y position.

Die DNN-Eingabemerkmale weisen mindestens die Position von Objekten in der Umgebung und zusätzliche Objektattribute auf. Die zusätzlichen Objektattribute sind durch die Sensoren erfassbar und objektspezifisch. Geeignete Attribute können mit dem Erscheinungsbild physischer Objekte, wie beispielsweise mit Objektabmessungen, verknüpft sein, können aber auch Parameter enthalten, die mit der Objektdynamik verknüpft sind, wie beispielsweise mit der Objektgeschwindigkeit oder mit der Bewegungsrichtung. Weitere Objektattribute können mit der Verkehrssituation verknüpft sein und beispielsweise Geschwindigkeitsbeschränkungen, Fahrspurrichtungen, Einbahnstraßensituationen oder dergleichen aufweisen. Insbesondere ist es basierend auf derartigen weiteren Eingabemerkmalen möglich, ein besseres Lernergebnis bereitzustellen, das im Vergleich zu anderen Lernergebnissen intuitiver ist. Die weiteren Eingabemerkmale vermeiden beispielsweise eine Trajektorie, bei der die endgültige Parkposition sich auf der „falschen“ Fahrpurseite befindet und die Gefahr besteht, dass das Ausparken wegen plötzlich erscheinender Fahrzeuge unterbrochen werden muss. Auch die Objekthöhe und die anderen Merkmale können weiter dazu beitragen, das Objekt zuverlässig zu klassifizieren, und somit ermöglichen, „signifikante“ Objekte (z.B. einen sich bewegenden Fußgänger) von irrelevanten Objekten (z.B. einer sich bewegenden Papiertüte) in der Fahrzeugumgebung zu unterscheiden. Beide Objekte können beispielsweise durch die Objekthöhe, die Objektgeschwindigkeit und auch die erste Ableitung der Bewegungsrichtung unterschieden werden.The DNN input characteristics have at least the position of objects in the environment and additional object attributes. The additional object attributes can be detected by the sensors and are object-specific. Suitable attributes can be linked to the appearance of physical objects, such as object dimensions, but can also contain parameters that are linked to the object dynamics, such as the object speed or the direction of movement. Further object attributes can be linked to the traffic situation and, for example, have speed restrictions, lane directions, one-way street situations or the like. In particular, based on such further input features, it is possible to provide a better learning result that is more intuitive compared to other learning results. The other input features avoid, for example, a trajectory in which the final parking position is on the "wrong" side of the lane and there is a risk that parking should be interrupted due to vehicles suddenly appearing. The height of the object and the other features can also help to classify the object reliably and thus make it possible to distinguish "significant" objects (e.g. a moving pedestrian) from irrelevant objects (e.g. a moving paper bag) in the vehicle environment. Both objects can be distinguished, for example, by the object height, the object speed and also the first derivative of the direction of movement.

In einer bevorzugten Ausführungsform des Verfahrens können der eine oder die mehreren Detektoren eine oder mehrere Kameras und/oder einen oder mehrere Ultraschallsensoren aufweisen. Vorzugsweise weisen der eine oder die mehreren Detektoren eine oder mehrere Kameras und/oder einen oder mehrere Sensoren, wie beispielsweise Ultraschallsensoren, auf. Beispielsweise können die Detektoren Teil eines Rundumsichtsystems sein, das eine oder mehrere Kameras, z.B. vier oder noch mehr Kameras, aufweist. Die Merkmale, die durch die Kameras als Detektoren erfasst werden, können kamerabasierte Merkmale sein. Die verwendeten Kameras können Sichtkameras und/oder Infrarotkameras aufweisen. Zusätzlich können die Detektoren auch einen oder mehrere Sensoren, wie beispielsweise einen oder mehrere Ultraschallsensoren, z.B. acht, zehn oder zwölf Ultraschallsensoren, aufweisen, die um das Kraftfahrzeug herum angeordnet sind. Das erfindungsgemäße Verfahren kann eine beliebige Anzahl und Kombination hierin erwähnter Detektoren verwenden, d.h., es kann mehrere gleiche oder verschiedene einzelne Detektoren verwenden, um Merkmale der detektierten Objekte für das tiefe neuronale Netzwerk (DNN) bereitzustellen.In a preferred embodiment of the method, the one or more detectors can have one or more cameras and / or one or more ultrasonic sensors. The one or more detectors preferably have one or more cameras and / or one or more sensors, such as ultrasound sensors. For example, the detectors can be part of an all-round vision system that includes one or more cameras, e.g. four or more cameras. The features that are captured by the cameras as detectors can be camera-based features. The cameras used can have vision cameras and / or infrared cameras. In addition, the detectors can also include one or more sensors, such as one or more ultrasonic sensors, e.g. have eight, ten or twelve ultrasonic sensors, which are arranged around the motor vehicle. The method according to the invention can use any number and combination of detectors mentioned herein, i.e. it can use several identical or different individual detectors to provide features of the detected objects for the deep neural network (DNN).

In einem weiteren Aspekt des Verfahrens können die DNN-Eingabemerkmale einen oder mehrere Parameter umfassen, die aus der Gruppe bestehend aus x-, y-Kartenpunkten von Objekten, einer Klassifizierung, einer Klassifizierungswahrscheinlichkeit, einer Höhe, einer Bewegungsrichtung, einer Bewegungsgeschwindigkeit, einer ersten Ableitung der Bewegungsgeschwindigkeit, einer ersten Ableitung der Bewegungsrichtung und Fahrspurrichtungen ausgewählt sind. Es hat sich insbesondere als nützlich herausgestellt, eines oder mehrere der oben erwähnten Merkmale für eine weitere DNN-Eingabe zu verwenden. Durch die Verwendung einiger oder aller dieser Eingabemerkmale konnte die Zuverlässigkeit eines ausreichenden Lernergebnisses erheblich verbessert werden, und zusätzlich wurde im Vergleich zu Lernmodellen ohne die zusätzliche Eingabe häufiger eine bessere Ausgabe erzeugt. Die endgültige Zielposition war „sicherer“ und näher an einer Position, die durch einen „echten“ Fahrzeugbenutzer gewählt wurde. Geeignete Objektklassifizierungen können beispielsweise ein sich bewegendes Objekt, ein stationäres Objekt, ein halbdynamisches Objekt, ein menschliches Objekt, ein kleines Objekt, ein Objekt der Umgebung usw. sein. Die Klassifizierungswahrscheinlichkeit kann proportional zu der Wahrscheinlichkeit sein, dass das Objekt auf die korrekte Weise klassifiziert wird.In a further aspect of the method, the DNN input features can comprise one or more parameters, which consist of the group consisting of x, y map points of objects, a classification, a classification probability, a height, a direction of movement, one Movement speed, a first derivative of the movement speed, a first derivative of the direction of movement and lane directions are selected. It has proven particularly useful to use one or more of the features mentioned above for another DNN entry. By using some or all of these input features, the reliability of a sufficient learning outcome could be significantly improved, and in addition, better output was generated more often than learning models without the additional input. The final target position was "safer" and closer to a position chosen by a "real" vehicle user. Suitable object classifications can be, for example, a moving object, a stationary object, a semi-dynamic object, a human object, a small object, a surrounding object, etc. The classification probability can be proportional to the probability that the object will be classified correctly.

Gemäß einer anderen Eigenschaft des Verfahrens zum Trainieren des neuronalen Netzwerks kann ein ADAM-Optimierungsalgorithmus verwendet werden. Ein ADAM-Optimierer hat sich zum Vermindern des Kreuzentropieverlusts im erfindungsgemäßen Verfahren als zweckmäßig erwiesen. Dieser Optimierer ist in der Lage, die Qualität der Modellausgabe weiter zu erhöhen und die Wahrscheinlichkeit unerwünschter Lernergebnisse zu reduzieren.According to another characteristic of the method for training the neural network, an ADAM optimization algorithm can be used. An ADAM optimizer has proven to be useful for reducing the loss of cross entropy in the method according to the invention. This optimizer is able to further increase the quality of the model output and reduce the likelihood of undesired learning results.

In einer weiteren bevorzugten Ausführungsform des Verfahrens kann das DNN-Netzwerk ein DNN mit einer oder zwei verborgenen Schichten sein. Für den Lernprozess hat es sich als nützlich erwiesen, ein tiefes neuronales Netzwerk mit 1 bis 2 verborgenen Schichten zu verwenden. Ein solcher Aufbau ist ausreichend und in der Lage, ausreichende Ergebnisse mit dem erforderlichen Zeitrahmen des Ausparkvorgangs zu liefern. Damit kann ein schneller und einfacher neuronaler Aufbau verwendet werden, der in der Lage ist, reproduzierbare Ergebnisse zu liefern.In a further preferred embodiment of the method, the DNN network can be a DNN with one or two hidden layers. For the learning process, it has proven useful to use a deep neural network with 1 to 2 hidden layers. Such a structure is sufficient and capable of delivering sufficient results with the required time frame for the parking process. This means that a fast and simple neural structure can be used which is capable of delivering reproducible results.

Innerhalb einer anderen Eigenschaft des Verfahrens kann das im neuronalen Netzwerk verwendete Lernen überwachtes Lernen sein. Überwachtes Lernen hat sich für das erfindungsgemäße Verfahren als nützlich erwiesen, da es zuverlässige Trainingsergebnisse liefert. Bei dieser Art des Lernens wird eine Funktion aus gelabelten Trainingsdaten erzeugt, die aus einem Satz von Trainingsbeispielen bestehen. Jedes Beispiel ist ein Paar bestehend aus einem Eingabeobjekt (typischerweise ein Vektor, der die Eingabemerkmale aufweist) und einem gewünschten Ausgabewert (auch als Überwachungssignal bezeichnet). Der überwachte Lernalgorithmus analysiert die Trainingsdaten und erzeugt eine geschlussfolgerte Funktion, die zum Abbilden neuer Beispiele verwendbar ist. Ein optimales Szenario wird es dem Algorithmus ermöglichen, die Klassenlabels für noch unbekannte Instanzen korrekt zu bestimmen. Dies erfordert, dass der Lernalgorithmus von den Trainingsdaten zu noch unbekannten Situationen auf eine „vernünftige“ Art und Weise generalisiert wird. Das überwachte Lernen kann die folgenden Schritte aufweisen:

a) Bestimmen des Typs von Trainingsbeispielen.
b) Sammeln eines Trainingssatzes. Der Trainingssatz ist ein Repräsentant der Verwendung der Funktion für einen Ausparkvorgang in der realen Welt. Somit wird ein Satz von Eingabeobjekten gesammelt und entsprechende Ausgaben werden ebenfalls gesammelt.
c) Bestimmen der Eingabemerkmaldarstellung der gelernten Funktion. Die Genauigkeit der gelernten Funktion hängt stark davon ab, wie das Eingabeobjekt dargestellt wird. Typischerweise wird das Eingabeobjekt in einen Merkmalsvektor umgewandelt, der mehrere Merkmale enthält, die das Objekt beschreiben.
e) Bestimmen der Struktur der gelernten Funktion und des entsprechenden Lernalgorithmus.
f) Vervollständigen des Designs, wobei der Lernalgorithmus auf den gesammelten Trainingssatz angewendet wird.
g) Bewerten der Genauigkeit der gelernten Funktion. Nach der Parametereinstellung und dem Lernvorgang sollte die Leistungsfähigkeit der resultierenden Funktion bezüglich eines vom Trainingssatz verschiedenen Testsatzes gemessen werden.

Within another property of the method, the learning used in the neural network can be supervised learning. Supervised learning has proven useful for the method of the invention because it provides reliable training results. With this type of learning, a function is generated from labeled training data, which consists of a set of training examples. Each example is a pair consisting of an input object (typically a vector that has the input features) and a desired output value (also called a monitor signal). The monitored learning algorithm analyzes the training data and generates a inferred function that can be used to map new examples. An optimal scenario will allow the algorithm to correctly determine the class labels for as yet unknown instances. This requires that the learning algorithm be generalized in a “reasonable” way from the training data on as yet unknown situations. Supervised learning can include the following steps:

a) Determine the type of training examples.
b) Collecting a training set. The training set is a representative of the use of the function for a parking process in the real world. Thus, a set of input objects is collected and corresponding expenses are also collected.
c) Determining the input characteristic representation of the learned function. The accuracy of the learned function strongly depends on how the input object is displayed. Typically, the input object is converted to a feature vector that contains several features that describe the object.
e) Determining the structure of the learned function and the corresponding learning algorithm.
f) Complete the design, applying the learning algorithm to the collected training set.
g) Assess the accuracy of the learned function. After setting the parameters and learning, the performance of the resulting function should be measured in relation to a test set that is different from the training set.

Gemäß einem weiteren bevorzugten Aspekt des Verfahrens können die im neuronalen Netzwerk verwendeten Aktivierungsfunktionen ReLUs sein. Für ein schnelles und zuverlässiges Ergebnis hat es sich als nützlich erwiesen, rektifizierte Lineareinheiten (ReLUs) für die Aktivierungsfunktion des DNN zu verwenden.According to a further preferred aspect of the method, the activation functions used in the neural network can be ReLUs. For a quick and reliable result, it has proven useful to use rectified linear units (ReLUs) for the activation function of the DNN.

Darüber hinaus liegt die Verwendung des erfindungsgemäßen Verfahrens in einem Fahrunterstützungssystem eines Kraftfahrzeugs innerhalb des Schutzumfangs der Erfindung. Ein Fahrunterstützungssystem kann Fahrerassistenzsysteme aufweisen, die bereits bekannt sind und in herkömmlichen Fahrzeugen verwendet werden. Die entwickelten Fahrunterstützungssysteme werden bereitgestellt, um Fahrzeugsysteme für Sicherheit und besseres Fahren zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer vor möglichen Problemen warnen, oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle zu vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme beinhalten, basieren häufig auf Eingaben von mehreren Datenquellen, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Einrichtungen, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen. Das erfindungsgemäß vorgeschlagene Verfahren eignet sich besonders zur Verwendung in einem solchen System, das in der Lage ist, den Komfort solcher Systeme weiter erhöhen kann. Letzteres basiert auf der Tatsache, dass schnelles, sicheres und zuverlässiges Ausparken durch das System unterstützt wird.In addition, the use of the method according to the invention in a driving support system of a motor vehicle is within the scope of the invention. A driving support system can have driver assistance systems that are already known and are used in conventional vehicles. The developed driving support systems are provided to automate, adapt and improve vehicle systems for safety and better driving. Safety features are designed to prevent collisions and accidents by providing technology that warns the driver of potential problems, or by collisions Avoid implementing security measures and taking over vehicle control. In autonomous vehicles, the driving support systems provide inputs for executing control of the vehicle. Adaptive features can automate the lighting, provide adaptive cruise control, automate the braking process, integrate traffic warnings, communicate with smartphones, e.g. warn the driver about other cars or various dangers, keep the vehicle in the correct lane, or show what is going on in blind spots located. Driver assistance systems that include the driver assistance systems mentioned above are often based on inputs from multiple data sources, such as imaging devices, image processing, radar sensors, LiDAR, ultrasonic sensors and other sources installed in the motor vehicle. The method proposed according to the invention is particularly suitable for use in such a system which is capable of further increasing the comfort of such systems. The latter is based on the fact that the system supports fast, safe and reliable parking.

Ferner wird innerhalb des Schutzumfangs der Erfindung ein Fahrunterstützungssystem für ein Kraftfahrzeug bereitgestellt, das einen oder mehrere der Detektoren aufweist, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das erfindungsgemäße Verfahren auszuführen. Im Hinblick auf die Vorteile des erfindungsgemäßen Fahrunterstützungssystems wird explizit auf die Vorteile hingewiesen, die für die Verwendung des erfindungsgemäßen Verfahrens in solchen Systemen dargelegt sind.Furthermore, a driving support system for a motor vehicle is provided within the scope of the invention, which has one or more of the detectors, wherein the driving support system is configured to carry out the method according to the invention. With regard to the advantages of the driving support system according to the invention, reference is made explicitly to the advantages which are set out for the use of the method according to the invention in such systems.

Die Erfindung weist auch ein nichtflüchtiges computerlesbares Medium mit darauf gespeicherten Anweisungen auf, die, wenn sie durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem veranlassen, das erfindungsgemäße Verfahren auszuführen.The invention also includes a non-transitory computer readable medium with instructions stored thereon which, when executed by a processor, cause a driving support system to carry out the method according to the invention.

Durch die Erfindung wird ferner ein Kraftfahrzeug bereitgestellt, mit: einer Datenverarbeitungseinrichtung, dem erfindungsgemäßen nichtflüchtigen computerlesbaren Medium und dem erfindungsgemäßen Fahrunterstützungssystem. Im Hinblick auf die Vorteile des erfindungsgemäßen Kraftfahrzeugs wird explizit auf die Vorteile verwiesen, die für das erfindungsgemäße Verfahren und die Verwendung des erfindungsgemäßen Verfahrens im Zusammenhang mit dem erfindungsgemäßen System dargelegt sind.The invention also provides a motor vehicle with: a data processing device, the non-volatile computer-readable medium according to the invention and the driving support system according to the invention. With regard to the advantages of the motor vehicle according to the invention, reference is made explicitly to the advantages which are explained for the method according to the invention and the use of the method according to the invention in connection with the system according to the invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

Sirithinaphongin, T. et al. in "The recognition of car license plate for automatic parking system" (ISBN 1-86435-451-8, in Signal Processing and Its Applications, 1999, ISSPA '99, Proceedings of the Fifth International Symposium, DOI 10.1109 / ISSPA. 1999.818210 [ 0003]

Claims

Automatic or semi-automatic parking method for a motor vehicle with a driving support system, which comprises at least the following steps: - providing features of a vehicle parking environment using one or more detectors; Feeding the features as input into a deep neural network (DNN) for learning a time sequence of driving signals; and - providing the learning result as an output sequence; characterized in that the DNN input features have at least the position of objects in the environment and additional object attributes, and wherein the output features have at least the vehicle target position.

Procedure according to Claim 1 , wherein the one or more detectors have one or more cameras and / or one or more ultrasonic sensors.

Method according to one of the preceding claims, wherein the DNN input feature has one or more parameters which are selected from the group consisting of x, y map points of objects, a classification, a classification probability, a height, a direction of movement, a speed of movement, a first derivative of the speed of movement, a first derivative of the direction of movement and lane directions.

Method according to one of the preceding claims, wherein an ADAM optimization algorithm is used to train the neural network.

Method according to one of the preceding claims, wherein the DNN network is a DNN with one or two hidden layers.

Method according to one of the preceding claims, wherein the learning used in the neural network is monitored learning.

Method according to one of the preceding claims, wherein the activation functions used in the neural network are ReLUs.

Use of the method according to one of the Claims 1 to 7 in a driving support system of a motor vehicle.

Driving assistance system for a motor vehicle with one or more of the detectors Claim 2 , wherein the driving support system is configured to implement the method according to one of the Claims 1 to 7 perform.

A non-transitory computer readable medium having instructions stored therein which, when executed by a processor, cause a driving support system to implement the method according to one of the Claims 1 to 7 perform.

Motor vehicle, comprising: a data processing device; a non-volatile computer-readable medium Claim 10 ; and the driving support system Claim 9 ,