DE102022111272A1

DE102022111272A1 - Maneuvering a vehicle with detection of a vehicle shape based on active landmarks of the vehicle

Info

Publication number: DE102022111272A1
Application number: DE102022111272.1A
Authority: DE
Inventors: Jens Honer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-05-06
Filing date: 2022-05-06
Publication date: 2023-11-09

Abstract

Die Erfindung betrifft ein Verfahren zum automatischen Manövrieren eines Fahrzeugs (20) von einem Übergabepunkt (30) zu einem Zielpunkt (26) innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren (14) überwachten Bewegungsbereichs (16), insbesondere zum Typ-2 Valet-Parken des Fahrzeugs mit einem Stellplatz als Zielpunkt (26), umfassend die Schritte Übernehmen des Fahrzeugs (20) an dem Übergabepunkt (30), insbesondere innerhalb des Bewegungsbereichs (16), Senden eines Aktivierungssignals an das Fahrzeug (20) zum Aktivieren einer Mehrzahl Landmarken (50) zur Definition des Fahrzeugs (20), Erfassen der Landmarken (50) des Fahrzeugs (20) mit wenigstens einem der Umgebungserfassungssensoren (14), Ermitteln einer Fahrzeugform basierend auf den erfassten Landmarken (50), und Steuern des Fahrzeugs (20) entlang einer Trajektorie (24) zu dem Zielpunkt (26) unter Übermittlung von Steuerbefehlen an das Fahrzeug (20) basierend auf einer Erfassung des Bewegungsbereichs (16) mit den Umgebungserfassungssensoren (14) sowie einer Position und einer Pose des Fahrzeugs (20), wobei die Position und/oder die Pose des Fahrzeugs (20) unter Berücksichtigung der Fahrzeugform und einer Erfassung des Fahrzeugs (20) mit den Umgebungserfassungssensoren (14) ermittelt wird/werden. Die Erfindung betrifft außerdem ein korrespondierendes Manövriersystem (10).The invention relates to a method for automatically maneuvering a vehicle (20) from a transfer point (30) to a destination point (26) within a movement area (16) monitored with a plurality of environmental detection sensors (14), in particular for type 2 valet parking of the vehicle with a parking space as a destination point (26), comprising the steps of taking over the vehicle (20) at the transfer point (30), in particular within the movement range (16), sending an activation signal to the vehicle (20) for activating a plurality of landmarks (50) for defining the vehicle (20), detecting the landmarks (50) of the vehicle (20) with at least one of the environmental detection sensors (14), determining a vehicle shape based on the detected landmarks (50), and controlling the vehicle (20) along a trajectory (24) to the target point (26) while transmitting control commands to the vehicle (20) based on a detection of the range of motion (16) with the environmental detection sensors (14) and a position and a pose of the vehicle (20), the position and /or the pose of the vehicle (20) is/are determined taking into account the shape of the vehicle and a detection of the vehicle (20) with the environmental detection sensors (14). The invention also relates to a corresponding maneuvering system (10).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Manövrieren eines Fahrzeugs von einem Übergabepunkt zu einem Zielpunkt innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs, insbesondere zum Typ-2 Valet-Parken des Fahrzeugs mit einem Stellplatz als Zielpunkt.The present invention relates to a method for automatically maneuvering a vehicle from a transfer point to a destination point within a movement range monitored with a plurality of environmental detection sensors, in particular for type 2 valet parking of the vehicle with a parking space as the destination point.

Auch betrifft die vorliegende Erfindung ein Manövriersystem zum automatischen Manövrieren eines Fahrzeugs von einem Übergabepunkt zu einem Zielpunkt innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs, insbesondere als Typ-2 Valet-Parksystem, mit einer Mehrzahl Umgebungserfassungssensoren zur Erfassung des Bewegungsbereichs, einer Steuerungseinrichtung, welche ausgeführt ist, das Fahrzeug entlang eine Trajektorie zu dem Zielpunkt zu steuern basierend auf einer Erfassung des Bewegungsbereichs mit den Umgebungserfassungssensoren sowie einer Position und einer Pose des Fahrzeugs, und einer Kommunikationseinrichtung, welche Steuerbefehle von der Steuerungseinrichtung an das Fahrzeug übermittelt.The present invention also relates to a maneuvering system for automatically maneuvering a vehicle from a transfer point to a destination point within a movement area monitored with a plurality of environmental detection sensors, in particular as a type 2 valet parking system, with a plurality of environmental detection sensors for detecting the movement area, a control device, which is carried out is to control the vehicle along a trajectory to the target point based on a detection of the range of motion with the environmental detection sensors as well as a position and a pose of the vehicle, and a communication device which transmits control commands from the control device to the vehicle.

Es sind Fahrzeuge bekannt, die ein automatisches Manövrieren innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs ermöglichen. Beispielshaft betrifft dies eine automatisierte Parkfunktion, die insbesondere zum automatischen Parken des Fahrzeugs in einem geeigneten Parkhaus oder einem geeigneten Parkplatz ausgeführt ist. Derartige Systeme werden beispielsweise als automatisierte Valet-Parksysteme bezeichnet. Hierbei wird prinzipiell zwischen zwei Typen unterschieden. Bei dem ersten Typ steuert sich das Fahrzeug selbst, wobei das Parkhaus beispielsweise über geeignete Merkmale verfügt, die zur Orientierung des Fahrzeugs dienen. Bei dem zweiten Typ ist das Fahrzeug fernsteuerbar, wobei das Parkhaus beispielsweise über Sensorik und Pfadplanungsmittel verfügt, um das Fahrzeug zu überwachen und darin zu steuern, d.h. um Steuerbefehle zum Manövrieren des Fahrzeugs an dieses zu senden. Das Parkhaus oder der Parkplatz definieren einen Bewegungsbereich des Fahrzeugs beim Parken. Zwischen diesen beiden Typen der automatisierten Parksysteme kann es verschiedene Zwischenstufen geben, bei denen sich die Funktionen unterschiedlich auf das jeweilige Fahrzeug und das Parkhaus verteilen.Vehicles are known that enable automatic maneuvering within a range of motion monitored with a plurality of environmental detection sensors. By way of example, this concerns an automated parking function, which is designed in particular for automatically parking the vehicle in a suitable parking garage or a suitable parking space. Such systems are referred to, for example, as automated valet parking systems. A basic distinction is made between two types. In the first type, the vehicle controls itself, with the parking garage, for example, having suitable features that serve to orient the vehicle. In the second type, the vehicle can be controlled remotely, with the parking garage having, for example, sensors and path planning means to monitor and control the vehicle, i.e. to send control commands to it for maneuvering the vehicle. The parking garage or parking lot defines a movement area of the vehicle when parking. There can be various intermediate levels between these two types of automated parking systems, in which the functions are distributed differently between the respective vehicle and the parking garage.

Bei dem Typ-2 Valet-Parksystem (Automated Valet Parking, AVP) befinden sich somit Umgebungserfassungssensoren zur Erfassung der Umgebung und eine Logik zur Steuerung des jeweiligen Fahrzeugs in einer Infrastruktur des Parkhauses. Ein Fahrzeug, welches z.B. automatisiert parken soll, wird entsprechend mit den Umgebungserfassungssensoren erfasst, lokalisiert und entlang einer vordefinierten, von der Infrastruktur bereitgestellten Trajektorie zum Zielpunkt manövriert. Abweichungen von der bestimmten Soll-Trajektorie werden basierend auf von den Umgebungserfassungssensoren bereitgestellten Sensorinformationen erkannt. Bei Abweichungen passt die Infrastruktur die Fahrzeug-Steuerung so an, dass das Fahrzeug wieder näher an die Soll-Trajektorie kommt und diese erreicht. Für ein Typ-2 Valet-Parksystem ist eine ausreichende Abdeckung des Bewegungsbereichs mit Sensoren essentiell, damit diese mit ihren jeweiligen Sichtfeldern (field of view, FoV) den Bewegungsbereich und damit auch das Fahrzeug vollständig erfassen zu können. Die Qualität der Sensordaten kann dabei über das Sichtfeld eines jeweiligen Sensors unterschiedlich sein und kann z.B. je nach Position eines jeweiligen Objekts im Sichtfeld oder der Art des Objekts stark unterschiedlich ausfallen. Die Änderung der Systemleistung kann dabei von der Art des verwendeten Umgebungserfassungssensors abhängen. Während z.B. Pinhole-Kameras eine relativ gleichförmige Genauigkeit über den gesamten FoV aufweisen, haben Fisheye-Kameras bedingt durch die Art des Objektivs eine stark unterschiedliche Leistung über ihr FoV. Darüber hinaus können unterschiedliche Umgebungsbedingungen dazu führen, dass die Umgebungserfassungssensoren eine unterschiedliche Leistung aufweisen können. Dies betrifft beispielsweise eine Umgebungstemperatur, eine Luftfeuchtigkeit oder andere. Auch können Störungen auftreten durch unterschiedliche Lichtverhältnisse, geringe Ausleuchtung und/oder Abschattungen des FoV durch Objekte, insbesondere andere Fahrzeuge. Sich daraus ergebende Änderungen der Leistung sind insbesondere in komplexen Situationen signifikant. Entsprechend kann die Qualität der Sensordaten starke räumliche und/oder zeitliche Schwankungen aufweisen. Dies kann zu schwankenden Genauigkeiten der Objekt-Lokalisierung in dem Bewegungsbereich führen, was Auswirkungen auf die Fahrfunktion bzw. deren Leistung haben kann. Es können Probleme bei fest geplanten Manövern hervorgerufen werden bis hin zum Abbruch des Parkvorgangs.In the type 2 valet parking system (Automated Valet Parking, AVP), environmental detection sensors for detecting the surroundings and logic for controlling the respective vehicle are located in the infrastructure of the parking garage. A vehicle that is supposed to park automatically, for example, is detected using the environment detection sensors, localized and maneuvered to the target point along a predefined trajectory provided by the infrastructure. Deviations from the determined target trajectory are detected based on sensor information provided by the environmental sensing sensors. If there are deviations, the infrastructure adjusts the vehicle control so that the vehicle comes closer to the target trajectory and achieves it. For a type 2 valet parking system, sufficient coverage of the movement area with sensors is essential so that they can fully capture the movement area and thus also the vehicle with their respective fields of view (FoV). The quality of the sensor data can vary across the field of view of a respective sensor and can, for example, vary greatly depending on the position of a respective object in the field of view or the type of object. The change in system performance may depend on the type of environmental detection sensor used. For example, while pinhole cameras have relatively uniform accuracy across the entire FoV, fisheye cameras have widely varying performance across their FoV due to the type of lens. In addition, different environmental conditions may cause the environmental detection sensors to have different performance. This concerns, for example, an ambient temperature, humidity or others. Disturbances can also occur due to different lighting conditions, low illumination and/or shadowing of the FoV by objects, especially other vehicles. The resulting changes in performance are significant, particularly in complex situations. Accordingly, the quality of the sensor data can exhibit strong spatial and/or temporal fluctuations. This can lead to fluctuating accuracy of object localization in the movement range, which can have an impact on the driving function or its performance. Problems can arise with planned maneuvers and even the parking process can be aborted.

Bei einem Manövriersystem zum automatischen Manövrieren des Fahrzeugs, wie beispielsweise dem Typ-2 Valet-Parksystem, muss das Fahrzeug von den Umgebungserfassungssensoren der Infrastruktur kontinuierlich erfasst werden können. Darüber hinaus ist es erforderlich, neben der Position auch die Pose des Fahrzeugs kontinuierlich zu ermitteln, um einen sicheren Betrieb zu gewährleisten. Dies erfordert eine sehr dichte Abdeckung des überwachten Bewegungsbereichs mit teuren Umgebungserfassungssensoren, weshalb solche Systeme sehr teuer und aufwändig in der Bereitstellung sind. Zudem ist eine leistungsfähige Hardware erforderlich, die die anfallenden Mengen an Sensordaten schnell verarbeiten kann, idealerweise in Echtzeit. Insbesondere das mathematische Problem, auf Basis einer Vielzahl von Sensordaten, die beispielsweise als Punktwolke vorliegen, eine eindeutige Bestimmung der Pose des Fahrzeugs durchzuführen, ist sehr komplex und kann anfällig gegenüber Störungen sein.In a maneuvering system for automatically maneuvering the vehicle, such as the Type 2 valet parking system, the vehicle must be able to be continuously detected by the infrastructure's environmental sensing sensors. In addition to the position, it is also necessary to continuously determine the pose of the vehicle to ensure safe operation. This requires very dense coverage of the monitored movement area with expensive environmental detection sensors, which is why such systems are very expensive and complex to deploy. In addition, powerful hardware is required lich, which can process the resulting amounts of sensor data quickly, ideally in real time. In particular, the mathematical problem of making a clear determination of the pose of the vehicle on the basis of a large number of sensor data, which are available, for example, as a point cloud, is very complex and can be susceptible to interference.

Bekannte Algorithmen zum Erkennen des Fahrzeugs und zum Ermitteln von dessen Pose basieren beispielsweise auf einem allgemeinen Fahrzeugmodell, das für eine Vielzahl von Fahrzeugen gilt. Bei einer Objekterkennung basierend auf Sensor-Daten werden typischerweise Modelle verwendet, welche auf allgemeinen Charakteristiken der Objekt-Klassen, hier das Fahrzeug, basieren. Insbesondere Algorithmen aus dem Bereich des maschinellen Lernens werden auf eine Vielzahl von Instanzen der entsprechenden Objekte trainiert, und mitteln damit effektiv auf Basis der charakteristischen Merkmale der jeweiligen Objekt-Klassen. Das allgemeine Fahrzeugmodell umfasst daher insbesondere allgemeine Charakteristika, die auf alle oder die meisten Fahrzeuge zutreffen, aber eben nicht auf jedes. Je mehr ein Fahrzeug von diesem Modell abweicht, umso ungenauer kann dessen Pose ermittelt werden, da das Fahrzeugmodell bereits schlecht zu dem Fahrzeug passt. Dies ist insbesondere dann der Fall, wenn ein der Trainingsdatensatz nicht ausreichend divers gewählt wurde, oder bei einer Modellierung nicht auf derartige Abweichungen geachtet wurde. Dieses Verhalten der schlechteren Performance bei stark abweichenden Objekten ist in der Literatur bekannt, z.B. beim Maschinellen Lernen unter dem plakativen Begriff des „Rassismus in Neuronalen Netzwerken“, welche z.B. bei Gesichtserkennung starke Performance-Schwankungen zwischen Menschen mit unterschiedlichen Hautfarben zeigen. Ein solcher „Bias“ tritt auch bei der Detektion und Posen-Schätzung von Fahrzeugen auf, d.h. ungewöhnliche Fahrzeuge bzw. Fahrzeuge, deren Charakteristiken nicht gut modelliert wurden, werden typischerweise schlechter erfasst als solche Fahrzeuge, die dem „Mittel“ entsprechen. Darüber hinaus wird ein Modell, welches explizit für ein spezielles Fahrzeug erstellt wurde, eine höhere Performance aufweisen können, da spezielle Charakteristiken des Fahrzeugs mit den vom Sensor generierten Daten abgeglichen und interpretiert werden können.Known algorithms for recognizing the vehicle and determining its pose are based, for example, on a general vehicle model that applies to a large number of vehicles. When detecting objects based on sensor data, models are typically used that are based on general characteristics of the object classes, in this case the vehicle. In particular, algorithms from the field of machine learning are trained on a large number of instances of the corresponding objects, and thus effectively average based on the characteristic features of the respective object classes. The general vehicle model therefore includes, in particular, general characteristics that apply to all or most vehicles, but not to every vehicle. The more a vehicle deviates from this model, the less precisely its pose can be determined because the vehicle model already fits the vehicle poorly. This is particularly the case if the training data set was not chosen to be sufficiently diverse, or if such deviations were not taken into account during modeling. This behavior of poorer performance with very different objects is known in the literature, e.g. in machine learning under the striking term “racism in neural networks”, which, for example, show strong performance fluctuations between people with different skin colors in facial recognition. Such a “bias” also occurs in the detection and pose estimation of vehicles, i.e. unusual vehicles or vehicles whose characteristics have not been well modeled are typically recorded worse than vehicles that correspond to the “average”. In addition, a model that was explicitly created for a specific vehicle will be able to have higher performance because special characteristics of the vehicle can be compared and interpreted with the data generated by the sensor.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Verfahren zum automatischen Manövrieren eines Fahrzeugs und ein Manövriersystem der oben genannten Art anzugeben, die eine zuverlässiges automatisches Manövrieren mit einem einfachen System zur zuverlässigen Erfassung des Fahrzeugs in dem Bewegungsbereich ermöglichen.Against this background, an object of the present invention is to provide an improved method for automatically maneuvering a vehicle and a maneuvering system of the above-mentioned type, which enable reliable automatic maneuvering with a simple system for reliably detecting the vehicle in the movement area.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.The problem is solved according to the invention by the features of the independent claims. Advantageous embodiments of the invention are specified in the subclaims.

Erfindungsgemäß ist somit ein Verfahren zum automatischen Manövrieren eines Fahrzeugs von einem Übergabepunkt zu einem Zielpunkt innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs, insbesondere zum Typ-2 Valet-Parken des Fahrzeugs mit einem Stellplatz als Zielpunkt, angegeben, umfassend die Schritte Übernehmen des Fahrzeugs an dem Übergabepunkt, insbesondere innerhalb des Bewegungsbereichs, Senden eines Aktivierungssignals an das Fahrzeug zum Aktivieren einer Mehrzahl Landmarken zur Definition des Fahrzeugs, Erfassen der Landmarken des Fahrzeugs mit wenigstens einem der Umgebungserfassungssensoren, Ermitteln einer Fahrzeugform basierend auf den erfassten Landmarken, und Steuern des Fahrzeugs entlang einer Trajektorie zu dem Zielpunkt unter Übermittlung von Steuerbefehlen an das Fahrzeug basierend auf einer Erfassung des Bewegungsbereichs mit den Umgebungserfassungssensoren sowie einer Position und einer Pose des Fahrzeugs, wobei die Position und/oder die Pose des Fahrzeugs unter Berücksichtigung der Fahrzeugform und einer Erfassung des Fahrzeugs mit den Umgebungserfassungssensoren ermittelt wird/werden. According to the invention, a method for automatically maneuvering a vehicle from a transfer point to a destination point within a movement range monitored with a plurality of environmental detection sensors, in particular for type 2 valet parking of the vehicle with a parking space as the destination point, is specified, comprising the steps of taking over the vehicle the transfer point, in particular within the movement range, sending an activation signal to the vehicle for activating a plurality of landmarks to define the vehicle, detecting the landmarks of the vehicle with at least one of the environmental detection sensors, determining a vehicle shape based on the detected landmarks, and controlling the vehicle along a Trajectory to the target point while transmitting control commands to the vehicle based on a detection of the movement range with the environmental detection sensors as well as a position and a pose of the vehicle, the position and / or the pose of the vehicle taking into account the vehicle shape and a detection of the vehicle with the Environmental detection sensors is/are determined.

Erfindungsgemäß ist außerdem ein Manövriersystem zum automatischen Manövrieren eines Fahrzeugs von einem Übergabepunkt zu einem Zielpunkt innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs, insbesondere als Typ-2 Valet-Parksystem, angegeben, mit einer Mehrzahl Umgebungserfassungssensoren zur Erfassung des Bewegungsbereichs, einer Steuerungseinrichtung, welche ausgeführt ist, das Fahrzeug entlang eine Trajektorie zu dem Zielpunkt zu steuern basierend auf einer Erfassung des Bewegungsbereichs mit den Umgebungserfassungssensoren sowie einer Position und einer Pose des Fahrzeugs, einer Kommunikationseinrichtung, welche Steuerbefehle von der Steuerungseinrichtung an das Fahrzeug übermittelt, wobei die Steuerungseinrichtung weiter ausgeführt ist, über die Kommunikationseinrichtung ein Aktivierungssignal zum Aktivieren einer Mehrzahl Landmarken zur Definition des Fahrzeugs an das Fahrzeug zu senden, eine Fahrzeugform basierend auf einer Erfassung der Landmarken mit wenigstens einem der Umgebungserfassungssensoren zu ermitteln, und die Position und/oder die Pose des Fahrzeugs unter Berücksichtigung der Fahrzeugform und einer Erfassung des Fahrzeugs mit den Umgebungserfassungssensoren zu ermitteln.According to the invention, a maneuvering system for automatically maneuvering a vehicle from a transfer point to a destination point within a movement area monitored with a plurality of environmental detection sensors, in particular as a type 2 valet parking system, is specified, with a plurality of environmental detection sensors for detecting the movement area, a control device, which is carried out is to control the vehicle along a trajectory to the target point based on a detection of the range of motion with the environmental detection sensors as well as a position and a pose of the vehicle, a communication device which transmits control commands from the control device to the vehicle, the control device being further developed, to send an activation signal to the vehicle via the communication device for activating a plurality of landmarks for defining the vehicle, to determine a vehicle shape based on a detection of the landmarks with at least one of the environmental detection sensors, and the position and / or the pose of the vehicle taking the vehicle shape into account and detecting the vehicle with the environmental detection sensors.

Grundidee der vorliegenden Erfindung ist es, die aktive Kontrolle über das Fahrzeug zu verwenden, um einfach zu erkennende Landmarken auf bzw. an dem Fahrzeug zu aktivieren, um darauf basierend das Fahrzeug korrekt erfassen zu können. Dadurch kann im Anschluss eine effektive Steuerung des Fahrzeugs zum automatischen Manövrieren eines Fahrzeugs durch das Manövriersystem durchgeführt werden. Die Erfassung und Erkennung des Fahrzeugs in dem Bewegungsbereich kann verbessert werden, ohne dass eine erhöhte Anzahl Umgebungserfassungssensoren, eine Auswahl leistungsfähigerer Umgebungserfassungssensoren oder eine Verbesserung der Verarbeitung der Sensorinformationen der Umgebungserfassungssensoren, insbesondere mit einer leistungsfähigeren Hardware, erforderlich wäre. Durch die Erfassung der Landmarken und die darauf basierende Ermittlung der Fahrzeugform kann insbesondere das Ermitteln der Fahrzeugpose verbessert werden. Allerdings kann auch die Position des Fahrzeugs mit einer hohen Zuverlässigkeit bestimmt werden.The basic idea of the present invention is to use active control over the vehicle to activate easily recognizable landmarks on or on the vehicle in order to be able to correctly detect the vehicle based on this. As a result, effective control of the vehicle for automatic maneuvering of a vehicle can then be carried out by the maneuvering system. The detection and recognition of the vehicle in the movement area can be improved without requiring an increased number of environment detection sensors, a selection of more powerful environment detection sensors, or an improvement in the processing of the sensor information of the environment detection sensors, in particular with more powerful hardware. By detecting the landmarks and determining the vehicle shape based on them, the determination of the vehicle pose in particular can be improved. However, the position of the vehicle can also be determined with a high degree of reliability.

Der Übergabepunkt kann ein vorgegebener Übergabepunkt sein, an dem das Fahrzeug typischerweise von dem Fahrer zum automatischen Manövrieren übergeben wird, insbesondere zum automatischen Valet Parken (AVP). Der Übergabepunkt kann sich beispielsweise an einem Eingangsbereich zu einem Parkhaus als Bewegungsbereich befinden. Prinzipiell ist es aber auch möglich, dass die Übergabe an einem beliebigen Ort innerhalb des überwachten Bewegungsbereichs erfolgt.The handover point can be a predetermined handover point at which the vehicle is typically handed over by the driver for automatic maneuvering, in particular for automatic valet parking (AVP). The transfer point can be located, for example, at an entrance area to a parking garage as a movement area. In principle, it is also possible for the handover to take place at any location within the monitored movement area.

Das Fahrzeug hält an dem Übergabepunkt an, und die Kontrolle über das Fahrzeug wird an das Manövriersystem übergeben. Typischerweise wird die Kontrolle des Fahrzeugs verwendet, um das Fahrzeug durch die Übermittlung der Steuerbefehle zu dem Zielpunkt zu steuern. Vorliegend wird die Kontrolle über das Fahrzeug jedoch zunächst verwendet, um die Landmarken zu aktivieren und darüber die Fahrzeugform zu ermitteln. Dabei wird ausgenutzt, dass das Fahrzeug an dem Übergabepunkt anhalten muss, damit ein menschlicher Fahrzeugführer das Fahrzeug verlassen kann. Dies erleichtert das Erfassen der aktivierten Landmarken mit dem wenigstens einen Umgebungserfassungssensor, da nicht simultan Form und Bewegung des Fahrzeugs erfasst werden müssen. Im Falle, dass das Fahrzeug autonom zu dem Übergabepunkt gesteuert wird, ist es nicht zwingend erforderlich, dass das Fahrzeug an dem Übergabepunkt stoppt. Allerdings kann das Fahrzeug angehalten werden, um zunächst dessen Form basierend auf der Erfassung der aktiven Landmarken zu ermitteln.The vehicle stops at the transfer point and control of the vehicle is transferred to the maneuvering system. Typically, the control of the vehicle is used to steer the vehicle to the destination point by transmitting the control commands. In the present case, however, control over the vehicle is first used to activate the landmarks and use them to determine the shape of the vehicle. This takes advantage of the fact that the vehicle has to stop at the transfer point so that a human driver can leave the vehicle. This makes it easier to detect the activated landmarks with the at least one environmental detection sensor, since the shape and movement of the vehicle do not have to be detected simultaneously. In the event that the vehicle is autonomously controlled to the handover point, it is not absolutely necessary that the vehicle stops at the handover point. However, the vehicle can be stopped to first determine its shape based on the detection of the active landmarks.

Insbesondere das Ermitteln der Pose des Fahrzeugs stellt ein Schätzproblem dar, das basierend auf der Erfassung der aktiven Landmarken faktorisiert werden kann. Diese Kenntnis reduziert die Komplexitäten, bzw. erlaubt bei gleicher Datenlage eine bessere Performance der Positions- und/oder Posenschätzung. Dies ist insbesondere vorteilhaft, da in einem solchen System ein großer Bewegungsbereich mit vielen Sensoren abgedeckt werden muss, und somit eine Kostenreduktion bei den Sensoren signifikante wirtschaftliche Vorteile bietet.In particular, determining the pose of the vehicle represents an estimation problem that can be factored based on the detection of the active landmarks. This knowledge reduces the complexities or allows better performance of the position and/or pose estimation with the same data. This is particularly advantageous because in such a system a large range of motion must be covered with many sensors, and thus a cost reduction for the sensors offers significant economic advantages.

Beim Erfassen der Landmarken des Fahrzeugs mit wenigstens einem der Umgebungserfassungssensoren wird das Fahrzeug über die aktiven Landmarken vermessen, und diese Information wird temporär gespeichert. Ziel ist es, einen Satz einfach zu erkennender aktiver Landmarken auf dem Fahrzeug zu erzeugen, so dass ein Erkennungs-Algorithmus diese Landmarken zur genauen Posenschätzung des Fahrzeugs verwenden kann. Die Landmarken sind zumindest von einem der Umgebungserfassungssensoren erfassbar, insbesondere durch eine optische Erfassung.When detecting the vehicle's landmarks with at least one of the environmental detection sensors, the vehicle is measured via the active landmarks and this information is temporarily stored. The goal is to create a set of easy-to-recognize active landmarks on the vehicle so that a recognition algorithm can use these landmarks to accurately estimate the pose of the vehicle. The landmarks can be detected by at least one of the environmental detection sensors, in particular by optical detection.

Das automatische Manövrieren betrifft ein Manövrieren eines Fahrzeugs mit einer Steuerung, die auf der Erfassung der Umgebung und Steuerungsbefehlen basiert, die von einer entsprechenden Infrastruktur des Manövriersystems erzeugt und an das Fahrzeug übertragen werden. Dabei können prinzipiell zusätzliche Sicherheitsfunktionen in dem Fahrzeug aktiviert sein, um beispielswiese bei plötzlich auftauchenden Hindernissen eine Notbremsung durchzuführen. Die Steuerung als solche wird jedoch nicht von dem Fahrzeug selbst durchgeführt.Automatic maneuvering refers to maneuvering a vehicle with control based on sensing the environment and control commands generated by a corresponding infrastructure of the maneuvering system and transmitted to the vehicle. In principle, additional safety functions can be activated in the vehicle, for example to carry out emergency braking if obstacles suddenly appear. However, the control as such is not carried out by the vehicle itself.

Der Bewegungsbereich ist ein Bereich, in dem das Fahrzeug beim automatischen Manövrieren bewegt werden kann. Der Bewegungsbereich muss daher vollständig von den Umgebungserfassungssensoren erfasst und überwacht werden können. Dabei werden die Umgebungserfassungssensoren in geeigneter Weise positioniert, um den Bewegungsbereich vollständig zu erfassen. Der Zielpunkt ist ein beliebiger Platz innerhalb des überwachten Bewegungsbereichs, beispielsweise zum Parken des Fahrzeugs, der typischerweise vorgegeben wird. Allerdings kann der Zielpunkt auch beispielsweise durch einen Fahrer des Fahrzeugs ausgewählt werden, oder der Zielpunkt ist beispielsweise fest dem Fahrzeug bzw. dem Fahrer oder einem Insassen des Fahrzeugs zugeordnet.The movement range is an area in which the vehicle can be moved during automatic maneuvering. The range of motion must therefore be able to be completely captured and monitored by the environmental detection sensors. The environmental detection sensors are positioned in a suitable manner to completely capture the range of motion. The target point is any location within the monitored movement area, for example for parking the vehicle, which is typically specified. However, the target point can also be selected, for example, by a driver of the vehicle, or the target point is, for example, permanently assigned to the vehicle or the driver or an occupant of the vehicle.

Das hier beschriebene Verfahren und Manövriersystem können für prinzipiell Anwendungsfälle auf die gleiche Weise verwendet werden. Dies kann neben dem genannten Typ-2 Valet-Parken des Fahrzeugs zum Beispiel ein Management von Fahrzeugen betreffen zum Verladen nach der Fertigung oder während des Transports oder ähnliche. In den letzten Fällen wird der Bewegungsbereich beispielsweise durch ein Betriebsgelände, Werksgelände oder einen Verlade-Hub gebildet.The method and maneuvering system described here can in principle be used in the same way for applications. In addition to the type 2 valet parking of the vehicle mentioned, this can, for example, involve the management of vehicles for loading after production or during transport or similar. In the latter cases, the range of motion becomes for example, formed by a company premises, factory premises or a loading hub.

Auch kann das Verfahren parallel für eine Mehrzahl Fahrzeuge durchgeführt werden.The method can also be carried out in parallel for a number of vehicles.

Das Senden des Aktivierungssignals an das Fahrzeug zum Aktivieren der Landmarken bewirkt in dem Fahrzeug das Aktivieren der Landmarken. Entsprechende Befehle können standardisiert sein, oder es kann im Rahmen der Übergabe ein Austausch über die zu verwendenden Befehle erfolgen.Sending the activation signal to the vehicle to activate the landmarks causes the vehicle to activate the landmarks. Corresponding commands can be standardized, or the commands to be used can be exchanged as part of the handover.

Das Erfassen der Landmarken des Fahrzeugs erfolgt mit wenigstens einem der Umgebungserfassungssensoren. Bei einer Erfassung des Fahrzeugs mit mehreren Umgebungssensoren wird üblicherweise auch das Erfassen der Landmarken verbessert.The vehicle's landmarks are detected using at least one of the environmental detection sensors. When the vehicle is detected with multiple environmental sensors, the detection of the landmarks is usually improved.

Das Ermitteln der Fahrzeugform erfolgt basierend auf den erfassten Landmarken, d.h. beispielsweise basierend auf relativen Positionen der Landmarken zueinander oder basierend auf absoluten Positionen der Landmarken, beispielsweise basierend auf einem vorgegebenen Koordinatensystem oder einer vorgegebenen Karte. Die Form umfasst insbesondere Abmessungen des Fahrzeugs. Darüber hinaus können weitere Informationen ermittelt und verwendet werden, wie beispielsweise eine Positionierung der einzelnen Landmarken relativ zur Hinterachse des Fahrzeugs oder andere.The vehicle shape is determined based on the detected landmarks, i.e. for example based on relative positions of the landmarks to one another or based on absolute positions of the landmarks, for example based on a predetermined coordinate system or a predetermined map. The shape includes in particular dimensions of the vehicle. In addition, further information can be determined and used, such as the positioning of the individual landmarks relative to the rear axle of the vehicle or others.

Die Trajektorie gibt eine Fahrstrecke des Fahrzeugs zu dem Zielpunkt an. Das Steuern des Fahrzeugs entlang der Trajektorie betrifft das Übermitteln von Steuerbefehlen an das Fahrzeug, so dass dieses von seiner jeweils aktuellen Position zu dem Zielpunkt gelangt. Die Steuerungseinrichtung ermittelt die Trajektorie zu dem Zielpunkt und ermittelt die Steuerbefehle zur Steuerung des Fahrzeugs. Die Steuerung wird basierend auf der Erfassung des Bewegungsbereichs durchgeführt, um Kollisionen des Fahrzeugs mit festen oder beweglichen Objekten, insbesondere mit Personen, zu vermeiden. Dazu werden von den Umgebungserfassungssensoren in dem Bewegungsbereich Sensordaten bereitgestellt und an die Steuerungseinrichtung beispielsweise über einen Datenbus übertragen.The trajectory indicates a route of the vehicle to the destination point. Controlling the vehicle along the trajectory involves transmitting control commands to the vehicle so that it travels from its current position to the target point. The control device determines the trajectory to the target point and determines the control commands for controlling the vehicle. The control is carried out based on the detection of the range of motion in order to avoid collisions of the vehicle with fixed or moving objects, especially with people. For this purpose, sensor data is provided by the environmental detection sensors in the movement area and transmitted to the control device, for example via a data bus.

In diesem Zusammenhang werden auch die exakte Position und Pose des Fahrzeugs ermittelt, wobei die Position und/oder die Pose des Fahrzeugs unter Berücksichtigung der Fahrzeugform ermittelt wird/werden.In this context, the exact position and pose of the vehicle are also determined, with the position and/or pose of the vehicle being determined taking the shape of the vehicle into account.

Die Kommunikationseinrichtung ist typischerweise zur drahtlosen Kommunikation mit dem Fahrzeug ausgeführt und kann auf unterschiedliche Weise realisiert werden, beispielsweise zur Kommunikation unter Verwendung eines Mobilfunknetzes oder zur direkten Kommunikation mit dem Fahrzeug basierend auf einem Kurzreichweitenfunkstandard wie Bluetooth oder WLAN. In letzterem Fall umfasst die Kommunikationseinrichtung vorzugsweise eine Mehrzahl Übertragungseinrichtungen nach dem entsprechenden Kurzreichweitenfunkstandard, die den Bewegungsbereich abdecken.The communication device is typically designed for wireless communication with the vehicle and can be implemented in different ways, for example for communication using a cellular network or for direct communication with the vehicle based on a short-range radio standard such as Bluetooth or WLAN. In the latter case, the communication device preferably comprises a plurality of transmission devices according to the corresponding short-range radio standard, which cover the range of motion.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Übernehmen des Fahrzeugs an dem Übergabepunkt ein Aufbauen einer Kommunikationsverbindung zu dem Fahrzeug und ein Übernehmen der Steuerung des Fahrzeugs zum automatischen Manövrieren des Fahrzeugs. Die Verbindung kann wie oben beschrieben aufgebaut werden. Es wird ein Kommunikationskanal aufgebaut, über den die Steuerungseinrichtung mit einer Steuereinheit des Fahrzeugs kommunizieren kann. Die Kommunikation kann bidirektional erfolgen.In an advantageous embodiment of the invention, taking over the vehicle at the transfer point includes establishing a communication connection to the vehicle and taking over control of the vehicle for automatic maneuvering of the vehicle. The connection can be established as described above. A communication channel is set up via which the control device can communicate with a control unit of the vehicle. Communication can be bidirectional.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Senden eines Aktivierungssignals an das Fahrzeug zum Aktivieren einer Mehrzahl Landmarken zur Definition des Fahrzeugs ein Senden eines Aktivierungssignals zum Erleuchten von Beleuchtungselementen des Fahrzeugs als/mit Landmarken. Entsprechend ist das Fahrzeug mit solchen Beleuchtungselementen ausgeführt, die ausgehend von dem Empfang des Aktivierungssignals an dem Fahrzeug aktiviert werden können. Die Beleuchtungselemente sind vorzugsweise beliebige Scheinwerfer inklusive Rückleuchten und/oder Blinkleuchten des Fahrzeugs. Dabei können die Beleuchtungselemente auch integral zur Darstellung verschiedener Leuchtfunktionen ausgeführt sein. Entsprechend dienen die Beleuchtungselemente als Landmarken an dem Fahrzeug. Es können mehrere oder auch alle Beleuchtungselemente als/mit Landmarken aktiviert werden. Vorzugsweise werden solche Beleuchtungselemente aktiviert, die an Fahrzeugecken angeordnet sind. Dabei kann das entsprechende Beleuchtungselement insgesamt die Landmarke bilden, oder mit seiner Beleuchtung die Landmarke bilden.In an advantageous embodiment of the invention, sending an activation signal to the vehicle to activate a plurality of landmarks to define the vehicle includes sending an activation signal to illuminate lighting elements of the vehicle as/with landmarks. Accordingly, the vehicle is designed with lighting elements that can be activated based on receipt of the activation signal on the vehicle. The lighting elements are preferably any headlights, including taillights and/or turn signals of the vehicle. The lighting elements can also be designed integrally to display various lighting functions. Accordingly, the lighting elements serve as landmarks on the vehicle. Several or all lighting elements can be activated as/with landmarks. Lighting elements that are arranged on vehicle corners are preferably activated. The corresponding lighting element can form the landmark as a whole, or can form the landmark with its lighting.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Senden des Aktivierungssignals zum Erleuchten von Beleuchtungselementen des Fahrzeugs als/mit Landmarken ein Senden des Aktivierungssignals zum Erleuchten der Beleuchtungselemente des Fahrzeugs mit einer Definition zum Betrieb der Beleuchtungselemente als/mit Landmarken. Der Betrieb der Beleuchtungselemente kann insbesondere von einem üblichen Betrieb beim Fahren des Fahrzeugs abweichen und beispielsweise die nachfolgend beschriebenen Parameter definieren, um einen gewünschten Betrieb der Beleuchtungselemente zu aktivieren. Durch den definierten Betrieb der Beleuchtungselemente können diese so betrieben werden, dass das Erfassen der Landmarken erleichtert wird. Auch kann abhängig von dem definierten Betrieb der Beleuchtungselemente das Ermitteln der Fahrzeugform verbessert werden, wenn der definierte Betrieb der Beleuchtungselemente eine besonders exakte Positionsbestimmung der Positionen der Landmarken ermöglicht. Durch eine Aktivierung der Landmarken an besonders geeigneten Positionen an dem Fahrzeug kann darüber hinaus die Fahrzeugform besonders akkurat ermittelt werden.In an advantageous embodiment of the invention, sending the activation signal for illuminating lighting elements of the vehicle as/with landmarks includes sending the activation signal for illuminating the lighting elements of the vehicle with a definition for operating the lighting elements as/with landmarks. The operation of the lighting elements can in particular deviate from normal operation when driving the vehicle and, for example, define the parameters described below in order to activate a desired operation of the lighting elements. By the defined When operating the lighting elements, they can be operated in such a way that it makes it easier to capture the landmarks. Depending on the defined operation of the lighting elements, the determination of the vehicle shape can also be improved if the defined operation of the lighting elements enables a particularly precise position determination of the positions of the landmarks. By activating the landmarks at particularly suitable positions on the vehicle, the vehicle shape can also be determined particularly accurately.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Senden des Aktivierungssignals zum Erleuchten der Beleuchtungselemente des Fahrzeugs mit einer Definition zum Betrieb der Beleuchtungselemente als/mit Landmarken ein Senden des Aktivierungssignals zum Erleuchten der Beleuchtungselemente des Fahrzeugs mit einer vorgegebenen Helligkeit. In der Praxis hat sich herausgestellt, dass beispielsweise ein zu starkes Leuchten, d.h. eine zu starke Helligkeit, der Beleuchtungselemente das Erfassen der Landmarken erschweren kann. Umgebungserfassungssensoren wie optische Kameras können an Grenzen ihres Dynamikbereichs stoßen. Jedoch erlaubt das Erleuchten der Beleuchtungselemente mit der vorgegebenen Helligkeit eine gute Erkennung mit solchen optischen Kameras. Vorzugsweise kann die Helligkeit im Zuge des Erfassens der Landmarken nachgeregelt werden, wenn die Erfassung der Landmarken nicht mit einer ausreichenden Zuverlässigkeit erfolgen kann. Bei der Verwendung von Beleuchtungselementen mit LEDs kann beispielsweis die Helligkeit über eine bekannte PWM angepasst werden.In an advantageous embodiment of the invention, sending the activation signal to illuminate the lighting elements of the vehicle with a definition for operating the lighting elements as/with landmarks includes sending the activation signal to illuminate the lighting elements of the vehicle with a predetermined brightness. In practice, it has been found that, for example, excessive lighting, i.e. excessive brightness, of the lighting elements can make it more difficult to detect the landmarks. Environmental sensing sensors such as optical cameras can reach the limits of their dynamic range. However, illuminating the lighting elements with the specified brightness allows good detection with such optical cameras. Preferably, the brightness can be readjusted in the course of detecting the landmarks if the landmarks cannot be detected with sufficient reliability. When using lighting elements with LEDs, for example, the brightness can be adjusted using a known PWM.

In vorteilhafter Ausgestaltung der Erfindung ist umfasst das Senden des Aktivierungssignals zum Erleuchten der Beleuchtungselemente des Fahrzeugs mit einer Definition zum Betrieb der Beleuchtungselemente als/mit Landmarken ein Senden des Aktivierungssignals zum Erleuchten der Beleuchtungselemente des Fahrzeugs mit einem vorgegebenen Leuchtmuster. In aktuellen Fahrzeugen werden vielfach Beleuchtungselemente verwendet, die einzelne Leuchtbereiche aufweisen ober sogar nach der Art eines Bildschirms ausgeführt sind, so dass sich verschiedene Leuchtmuster realisieren lassen. LCD- und auch OLED-Techniken finden dabei zunehmend Verwendung. Entsprechen können beispielsweise Funktionen eines Blinkers und einer Rückleuchte mit nur einem Beleuchtungselement realisiert werden. Entsprechendes kann für Bremslicht, Nebelschlusslicht oder andere gelten. Das Leuchtmuster kann beispielsweise dadurch gebildet werden, dass nur ein Teil des jeweiligen Beleuchtungselements erleuchtet wird, um so eine eher punktuelle Landmarke zu erzeugen. Auch können bestimmte Muster erzeugt werden, die beispielsweise eine Erkennung als Landmarken und eine Positionsbestimmung erleichtern, beispielsweise ein Kreuz oder ein Kreis. Darüber hinaus können auch Landmarken erzeugt werden, die eine Erfassung der Pose des Fahrzeugs erleichtern, indem das Muster unterschiedliche Bereiche des Beleuchtungselementes erkennen lässt. Das Muster ist also beispielsweise über die Höhe und/oder Breite des Beleuchtungselements unterschiedlich. Auch können Muster beispielsweise nach der Art von dynamischen oder statischen ArUco Markern erzeugt werden, die einfach von optischen Kameras erfasst werden können. Diese Muster können zusätzlich eine Identifikation des Fahrzeugs oder andere Informationen enthalten. Dabei sind Muster bevorzugt, von denen nicht nur die Position, sondern auch die Orientierung erfasst werden kann, wodurch auf die Orientierung des Fahrzeugs geschlossen werden kann.In an advantageous embodiment of the invention, sending the activation signal to illuminate the lighting elements of the vehicle with a definition for operating the lighting elements as/with landmarks includes sending the activation signal to illuminate the lighting elements of the vehicle with a predetermined lighting pattern. In current vehicles, lighting elements are often used that have individual lighting areas or are even designed like a screen, so that different lighting patterns can be realized. LCD and OLED technologies are increasingly being used. For example, the functions of a turn signal and a rear light can be implemented with just one lighting element. The same can apply to brake lights, rear fog lights or others. The lighting pattern can be formed, for example, by illuminating only part of the respective lighting element in order to create a more punctual landmark. Certain patterns can also be generated that, for example, facilitate recognition as landmarks and position determination, for example a cross or a circle. In addition, landmarks can also be created that make it easier to detect the pose of the vehicle by allowing the pattern to reveal different areas of the lighting element. The pattern is therefore different, for example, over the height and/or width of the lighting element. Patterns can also be created, for example, like dynamic or static ArUco markers, which can be easily captured by optical cameras. These patterns may also contain identification of the vehicle or other information. Patterns are preferred from which not only the position but also the orientation can be recorded, which means that the orientation of the vehicle can be determined.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Empfangen von Metainformationen in Bezug auf das Fahrzeug, insbesondere Metainformation in Bezug auf eine absolute oder relative Ausrichtung der Landmarken an dem Fahrzeug. Durch diese Metainformation können eine besonders zuverlässige Bestimmung der Fahrzeugform und auch eine Erfassung des Fahrzeugs durchgeführt werden. Wenn beispielsweise die Größen der Landmarken, die Größe des Fahrzeugs und/oder Positionen der Landmarken an dem Fahrzeug bekannt sind, kann mit den Umgebungserfassungssensoren, beispielsweise einer optischen Kamera, beispielswiese die Distanz zu Landmarken ermittelt werden. Die Metainformation kann aus einer Datenbank des Manövriersystems oder auch einer Clouddatenbank bereitgestellt werden. Alternativ kann die Metainformation über eine Kommunikation mit dem Fahrzeug unmittelbar von diesem empfangen werden.In an advantageous embodiment of the invention, the method includes receiving meta-information relating to the vehicle, in particular meta-information relating to an absolute or relative alignment of the landmarks on the vehicle. This meta information allows a particularly reliable determination of the vehicle shape and also a detection of the vehicle to be carried out. For example, if the sizes of the landmarks, the size of the vehicle and/or positions of the landmarks on the vehicle are known, the distance to landmarks can be determined using the environmental detection sensors, for example an optical camera. The meta information can be provided from a database of the maneuvering system or a cloud database. Alternatively, the meta information can be received directly by the vehicle via communication with the vehicle.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren einen Schritt zum Speichern der Fahrzeugform und/oder zum Speichern von relativen Positionen von Landmarken des Fahrzeugs zusammen mit einer Identifikation des Fahrzeugs. Dies ermöglicht es, dass Fahrzeug auch nach dem Parken wieder effektiv zu steuern, indem auf die gespeicherte Fahrzeugform des Fahrzeugs zugegriffen wird. Erreicht das Fahrzeug beispielsweise seinen Zielpunkt in einem Parkhaus, d.h. den Stellplatz, muss das Fahrzeug im Anschluss wieder aus dem Bewegungsbereich entfernt werden, d.h. das Fahrzeug wird aus dem Parkhaus abgeholt. Durch das Speichern der Fahrzeugform ist es nicht erforderlich, diese erneut zu erfassen. Zusätzlich oder alternativ kann jede geeignete Information, wie beispielsweise relative Positionen von Landmarken des Fahrzeugs oder verwendete Leuchtmuster, gespeichert werden. Zum Speichern der Fahrzeugform zusammen mit einer Identifikation des Fahrzeugs wird diese Information vorzugsweise aus einem dynamischen Arbeitsspeicher, beispielsweise der Steuerungseinrichtung, in einen Massenspeicher oder einen Cloudspeicher transferiert. Somit kann das Fahrzeug ohne Zeitverzug wieder in dem Bewegungsbereich manövriert werden. Verlässt das Fahrzeug den Bewegungsbereich, kann diese Information gelöscht werden.In an advantageous embodiment of the invention, the method comprises a step for storing the vehicle shape and/or for storing relative positions of landmarks of the vehicle together with an identification of the vehicle. This makes it possible to control the vehicle effectively again even after parking by accessing the vehicle's stored vehicle shape. For example, if the vehicle reaches its destination in a parking garage, ie the parking space, the vehicle must then be removed from the movement area again, ie the vehicle is picked up from the parking garage. By saving the vehicle shape, there is no need to capture it again. Additionally or alternatively, any suitable information, such as relative positions of landmarks of the vehicle or lighting patterns used, can be stored. To save the vehicle shape along with After identifying the vehicle, this information is preferably transferred from a dynamic working memory, for example the control device, into a mass storage or a cloud storage. This means that the vehicle can be maneuvered again within the range of motion without any delay. If the vehicle leaves the movement area, this information can be deleted.

Wie oben ausgeführt, kann bereits eine Verbesserung bei der Erfassung der Position und/oder die Pose des Fahrzeugs unter Berücksichtigung der Fahrzeugform erreicht werden. Diese Information kann beispielsweise in üblichen Detektoren basierend auf Bildern optischer Kameras verwendet werden, um eine verbesserte semantische Erfassung des Fahrzeugs zu ermöglichen. Die Ergebnisse lassen sich mit bekannten Fusions-Algorithmen kombinieren, um eine höhere Genauigkeit und Robustheit zu erzielen.As stated above, an improvement can already be achieved in detecting the position and/or pose of the vehicle, taking the vehicle shape into account. This information can be used, for example, in common detectors based on images from optical cameras to enable improved semantic detection of the vehicle. The results can be combined with well-known fusion algorithms to achieve higher accuracy and robustness.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln der Position und/oder der Pose des Fahrzeugs unter Berücksichtigung der Fahrzeugform und einer Erfassung des Fahrzeugs mit den Umgebungserfassungssensoren ein Ermitteln der Position und/oder der Pose des Fahrzeugs unter zusätzlicher Berücksichtigung der Erfassung der Landmarken mit den Umgebungserfassungssensoren. Die Landmarken werden also zusätzlich verwendet, während das Fahrzeug zu seinem Zielpunkt gesteuert wird. Dies erleichtert auch während der Fahrt in dem Bewegungsbereich eine genaue Lokalisierung des Fahrzeugs, d.h. die Bestimmung der Position und/oder Pose des Fahrzeugs. Durch die Verwendung der Landmarken wird das Erkennen des Fahrzeugs vereinfacht. Anstatt über die Erkennung von Fahrzeugen über die Semantik sowie der sich daraus abzuleitenden Fahrzeug-Kontur in Bildkoordinaten auf die Pose zu schließen, müssen vorliegend nur die Landmarken kontinuierlich erkannt werden, welche in einem nachfolgenden Schritt mittels eines Lokalisierungs-Algorithmus auf die Fahrzeug-Pose schließen lassen.In an advantageous embodiment of the invention, determining the position and/or the pose of the vehicle, taking into account the shape of the vehicle and a detection of the vehicle with the environment detection sensors, includes determining the position and/or the pose of the vehicle while additionally taking into account the detection of the landmarks with the environment detection sensors . The landmarks are also used while the vehicle is being steered to its destination. This also makes it easier to precisely locate the vehicle while driving in the movement area, i.e. determining the position and/or pose of the vehicle. Using the landmarks makes it easier to recognize the vehicle. Instead of inferring the pose via the recognition of vehicles via the semantics and the vehicle contour derived from it in image coordinates, in the present case only the landmarks need to be continuously recognized, which in a subsequent step infer the vehicle pose using a localization algorithm let.

Vorzugsweise umfasst das Verfahren einen zusätzlichen Schritt zum Tunen von Detektoren auf die Landmarken. Das Tunen erfolgt vorzugsweise im Zusammenhang mit dem Erfassen der Landmarken und dem Ermitteln der Fahrzeugform, d.h. während des Übernehmens des Fahrzeugs an dem Übergabepunkt. Es kann eine Maximierung des Informationsgewinns bei der Objekt-Detektion und der Objekt-Lokalisierung über individuell auf das jeweilige Fahrzeug abgestimmte Detektoren erzielt werden.Preferably, the method includes an additional step for tuning detectors to the landmarks. The tuning is preferably carried out in connection with the detection of the landmarks and the determination of the vehicle shape, i.e. while taking over the vehicle at the handover point. The information gain in object detection and object localization can be maximized using detectors that are individually tailored to the respective vehicle.

In vorteilhafter Ausgestaltung der Erfindung sind die Umgebungserfassungssensoren zur Erfassung des Bewegungsbereichs als optische Kameras, Radarsensoren und/oder als LiDAR-basierte Umgebungssensoren ausgeführt. Aufgrund der geringen Kosten sind optische Kameras bevorzugt. Auch sind optische Kameras gut geeignet als Basis für eine semantische Erfassung von Objekten. Art und Anzahl der Umgebungserfassungssensoren können dabei in beliebiger Kombination gewählt werden zur Abdeckung des Bewegungsbereichs.In an advantageous embodiment of the invention, the environment detection sensors for detecting the movement area are designed as optical cameras, radar sensors and/or as LiDAR-based environment sensors. Due to their low cost, optical cameras are preferred. Optical cameras are also well suited as a basis for semantic detection of objects. The type and number of environmental detection sensors can be selected in any combination to cover the movement area.

In vorteilhafter Ausgestaltung der Erfindung ist dem Manövriersystem ein vordefinierter Übergabepunkt für eine Erfassung von Fahrzeugeigenschaften des Fahrzeugs zugeordnet, und an dem Übergabepunkt ist eine Mehrzahl Umgebungserfassungssensoren angeordnet zum Erfassen der Landmarken des Fahrzeugs. An dem Übergabepunkt können also eine besonders gute Ausstattung mit Umgebungserfassungssensoren wie auch eine besonders vorteilhafte Positionierung dieser Umgebungserfassungssensoren gewählt werden, um die Fahrzeugform für beliebige Fahrzeuge zuverlässig zu ermitteln. In diesem Zusammenhang ist beispielsweise bekannt, mehrere optische Kameras im Photogrammetrie-Verfahren zu verwenden. Alternativ oder zusätzlich können durch eine spezielle Anordnung von Umgebungserfassungssensoren, z.B. einer optischen Kamera, welche das Fahrzeug von oben erfasst, die Abmessungen des Fahrzeugs direkt und einfach bestimmt werden.In an advantageous embodiment of the invention, the maneuvering system is assigned a predefined transfer point for detecting vehicle characteristics of the vehicle, and a plurality of environmental detection sensors are arranged at the transfer point for detecting the landmarks of the vehicle. At the transfer point, particularly good equipment with environmental detection sensors as well as a particularly advantageous positioning of these environmental detection sensors can be selected in order to reliably determine the vehicle shape for any vehicle. In this context, it is known, for example, to use several optical cameras in the photogrammetry process. Alternatively or additionally, the dimensions of the vehicle can be determined directly and easily using a special arrangement of environmental detection sensors, e.g. an optical camera that detects the vehicle from above.

Merkmale wie auch Vorteile des beschriebenen Verfahrens lassen sich ohne Weiteres auf das beschriebene Manövriersystem übertragen und umgekehrt. Auch können einzelne Schritte des Verfahrens in einer an sich beliebigen Reihenfolge durchgeführt werden. Das Verfahren ist nicht auf die beispielhaft beschriebene Abfolge der Verfahrensschritte beschränkt, wie sich für den Fachmann offensichtlich aus der Beschreibung ergibt.Features and advantages of the method described can easily be transferred to the maneuvering system described and vice versa. Individual steps of the method can also be carried out in any order. The process is not limited to the sequence of process steps described as an example, as is obvious to a person skilled in the art from the description.

Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.The invention is explained in more detail below with reference to the accompanying drawing using preferred embodiments. The features shown can represent an aspect of the invention both individually and in combination. Features of different exemplary embodiments can be transferred from one exemplary embodiment to another.

Es zeigt

1 eine schematische Ansicht eines Manövriersystems zum automatischen Manövrieren eines Fahrzeugs von einem Übergabepunkt zu einem Zielpunkt innerhalb eines mit einer Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs gemäß einer ersten, bevorzugten Ausführungsform,
2 eine schematische Ansicht eines Fahrzeugs zum automatischen Manövrieren an einem Übergabepunkt des Manövriersystems aus 1, wobei an dem Übergabepunkt eine Mehrzahl Umgebungserfassungssensoren angeordnet ist,
3 eine schematische Darstellung des Fahrzeugs aus 2, das mit dem Manövriersystem aus 1 in dem Bewegungsbereich automatisch von dem Übergabepunkt zu dem Zielpunkt manövriert werden kann,
4 eine schematische Darstellung eines als OLED- oder LCD-Display ausgeführten Beleuchtungselements des Fahrzeugs aus 2 mit einem ersten, beispielhaft erzeugten Leuchtmuster mit einer Dreiecksform als Landmarke,
5 eine schematische Darstellung eines als OLED- oder LCD-Display ausgeführten Beleuchtungselements des Fahrzeugs aus 2 mit einem zweiten, beispielhaft erzeugten Leuchtmuster mit mehreren horizontalen Linien als Landmarke,
6 eine schematische Darstellung eines als OLED- oder LCD-Display ausgeführten Beleuchtungselements des Fahrzeugs aus 2 mit einem zweiten, beispielhaft erzeugten Leuchtmuster mit mehreren abgewinkelten Linien als Landmarke,
7 eine schematische Darstellung eines als OLED- oder LCD-Display ausgeführten Beleuchtungselements des Fahrzeugs aus 2 mit einem zweiten, beispielhaft erzeugten Leuchtmuster mit mehreren diagonalen Linien als Landmarke,
8 eine schematische Darstellung eines als OLED- oder LCD-Display ausgeführten Beleuchtungselements des Fahrzeugs aus 2 mit einem zweiten, beispielhaft erzeugten Leuchtmuster mit einem Kreuz als Landmarke,
9 eine schematische Darstellung eines als OLED- oder LCD-Display ausgeführten Beleuchtungselements des Fahrzeugs aus 2 mit einem zweiten, beispielhaft erzeugten Leuchtmuster mit einem Punkt und diesen zwei den Punkt umgebenden konzentrischen Kreisen als Landmarke,
10 eine schematische Ansicht einer Ebene eines Parkhauses als Bewegungsbereich des Manövriersystems aus 1, und
11 ein Ablaufdiagramm eines Verfahrens zum zum automatischen Manövrieren des Fahrzeugs aus 2 von dem dortigen Übergabepunkt zu dem Zielpunkt innerhalb des mit der Mehrzahl Umgebungserfassungssensoren überwachten Bewegungsbereichs gemäß 10, wobei das Verfahren mit dem Manövriersystem aus 1 ausgeführt wird.

It shows

1 a schematic view of a maneuvering system for automatically maneuvering a vehicle from a transfer point to a destination point within a movement range monitored with a plurality of environmental detection sensors according to a first, preferred embodiment,
2 a schematic view of a vehicle for automatic maneuvering at a transfer point of the maneuvering system 1 , wherein a plurality of environmental detection sensors are arranged at the transfer point,
3 a schematic representation of the vehicle 2 , that with the maneuvering system 1 can be automatically maneuvered from the transfer point to the target point in the movement range,
4 a schematic representation of a lighting element of the vehicle designed as an OLED or LCD display 2 with a first, exemplary generated light pattern with a triangular shape as a landmark,
5 a schematic representation of a lighting element of the vehicle designed as an OLED or LCD display 2 with a second, exemplarily generated light pattern with several horizontal lines as a landmark,
6 a schematic representation of a lighting element of the vehicle designed as an OLED or LCD display 2 with a second, example-generated light pattern with several angled lines as a landmark,
7 a schematic representation of a lighting element of the vehicle designed as an OLED or LCD display 2 with a second, exemplarily created light pattern with several diagonal lines as a landmark,
8th a schematic representation of a lighting element of the vehicle designed as an OLED or LCD display 2 with a second, exemplarily generated light pattern with a cross as a landmark,
9 a schematic representation of a lighting element of the vehicle designed as an OLED or LCD display 2 with a second, exemplarily generated light pattern with a point and these two concentric circles surrounding the point as a landmark,
10 a schematic view of a level of a parking garage as a movement area of the maneuvering system 1 , and
11 a flowchart of a method for automatically maneuvering the vehicle 2 from the transfer point there to the destination point within the movement range monitored by the plurality of environmental detection sensors 10 , the procedure being carried out using the maneuvering system 1 is performed.

Die 1 zeigt schematisch ein Manövriersystem 10 gemäß einer ersten, bevorzugten Ausführungsform. Das Manövriersystem ist beispielhaft in einer Ebene 12 eines Parkhauses installiert, wie sich aus 10 ergibt, und als Typ-2 Valet-Parksystem 10 ausgeführt.The 1 shows schematically a maneuvering system 10 according to a first, preferred embodiment. The maneuvering system is installed, for example, in level 12 of a parking garage, as can be seen from 10 results, and designed as a type 2 valet parking system 10.

Das Typ-2 Valet-Parksystem 10 umfasst eine Mehrzahl Umgebungserfassungssensoren 14 zur Erfassung eines Bewegungsbereichs 16. In diesem Ausführungsbeispiel sind die Umgebungserfassungssensoren 14 als optische Kameras ausgeführt, die wie in 10 angedeutet in der Ebene 12 des Parkhauses verteilt angeordnet sind, um den Bewegungsbereich 16 vollständig zu erfassen. In diesem Ausführungsbeispiel wird der Bewegungsbereich 16 durch die Ebene 12 des Parkhauses definiert. Der Bewegungsbereich 16 ist ein Bereich, in dem ein Fahrzeug 20 beim automatischen Typ-2 Valet Parken bewegt werden kann.The type 2 valet parking system 10 includes a plurality of environmental detection sensors 14 for detecting a movement area 16. In this exemplary embodiment, the environmental detection sensors 14 are designed as optical cameras, which are as in 10 indicated are arranged distributed in the level 12 of the parking garage in order to completely cover the movement area 16. In this exemplary embodiment, the movement area 16 is defined by the level 12 of the parking garage. The movement area 16 is an area in which a vehicle 20 can be moved in type-2 automatic valet parking.

Das Typ-2 Valet-Parken betrifft somit ein Parken eines Fahrzeugs 20 mit einer Steuerung, die auf der Erfassung des Bewegungsbereichs 16 basiert, die von einer entsprechenden Infrastruktur bereitgestellt werden. Dabei können prinzipiell zusätzliche Sicherheitsfunktionen in dem Fahrzeug 20 aktiviert sein, um beispielswiese bei plötzlich auftauchenden Hindernissen eine Notbremsung durchzuführen. Die Steuerung als solche wird jedoch nicht von dem Fahrzeug 20 durchgeführt.Type 2 valet parking thus relates to parking a vehicle 20 with a control based on the detection of the movement range 16 provided by a corresponding infrastructure. In principle, additional safety functions can be activated in the vehicle 20, for example to carry out emergency braking if obstacles suddenly appear. However, the control as such is not carried out by the vehicle 20.

Die Umgebungserfassungssensoren 14 liefern Sensordaten zur Erfassung von Objekten in dem Bewegungsbereich 16. Die Sensordaten werden von den Umgebungserfassungssensoren 14 über eine Datenverbindung 32, die vorzugsweise als ein üblicher Datenbus ausgeführt ist, übertragen.The environment detection sensors 14 provide sensor data for detecting objects in the movement area 16. The sensor data is transmitted from the environment detection sensors 14 via a data connection 32, which is preferably designed as a conventional data bus.

Das Typ-2 Valet-Parksystem 10 umfasst außerdem eine Steuerungseinrichtung 22. Die Steuerungseinrichtung 22 ist ausgeführt, eine Trajektorie 24 für das Fahrzeug 20 zu einem Zielpunkt 26, der hier ein Stellplatz 26 ist, in dem Bewegungsbereich 16 zu ermitteln und eine Steuerung des Fahrzeugs 20 zu dem Stellplatz 26 entlang der Trajektorie 24 basierend auf einer Erfassung des Bewegungsbereichs 16 mit den Umgebungserfassungssensoren 14 sowie einer Position und einer Pose des Fahrzeugs 20 durchzuführen, wie nachfolgend im Detail beschrieben wird. Die Trajektorie 24 gibt eine Fahrstrecke des Fahrzeugs 20 zu dem Stellplatz 26 an. Der Stellplatz 26 ist entweder durch das Typ-2 Valet-Parksystem 10 ausgewählt, durch einen Fahrer des Fahrzeugs 20 ausgewählt, oder dem Fahrzeug 20 bzw. dem Fahrer oder einem Insassen des Fahrzeugs 20 zugeordnet.The type 2 valet parking system 10 also includes a control device 22. The control device 22 is designed to determine a trajectory 24 for the vehicle 20 to a destination point 26, which here is a parking space 26, in the movement area 16 and to control the vehicle 20 to the parking space 26 along the trajectory 24 based on a detection of the movement area 16 with the environmental detection sensors 14 as well as a position and a pose of the vehicle 20, as described in detail below. The trajectory 24 indicates a route of the vehicle 20 to the parking space 26. The parking space 26 is either selected by the type 2 valet parking system 10, selected by a driver of the vehicle 20, or assigned to the vehicle 20 or the driver or an occupant of the vehicle 20.

Das Typ-2 Valet-Parksystem 10 umfasst in diesem Ausführungsbeispiel zusätzlich eine Kommunikationseinrichtung 28, welche Steuerbefehle zur Steuerung des Fahrzeugs 20 zu dem Stellplatz 26 von der Steuerungseinrichtung 22 an das Fahrzeug 20 übermittelt. Die Kommunikationseinrichtung 28 ist zur drahtlosen Kommunikation mit dem Fahrzeug 20 ausgeführt und führt eine direkte Kommunikation mit dem Fahrzeug 20 basierend auf einem Kurzreichweitenfunkstandard wie Bluetooth oder WLAN durch. Dazu sind der Kommunikationseinrichtung 28 eine Mehrzahl Übertragungseinrichtungen 34 nach dem entsprechenden Kurzreichweitenfunkstandard zugeordnet, die den Bewegungsbereich 16 abdecken.In this exemplary embodiment, the type 2 valet parking system 10 additionally includes a communication device 28, which transmits control commands for controlling the vehicle 20 to the parking space 26 from the control device 22 to the vehicle 20. The communication device 28 is designed for wireless communication with the vehicle 20 and carries out direct communication with the vehicle 20 based on a short-range radio standard such as Bluetooth or WLAN. For this purpose, the communication device 28 is assigned a plurality of transmission devices 34 according to the corresponding short-range radio standard, which cover the movement range 16.

Basierend auf den übertragenen Steuerbefehlen kann das Typ-2 Valet-Parksystem 10 das Fahrzeug 20 automatisch von einem Übergabepunkt 30 zu dem Stellplatz 26 innerhalb des mit den Umgebungserfassungssensoren 14 überwachten Bewegungsbereichs 16 manövrieren. Der Übergabepunkt 30, der im Detail separat in 2 dargestellt ist, ist hier ein vorgegebener Übergabepunkt 30 in dem Bewegungsbereich 16, an dem das Fahrzeug 20 von dem Fahrer zum automatischen Typ-2 Valet Parken an das Typ-2 Valet-Parksystem 10 übergeben wird. Der Übergabepunkt 30 ist zur Erfassung von Fahrzeugeigenschaften des Fahrzeugs 20 mit einer Mehrzahl Umgebungserfassungssensoren 14 ausgeführt. Alternativ kann als Übergabepunkt 30 ein beliebiger Punkt innerhalb des überwachten Bewegungsbereichs 16 genutzt werden.Based on the transmitted control commands, the Type 2 valet parking system 10 can automatically maneuver the vehicle 20 from a transfer point 30 to the parking space 26 within the movement range 16 monitored by the environmental detection sensors 14. The transfer point 30, which is detailed separately in 2 is shown here is a predetermined transfer point 30 in the movement area 16, at which the vehicle 20 is handed over by the driver to the type 2 valet parking system 10 for automatic type 2 valet parking. The transfer point 30 is designed to detect vehicle characteristics of the vehicle 20 with a plurality of environmental detection sensors 14. Alternatively, any point within the monitored movement range 16 can be used as the transfer point 30.

Nachstehend wird ein in 11 dargestelltes Verfahren zum Typ-2 Valet-Parken mit einem automatischen Manövrieren des Fahrzeugs 20 von dem Übergabepunkt 30 zu dem Stellplatz 26 innerhalb des mit den Umgebungserfassungssensoren 14 überwachten Bewegungsbereichs 16 beschrieben. Das Verfahren wird mit dem Typ-2 Valet-Parksystem 10 durchgeführt.Below is an in 11 Illustrated method for type 2 valet parking with automatic maneuvering of the vehicle 20 from the transfer point 30 to the parking space 26 within the movement area 16 monitored by the environmental detection sensors 14 is described. The procedure is carried out using the Type 2 valet parking system 10.

Das Verfahren kann im Zusammenspiel mit prinzipiell beliebigen Fahrzeugen 20 durchgeführt werden, soweit diese für Typ-2 Valet-Parken ausgeführt sind. Wie in 3 dargestellt, umfasst ein solches Fahrzeug 20 einen Empfänger 36 für den Empfang der Steuerbefehle zur Steuerung des Fahrzeugs 20 zu dem Stellplatz 26 von der Kommunikationseinrichtung 28. Der Empfänger 36 ist entsprechend zur drahtlosen Kommunikation mit der Kommunikationseinrichtung 28 basierend auf dem hier verwendeten Kurzreichweitenfunkstandard wie Bluetooth oder WLAN ausgeführt. Das Fahrzeug 20 umfasst weiterhin eine Steuereinheit 38, die über einen Fahrzeugbus 40 mit dem Empfänger 36 verbunden ist. Verschiedene Bussysteme wie CAN, FlexRay, LON, LIN oder andere sind in diesem Zusammenhang bekannt. Zusätzlich kann das Fahrzeug 20 eigene Sensoren wie eine Frontkamera 42, eine Rückkamera 44 und Ultraschallsensoren 46 aufweisen, die jedoch für das Typ-2 Valet-Parken nicht erforderlich sind. Die Steuereinheit 38 kann das Fahrzeug 20 gemäß der empfangenen Steuerbefehle entlang der Trajektorie 24 zu dem Stellplatz 26 manövrieren.The method can in principle be carried out in conjunction with any vehicle 20, as long as it is designed for type 2 valet parking. As in 3 shown, such a vehicle 20 includes a receiver 36 for receiving the control commands for controlling the vehicle 20 to the parking space 26 from the communication device 28. The receiver 36 is corresponding to wireless communication with the communication device 28 based on the short-range radio standard used here such as Bluetooth or WiFi running. The vehicle 20 further includes a control unit 38, which is connected to the receiver 36 via a vehicle bus 40. Various bus systems such as CAN, FlexRay, LON, LIN or others are known in this context. Additionally, the vehicle 20 may have its own sensors such as a front camera 42, a rear camera 44 and ultrasonic sensors 46, but these are not required for Type 2 valet parking. The control unit 38 can maneuver the vehicle 20 along the trajectory 24 to the parking space 26 according to the control commands received.

Das Verfahren beginnt in Schritt S100 mit dem Übernehmen des Fahrzeugs 20 an dem Übergabepunkt 30, der sich innerhalb des Bewegungsbereichs 16 befindet.The method begins in step S100 with taking over the vehicle 20 at the transfer point 30, which is located within the movement range 16.

Das Fahrzeug 20 hält an dem Übergabepunkt 30 an, und die Kontrolle über das Fahrzeug 20 wird an das Typ-2 Valet-Parksystem 10 übergeben. Dazu erfolgt über die Kommunikationseinrichtung 28 und den Empfänger 36 des Fahrzeugs 20 eine Kommunikation zwischen der Steuerungseinrichtung 22 und der Steuereinheit 38 des Fahrzeugs 20. Eine entsprechende Kommunikationsverbindung zwischen dem Typ-2 Valet-Parksystem 10 und dem Fahrzeug 20 wird aufgebaut und das Typ-2 Valet-Parksystem 10 übernimmt die Steuerung des Fahrzeugs 20.The vehicle 20 stops at the transfer point 30 and control of the vehicle 20 is transferred to the Type 2 valet parking system 10. For this purpose, communication takes place between the control device 22 and the control unit 38 of the vehicle 20 via the communication device 28 and the receiver 36 of the vehicle 20. A corresponding communication connection between the type 2 valet parking system 10 and the vehicle 20 is established and the type 2 Valet parking system 10 takes over the control of the vehicle 20.

Schritt S110 betrifft ein Empfangen von Metainformationen in Bezug auf das Fahrzeug 20, insbesondere Metainformation in Bezug auf eine absolute oder relative Ausrichtung von Landmarken 50 an dem Fahrzeug 20. Die Metainformation umfasst Größen der Landmarken 50, die Größe des Fahrzeugs 20 und/oder Positionen der Landmarken 50 an dem Fahrzeug 20. Die Metainformation wird hier aus einer nicht separat dargestellten Datenbank des Typ-2 Valet-Parksystems 10 bereitgestellt. Die Landmarken 50 werden nachfolgend erläutert.Step S110 relates to receiving meta information relating to the vehicle 20, in particular meta information relating to an absolute or relative orientation of landmarks 50 on the vehicle 20. The meta information includes sizes of the landmarks 50, the size of the vehicle 20 and/or positions of the Landmarks 50 on the vehicle 20. The meta information is provided here from a database of the type 2 valet parking system 10, which is not shown separately. The landmarks 50 are explained below.

Schritt S120 betrifft ein Senden eines Aktivierungssignals an das Fahrzeug 20 zum Aktivieren einer Mehrzahl Landmarken 50 zur Definition des Fahrzeugs 20.Step S120 involves sending an activation signal to the vehicle 20 to activate a plurality of landmarks 50 to define the vehicle 20.

In dem vorliegenden Ausführungsbeispiel werden die Landmarken 50 mit Beleuchtungselementen 52 erzeugt. Das Senden des Aktivierungssignals an das Fahrzeug 20 bewirkt somit, dass die Beleuchtungselemente 52 in dem Fahrzeug 20 eingeschaltet werden. Die Beleuchtungselemente 52 sind hier Scheinwerfer und Rückleuchten jeweils inklusive Blinkleuchten, die jeweils integral zur Darstellung verschiedener Leuchtfunktionen ausgeführt und an Fahrzeugecken angeordnet sind, wie in 2 dargestellt ist.In the present exemplary embodiment, the landmarks 50 are generated with lighting elements 52. Sending the activation signal to the vehicle 20 thus causes the lighting elements 52 in the vehicle 20 to be switched on. The lighting elements 52 here are headlights and taillights, each including turn signals, which are each designed integrally to display various lighting functions and are arranged on vehicle corners, as in 2 is shown.

Das Senden des Aktivierungssignals zum Erleuchten der Beleuchtungselemente 52 des Fahrzeugs 20 erfolgt mit einer Definition zum Betrieb der Beleuchtungselemente 52 als/mit Landmarken 50. Die Definition umfasst eine vorgegebene Helligkeit der Beleuchtungselemente 52, die vorzugsweise im weiteren Verfahren nachgeregelt werden kann. Die Definition umfasst außerdem ein vorgegebenes Leuchtmuster, welches hier die entsprechende Landmarke 50 bildet.The activation signal for illuminating the lighting elements 52 of the vehicle 20 is sent with a definition for operating the lighting elements 52 as/with landmarks 50. The definition includes a predetermined brightness of the lighting elements 52, which is preferably in can be readjusted using further procedures. The definition also includes a predetermined light pattern, which here forms the corresponding landmark 50.

In den 4 bis 7 ist in diesem Zusammenhang jeweils ein Beleuchtungselement 52 dargestellt, welches durch eine Mehrzahl einzelner Leuchtbereiche 54, die in diesem Ausführungsbeispiel beispielhaft eine Dreiecksform aufweisen, gebildet wird. Basierend auf der empfangenen Definition steuert die Steuereinheit 38 die Leuchtbereiche 54 der Beleuchtungselemente 52 an, so dass sie verschiedene Muster als Landmarken 50 bilden. So ist in 4 ein Dreieck als Landmarke 50 dargestellt. In 5 wird die Landmarke 50 durch drei horizontale, parallele Linien gebildet. In 6 wird die Landmarke 50 durch drei horizontale, parallele Linien gebildet, von denen zwei Linien schräg abfallen. In 7 wird die Landmarke 50 durch drei diagonale, parallele Linien gebildet.In the 4 until 7 In this context, a lighting element 52 is shown, which is formed by a plurality of individual lighting areas 54, which in this exemplary embodiment have a triangular shape. Based on the received definition, the control unit 38 controls the lighting areas 54 of the lighting elements 52 so that they form different patterns as landmarks 50. That's how it is 4 a triangle is shown as landmark 50. In 5 the landmark 50 is formed by three horizontal, parallel lines. In 6 the landmark 50 is formed by three horizontal, parallel lines, two of which fall obliquely. In 7 the landmark 50 is formed by three diagonal, parallel lines.

In den 8 und 9 ist jeweils ein Beleuchtungselement 52 dargestellt, welches nach der Art eines Bildschirms ausgeführt sind, so dass sich verschiedene Leuchtmuster realisieren lassen. LCD- und/oder OLED-Techniken finden dabei Verwendung. In 8 ist beispielsweise ein Kreuz als Landmarke 50 dargestellt, und in 9 wird die Landmarke 50 durch einen Punkt und zwei konzentrische Kreise, die den Punkt umgeben, gebildet. Alternativ kann mit dem Beleuchtungselement 52 jeweils ein Muster beispielsweise nach der Art von dynamischen oder statischen ArUco Markern erzeugt werden. Diese Muster können zusätzlich eine Identifikation des Fahrzeugs 20 oder andere Informationen enthalten.In the 8th and 9 A lighting element 52 is shown in each case, which is designed like a screen so that different lighting patterns can be realized. LCD and/or OLED technologies are used. In 8th For example, a cross is shown as a landmark 50, and in 9 the landmark 50 is formed by a point and two concentric circles surrounding the point. Alternatively, a pattern can be generated with the lighting element 52, for example in the manner of dynamic or static ArUco markers. These patterns may additionally contain an identification of the vehicle 20 or other information.

Schritt S130 betrifft ein Erfassen der Landmarken 50 des Fahrzeugs 20 mit mehreren der Umgebungserfassungssensoren 14. Das Erfassen der Landmarken 50 erfolgt an dem Übergabenpunkt 30. Wie in 2 dargestellt ist, sind an dem Übergabepunkt 30 eine Mehrzahl Umgebungserfassungssensoren 14 angeordnet zum Erfassen der Landmarken 50 des Fahrzeugs 20. Zusätzlich kann an dem Übergabenpunkt 30 eine optische Kamera angeordnet sein, die das Fahrzeug 20 von oben erfasst.Step S130 involves detecting the landmarks 50 of the vehicle 20 with several of the environmental detection sensors 14. The detection of the landmarks 50 takes place at the handover point 30. As in 2 is shown, a plurality of environmental detection sensors 14 are arranged at the transfer point 30 for detecting the landmarks 50 of the vehicle 20. In addition, an optical camera can be arranged at the transfer point 30, which detects the vehicle 20 from above.

Schritt S140 betrifft ein Ermitteln einer Fahrzeugform des Fahrzeugs 20 basierend auf den erfassten Landmarken 50.Step S140 concerns determining a vehicle shape of the vehicle 20 based on the detected landmarks 50.

Die Fahrzeugform wird basierend auf den erfassten Landmarken 50 ermittelt. Basierend auf der Metainformation kann dabei mit den Umgebungserfassungssensoren 14 die Distanz zu einzelnen Landmarken 50 ermittelt werden. Dadurch können die Abmessungen des Fahrzeugs 20 zusammen mit weiteren Informationen ermittelt und nachfolgend verwendet werden, wie beispielsweise eine Positionierung der einzelnen Landmarken 50 relativ zur Hinterachse des Fahrzeugs 20.The vehicle shape is determined based on the detected landmarks 50. Based on the meta information, the distance to individual landmarks 50 can be determined using the environmental detection sensors 14. This allows the dimensions of the vehicle 20 to be determined together with further information and subsequently used, such as positioning of the individual landmarks 50 relative to the rear axle of the vehicle 20.

Beim Erfassen der Landmarken 50 mit den Umgebungserfassungssensoren 14 wird das Fahrzeug 20 somit über die aktiven Landmarken 50 vermessen. Diese Information wird temporär in einem Arbeitsspeicher der Steuerungseinrichtung 22 gespeichert.When detecting the landmarks 50 with the environmental detection sensors 14, the vehicle 20 is thus measured via the active landmarks 50. This information is temporarily stored in a working memory of the control device 22.

Schritt S150 betrifft ein Tunen von Detektoren auf die Landmarken 50. Auch das Tunen der Detektoren erfolgt in diesem Ausführungsbeispiel an dem Übergabepunkt 30 mit dem stehenden Fahrzeug 20.Step S150 relates to tuning detectors to the landmarks 50. In this exemplary embodiment, the detectors are also tuned at the transfer point 30 with the stationary vehicle 20.

Schritt S160 betrifft ein Steuern des Fahrzeugs 20 entlang der Trajektorie 24 zu dem Stellplatz 26 unter Übermittlung von Steuerbefehlen an das Fahrzeug 20. Die Steuerung erfolgt basierend auf einer Erfassung des Bewegungsbereichs 16 mit den Umgebungserfassungssensoren 14 sowie einer Position und einer Pose des Fahrzeugs 20, wobei die Position und/oder die Pose des Fahrzeugs 20 unter Berücksichtigung der Fahrzeugform und einer Erfassung des Fahrzeugs 20 mit den Umgebungserfassungssensoren 14 ermittelt wird/werden.Step S160 relates to controlling the vehicle 20 along the trajectory 24 to the parking space 26 by transmitting control commands to the vehicle 20. The control is carried out based on a detection of the movement range 16 with the environmental detection sensors 14 as well as a position and a pose of the vehicle 20, where the position and/or pose of the vehicle 20 is/are determined taking into account the shape of the vehicle and a detection of the vehicle 20 with the environmental detection sensors 14.

Dazu werden Steuerbefehle von der Steuerungseinrichtung 22 an das Fahrzeug 20, genauer die Steuereinheit 38, wie oben beschrieben übermittelt, so dass das Fahrzeug 20 von seiner jeweils aktuellen Position zu dem Stellplatz 26 manövriert wird. Die Steuerungseinrichtung 22 ermittelt die Trajektorie 24 zu dem Stellplatz 26 und ermittelt die erforderlichen Steuerbefehle zur Steuerung des Fahrzeugs 20 zu dem Stellplatz 26.For this purpose, control commands are transmitted from the control device 22 to the vehicle 20, more precisely the control unit 38, as described above, so that the vehicle 20 is maneuvered from its current position to the parking space 26. The control device 22 determines the trajectory 24 to the parking space 26 and determines the necessary control commands for controlling the vehicle 20 to the parking space 26.

Die Steuerung wird von der Steuerungseinrichtung 22 basierend auf der Erfassung des Bewegungsbereichs 16 durchgeführt, um Kollisionen des Fahrzeugs 20 mit festen oder beweglichen Objekten wie auch mit Personen zu vermeiden. Dazu werden von den Umgebungserfassungssensoren 14 in dem Bewegungsbereich 16 Sensordaten bereitgestellt und über die Datenverbindung 32 an Steuerungseinrichtung 22 übertragen. Die Steuerungseinrichtung 22 verarbeitet die empfangenen Sensordaten.The control is carried out by the control device 22 based on the detection of the movement range 16 in order to avoid collisions of the vehicle 20 with fixed or moving objects as well as with people. For this purpose, sensor data is provided by the environmental detection sensors 14 in the movement area 16 and transmitted to the control device 22 via the data connection 32. The control device 22 processes the received sensor data.

Die exakte Position und/oder die Pose des Fahrzeugs 20 werden unter Berücksichtigung der Fahrzeugform und einer Erfassung des Fahrzeugs 20 mit den Umgebungserfassungssensoren 14 ermittelt. Dazu wird kann die Fahrzeugform beispielsweise in üblichen Detektoren für Bilder von optischen Kameras verwendet werden. Die Ergebnisse lassen sich mit bekannten Fusions-Algorithmen kombinieren, um eine hohe Genauigkeit und Robustheit bei der Ermittlung der Position und/oder Pose des Fahrzeugs 20 zu erzielen.The exact position and/or pose of the vehicle 20 are determined taking into account the shape of the vehicle and a detection of the vehicle 20 with the environmental detection sensors 14. For this purpose, the vehicle shape can be used, for example, in conventional detectors for images from optical cameras. The results can be combined with well-known fusion algorithms to achieve high accuracy and To achieve robustness in determining the position and/or pose of the vehicle 20.

In diesem Ausführungsbeispiel sind die Landmarken 50 während der Steuerung des Fahrzeugs 20 zu dem Stellplatz 26 aktiv, d.h. die Beleuchtungselemente 52 erleuchten die jeweiligen Landmarken 50.In this exemplary embodiment, the landmarks 50 are active during the control of the vehicle 20 to the parking space 26, i.e. the lighting elements 52 illuminate the respective landmarks 50.

Davon ausgehend erfolgt das Ermitteln der Position und/oder der Pose des Fahrzeugs 20 unter zusätzlicher Berücksichtigung der Erfassung der Landmarken 50 mit den Umgebungserfassungssensoren 14. Die Landmarken 50 werden also zusätzlich verwendet und erfasst, während das Fahrzeug 20 zu seinem Stellplatz 26 gesteuert wird. Die Bestimmung der Position und Pose des Fahrzeugs 20 wird also zusätzlich basierend auf der Erfassung der Landmarken 50 mit den Umgebungssensoren 14 durchgeführt. Anstatt über die Erkennung von Fahrzeugen 20 über die Semantik sowie der sich daraus abzuleitenden Fahrzeug-Kontur in Bildkoordinaten auf die Pose zu schließen, müssen dazu nur die Landmarken 50 kontinuierlich erkannt werden, welche in einer nachfolgenden Verarbeitung mittels eines Lokalisierungs-Algorithmus auf die Fahrzeug-Pose schließen lassen.Based on this, the position and/or pose of the vehicle 20 is determined with additional consideration of the detection of the landmarks 50 with the environmental detection sensors 14. The landmarks 50 are therefore additionally used and detected while the vehicle 20 is controlled to its parking space 26. The determination of the position and pose of the vehicle 20 is therefore additionally carried out based on the detection of the landmarks 50 with the environmental sensors 14. Instead of inferring the pose in image coordinates via the recognition of vehicles 20 via the semantics and the vehicle contour derived therefrom, only the landmarks 50 have to be continuously recognized, which in subsequent processing using a localization algorithm refer to the vehicle. Allow pose to close.

Es erfolgt eine Fusion der beiden Bestimmungen der Position und Pose des Fahrzeugs 20.There is a fusion of the two determinations of the position and pose of the vehicle 20.

Schritt S170 betrifft ein Speichern der Fahrzeugform zusammen mit einer Identifikation des Fahrzeugs 20. Zusätzlich kann jede weitere Information, wie beispielsweise verwendete Leuchtmuster, gespeichert werden. Die Fahrzeugform wird zusammen mit der Identifikation des Fahrzeugs 20 aus einem dynamischen Arbeitsspeicher der Steuerungseinrichtung 22 in einen Massenspeicher transferiert, der nicht separat in den Figuren dargestellt ist. Verlässt das Fahrzeug 20 den Bewegungsbereich 16, wird die gespeicherte Information gelöscht.Step S170 involves storing the vehicle shape together with an identification of the vehicle 20. In addition, any further information, such as lighting patterns used, may be stored. The vehicle shape is transferred together with the identification of the vehicle 20 from a dynamic working memory of the control device 22 into a mass storage device, which is not shown separately in the figures. If the vehicle 20 leaves the movement area 16, the stored information is deleted.

BezugszeichenlisteReference symbol list

1010: Manövriersystem, Typ-2 Valet-ParksystemManeuvering system, Type-2 valet parking system
1212: Ebenelevel
1414: UmgebungserfassungssensorEnvironmental sensing sensor
1616: BewegungsbereichRange of motion
2020: Fahrzeugvehicle
2222: SteuerungseinrichtungControl device
2424: TrajektorieTrajectory
2626: Zielpunkt, StellplatzDestination point, parking space
2828: KommunikationseinrichtungCommunication facility
3030: ÜbergabepunktTransfer point
3232: DatenverbindungData Connection
3434: ÜbertragungseinrichtungTransmission facility
3636: EmpfängerRecipient
3838: SteuereinheitControl unit
4040: Fahrzeugbusvehicle bus
4242: FrontkameraFront camera
4444: RückkameraRear camera
4646: UltraschallsensorUltrasonic sensor
5050: LandmarkeLandmark
5252: Beleuchtungselementlighting element
5454: LeuchtbereichIlluminated area

Claims

Method for automatically maneuvering a vehicle (20) from a transfer point (30) to a destination point (26) within a movement range (16) monitored with a plurality of environmental detection sensors (14), in particular for type 2 valet parking of the vehicle with a parking space as Target point (26), comprising the steps Taking over the vehicle (20) at the transfer point (30), in particular within the movement range (16), Sending an activation signal to the vehicle (20) to activate a plurality of landmarks (50) to define the vehicle (20), Detecting the landmarks (50) of the vehicle (20) with at least one of the environmental detection sensors (14), Determining a vehicle shape based on the detected landmarks (50), and Controlling the vehicle (20) along a trajectory (24) to the target point (26) while transmitting control commands to the vehicle (20) based on a detection of the range of motion (16) with the environmental detection sensors (14) as well as a position and a pose of the Vehicle (20), wherein the position and/or pose of the vehicle (20) is/are determined taking into account the shape of the vehicle and a detection of the vehicle (20) with the environmental detection sensors (14).

Procedure according to Claim 1 , characterized in that taking over the vehicle (20) at the transfer point (30) includes establishing a communication connection to the vehicle (20) and taking over control of the vehicle (20) for automatically maneuvering the vehicle (20).

Procedure according to one of the Claims 1 or 2 , characterized in that sending an activation signal to the vehicle (20) for activating a plurality of landmarks (50) for defining the vehicle (20), including sending an activation signal for illuminating lighting elements (52) of the vehicle (20) as/with landmarks (50).

Procedure according to Claim 3 , characterized in that sending the activation signal to illuminate lighting elements (52) of the vehicle (20) as/with landmarks (50) involves sending the activation signal to illuminate the lighting elements (52) of the vehicle (20) with a definition for operating the Lighting elements (52) as/with landmarks (50).

Procedure according to Claim 4 , characterized in that sending the activation signal to illuminate the lighting elements (52) of the vehicle (20) with a definition for operating the lighting elements (52) as/with landmarks (50) means sending the activation signal to illuminate the lighting elements (52) of the Vehicle (20) with a predetermined brightness.

Procedure according to one of the Claims 4 or 5 , characterized in that sending the activation signal to illuminate the lighting elements (52) of the vehicle (20) with a definition for operating the lighting elements (52) as/with landmarks (50) means sending the activation signal to illuminate the lighting elements (52) of the Vehicle (20) includes a predetermined lighting pattern.

Method according to one of the preceding claims, characterized in that the method comprises receiving meta-information relating to the vehicle (20), in particular meta-information relating to an absolute or relative orientation of the landmarks (50) on the vehicle (20).

Method according to one of the preceding claims, characterized in that the method comprises a step for storing the vehicle shape and/or for storing relative positions of landmarks of the vehicle together with an identification of the vehicle (20).

Method according to one of the preceding claims, characterized in that determining the position and/or the pose of the vehicle (20) taking into account the shape of the vehicle and a detection of the vehicle (20) with the environmental detection sensors (14) involves determining the position and/or the pose of the vehicle (20) with additional consideration of the detection of the landmarks (50) with the environmental detection sensors (14).

Maneuvering system (10) for automatically maneuvering a vehicle (20) from a transfer point (30) to a destination point (26) within a movement range (16) monitored with a plurality of environmental detection sensors (14), in particular as a type 2 valet parking system, with a A plurality of environmental detection sensors (14) for detecting the movement range (16), a control device (22), which is designed to control the vehicle (20) along a trajectory (24) to the target point (26) based on detection of the movement range (16 ) with the environmental detection sensors (14) as well as a position and a pose of the vehicle (20), a communication device (28) which transmits control commands from the control device (22) to the vehicle (20), characterized in that the control device (22) is further implemented to send an activation signal to the vehicle (20) via the communication device (28) for activating a plurality of landmarks (50) for defining the vehicle (20), a vehicle shape based on a detection of the landmarks (50) with at least one of the environment detection sensors (14), and to determine the position and/or the pose of the vehicle (20), taking into account the shape of the vehicle and a detection of the vehicle (20) with the environment detection sensors (14).

Maneuvering system (10). Claim 10 , characterized in that the environment detection sensors (14) for detecting the movement area (16) are designed as optical cameras (14), radar sensors and / or as LiDAR-based environment sensors.

Maneuvering system (10) according to one of the Claims 10 or 11 , characterized in that the maneuvering system (10) is assigned a predefined transfer point (30) for detecting vehicle characteristics of the vehicle (20), and a plurality of environmental detection sensors (14) are arranged at the transfer point (30) for detecting the landmarks (50 ) of the vehicle (20).