DE102018202571A1

DE102018202571A1 - Method and device for processing data from two vehicle sensors for an autonomous vehicle

Info

Publication number: DE102018202571A1
Application number: DE102018202571.1A
Authority: DE
Inventors: Oliver Pink; Carsten Hasberg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-02-20
Filing date: 2018-02-20
Publication date: 2019-08-22

Abstract

Die Erfindung betrifft ein Verfahren zur Aufbereitung von Daten zumindest zweier Fahrzeugsensoren 106 und 109 für ein autonomes Fahrzeug 100, bei dem insbesondere die Einbauposition der zwei Fahrzeugsensoren 106 und 109 und deren relative Position zueinander kalibrierbar ist. Hierbei umfasst das Verfahren einen ersten Schritt des Einlesens, bei dem ein erstes Sensorsignal 124 von einem ersten Fahrzeugsensor 106 und eines zweites Sensorsignal 127 von einem zweiten Fahrzeugsensor 109 eingelesen wird und wobei das erste und das zweite Sensorsignal 124, 127 insbesondere ein zweidimensionales Abbild einer Fahrzeugumgebung repräsentieren. Das Verfahren umfasst weiterhin einen Schritt des Bestimmens, bei dem eine Einbauposition der zumindest zwei Fahrzeugsensoren 106, 109 innerhalb des Fahrzeugs 100 und/oder eine relative Position der Fahrzeugsensoren 106, 109 zueinander unter Verwendung des ersten und des zweiten Sensorsignals 124, 127 bestimmt werden. Schließlich umfasst das Verfahren einen Schritt des Bereitstellens, bei dem ein Abweichsignal, das eine Abweichung der bestimmten Einbauposition und/oder der bestimmten relativen Position zumindest eines Fahrzeugsensors 106 oder 109 von einer Referenzposition des Fahrzeugsensors 106 oder 109 repräsentiert, bereitgestellt wird.The invention relates to a method for processing data from at least two vehicle sensors 106 and 109 for an autonomous vehicle 100, in which in particular the installation position of the two vehicle sensors 106 and 109 and their relative position to each other can be calibrated. Here, the method comprises a first step of reading, in which a first sensor signal 124 from a first vehicle sensor 106 and a second sensor signal 127 is read by a second vehicle sensor 109 and wherein the first and the second sensor signal 124, 127 in particular a two-dimensional image of a vehicle environment represent. The method further comprises a step of determining in which an installation position of the at least two vehicle sensors 106, 109 within the vehicle 100 and / or a relative position of the vehicle sensors 106, 109 relative to one another are determined using the first and second sensor signals 124, 127. Finally, the method comprises a step of providing, in which a deviation signal, which represents a deviation of the determined installation position and / or the determined relative position of at least one vehicle sensor 106 or 109 from a reference position of the vehicle sensor 106 or 109, is provided.

Description

Stand der TechnikState of the art

Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the preamble of the independent claims. The subject of the present invention is also a computer program.

Fahrerassistenzsysteme und zukünftige automatisierte Fahrfunktionen nutzen einen oder mehrere Umfeldsensoren, deren Einbauposition im Fahrzeug und deren relative Position zueinander genau bekannt sein müssen. Die Einbauposition der Umfeldsensoren kann sich mit der Zeit, mitunter auch während der Fahrt, beispielsweise durch Temperatureinflüsse, verändern. Deshalb wird die Position der Fahrzeugsensoren laufend durch eine Online-Kalibrierung nachgeführt. Es existieren Algorithmen zur Kalibrierung einzelner sowie mehrerer Fahrzeugsensoren zueinander. Die Berechnung erfolgt direkt in den Fahrzeugsensoren oder in einem Zentralsteuergerät im Fahrzeug. Gerade für eine große Zahl an Fahrzeugsensoren, wie es bei einem hochautomatisierten Fahrzeug der Fall ist, wird die Kalibrierung der Fahrzeugsensoren einen erheblichen Anteil der verfügbaren Rechenleistung im Fahrzeug erfordern.Driver assistance systems and future automated driving functions use one or more environment sensors whose mounting position in the vehicle and their relative position to each other must be known exactly. The installation position of the environment sensors may change over time, sometimes even while driving, for example due to temperature influences. Therefore, the position of the vehicle sensors is continuously tracked by an online calibration. There are algorithms for the calibration of individual and several vehicle sensors to each other. The calculation is carried out directly in the vehicle sensors or in a central control unit in the vehicle. Especially for a large number of vehicle sensors, as is the case with a highly automated vehicle, the calibration of the vehicle sensors will require a significant proportion of the available computing power in the vehicle.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Aufbereitung von Daten zumindest zweier Fahrzeugsensoren für ein autonomes Fahrzeug und weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, with the approach presented here, a method for processing data from at least two vehicle sensors for an autonomous vehicle and also a device that uses this method and finally a corresponding computer program according to the main claims are presented. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.

Es wird eine Aufbereitung von Daten zumindest zweier Fahrzeugsensoren eines autonomen Fahrzeugs durchgeführt, wobei insbesondere die Einbauposition der Fahrzeugsensoren und/oder deren relative Position zueinander bestimmt und anschließend kalibriert wird.A processing of data of at least two vehicle sensors of an autonomous vehicle is carried out, wherein in particular the installation position of the vehicle sensors and / or their relative position to each other is determined and subsequently calibrated.

Es wird ein Verfahren zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein Fahrzeug vorgestellt, bei dem insbesondere die Einbauposition der zwei Fahrzeugsensoren und deren relative Position zueinander kalibrierbar sind, wobei das Verfahren die folgenden Schritte umfasst:

Einlesen eines ersten Sensorsignals von einem ersten Fahrzeugsensor und eines zweiten Sensorsignals von einem zweiten Fahrzeugsensor, insbesondere wobei das erste und das zweite Sensorsignal zumindest ein zweidimensionales Abbild einer Fahrzeugumgebung repräsentieren;
Bestimmen einer Einbauposition der zumindest zwei Fahrzeugsensoren innerhalb des Fahrzeugs und/oder eine relative Position der Fahrzeugsensoren zueinander unter Verwendung des ersten und des zweiten Sensorsignals; und
Bereitstellen eines Abweichsignals, das eine Abweichung der bestimmten Einbauposition und/oder der bestimmten relativen Position zumindest eines Fahrzeugsensors von einer Referenzposition des Fahrzeugsensors repräsentiert.

A method for processing data from two vehicle sensors for a vehicle is presented, in which in particular the installation position of the two vehicle sensors and their relative position to each other can be calibrated, the method comprising the following steps:

Reading in a first sensor signal from a first vehicle sensor and a second sensor signal from a second vehicle sensor, in particular wherein the first and second sensor signals represent at least one two-dimensional image of a vehicle environment;
Determining an installation position of the at least two vehicle sensors within the vehicle and / or a relative position of the vehicle sensors to each other using the first and second sensor signals; and
Providing a deviation signal representing a deviation of the determined mounting position and / or the determined relative position of at least one vehicle sensor from a reference position of the vehicle sensor.

Bei einem Fahrzeugsensor, hier insbesondere einem Umfeldsensor, kann es sich um ein technisches Bauteil eines Fahrzeugs handeln, das bestimmte physikalische Eigenschaften seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Diese Messgrößen können mittels einer Auswertung physikalischer Effekte erfasst und in ein weiterverarbeitbares elektrisches Signal umgeformt werden. Beispielsweise kann es sich bei dem Fahrzeugsensor um einen Videosensor, einen Lidar-Sensor, einen Radarsensor oder einen Ultraschallsensor oder eine Kombination derartiger Sensoren handeln. Bei einem Fahrzeug kann es sich beispielsweise um ein autonomes oder hochautomatisiert fahrendes Fahrzeug handeln, das ohne Einfluss eines menschlichen Fahrers fahren, steuern und einparken kann. Unter einem Sensorsignal kann beispielsweise ein Bildsignal verstanden werden. Beispielsweise kann das Sensorsignal zumindest ein zweidimensionales Abbild der Umgebung des Fahrzeugs repräsentieren. Denkbar ist jedoch auch, dass das Sensorsignal ein dreidimensionales Abbild der Umgebung des Fahrzeugs repräsentiert.A vehicle sensor, in particular an environment sensor, can be a technical component of a vehicle that can quantitatively record certain physical properties of its environment qualitatively or as a measured variable. These measured quantities can be detected by means of an evaluation of physical effects and converted into a further processable electrical signal. By way of example, the vehicle sensor may be a video sensor, a lidar sensor, a radar sensor or an ultrasound sensor or a combination of such sensors. A vehicle may, for example, be an autonomous or highly automated vehicle that can drive, steer and park without the intervention of a human driver. By a sensor signal, for example, an image signal can be understood. For example, the sensor signal may represent at least a two-dimensional image of the surroundings of the vehicle. However, it is also conceivable that the sensor signal represents a three-dimensional image of the surroundings of the vehicle.

Gemäß einer Ausführungsform können im Schritt des Einlesens das erste und das zweite Sensorsignal und/oder Umgebungsmerkmale des Abbilds der Fahrzeugumgebung zur Lokalisierung des Fahrzeugs aus einer digitalen Karte eingelesen werden, wobei im Schritt des Bestimmens die Einbauposition und/oder die relative Position unter Verwendung der eingelesenen Umgebungsmerkmale bestimmt werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass ein Stützen der Sensorkalibrierung auf Kartendaten einer digitalen Karte die Zuverlässigkeit und Genauigkeit des Kalibrierungsergebnisses im Vergleich zu einer Auswertung durch Fahrzeugsensoren erhöht.According to one embodiment, in the step of reading in, the first and second sensor signals and / or environmental features of the vehicle environment image for locating the vehicle may be read from a digital map, wherein in the step of determining the mounting position and / or the relative position using the read in Environmental characteristics are determined. Such an embodiment of the approach presented here has the advantage that supporting the sensor calibration on map data of a digital map increases the reliability and accuracy of the calibration result compared to an evaluation by vehicle sensors.

Gemäß einer Ausführungsform kann der Schritt des Einlesens und der Schritt des Bestimmens wiederholt werden, wobei im nachfolgenden Schritt des Einlesens ein drittes Sensorsignal von dem ersten Fahrzeugsensor und ein viertes Sensorsignal von dem zweiten Fahrzeugsensor eingelesen wird, wobei das dritte und das vierte Sensorsignal zeitlich nach dem ersten und dem zweiten Sensorsignal bestimmt und eingelesen werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass durch die Verarbeitung von weiteren Sensorsignalen, die nach einem zeitlichen Versatz nach den ersten beiden Sensorsignalen aufgenommen wurden, eine weitere Verbesserung der Bestimmung der Einbauposition und/oder der relativen Position zumindest eines Fahrzeugsensors ermöglicht wird.According to an embodiment, the step of reading in and the step of determining may be repeated, wherein in the subsequent step of reading in a third sensor signal is read in by the first vehicle sensor and a fourth sensor signal by the second vehicle sensor, wherein the third and the fourth sensor signal are determined and read in time after the first and the second sensor signal. Such an embodiment of the approach presented here has the advantage that a further improvement of the determination of the installation position and / or the relative position of at least one vehicle sensor is made possible by the processing of further sensor signals, which were recorded after a time offset after the first two sensor signals ,

Gemäß einer Ausführungsform kann im Schritt des Bestimmens unter Verwendung des dritten und des vierten Sensorsignals eine Fahrzeugeigenbewegung bestimmt werden. Eine solche Ausführungsform bietet den Vorteil, durch die Verwendung einer technisch einfach zu bestimmenden Fahrzeugeigenbewegung eine weitere Verbesserung der Abweichung der Einbauposition und/oder einer Erkennung einer relativen Position zwischen zwei Fahrzeugsensoren zu erreichen.According to one embodiment, in the step of determining using the third and fourth sensor signals, a vehicle's own motion may be determined. Such an embodiment offers the advantage of achieving a further improvement of the deviation of the installation position and / or a detection of a relative position between two vehicle sensors by using a vehicle-type movement that is easy to determine technically.

Gemäß einer Ausführungsform kann im Schritt des Bestimmens unter Verwendung der Fahrzeugeigenbewegung die Einbauposition der Fahrzeugsensoren relativ zum Fahrzeug bestimmt werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes biete den Vorteil, eine präzise Überwachung der Position des Fahrzeugsensors zu ermöglichen.According to one embodiment, in the step of determining using the vehicle's own motion, the mounting position of the vehicle sensors relative to the vehicle may be determined. Such an embodiment of the approach presented here offers the advantage of enabling precise monitoring of the position of the vehicle sensor.

Gemäß einer Ausführungsform kann im Schritt des Einlesens die Referenzposition zumindest eines Fahrzeugsensors aus einer Datenbank eingelesen werden, wobei im Schritt des Bestimmens die Einbauposition der Fahrzeugsensoren und/oder die relative Position der Fahrzeugsensoren zueinander unter Verwendung der eingelesenen Referenzposition bestimmt werden. Unter einer solchen Datenbank kann ein digitaler Datensatz verstanden werden, der eine Position von Sensoren im Fahrzeug repräsentiert. Alternativ kann eine solche Datenbank auch einen Bereich im Fahrzeug enthalten oder bezeichnen, wobei dann auch in dieser Datenbank als Karte Informationen über eine Einbauposition von einem oder mehreren Sensoren enthalten sind. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, die Verwendung von oftmals sehr präzise vorliegenden Daten bezüglich der Referenzposition des Fahrzeugsensors zur Bestimmung der Abweichung der Einbauposition zu verwenden.According to one embodiment, in the step of reading in, the reference position of at least one vehicle sensor can be read from a database, wherein in the step of determining the installation position of the vehicle sensors and / or the relative position of the vehicle sensors to each other are determined using the read reference position. Such a database may be understood to mean a digital data set representing a position of sensors in the vehicle. Alternatively, such a database can also contain or designate an area in the vehicle, in which case information about an installation position of one or more sensors is also contained in this database as a map. Such an embodiment of the approach presented here has the advantage of using the use of often very precisely present data with respect to the reference position of the vehicle sensor for determining the deviation of the mounting position.

Gemäß einer Ausführungsform können im Schritt des Einlesens das erste und das zweite Sensorsignal in komprimiertem Zustand eingelesen werden und/oder wobei das erste und das zweite Sensorsignal dekomprimiert werden. Unter einem komprimierten Zustand eines Sensorsignals kann ein Zustand verstanden werden, bei dem Daten einer (echten) Kompression (beispielsweise in der Form einer .zip-, .jpeg-, oder ähnlichen Datei), also eine Reduktion der Redundanz in den Daten, unterzogen wurden. Denkbar ist ferner auch, dass zum Erhalt des komprimierten Zustands eines Sensorsignals eine Reduktion der Informationsdichte durch eine Abstraktion (beispielsweise in der Form „Leitpfosten bei Position x/y/z statt 1 Mio Punkte“) oder ein Weglassen (beispielsweise werden nur relevante Daten übertragen, nicht z. B. der Himmel) von Informationen aus dem vom Fahrzeugsensor bereitgestellten Signal erfolgt sind. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass sich der benötigte Speicherplatz sowie die Übertragungszeit der Signaldaten verringert.According to one embodiment, in the step of reading in, the first and the second sensor signal can be read in compressed state and / or the first and the second sensor signal are decompressed. A compressed state of a sensor signal can be understood as a state in which data has been subjected to (real) compression (for example in the form of a .zip, .jpeg or similar file), ie a reduction in the redundancy in the data , It is also conceivable that in order to obtain the compressed state of a sensor signal, a reduction of the information density by an abstraction (for example in the form "guide posts at position x / y / z instead of 1 million points") or an omission (for example, only relevant data are transmitted , not for example the sky) of information from the signal provided by the vehicle sensor. Such an embodiment of the approach presented here has the advantage that the required storage space and the transmission time of the signal data are reduced.

Gemäß einer Ausführungsform kann in einem Schritt des Bereitstellens das erste und das zweite Sensorsignal in einer Speichereinheit abgespeichert werden, wobei in einem nachfolgenden Schritt des Einlesens das erste und das zweite Sensorsignal wieder aus der Speichereinheit ausgelesen werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, über eine längere Zeitspanne hinweg eine Veränderung der Einbauposition zumindest eines Fahrzeugsensors und/oder einer relativen Position zwischen zwei Fahrzeugsensoren erkennen zu können.According to one embodiment, in a step of providing the first and the second sensor signal can be stored in a memory unit, wherein in a subsequent step of reading the first and the second sensor signal are read out again from the memory unit. Such an embodiment of the approach presented here has the advantage over a longer period of time to be able to detect a change in the installation position of at least one vehicle sensor and / or a relative position between two vehicle sensors.

Gemäß einer Ausführungsform kann in einem Schritt des Ausgebens ein Kalibrierungssignal zur Kalibrierung der Fahrzeugsensoren ausgegeben werden, wobei das Kalibrierungssignal unter Verwendung des Abweichsignals ermittelt wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, eine besonders präzise und einfache Kalibrierung der Fahrzeugsensoren vornehmen zu können, ohne auf viele zusätzliche Messsignale zurückgreifen zu müssen.According to an embodiment, in a step of outputting, a calibration signal for calibrating the vehicle sensors may be output, wherein the calibration signal is detected using the deviation signal. Such an embodiment of the approach presented here offers the advantage of being able to carry out a particularly precise and simple calibration of the vehicle sensors without having to resort to many additional measurement signals.

Gemäß einer Ausführungsform kann im Schritt des Ausgebens das Kalibrierungssignal ausgegeben werden, bis die gemessenen Positionswerte der Fahrzeugsensoren wieder in einem vorbestimmten Referenzbereich liegen. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, eine kontinuierliche Überwachung der Einbauposition zumindest eines Fahrzeugsensors und/oder einer relativen Position des Fahrzeugsensors vornehmen zu können. Zugleich kann die Kalibrierung solange fortgesetzt werden, bis die Positionswerte, an denen der oder die Fahrzeugsensoren positioniert werden, wieder in einem Referenzbereich liegen und somit die Fahrzeugsensoren wieder hochpräzise Messwerte liefern können.According to one embodiment, in the step of outputting, the calibration signal may be output until the measured position values of the vehicle sensors are again in a predetermined reference range. Such an embodiment of the approach presented here has the advantage of being able to carry out a continuous monitoring of the installation position of at least one vehicle sensor and / or a relative position of the vehicle sensor. At the same time, the calibration can be continued until the position values at which the vehicle sensor or sensors are positioned again lie in a reference range and thus the vehicle sensors can again provide highly precise measured values.

Gemäß einer Ausführungsform kann zumindest der Schritt des Bestimmens auf einer fahrzeugexternen Rechnereinheit ausgeführt werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass eine Aufbereitung von Daten in einer fahrzeugexternen Rechnereinheit einen geringeren Rechenbedarf im Fahrzeugs selbst bedeutet und einen damit verbundenen geringeren Energieverbrauch oder die Möglichkeit, Ressourcen für andere Funktionen zu nutzen, ermöglicht. Außerdem verfügt die fahrzeugexterne Rechnereinheit über eine größere verfügbare Rechenleistung als ein fahrzeuginterner Computer.According to one embodiment, at least the step of determining may be performed on an off-board computer unit. Such an embodiment of the presented here Approach offers the advantage that a preparation of data in a vehicle-external computer unit means a lower computational need in the vehicle itself and allows associated lower energy consumption or the ability to use resources for other functions. In addition, the on-board computer unit has greater computing power available than an in-vehicle computer.

Das Durchführen einer Sensorkalibrierung unter Verwendung einer fahrzeugexternen Rechnereinheit ermöglicht einen Zugang zu den gesammelten Sensordaten einer Mehrzahl autonomer Fahrzeuge, welche dann als Flottendaten auch für andere Dienste genutzt werden können. Jeder Nutzer der fahrzeugexternen Sensorkalibrierung muss die Daten aller seiner Fahrzeugsensoren an die fahrzeugexterne Rechnereinheit übermitteln. Auf der fahrzeugexternen Rechnereinheit können größere Datenmengen über einen längeren Zeitraum gespeichert werden, als dies im Fahrzeug möglich wäre. Eine Sensorkalibrierung unter Verwendung einer fahrzeugexternen Rechnereinheit kann also nicht nur auf die Sensordaten der letzten 10 Sekunden zurückgreifen, sondern auch auf solche Daten von mehreren Fahrten an unterschiedlichen Tagen und unter unterschiedlichen Bedingungen. Dies ermöglicht völlig neuartige Verfahren zur Sensorkalibrierung und beispielsweise auch die Bestimmung eines Modells, wie sich die Einbauposition der Fahrzeugsensoren bei verschiedenen Umgebungsbedingungen ändert. In der fahrzeugexternen Rechnereinheit sind auch Umfelddaten anderer Fahrzeuge verfügbar, die bei der Kalibrierung genutzt werden können.Performing a sensor calibration using an off-board computer unit provides access to the collected sensor data of a plurality of autonomous vehicles, which can then be used as fleet data for other services. Each user of the vehicle-external sensor calibration must transmit the data of all his vehicle sensors to the vehicle-external computer unit. On the vehicle-external computer unit larger amounts of data can be stored for a longer period of time than would be possible in the vehicle. A sensor calibration using an on-board computer unit can therefore not only rely on the sensor data of the last 10 seconds, but also on such data from multiple trips on different days and under different conditions. This allows for completely novel methods of sensor calibration and, for example, the determination of a model of how the mounting position of the vehicle sensors changes under different environmental conditions. In the vehicle-external computer unit also environment data of other vehicles are available, which can be used in the calibration.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here also creates a device that is designed to perform the steps of a variant of a method presented here in appropriate facilities to drive or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit beispielsweise ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.For this purpose, the device may comprise at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the sensor Actuator and / or at least one communication interface for reading or outputting data embedded in a communication protocol. The arithmetic unit may be, for example, a signal processor, a microcontroller or the like, wherein the memory unit may be, for example, a flash memory, an EEPROM or a magnetic memory unit. The communication interface can be designed to read or output data wirelessly and / or by line, wherein a communication interface that can read or output line-bound data, for example, electrically or optically read this data from a corresponding data transmission line or output in a corresponding data transmission line.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Ansicht eines Systemaufbaus zur Verwendung eines Verfahrens zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug gemäß einem Ausführungsbeispiel;
2 eine schematische Ansicht einer fahrzeugexternen Rechnereinheit mit einer Vorrichtung zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug gemäß einem Ausführungsbeispiel;
3 eine schematische Ansicht eines autonomen Fahrzeugs sowie einer fahrzeugexternen Rechnereinheit mit einer Vorrichtung zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug gemäß einem Ausführungsbeispiel;
4 eine schematische Ansicht eines Abbilds einer Fahrzeugumgebung aus einer digitalen Karte gemäß einem Ausführungsbeispiel;
5 eine schematische Ansicht des ersten und des zweiten Fahrzeugsensors sowie deren Erfassungsbereich gemäß einem Ausführungsbeispiel;
6 eine schematische Ansicht einer optimalen Position der beiden Fahrzeugsensoren in Bezug zu einem Abbild einer Fahrzeugumgebung aus einer digitalen Karte gemäß einem Ausführungsbeispiel;
7 eine schematische Ansicht der Position des ersten und des zweiten Fahrzeugsensors zueinander gemäß einem Ausführungsbeispiel;
8 eine schematische Ansicht einer Relativbewegung eines Fahrzeugs zwischen zwei Messzeitpunkten gemäß einem Ausführungsbeispiel;
9 eine schematische Ansicht einer Position des ersten und des zweiten Fahrzeugsensors relativ zur digitalen Karte zwischen zwei Messzeitpunkten gemäß einem Ausführungsbeispiel;
10 eine schematische Ansicht eines Fahrzeugs mit einer kalibrierten Position des ersten und des zweiten Fahrzeugsensors zueinander sowie zu dem Fahrzeug gemäß einem Ausführungsbeispiel; und
11 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug gemäß einem Ausführungsbeispiel.

Embodiments of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:

1 a schematic view of a system structure for using a method for processing data of two vehicle sensors for an autonomous vehicle according to an embodiment;
2 a schematic view of an on-vehicle computer unit with a device for processing data from two vehicle sensors for an autonomous vehicle according to an embodiment;
3 a schematic view of an autonomous vehicle and a vehicle-external computer unit with a device for processing data from two vehicle sensors for an autonomous vehicle according to an embodiment;
4 a schematic view of an image of a vehicle environment from a digital map according to an embodiment;
5 a schematic view of the first and the second vehicle sensor and their detection range according to an embodiment;
6 a schematic view of an optimal position of the two vehicle sensors with respect to an image of a vehicle environment from a digital map according to an embodiment;
7 a schematic view of the position of the first and the second vehicle sensor to each other according to an embodiment;
8th a schematic view of a relative movement of a vehicle between two measuring times according to an embodiment;
9 a schematic view of a position of the first and the second vehicle sensor relative to the digital map between two measurement times according to an embodiment;
10 a schematic view of a vehicle with a calibrated position of the first and the second vehicle sensor to each other and to the vehicle according to an embodiment; and
11 a flowchart of an embodiment of a method for processing data from two vehicle sensors for an autonomous vehicle according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

1 zeigt eine schematische Ansicht eines Systemaufbaus zur Verwendung eines Verfahrens zur Aufbereitung von Daten zweier Fahrzeugsensoren 106, 109 für ein autonomes Fahrzeug 100 gemäß einem Ausführungsbeispiel. 1 shows a schematic view of a system structure for using a method for processing data from two vehicle sensors 106 . 109 for an autonomous vehicle 100 according to an embodiment.

Der Systemaufbau des Verfahrens umfasst ein autonomes Fahrzeug 100 und eine fahrzeugexterne Rechnereinheit 103. Das Fahrzeug 100 umfasst den ersten und den zweiten Fahrzeugsensor 106 und 109, wobei es sich gemäß einem Ausführungsbeispiel bei den Fahrzeugsensoren 106 und 109 um zwei Umfeldsensoren handelt, sowie wie ferner eine Verarbeitungseinrichtung 112 zur Vorverarbeitung der eingehenden Signaldaten. Die Rechnereinheit 103, bei der es sich gemäß einem Ausführungsbeispiel um eine Cloud handelt, umfasst eine Vorrichtung 115 zum Ausführen des Verfahrens zur Aufbereitung von Daten der beiden Fahrzeugsensoren 106 und 109 für das autonome Fahrzeug 100 sowie eine Speichereinrichtung 118. Das autonome Fahrzeug 100 und die fahrzeugexterne Rechnereinheit 103 sind über eine drahtlose Kommunikationsverbindung 121 miteinander verbunden.The system structure of the method includes an autonomous vehicle 100 and an on-vehicle computer unit 103 , The vehicle 100 includes the first and second vehicle sensors 106 and 109 , According to one embodiment of the vehicle sensors 106 and 109 two environment sensors, as well as a processing device 112 for preprocessing the incoming signal data. The computer unit 103 , which according to one embodiment is a cloud, comprises a device 115 for carrying out the method for processing data of the two vehicle sensors 106 and 109 for the autonomous vehicle 100 and a memory device 118 , The autonomous vehicle 100 and the vehicle-external computer unit 103 are via a wireless communication link 121 connected with each other.

Die Aufbereitung der Daten bzw. die Kalibrierung der Fahrzeugsensoren 106 und 109 erfolgt nicht unmittelbar im Fahrzeug 100, sondern in der externen Rechnereinheit 103. Dazu werden ein erstes Sensorsignal 124 von dem ersten Fahrzeugsensor 106 und ein zweites Sensorsignal 127 von dem zweiten Fahrzeugsensor 109 in der Vorverarbeitungseinrichtung 112 im Fahrzeug 100 so aufbereitet, dass sie in einem komprimierten Zustand mit geringer Bandbreite unter Verwendung der drahtlosen Kommunikationsverbindung 121 an die fahrzeugexterne Rechnereinheit 103 übertragen werden können. Da das autonome Fahrzeug 100 ohnehin eine Kommunikationsverbindung 121 benötigt, wird diese für die Aufbereitung der Daten der Fahrzeugsensoren 106 und 109 mitgenutzt. Dies ermöglicht die Verlagerung von Berechnungen in die fahrzeugexterne Rechnereinheit 103, solange diese weder zeitkritisch sind, beispielsweise durch Bremsentscheidung innerhalb weniger Millisekunden, noch hohen Verfügbarkeitsanforderungen, beispielsweise durch Funklöcher, haben. Beides ist für das Verfahren erfüllt: Die Einbaupositionen der Fahrzeugsensoren 106 und 109 ändern sich in der Regel nur sehr langsam, wobei eine Ausnahme hiervon beispielsweise bei einem Blechschaden eintritt. Trifft das berechnete Kalibrierungsergebnis mit einigen Sekunden Verzögerung ein, ist es daher immer noch gültig. Dasselbe gilt für einen kurzzeitigen Ausfall der Kommunikationsverbindung 121 von wenigen Sekunden bis Minute. Auf der Rechnereinheit 103 wird dann mit Hilfe bekannter Kalibrierungsmethoden die Einbauposition der Fahrzeugsensoren 106 und 109 im Fahrzeug 100 und deren relative Position zueinander bestimmt. Die an die Rechnereinheit 103 unter Verwendung der Sensorsignale 124 und 127 übermittelten Abbilder einer Fahrzeugumgebung werden in der Speichereinheit 118 der Rechnereinheit 103 abgespeichert, von wo sie zu einem späteren Zeitpunkt für eine Kalibrierung, aber auch für andere Dienste, wieder abgerufen werden können.The preparation of the data or the calibration of the vehicle sensors 106 and 109 does not take place directly in the vehicle 100 but in the external computer unit 103 , For this purpose, a first sensor signal 124 from the first vehicle sensor 106 and a second sensor signal 127 from the second vehicle sensor 109 in the preprocessing device 112 in the vehicle 100 so prepared that they are in a compressed state with low bandwidth using the wireless communication link 121 to the vehicle-external computer unit 103 can be transmitted. Because the autonomous vehicle 100 anyway a communication connection 121 needed, this is for the preparation of the data of the vehicle sensors 106 and 109 shared. This makes it possible to shift calculations into the vehicle-external computer unit 103 as long as they are neither time critical, for example by braking decision within a few milliseconds, nor high availability requirements, for example by dead spots have. Both are fulfilled for the procedure: The installation positions of the vehicle sensors 106 and 109 Change usually very slowly, with an exception thereof, for example, occurs in a sheet metal damage. If the calculated calibration result arrives with a few seconds delay, it is still valid. The same applies to a short-term failure of the communication connection 121 from a few seconds to a minute. On the computer unit 103 Then, using known calibration methods, the installation position of the vehicle sensors 106 and 109 in the vehicle 100 and determines their relative position to each other. The to the computer unit 103 using the sensor signals 124 and 127 transmitted images of a vehicle environment are in the memory unit 118 the computer unit 103 stored from where they can be recalled later for a calibration, but also for other services.

Gemäß einer Ausführungsform nutzt das Verfahren eine digitale Karte (nicht gezeigt) zur Aufbereitung von Daten des ersten und des zweiten Fahrzeugsensors 106 und 109. In der digitalen Karte sind unter anderem Umgebungsmerkmale des Fahrzeugs 100 zur Lokalisierung gespeichert, die aus den Sensorsignalen 124 und 127 bestimmt werden können. Mit einem Lokalisierungsalgorithmus lässt sich die Position der beiden Fahrzeugsensoren 106 und 109 relativ zu der digitalen Karte bestimmen. Hierbei wird für jeden der beiden Fahrzeugsensor 106 und 109 das Lokalisierungsverfahren durchgeführt, um somit eine Position der beiden Fahrzeugsensoren 106 und 109 relativ zur digitalen Karte zu erhalten. Aus diesen Positionen der Fahrzeugsensoren 106 und 109 relativ zur digitalen Karte, lässt sich unmittelbar die relative Position der Fahrzeugsensoren 106 und 109 zueinander bestimmen.According to one embodiment, the method uses a digital map (not shown) for Preparation of data of the first and the second vehicle sensor 106 and 109 , The digital map includes environmental characteristics of the vehicle 100 stored for localization, from the sensor signals 124 and 127 can be determined. With a localization algorithm can be the position of the two vehicle sensors 106 and 109 relative to the digital map. This is for each of the two vehicle sensor 106 and 109 performed the localization process, thus a position of the two vehicle sensors 106 and 109 relative to the digital map. From these positions of the vehicle sensors 106 and 109 relative to the digital map, the relative position of the vehicle sensors can be directly determined 106 and 109 determine each other.

Um den seltenen Fall einer plötzlichen Änderung der Einbauposition der Fahrzeugsensoren 106 und 109 abzudecken, kann ergänzend eine Dekalibrierungserkennung im Fahrzeug 100 realisiert werden. Sobald diese einen dekalibrierten Fahrzeugsensor 106 und 109 erkennt, wird bei einer aktiven Highly-Automated-Driving-Funktion eine Rückfallebene aktiviert und eine Fahrerübernahme angefordert. Ebenso wird die Aktivierung der Highly-Automated-Driving-Funktion unterbunden, solange keine gültige Kalibrierung erfolgt ist.In the rare case of a sudden change in the installation position of the vehicle sensors 106 and 109 can additionally cover a decalibration detection in the vehicle 100 will be realized. Once this is a decalibrated vehicle sensor 106 and 109 If an active highly-automated driving function is detected, a fallback level is activated and a driver pickup is requested. Likewise, the activation of the Highly-Automated-Driving-Function is prevented, as long as no valid calibration has taken place.

2 zeigt eine schematische Ansicht einer fahrzeugexternen Rechnereinheit 103 mit einer Vorrichtung 115 zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug gemäß einem Ausführungsbeispiel. Bei der fahrzeugexternen Rechnereinheit 103 mit der Vorrichtung 115 kann es sich beispielsweise um die in 1 gezeigte fahrzeugexterne Rechnereinheit 103 mit der Vorrichtung 115 zur Aufbereitung von Daten zweier Fahrzeugsensoren handeln. 2 shows a schematic view of a vehicle-external computer unit 103 with a device 115 for processing data from two vehicle sensors for an autonomous vehicle according to one exemplary embodiment. In the vehicle-external computer unit 103 with the device 115 For example, it may be the in 1 shown on-vehicle computer unit 103 with the device 115 to process data from two vehicle sensors.

Die Vorrichtung 115 umfasst eine Einleseeinrichtung 202, eine Bestimmungseinrichtung 204 sowie eine Bereitstelleinrichtung 206. Die Einleseeinrichtung 202 ist ausgebildet, um das erste Sensorsignal 124 von dem ersten Fahrzeugsensor und das zweite Sensorsignal 127 von dem zweiten Fahrzeugsensor einzulesen. Das erste und das zweite Sensorsignal 124 und 127 repräsentieren hierbei ein zweidimensionales Abbild einer Fahrzeugumgebung zur Lokalisierung des autonomen Fahrzeugs und werden gemäß einer Ausführungsform aus einer digitalen Karte eingelesen. Das erste und das zweite Sensorsignal 124 und 127 werden hierbei von der Einleseeinrichtung 202 in einem komprimierten Zustand eingelesen. Ferner ist die Einleseeinrichtung 202 der Vorrichtung 115 ausgebildet, um eine Referenzposition zumindest eines der Fahrzeugsensoren des autonomen Fahrzeugs einzulesen. Die Bestimmungseinrichtung 204 ist ausgebildet, um eine Einbauposition der zumindest zwei Fahrzeugsensoren innerhalb des Fahrzeugs und/oder eine relative Position der Fahrzeugsensoren zueinander unter Verwendung des ersten und des zweiten Sensorsignals 124 und 127 sowie unter Verwendung der eingelesenen Umgebungsmerkmale und der Referenzposition zumindest eines der Fahrzeugsensoren des Fahrzeugs zu bestimmen. Die Bereitstelleeinrichtung 206 ist ausgebildet, um ein Abweichsignal 208 bereitzustellen, wobei das Abweichsignal 208 eine Abweichung der bestimmten Einbauposition und/oder der bestimmten relativen Position zumindest eines Fahrzeugsensors von einer Referenzposition des Fahrzeugsensors repräsentiert. Die Bereitstellungseinrichtung 206 ist ferner ausgebildet, das erste und das zweite Sensorsignal 124 und 127 an eine Speichereinheit der Rechnereinheit 103 bereitzustellen, wobei das erste und das zweite Sensorsignal 124 und 127 in der Speichereinheit abgespeichert werden und bei einer Wiederholung des Verfahrens wieder aus der Speichereinheit ausgelesen werden.The device 115 includes a read-in device 202 , a determination device 204 and a provisioning device 206 , The reading device 202 is designed to be the first sensor signal 124 from the first vehicle sensor and the second sensor signal 127 read by the second vehicle sensor. The first and the second sensor signal 124 and 127 represent a two-dimensional image of a vehicle environment for locating the autonomous vehicle and are read from a digital map according to an embodiment. The first and the second sensor signal 124 and 127 are from the read-in device 202 read in a compressed state. Furthermore, the read-in device 202 the device 115 configured to read in a reference position of at least one of the vehicle sensors of the autonomous vehicle. The determining device 204 is configured to an installation position of the at least two vehicle sensors within the vehicle and / or a relative position of the vehicle sensors to each other using the first and the second sensor signal 124 and 127 and to determine at least one of the vehicle sensors of the vehicle using the read environmental characteristics and the reference position. The provisioning device 206 is designed to be a deviation signal 208 provide, wherein the deviation signal 208 represents a deviation of the specific installation position and / or the determined relative position of at least one vehicle sensor from a reference position of the vehicle sensor. The provisioning device 206 is further configured, the first and the second sensor signal 124 and 127 to a memory unit of the computer unit 103 provide, wherein the first and the second sensor signal 124 and 127 be stored in the memory unit and be read out again from the memory unit in a repetition of the method.

Gemäß einer Ausführungsform wird das Verfahren zur Aufbereitung der Daten zweier Fahrzeugsensoren für das autonome Fahrzeug wiederholt, wobei die Einleseeinrichtung 202 ausgebildet ist, ein drittes Sensorsignal 210 von dem ersten Fahrzeugsensor und ein viertes Sensorsignal 212 von dem zweiten Fahrzeugsensor einzulesen, wobei das dritte und das vierte Sensorsignal 210 und 212 zeitlich nach dem ersten und dem zweiten Sensorsignal 124 und 127 bestimmt und eingelesen werden. Die Bestimmungseinrichtung 204 ist dann zudem ausgebildet, unter Verwendung des dritten und des vierten Sensorsignals 210 und 212 eine Fahrzeugeigenbewegung zu bestimmen, wobei unter Verwendung der bestimmten Fahrzeugeigenbewegung die Einbauposition der Fahrzeugsensoren relativ zum Fahrzeug bestimmt wird.According to one embodiment, the method for processing the data of two vehicle sensors for the autonomous vehicle is repeated, wherein the read-in device 202 is formed, a third sensor signal 210 from the first vehicle sensor and a fourth sensor signal 212 read by the second vehicle sensor, wherein the third and the fourth sensor signal 210 and 212 temporally after the first and the second sensor signal 124 and 127 be determined and read. The determining device 204 is then also formed, using the third and the fourth sensor signal 210 and 212 determining a vehicle intrinsic motion, wherein using the determined vehicle's own motion, the mounting position of the vehicle sensors relative to the vehicle is determined.

3 zeigt eine schematische Ansicht eines autonomen Fahrzeugs 100 sowie einer fahrzeugexternen Rechnereinheit 103 mit einer Vorrichtung 115 zur Aufbereitung von Daten zweier Fahrzeugsensoren 106, 109 für ein autonomes Fahrzeug 100 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 umfasst den ersten und den zweiten Fahrzeugsensor 106 und 109 sowie die Vorverarbeitungseinrichtung 112. Die fahrzeugexterne Rechnereinheit 103 umfasst neben der Vorrichtung 115 zur Aufbereitung von Daten zweier Fahrzeugsensoren 106, 109 ferner die Speichereinheit 118 sowie eine Ausgabeeinheit 303. Bei dem autonomen Fahrzeug 100 und der fahrzeugexternen Rechnereinheit 103 kann es sich beispielsweise um das Fahrzeug 100 und die Rechnereinheit 103 aus der 1 handeln. 3 shows a schematic view of an autonomous vehicle 100 and a vehicle-external computer unit 103 with a device 115 for processing data from two vehicle sensors 106 . 109 for an autonomous vehicle 100 according to an embodiment. The vehicle 100 includes the first and second vehicle sensors 106 and 109 and the preprocessing device 112 , The vehicle-external computer unit 103 includes next to the device 115 for processing data from two vehicle sensors 106 . 109 Furthermore, the storage unit 118 and an output unit 303 , In the autonomous vehicle 100 and the vehicle-external computer unit 103 For example, it may be the vehicle 100 and the computer unit 103 from the 1 act.

Das erste und das zweite Sensorsignal 124 und 127 werden aus einer digitalen Karte 306 oder einer Datenbank 306 von der Vorverarbeitungseinrichtung 112 des Fahrzeugs 100 eingelesen, wo sie ferner auch komprimiert werden, um sie weiter an die fahrzeugexterne Rechnereinheit 103 leiten zu können. Die digitale Karte 306 oder die Datenbank 306 umfasst hierbei Umgebungsmerkmale des Abbilds der Fahrzeugumgebung zur Lokalisierung des Fahrzeugs 100, wobei diese Umgebungsmerkmale des Fahrzeugs 100 in einem Erfassungsbereich 309 der Fahrzeugsensoren 106 und 109 sensorisch erfasst und in Form eines Umgebungsmerkmalsignals 312 an die digitale Karte 306 oder Datenbank 306 weitergeleitet werden. Bei den Umgebungsmerkmalen handelt es sich insbesondere um Objekte in der Umgebung und/oder im Erfassungsbereich 309 des Fahrzeugs 100, wie beispielsweise Leitplanken oder Verkehrsschilder. Neben dem ersten und dem zweiten Sensorsignal 124 und 127 wird ferner auch eine Referenzposition 315 zumindest eines Fahrzeugsensors 106 oder 109 aus der digitalen Karte 306 oder Datenbank eingelesen.The first and the second sensor signal 124 and 127 be from a digital map 306 or a database 306 of the preprocessing 112 of the vehicle 100 read, where they are also compressed to further to the on-vehicle computer unit 103 to be able to lead. The digital map 306 or the database 306 this includes environmental features of the image of the vehicle environment for locating the vehicle 100 where these environmental characteristics of the vehicle 100 in a detection area 309 the vehicle sensors 106 and 109 detected sensory and in the form of an environmental feature signal 312 to the digital map 306 or database 306 to get redirected. The environment features are in particular objects in the environment and / or in the detection area 309 of the vehicle 100 such as crash barriers or traffic signs. In addition to the first and the second sensor signal 124 and 127 also becomes a reference position 315 at least one vehicle sensor 106 or 109 from the digital map 306 or database read.

Die Einleseeinrichtung 202 der Vorrichtung 115 der Rechnereinheit 103 liest dann das erste und das zweite komprimierte Sensorsignal 124 und 127 von der Vorverarbeitungseinrichtung 112 des Fahrzeugs 100 ein. Das erste und das zweite Sensorsignal 124 und 127 repräsentieren hierbei jeweils ein zweidimensionales Abbild der Fahrzeugumgebung. In der Bestimmungseinrichtung 204 der Vorrichtung 115 werden die Einbauposition der Fahrzeugsensoren 106 und 109 und/oder die relative Position der Fahrzeugsensoren 106 und 109 zueinander unter Verwendung der eingelesenen Referenzposition 315, der eingelesenen Umgebungsmerkmale sowie des ersten und des zweiten Sensorsignals 124 und 127 bestimmt. Insbesondere die Einbauposition der Fahrzeugsensoren 106 und 109 und/oder die relative Position der Fahrzeugsensoren 106 und 109 zueinander werden in der fahrzeugexternen Rechnereinheit 103 bestimmt. Die Bereitstellungseinrichtung 206 stellt das Abweichsignal 208 an die Ausgabeeinheit 303 bereit, wobei das Abweichsignal 208 eine Abweichung der bestimmten Einbauposition und/oder der bestimmten relativen Position zumindest eines Fahrzeugsensors 106 oder 109 von einer Referenzposition des Fahrzeugsensors 106 oder 109 repräsentiert. Die Bereitstellungseinrichtung 206 stellt ferner das erste und das zweite Sensorsignal 124 und 127 an die Speichereinheit 118 der Rechnereinheit 103 bereit, wobei das erste und das zweite Sensorsignal 124 und 127 in der Speichereinheit 118 abgespeichert werden.The reading device 202 the device 115 the computer unit 103 then reads the first and second compressed sensor signals 124 and 127 from the preprocessing device 112 of the vehicle 100 on. The first and the second sensor signal 124 and 127 in each case represent a two-dimensional image of the vehicle environment. In the determination device 204 the device 115 become the installation position of the vehicle sensors 106 and 109 and / or the relative position of the vehicle sensors 106 and 109 to each other using the read reference position 315 , the read environment characteristics and the first and the second sensor signal 124 and 127 certainly. In particular, the installation position of the vehicle sensors 106 and 109 and / or the relative position of the vehicle sensors 106 and 109 to each other in the vehicle-external computer unit 103 certainly. The provisioning device 206 represents the deviation signal 208 to the output unit 303 ready, with the deviation signal 208 a deviation of the specific installation position and / or the determined relative position of at least one vehicle sensor 106 or 109 from a reference position of the vehicle sensor 106 or 109 represents. The provisioning device 206 further provides the first and second sensor signals 124 and 127 to the storage unit 118 the computer unit 103 ready, wherein the first and the second sensor signal 124 and 127 in the storage unit 118 be stored.

In einer folgenden Wiederholung des Verfahrens werden das erste und das zweite Sensorsignal 124 und 127 wieder aus der Speichereinheit 118 ausgelesen. Ferner wird nun das dritte Sensorsignal 210 von dem ersten Fahrzeugsensor 106 und das vierte Sensorsignal 212 von dem zweiten Fahrzeugsensor 109 eingelesen, wobei das dritte und das vierte Sensorsignal 210 und 212 zeitlich nach dem ersten und dem zweiten Sensorsignal 124 und 127 bestimmt und eingelesen werden. Unter Verwendung des dritten und des vierten Sensorsignals 210 und 212 wird eine Fahrzeugeigenbewegung bestimmt, wobei wiederum unter Verwendung der Fahrzeugeigenbewegung die Einbauposition der Fahrzeugsensoren 106 und 109 relativ zum Fahrzeug 100 bestimmt wird.In a following repetition of the method, the first and the second sensor signal 124 and 127 again from the storage unit 118 read. Furthermore, now the third sensor signal 210 from the first vehicle sensor 106 and the fourth sensor signal 212 from the second vehicle sensor 109 read in, the third and the fourth sensor signal 210 and 212 temporally after the first and the second sensor signal 124 and 127 be determined and read. Using the third and fourth sensor signals 210 and 212 an on-vehicle motion is determined, again using the vehicle's own motion, the mounting position of the vehicle sensors 106 and 109 relative to the vehicle 100 is determined.

Die Ausgabeeinheit 303 der Rechnereinheit 103 ist nun ausgebildet, ein Kalibrierungssignal 318 zur Kalibrierung der Fahrzeugsensoren 106 und 109 auszugeben. Das Kalibrierungssignal 318 wird hierbei unter Verwendung des Abweichsignals 208 ermittelt. Das Kalibrierungssignal 318 wird solange an eine Kalibrierungseinrichtung 321 des Fahrzeugs 100 ausgegeben, bis die gemessenen Positionswerte der Fahrzeugsensoren 106 und 109 wieder in einem vorbestimmten Referenzbereich liegen.The output unit 303 the computer unit 103 is now trained, a calibration signal 318 for calibration of the vehicle sensors 106 and 109 issue. The calibration signal 318 is here using the deviation signal 208 determined. The calibration signal 318 is sent to a calibration device 321 of the vehicle 100 output until the measured position values of the vehicle sensors 106 and 109 again in a predetermined reference range.

4 zeigt eine schematische Ansicht eines Abbilds 400 einer Fahrzeugumgebung aus einer digitalen Karte gemäß einem Ausführungsbeispiel. Die Ansicht umfasst eine Draufsicht einer Straße 402 sowie eine Mehrzahl an Umgebungsmerkmalen 404, wobei es sich bei den Umgebungsmerkmalen 404 insbesondere um Objekte in der näheren Umgebung des Fahrzeugs handelt. Diese Objekte in der Fahrzeugumgebung sind hier vereinfacht als Kreise 406, Dreiecke 408 und Rechtecke 410 dargestellt. Sowohl der erste als auch der zweite Fahrzeugsensor des Fahrzeugs nehmen jeweils ein Abbild der Fahrzeugumgebung auf, wobei dieses Abbild jeweils in Form eines ersten und eines zweiten Sensorsignals in der Vorverarbeitungseinrichtung des Fahrzeugs aufbereitet und komprimiert wird. Das erste und das zweite Sensorsignal repräsentieren hierbei die Umgebungsmerkmale 404 des Abbilds der Fahrzeugumgebung zur Lokalisierung des Fahrzeugs und werden von der Vorverarbeitungseinrichtung aus der digitalen Karte eingelesen. 4 shows a schematic view of an image 400 a vehicle environment from a digital map according to an embodiment. The view includes a top view of a street 402 as well as a plurality of environmental features 404 , where the environmental features 404 in particular objects in the vicinity of the vehicle is. These objects in the vehicle environment are simplified here as circles 406 , Triangles 408 and rectangles 410 shown. Both the first and the second vehicle sensor of the vehicle each take an image of the vehicle environment, wherein this image is processed in the form of a first and a second sensor signal in the preprocessing device of the vehicle and compressed. The first and the second sensor signal in this case represent the environmental characteristics 404 the image of the vehicle environment for locating the vehicle and are read by the preprocessing device from the digital map.

5 zeigt eine schematische Ansicht des ersten und des zweiten Fahrzeugsensors 106, 109 sowie deren Erfassungsbereich 309 gemäß einem Ausführungsbeispiel. Die linke Ansicht 503 zeigt den ersten Fahrzeugsensor 106 sowie ein Abbild dessen Fahrzeugumgebung, also des Erfassungsbereichs 309, den der erste Fahrzeugsensor 106 sensorisch erfasst. Bei den Objekten, die der erste Fahrzeugsensor 106 erfasst, handelt es sich um die Kreise 406. Die rechte Ansicht 506 zeigt den zweiten Fahrzeugsensor 109 sowie ein Abbild dessen Fahrzeugumgebung, also des Erfassungsbereichs 309, den der zweite Fahrzeugsensor 109 sensorisch erfasst. Bei den Objekten, die der zweite Fahrzeugsensor 109 erfasst, handelt es sich um die Dreiecke 408. Beide dieser Abbilder der sensorisch erfassten Fahrzeugumgebung, also des Erfassungsbereichs 309, des ersten und des zweiten Fahrzeugsensors 106 und 109 werden in Form eines komprimierten ersten und zweiten Sensorsignals an die Rechnereinheit übertragen. 5 shows a schematic view of the first and the second vehicle sensor 106 . 109 as well as their coverage 309 according to an embodiment. The left view 503 shows the first vehicle sensor 106 as well as an image of its vehicle environment, ie the coverage area 309 , the first vehicle sensor 106 detected by sensors. For the objects, the first vehicle sensor 106 captured, are the circles 406 , The right view 506 shows the second vehicle sensor 109 as well as an image of its vehicle environment, ie the coverage area 309 , the second vehicle sensor 109 detected by sensors. For the objects, the second vehicle sensor 109 captured, are the triangles 408 , Both of these images of the sensory vehicle environment, ie the detection area 309 , the first and the second vehicle sensor 106 and 109 are transmitted to the computer unit in the form of a compressed first and second sensor signal.

6 zeigt eine schematische Ansicht einer optimalen Position der beiden Fahrzeugsensoren 106, 109 in Bezug zu einem Abbild einer Fahrzeugumgebung aus einer digitalen Karte gemäß einem Ausführungsbeispiel. Auf Grundlage des Abbilds einer Fahrzeugumgebung aus 4, die eine Draufsicht einer Straße 402 sowie eine Mehrzahl an Umgebungsmerkmalen 404 umfasst, wird in der 6 eine optimale Position der Fahrzeugsensoren 106 und 109 gezeigt. Die linke Ansicht 602 zeigt hierbei eine optimale Position des ersten Fahrzeugsensors 106 und die rechte Ansicht 604 zeigt eine optimale Position des zweiten Fahrzeugsensors 109. Auf der fahrzeugexternen Rechnereinheit wird nun durch ein Lokalisierungsverfahren die optimale Position des ersten und zweiten Fahrzeugsensors 106 und 109 relativ zur digitalen Karte bestimmt. 6 shows a schematic view of an optimal position of the two vehicle sensors 106 . 109 with respect to an image of a vehicle environment from a digital map according to one embodiment. Based on the image of a vehicle environment 4 which is a top view of a street 402 as well as a plurality of environmental features 404 is included in the 6 an optimal position of the vehicle sensors 106 and 109 shown. The left view 602 shows an optimal position of the first vehicle sensor 106 and the right view 604 shows an optimal position of the second vehicle sensor 109 , On the vehicle-external computer unit, the location of the first and second vehicle sensors is now optimized by a localization method 106 and 109 determined relative to the digital map.

7 zeigt eine schematische Ansicht der Position des ersten und des zweiten Fahrzeugsensors 106, 109 zueinander gemäß einem Ausführungsbeispiel. Neben den beiden Fahrzeugsensoren 106 und 109 zeigt die Ansicht ebenso den Erfassungsbereich 309 beider Fahrzeugsensoren 106 und 109 sowie die jeweiligen Umgebungsmerkmale 404, die sich in dem jeweiligen Erfassungsbereich des Fahrzeugsensors 106 oder 109 befinden. Aus der optimalen Position des ersten und des zweiten Fahrzeugsensors 106 und 109 zur digitalen Karte, die in der 6 bestimmt wurde, lässt sich unmittelbar die Position der beiden Fahrzeugsensoren 106 und 109 zueinander bestimmen. 7 shows a schematic view of the position of the first and the second vehicle sensor 106 . 109 to each other according to an embodiment. In addition to the two vehicle sensors 106 and 109 the view also shows the coverage area 309 both vehicle sensors 106 and 109 as well as the respective environmental characteristics 404 located in the respective detection area of the vehicle sensor 106 or 109 are located. From the optimum position of the first and second vehicle sensors 106 and 109 to the digital map, which in the 6 was determined, can be directly the position of the two vehicle sensors 106 and 109 determine each other.

8 zeigt eine schematische Ansicht einer Relativbewegung 703 eines Fahrzeugs 100 zwischen zwei Messzeitpunkten gemäß einem Ausführungsbeispiel. Durch eine Wiederholung des Verfahrens zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug zu mehreren Zeitpunkten und einer gleichzeitigen Bestimmung der Fahrzeugeigenbewegung, lässt sich aus mehreren Messungen auch die Position der Fahrzeugsensoren relativ zum Fahrzeug 100 bestimmen. 8th shows a schematic view of a relative movement 703 of a vehicle 100 between two measurement times according to an embodiment. By repeating the method for processing data from two vehicle sensors for an autonomous vehicle at several times and simultaneously determining the vehicle's own motion, the position of the vehicle sensors relative to the vehicle can also be determined from a plurality of measurements 100 determine.

9 zeigt eine schematische Ansicht einer Position des ersten und des zweiten Fahrzeugsensors 106, 109 relativ zur digitalen Karte zwischen zwei Messzeitpunkten gemäß einem Ausführungsbeispiel. Die Ansicht zeigt eine Draufsicht einer Straße 402, auf der sich das autonome Fahrzeug mit seinen beiden Fahrzeugsensoren 106 und 109 bewegt. Durch die starre Verbindung des Fahrzeugs und des ersten und zweiten Fahrzeugsensors 106 und 109 führen das Fahrzeug sowie die beiden Fahrzeugsensoren 106 und 109 dieselbe Relativbewegung 703 durch. 9 shows a schematic view of a position of the first and the second vehicle sensor 106 . 109 relative to the digital map between two measurement times according to an embodiment. The view shows a top view of a street 402 on which is the autonomous vehicle with its two vehicle sensors 106 and 109 emotional. By the rigid connection of the vehicle and the first and second vehicle sensor 106 and 109 lead the vehicle as well as the two vehicle sensors 106 and 109 the same relative movement 703 by.

10 zeigt eine schematische Ansicht eines Fahrzeugs 100 mit einer kalibrierten Position des ersten und des zweiten Fahrzeugsensors 106 und 109 zueinander sowie eine kalibrierte Einbauposition der beiden Fahrzeugsensoren 106 und 109 im Fahrzeug 100 gemäß einem Ausführungsbeispiel. 10 shows a schematic view of a vehicle 100 with a calibrated position of the first and second vehicle sensors 106 and 109 to each other and a calibrated mounting position of the two vehicle sensors 106 and 109 in the vehicle 100 according to an embodiment.

11 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 1100 zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug gemäß einem Ausführungsbeispiel. Das Verfahren 1100 kann unter Verwendung der in 2 vorgestellten Vorrichtung ausgeführt werden. Ferner wird das Verfahren 1100 zumindest einmal wiederholt. 11 shows a flowchart of an embodiment of a method 1100 for processing data from two vehicle sensors for an autonomous vehicle according to one exemplary embodiment. The procedure 1100 can be made using the in 2 presented device to be executed. Further, the method becomes 1100 repeated at least once.

In einem Schritt 1102 wird ein erstes Sensorsignal von einem ersten Fahrzeugsensor und eines zweites Sensorsignal von einem zweiten Fahrzeugsensor eingelesen, wobei das erste und das zweite Sensorsignal ein zweidimensionales Abbild einer Fahrzeugumgebung repräsentieren. In einem weiteren Schritt 1104 werden eine Einbauposition der zumindest zwei Fahrzeugsensoren innerhalb des Fahrzeugs und/oder eine relative Position der Fahrzeugsensoren zueinander unter Verwendung des ersten und des zweiten Sensorsignals bestimmt. Ferner wird in einem Schritt 1106 ein Abweichsignal, das eine Abweichung der bestimmten Einbauposition und/oder der bestimmten relativen Position zumindest eines Fahrzeugsensors von einer Referenzposition des Fahrzeugsensors repräsentiert, bereitgestellt. Parallel werden in einem Schritt 1108 das erste und das zweite Sensorsignal an eine Speichereinheit bereitgestellt und dort abgespeichert, wobei bei einer Wiederholung des Verfahrens das erste und das zweite Sensorsignal wieder aus der Speichereinheit ausgelesen werden. Schließlich wird in einem Schritt 1110 ein Kalibrierungssignal zur Kalibrierung der Fahrzeugsensoren ausgegeben, wobei das Kalibrierungssignal unter Verwendung des Abweichsignals ermittelt wird und eine Ausgabe des Kalibrierungssignals solange erfolgt, bis die gemessenen Positionswerte der Fahrzeugsensoren wieder in einem vorbestimmten Referenzbereich liegen.In one step 1102 a first sensor signal is read by a first vehicle sensor and a second sensor signal by a second vehicle sensor, wherein the first and the second sensor signal represent a two-dimensional image of a vehicle environment. In a further step 1104 For example, an installation position of the at least two vehicle sensors within the vehicle and / or a relative position of the vehicle sensors relative to one another are determined using the first and the second sensor signals. Furthermore, in one step 1106 a deviation signal representing a deviation of the determined installation position and / or the determined relative position of at least one vehicle sensor from a reference position of the vehicle sensor is provided. Parallel will be in one step 1108 the first and the second sensor signal are provided to a memory unit and stored there, wherein in a repetition of the method, the first and the second sensor signal are read out again from the memory unit. Finally, in one step 1110 output a calibration signal for calibrating the vehicle sensors, wherein the calibration signal is determined using the deviation signal and an output of the calibration signal is made until the measured position values of the vehicle sensors are again in a predetermined reference range.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Claims

Method (1100) for processing data from at least two vehicle sensors (106, 109) for a vehicle (100), in which in particular the Installation position of the two vehicle sensors (106, 109) and their relative position is calibrated to each other, the method (1100) comprising the steps of: reading (1102) a first sensor signal (124) from a first vehicle sensor (106) and a second sensor signal ( 127) from a second vehicle sensor (109); in particular, wherein the first and second sensor signals (124, 127) represent at least one two-dimensional image of a vehicle environment; Determining (1104) an installation position of the at least two vehicle sensors (106, 109) within the vehicle (100) and / or a relative position of the vehicle sensors (106, 109) to each other using the first and second sensor signals (124, 127); and providing (1106) a deviation signal (208) representing a deviation of the determined mounting position and / or the determined relative position of at least one vehicle sensor (106, 109) from a reference position of the vehicle sensor (106, 109).

A method (1100) according to any one of the preceding claims, wherein in the reading (1102) step, the first and second sensor signals (124, 127) include environmental characteristics (404) of the vehicle environment image for locating the vehicle (100) from a digital map (306 ), wherein in the step of determining (1104) the mounting position and / or the relative position are determined using the read-in environmental features (404).

The method (1100) according to one of the preceding claims, wherein the reading in step (1102) and the determining step (1104) are repeated, wherein in the subsequent reading (1102) step, a third sensor signal (210) from the first vehicle sensor (106 ) and a fourth sensor signal (212) is read in by the second vehicle sensor (109), wherein the third and fourth sensor signals (210, 212) are determined and read in time after the first and second sensor signals (124, 127).

Method (1100) according to Claim 3 wherein, in the determining step (1104), further determining vehicle intrinsic motion using the third and fourth sensor signals (210, 212).

Method (1100) according to Claim 4 wherein in the step of determining (1104) using the vehicle's own motion, the mounting position of the vehicle sensors (106, 109) relative to the vehicle (100) is determined.

Method (1100) according to one of the preceding claims, wherein in the read-in step (1102) the reference position (315) of at least one vehicle sensor (106, 109) is read from a database (306) and wherein in the step of determining (1104) the mounting position the vehicle sensors (106, 109) and / or the relative position of the vehicle sensors (106, 109) to each other using the read reference position (315) are determined.

The method (1100) according to one of the preceding claims, wherein in the read in step (1102) the first and second sensor signals (124, 127) are read in a compressed state and / or wherein the first and second sensor signals (124, 127) decompress become.

Method (1100) according to one of the preceding claims, wherein in a step of providing (1108) the first and the second sensor signal (124, 127) are stored in a memory unit (118), wherein in a subsequent step of reading (1102) the first and the second sensor signal (124, 127) are again read from the memory unit (118).

A method (1100) according to any one of the preceding claims, wherein in a step of outputting (1110), a calibration signal (318) for calibrating the vehicle sensors (106, 109) is output, wherein the calibration signal (318) is determined using the deviation signal (208) becomes.

Method (1100) according to Claim 9 wherein, in the step of outputting (1110), the calibration signal (318) is output until the measured position values of the vehicle sensors (106, 109) are again in a predetermined reference range.

Method (1100) according to one of the preceding claims, in which at least the step of determining (1104) is carried out on an off-board computer unit (103).

Apparatus (115) arranged to execute and / or drive the steps of the method (1100) according to any one of the preceding claims in respective units.

A computer program adapted to execute and / or control the method (1100) according to any one of the preceding claims.

Machine-readable storage medium on which the computer program is based Claim 13 is stored.