DE102022211839A1

DE102022211839A1 - Determination of height information for an object in the vicinity of a vehicle

Info

Publication number: DE102022211839A1
Application number: DE102022211839.1A
Authority: DE
Inventors: Tobias Trostel; Georg Rempfer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-11-09
Filing date: 2022-11-09
Publication date: 2024-05-16

Abstract

Die Offenbarung umfasst ein Verfahren (100) zur Bestimmung einer Information für mindestens ein Objekt im Umfeld eines Fahrzeugs (10) mit folgenden Schritten:- Bereitstellen (102) von ersten Messdaten (2) und von mindestens zweiten Messdaten (4) aus einer Überwachung des Umfelds des Fahrzeugs (10);- Zuführen (104) der ersten Messdaten (2) und der mindestens zweiten Messdaten (4) einer Sensordatenfusionseinheit (12);- Generieren (106) einer Höheninformation (25) für das mindestens eine Objekt durch Auswerten der ersten Messdaten (2) und der zweiten Messdaten (4) durch die Sensordatenfusionseinheit (12).The disclosure includes a method (100) for determining information for at least one object in the surroundings of a vehicle (10), comprising the following steps:- providing (102) first measurement data (2) and at least second measurement data (4) from monitoring the surroundings of the vehicle (10);- supplying (104) the first measurement data (2) and the at least second measurement data (4) to a sensor data fusion unit (12);- generating (106) height information (25) for the at least one object by evaluating the first measurement data (2) and the second measurement data (4) by the sensor data fusion unit (12).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer Höheninformation für ein Objekt im Umfeld eines Fahrzeugs.The present invention relates to a method for determining height information for an object in the environment of a vehicle.

Stand der TechnikState of the art

Bei Fahrerassistenzfunktionen und beim autonomen Fahren werden immer häufiger sog. Multi-Sensor-Systeme eingesetzt. Diese bestehen aus einer Vielzahl von verschiedenen Sensortypen, wie zum Beispiel Ultraschall-, Kamera- oder Radarsensoren und haben die Aufgabe, die Umgebung eines Fahrzeugs zu erfassen, die mittels Messdaten der einzelnen Sensoren abgebildet wird. Basierend auf diesen erzeugten Messdaten wird anschließend die Umgebung des Fahrzeugs modelliert. Dabei werden Objekte, die sich in der Umgebung oder der Nähe des Fahrzeugs befinden, in Form von Polylinien abgebildet. Diese modellierte Umgebung dient als Input für Assistenz-Funktionen, wie zum Beispiel eine automatische Notbremsung oder zur Lokalisierung von Objekten, zum Beispiel beim Einparken.So-called multi-sensor systems are increasingly being used in driver assistance functions and autonomous driving. These consist of a large number of different sensor types, such as ultrasound, camera or radar sensors, and have the task of recording the surroundings of a vehicle, which are mapped using measurement data from the individual sensors. Based on this measurement data, the vehicle's surroundings are then modeled. Objects that are in the surroundings or near the vehicle are mapped in the form of polylines. This modeled environment serves as input for assistance functions, such as automatic emergency braking or for locating objects, for example when parking.

Insbesondere für eine Abstandswarnung durch ein Assistenz-System in einem Fahrzeug ist eine Höheninformation eines Objekts in der Umgebung des Fahrzeugs von großer Bedeutung. So ist es beim Einparken entscheidend zu differenzieren, ob ein Objekt niedrig ist und damit überfahrbar, wie etwa ein Bordstein, oder ob ein Objekt hoch ist, also eine Kollision vermieden sollte, wie etwa eine Wand oder ein anderes Fahrzeug, welches sich möglicherweise in einer unmittelbaren Umgebung zu dem eigenen Fahrzeug befindet.Height information about an object in the vicinity of the vehicle is particularly important for a distance warning from an assistance system in a vehicle. When parking, it is crucial to differentiate whether an object is low and can therefore be driven over, such as a curb, or whether an object is high and should therefore avoid a collision, such as a wall or another vehicle that may be in the immediate vicinity of your own vehicle.

Im Stand der Technik wird eine entsprechende Höheninformation bislang derart eingeholt, dass entsprechende Messdaten von verschiedenen Sensortypen zunächst getrennt voneinander verarbeitet werden. Das bedeutet zum Beispiel, dass die Daten der Ultraschallsensoren für sich allein verarbeitet werden und ebenso die Videodaten. Diese sensortyp-spezifischen Verarbeitungen beinhalten bereits eine Schätzung der Höhe. Diese geschätzte Höhe ist also jeweils sensorspezifisch bzw. jeder Sensortyp liefert eine entsprechende Höheninformation.In the current state of the art, the corresponding height information is obtained by initially processing the corresponding measurement data from different sensor types separately. This means, for example, that the data from the ultrasonic sensors is processed separately, as is the video data. This sensor-type-specific processing already includes an estimate of the height. This estimated height is therefore sensor-specific, or each sensor type provides corresponding height information.

Diese Vorgehensweise hat jedoch den Nachteil, dass Informationen, die innerhalb einer Sensorverarbeitung zur Erzeugung von Höheninformationen verwendet werden, in der Sensordatenfusion nicht mehr zur Verfügung stehen. Solange alle Werte innerhalb einer Sensorverarbeitung in Bezug auf die Höhenklassifikation eindeutig sind, stellt dies kein Problem dar. Üblicherweise sind jedoch die Informationen innerhalb einer Sensor-Verarbeitung nicht eindeutig. In diesem Fall entscheidet sich die sensorspezifische Klassifikation dennoch für einen Wert, der zur Sensordatenfusion weitergegeben wird. Die Informationen, die für einen anderen Wert gesprochen hätten, gehen dann jedoch verloren. Die in der Sensordatenfusion nicht zur Verfügung stehenden Informationen können in der Höhenklassifikation der Sensordatenfusion aber zu Unsicherheit bei der Klassifikation und im schlimmsten Fall zu einer Falschklassifikation der Höhe eines Objekts im Umfeld eines Fahrzeugs führen.However, this approach has the disadvantage that information that is used within a sensor processing to generate height information is no longer available in the sensor data fusion. As long as all values within a sensor processing are unique in terms of height classification, this is not a problem. However, the information within a sensor processing is usually not unique. In this case, the sensor-specific classification still decides on a value that is passed on to the sensor data fusion. The information that would have indicated a different value is then lost. However, the information not available in the sensor data fusion can lead to uncertainty in the height classification of the sensor data fusion and, in the worst case, to an incorrect classification of the height of an object in the vicinity of a vehicle.

Es ist daher die Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, mittels welcher auf effiziente und zuverlässige Weise eine Höheninformation für ein Objekt im Umfeld eines Fahrzeugs bestimmt wird.It is therefore the object of the present invention to provide a solution by means of which height information for an object in the vicinity of a vehicle is determined in an efficient and reliable manner.

Offenbarung der ErfindungDisclosure of the invention

Diese Aufgabe wird durch ein Verfahren zur Bestimmung einer Höheninformation für ein Objekt im Umfeld eines Fahrzeugs mit den Merkmalen des unabhängigen Anspruchs gelöst.This object is achieved by a method for determining height information for an object in the environment of a vehicle having the features of the independent claim.

Gemäß einem ersten Aspekt betrifft die Offenbarung ein Verfahren zur Bestimmung einer Höheninformation für mindestens ein Objekt im Umfeld eines Fahrzeugs, welches folgende Schritte aufweist:

In einem ersten Schritt erfolgt eine Bereitstellung von ersten Messdaten und von mindestens zweiten Messdaten aus einer Überwachung des Umfelds des Fahrzeugs.
In einem zweiten Schritt erfolgt ein Zuführen der ersten Messdaten und der mindestens zweiten Messdaten einer Sensordatenfusionseinheit.

According to a first aspect, the disclosure relates to a method for determining height information for at least one object in the environment of a vehicle, which method comprises the following steps:

In a first step, initial measurement data and at least second measurement data from monitoring the vehicle's surroundings are provided.
In a second step, the first measurement data and at least the second measurement data are fed to a sensor data fusion unit.

In einem dritten Schritt erfolgt ein Generieren der Höheninformation für das mindestens eine Objekt durch Auswerten der ersten Messdaten und der zweiten Messdaten durch die Sensordatenfusionseinheit.In a third step, the height information for the at least one object is generated by evaluating the first measurement data and the second measurement data by the sensor data fusion unit.

Der grundlegende Gedanke der vorliegenden Erfindung besteht darin, dass sämtliche bzw. alle sensor-spezifischen Informationen der Sensorverarbeitungseinheiten der einzelnen Sensoren zur Bestimmung bzw. Klassifikation einer Höhe für ein Objekt, welches sich in der Umgebung und in der Nähe eines Fahrzeugs befindet, in der Sensordatenfusionseinheit verwendet werden. Im Gegensatz zum Stand der Technik erfolgt mit der vorliegenden Erfindung keine objektspezifische Höhenbestimmung pro vorhandenem Sensortyp. Stattdessen werden alle sensorspezifischen Informationen in der Sensordatenfusion zusammengeführt, um dort die Höhe eines Objekts zu bestimmen.The basic idea of the present invention is that all or any sensor-specific information from the sensor processing units of the individual sensors is used in the sensor data fusion unit to determine or classify a height for an object that is in the environment and near a vehicle. In contrast to the prior art, the present invention does not determine an object-specific height for each existing sensor type. Instead, all sensor-specific information is brought together in the sensor data fusion to determine the height of an object.

Die vorliegende Erfindung bietet also den Vorteil, dass der Sensordatenfusion zur Höhenklassifikation von mindestens einem Objekt mehr Informationen zur Verfügung stehen. Insbesondere Daten, die ggf. in einer sensorspezifischen Höhenklassifikation überstimmt oder übergangen worden wären, gehen auf diese Weise nicht verloren.The present invention therefore offers the advantage that more information is available for the sensor data fusion for the height classification of at least one object. In particular, data that would have been overruled or omitted in a sensor-specific height classification are not lost in this way.

Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass Daten von mehreren Sensortypen direkt miteinander kombiniert werden können. Dadurch können bei der Höhenklassifikation der Sensordatenfusion Defizite eines Sensorsystems mit den Informationen eines anderen Sensorsystem ausgeglichen werden. Auf diese Weise lässt sich die Rate an Falschklassifikationen gegenüber einem System, das die für die Höhenklassifikation relevante Information bereits vor der finalen Höhenklassifikation in der Sensordatenfusionseinheit in Teilen zusammengeführt hat, signifikant reduzieren.A further advantage of the present invention is that data from several sensor types can be combined directly with one another. This means that deficiencies in one sensor system can be compensated for with the information from another sensor system during the altitude classification of the sensor data fusion. In this way, the rate of misclassifications can be significantly reduced compared to a system that has already partially combined the information relevant for the altitude classification in the sensor data fusion unit before the final altitude classification.

Ein Objekt im Sinne der vorliegenden Erfindung kann dabei eine Objekteinheit sein. Diese kann zum Beispiel ein Segment oder mehrere Segmente eines Objekts beinhalten.An object in the sense of the present invention can be an object unit. This can, for example, contain one or more segments of an object.

Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die Messdaten mindestens eine sensorspezifische Information und / oder eine fahrzeugspezifische Information beinhalten. Dadurch wird der Vorteil erzielt, dass die Genauigkeit der zu bestimmenden Höheninformation für ein Objekt im Umfeld eines Fahrzeugs erhöht wird.One possible embodiment of the method provides that the measurement data contain at least one sensor-specific piece of information and/or one vehicle-specific piece of information. This has the advantage that the accuracy of the height information to be determined for an object in the vicinity of a vehicle is increased.

Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die sensorspezifische Information durch mindestens eine Sensoreinheit innerhalb des Fahrzeugs und / oder durch mindestens eine fahrzeugexterne Sensoreinheit bereitgestellt wird. Dadurch wird der Vorteil erzielt, dass die Genauigkeit der zu bestimmenden Höheninformation für ein Objekt im Umfeld eines Fahrzeugs erhöht wird.One possible embodiment of the method provides that the sensor-specific information is provided by at least one sensor unit inside the vehicle and/or by at least one sensor unit external to the vehicle. This provides the advantage that the accuracy of the height information to be determined for an object in the vicinity of a vehicle is increased.

Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die sensorspezifische Information aus mindestens aus mindestens einer Kameraquelle, einer Ultraschallquelle, einer Radarquelle, einer Lidarquelle und / oder eines Annäherungssensors erzeugt wird. Dadurch wird der Vorteil erzielt, dass die Genauigkeit der zu bestimmenden Höheninformation erhöht wird.One possible embodiment of the method provides that the sensor-specific information is generated from at least one camera source, an ultrasound source, a radar source, a lidar source and/or a proximity sensor. This has the advantage that the accuracy of the height information to be determined is increased.

Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die Sensordatenfusionseinheit zumindest teilweise im Fahrzeug implementiert ist. Dadurch wird der Vorteil erzielt, dass bei der Bestimmung der Höheninformation für ein Objekt im Umfeld eines Fahrzeugs flexibel im Fahrzeug verfügbare Ressourcen verwendet werden.One possible embodiment of the method provides that the sensor data fusion unit is at least partially implemented in the vehicle. This provides the advantage that resources available in the vehicle can be used flexibly when determining the height information for an object in the vicinity of a vehicle.

Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass das Generieren der Höheninformation für das Objekt mittels eines Machine Learning-Modells erfolgt. Dadurch wird der Vorteil erzielt, dass die Anzahl von verwendeten Informationen flexibel in Abhängigkeit von dem gewählten Einsatzbereich angepasst werden kann.One possible design of the method involves generating the height information for the object using a machine learning model. This has the advantage that the amount of information used can be flexibly adapted depending on the chosen area of application.

Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass das Machine Learning-Modell einen Decision-Tree-Algorithmus aufweist, um aus den ersten Messdaten und den zweiten Messdaten die Höheninformation zu generieren. Dadurch wird der Vorteil erzielt, die Bestimmung der Höheninformation flexibel an sich verändernde Fahrzeug-, Umweltbedingungen und /oder verfügbaren Daten anzupassen.One possible embodiment of the method provides that the machine learning model has a decision tree algorithm to generate the altitude information from the first measurement data and the second measurement data. This has the advantage of being able to flexibly adapt the determination of the altitude information to changing vehicle and environmental conditions and/or available data.

Gemäß einem zweiten Aspekt betrifft die Offenbarung ein Verfahren zum Trainieren eines Machine Learning-Modells für den Einsatz in dem Verfahren gemäß einem der vorgenannten Aspekte mitfolgenden Schritten:

In einem ersten Schritt erfolgt ein Bereitstellen von Trainings-Beispielen von Messdaten, die aus sensorspezifischen und / oder fahrzeugspezifischen Informationen eines Fahrzeugs erzeugt werden und das Vorhandensein von mindestens einem Objekt im Umfeld des Fahrzeugs anzeigen.

According to a second aspect, the disclosure relates to a method for training a machine learning model for use in the method according to one of the aforementioned aspects, comprising the following steps:

In a first step, training examples of measurement data are provided that are generated from sensor-specific and/or vehicle-specific information of a vehicle and indicate the presence of at least one object in the vehicle's surroundings.

In einem zweiten Schritt erfolgt ein Bereitstellen eines Referenzwertes für eine Höheninformation für das mindestens eine Objekt.In a second step, a reference value for height information is provided for the at least one object.

In einem dritten Schritt erfolgt ein Zuführen der Trainings-Beispiele zu dem zu trainierenden Machine Learning-Modell, so dass dieses Machine Learning-Modell mit dem erfindungsgemäßen Verfahren eine Höheninformation des Objekts bestimmt.In a third step, the training examples are fed to the machine learning model to be trained, so that this machine learning model determines height information of the object using the method according to the invention.

In einem vierten Schritt erfolgt ein Bewerten der Höheninformation mit einer vorgegebenen Kostenfunktion.In a fourth step, the height information is evaluated using a given cost function.

In einem fünften Schritt erfolgt ein Optimieren von Parametern, die das Verhalten des Machine Learning-Modells charakterisieren, mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Kostenfunktion voraussichtlich verbessert.In a fifth step, parameters that characterize the behavior of the machine learning model are optimized with the aim of improving the evaluation by the cost function with further processing of training examples.

Gemäß einem dritten Aspekt betrifft die Offenbarung ein Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern und/oder Computer-Instanzen ausgeführt werden, den oder die Computer bzw. Computer-Instanzen dazu veranlasst, das erfindungsgemäße Verfahren auszuführen.According to a third aspect, the disclosure relates to a computer program containing machine-readable instructions which, when executed on one or more computers and/or computer instances, cause the computer or computer instances to carry out the method according to the invention.

Gemäß einem vierten Aspekt betrifft die Offenbarung einen maschinenlesbaren Datenträger und/oder Downloadprodukt mit dem Computerprogramm.According to a fourth aspect, the disclosure relates to a machine-readable data carrier and/or download product with the computer program.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are presented in more detail below together with the description of the preferred embodiments of the invention with reference to figures.

AusführungsbeispieleExamples of implementation

Es zeigt:

1 Schematisches Ablaufdiagramm des Verfahrens 100 zur Bestimmung einer Höheninformation für ein Objekt im Umfeld eines Fahrzeugs;
2 Beispielhafte Darstellung zur Bestimmung einer Höheninformation für ein Objekt gemäß einer Ausführungsform der vorliegenden Erfindung;
3 Schematisches Ablaufdiagramm des Verfahrens 200 zum Trainieren eines Machine Learning-Modells; und
4 Beispielhafte Darstellung zur Bestimmung einer Höheninformation für ein Objekt unter Verwendung eines Machine-Learning Modells gemäß einer Ausführungsform der vorliegenden Erfindung.

It shows:

1 Schematic flow diagram of the method 100 for determining height information for an object in the vicinity of a vehicle;
2 Exemplary representation for determining height information for an object according to an embodiment of the present invention;
3 Schematic flow diagram of the method 200 for training a machine learning model; and
4 Example representation for determining height information for an object using a machine learning model according to an embodiment of the present invention.

1 ist ein schematisches Ablaufdiagramm des Verfahrens 100 zur Bestimmung einer Höheninformation für mindestens ein Objekt im Umfeld eines Fahrzeugs 10. 1 is a schematic flow diagram of the method 100 for determining height information for at least one object in the environment of a vehicle 10.

In Schritt 102 werden erste Messdaten 2 und mindestens zweite Messdaten 4 aus einer Überwachung des Umfelds des Fahrzeugs 10 bereitgestellt.In step 102, first measurement data 2 and at least second measurement data 4 are provided from monitoring the surroundings of the vehicle 10.

In Schritt 104 werden die ersten Messdaten 2 und die mindestens zweiten Messdaten 4 einer Sensordatenfusionseinheit 12 zugeführt. Diese Sensordatenfusionseinheit 12 kann dabei zumindest teilweise im Fahrzeug 10 implementiert sein. Ein Teil der Funktionalität der Sensordatenfusionseinheit 12 kann jedoch auch über eine externe Schnittstelle (nicht dargestellt) an eine externe, das heißt, außerhalb des Fahrzeugs 10 befindliche Datenverarbeitungseinheit angebunden oder ausgelagert sein. Es wäre alternativ auch möglich, dass die Funktionalität der Sensordatenfusionseinheit 12 komplett von der externen Datenverarbeitungseinheit übernommen wird, wenn fahrzeugspezifische und / oder umweltspezifische Rahmenbedingungen dies erforderlich machen oder erlauben.In step 104, the first measurement data 2 and the at least second measurement data 4 are fed to a sensor data fusion unit 12. This sensor data fusion unit 12 can be at least partially implemented in the vehicle 10. However, part of the functionality of the sensor data fusion unit 12 can also be connected or outsourced to an external data processing unit, i.e. located outside the vehicle 10, via an external interface (not shown). Alternatively, it would also be possible for the functionality of the sensor data fusion unit 12 to be completely taken over by the external data processing unit if vehicle-specific and/or environmental conditions make this necessary or allow it.

In Schritt 106 wird die Höheninformation 25 für das mindestens eine Objekt durch ein Auswerten der ersten Messdaten 2 und der zweiten Messdaten 4 durch die Sensordatenfusionseinheit 12 generiert.In step 106, the height information 25 for the at least one object is generated by evaluating the first measurement data 2 and the second measurement data 4 by the sensor data fusion unit 12.

Der Schritt 106 des Generierens der Höheninformation 25 für das mindestens eine Objekt kann dabei mittels eines Machine Learning-Modells (= maschinelles Lernverfahren) erfolgen.The step 106 of generating the height information 25 for the at least one object can be carried out by means of a machine learning model (= machine learning method).

Das Machine Learning-Modell kann dabei einen Entscheidungsbaum-Algorithmus aufweisen, um aus den ersten Messdaten 2 und den zweiten Messdaten 4 die Höheninformation 25 für das mindestens eine Objekt im Umfeld des Fahrzeugs 10 zu generieren.The machine learning model can have a decision tree algorithm to generate the height information 25 for the at least one object in the environment of the vehicle 10 from the first measurement data 2 and the second measurement data 4.

2 zeigt eine beispielhafte Darstellung zur Bestimmung einer Höheninformation 25 für mindesten ein Objekt gemäß einer Ausführungsform der vorliegenden Erfindung. Dabei werden über Sensoreinheiten bzw. 2 shows an exemplary representation for determining height information 25 for at least one object according to an embodiment of the present invention. In this case, sensor units or

Sensorverarbeitungseinheiten 14, 15, 16 und 18 jeweils Messdaten 2, 4 erzeugt, die für die Erzeugung einer Höheninformation für mindestens ein Objekt im Umfeld eines Fahrzeugs 10 relevant sind. Diese Messdaten 2, 4 können jeweils ein oder mehrere Messwerte beinhalten. Diese ersten Messdaten 2 und zweiten Messdaten 4 werden an die Sensordatenfusionseinheit 12 übermittelt. In der Sensordatenfusionseinheit 12 werden alle relevanten Informationen für die Höhenklassifikation des mindesten einen Objekts mittels der Messdaten 2, 4 zusammengeführt. Es findet also keine separate Höhenberechnung pro beteiligtem Sensortyp statt.Sensor processing units 14, 15, 16 and 18 each generate measurement data 2, 4 that are relevant for generating height information for at least one object in the surroundings of a vehicle 10. These measurement data 2, 4 can each contain one or more measurement values. These first measurement data 2 and second measurement data 4 are transmitted to the sensor data fusion unit 12. In the sensor data fusion unit 12, all relevant information for the height classification of the at least one object is combined using the measurement data 2, 4. There is therefore no separate height calculation for each sensor type involved.

Die ersten Messdaten 2 können dabei von einer ersten Sensoreinheit 14 bereitgestellt werden und die mindestens zweiten Messdaten 4 können von einer zweiten Sensoreinheit 15 erzeugt werden. Dritte Messdaten für eine dritte Sensoreinheit 16 und vierte Messdaten für eine vierte Sensoreinheit 18 können ebenfalls relevante Informationen zur Höhenklassifikation des mindestens einen Objekts an die Sensordatenfusionseinheit 12 übermitteln. Die mindestens zweiten Messdaten 4 können aber auch Messdaten darstellen, die von einer Vielzahl von verschiedenen Sensortypen an die Sensordatenfusionseinheit 12 übermittelt werden.The first measurement data 2 can be provided by a first sensor unit 14 and the at least second measurement data 4 can be generated by a second sensor unit 15. Third measurement data for a third sensor unit 16 and fourth measurement data for a fourth sensor unit 18 can also transmit relevant information on the height classification of the at least one object to the sensor data fusion unit 12. The at least second measurement data 4 can also represent measurement data that is transmitted to the sensor data fusion unit 12 from a large number of different sensor types.

In einer beispielhaften Ausführung kann die Sensoreinheit 14 als ein Ultraschallsensor ausgebildet sein, die Sensoreinheit 15 als ein Kamera-/Videosensor oder ein bilderzeugender Sensor ausgebildet sein, die Sensoreinheit 16 als Radarsensor ausgebildet sein. Ferner kann auch oder zusätzlich eine fahrzeugexterne Sensoreinheit 18 ausgebildet sein, Messdaten zur Bestimmung einer Höheninformation für das mindestens eine Objekt zu liefern. Als eine fahrzeugexterne Sensoreinheit 18 ist eine Sensoreinheit zu verstehen, die nicht im Fahrzeug 10 implementiert ist, sondern möglicherweise in einem anderen, ggfs. typgleichen Fahrzeugmodell, welches sich zu einem früheren Zeitpunkt an derselben Position befand, wie das Fahrzeug 10.In an exemplary embodiment, the sensor unit 14 can be designed as an ultrasonic sensor, the sensor unit 15 can be designed as a camera/video sensor or an image-generating sensor, the sensor unit 16 can be designed as a radar sensor. Furthermore, a vehicle-external sensor unit 18 can also or additionally be designed to provide measurement data for determining height information for the at least one object. As a Vehicle-external sensor unit 18 is understood to mean a sensor unit that is not implemented in the vehicle 10, but possibly in another vehicle model, possibly of the same type, which was previously located in the same position as the vehicle 10.

Generell können die ersten Messdaten 2 und zweiten Messdaten 4 mindestens eine sensorspezifische Information und / oder eine fahrzeugspezifische Information beinhalten. Die sensorspezifische Information kann dabei durch mindestens eine Sensoreinheit 14, 15, 16 innerhalb des Fahrzeugs 10 bereitgestellt werden. Die fahrzeugspezifische Information als ein Bestandteil der Messdaten kann dabei Informationen zum Fahrzeugmodell und / oder dem Fahrzeugzustand oder andere fahrzeugrelevante Informationen beinhalten.In general, the first measurement data 2 and second measurement data 4 can contain at least one sensor-specific piece of information and/or one vehicle-specific piece of information. The sensor-specific information can be provided by at least one sensor unit 14, 15, 16 within the vehicle 10. The vehicle-specific information as a component of the measurement data can contain information about the vehicle model and/or the vehicle condition or other vehicle-relevant information.

Die sensorspezifische Information kann durch mindestens eine Sensoreinheit 14, 15, 16 bereitgestellt werden, die sich innerhalb des Fahrzeugs 10 befindet. Ferner kann die sensorspezifische Information Daten enthalten, die von mindestens einer fahrzeugexterne Sensoreinheit 18 erzeugt wird, die über eine Kommunikationsschnittstelle an das Fahrzeug 10 übermittelt werden. Auch können Fahrzeugdaten 17 des Fahrzeugs 10 als weitere Messdaten 2, 4 bereitgestellt werden bzw. Teil der Messdaten 2, 4 sein und in die Sensordatenfusionseinheit 12 zur Höhenklassifikation des mindestens einen Objekts einfließen.The sensor-specific information can be provided by at least one sensor unit 14, 15, 16 located inside the vehicle 10. Furthermore, the sensor-specific information can contain data generated by at least one vehicle-external sensor unit 18, which is transmitted to the vehicle 10 via a communication interface. Vehicle data 17 of the vehicle 10 can also be provided as additional measurement data 2, 4 or be part of the measurement data 2, 4 and flow into the sensor data fusion unit 12 for height classification of the at least one object.

Zwar zeigt die 2, dass die Sensordatenfusionseinheit 12 ein Bestandteil des Fahrzeug 10 ist. Doch alternativ ist es auch denkbar, dass die Sensordatenfusionseinheit 12 komplett extern über eine Kommunikationsschnittstelle an das Fahrzeug 10 datentechnisch angebunden ist und das Fahrzeug 10 selbst über keine physisch verbaute Sensordatenfusionseinheit 12 verfügt. Auch kann vorgesehen sein, dass die Sensordatenfusionseinheit 12 nur teilweise in dem Fahrzeug 10 implementiert ist und ein anderer Teil als externe Datenverarbeitungseinheit in einer Cloud-Applikation oder als externe, also außerhalb des Fahrzeugs 10 installierte Datenbank-Applikation ausgeführt ist.Although the 2 that the sensor data fusion unit 12 is a component of the vehicle 10. Alternatively, it is also conceivable that the sensor data fusion unit 12 is connected to the vehicle 10 completely externally via a communication interface and that the vehicle 10 itself does not have a physically installed sensor data fusion unit 12. It can also be provided that the sensor data fusion unit 12 is only partially implemented in the vehicle 10 and another part is designed as an external data processing unit in a cloud application or as an external database application, i.e. installed outside the vehicle 10.

Als mögliche Sensoreinheiten 14, 15, 16, die sensorspezifische Informationen liefern, kommen zum Beispiel verschiedene Sensorquellen in Frage, die je nach Applikation miteinander kombiniert eingesetzt werden können, damit die Sensordatenfusionseinheit 12 eine Höheninformation für das mindestens eine Objekt generieren kann. So sind Video-/Kamera-Sensoren, Ultraschallsensoren oder -quellen, Radarsensoren, Lidarsensoren oder Annäherungssensoren mögliche Beispiele für den Einsatz von verschiedenen Sensor-Typen im Fahrzeug 10, um entsprechende Messdaten 2, 4 zu erzeugen.Possible sensor units 14, 15, 16 that provide sensor-specific information include, for example, various sensor sources that can be used in combination with one another depending on the application so that the sensor data fusion unit 12 can generate height information for the at least one object. Video/camera sensors, ultrasonic sensors or sources, radar sensors, lidar sensors or proximity sensors are possible examples of the use of different sensor types in the vehicle 10 to generate corresponding measurement data 2, 4.

Durch das Implementieren von mehreren Sensoren wird eine Art Redundanz bei der Messdaten-Erzeugung geschaffen, um auf verschiedenartige Fahrzeug- und Umweltszenarien oder Bedingungen, wie etwa Nah- oder Fernbereich, wechselnde Lichtverhältnisse im Umfeld des Fahrzeugs, flexibel reagieren zu können. Mit diesen verschiedenartigen Informationen von Sensoren, lässt sich dann, nach einer entsprechenden Zusammenführung in der Sensordatenfusionseinheit 12, eine Höheninformation für das betreffende Objekt im Umfeld des Fahrzeugs 10 erzeugen, die definierten Qualitätskriterien entspricht oder erfüllt.By implementing multiple sensors, a type of redundancy is created in the generation of measurement data in order to be able to react flexibly to different vehicle and environmental scenarios or conditions, such as close or long range, changing lighting conditions in the vehicle's surroundings. With this different information from sensors, after appropriate merging in the sensor data fusion unit 12, height information can then be generated for the relevant object in the vehicle's surroundings 10, which corresponds to or meets defined quality criteria.

3 zeigt ein schematisches Ablaufdiagramm des Verfahrens 200 zum Trainieren eines Machine Learning-Modells. 3 shows a schematic flow diagram of the method 200 for training a machine learning model.

In einem ersten Schritt 202 erfolgt ein Bereitstellen von Trainings-Beispielen von Messdaten 2, 4, die aus sensorspezifischen und / oder fahrzeugspezifischen Informationen eines Fahrzeugs 10 erzeugt werden und das Vorhandensein von mindestens einem Objekt im Umfeld des Fahrzeugs 10 anzeigen.In a first step 202, training examples of measurement data 2, 4 are provided, which are generated from sensor-specific and/or vehicle-specific information of a vehicle 10 and indicate the presence of at least one object in the environment of the vehicle 10.

In einem zweiten Schritt 204 erfolgt ein Bereitstellen eines Referenzwertes für eine Höheninformation 25 für das mindestens eine Objekt.In a second step 204, a reference value for height information 25 is provided for the at least one object.

In einem dritten Schritt 206 erfolgt ein Zuführen der Trainings-Beispiele zu dem zu trainierenden Machine Learning-Modell, so dass dieses Machine Learning-Modell mit dem vorgenannten Verfahren die Höheninformation 25 für das mindestens eine Objekt bestimmt.In a third step 206, the training examples are fed to the machine learning model to be trained, so that this machine learning model determines the height information 25 for the at least one object using the aforementioned method.

In einem vierten Schritt 208 erfolgt ein Bewerten der Höheninformation 25 mit einer vorgegebenen Kostenfunktion, welche einen Unterschied zwischen der berechneten Höheninformation 25 und des Referenzwertes für die Höheninformation darstellt.In a fourth step 208, the height information 25 is evaluated using a predetermined cost function which represents a difference between the calculated height information 25 and the reference value for the height information.

In einem fünften Schritt 210 erfolgt ein Optimieren von Parametern, die das Verhalten des Machine Learning-Modells charakterisieren, mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Kostenfunktion voraussichtlich verbessert.In a fifth step 210, parameters that characterize the behavior of the machine learning model are optimized with the aim that the evaluation by the cost function is expected to improve with further processing of training examples.

4 zeigt eine beispielhafte Darstellung zur Bestimmung einer Höheninformation für mindestens ein Objekt im Umfeld eines Fahrzeugs unter Verwendung eines Machine-Learning Modells 50 gemäß einer Ausführungsform der vorliegenden Erfindung. 4 shows an exemplary representation for determining height information for at least one object in the surroundings of a vehicle using a machine learning model 50 according to an embodiment of the present invention.

Dabei zeigt die 4 verschiedene Sensoren 14.1, 14.2, 15.1 und 15.2.The 4 various sensors 14.1, 14.2, 15.1 and 15.2.

Die Sensoren 14.1 und 14.2 liefern erste Messdaten 2, die zur Verarbeitung an eine Sensorverarbeitungseinheit 14 gesendet werden, die Informationen oder Daten 27 zur Höhenklassifikation liefern.The sensors 14.1 and 14.2 provide first measurement data 2, which are sent to a sensor processing unit 14 for processing, which provides information or data 27 for altitude classification.

Die Sensoren 15.1 und 15.2 liefern zweite Messdaten 4, die zur Verarbeitung an eine Sensorverarbeitungseinheit 15 gesendet werden, die Informationen oder Daten 29 zur Höhenklassifikation liefern.The sensors 15.1 and 15.2 provide second measurement data 4, which are sent to a sensor processing unit 15 for processing, which provides information or data 29 for altitude classification.

Die Daten 27 und 29 werden dann in der Sensordatenfusionseinheit, die ein Machine-Learning Modell 50 umfasst, zusammengeführt und ermöglichen eine Bildung einer Höheninformation 25 für das mindestens eine Objekt.The data 27 and 29 are then merged in the sensor data fusion unit, which comprises a machine learning model 50, and enable the formation of height information 25 for the at least one object.

Weitere Eingangsdaten, um die fusionierte Höhenklassifikation pro Objekteinheit mittels dem maschinellem Lernverfahren 50, wie zum Beispiel einem gradientboosted Decision-Tree, zu lösen, sind Fahrzeugdaten 17 und / oder auch Daten von einer fahrzeugexternen Sensoreinheit 18.Further input data for solving the fused height classification per object unit using the machine learning method 50, such as a gradient boosted decision tree, are vehicle data 17 and/or data from a vehicle-external sensor unit 18.

Im Detail erfolgt ein Trainieren des Machine-Learning Modells 50 also dadurch, dass alle Informationen, die einen Mehrwert zur Höhenklassifikation beitragen als sog. Features in einen Klassifikator eingegeben werden. Dazu zählen unter anderem die Höheninformationen der einzelnen Sensor-Verarbeitungen 14, 15 sowie z.B. der aktuelle Abstand des Fahrzeugs zum betreffenden Objekt und/oder die Geschwindigkeit des Fahrzeugs 10. Dazu werden Referenzdaten, sogenannte Labels für die Messungen, mit denen optimiert werden soll, generiert bzw. bereitgestellt. Mit den Features und den Labels wird dann der Klassifikator (= das Machine-Learning Modell 50) trainiert. Aus dem trainierten Machine-Learning Modell 50 bzw. dem Entscheidungsbaum kann dann Code generiert werden, der das identische Verhalten wie der trainierte Entscheidungsbaum besitzt und der auf dem Steuergerät des Fahrzeugs 10 verwendet werden kann.In detail, the machine learning model 50 is trained by entering all information that adds value to the height classification into a classifier as so-called features. This includes, among other things, the height information from the individual sensor processing 14, 15 and, for example, the current distance of the vehicle from the object in question and/or the speed of the vehicle 10. For this purpose, reference data, so-called labels, are generated or provided for the measurements to be optimized. The classifier (= the machine learning model 50) is then trained using the features and labels. Code can then be generated from the trained machine learning model 50 or the decision tree, which has the same behavior as the trained decision tree and which can be used on the control unit of the vehicle 10.

Die Vorteile dieses Verfahrens zur Bestimmung einer Höheninformation für ein Objekt im Umfeld des Fahrzeugs 10 sind:

Das Verfahren ist einfach erweiterbar um weitere Features, sodass die Anzahl an verwendeten Informationen einfach und flexibel erhöht und an veränderte Rahmenbedingungen angepasst werden kann.

The advantages of this method for determining height information for an object in the vicinity of the vehicle 10 are:

The process can easily be expanded with additional features so that the amount of information used can be easily and flexibly increased and adapted to changing conditions.

Wird zum Beispiel in einer Messung ein Problem, z.B. eine Falschklassifikation, festgestellt, dann kann eine Variable, die bei dem Problem hilft, als weiteres Feature hinzugefügt werden.For example, if a problem is identified in a measurement, such as misclassification, then a variable that helps with the problem can be added as an additional feature.

Kommen in zukünftigen Szenarios weitere Sensortypen zum Gesamtsystem hinzu, dann können diese Zusatzinformationen einfach in das bestehende Modell integriert werden. Dies ist selbst dann einfach möglich, wenn diese Informationen wiederum andere Formate, als die bisher bekannten Formate besitzen.If additional sensor types are added to the overall system in future scenarios, this additional information can be easily integrated into the existing model. This is easy to do even if this information has different formats than those known so far.

Generell wird beim Training des Klassifikators auf die Gesamtdatenmenge optimiert. Dadurch werden Seiteneffekte vermieden und die Performance des Klassifikators gesteigert. Ferner reduziert die Ersetzung des Klassifikators durch generierten Code die Fehleranfälligkeit und steigert die Erweiterbarkeit des Codes.In general, the training of the classifier is optimized for the total data set. This avoids side effects and increases the performance of the classifier. Furthermore, replacing the classifier with generated code reduces the susceptibility to errors and increases the extensibility of the code.

Claims

Method (100) for determining information for at least one object in the surroundings of a vehicle (10), comprising the following steps: - providing (102) first measurement data (2) and at least second measurement data (4) from monitoring the surroundings of the vehicle (10); - feeding (104) the first measurement data (2) and the at least second measurement data (4) to a sensor data fusion unit (12); - generating (106) height information (25) for the at least one object by evaluating the first measurement data (2) and the second measurement data (4) by the sensor data fusion unit (12).

Procedure (100) according to Claim 1 , wherein the measurement data (2, 4) contain at least one sensor-specific information and/or one vehicle-specific information.

Procedure (100) according to Claim 2 , wherein the sensor-specific information is provided/generated by at least one sensor unit (14) within the vehicle (10) and/or by at least one vehicle-external sensor unit (18).

Method (100) according to one of the Claims 2 or 3 , wherein the sensor-specific information is generated from at least one camera source, an ultrasound source, a radar source, a lidar source and / or a proximity sensor.

Method (100) according to one of the preceding claims, wherein the sensor data fusion unit (12) is at least partially implemented in the vehicle (10).

Method (100) according to one of the preceding claims, wherein the generation (106) of the height information (25) for the at least one object is carried out by means of a machine learning model.

Procedure (100) according to Claim 6 , wherein the machine learning model has a decision tree algorithm to generate the height information (25) from the first measurement data (2) and the second measurement data (4).

Method (200) for training the machine learning model for use in the method according to one of the Claims 6 until 7 with the following steps: - providing (202) training examples of measurement data (2, 4) which are generated from sensor-specific and/or vehicle-specific information of a vehicle (10) and indicate the presence of at least one object in the surroundings of the vehicle (10); - providing (204) a reference value for height information (25) for the at least one object; - supplying (206) the training examples to the machine learning model to be trained, so that this machine learning model can be trained using the method according to one of the Claims 6 until 7 the height information (25) is determined for the at least one object; - evaluating (208) the height information (25) with a predetermined cost function which represents a difference between the calculated height information (25) and the reference value for the height information; and - optimizing (210) parameters which characterize the behavior of the machine learning model, with the aim that the evaluation by the cost function is likely to improve with further processing of training examples.

Computer program containing machine-readable instructions which, when executed on one or more computers and/or computer instances, causes the computer or computer instances to carry out the method according to one of the Claims 1 until 8th and / or the procedure according to Claim 8 to execute.

Machine-readable data carrier and/or download product with the computer program according to Claim 9 .

One or more computers and/or computer instances with the computer program Claim 9 , and/or with the machine-readable data carrier and/or download product after Claim 10 .