DE102022202548B3

DE102022202548B3 - Method for training a computer program product

Info

Publication number: DE102022202548B3
Application number: DE102022202548.2A
Authority: DE
Inventors: Moritz Michael Knorr
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-03-15
Filing date: 2022-03-15
Publication date: 2023-05-04
Anticipated expiration: 2042-03-16

Abstract

Verfahren zum Trainieren eines Computerprogrammprodukts,- wobei das Computerprogrammprodukt aus einem Egofahrzeug (1) stammenden Daten eine Vogelperspektive mit dem Egofahrzeug (1) erzeugt und aus der Vogelperspektive zumindest eine Eigenschaft aus der Umgebung des Egofahrzeugs (1) ermittelt,- wobei zum Trainieren des Computerprogrammprodukts:• zumindest ein von oben aufgenommenes Realbild (2) mit der Umgebung des Egofahrzeugs (1) herangezogen wird,• die Position des Egofahrzeugs (1) in dem jeweiligen zumindest einen Realbild (2) ermittelt und zumindest eine Eigenschaft in der Umgebung der Position des Egofahrzeugs (1) als Ground-Truth-Information ausgegeben wird,• die Ground-Truth-Information zum Trainieren des Computerprogrammprodukts verwendet wird, dadurch gekennzeichnet,- dass zumindest eines der wenigstens einen Realbilder (2) mit einer dem Egofahrzeug (1) folgenden Drohne (9) aufgenommen wird,- dass das Egofahrzeug (1) optisch derart ausgestaltet wird, dass es in den von der Drohne (9) aufgenommenen Realbildern (2) erkennbar ist,- dass die von der Drohne (9) aufgenommenen Realbilder (2) mit einem Zeitstempel versehen werden,- dass zum Trainieren des Computerprogrammprodukt die Ground-Truth-Information mit der vom Computerprogrammprodukt erstelltenMethod for training a computer program product,- the computer program product generating data originating from a host vehicle (1) in a bird's-eye view of the host vehicle (1) and determining at least one property from the environment of the host vehicle (1) from the bird's-eye view,- wherein for training the computer program product :• at least one real image (2) taken from above with the surroundings of the ego vehicle (1) is used,• the position of the ego vehicle (1) is determined in the respective at least one real image (2) and at least one property in the vicinity of the position of the The ego vehicle (1) is output as ground truth information,• the ground truth information is used to train the computer program product, characterized in that at least one of the at least one real images (2) with a ego vehicle (1) following drone (9) is recorded, - that the ego vehicle (1) is designed optically in such a way that it can be recognized in the real images (2) recorded by the drone (9), - that the real images (2) recorded by the drone (9) be provided with a time stamp - that for training the computer program product the ground truth information with that created by the computer program product

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines Computerprogrammprodukts, wobei das Computerprogrammprodukt mit aus einem Egofahrzeug stammenden Daten eine Vogelperspektive und aus der Vogelperspektive zumindest eine Eigenschaft aus der Umgebung des Egofahrzeugs ermittelt.The present invention relates to a method for training a computer program product, wherein the computer program product uses data originating from a host vehicle to determine a bird's-eye view and from the bird's-eye view at least one property from the surroundings of the host vehicle.

Informationen zur Umgebung eines Kraftfahrzeugs sind insbesondere für das Fahrassistenzsystem und/oder zum zumindest teilautonomen Fahren des Kraftfahrzeugs von Bedeutung. Zu diesen Eigenschaften zählen beispielsweise die Art und Eigenschaft von Fremdobjekten in der Umgebung des Kraftfahrzeugs und/oder deren Abstand zum Kraftfahrzeug. Hierzu Ermitteln der Eigenschaften kommen Algorithmen bzw. Computerprogrammprodukte zum Einsatz.Information about the surroundings of a motor vehicle is of particular importance for the driver assistance system and/or for at least partially autonomous driving of the motor vehicle. These properties include, for example, the type and property of foreign objects in the area surrounding the motor vehicle and/or their distance from the motor vehicle. Algorithms or computer program products are used to determine the properties.

Das Ermitteln der Eigenschaften erfolgt beispielsweise durch das Erzeugen einer Vogelperspektive mit dem Kraftfahrzeug mittels aus dem Kraftfahrzeug stammenden Daten. Diese Daten entsprechen oder beinhalten üblicherweise mit zumindest Kamera des Kraftfahrzeugs aufgenommenen Bilder. Die Erzeugung der Vogelperspektive umfasst üblicherweise als „Lifting and Splatting“ bekannte Maßnahmen. Beim „Lifting“ wird die Bestimmung der Tiefenverteilung je Bildpunkt beschrieben. „Splatting“ umfasst die Umrechnung in die reale Umgebung und/oder auf eine Grundebene des Kraftfahrzeugs.The properties are determined, for example, by generating a bird's-eye view of the motor vehicle using data originating from the motor vehicle. These data usually correspond to or contain images recorded at least with a camera of the motor vehicle. The generation of the bird's-eye view involves actions commonly known as "lifting and splatting". "Lifting" describes the determination of the depth distribution for each pixel. "Splatting" includes the conversion to the real environment and/or to a basic plane of the motor vehicle.

Für die Genauigkeit und/oder Zuverlässigkeit derartiger Verfahren ist eine entsprechend hohe und/oder genauer Schätzung der Tiefen wichtig. Um dies zu erreichen, ist es bekannt, die verwendeten Algorithmen entsprechend zu trainieren. Zu diesem Zweck werden üblicherweise Trainingsdatensätze zur Verfügung gestellt, welche reale Eigenschaften aus der Umgebung des Kraftfahrzeugs, auch als „Ground-Truth“-Information bekannt, enthalten. Für das Erstellen der Datensätze werden oft Kameras zusammen mit Lidar-Sensoren verwendet und durch teilautomatische oder manuelle Prozesse Ground-Truth-Information erzeugt. Das Erzeugen der Ground-Truth-Information ist daher aufwendig.A correspondingly high and/or accurate estimate of the depths is important for the accuracy and/or reliability of such methods. In order to achieve this, it is known to train the algorithms used accordingly. Training data records are usually made available for this purpose, which contain real properties from the environment of the motor vehicle, also known as “ground truth” information. Cameras are often used together with lidar sensors to create the data sets and ground truth information is generated through semi-automated or manual processes. Generating the ground truth information is therefore complex.

Aus der EP 3 671 623 A1 ist ein Algorithmus bekannt, welcher zum Erzeugen einer Draufsicht auf eine Umgebung eines Kraftfahrzeugs Sensordaten des Kraftfahrzeugs mit Satellitenbildern zusammengeführt, um ein stabilisiertes Bild des Kraftfahrzeugs in Vogelperspektive zu erzeugen. Zum Trainieren des Algorithmus werden ebenfalls Satellitenbilder herangezogen.From the EP 3 671 623 A1 an algorithm is known which combines sensor data of the motor vehicle with satellite images in order to generate a top view of an area surrounding a motor vehicle in order to generate a stabilized image of the motor vehicle in a bird's-eye view. Satellite images are also used to train the algorithm.

Die CN 111 016 918 A beschreibt einen Algorithmus zum Erkennen von Parkplätzen für ein Kraftfahrzeug. Dabei wird aus in unterschiedlichen Richtungen aufgenommenen Bildern eine Vogelperspektive erzeugt. Aus der Vogelperspektive werden Parkplätze für das Kraftfahrzeug ermittelt. Der Algorithmus wird mit Trainingsbildern trainiert, welche durch einen Algorithmus derart erzeugt werden, dass die Parkplätze angulare Eigenschaften besitzen.The CN 111 016 918 A describes an algorithm for detecting parking spaces for a motor vehicle. A bird's eye view is generated from images taken in different directions. Parking spaces for the motor vehicle are determined from a bird's eye view. The algorithm is trained with training images, which are generated by an algorithm in such a way that the parking spaces have angular properties.

Der Artikel „Applications, databases and open computer vision research from drone videos and images: a survey“ von Younes Akbari et al, aus Artificial Intelligence Review, Springer, https://doi.org/10.1007/s10462-020-09943-1. beschreibt die Analyse von Videos und Bildern, die von unbemannten Luftfahrzeugen oder Drohnen aufgenommen wurden. Dabei wird die Entwicklung von autonomen Operationen in drei Gruppen beschrieben. Die erste Gruppe bezieht sich auf Fernerkundung mit Herausforderungen wie Kamerakalibrierung, Bildabgleich und Triangulation aus der Luft. Die zweite Gruppe bezieht sich auf die autonome Navigation von Drohnen, bei der Computer-Vision-Methoden entwickelt werden, um Herausforderungen wie Flugkontrolle, visuelle Lokalisierung und Kartierung, Zielverfolgung und Hinderniserkennung. Die dritte Gruppe widmet sich der Nutzung von Bildern und Videos, die von Drohnen in verschiedenen Anwendungen aufgenommen werden, wie Überwachung, Land- und Forstwirtschaft, Tiererkennung, Katastrophenerkennung und Gesichtserkennung. Dabei wird jeweils eine Datenbank bereitgestellt.The article "Applications, databases and open computer vision research from drone videos and images: a survey" by Younes Akbari et al, from Artificial Intelligence Review, Springer, https://doi.org/10.1007/s10462-020-09943-1 . describes the analysis of videos and images recorded by unmanned aerial vehicles or drones. The development of autonomous operations is described in three groups. The first group relates to remote sensing with challenges such as camera calibration, image matching and aerial triangulation. The second group relates to autonomous drone navigation, where computer vision methods are developed to address challenges such as flight control, visual localization and mapping, target tracking, and obstacle detection. The third group is dedicated to the use of images and videos captured by drones in various applications such as surveillance, agriculture and forestry, animal detection, disaster detection and face recognition. A database is provided in each case.

„Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D“; arXiv, 13 Aug 2020, https: //arxiv.org/abs/2008 . 05711vl, beschreibt als Ziel der Wahrnehmung für autonome Fahrzeuge die Extraktion
semantischen Repräsentationen von mehreren Sensoren zu extrahieren und diese Repräsentationen zu einem einzigen Vogelperspektive-Koordinatensystem für die Bewegungsplanung. Es wird eine End-to-End-Architektur vorgeschlagen, die direkt eine „Vogelperspektive“-Darstellung einer Szene aus Bilddaten von einer beliebigen Anzahl von Kameras extrahiert."Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D"; arXiv, 13 Aug 2020, https://arxiv.org/abs/2008 . 05711vl, describes extraction as the goal of perception for autonomous vehicles
Extract semantic representations from multiple sensors and merge these representations into a single bird's-eye view coordinate system for motion planning. An end-to-end architecture is proposed that directly extracts a "bird's eye view" representation of a scene from image data from any number of cameras.

Der Artikel „Learning to Map Vehicles into Bird's Eye View“, arXiv, 26.06.2017, https://arxiv.org/abs/1706.08442v1, beschäftigt sich mit der Wahrnehmung des Straßenbildes für autonome Fahrzeuge und Fahrerassistenzsysteme. In einem Verfahren zum Erlernen einer semantischen Transformation wird die Erkennungen aus einer Dashboard-Kameraansicht auf eine breitere Vogelperspektive-Karte der Szene abgebildet. Zu diesem Zweck wird ein synthetischer Datensatz mit „IM-Paaren“ von Bildern, die sowohl vom Armaturenbrett als auch aus der Vogelperspektive aufgenommen wurden, gesammelt und automatisch ausgewertet. Ein Deep-Network wird dann darauf trainiert, Warp-Erkennungen von der ersten zur zweiten Ansicht zu erkennen.The article "Learning to Map Vehicles into Bird's Eye View", arXiv, 06/26/2017, https://arxiv.org/abs/1706.08442v1, deals with the perception of the streetscape for autonomous vehicles and driver assistance systems. In a method for learning a semantic transformation, the detections are mapped from a dashboard camera view to a broader bird's-eye view map of the scene. For this purpose, a synthetic data set with "IM pairs" of images taken from both the dashboard and the were also recorded from a bird's eye view, collected and automatically evaluated. A deep network is then trained to recognize warp detections from the first to the second view.

Die vorliegende Erfindung beschäftigt sich mit der Aufgabe, für ein Verfahren zum Trainieren eines Computerprogrammprodukts, welches aus seinem Kraftfahrzeug stammenden Daten eine Vogelperspektive erzeugt, eine verbesserte oder andere Ausführungsform anzugeben, welche insbesondere Nachteile aus dem Stand der Technik beseitigt. Insbesondere beschäftigt sich die vorliegende Erfindung mit der Aufgabe, für das Verfahren eine Ausführungsform anzugeben, welche sich insbesondere durch ein verbessertes und/oder vereinfachtes Trainieren des Computerprogrammprodukts mit verbesserten Trainingsdaten auszeichnet.The present invention is concerned with the task of specifying an improved or different embodiment for a method for training a computer program product that generates a bird's-eye view from data originating from its motor vehicle, which in particular eliminates disadvantages from the prior art. In particular, the present invention is concerned with the task of specifying an embodiment for the method which is characterized in particular by improved and/or simplified training of the computer program product with improved training data.

Diese Aufgabe wird erfindungsgemäß durch den Gegenstand des unabhängigen Anspruchs 1 gelöst. Vorteilhaft Ausführungsformen sind Gegenstand der abhängigen Ansprüche.According to the invention, this object is achieved by the subject matter of independent claim 1 . Advantageous embodiments are the subject matter of the dependent claims.

Die vorliegende Erfindung beruht demnach auf dem Gedanken, zum Trainieren eines Computerprogramprodukts, welches aus aus einem Kraftfahrzeug stammenden Daten eine Vogelperspektive und aus der Vogelperspektive zumindest eine Eigenschaft aus der Umgebung des Kraftfahrzeugs ermittelt, von oben aufgenommene Bilder mit der Umgebung des Kraftfahrzeugs, nachfolgend auch als Realbilder bezeichnet, einzusetzen. Da somit bereits Daten in der Zieldomäne der Vogelperspektive zu Verfügung stehen und/oder erzeugt werden, lässt sich eine weitere Vereinfachung des Verfahrens erzielen. In der Folge ist das das Trainieren des Computerprogramprodukts vereinfacht und kostengünstiger und zugleich präzise. Der erfindungsgemäße Gedanke erlaubt es ferner, aus den Realbildern zumindest teilweise automatisiert Ground-Truth-Information zum Trainieren des Computerprogramprodukts zu erzeugen. Somit ist das das Trainieren des Computerprogramprodukts weiter vereinfacht und kostengünstiger.The present invention is therefore based on the idea of training a computer program product, which uses data originating from a motor vehicle to determine a bird's-eye view and from the bird's-eye view at least one property of the area surrounding the motor vehicle, images taken from above with the area surrounding the motor vehicle, hereinafter also referred to as called real images to use. Since data are thus already available and/or generated in the target domain of the bird's-eye view, the method can be further simplified. As a result, the training of the computer program product is simplified and more cost-effective and at the same time precise. The idea according to the invention also allows ground truth information for training the computer program product to be generated from the real images in an at least partially automated manner. Thus, the training of the computer program product is further simplified and more cost-effective.

Dem Erfindungsgedanken entsprechend wird das Computerprogrammprodukt mit Ground-Truth-Information, nachfolgend auch kurz als Information bezeichnet, trainiert. Das Computerprogramprodukt erzeugt aus von einem Kraftfahrzeug stammenden Daten eine Vogelperspektive mit dem Kraftfahrzeug, wobei aus der Vogelperspektive zumindest eine Eigenschaft aus der Umgebung des Kraftfahrzeugs ermittelt wird. Das Kraftfahrzeug wird nachfolgend auch als Egofahrzeug bezeichnet. Zum Trainieren des Computerprogramprodukts wird zumindest ein von oben aufgenommenes Realbild herangezogen. In dem jeweiligen zumindest einen Realbild wird die Position des Egofahrzeugs ermittelt und zumindest eine Eigenschaft in der Umgebung der Position des Egofahrzeugs als Ground-Truth-Information ausgegeben. Die Ground-Truth-Information wird zum Trainieren des Computerprogrammprodukts verwendet.According to the idea of the invention, the computer program product is trained with ground truth information, also referred to as information for short below. The computer program product generates a bird's-eye view of the motor vehicle from data originating from a motor vehicle, at least one property of the surroundings of the motor vehicle being determined from the bird's-eye view. The motor vehicle is also referred to below as the host vehicle. At least one real image recorded from above is used to train the computer program product. The position of the host vehicle is determined in the respective at least one real image and at least one property in the vicinity of the position of the host vehicle is output as ground truth information. The ground truth information is used to train the computer program product.

Bei der jeweiligen zumindest einen Eigenschaft kann es sich um beliebige Eigenschaften in der Umgebung des Egofahrzeugs handeln.The respective at least one property can be any property in the environment of the host vehicle.

Insbesondere handelt es sich bei zumindest eine der wenigstens einen Eigenschaften um die Art eines Fremdobjekts in der Umgebung des Egofahrzeugs und/oder um die Position des Fremdobjekts zum Egofahrzeug. Dabei kann es sich um statische Fremdobjekte, wie beispielsweise Straßenmarkierungen, Verkehrsschilder und dergleichen handeln. Ebenso kann es sich dabei um bewegtes Fremdobjekte, wie beispielsweise Fremdfahrzeuge handeln.In particular, at least one of the at least one properties is the type of foreign object in the vicinity of the host vehicle and/or the position of the foreign object in relation to the host vehicle. This can be static foreign objects such as road markings, traffic signs and the like. It can also be moving foreign objects, such as foreign vehicles.

Das Computerprogrammprodukt und/oder das Ermitteln der Eigenschaften erfolgen bevorzugt auf Basis einer semantischen Trennung, welche eine Unterscheidung zwischen unterschiedlichen Fremdobjekten, insbesondere zwischen statischen und bewegten Fremdobjekten, beinhaltet und/oder erlaubt.The computer program product and/or the determination of the properties preferably takes place on the basis of a semantic separation, which includes and/or allows a distinction between different foreign objects, in particular between static and moving foreign objects.

Die aus dem Egofahrzeug stammenden Daten, aus denen das Computerprogrammprodukt die Vogelperspektive erzeugt, können prinzipiell solche beliebige Art sein.The data originating from the ego vehicle, from which the computer program product generates the bird's eye view, can in principle be of any type.

Bevorzugt handelt es sich bei den Daten zumindest teilweise um Bilder, welche mit zumindest einer am Egofahrzeug angebrachten Kamera aufgenommen werden. Diese Bilder werden nachfolgend auch als Egoaufnahmen bezeichnet. Das Computerprogrammprodukt erzeugt also mittels der Egoaufnahmen die Vogelperspektive, um aus der somit erzeugten Vogelperspektive zumindest eine Eigenschaft in der Umgebung des Egofahrzeugs zu ermitteln.The data are preferably at least partially images that are recorded with at least one camera attached to the host vehicle. These images are also referred to below as ego images. The computer program product thus uses the ego recordings to generate the bird's eye view in order to determine at least one property in the environment of the ego vehicle from the bird's eye view thus generated.

Das Computerprogrammprodukt erzeugt vorteilhaft die Vogelperspektive mittels des sogenannten „Lifting and Splatting“. Beim „Lifting“ wird vorteilhaft die Tiefenverteilung je Bildpunkt der Egoaufnahmen bestimmt. Beim „Splatting“ erfolgt die Umrechnung in die reale Umgebung und/oder auf eine Grundebene des Egofahrzeugs.The computer program product advantageously generates the bird's eye view by means of the so-called "lifting and splatting". With "lifting" the depth distribution per pixel of the ego shots is advantageously determined. With "splatting" the conversion into the real environment and/or on a basic level of the ego vehicle takes place.

Das Trainieren des Computerprogramprodukts mittels der Ground-Truth-Information kann auf beliebige Weise erfolgen.The computer program product can be trained using the ground truth information in any manner.

Insbesondere kann durch einen Vergleich der Ground-Truth-Information mit aus der Vogelperspektive ermittelten Eigenschaften Verbesserungen und/oder Optimierungen des Computerprogramprodukts durchgeführt werden. Beispielsweise ist es möglich, aus der Ground-Truth-Information einen Datensatz zum Trainieren und einen Datensatz zum Vergleichen bereitzustellen.In particular, improvements can be made by comparing the ground truth information with properties determined from a bird's eye view and/or optimizations of the computer program product are carried out. For example, it is possible to provide a data set for training and a data set for comparison from the ground truth information.

Für das Training des Computerprogramprodukts können insbesondere die durch Lifting und Splatting geschätzten Tiefen mit der Ground-Truth-Information verglichen werden.In particular, the depths estimated by lifting and splatting can be compared with the ground truth information for the training of the computer program product.

Das Computerprogrammprodukt und/oder das Trainieren des Computerprogramprodukts erfolgt vorzugsweise mittels eines neuronalen Netzes, welches entsprechend ausgestaltet ist.The computer program product and/or the training of the computer program product preferably takes place by means of a neural network, which is designed accordingly.

Vorteilhaft werden abhängig von den Realbildern unterschiedliche semantische Ground-Truth-Informationen ermittelt. Insbesondere ist es somit möglich, je nach Art der Realbilder, das heißt insbesondere deren Quelle, unterschiedliche semantische Ground-Truth-Informationen zu ermitteln.Different semantic ground truth information is advantageously ascertained as a function of the real images. In particular, it is thus possible to determine different semantic ground truth information depending on the type of real images, that is to say in particular their source.

Zum Ermitteln der Position des Egofahrzeugs in den Realbildern können GPS-Daten verwendet werden.GPS data can be used to determine the position of the host vehicle in the real images.

Bei bevorzugten Ausführungsformen werden die Realbilder orthogonal projiziert, sodass sie die gleiche Ansicht zeigen wie die vom Computerprogrammprodukt erstellte Vogelperspektive. Dabei wird die Ground-Truth-Information bevorzugt aus den Realbildern ermittelt.In preferred embodiments, the real images are orthogonally projected so that they show the same view as the bird's-eye view created by the computer program product. The ground truth information is preferably determined from the real images.

Voreilhaft Ausführungsformen sehen vor, dass die Realbilder, insbesondere die projizierten Realbilder, skaliert werden, sodass sie die gleichen Skalen zeigen wie die vom Computerprogrammprodukt erstellte Vogelperspektive. Dabei wird die Ground-Truth-Information vorteilhaft aus den skalierten Realbildern, bevorzugt aus projizierten und skalierten Realbildern, ermittelt.Advantageous embodiments provide that the real images, in particular the projected real images, are scaled so that they show the same scales as the bird's eye view created by the computer program product. In this case, the ground truth information is advantageously determined from the scaled real images, preferably from projected and scaled real images.

Vorstellbar ist es, dass zumindest eines der wenigstens einen Realbilder eine Satellitenaufnahme ist. Das heißt, dass zumindest eine Satellitenaufnahme und/oder Luftaufnahme als Realbild verwendet wird. Nachfolgend wird der Einfachheit halber sowohl für Satellitenaufnahmen als auch für Luftaufnahmen der Ausdruck „Satellitenaufnahme“ verwendet.It is conceivable that at least one of the at least one real image is a satellite image. This means that at least one satellite image and/or aerial photograph is used as the real image. For the sake of simplicity, the term "satellite image" is used below for both satellite images and aerial images.

Satellitenaufnahmen bieten insbesondere den Vorteil, dass für die gleiche Region gewöhnlich mehrere Satellitenaufnahmen vorliegen, welche beispielsweise zu unterschiedlichen Tageszeiten und/oder Jahreszeiten aufgenommen wurden.Satellite recordings offer the particular advantage that there are usually several satellite recordings for the same region, which were recorded, for example, at different times of the day and/or seasons.

Bevorzugt werden Satellitenaufnahmen als Realbilder verwendet, um Eigenschaften von statischen bzw. ortsfesten Fremdobjekten als Ground-Truth-Information zu ermitteln und bereitzustellen. Bevorzugt handelt es sich bei den Fremdobjekten um nichterhabene Objekte.Satellite recordings are preferably used as real images in order to determine and provide properties of static or stationary foreign objects as ground truth information. The foreign objects are preferably non-elevated objects.

Dabei können beispielsweise Straßenmarkierungen in der Nähe des Egofahrzeugs genutzt und mit den Egoaufnahmen abgeglichen werden,
um auf dieser Basis das Egofahrzeugs innerhalb der Satellitenaufnahmen zu lokalisieren. Für die Initialisierung können auch GPS/IMU/Kompass-System-Daten genutzt werden. Alternativ kann auch ein hochgenaues GPS-System verwendet werden. Dieses Vorgehen eignet sich insbesondere für flache, ortsfeste Objekte, wie Straßenmarkierungen oder Bordsteine. Für diese semantischen Objekte kann damit automatisch Ground-Truth-Information erzeugt werden.For example, road markings in the vicinity of the ego vehicle can be used and compared with the ego recordings,
in order to localize the ego vehicle within the satellite images on this basis. GPS/IMU/compass system data can also be used for initialization. Alternatively, a high-precision GPS system can also be used. This procedure is particularly suitable for flat, stationary objects such as road markings or curbs. Ground truth information can thus be generated automatically for these semantic objects.

Alternativ oder zusätzlich zu den Satellitenaufnahmen ist es möglich in analoger Weise auf Aufnahmen zuzugreifen, welche durch fahrzeugbasiertes Mapping entstehen.As an alternative or in addition to the satellite images, it is possible to access images created by vehicle-based mapping in an analog manner.

Erfindungsgemäß stammt zumindest eines der wenigstens einen Realbilder von einer dem Egofahrzeug folgenden Drohne.According to the invention, at least one of the at least one real images originates from a drone following the host vehicle.

Das Egofahrzeug ist optisch derart auszugestalten, dass es in den von der Drohne stammenden Realbildern vereinfacht und/oder gut erkennbar ist. Zu diesem Zweck kann das Egofahrzeug mit einer geometrischen Eigenheit ausgebildet werden. Alternativ oder zusätzlich ist das Egofahrzeug mit einer optischen Markierung, beispielsweise auf dem Dach des Egofahrzeugs, versehen. Dies vereinfacht es insbesondere auch, die Realbilder orthogonal zu projizieren und/oder zu skalieren.The ego vehicle must be optically designed in such a way that it is simplified and/or easily recognizable in the real images from the drone. For this purpose, the host vehicle can be designed with a geometric peculiarity. Alternatively or additionally, the host vehicle is provided with an optical marking, for example on the roof of the host vehicle. In particular, this also simplifies orthogonal projection and/or scaling of the real images.

Alternativ oder zusätzlich können bekannte Dimensionen des Egofahrzeugs und/oder der Markierung als Maßstab zum Skalieren dienen.As an alternative or in addition, known dimensions of the host vehicle and/or the marking can serve as a benchmark for scaling.

Bei vorteilhaften Ausführungsformen wird eine Trajektorie der Drohne relativ zum Egofahrzeug zum Projizieren und/oder Skalieren der Realbilder herangezogen. In advantageous embodiments, a trajectory of the drone relative to the host vehicle is used to project and/or scale the real images.

Dies führt zu einem vereinfachten und/oder genaueren Projizieren und/oder Skalieren.This leads to simplified and/or more accurate projection and/or scaling.

Die Trajektorie kann mittels GPS-Daten erzeugt und/oder hinterlegt werden.The trajectory can be generated and/or stored using GPS data.

Alternativ oder zusätzlich kann durch ein Mapping-Verfahren die Bewegung der Drohne rekonstruiert und mit GPS-Daten abgeglichen werden. Damit lässt sich die Trajektorie der Drohne korrekt und einfach ermitteln und/oder skalieren. Nachfolgend können bspw. einzelne Punkte auf dem Fahruntergrund des Egofahrzeugs verfolgt und trianguliert werden, so dass ihr Abstand in einer Einheit, beispielsweise in Metern, bestimmt werden kann.Alternatively or additionally, the movement of the drone can be reconstructed using a mapping method and compared with GPS data. This allows the trajectory of the drone to be determined and/or scaled correctly and easily. Below, for example, individual points on the Driving surface of the ego vehicle are tracked and triangulated so that their distance in a unit, for example in meters, can be determined.

Erfindungsgemäß werden die von der Drohne aufgenommenen Realbilder mit einem Zeitstempel versehen. Dabei wird zum Trainieren des Computerprogrammprodukts die Ground-Truth-Information mit der vom Computerprogrammprodukt erstellten Vogelperspektive zeitlich synchronisiert. Dies erlaubt eine vereinfachte Automatisierung des Verfahrens. Zudem erfolgt auf diese Weise ein vereinfachtes sowie verbessertes Trainieren des Computerprogramprodukts.According to the invention, the real images recorded by the drone are provided with a time stamp. In this case, for training the computer program product, the ground truth information is temporally synchronized with the bird's-eye view created by the computer program product. This allows a simplified automation of the method. In addition, simplified and improved training of the computer program product takes place in this way.

Die zeitliche Synchronisierung kann auf Basis von GPS-Daten erfolgen.The time synchronization can be based on GPS data.

Alternativ oder zusätzlich kann das Egofahrzeug mit einer aktiven Anzeige zur Übertragung von Zeitstempelinformation versehen werden. Somit sind die Realbilder direkt mit dem jeweils zugehörigen Zeitstempel versehen und/oder lassen sich die Realbilder vereinfacht mit dem jeweils zugehörigen Zeitstempel versehen.Alternatively or additionally, the host vehicle can be provided with an active display for transmitting time stamp information. The real images are thus directly provided with the respectively associated time stamp and/or the real images can be provided with the respectively associated time stamp in a simplified manner.

Gegenüber Satellitenaufnahmen haben mit der Drohne aufgenommene Realbilder den Vorteil, dass die Realbilder aktuell sind. Damit weisen die Realbilder, insbesondere nach dem Projizieren und/oder Skalieren, die gleichen oder vergleichbare Eigenschaften auf, wie die mit dem Computerprogramprodukts erzeugte Vogelperspektive.Compared to satellite images, real images taken with a drone have the advantage that the real images are up-to-date. The real images thus have the same or comparable properties as the bird's-eye view generated with the computer program product, in particular after projection and/or scaling.

Mit der Drohne aufgenommenen Realbilder haben alternativ oder zusätzlich den Vorteil, dass neben statischen Fremdobjekten auch bewegte Fremdobjekte als oder für die Ground-Truth-Information vorhanden sein können. Dies führt zu erheblich umfangreicherer Ground-Truth-Information und somit zu einem erheblich verbesserten Trainingsergebnis.Real images recorded with the drone alternatively or additionally have the advantage that, in addition to static foreign objects, moving foreign objects can also be present as or for the ground truth information. This leads to significantly more extensive ground truth information and thus to a significantly improved training result.

In mit der Drohne aufgenommenen Realbildern lässt sich die Position des Egofahrzeugs, ebenso wie in den Satellitenaufnahmen, durch eine Lokalisierung von Merkmalen, bspw. Straßenmarkierungen und dergleichen, umsetzen. Alternativ oder zusätzlich kann das Egofahrzeug mittels der vorstehenden erläuterten optischen Ausgestaltung, insbesondere mittels der Markierung vereinfacht in den Realbildern erkennen.The position of the ego vehicle can be implemented in real images recorded with the drone, just as in the satellite images, by localizing features, e.g. road markings and the like. Alternatively or additionally, the host vehicle can recognize in the real images in a simplified manner by means of the optical configuration explained above, in particular by means of the marking.

Ein weiterer Vorteil der optischen Ausgestaltung, insbesondere der Markierung, ist, dass die Drohne auf diese Weise vereinfacht automatisiert dem Egofahrzeug, insbesondere mit einem vorgegebenen und/oder bekannten Abstand, folgen kann. Dies führt zu einer vereinfachten Durchführung zur Aufnahme der Realbilder und/oder der nachträglichen Bearbeitung der Realbilder.A further advantage of the optical configuration, in particular of the marking, is that the drone can follow the host vehicle in a simplified, automated manner in this way, in particular at a predetermined and/or known distance. This leads to a simplified procedure for recording the real images and/or the subsequent processing of the real images.

Das Verfahren zum Trainieren des Computerprogramprodukts, insbesondere zum Erzeugen und/oder Bereitstellen der Ground-Truth-Information, kann in einem entsprechenden Computerprogrammprodukt umgesetzt sein. Es versteht sich dabei, dass auch das Computerprogrammprodukt zum Erzeugen und/oder Bereitstellen der Ground-Truth-Information zum Umfang dieser Erfindung gehört.The method for training the computer program product, in particular for generating and/or providing the ground truth information, can be implemented in a corresponding computer program product. It goes without saying that the computer program product for generating and/or providing the ground truth information also belongs to the scope of this invention.

Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.Further important features and advantages of the invention result from the dependent claims, from the drawings and from the associated description of the figures with reference to the drawings.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It goes without saying that the features mentioned above and those still to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the present invention.

Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.Preferred exemplary embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description, with the same reference symbols referring to identical or similar or functionally identical components.

Es zeigen, jeweils schematisch

1 ein vereinfacht dargestelltes, von oben aufgenommenes Realbild mit einem Egofahrzeug,
2 eine stark vereinfachte Seitenansicht bei zur Aufnahme des Realbilds,
3 ein Flussdiagramm zur Erläuterung des Verfahrens zum Trainieren eines Computerprogrammprodukts,
4 eine vergrößerte Darstellung des Egofahrzeugs aus 1.

Show it, each schematically

1 a simplified real image taken from above with an ego vehicle,
2 a highly simplified side view for recording the real image,
3 a flowchart explaining the method for training a computer program product,
4 an enlarged representation of the ego vehicle 1 .

Ein Computerprogrammprodukt kommt zum Einsatz, um aus einem Kraftfahrzeug 1, wie es beispielhaft in den 1, 2 und 4 gezeigt ist, stammenden Daten eine Vogelperspektive in der Art der in 1 gezeigten Darstellung zu erzeugen und aus der Vogelperspektive zumindest eine Eigenschaft aus der Umgebung des Kraftfahrzeugs 1 zu ermitteln. Das Kraftfahrzeug 1 wird nachfolgend auch als Egofahrzeug 1 bezeichnet. Das Computerprogrammprodukt kommt insbesondere im Egofahrzeug 1 zum Einsatz. Das Computerprogrammprodukt ist oder beinhaltet vorteilhaft eine künstliche Intelligenz zur Erkennung der Eigenschaften aus der Umgebung des Egofahrzeugs 1.A computer program product is used to from a motor vehicle 1, as exemplified in the 1 , 2 and 4 is shown, originating data a bird's-eye view in the manner of in 1 to generate the representation shown and to determine at least one property from the environment of motor vehicle 1 from a bird's-eye view. The motor vehicle 1 is also referred to below as the host vehicle 1 . The computer program product is used in particular in the ego vehicle 1 . The computer program product is or advantageously contains an artificial intelligence for recognizing the properties from the environment of the host vehicle 1.

Zum Verbessern des Computerprogrammprodukts, insbesondere der künstlichen Intelligenz, wird das Computerprogrammprodukt trainiert. Zu diesem Zweck werden reale Eigenschaften aus der Umgebung des Egofahrzeugs 1 verwendet. Diese realen Eigenschaften sind auch als sogenannte „Ground-Truth“-Information bekannt. Zur Bereitstellung der Ground-Truth-Information, welche nachfolgend auch kurz als Information bezeichnet wird, werden von oben aufgenommene Bilder 2 herangezogen, welche nachfolgend auch als Realbilder 2 bezeichnet werden. Ein solches Realbild 2 ist lediglich in 1 sowie vereinfacht und beispielhaft gezeigt. Dabei wird die Position des Egofahrzeugs 1 in dem jeweiligen Realbild 2 ermittelt und zumindest eine Eigenschaft in der Umgebung der Position des Egofahrzeugs 1 als Ground-Truth-Information ausgegeben. Diese Ground-Truth-Information wird Trainieren des Computerprogrammprodukts verwendet.In order to improve the computer program product, in particular the artificial intelligence, the computer program product is trained. Real properties from the environment of the host vehicle 1 are used for this purpose. These real properties are also known as so-called "ground truth" information. To provide the ground truth information, which is also referred to below as information for short, images 2 taken from above are used, which are also referred to below as real images 2 . Such a real image 2 is only in 1 as well as simplified and shown as an example. The position of the host vehicle 1 in the respective real image 2 is determined and at least one property in the vicinity of the position of the host vehicle 1 is output as ground truth information. This ground truth information is used to train the computer program product.

Bei der Information und somit bei der zumindest einen Eigenschaft in der Umgebung des Egofahrzeugs 1 kann es sich, wie in 1 vereinfacht angedeutet, um die relative Position und/oder Art von Fremdobjekten 3 handeln. Die Fremdobjekten 3 können statisches Fremdobjekte 4 sowie bewegte Fremdobjekt 5 sein. Zu den bewegten Fremdobjekten 5 gehören beispielsweise andere Kraftfahrzeuge 6, also Fremdfahrzeuge 6. Zu den statischen Fremdobjekten 5 gehören beispielsweise Straßenmarkierungen 7. Das Computerprogrammprodukt ist vorzugsweise ausgestaltet, um die verschiedenen Fremdobjekte 4 insbesondere auf Basis einer semantischen Trennung zu erkennen.The information and thus the at least one property in the environment of the host vehicle 1 can be, as in 1 indicated in simplified terms to act in relation to the relative position and/or type of foreign objects 3 . The foreign objects 3 can be static foreign objects 4 as well as moving foreign objects 5 . The moving foreign objects 5 include, for example, other motor vehicles 6, ie other vehicles 6. The static foreign objects 5 include, for example, road markings 7. The computer program product is preferably designed to recognize the various foreign objects 4, in particular on the basis of a semantic separation.

Die Daten aus dem Egofahrzeug 1 zum Erzeugen der Vogelperspektive stammen, wie in 2 angedeutet, zumindest teilweise von zumindest einer Kamera 8 des Egofahrzeugs 1, welche nachfolgend auch als Egokamera 8 bezeichnet wird. Dabei weist das Egofahrzeug 1 vorteilhaft zwei oder mehr Egokameras 8 auf (nicht gezeigt). Das Computerprogrammprodukt erzeugt also im Betrieb mittels der mit den Egokameras 8 aufgenommenen Bilder (nicht gezeigt) die Vogelperspektive, um aus der Vogelperspektive besagte Eigenschaften zu ermitteln.The data from the ego vehicle 1 for generating the bird's eye view come from, as in 2 indicated, at least in part, by at least one camera 8 of the host vehicle 1, which is also referred to below as the first camera 8. The ego vehicle 1 advantageously has two or more ego cameras 8 (not shown). During operation, the computer program product thus generates the bird's-eye view using the images recorded with the ego cameras 8 (not shown) in order to determine said properties from the bird's-eye view.

Das Trainieren des Computerprogrammprodukts kann beispielsweise durch einen Vergleich der Ground-Truth-Information mit dem aus der Vogelperspektive ermittelten Eigenschaften erfolgen. Dies erfolgt beispielsweise mittels eines neuronalen Netzes. Alternativ oder zusätzlich können aus der Ground-Truth-Information ein Datensatz zum Trainieren des Computerprogrammprodukts und ein Datensatz zum Vergleichen und/oder zum Verifizieren des Trainingsergebnisses bereitgestellt werden.The computer program product can be trained, for example, by comparing the ground truth information with the properties determined from a bird's eye view. This is done, for example, by means of a neural network. Alternatively or additionally, a data record for training the computer program product and a data record for comparing and/or verifying the training result can be provided from the ground truth information.

Wie in 2 gezeigt, werden die Realbilder 2 in den gezeigten Ausführungsbeispielen mit einer dem Egofahrzeug 1 folgenden Drohne 9 aufgenommen. Vorstellbar ist es auch, zumindest eine Satellitenaufnahme als Realbild 2 zu verwenden.As in 2 shown, the real images 2 are recorded in the exemplary embodiments shown with a drone 9 following the host vehicle 1 . It is also conceivable to use at least one satellite image as real image 2 .

4 zeigt eine vergrößerte Darstellung des Egofahrzeugs 1 aus 1. Wie insbesondere 4 zu entnehmen ist, wird das Egofahrzeug 1 optisch derart ausgestaltet, dass es in den von der Drohne 9 aufgenommenen Realbildern 2 erkennbar ist. Zu diesem Zweck ist das Egofahrzeug 1 im gezeigten Ausführungsbeispiel auf dem Dach mit einer Markierung 10 versehen. Alternativ oder zusätzlich wäre es möglich, das Egofahrzeug 1 mit einer entsprechend markanten Form zu versehen und/oder auszubilden (nicht gezeigt). 4 FIG. 12 shows an enlarged view of the host vehicle 1. FIG 1 . How in particular 4 can be seen, the ego vehicle 1 is designed optically in such a way that it can be recognized in the real images 2 recorded by the drone 9 . For this purpose, the host vehicle 1 is provided with a marking 10 on the roof in the exemplary embodiment shown. Alternatively or additionally, it would be possible to provide and/or design the host vehicle 1 with a correspondingly distinctive shape (not shown).

Die mit der Drohne 9 aufgenommenen Realbilder 2 werde mit einem Zeitstempel versehen, um diese mit der jeweils vom Computerprogrammprodukt erzeugten Vogelperspektive vergleichen und insbesondere diesen zuordnen zu können. Dabei wird zum Trainieren des Computerprogrammprodukts die Ground-Truth-Information mit der vom Computerprogrammprodukt erstellten Vogelperspektive zeitlich synchronisiert. Bevorzugt wird eine Trajektorie der Drohne 9 relativ zum Egofahrzeug 1 hinterlegt. Zu diesem Zweck können beispielsweise GPS-Daten zum Einsatz kommen.The real images 2 recorded with the drone 9 are provided with a time stamp in order to be able to compare them with the respective bird's eye view generated by the computer program product and, in particular, to be able to assign them. In this case, for training the computer program product, the ground truth information is temporally synchronized with the bird's-eye view created by the computer program product. A trajectory of the drone 9 relative to the host vehicle 1 is preferably stored. GPS data, for example, can be used for this purpose.

3 zeigt ein Flussdiagramm zur Erläuterung des Trainierens des Computerprogrammprodukts. Ausgangspunkt sind dabei, wie erläutert, die in 3 angedeuteten Realbilder 2. In den Realbildern 2 wird in einer Verfahrensmaßnahme 50 die Position des Egofahrzeugs 1 ermittelt. Dies erfolgt in den gezeigten Ausführungsbeispielen mittels der Markierung 10 des Egofahrzeugs 1 und/oder mittels der bekannten Trajektorie der Drohne 9 relativ zum Egofahrzeug 1 und/oder mittels GPS-Daten. Die Verfahrensmaßnahme 50 wird nachfolgend auch als Positioniermaßnahme 50 bezeichnet. Zudem werden die Realbilder 2 in einer Verfahrensmaßnahme 51 orthogonal projiziert, sodass sie die gleiche Ansicht zeigen wie die vom Computerprogrammprodukt erstellte Vogelperspektive. Auch dies kann mittels der Markierung 10 und/oder der Trajektorie erfolgen. In der Verfahrensmaßnahme 51 erfolgt ferner eine Skalierung der orthogonal projizierten Realbilder 2, sodass sie die gleichen Skalen zeigen wie die vom Computerprogrammprodukt erstellte Vogelperspektive. Dies kann mittels der Markierung 10 und/oder bekannten Dimensionen des Egofahrzeugs 1 und/oder der Trajektorie erfolgen. Die Verfahrensmaßnahme 51 wird nachfolgend auch als Anpassungsmaßnahmen 51 bezeichnet. In einer Verfahrensmaßnahme 52 werden aus den projizierten und skalierten Realbildern 2 besagte Eigenschaften ermittelt, also beispielsweise Abstände von Fremdobjekten 3 zum Egofahrzeug 1 und/oder die Größe und/oder Form der Fremdobjekten 3 ermittelt. Die Verfahrensmaßnahme 52 wird nachfolgend auch als Ermittlungsmaßnahme 52 bezeichnet. Die Ermittlungsmaßnahme 52 liefert somit die Ground-Truth-Information. Die Ground-Truth-Information kommt in einer Verfahrensmaßnahme 53 zum Trainieren des Computerprogrammprodukts zum Einsatz, welche nachfolgend auch als Trainingsmaßnahme 54 bezeichnet wird. Wie in 3 angedeutet, kann das Ergebnis der Trainingsmaßnahme 54 zu einer Anpassung und/oder Optimierung des Computerprogrammprodukts zum Einsatz kommen. 3 shows a flowchart to explain the training of the computer program product. As explained, the starting point is the 3 indicated real images 2. In the real images 2, the position of the host vehicle 1 is determined in a procedural measure 50. In the exemplary embodiments shown, this is done using the marking 10 of the host vehicle 1 and/or using the known trajectory of the drone 9 relative to the host vehicle 1 and/or using GPS data. The method measure 50 is also referred to below as a positioning measure 50 . In addition, the real images 2 are orthogonally projected in a procedural step 51 so that they show the same view as the bird's-eye view created by the computer program product. This can also be done using the marking 10 and/or the trajectory. In procedural measure 51, the orthogonally projected real images 2 are also scaled so that they show the same scales as the bird's-eye view created by the computer program product. This can be done using the marking 10 and/or known dimensions of the host vehicle 1 and/or the trajectory. The procedural measure 51 is also referred to below as adaptation measures 51 . In a procedural measure 52, said properties are determined from the projected and scaled real images 2, ie for example distances from other people objects 3 to the host vehicle 1 and/or the size and/or shape of the foreign objects 3 are determined. The procedural measure 52 is also referred to below as the investigative measure 52 . The investigative measure 52 thus supplies the ground truth information. The ground truth information is used in a procedural measure 53 for training the computer program product, which is also referred to below as a training measure 54 . As in 3 indicated, the result of the training measure 54 can be used to adapt and/or optimize the computer program product.

Claims

Method for training a computer program product, - the computer program product generating data originating from a host vehicle (1) with the host vehicle (1) and determining at least one property from the environment of the host vehicle (1) from the bird's eye view, - wherein for training the computer program product : • at least one real image (2) taken from above with the surroundings of the ego vehicle (1) is used, • the position of the ego vehicle (1) is determined in the respective at least one real image (2) and at least one property in the vicinity of the position of the The ego vehicle (1) is output as ground truth information, • the ground truth information is used to train the computer program product, characterized in that at least one of the at least one real images (2) with a ego vehicle (1) following drone (9) is recorded, - that the ego vehicle (1) is designed optically in such a way that it can be recognized in the real images (2) recorded by the drone (9), - that the real images (2) recorded by the drone (9) are provided with a time stamp, - that for training the computer program product, the ground truth information is time-synchronized with the bird's-eye view created by the computer program product.

procedure after claim 1 , characterized in that - the real images (2) are projected orthogonally so that they show the same view as the bird's-eye view created by the computer program product, - that the ground truth information is determined from the projected real images (2).

procedure after claim 1 or 2 , characterized in that - that the real images (2), in particular the projected real images (2), are scaled so that they show the same scales as the bird's eye view created by the computer program product, - that the ground truth information from the scaled real images ( 2) is determined.

procedure after claim 2 or3, characterized in that a trajectory of the drone (9) relative to the host vehicle (1) is used to project and/or scale the real images (2).

Procedure according to one of Claims 1 until 4 , characterized in that at least one satellite image is used as the real image (2).

Procedure according to one of Claims 1 until 5 , characterized in that depending on the real images (2) different semantic ground truth information is determined.

Procedure according to one of Claims 1 until 7 , characterized in that GPS data are used to determine the position of the host vehicle (1) in the real images (2).