DE102018121866A1 - Method for depth estimation of two-dimensional sensor data - Google Patents

Method for depth estimation of two-dimensional sensor data Download PDF

Info

Publication number
DE102018121866A1
DE102018121866A1 DE102018121866.4A DE102018121866A DE102018121866A1 DE 102018121866 A1 DE102018121866 A1 DE 102018121866A1 DE 102018121866 A DE102018121866 A DE 102018121866A DE 102018121866 A1 DE102018121866 A1 DE 102018121866A1
Authority
DE
Germany
Prior art keywords
sensor data
data
sensor
environment detection
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018121866.4A
Other languages
German (de)
Inventor
Stefan Milz
Varun-Ravi Kumar
Martin Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102018121866.4A priority Critical patent/DE102018121866A1/en
Publication of DE102018121866A1 publication Critical patent/DE102018121866A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten für eine Umfelderfassung eines Fahrzeugs (10) durch ein Fahrunterstützungssystem, dadurch gekennzeichnet dass das Verfahren die folgenden Verfahrensschritte aufweist:
a) Bereitstellen von ersten Sensordaten durch einen ersten Umfelderfassungssensor (14) mit einem ersten Erfassungsbereich, wobei die ersten Sensordaten zweidimensionale Objektdaten von in dem ersten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der erste Umfelderfassungssensor (14) eine Fisheye-Kamera umfasst;
b) Bereitstellen von zweiten Sensordaten durch einen zweiten Umfelderfassungssensor (16) mit einem zweiten Erfassungsbereich, wobei die zweiten Sensordaten Abstandsdaten von in dem zweiten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der zweite Erfassungsbereich zumindest teilweise mit dem ersten Erfassungsbereich identisch ist;
c) Übermitteln der ersten Sensordaten und der zweiten Sensordaten an eine Recheneinheit (12) des Fahrunterstützungssystems; und
d) Abschätzen einer geometrischen Tiefe der ersten Sensordaten unter Verwendung der zweiten Sensordaten durch die Recheneinheit (12) unter Erzeugung von tiefenabgeschätzten Umgebungsdaten.

Figure DE102018121866A1_0000
The invention relates to a method for depth estimation of two-dimensional sensor data for environment detection of a vehicle (10) by a driving support system, characterized in that the method has the following method steps:
a) providing first sensor data by a first environment detection sensor (14) with a first detection area, the first sensor data comprising two-dimensional object data of objects located in the first detection area, and wherein the first environment detection sensor (14) comprises a fish-eye camera;
b) providing second sensor data by a second environment detection sensor (16) with a second detection area, the second sensor data comprising distance data from objects located in the second detection area, and wherein the second detection area is at least partially identical to the first detection area;
c) transmitting the first sensor data and the second sensor data to a computing unit (12) of the driving support system; and
d) Estimating a geometric depth of the first sensor data using the second sensor data by the computing unit (12) with the generation of depth-estimated environmental data.
Figure DE102018121866A1_0000

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten, wobei die Sensordaten insbesondere als kamerabasierte Bilddaten ausgestaltet sind. Die vorliegende Erfindung betrifft ferner ein Fahrunterstützungssystem, das ein derartiges Verfahren zumindest zum Teil ausführen kann.The present invention relates to a method for depth estimation of two-dimensional sensor data, the sensor data being designed in particular as camera-based image data. The present invention further relates to a driving support system that can at least partially carry out such a method.

Fahrunterstützungssysteme, insbesondere Fahrassistenzsysteme, sind Systeme, die entwickelt wurden, um Fahrzeugsysteme zu automatisieren und im Hinblick auf Sicherheit und ein verbessertes Fahrverhalten zu verbessern. Dabei wurden Sicherheitsmerkmale entwickelt, um Kollisionen bzw. Unfälle zu vermeiden, indem Technologien eingesetzt werden, die den Fahrer auf potentielle Gefahren hinweisen oder, die Kollisionen vermeiden, beispielsweise durch das Einleiten von Sicherheitsmaßnahmen oder durch die Übernahme der Fahrzeugkontrolle. Im Falle der autonomen Fahrzeuge können Fahrunterstützungssysteme die Kontrolle des Fahrzeugs übernehmen. Adaptive Merkmale können das Licht automatisieren, adaptive Cruise Control bereitstellen, das Bremsen automatisieren, Verkehrshinweise mit einbauen, Verbindung zu Smartphones herstellen, den Fahrer z.B. in Bezug auf andere Fahrzeuge oder verschiedene Arten von Gefahren alarmieren, das Fahrzeug in der richtigen Spur halten, oder zeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme umfassen die vorhergenannten Fahrassistenzsysteme und sind gewöhnlich abhängig vom Input aus mehreren Datenquellen, wie z.B. die fahrzeugseitige Bildaufnahme, Bildprozessierung, Radarsensoren, LiDAR, Ultraschallsensoren und andere Quellen.Driver assistance systems, in particular driver assistance systems, are systems that have been developed to automate vehicle systems and to improve them in terms of safety and improved driving behavior. Safety features were developed to avoid collisions or accidents by using technologies that alert the driver to potential dangers or that avoid collisions, for example by taking safety measures or taking over vehicle control. In the case of autonomous vehicles, driving support systems can take control of the vehicle. Adaptive features can automate the light, provide adaptive cruise control, automate braking, incorporate traffic information, connect to smartphones, e.g. the driver alert about other vehicles or different types of hazards, keep the vehicle in the right lane, or show what is in blind spots. Driving support systems include the aforementioned driver assistance systems and are usually dependent on input from several data sources, e.g. the vehicle-side image acquisition, image processing, radar sensors, LiDAR, ultrasonic sensors and other sources.

Dabei ist es oftmals erforderlich, aus Sensordaten und beispielsweise aus solchen, die als Bilddaten generiert sind, eine Tiefenabschätzung zu ermöglichen. Somit sollte aus grundsätzlich zweidimensionalen Daten eine Tiefenkarte mit dreidimensionalen Daten erzeugt werden können.It is often necessary to enable depth estimation from sensor data and, for example, from those that are generated as image data. It should therefore be possible to generate a depth map with three-dimensional data from fundamentally two-dimensional data.

Derartige Verfahren insbesondere für Fahrunterstützungssysteme sind derzeit noch schwierig umzusetzen. Dabei wird diese Aufgabe meist angegangen unter Verwendung von Stereooptik oder videobasierten Verfahren oder auf anderen deterministischen Verfahren zur Tiefenabschätzung, bei denen Algorithmen verwendet werden, die eine Mehrzahl an Bildern benötigen.Such methods, particularly for driving support systems, are currently still difficult to implement. This task is usually tackled using stereo optics or video-based methods or on other deterministic methods for depth estimation, which use algorithms that require a plurality of images.

Tiefenabschätzung aus Bilden mit monokularer Technik ist weiterhin anspruchsvoll, da eine monokulare Aufnahme zu einer Mehrzahl an Szenarien gehören kann. Daher werden Erfahrungswerte bezüglich der globalen Struktur des Bildes als auch der jeweiligen Szenarien benötigt.Depth estimation from images using monocular technology is still challenging, since a monocular image can belong to a variety of scenarios. Therefore, empirical values regarding the global structure of the image and the respective scenarios are required.

Diesbezüglich wurde erkannt, dass neuronale Netzwerke hilfreich sein können, um eine Tiefenabschätzung aus einem zweidimensionalen Bild zu ermöglichen. Dies ist beispielsweise offenbart in der Arbeit von Eigen et al., in der Veröffentlichung arXiv:1406.2283 [cs.CV]. Derzeitige Lösungen ermöglichen gute Resultate, benötigen jedoch eine große Anzahl an erläuterten beziehungsweise kommentierten Daten. Dies ist auf der einen Seite umständlich und auf der anderen Seite für Tiefenabschätzung kaum umsetzbar. Für derzeitige Frontkameras wird dieses Problem beispielsweise gelöst unter Verwendung von Stereo-Kameras.In this regard, it was recognized that neural networks can be helpful to enable depth estimation from a two-dimensional image. This is disclosed, for example, in the work of Eigen et al., In the publication arXiv: 1406.2283 [cs.CV]. Current solutions enable good results, but require a large amount of data to be explained or commented on. This is cumbersome on the one hand and hardly feasible on the other hand for depth estimation. For current front cameras, for example, this problem is solved using stereo cameras.

Aus US 2015/0324658 A1 ist ferner ein Verfahren bekannt bei dem zweidimensionale Sensordaten durch eine dreidimensionale Punktwolke bearbeitet werden zum Erstellen modifizierter dreidimensionaler Informationen. Dieses Dokument beschreibt jedoch nicht das Verwenden einer Fisheye Kamera.Out US 2015/0324658 A1 a method is also known in which two-dimensional sensor data are processed by a three-dimensional point cloud to create modified three-dimensional information. However, this document does not describe using a fisheye camera.

Derartige aus dem Stand der Technik bekannte Lösungen können jedoch noch weiteres Verbesserungspotential bieten, insbesondere hinsichtlich einer einfach umzusetzenden und verlässlichen Tiefenabschätzung von zweidimensionalen Sensordaten, insbesondere kamerabasierten Bilddaten.Such solutions known from the prior art can, however, offer further potential for improvement, in particular with regard to an easy to implement and reliable depth estimation of two-dimensional sensor data, in particular camera-based image data.

Es ist die Aufgabe der vorliegenden Erfindung, die aus dem Stand der Technik bekannten Nachteile zumindest teilweise zu überwinden. Es ist insbesondere die Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, durch welche auf einfache Weise eine effektive Tiefenabschätzung von zweidimensionalen und als Bilddaten ausgestalteten Sensordaten ermöglicht werden kann.It is the object of the present invention to at least partially overcome the disadvantages known from the prior art. In particular, it is the object of the present invention to provide a solution by which an effective depth estimation of two-dimensional sensor data configured as image data can be made possible in a simple manner.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Lösung der Aufgabe erfolgt erfindungsgemäß ferner durch ein Fahrunterstützungssystem mit den Merkmalen des Anspruchs 8. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen, in der Beschreibung oder den Figuren beschrieben, wobei weitere in den Unteransprüchen oder in der Beschreibung oder den Figuren beschriebene oder gezeigte Merkmale einzeln oder in einer beliebigen Kombination einen Gegenstand der Erfindung darstellen können, wenn sich aus dem Kontext nicht eindeutig das Gegenteil ergibt.According to the invention, the object is achieved by a method having the features of claim 1. The object is also achieved by a driving support system having the features of claim 8. Preferred embodiments of the invention are described in the subclaims, in the description or in the figures, wherein further features described or shown in the subclaims or in the description or the figures, individually or in any combination, can constitute an object of the invention if the context does not clearly indicate the opposite.

Es wird vorgeschlagen ein Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten für eine Umfelderfassung eines Fahrzeugs durch ein Fahrunterstützungssystem, wobei das Verfahren die folgenden Verfahrensschritte aufweist:

  1. a) Bereitstellen von ersten Sensordaten durch einen ersten Umfelderfassungssensor mit einem ersten Erfassungsbereich, wobei die ersten Sensordaten zweidimensionale Objektdaten von in dem ersten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der erste Umfelderfassungssensor eine Fisheye-Kamera umfasst;
  2. b) Bereitstellen von zweiten Sensordaten durch einen zweiten Umfelderfassungssensor mit einem zweiten Erfassungsbereich, wobei die zweiten Sensordaten Abstandsdaten von in dem zweiten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der zweite Erfassungsbereich zumindest teilweise mit dem ersten Erfassungsbereich identisch ist;
  3. c) Übermitteln der ersten Sensordaten und der zweiten Sensordaten an eine Recheneinheit des Fahrunterstützungssystems; und
  4. d) Abschätzen einer geometrischen Tiefe der ersten Sensordaten unter Verwendung der zweiten Sensordaten durch die Recheneinheit unter Erzeugung von tiefenabgeschätzten Umgebungsdaten.
A method for the depth estimation of two-dimensional sensor data for environment detection of a vehicle by a driving support system is proposed, the method having the following method steps:
  1. a) Provision of first sensor data by a first environment detection sensor with a first detection area, the first sensor data being two-dimensional object data of objects located in the first detection area, and wherein the first environment detection sensor comprises a fish eye camera;
  2. b) provision of second sensor data by a second environment detection sensor with a second detection area, the second sensor data comprising distance data from objects located in the second detection area, and wherein the second detection area is at least partially identical to the first detection area;
  3. c) transmitting the first sensor data and the second sensor data to a computing unit of the driving support system; and
  4. d) Estimation of a geometric depth of the first sensor data using the second sensor data by the computing unit with the generation of depth-estimated environmental data.

Insbesondere ein derartiges Verfahren kann auf vorteilhafte Weise eine Lösung bereitstellen, durch welche auf einfache Weise eine effektive Tiefenabschätzung von zweidimensionalen und als kamerabasierte Bilddaten ausgestaltete Sensordaten ermöglicht werden kann.In particular, such a method can advantageously provide a solution by which an effective depth estimation of two-dimensional sensor data configured as camera-based image data can be made possible in a simple manner.

Die vorliegende Erfindung betrifft somit ein Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten für eine Umfelderfassung eines Fahrzeugs. Dabei kann das hier beschriebene Verfahren eine Fahrunterstützung bereitstellen, um so etwa ein vollständig autonomes Fahren zu ermöglichen. Entsprechend kann das Verfahren für ein Fahren des Fahrzeugs ohne einen Fahreingriff eines Fahrers ausgelegt sein. Alternativ ist es möglich, dass das Verfahren dazu dient, den Fahrer bei einem Fahren lediglich zu unterstützen, also etwa Fahrhinweise auszugeben, wobei der Fahrer bestimmte Fahreingriffe selbst durchführen muss.The present invention thus relates to a method for depth estimation of two-dimensional sensor data for environment detection of a vehicle. The method described here can provide driving support in order to enable fully autonomous driving. Accordingly, the method can be designed for driving the vehicle without driver intervention by a driver. Alternatively, it is possible that the method only serves to support the driver while driving, that is to say to output driving instructions, for example, the driver having to carry out certain driving interventions himself.

Das Verfahren kann somit zumindest teilweise durch ein Fahrunterstützungssystem ausgeführt werden, welches Bestandteil des Fahrzeugs ist. Insbesondere kann das Fahrzeug ein Kraftfahrzeug sein.The method can thus be carried out at least partially by a driving support system which is part of the vehicle. In particular, the vehicle can be a motor vehicle.

Um das Verfahren durchzuführen weist das hier beschriebene Verfahren die folgenden Verfahrensschritte auf, wobei die nachfolgend beschriebenen Verfahrensschritte grundsätzlich in der beschriebenen Reihenfolge chronologisch oder auch in einer zumindest teilweise abweichenden Reihenfolge ablaufen können, wenn dies aus dem Kontext nicht eindeutig ausgeschlossen wird.In order to carry out the method, the method described here has the following method steps, wherein the method steps described below can basically take place chronologically in the order described or in an at least partially different order if this is not clearly excluded from the context.

Zunächst umfasst das beschriebene Verfahren gemäß Verfahrensschritt a) das Bereitstellen von ersten Sensordaten durch einen ersten Umfelderfassungssensor mit einem ersten Erfassungsbereich, wobei die ersten Sensordaten zweidimensionale Objektdaten von in dem ersten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der erste Umfelderfassungssensor eine Fisheye-Kamera umfasst.First of all, the described method according to method step a) comprises the provision of first sensor data by a first environment detection sensor with a first detection area, the first sensor data comprising two-dimensional object data of objects located in the first detection area, and wherein the first environment detection sensor comprises a fish eye camera.

Somit wird in diesem Verfahrensschritt unter Verwendung eines ersten Umfelderfassungssensors in an sich bekannter Weise das Umfeld eines Fahrzeugs detektiert und entsprechende Sensordaten ermittelt. Die Sensordaten umfassen dabei insbesondere Objektdaten, welche sich somit auf in dem Umfeld des Fahrzeugs und dabei zweckmäßiger Weise in dem Erfassungsbereich des ersten Umfelderfassungssensors befindliche Objekte beziehen beziehungsweise diese wiederspiegeln. Dadurch, dass als erster Umfelderfassungssensor eine sogenannte Fisheye-Kamera verwendet wird, werden als Sensordaten insbesondere zweidimensionale Sensordaten beziehungsweise zweidimensionale Objektdaten bereitgestellt, wie dies für kamerabasierte Verfahren an sich bekannt ist. Dabei werden die Sensordaten als Bilddaten generiert.Thus, in this method step, using a first environment detection sensor, the environment of a vehicle is detected in a manner known per se and corresponding sensor data are determined. The sensor data include, in particular, object data, which thus relate to, or reflect, objects located in the surroundings of the vehicle and expediently in the detection area of the first surroundings detection sensor. Because a so-called fisheye camera is used as the first environment detection sensor, two-dimensional sensor data or two-dimensional object data in particular are provided as sensor data, as is known per se for camera-based methods. The sensor data are generated as image data.

Der Vorteil der Verwendung einer auch als Fischaugenkamera bezeichneten Fisheye Kamera besteht insbesondere in einem besonders großen Erfassungsbereich. Dadurch kann eine Vielzahl von Sensordaten mit nur einer Kamera ermittelt werden, da aufgrund des großen Erfassungsbereichs Sensordaten von einem besonders großen räumlichen Bereich erhältlich sind. Somit sind etwa für Fahrunterstützungssysteme Fischeye Kameras eine beliebte Alternative zu herkömmlichen Kameras.The advantage of using a fisheye camera, also known as a fisheye camera, is in particular in a particularly large detection area. As a result, a large number of sensor data can be determined with only one camera, since sensor data from a particularly large spatial area are available due to the large detection area. For example, Fischye cameras are a popular alternative to conventional cameras for driving support systems.

Grundsätzlich kann es durch kamerabasierte Verfahren möglich werden, die detektierten Objekte höchst genau anhand von Bilddaten zu untersuchen und entsprechend eine hoch genaue und hoch verlässliche Auswertung zu erreichen. Somit können durch das Verwenden wenigstens einer Fisheye Kamera beziehungsweise durch das Auswerten von hieraus generierten Bilddaten eine sehr umfassende Einschätzung der Objekte und dadurch eine präzise Umfeldbeobachtung möglich werden.In principle, camera-based methods can make it possible to examine the detected objects with the utmost precision using image data and accordingly to achieve a highly precise and highly reliable evaluation. Thus, by using at least one fish-eye camera or by evaluating image data generated therefrom, a very comprehensive assessment of the objects and thereby precise observation of the surroundings can be made possible.

Insbesondere kamerabasierte Verfahren unter Verwendung einer Fisheye Kamera können so eine hohe Detailtreue der Umgebung und ferner eine verlässliche Umfelderfassung ermöglichen, wie diese im Stand der Technik etwa unter Verwendung von herkömmlichen Sensoren, wie etwa Ultraschallsensoren, oftmals nicht erreicht werden konnte.In particular, camera-based methods using a fisheye camera can enable a high level of detail in the environment and also enable reliable detection of the surroundings, which often could not be achieved in the prior art using conventional sensors, such as ultrasonic sensors.

Es kann weiterhin von Vorteil sein, wenn Verfahrensschritt a) durchgeführt wird unter Verwendung einer Fisheye Kamera eines Umfeldkamerasystems. In dieser Ausgestaltung kann somit auf an sich bekannte und oftmals in Fahrzeuge integrierte Systeme zurückgegriffen werden. Dies ermöglicht die Durchführung des hier beschriebenen Verfahrens ohne die Anforderung an weitere Systeme in dem Fahrzeug. Im Gegensatz dazu kann das hier beschriebene Verfahren insbesondere in dieser Ausgestaltung mit meist ohnehin vorhandener Peripherie arbeiten, was eine einfache und kostengünstige Implementierung des Verfahrens in bestehende Systeme erlauben kann.It can also be advantageous if method step a) is carried out using a fisheye camera of a surrounding camera system. In this embodiment, therefore, in itself known and often integrated systems in vehicles. This enables the method described here to be carried out without requiring additional systems in the vehicle. In contrast to this, the method described here can work, in particular in this embodiment, with peripherals that are usually present anyway, which can allow a simple and inexpensive implementation of the method in existing systems.

Die Objektdaten beziehungsweise die Sensordaten beschreiben die in dem ersten Erfassungsbereich detektierten Objekte. Die Objekte sind dabei grundsätzlich nicht beschränkt, sondern die Objekte können grundsätzlich sämtliche Objekte sein, welche sich in dem ersten Erfassungsbereich, beispielsweise auf oder neben einer geplanten Trajektorie, befinden. Daher können die Objekte etwa statische Objekte oder auch dynamisch Objekte sein.The object data or the sensor data describe the objects detected in the first detection area. The objects are in principle not limited, but the objects can basically be all objects that are in the first detection area, for example on or next to a planned trajectory. Therefore, the objects can be static objects or dynamic objects.

Da somit die Sensordaten des ersten Umfelderfassungssensors als Bilddaten der Fisheye Kamera bereitgestellt werden, sind diese Daten in ihrer generierten Form zweidimensional. Somit können die Sensordaten beziehungsweise die Objektdaten gut geeignet sein, verschiedene Objekte zu identifizieren, jedoch kann eine Tiefenabschätzung der Objektdaten fehlen. In anderen Worten ist es aus den reinen Objektdaten des ersten Umfelderfassungssensors meist nicht möglich abzuschätzen, in welcher Entfernung die Objekte sich von dem ersten Umfelderfassungssensor beziehungsweise von dem Fahrzeug befinden.Since the sensor data of the first environment detection sensor are thus provided as image data of the fisheye camera, these data are two-dimensional in their generated form. Thus, the sensor data or the object data can be well suited to identify different objects, but a depth estimate of the object data can be missing. In other words, from the pure object data of the first environment detection sensor it is usually not possible to estimate the distance at which the objects are from the first environment detection sensor or from the vehicle.

Um eine verbesserte Anwendung der durch die Fisheye Kamera als Umfelderfassungssensor erhaltenen Sensordaten zu ermöglichen kann es daher wünschenswert sein, eine Tiefenabschätzung zu ermöglichen, um die Sensordaten beziehungsweise die Objektdaten des ersten Umfelderfassungssensors in eine dreidimensionale Karte beziehungsweise in eine dreidimensionale Darstellung der Umgebung überführen zu können.In order to enable an improved application of the sensor data obtained by the fisheye camera as an environment detection sensor, it may therefore be desirable to enable a depth estimation in order to be able to convert the sensor data or the object data of the first environment detection sensor into a three-dimensional map or into a three-dimensional representation of the surroundings.

Hierzu umfasst das Verfahren zunächst gemäß Verfahrensschritt b) das Bereitstellen von zweiten Sensordaten durch einen zweiten Umfelderfassungssensor mit einem zweiten Erfassungsbereich, wobei die zweiten Sensordaten Abstandsdaten von in dem zweiten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der zweite Erfassungsbereich zumindest teilweise mit dem ersten Erfassungsbereich identisch ist.For this purpose, the method comprises, in accordance with method step b), the provision of second sensor data by a second environment detection sensor with a second detection area, the second sensor data comprising distance data from objects located in the second detection area, and wherein the second detection area is at least partially identical to the first detection area is.

Somit werden neben den in Verfahrensschritt a) bereitgestellten zweidimensionalen Sensordaten beziehungsweise Objektdaten in Verfahrensschritt b) ferner zweite Sensordaten eines zweiten, also eines von dem ersten Umfelderfassungssensor verschiedenen, Umfelderfassungssensors bereitgestellt, wobei diese Sensordaten Abstandsdaten umfassen. In anderen Worten werden von Objekten, die sich in dem zweiten Erfassungsbereich, also dem Erfassungsbereich des zweiten Umfelderfassungssensors, befinden, Abstandwerte ermittelt, welche den Abstand von den jeweiligen Objekten zu dem zweiten Umfelderfassungssensor beziehungsweise zu dem Fahrzeug anzeigen.Thus, in addition to the two-dimensional sensor data or object data provided in method step a), second sensor data of a second, that is to say one different from the first environment detection sensor, environment sensor are also provided in method step b), these sensor data comprising distance data. In other words, distance values are determined from objects located in the second detection area, that is to say the detection area of the second environment detection sensor, which indicate the distance from the respective objects to the second environment detection sensor or to the vehicle.

Dabei ist es zweckmäßig, wenn die zweiten Sensordaten die gleiche Umgebung betreffen, wie die ersten Sensordaten. In anderen Worten ist es zweckmäßig, dass der erste Erfassungsbereich, also der Erfassungsbereich des ersten Umfelderfassungssensors, zumindest zum Teil identisch ist mit dem zweiten Erfassungsbereich, also dem Erfassungsbereich des zweiten Umfelderfassungssensors. Dadurch, dass die Fisheye-Kamera einen vergleichsweise großen Erfassungsbereich aufweist, kann es vorgesehen sein, dass der erste Erfassungsbereich den zweiten Erfassungsbereich vollständig umfasst.It is useful if the second sensor data relate to the same environment as the first sensor data. In other words, it is expedient that the first detection area, that is to say the detection area of the first environment detection sensor, is at least partially identical to the second detection area, that is to say the detection area of the second environment detection sensor. Because the fisheye camera has a comparatively large detection area, it can be provided that the first detection area completely encompasses the second detection area.

Entsprechend kann es weiterhin vorgesehen sein, dass die Abstandsdaten der zweiten Sensordaten dieselben Objekte betreffen, wie auch die Sensordaten beziehungsweise die Objektdaten der ersten Sensordaten. In anderen Worten ist es insbesondere vorgesehen, dass die Abstandsdaten Abstände zu den Objekten bereitstellen, welche durch die ersten Sensordaten als zweidimensionale Daten bereitgestellt sind.Accordingly, it can further be provided that the distance data of the second sensor data relate to the same objects as the sensor data or the object data of the first sensor data. In other words, it is provided in particular that the distance data provide distances to the objects, which are provided as two-dimensional data by the first sensor data.

Weiterhin umfasst das hier beschriebene Verfahren mit dem Verfahrensschritt c) das Übermitteln der ersten Sensordaten und der zweiten Sensordaten an eine Recheneinheit des Fahrunterstützungssystems. Die Recheneinheit kann beispielsweise eine an sich bekannte Steuereinheit, wie etwa ein Prozessor, des Fahrunterstützungssystems sein. Entsprechend kann eine geeignete Datenverbindung zwischen dem ersten Umfelderfassungssensor und der Recheneinheit und weiterhin zwischen dem zweiten Umfelderfassungssensor und der Recheneinheit vorgesehen sein. Eine derartige Peripherie ist bei Fahrunterstützungssystemen meist ohnehin vorhanden, um eine entsprechende Auswertung der ermittelten Sensordaten zu ermöglichen.Furthermore, the method described here with method step c) includes the transmission of the first sensor data and the second sensor data to a computing unit of the driving support system. The computing unit can be, for example, a control unit, known per se, such as a processor, of the driving support system. A suitable data connection can accordingly be provided between the first environment detection sensor and the computing unit and furthermore between the second environment detection sensor and the computing unit. Such a periphery is usually present in driving support systems anyway, in order to enable a corresponding evaluation of the determined sensor data.

Schließlich umfasst das hier beschriebene Verfahren weiterhin mit Verfahrensschritt d) das Abschätzen einer geometrischen Tiefe der ersten Sensordaten unter Verwendung der zweiten Sensordaten durch die Recheneinheit unter Erzeugung von tiefenabgeschätzten Umgebungsdaten beziehungsweise insbesondere Objektdaten.Finally, the method described here further comprises, with method step d), estimating a geometric depth of the first sensor data using the second sensor data by the computing unit with the generation of depth-estimated environmental data or in particular object data.

In diesem Verfahrensschritt erfolgt somit eine Fusion des ersten Umfelderfassungssensors und des zweiten Umfelderfassungssensors unter einem Zusammenführen beziehungsweise Verknüpfen der von den jeweiligen Umfelderfassungssensoren ermittelten Sensordaten, also den ersten Sensordaten und den zweiten Sensordaten.In this method step, the first environment detection sensor and is thus merged of the second environment detection sensor by merging or linking the sensor data determined by the respective environment detection sensors, ie the first sensor data and the second sensor data.

Das vorliegende Verfahren schafft somit eine im Stand der Technik nicht umsetzbare Möglichkeit, um eine tiefenabgeschätzte Umfelderfassung mit einer Fisheye Kamera zu realisieren und dabei eine dreidimensionale Karte beziehungsweise Informationen hinsichtlich einer dreidimensionalen Fahrzeugumgebung zu erzeugen. Dadurch wird es möglich, mit einem einfachen Aufbau eine Tiefenabschätzung von Objektdaten zu generieren, welche auf einer kamerabasierten Umfelderfassung basiert. Dadurch wird es möglich, die Vorteile einer kamerabasierten Umfelderfassung zu kombinieren mit einer Tiefenabschätzung zum Erzeugen einer dreidimensionalen Umgebungskarte.The present method thus creates a possibility that cannot be implemented in the prior art in order to implement a depth-estimated environment detection with a fisheye camera and thereby to generate a three-dimensional map or information relating to a three-dimensional vehicle environment. This makes it possible to generate a depth estimate of object data with a simple structure, which is based on a camera-based environment detection. This makes it possible to combine the advantages of a camera-based environment detection with a depth estimation to generate a three-dimensional map of the environment.

Die zweiten Sensordaten dienen dabei als Bodendaten (depth truth ground bzw. truth ground), mittels welchen es möglich wird, zweidimensionale Bilddaten anhand entsprechender Abstandsdaten in eine dreidimensionale Karte zu übertragen.The second sensor data serve as ground data (depth truth ground or truth ground), by means of which it is possible to transmit two-dimensional image data on the basis of corresponding distance data to a three-dimensional map.

Insbesondere ist es möglich, kamerabasierte Daten nur einer Kamera zu erzeugen, also monokular zu arbeiten. Dies ist insbesondere ein Vorteil gegenüber den Lösungen aus dem Stand der Technik, wo eine Tiefenabschätzung von kamerabasierten Daten meist mittels zweier Kameras, also dem Stereoeffekt umgesetzt werden konnte. Dies ist jedoch mit Fisheye Kameras nicht sinnvoll umsetzbar, so dass eine Tiefenabschätzung mit einer Fisheye Kamera bislang nicht möglich ist.In particular, it is possible to generate camera-based data from only one camera, ie to work monocularly. This is in particular an advantage over the solutions from the prior art, where a depth estimate of camera-based data could usually be implemented using two cameras, ie the stereo effect. However, this cannot be sensibly implemented with fisheye cameras, so that depth estimation with a fisheye camera has not been possible until now.

Gegenüber den Lösungen aus dem Stand der Technik kann somit mit einer geringeren Anzahl an Sensoren gearbeitet werden, was Kosten sparen kann. Ferner kann das Fahrunterstützungssystem so mit einem reduzierten Gewicht ausgestattet werden, was für mobile Anwendungen von großem Vorteil sein kann.Compared to the solutions from the prior art, a smaller number of sensors can thus be used, which can save costs. Furthermore, the driving support system can be equipped with a reduced weight, which can be of great advantage for mobile applications.

Bevorzugt kann es vorgesehen sein, dass als zweiter Umfelderfassungssensor ein LIDAR (light detection and ranging) verwendet wird. In anderen Worten ist es vorgesehen, die zweiten Sensordaten und damit die Abstandsdaten mittels eines LIDAR zu erzeugen. Dadurch wird es möglich, bei einem Fahrunterstützungssystem meist ohnehin vorhandene Peripherie zu nutzen. Dadurch ist das hier beschriebene Verfahren auch in herkömmlichen Fahrunterstützungssystemen vergleichsweise einfach und kostengünstig umsetzbar. Dabei können somit grundsätzlich Sensordaten verwendet werden, welche während des Betriebs eines Fahrunterstützungssystems meist ohnehin erzeugt werden, was das hier beschriebene Verfahren weiter vereinfachen kann. Insbesondere bei einer Kombination einer Fisheye Kamera mit einem LIDAR kann es so möglich sein, basierend auf vollständig ohnehin gemessenen Daten und dabei insbesondere basierend auf Rohdaten, also nicht weiter verarbeiteten Daten, das vorliegende Verfahren durchzuführen.It can preferably be provided that a LIDAR (light detection and ranging) is used as the second environment detection sensor. In other words, it is provided to generate the second sensor data and thus the distance data by means of a LIDAR. This makes it possible to use peripherals that are usually already present in a driving support system. As a result, the method described here can also be implemented comparatively simply and inexpensively in conventional driving support systems. In this case, sensor data can generally be used, which are usually generated anyway during the operation of a driving support system, which can further simplify the method described here. In particular, in the case of a combination of a fish eye camera and a LIDAR, it may be possible to carry out the present method based on data measured completely anyway and in particular based on raw data, that is to say data which have not been processed any further.

Ferner ist es durch LIDARs problemlos möglich, verlässliche Abstandsdaten zu erzeugen, so dass eine Tiefeneinschätzung ebenfalls besonders effektiv und verlässlich sein kann.Furthermore, LIDARs make it easy to generate reliable distance data, so that a depth assessment can also be particularly effective and reliable.

Insbesondere die Verwendung einer Fisheye Kamera, dabei bevorzugt unter Verwendung eines LIDAR-Sensors zur Erzeugung der zweiten Sensordaten und damit der Abstandsdaten, kann das vorstehend beschriebene Verfahren bevorzugt verwendet werden, um ein neuronales Netz zu trainieren. Eine derartige Möglichkeit, mittels der Daten einer Fisheye Kamera ein neuronales Netz zu trainieren, war durch die Lösungen des Stands der Technik bislang nicht möglich.In particular, the use of a fisheye camera, preferably using a LIDAR sensor to generate the second sensor data and thus the distance data, the method described above can preferably be used to train a neural network. Such a possibility of training a neural network using the data of a fisheye camera has not previously been possible using the solutions of the prior art.

Entsprechend kann es vorgesehen sein, dass die das Verfahren unter Verwendung eines neuronalen Netzes verwendet wird beziehungsweise dass die Recheneinheit ein neuronales Netz umfasst beziehungsweise mit einem neuronalen Netz arbeitet. Insbesondere kann das neuronale Netz als CNN (Convolutional Neural Network) ausgestaltet sein.Accordingly, it can be provided that the method is used using a neural network or that the computing unit comprises a neural network or works with a neural network. In particular, the neural network can be designed as a CNN (convolutional neural network).

Auf dem Gebiet des Maschinenlernens sind Convolutional Neuronal Networks eine Klasse von tiefen („deep“) „feed-forward“ künstlichen neuronalen Netzwerken, welche bereits in der Analyse von visuellen Bildern angewendet wurden. CNNs verwenden mehrschichtige Perzeptrons, die so entworfen wurden, dass sie nur minimales Vorprozessieren erfordern. Convolutional Neuronal Networks wurden durch biologische Vorgänge inspiriert, wobei deren Verschaltungsmuster zwischen Neuronen der Organisation des tierischen visuellen Cortex nachempfunden ist. Individuelle kortikale Neuronen antworten auf Stimuli nur in einer begrenzten Region des visuellen Feldes, welches als das rezeptive Feld bekannt ist. Die rezeptiven Felder von verschiedenen Neuronen überlappen teilweise, so dass sie das ganze visuelle Feld erfassen.In the field of machine learning, convolutional neuronal networks are a class of deep feed-forward artificial neural networks that have already been used in the analysis of visual images. CNNs use multilayer perceptrons that are designed to require minimal preprocessing. Convolutional Neuronal Networks were inspired by biological processes, whereby their connection pattern between neurons is modeled on the organization of the animal visual cortex. Individual cortical neurons respond to stimuli only in a limited region of the visual field, known as the receptive field. The receptive fields of different neurons partially overlap so that they cover the entire visual field.

CNNs verwenden im Vergleich zu anderen Algorithmen zur Bildklassifizierung relativ wenig an Vorprozessierung. Das bedeutet, dass das Netzwerk die Filter erlernt, die in herkömmlichen Algorithmen von Hand erstellt wurden. Diese Unabhängigkeit von bereits vorhandenem Wissen und menschlicher Arbeitsleistung bei der Erstellung von Merkmalen ist ein großer Vorteil, was die Umsetzbarkeit des Verfahrens anbelangt.CNNs use relatively little preprocessing compared to other image classification algorithms. This means that the network learns the filters that were created by hand in conventional algorithms. This independence from existing knowledge and human labor in the creation of features is a great advantage in terms of the feasibility of the method.

Es kann vorgesehen sein, dass die Verfahrensschritte a) bis d) dem Training eines neuronalen Netzes dienen und dass nach einem Training des neuronalen Netzes das Abschätzen einer geometrischen Tiefe der ersten Sensordaten ohne Verwendung aktueller zweiter Sensordaten, also ohne aktuelle Sensordaten des zweiten Umfelderfassungssensors erfolgt. It can be provided that method steps a) to d) serve to train a neural network and that after training the neural network, the geometric depth of the first sensor data is estimated without using current second sensor data, that is to say without current sensor data from the second environment detection sensor.

Das Vortrainieren des neuronalen Netzes kann online oder offline erfolgen. Im Online-Modus („online“) kann das neuronale Netz auf Daten einer Datenbank zugreifen, welche bereits mit zweiten Sensordaten verknüpfte und somit tiefenabgeschätzte Sensordaten umfasst, die von anderen Fahrzeugen, z.B. von Entwicklungs-Fahrzeugen, oder auch von dem eigenen Fahrzeug an eine Cloud über ein mobiles Netzwerk gesendet wurden. Der eigentliche Lernprozess des neuronalen Netzes kann nach Verknüpfung der ersten Sensordaten mit den zweiten Sensordaten und einer entsprechenden Tiefenabschätzung auch im Offline-Modus erfolgen („offline“). Ferner kann der Offline-Modus derart erfolgen, dass das neuronale Netz auf Daten zurückgreift, welche in einem Speicher des Fahrunterstützungssystems gespeichert sind.The neural network can be pre-trained online or offline. In online mode ("online"), the neural network can access data from a database which already includes sensor data linked to second sensor data and thus depth-estimated, which data from other vehicles, e.g. from development vehicles or from your own vehicle to a cloud via a mobile network. The actual learning process of the neural network can also take place in offline mode ("offline") after linking the first sensor data with the second sensor data and a corresponding depth estimate. Furthermore, the offline mode can take place in such a way that the neural network accesses data which are stored in a memory of the driving support system.

Nach dem Training des neuronalen Netzes kann es möglich sein, dass das neuronale Netz unmittelbar zweidimensionale Sensordaten der Fisheye Kamera tiefenabschätzt, somit nach einem Training des neuronalen Netzes die zweiten Sensordaten beziehungsweise die Abstandsdaten nicht mehr zwingend für eine Tiefenabschätzung der Objekte und damit für ein Abschätzen einer geometrischen Tiefe der ersten Sensordaten erforderlich sind.After training the neural network, it may be possible for the neural network to immediately depth-estimate two-dimensional sensor data from the fisheye camera, so that after training the neural network, the second sensor data or the distance data are no longer mandatory for a depth estimate of the objects and thus for an estimate of one geometric depth of the first sensor data are required.

Es ist jedoch nicht ausgeschlossen, dass trotzdem auch nach dem Trainieren des neuronalen Netzes dieses erneut beziehungsweise weiter trainiert wird und/oder dass in Abhängigkeit der Gegebenheiten und etwa bei nicht antrainierten Zuständen die zweiten Sensordaten beziehungsweise die Abstandsdaten für eine Tiefenabschätzung in Betracht gezogen werden.However, it cannot be ruled out that after the neural network has been trained, it will still be trained again and / or that the second sensor data or the distance data may be taken into account for a depth estimate depending on the circumstances and, for example, in the case of states that are not trained.

Insbesondere bei der Tiefenabschätzung von durch ein kamerabasiertes Verfahren ermittelten zweidimensionalen Sensordaten kann künstliche Intelligenz beziehungsweise ein entsprechender Algorithmus ein besonders effektives Mittel sein, um die Qualität der diesbezüglichen Auswertung der gelieferten Daten signifikant zu verbessern. Ferner können so unmittelbar erste Sensordaten und dabei insbesondere zweidimensionale Rohdaten tiefenabgeschätzt werden, was so im Stand der Technik nicht auf einfache Weise möglich war.In particular in the depth estimation of two-dimensional sensor data determined by a camera-based method, artificial intelligence or a corresponding algorithm can be a particularly effective means of significantly improving the quality of the evaluation of the data supplied in this regard. Furthermore, first sensor data, and in particular two-dimensional raw data, can be directly estimated in depth, which was not easily possible in the prior art.

Es kann weiterhin bevorzugt sein, dass die zweiten Sensordaten vor Verfahrensschritt d) derart korrigiert werden, dass zweite Sensordaten betreffend für den ersten Umfelderfassungssensor verdeckte Objekte verworfen werden.It may further be preferred that the second sensor data are corrected before method step d) in such a way that second sensor data relating to objects hidden for the first environment detection sensor are rejected.

In anderen Worten kann es vorgesehen sein, dass bei Verfahrensschritt d) eine Tiefenabschätzung lediglich für Objekte beziehungsweise Objektbereiche erfolgt, die im Sichtfeld des ersten Umfelderfassungssensors liegen. Somit sollen für die Erstellung der tiefenabgeschätzten Umgebungsdaten derartige zweite Sensordaten nicht berücksichtigt werden, welche von dem ersten Umfelderfassungssensor aufgrund ihrer Position nicht erfasste Objekte oder Objektbereiche betreffen.In other words, it can be provided that in method step d) a depth estimate is only carried out for objects or object areas that are in the field of view of the first environment detection sensor. Thus, for the creation of the depth-estimated environmental data, such second sensor data should not be taken into account, which relate to objects or object areas not detected by the first environment detection sensor due to their position.

Ein derartiger Verfahrensschritt kann auch als „Occlusion removement“ bezeichnet werden. Diese Ausgestaltung beziehungsweise dieser Verfahrensschritt kann darauf basieren, dass der zweite Umfelderfassungssensor eine andere Position an dem Fahrzeug aufweist, als der erste Umfelderfassungssensor. Beispielsweise kann der zweite Umfelderfassungssensor, wie etwa der LIDAR, in einer größeren Höhe an dem Fahrzeug angeordnet sein, als der erste Umfelderfassungssensor, also die Fisheye Kamera. Dadurch können die zweiten Sensordaten von einem anderen Erfassungswinkel erhalten werden, als die ersten Sensordaten, so dass die zweiten Sensordaten auch derartige Objekte oder Objektbereiche beschreiben können, welche von den ersten Sensordaten nicht umfasst sind. Dies kann beispielsweise für Bereiche erfolgen, die sich in Erfassungsrichtung des ersten Umfelderfassungssensors hinter den Objekten befinden, welche durch die ersten Sensordaten beschrieben werden. Daher kann es bevorzugt sein, diese Daten, welche von den ersten Sensordaten nicht erfasst sind, nicht in die Tiefeneinschätzung, also etwa die Erstellung einer dreidimensionalen Karte, mit einfließen zu lassen. Dies ist beispielsweise möglich, indem in Verfahrensschritt d) nur derartige zweite Sensordaten beziehungsweise Abstandsdaten umfassen, welche in einer Höhe und einem Erfassungsstrahl den geringsten Abstand aufweisen, auf einem Erfassungsstrahl hintere Objekte jedoch verworfen werden.Such a process step can also be referred to as "occlusion removement". This embodiment or this method step can be based on the fact that the second environment detection sensor has a different position on the vehicle than the first environment detection sensor. For example, the second environment detection sensor, such as the LIDAR, can be arranged at a greater height on the vehicle than the first environment detection sensor, ie the fish eye camera. As a result, the second sensor data can be obtained from a different detection angle than the first sensor data, so that the second sensor data can also describe objects or object areas that are not included in the first sensor data. This can be done, for example, for areas that are located behind the objects in the detection direction of the first environment detection sensor, which are described by the first sensor data. It can therefore be preferred not to include these data, which are not recorded by the first sensor data, in the depth assessment, that is to say the creation of a three-dimensional map. This is possible, for example, in that in method step d) only include such second sensor data or distance data which are at the smallest distance in terms of height and a detection beam, but which are discarded behind objects on a detection beam.

In dieser Ausgestaltung kann die erstellte dreidimensionale Karte besonders verlässlich erstellt werden, so dass fehlerhafte Detektionen beziehungsweise Objektkennzeichnungen vermieden werden können. Darüber hinaus kann die Rechenleistung reduziert werden, was wiederum für das Fahrunterstützungssystem von Vorteil ist.In this embodiment, the created three-dimensional map can be created particularly reliably, so that incorrect detections or object identifications can be avoided. In addition, the computing power can be reduced, which in turn is advantageous for the driving support system.

Weiterhin kann es bevorzugt sein, dass wenigstens die ersten Sensordaten einen Erfassungsbereich von 360° wiederspiegeln. Diesbezüglich kann es vorgesehen sein, dass eine Mehrzahl an ersten Umfelderfassungssensoren vorgesehen ist, welche etwa einen Erfassungsbereich in unterschiedlichen Richtungen mit Bezug auf das Fahrzeug aufweisen. Beispielsweise können vier symmetrisch um den Umfang des Fahrzeugs verteilte erste Umfelderfassungssensoren und damit Fisheye Kameras vorgesehen sein. In dieser Ausgestaltung kann ein besonders umfassendes Bild der Fahrzeugumgebung erstellt werden, was für eine Vielzahl von Fahrunterstützungen von großem Vorteil ist. Das Vorsehen eines derartigen Erfassungsbereichs ist dabei insbesondere unter Verwendung von Fisheye Kameras meist problemlos möglich.Furthermore, it can be preferred that at least the first sensor data reflect a detection range of 360 °. In this regard, it can be provided that a plurality of first environment detection sensors are provided, which approximately have a detection area in have different directions with respect to the vehicle. For example, four first environment detection sensors and thus fisheye cameras distributed symmetrically around the circumference of the vehicle can be provided. In this embodiment, a particularly comprehensive picture of the vehicle surroundings can be created, which is of great advantage for a large number of driving supports. The provision of such a detection area is usually possible without any problems, in particular using fisheye cameras.

Bezüglich weiterer Vorteile und Merkmale des Verfahrens wird auf die Beschreibung des Fahrunterstützungssystems, die Figur und die Beschreibung der Figur verwiesen, und umgekehrt.With regard to further advantages and features of the method, reference is made to the description of the driving support system, the figure and the description of the figure, and vice versa.

Beschrieben wird ferner ein Fahrunterstützungssystem für ein Fahrzeug zum Unterstützen eines Fahrers des Fahrzeugs, wobei das Fahrunterstützungssystem wenigstens eine Recheneinheit aufweist, die mit Daten wenigstens eines ersten Umfelderfassungssensors speisbar ist und die mit Daten eines zweiten Umfelderfassungssensors speisbar ist, wobei der erste Umfelderfassungssensor eine Fisheye-Kamera umfasst, und wobei die Recheneinheit dazu ausgestaltet ist, ein Verfahren auszuführen, wie dies etwa vorstehend und an weiterer Stelle im Detail beschrieben ist.Furthermore, a driving support system for a vehicle for supporting a driver of the vehicle is described, the driving support system having at least one computing unit that can be fed with data from at least one first environment detection sensor and that can be fed with data from a second environment detection sensor, the first environment detection sensor being a fisheye camera comprises, and wherein the computing unit is designed to carry out a method, as described above and in more detail below.

Das Fahrunterstützungssystem kann Teil eines Fahrzeugs sein, wie beispielsweise eines Pkws. Das Fahrunterstützungssystem kann insbesondere zum Erzeugen von Umgebungsdaten als Basis für eine Fahrunterstützung, wie etwa für das Erzeugen einer Fahrtrajektorie oder für das Ausführen anderer Fahreingriffe oder Fahrhinweise, vorgesehen sein, wie vorstehend ausführlich beschrieben ist.The driving support system may be part of a vehicle, such as a car. The driving support system can in particular be provided for generating environmental data as the basis for driving support, such as for generating a driving trajectory or for performing other driving interventions or driving instructions, as described in detail above.

Für eine Umfeldbeobachtung beziehungsweise Umfelderfassung weist das Fahrunterstützungssystem mindestens einen ersten Umfelderfassungssensor auf. Der erste Umfelderfassungssensor kann vorzugsweise Teil des Fahrunterstützungssystem sein, das auch das Verfahren ausführt. Der mindestens eine Umfelderfassungssensor ist dabei insbesondere eine Fisheye Kamera. Ferner ist wenigstens ein zweiter Umfelderfassungssensor vorgesehen, welcher bevorzugt als LIDAR ausgestaltet ist. Dabei sind der wenigstens eine erste Umfelderfassungssensor und der wenigstens eine zweite Umfelderfassungssensor derart ausgestaltet beziehungsweise positioniert, dass diese einen zumindest zum Teil sich überschneidenden Erfassungsbereich aufweisen. Dabei kann grundsätzlich nur ein oder kann eine Mehrzahl an ersten beziehungsweise zweiten Umfelderfassungssensoren vorgesehen sein.The driving support system has at least one first environment detection sensor for environment observation or environment detection. The first environment detection sensor can preferably be part of the driving support system that also executes the method. The at least one environment detection sensor is in particular a fish eye camera. Furthermore, at least one second environment detection sensor is provided, which is preferably configured as a LIDAR. The at least one first environment detection sensor and the at least one second environment detection sensor are designed or positioned such that they have an at least partially overlapping detection area. In principle, only one or a plurality of first or second environment detection sensors can be provided.

Ferner können zum Überwachen der Umgebung ein oder mehrere weitere Sensoren vorgesehen sein, die aus dem Stand der Technik bekannt sind und etwa einer Umfelderfassung dienen können. Der gegebenenfalls vorgesehene mindestens eine weitere Umfelderfassungssensor kann beispielsweise aufweisen oder bestehen aus einem oder mehreren gleichen oder unterschiedlichen Sensoren, die ausgewählt sind aus der Gruppe bestehend aus Ultraschallsensoren, radarbasierten Sensoren oder weiteren Sensoren, die auf dem Fachgebiet zum Überwachen der Umgebung bekannt sind.Furthermore, one or more further sensors can be provided for monitoring the environment, which are known from the prior art and can be used, for example, to record the surroundings. The optionally provided at least one further environment detection sensor can for example have or consist of one or more identical or different sensors which are selected from the group consisting of ultrasound sensors, radar-based sensors or further sensors which are known in the field for monitoring the environment.

Weiterhin wird eine Recheneinheit, etwa ein Prozessor, wie beispielsweise eine Steuereinheit, bereitgestellt. Die Recheneinheit ist zum Auswerten der von dem oder den Sensoren gelieferten Sensordaten geeignet. Insbesondere ist die Recheneinheit dazu ausgebildet, ein Verfahren zumindest zum Teil auszuführen, wie dieses vorstehend beschrieben ist.Furthermore, a computing unit, such as a processor, such as a control unit, is provided. The computing unit is suitable for evaluating the sensor data supplied by the sensor or sensors. In particular, the computing unit is designed to carry out a method, at least in part, as described above.

Durch das hier beschriebene Fahrunterstützungssystem kann somit auf effektive und verlässliche Weise eine Umfelderfassung ermöglicht werden. Insbesondere kann es ermöglicht werden, dass basierend auf zweidimensionalen Kameradaten eine Tiefeneinschätzung der Objekte der zweidimensionalen Kameradaten erfolgt, so dass etwa eine dreidimensionale Umgebungskarte erstellbar ist, beziehungsweise dass dreidimensionale Umgebungsdaten basierend auf den zweidimensionalen Bilddaten als erste Sensordaten erzeugt werden können.The driving support system described here can thus enable an environment detection to be carried out in an effective and reliable manner. In particular, it can be made possible that, based on two-dimensional camera data, the objects of the two-dimensional camera data are assessed in depth, so that, for example, a three-dimensional map of the environment can be generated, or that three-dimensional environment data can be generated as first sensor data based on the two-dimensional image data.

Hierzu kann es ferner vorgesehen sein, dass das Fahrzeugunterstützungssystem mit künstlicher Intelligenz arbeitet und somit mit einem neuronalen Netz, insbesondere einem CNN, ausgestattet ist.For this purpose, it can further be provided that the vehicle support system works with artificial intelligence and is therefore equipped with a neural network, in particular a CNN.

Beispielsweise kann es ferner vorgesehen sein, dass der zweite Umfelderfassungssensor in einer größeren Höhe positioniert ist, als der erste Umfelderfassungssensor. Dies ermöglicht in einer besonders vorteilhaften Weise, dass ein Nicht-berücksichtigen von Abstandsdaten beziehungsweise von zweiten Sensordaten erfolgt, die nicht im Sichtfeld des ersten Umfelderfassungssensors liegen. Dadurch kann eine besonders verlässliche und effektive Umfelderfassung und entsprechend eine verlässliche Erzeugung eines dreidimensionalen Umgebungsbildes ermöglicht werden.For example, it can further be provided that the second environment detection sensor is positioned at a greater height than the first environment detection sensor. In a particularly advantageous manner, this enables distance data or second sensor data that are not in the field of view of the first environment detection sensor to be disregarded. This enables a particularly reliable and effective detection of the environment and, accordingly, a reliable generation of a three-dimensional image of the surroundings.

Bezüglich weiterer Vorteile und Merkmale des Fahrunterstützungssystems wird auf die Beschreibung des Verfahrens, die Figur und die Beschreibung der Figur verwiesen, und umgekehrt.With regard to further advantages and features of the driving support system, reference is made to the description of the method, the figure and the description of the figure, and vice versa.

Weitere Vorteile und vorteilhafte Ausgestaltungen der erfindungsgemäßen Gegenstände werden durch die Zeichnungen veranschaulicht und in der nachfolgenden Beschreibung erläutert. Dabei ist zu beachten, dass die Zeichnungen nur beschreibenden Charakter haben und nicht dazu gedacht sind, die Erfindung in irgendeiner Form einzuschränken. Es zeigen:

  • 1 eine schematische Darstellung zeigend ein Fahrzeugs mit einem Fahrunterstützungssystem; und
  • 2 ein schematisches Diagramm darstellend ein Verfahren gemäß der Erfindung.
Further advantages and advantageous configurations of the objects according to the invention are illustrated by the drawings and explained in the following description. It should be noted that the drawings are only descriptive and are not intended to limit the invention in any form. Show it:
  • 1 a schematic representation showing a vehicle with a driving support system; and
  • 2nd a schematic diagram illustrating a method according to the invention.

In der 1 ist ein Fahrzeug 10 gezeigt. Das Fahrzeug 10 umfasst ein Fahrunterstützungssystem zum Unterstützen eines Fahrers des Fahrzeugs 10, wobei das Fahrunterstützungssystem wenigstens eine Recheneinheit 12 aufweist, die mit Daten wenigstens eines ersten Umfelderfassungssensors 14 speisbar ist. In der 1 sind vier erste Umfelderfassungssensoren 14 vorgesehen, welche jeweils an einer Seite des Fahrzeugs 10 angeordnet sind, um so einen Erfassungswinkel von 360° zu erhalten. Die ersten Umfelderfassungssensoren 14 sind dabei insbesondere als sogenannte Fisheye Kamera ausgestaltet.In the 1 is a vehicle 10th shown. The vehicle 10th includes a driving support system for assisting a driver of the vehicle 10th , wherein the driving support system at least one computing unit 12th having data with at least one first environment detection sensor 14 is feedable. In the 1 are four first environment detection sensors 14 provided, each on one side of the vehicle 10th are arranged so as to obtain a detection angle of 360 °. The first environment detection sensors 14 are designed in particular as a so-called fish eye camera.

Ferner ist wenigstens ein zweiter Umfelderfassungssensor 16 vorgesehen, der insbesondere als LIDAR ausgestaltet ist. Entsprechend ist die Recheneinheit 12 mit Daten des zweiten Umfelderfassungssensors 16 speisbar.Furthermore, at least one second environment detection sensor 16 provided, which is designed in particular as a LIDAR. The computing unit is corresponding 12th with data from the second environment detection sensor 16 feedable.

Wie in 1 angedeutet, ist der zweite Umfelderfassungssensor 16 in einer größeren Höhe positioniert, als die ersten Umfelderfassungssensoren 14.As in 1 is indicated, the second environment detection sensor 16 positioned at a higher height than the first environment detection sensors 14 .

Die ersten Umfelderfassungssensoren 14 erzeugen durch ein kamerabasiertes Verfahren insbesondere Bilddaten als erste Sensordaten, welche als Rohdaten zweidimensional ausgestaltet sind. Somit können basierend auf den ersten Sensordaten zunächst zwar Objekte in einer hohen Genauigkeit detektiert und analysiert werden, jedoch ist es für eine umfassende Umfelderfassung es meist ratsam, eine dreidimensionale Karte der Umgebung beziehungsweise grundsätzlich dreidimensionale Umgebungsdaten beziehungsweise Objektdaten zu erzeugen. Dies ist mit einem Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten für eine Umfelderfassung des Fahrzeugs 10 durch das Fahrunterstützungssystem möglich.The first environment detection sensors 14 generate, in particular, image data as first sensor data using a camera-based method, which are configured as raw data in two dimensions. Thus, based on the first sensor data, objects can initially be detected and analyzed with a high degree of accuracy, but for a comprehensive recording of the environment, it is usually advisable to generate a three-dimensional map of the surroundings or basically three-dimensional surroundings data or object data. This is with a method for depth estimation of two-dimensional sensor data for environment detection of the vehicle 10th possible through the driving support system.

Hierzu ist es zunächst vorgesehen, dass der zweite Umfelderfassungssensor 16 als „ground truth“ bezeichnete Abstandsdaten erzeugt und bereitstellt. Anhand dieser können durch das Verfahren zur Tiefenabschätzung die zweidimensionalen Bilddaten der ersten Umfelderfassungssensoren 14 in eine dreidimensionale Umgebung eingebettet werden.For this purpose it is initially provided that the second environment detection sensor 16 Distance data referred to as "ground truth" is generated and made available. Using the depth estimation method, the two-dimensional image data of the first environment detection sensors can be determined on the basis of these 14 be embedded in a three-dimensional environment.

Hierzu ist die Recheneinheit 12 ausgestaltet, ein entsprechendes Verfahren zumindest zum Teil auszuführen.This is the computing unit 12th configured to carry out a corresponding method at least in part.

Das Fahrunterstützungssystem ist dabei insbesondere dazu ausgestaltet, ein Verfahren zur Tiefenabschätzung zumindest zum Teil auszuführen, welches die folgenden Verfahrensschritte aufweist:

  1. a) Bereitstellen von ersten Sensordaten durch einen ersten Umfelderfassungssensor 14 mit einem ersten Erfassungsbereich, wobei die ersten Sensordaten zweidimensionale Objektdaten von in dem ersten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der erste Umfelderfassungssensor 14 eine Fisheye-Kamera umfasst;
  2. b) Bereitstellen von zweiten Sensordaten durch einen zweiten Umfelderfassungssensor 16 mit einem zweiten Erfassungsbereich, wobei die zweiten Sensordaten Abstandsdaten von in dem zweiten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der zweite Erfassungsbereich zumindest teilweise mit dem ersten Erfassungsbereich identisch ist;
  3. c) Übermitteln der ersten Sensordaten und der zweiten Sensordaten an eine Recheneinheit 12 des Fahrunterstützungssystems; und
  4. d) Abschätzen einer geometrischen Tiefe der ersten Sensordaten unter Verwendung der zweiten Sensordaten durch die Recheneinheit 12 unter Erzeugung von tiefenabgeschätzten Umgebungsdaten.
The driving support system is in particular designed to at least partially carry out a depth estimation method which has the following method steps:
  1. a) Provision of first sensor data by a first environment detection sensor 14 with a first detection area, the first sensor data comprising two-dimensional object data of objects located in the first detection area, and wherein the first environment detection sensor 14 a fisheye camera;
  2. b) provision of second sensor data by a second environment detection sensor 16 with a second detection area, the second sensor data comprising distance data from objects located in the second detection area, and wherein the second detection area is at least partially identical to the first detection area;
  3. c) transmitting the first sensor data and the second sensor data to a computing unit 12th the driving support system; and
  4. d) Estimation of a geometric depth of the first sensor data using the second sensor data by the computing unit 12th generating deeply estimated environmental data.

Ein derartiges Verfahren in einer bevorzugten Ausgestaltung ist schematisch in der 2 dargestellt.Such a method in a preferred embodiment is shown schematically in the 2nd shown.

Dabei zeigt der Block 18 im Wesentlichen die Verfahrensschritte a) bis d), also den Kern der Erfindung und damit die mandatorischen Merkmale. Zusammenfassend beschreibt der Block 18 die Erfassung der Sensordaten und deren Prozessieren. Somit ist von Block 18 die Erfassung der Sensordaten und dabei das Ermitteln von Informationen betreffend eine dreidimensionale Umgebung des Fahrzeugs 10 umfasst.The block shows 18th essentially the process steps a) to d), that is the essence of the invention and thus the mandatory features. In summary, the block describes 18th the acquisition of the sensor data and their processing. So is from block 18th the detection of the sensor data and the determination of information relating to a three-dimensional environment of the vehicle 10th includes.

Dabei kann von dem Prozessieren der Sensordaten etwa umfasst sein eine Korrektur der Sensordaten derart, dass die zweiten Sensordaten vor Verfahrensschritt d) derart korrigiert werden, dass zweite Sensordaten betreffend für den ersten Umfelderfassungssensor 14 verdeckte Objekte verworfen werden.The processing of the sensor data can include a correction of the sensor data such that the second sensor data are corrected before method step d) in such a way that they concern second sensor data for the first environment detection sensor 14 hidden objects are discarded.

Der Block 20 beschreibt ferner das Training eines neuronalen Netzes. Somit kann es vorgesehen sein, dass die Recheneinheit 12 ein neuronales Netz aufweist. Insbesondere ist das neuronale Netz als CNN (Convolutional Neuronal Network) au sg estaltet.The block 20th also describes the training of a neural network. It can thus be provided that the computing unit 12th a neural network having. In particular, the neural network is designed as a CNN (convolutional neuronal network).

Bei einem Training des neuronalen Netzes können wiederum die Schritte a) bis d) ablaufen.When training the neural network, steps a) to d) can again take place.

Das Vortrainieren des neuronalen Netzes kann online oder offline erfolgen. Im Online-Modus („online“) kann das neuronale Netz auf Daten einer Datenbank zugreifen, welche bereits mit zweiten Sensordaten verknüpfte und somit tiefenabgeschätzte Sensordaten umfasst, die von anderen Fahrzeugen, z.B. von Entwicklungs-Fahrzeugen, oder auch von dem eigenen Fahrzeug 10 an eine Cloud über ein mobiles Netzwerk gesendet wurden. Der eigentliche Lernprozess des neuronalen Netzes kann nach Verknüpfung der ersten Sensordaten mit den zweiten Sensordaten und einer entsprechenden Tiefenabschätzung auch im Offline-Modus erfolgen („offline“). Ferner kann der Offline-Modus derart erfolgen, dass das neuronale Netz auf Daten zurückgreift, welche in einem Speicher des Fahrunterstützungssystems gespeichert sind.The neural network can be pre-trained online or offline. In online mode (“online”), the neural network can access data from a database which already includes sensor data linked to second sensor data and thus depth-estimated, that of other vehicles, for example development vehicles, or of one's own vehicle 10th sent to a cloud over a mobile network. The actual learning process of the neural network can also take place in offline mode ("offline") after linking the first sensor data with the second sensor data and a corresponding depth estimate. Furthermore, the offline mode can take place in such a way that the neural network accesses data which are stored in a memory of the driving support system.

Nach dem Training des neuronalen Netzes kann es möglich sein, dass das neuronale Netz unmittelbar zweidimensionale Sensordaten der ersten Umfelderfassungssensoren 14 beziehungsweise der Fisheye Kamera tiefenabschätzt, somit nach einem Training des neuronalen Netzes die zweiten Sensordaten beziehungsweise die Abstandsdaten nicht mehr zwingend für eine Tiefenabschätzung der Objekte und damit für ein Abschätzen einer geometrischen Tiefe der ersten Sensordaten erforderlich sind. In anderen Worten kann es vorgesehen sein, dass nach einem Training des neuronalen Netzes das Abschätzen einer geometrischen Tiefe der ersten Sensordaten ohne Verwendung aktueller zweiter Sensordaten, also ohne aktuelle Sensordaten des zweiten Umfelderfassungssensors 16 erfolgt. Dieser Schritt wird durch den Block 22 dargestellt.After training the neural network, it may be possible for the neural network to immediately receive two-dimensional sensor data from the first environment detection sensors 14 or the fisheye camera, so that after training the neural network, the second sensor data or the distance data are no longer absolutely necessary for a depth estimation of the objects and thus for an estimation of a geometric depth of the first sensor data. In other words, it can be provided that after training the neural network, the geometric depth of the first sensor data is estimated without using current second sensor data, that is to say without current sensor data from the second environment detection sensor 16 he follows. This step is through the block 22 shown.

Es ist jedoch nicht ausgeschlossen, dass trotzdem auch nach dem Trainieren des neuronalen Netzes dieses erneut beziehungsweise weiter trainiert wird und/oder dass in Abhängigkeit der Gegebenheiten und etwa bei nicht antrainierten Zuständen die zweiten Sensordaten beziehungsweise die Abstandsdaten für eine Tiefenabschätzung in Betracht gezogen werden.However, it cannot be ruled out that after the neural network has been trained, it will still be trained again and / or that the second sensor data or the distance data may be taken into account for a depth estimate depending on the circumstances and, for example, in the case of states that are not trained.

Ein derartiges Verfahren erlaubt somit auf effektive Weise das Erzeugen einer Tiefenabschätzung von durch eine Fisheye-Kamera erzeugten zweidimensionalen Bilddaten, was, wie dies vorstehend beschrieben ist, signifikante Vorteile gegenüber den Lösungen aus dem Stand der Technik ermöglichen kann.Such a method thus effectively enables the generation of a depth estimate of two-dimensional image data generated by a fisheye camera, which, as described above, can enable significant advantages over the solutions from the prior art.

BezugszeichenlisteReference list

1010th
Fahrzeugvehicle
1212th
RecheneinheitArithmetic unit
1414
erster Umfelderfassungssensorfirst environment detection sensor
1616
zweiter Umfelderfassungssensorsecond environment detection sensor
1818th
Blockblock
2020th
Blockblock
2222
Blockblock

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • US 2015/0324658 A1 [0007]US 2015/0324658 A1 [0007]

Claims (10)

Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten für eine Umfelderfassung eines Fahrzeugs (10) durch ein Fahrunterstützungssystem, dadurch gekennzeichnet dass das Verfahren die folgenden Verfahrensschritte aufweist: a) Bereitstellen von ersten Sensordaten durch einen ersten Umfelderfassungssensor (14) mit einem ersten Erfassungsbereich, wobei die ersten Sensordaten zweidimensionale Objektdaten von in dem ersten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der erste Umfelderfassungssensor (14) eine Fisheye-Kamera umfasst; b) Bereitstellen von zweiten Sensordaten durch einen zweiten Umfelderfassungssensor (16) mit einem zweiten Erfassungsbereich, wobei die zweiten Sensordaten Abstandsdaten von in dem zweiten Erfassungsbereich sich befindlichen Objekten umfassen, und wobei der zweite Erfassungsbereich zumindest teilweise mit dem ersten Erfassungsbereich identisch ist; c) Übermitteln der ersten Sensordaten und der zweiten Sensordaten an eine Recheneinheit (12) des Fahrunterstützungssystems; und d) Abschätzen einer geometrischen Tiefe der ersten Sensordaten unter Verwendung der zweiten Sensordaten durch die Recheneinheit (12) unter Erzeugung von tiefenabgeschätzten Umgebungsdaten.Method for depth estimation of two-dimensional sensor data for environment detection of a vehicle (10) by a driving support system, characterized in that the method has the following method steps: a) provision of first sensor data by a first environment detection sensor (14) with a first detection area, the first sensor data comprise two-dimensional object data of objects located in the first detection area, and wherein the first environment detection sensor (14) comprises a fish-eye camera; b) providing second sensor data by a second environment detection sensor (16) with a second detection area, the second sensor data comprising distance data from objects located in the second detection area, and wherein the second detection area is at least partially identical to the first detection area; c) transmitting the first sensor data and the second sensor data to a computing unit (12) of the driving support system; and d) estimating a geometric depth of the first sensor data using the second sensor data by the arithmetic unit (12) generating depth-estimated environmental data. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als zweiter Umfelderfassungssensor (16) ein LIDAR verwendet wird.Procedure according to Claim 1 , characterized in that a LIDAR is used as the second environment detection sensor (16). Verfahren nach einem der Ansprüche 1 oder 2 dadurch gekennzeichnet, dass das Verfahren unter Verwendung eines neuronalen Netzes durchgeführt wird.Procedure according to one of the Claims 1 or 2nd characterized in that the method is carried out using a neural network. Verfahren Anspruch 3, dadurch gekennzeichnet, dass das neuronale Netz als CNN ausgestaltet ist.method Claim 3 , characterized in that the neural network is designed as a CNN. Verfahren Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Verfahrensschritte a) bis d) dem Training des neuronalen Netzes dienen und dass nach einem Training des neuronalen Netzes das Abschätzen einer geometrischen Tiefe der ersten Sensordaten ohne Verwendung aktueller zweiter Sensordaten erfolgt.method Claim 3 or 4th , characterized in that the method steps a) to d) serve to train the neural network and that after training the neural network the geometric depth of the first sensor data is estimated without using current second sensor data. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die zweiten Sensordaten vor Verfahrensschritt d) derart korrigiert werden, dass zweite Sensordaten betreffend für den ersten Umfelderfassungssensor (14) verdeckte Objekte verworfen werden.Procedure according to one of the Claims 1 to 5 , characterized in that the second sensor data are corrected before method step d) in such a way that second sensor data relating to objects hidden for the first environment detection sensor (14) are rejected. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass wenigstens die ersten Sensordaten einen Erfassungsbereich von 360° wiederspiegeln.Procedure according to one of the Claims 1 to 6 , characterized in that at least the first sensor data reflect a detection range of 360 °. Fahrunterstützungssystem für ein Fahrzeug (10) zum Unterstützen eines Fahrers des Fahrzeugs (10), wobei das Fahrunterstützungssystem wenigstens eine Recheneinheit (12) aufweist, die mit Daten eines ersten Umfelderfassungssensors (14) speisbar ist und die mit Daten eines zweiten Umfelderfassungssensors (16) speisbar ist, wobei der erste Umfelderfassungssensor (14) eine Fisheye-Kamera umfasst, dadurch gekennzeichnet, dass die Recheneinheit (12) dazu ausgestaltet ist, ein Verfahren nach einem der Ansprüche 1 bis 7 zumindest zum Teil auszuführen.Driving support system for a vehicle (10) for supporting a driver of the vehicle (10), wherein the driving support system has at least one computing unit (12) which can be fed with data from a first environment detection sensor (14) and which can be fed with data from a second environment detection sensor (16) wherein the first environment detection sensor (14) comprises a fish-eye camera, characterized in that the computing unit (12) is designed to implement a method according to one of the Claims 1 to 7 to perform at least in part. Fahrunterstützungssystem nach Anspruch 8, dadurch gekennzeichnet, dass der zweite Umfelderfassungssensor (16) einen LIDAR umfasst.Driving support system after Claim 8 , characterized in that the second environment detection sensor (16) comprises a LIDAR. Fahrunterstützungssystem nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass der zweite Umfelderfassungssensor (16) in einer größeren Höhe positioniert ist, als der erste Umfelderfassungssensor (14).Driving support system after Claim 8 or 9 , characterized in that the second environment detection sensor (16) is positioned at a greater height than the first environment detection sensor (14).
DE102018121866.4A 2018-09-07 2018-09-07 Method for depth estimation of two-dimensional sensor data Pending DE102018121866A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018121866.4A DE102018121866A1 (en) 2018-09-07 2018-09-07 Method for depth estimation of two-dimensional sensor data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018121866.4A DE102018121866A1 (en) 2018-09-07 2018-09-07 Method for depth estimation of two-dimensional sensor data

Publications (1)

Publication Number Publication Date
DE102018121866A1 true DE102018121866A1 (en) 2020-03-12

Family

ID=69621026

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018121866.4A Pending DE102018121866A1 (en) 2018-09-07 2018-09-07 Method for depth estimation of two-dimensional sensor data

Country Status (1)

Country Link
DE (1) DE102018121866A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020108898A1 (en) 2020-03-31 2021-09-30 Valeo Schalter Und Sensoren Gmbh METHOD OF OPERATING A VEHICLE CAMERA DEVICE, VEHICLE CAMERA DEVICE, AND VEHICLE
DE102020214123A1 (en) 2020-11-10 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting an environment of a first sensor system
DE102022204547A1 (en) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting an environment of a camera system and associated device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324658A1 (en) * 2014-05-06 2015-11-12 The Boeing Company Sensor fusion using detector confidence boosting
DE102017108248A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC STREET FEATURE RECOGNITION WITH A VEHICLE CAMERA SYSTEM
DE102017108255A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC PARALLEL DETECTION OF PRIMITIVES IN A SCENE USING A ROUNDUM CAMERA SYSTEM
DE102017108254A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC All-round vision camera system for object recognition and tracking
DE102016108643A1 (en) * 2016-05-10 2017-11-16 Hubert Noras Self-contained monitor
DE202017107397U1 (en) * 2017-12-05 2017-12-20 Hochschule Für Technik Und Wirtschaft Des Saarlandes Device for warning a two-wheeled driver of a collision with another vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324658A1 (en) * 2014-05-06 2015-11-12 The Boeing Company Sensor fusion using detector confidence boosting
DE102017108248A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC STREET FEATURE RECOGNITION WITH A VEHICLE CAMERA SYSTEM
DE102017108255A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC PARALLEL DETECTION OF PRIMITIVES IN A SCENE USING A ROUNDUM CAMERA SYSTEM
DE102017108254A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC All-round vision camera system for object recognition and tracking
DE102016108643A1 (en) * 2016-05-10 2017-11-16 Hubert Noras Self-contained monitor
DE202017107397U1 (en) * 2017-12-05 2017-12-20 Hochschule Für Technik Und Wirtschaft Des Saarlandes Device for warning a two-wheeled driver of a collision with another vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EIGEN, David ; PUHRSCH, Christian ; FERGUS, Rob: Depth map prediction from a single image using a multi-scale deep network. 09-06-2014. 9 S. URL: https://arxiv.org/pdf/1406.2283.pdf [abgerufen am 2019-04-04]. - arXiv:1406.2283 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020108898A1 (en) 2020-03-31 2021-09-30 Valeo Schalter Und Sensoren Gmbh METHOD OF OPERATING A VEHICLE CAMERA DEVICE, VEHICLE CAMERA DEVICE, AND VEHICLE
DE102020214123A1 (en) 2020-11-10 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting an environment of a first sensor system
DE102020214123B4 (en) 2020-11-10 2023-08-03 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting an environment of a first sensor system
DE102022204547A1 (en) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting an environment of a camera system and associated device

Similar Documents

Publication Publication Date Title
EP3765927B1 (en) Method for generating a training data record for training an artificial intelligence module for a control device of a vehicle
DE102018206208A1 (en) Method, device, product and computer program for operating a technical system
EP2951804B1 (en) Creating a model for the surroundings of a vehicle
DE102019104974A1 (en) Method and system for determining a driving maneuver
WO2019121035A1 (en) Method for classifying parking spaces in a surrounding area of a vehicle having a neural network
EP3671546A1 (en) Method and system for determining landmarks in an environment of a vehicle
DE102017213247A1 (en) Knowledge transfer between different deep-learning architectures
DE102018121866A1 (en) Method for depth estimation of two-dimensional sensor data
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE102017127600A1 (en) Method for automatic parking for a motor vehicle with a driving support system
AT521647A1 (en) Method and system for data preparation, for training an artificial neural network and for analyzing sensor data
DE102019217723A1 (en) DRIVING SAFETY CONTROL SYSTEM USING AMBIENT NOISE AND CONTROL METHOD THEREFOR
EP3293971B1 (en) Method for reproducing a section of an image
DE102017123226A1 (en) A method of determining a critical altitude of a forward link for a vehicle comprising a towing vehicle and a trailer
DE102022212343A1 (en) AUTONOMOUS DRIVING SYSTEM
DE102019129904A1 (en) Automatic driving competence analysis
DE102019000060A1 (en) Controlling a vehicle using a control system
DE102018103698A1 (en) Straßenabtastverfahren
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
DE102017100669A1 (en) Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle
DE102017119317A1 (en) Classification of surrounding vehicles for a cruise control cruise control device in a motor vehicle
DE102020209979A1 (en) Method and device for recognizing an object from input data
EP3610643B1 (en) Surround view system for a vehicle
DE102019120651A1 (en) Pattern recognition using ultrasonic signals for autonomous driving
DE102019216184A1 (en) Method for the robustification of a neural network against adversarial disturbances

Legal Events

Date Code Title Description
R163 Identified publications notified