EP4770888A1 - Verfahren zur erzeugung einer umgebungsansicht eines fahrzeugs - Google Patents

Verfahren zur erzeugung einer umgebungsansicht eines fahrzeugs

Info

Publication number
EP4770888A1
EP4770888A1 EP24759061.5A EP24759061A EP4770888A1 EP 4770888 A1 EP4770888 A1 EP 4770888A1 EP 24759061 A EP24759061 A EP 24759061A EP 4770888 A1 EP4770888 A1 EP 4770888A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
view
environment
generating
sensor system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24759061.5A
Other languages
English (en)
French (fr)
Inventor
Uwe Schäfer
Thomas STADLBAUER
Viktor Dering
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Aumovio Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aumovio Autonomous Mobility Germany GmbH filed Critical Aumovio Autonomous Mobility Germany GmbH
Publication of EP4770888A1 publication Critical patent/EP4770888A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren, zur Erzeugung einer Ansicht (A) einer Fahrzeugumgebung (U) eines Fahrzeugs (2), wobei das Fahrzeug (2) ein Sensorsystem (1) zur Umgebungserfassung mit zumindest zwei jeweils einen Ausschnitt der Fahrzeugumgebung (U) erfassenden und in unterschiedlichen Teilbereichen des Fahrzeugs (2) positionierten Sensoren (1a-1d), umfasst, umfassend folgende Verfahrensschritte: - Empfangen von Sensordaten (D(t)) von dem Sensorsystem (1) als Funktion der Zeit (t), - Bestimmen von Teilbereichen (T) einer Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) in den zu unterschiedlichen Zeitpunkten (t) empfangenen Sensordaten (D(t)), und - Erzeugen einer Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) anhand der ermittelten Teilbereiche (1). Die Erfindung betrifft ferner eine Bildaufnahmeeinrichtung für ein Fahrzeug (2) umfassend ein Sensorsystem (1), eine Anzeigeeinrichtung (D) und eine Steuereinrichtung, wobei die Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens ausgestaltet ist, ein Fahrzeug (2) umfassend eine erfindungsgemäße Bildaufnahmeeinrichtung, ein Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens sowie ein Computerprogrammprodukt.

Description

Beschreibung
Verfahren zur Erzeugung einer Umgebungsansicht eines Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zur Erzeugung einer Ansicht einer Fahrzeugumgebung eines Fahrzeugs, wobei das Fahrzeug ein Sensorsystem zur Umgebungserfassung mit zumindest zwei jeweils einen Teilbereich der Fahrzeugumgebung erfassenden und in unterschiedlichen Teilbereichen des Fahrzeugs positionierten Sensoren, eine Bildaufnahmeeinrichtung für ein Fahrzeug umfassend ein Sensorsystem, eine Anzeigeeinrichtung und eine Steuereinrichtung, welche zur Ausführung des erfindungsgemäßen Verfahrens ausgestaltet ist, ein Fahrzeug mit einer erfindungsgemäßen Bildaufnahmeeinrichtung, ein Computerprogramm und ein Computerprogrammprodukt.
Um das Manövrieren mit einem Fahrzeug zu erleichtern, können mithilfe von Sensorsystemen zur Umgebungserfassung, beispielsweise Kameras, LIDAR-Sensoren, Radarsensoren und/oder Ultraschallsensoren, verschiedene Umgebungsansichten erzeugt werden, wie beispielsweise eine Aufsicht auf das Fahrzeug und das unmittelbare Fahrzeugumfeld. In dieser Hinsicht eignet sich insbesondere ein Sensorsystem in Form eines Surroundview-Kamerasystems, welches eine Vielzahl von Kameras, welche relativ zum Fahrzeug unterschiedlich positioniert sind, umfasst. Aus den Bilddaten der verschiedenen Kameras kann beispielsweise durch Projektion der Bilddaten auf eine Projektionsgrundfläche eine künstliche Aufsicht oder Top-View-Ansicht auf das Fahrzeug erzeugt werden.
DE102019207415A1 beschreibt beispielsweise ein Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung anhand von Projektionen der von einer Vielzahl an Kameras empfangenen Bildern auf eine virtuelle Projektionsfläche in einem virtuellen 3D-Raum. Weitere Verfahren zur Erzeugung unterschiedlicher Ansichten von Fahrzeugumgebungen anhand von Kamerabildern sind beispielsweise aus den Dokumenten WO2018072793A1 , W02019170202A1 , DE102015221340B4, DE102015221356B4, DE102016223391 A1 oder DE 10 2021 207 558 A1 bekannt geworden. Aber nicht nur eine Aufsicht auf das jeweilige Fahrzeug ist zum Manövrieren des Fahrzeugs hilfreich. Vielmehr sind unterschiedlichste Ansichten des Fahrzeugs aus unterschiedlichsten Perspektiven und auch Projektionen der Fahrzeugumgebungen außerhalb des Sichtfeldes des Fahrers des Fahrzeugs sehr hilfreich.
Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, die Möglichkeiten zur Darstellung geeigneter Ansichten von Fahrzeugen sowie deren Umgebungen weiter zu verbessern.
Diese Aufgabe wird gelöst durch das Verfahren nach Anspruch 1 , die Bildaufnahmeeinrichtung nach Anspruch 11 , das Fahrzeug nach Anspruch 12, das Computerprogramm nach Anspruch 14 und das Computerprogrammprodukt nach Anspruch 15.
Hinsichtlich des Verfahrens wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zur Erzeugung einer Ansicht einer Fahrzeugumgebung eines Fahrzeugs, wobei das Fahrzeug ein Sensorsystem zur Umgebungserfassung mit zumindest zwei jeweils einen Ausschnitt der Fahrzeugumgebung erfassenden und in unterschiedlichen Teilbereichen des Fahrzeugs positionierten Sensoren, umfasst. Das Verfahren umfasst die die folgenden Verfahrensschritte:
- Empfangen von Sensordaten von dem Sensorsystem als Funktion der Zeit,
- Bestimmen von Teilbereichen einer Fahrzeugumgebung oberhalb des Fahrzeugs in den zu unterschiedlichen Zeitpunkten empfangenen Sensordaten, und
- Erzeugen einer Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs anhand der ermittelten Teilbereiche.
Des Sensorsystem zur Umgebungserfassung kann mehrere gleichartige oder unterschiedliche Sensoren umfassen. Insbesondere können verschiedenste ADAS-Sensoren verwendet werden. Die zumindest zwei durch die zumindest zwei Sensoren erfassten Teilbereiche der Fahrzeugumgebung bzw. Erfassungsbereiche können teilweise überlappen, oder sich vollständig voneinander unterschieden. Es ist von Vorteil, wenn insgesamt ein möglichst großer Bereich der Fahrzeugumgebung erfassbar ist. Es ist demnach von Vorteil, wenn die Sensoren derart positioniert sind oder werden, dass ein Erfassungsbereich der Gesamtheit der Sensoren maximiert wird.
Die Sensordaten werden als Funktion der zeit empfangen oder erfasst. In diesem Zusammenhang ist eine wiederholte Datenerfassung zu bestimmten vorgebbaren Zeitpunkten, insbesondere periodisch, denkbar, oder auch eine kontinuierliche Erfassung. Zu unterschiedlichen Zeitpunkten variiert der jeweils erfasste Teilbereich der Umgebung als Funktion der Fahrzeugbewegung.
Erfindungsgemäß werden dann jene Teilbereiche der Fahrzeugumgebung bestimmt oder ermittelt, welche sich oberhalb des Fahrzeugs befinden. Zu diesem Zweck können die Sensordaten einzelner, mehrerer oder sämtlicher Sensoren des Sensorsystems zu bestimmten, ausgewählten oder allen erfassten Zeitpunkten herangezogen werden. Die Bestimmung ebendieser Teilbereiche der Fahrzeugumgebung kann dabei auf viele unterschiedliche Arten und Weisen, insbesondere automatisiert, erfolgen. Entsprechende Detektionsmethoden sind an sich aus dem Stand der Technik bekannt. Anhand der ermittelten Teilbereiche betreffend die Fahrzeugumgebung oberhalb des Fahrzeugs kann dann eine geeignete Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs erzeugt werden.
Eine Kenntnis der Fahrzeugumgebung oberhalb des Fahrzeugs ist in zahlreichen Situationen äußerst hilfreich. Der Fahrer eines Fahrzeugs kann die Fahrzeugumgebung oberhalb des Fahrzeugs aus dem Fahrzeug heraus typischerweise nicht direkt wahrnehmen. Dennoch können wichtige Informationen über dem Fahrzeug lokalisiert sein, beispielsweise Verkehrsschilder oder ähnliches. Auch Fahrbahnbegrenzungen nach oben, beispielsweise im Falle von Unterführungen, Brücken oder Tunneln, müssen beim Führen eines Fahrzeugs jeweils beachtet werden, um Kollisionen zu vermeiden.
In einer Ausgestaltung des Verfahrens wird die Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs einem Fahrer des Fahrzeugs angezeigt. Die Anzeige kann einerseits statisch sein, oder es kann sich um ein bewegtes Bild, insbesondere ein Video, handeln, welches diesen Bereich der Fahrzeugumgebung fortlaufend darstellt.
Das Erzeugen der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs kann zumindest teilweise unter Zuhilfenahme eines Objektdetektors bewerkstelligt werden. Objektdetektoren zur Detektion von Objekten in Bildern sind in zahlreichen Ausgestaltungen aus dem Stand der Technik bekannt geworden. Typischerweise umfassen Objektdetektoren eine Einheit zur Lokalisierung von Objekten und eine weitere Einheit zur Klassifikation der lokalisierten Objekte. Im Rahmen können eine Objektlokalisierung, eine Objektklassifikation oder eine Lokalisierung und Klassifizierung vorgenommen werden.
So umfasst in einer Ausgestaltung das Erzeugen der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs das Erstellen eines Umgebungsmodells oder Umfeldmodells für das Fahrzeug anhand der zu unterschiedlichen Zeitpunkten empfangenen Sensordaten. Das Umgebungsmodell kann beispielsweise ausgehend von Punktewolken erstellt werden. Es handelt sich bei dem Umgebungsmodell oder Umfeldmodell vorzugsweise um eine zwei- oder dreidimensionale Beschreibung der Fahrzeugumgebung, welche aus den erfassten Sensordaten betreffend die Fahrzeugumgebung abgeleitet wird. Dabei können beispielsweise Informationen zu anderen Verkehrsteilnehmern, zu Infrastrukturelementen, zum statistischen Umfeld, zur Verkehrsregelung, zu Fahrbahnbegrenzungen und zur Position des Fahrzeugs berücksichtigt werden, welche sämtlich oder teilweise aus den Sensordaten extrahierbar sein können.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens umfasst das Erzeugen der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs eine Objektlokalisierung zumindest eines Objekts, insbesondere anhand des Umfeldmodells für das Fahrzeug. Die Objektlokalisierung kann insbesondere basierend auf dem Umgebungsmodell, insbesondere basierend auf 2D oder 3D- Informationen aus dem Umgebungsmodell vorgenommen werden. Eine Lokalisierung von Objekten in der Fahrzeugumgebung ist insbesondere nützlich zur Ermittlung von Größenverhältnissen, insbesondere Höhenverhältnissen. Es wird demnach beispielsweise möglich, die Dimensionen des eigenen Fahrzeugs mit den Dimensionen von unterschiedlichen Objekten in der Fahrzeugumgebung in Relation zu setzen. Zur Objektklassifikation können beispielsweise unterschiedliche Methoden aus dem Bereich des maschinellen Lernens, insbesondere unter Zuhilfenahme von neuronalen Netzen, eingesetzt werden. Aber auch zahlreiche andere Verfahren, wie z. B. ein Structure-from-Motion Verfahren zur Gewinnung von 3D Informationen anhand zeitversetzter 2D Bilder, können im Kontext der vorliegenden Erfindung eingesetzt werden.
In einer weiteren Ausgestaltung umfasst das Erzeugen der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs eine Objektklassifikation zumindest eines Objekts, insbesondere eines lokalisierten Objekts. In diesem Fall werden jene Objekte klassifiziert, welche zudem auch lokalisiert werden oder worden sind. Zur Objektklassifikation können beispielsweise ebenfalls unterschiedliche Methoden aus dem Bereich des maschinellen Lernens, wie eine semantische Segmentierung, eingesetzt werden.
Es ist von Vorteil, wenn das Erzeugen der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs eine Rekonstruktion und/oder adaptive Zusammensetzung der die Fahrzeugumgebung oberhalb des Fahrzeugs betreffenden Teilbereiche der zu unterschiedlichen Zeitpunkten empfangenen Sensordaten umfasst. Die jeweils erfassten Teilbereiche der Fahrzeugumgebung unterscheiden sich on Sensor zu Sensor und für jeden der Sensoren von Erfassungszeitpunkt zu Erfassungszeitpunkt. Durch eine Berücksichtigung der zu unterschiedlichen Zeitpunkten erfassten Sensordaten mehrerer Sensoren können demnach umfassende und vollständige Informationen zur Fahrzeugumgebung oberhalb des Fahrzeugs gewonnen werden. Auf diese Weise kann die Fahrzeugumgebung oberhalb des Fahrzeugs vollständig wiedergegeben und zur Ableitung von verschiedenen Maßnahmen herangezogen werden.
Es ist ferner von Vorteil, wenn es sich bei der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs um eine, insbesondere konfigurierbare, 3D-Ansicht, um eine perspektivische Ansicht, um eine Draufsicht, eine seitliche Ansicht, insbesondere eine Schnittdarstellung, oder um eine Bowl-Ansicht handelt. Die jeweils verwendete Art von Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs kann auch variiert und insbesondere in Abhängigkeit der jeweiligen Anwendung passend gewählt werden.
Es ist zudem von Vorteil, wenn das Sensorsystem ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, ein Radar-Sensorsystem, ein Lidar-Sensorsystem, und/oder ein Ultraschall-Sensorsystem umfasst.
Eine besonders bevorzugte Ausgestaltung des erfindungsgemäßen Verfahrens beinhaltet, dass anhand der Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs ein Hindernis für das Fahrzeug oberhalb des Fahrzeugs, ein statischer Gegenstand oder ein statisches Zeichen oberhalb des Fahrzeugs, eine Höheninformation, insbesondere betreffend ein abgeschlossenes Raumvolumen oberhalb des Fahrzeugs, oder eine korrekte Positionierung des Fahrzeugs relativ zu einem Objekt, welches sich zumindest teilweise oberhalb des Fahrzeugs befindet, ermittelt wird. Bei dem Hindernis kann es sich insbesondere um eine Brücke, einen Tunnel oder eine Unterführung handeln, bei dem statischen Gegenstand kann es sich beispielsweise um ein anderes, fest installiertes Infrastrukturelement, eine Ampel, eine Beleuchtungsvorrichtung, ein oberhalb der Fahrbahn geführtes Kabel oder ähnliches handeln. Abgeschlossene Raumvolumen betreffen insbesondere Gebäude oder gebäudeähnliche Elemente, wie beispielsweise Höhen von Tiefgaragen, Mautstationen oder Tankstellen. In nach oben abgeschlossenen Räumen kann beispielsweise ermittelt werden, ob eine Höhe des Raumes zum Öffnen eines Kofferraums des Fahrzeugs möglich ist. Schließlich ist eine korrekte Positionierung des Fahrzeugs relativ zu einem anderen Objekt oberhalb des Fahrzeugs beispielsweise relevant für Be- oder Entladevorgänge, welche von oberhalb des Fahrzeugs ausgehend, vorgenommen werden.
Es ist in diesem Zusammenhang von Vorteil, wenn eine Information und/oder eine Warnung, insbesondere bei Gefahr, für den Fahrer des Fahrzeugs ausgegeben wird. Eine derartige Information oder Warnung kann durch ein optisches, akustisches oder optisches Signal ausgegeben werden. Es können aber auch Maßnahmen hinsichtlich des Fahrverhaltens, insbesondere automatisch, eingeleitet werden, wie beispielsweise das Initialisieren eines Bremsvorgangs.
Die der Erfindung zugrunde liegende Aufgabe wird ferner gelöst durch eine Bildaufnahmeeinrichtung für ein Fahrzeug umfassend ein Sensorsystem, eine Anzeigeeinrichtung und eine Steuereinrichtung, wobei die Steuereinrichtung zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche eingerichtet ist. Bei dem Sensorsystem handelt es sich ebenfalls vorzugsweise um ein zur Ausführung des erfindungsgemäßen Verfahrens geeignetes Sensorsystem, welches insbesondere einen oder mehrere, gleiche oder unterschiedliche Sensoren, insbesondere ADAS-Sensoren, umfassen kann.
Die der Erfindung zugrunde liegende Aufgabe wird außerdem gelöst durch ein Fahrzeug umfassend eine erfindungsgemäße Bildaufnahmeeinrichtung.
Vorteilhaft findet das erfindungsgemäße Verfahren Verwendung für Fahrzeuge, insbesondere in einem Fahrerassistenzsystem eines Fahrzeugs.
Die der Erfindung zugrunde liegende Aufgabe wird ferner gelöst durch ein Computerprogramm mit Anweisungen, die, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer veranlassen, das erfindungsgemäße Verfahren nach einer der beschriebenen Ausgestaltungen auszuführen, sowie durch ein Computerprogrammprodukt, auf welchem das erfindungsgemäße Computerprogramm gespeichert ist.
Die Erfindung sowie ihre vorteilhaften Ausgestaltungen werden anhand der nachfolgenden Figuren näher erläutert. Es zeigt:
Fig. 1 eine schematisches Ablaufdiagramm zur Illustration des erfindungsgemäßen Verfahrens,
Fig. 2 verschiedene Anwendungsfälle für das erfindungsgemäße Verfahren, und Fig. 3 mögliche Ansichten der Fahrzeugumgebung oberhalb des Fahrzeugs.
In den Figuren sind gleiche Elemente stets mit demselben Bezugszeichen versehen.
Zur Erzeugung einer Ansicht einer Fahrzeugumgebung Uo oberhalb eines Fahrzeugs werden von einem Sensorsystem 1 umfassend mehrere in unterschiedlichen Teilbereichen des Fahrzeugs angeordnete Sensoren 1a-1d [hier beispielhaft und ohne Beschränkung der Allgemeinheit vier gleichartige Sensoren, beispielsweise Kameras] zunächst Sensordaten D als Funktion der Zeit t empfangen. Die Sensordaten können beispielsweise für ein vorgebbares Zeitintervall gespeichert oder zwischengespeichert werden, um die der Datenerfassung nachgelagerten Berechnungen zu ermöglichen.
In den zu unterschiedlichen Zeitpunkten t empfangenen und erfassten Sensordaten D(t) werden zunächst jene Teilbereiche T bestimmt, welche die Fahrzeugumgebung oberhalb des Fahrzeugs Uo betreffen und anhand dieser Teilbereiche T wird dann die Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo erzeugt. Die Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo kann vorteilhaft auf einer Rekonstruktion und/oder adaptiven Zusammensetzung der die Fahrzeugumgebung oberhalb des Fahrzeugs Uo betreffenden Teilbereiche T der zu unterschiedlichen Zeitpunkten t empfangenen Sensordaten D basieren. In diesem Zusammenhang ist es von Vorteil, wenn die verschiedenen Teilbereiche T zu einer Ansicht der Fahrzeugumgebung oberhalb des Fahrzeugs Uo zusammengesetzt werden. Zu unterschiedlichen Zeitpunkten t sind in den jeweiligen Sensorerfassungsbereichen unterschiedliche Ausschnitte bzw. Teilbereiche T der Fahrzeugumgebung oberhalb des Fahrzeugs Uo sichtbar. Es ist also möglich, die Teilbereiche T, welche durch unterschiedliche Sensoren 1a-1d und/oder zu unterschiedlichen Zeitpunkten t erfasst worden sind, auf geeignete Art und Weise miteinander zu kombinieren, um eine möglichst vollständige Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uozu erhalten. Diese Ansicht A(Uo) kann beispielsweise einem Fahrer des Fahrzeugs, beispielsweise auf einem Display D [hier nicht sichtbar] innerhalb des Fahrzeugs, angezeigt werden.
Fig. 2 betrifft nun einige beispielhafte Anwendungsfälle für das erfindungsgemäße Verfahren. In Fig. 2a sind zwei Fahrzeuge 2a und 2b illustriert, welche sich in einer Tiefgarage befinden. In der Fahrzeugumgebung oberhalb des zweiten Fahrzeugs 2b befinden sich ein Hindernis 3 in Form eines herabhängenden Balkens sowie verschiedene zu beachtende Verkehrszeichen. Anhand der Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo können die Verkehrszeichen 4 dem Fahrer des Fahrzeugs 2b angezeigt werden und es kann abgeschätzt werden, ob das Fahrzeug 2b das Hindernis kollisionsfrei passieren kann, indem eine Höheninformation h, hier beispielhaft betreffend einen Zwischenraum zwischen dem Fahrzeug 2b und dem Hindernis 3, ermittelt wird.
Fig. 2b betrifft den Fall, dass ein Fahrzeug 2, hier in Form eines LKW, eine Unterführung passieren soll. Die Unterführung stellt hier ein Hindernis 3 für den LKW in der Fahrzeugumgebung oberhalb des Fahrzeugs Uo dar. Zweckdienlich in so einem Fall ist die Ermittlung einer Höheninformation h einer Höhe des LKW relativ zur Unterführung und ggf. das Ausgeben einer Warnung, wenn die Unterführung nicht passierbar ist.
Fig. 2c betrifft den Fall einer korrekten Positionierung eins Fahrzeugs 2, erneut in Form eines LKW relativ zu einem Objekt 5 oberhalb des Fahrzeugs 2, hier in Form einer Schüttgutvorrichtung, mittels welcher der LKW beladen werden soll. Für eine verlustfreie Beladung ist eine korrekte Positionierung des LKW 2 relativ zur Schüttgutvorrichtung 5 von zentraler Bedeutung. Die erfindungsgemäß erzeugte Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo kann eine korrekte Positionierung ermöglichen, welche sonst ohne Hilfe einer weiteren Person außerhalb des Fahrzeugs nicht ohne Weiteres möglich wäre.
Fig. 3 illustriert beispielhaft zwei Möglichkeiten zur Erzeugung der Ansicht A der
Fahrzeugumgebung oberhalb des Fahrzeugs Uo. In Fig. 3a ist eine seitliche Ansicht des Fahrzeugs 2 sowie der eines Ausschnitts der Fahrzeugumgebung oberhalb des Fahrzeugs Uo. in Form einer Schnittansicht dargestellt. Bei dem Fahrzeug 2 handelt es sich um einen PKW mit Anhänger, welcher sich in einer Tiefgarage mit einem nach oben abgeschlossenen Raumvolumen V befindet. Anhand der jeweils erzeugten Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo kann ein Zusammenstößen des Fahrzeugs 2 sowie des Anhängers mit der oberen Raumbegrenzung der Tiefgarage effektiv verhindert werden. Beispielsweise kann das Verfahren zudem den Schritt der Erzeugung einer Information oder Warnung W bei Unterschreiten eines vorgebbaren Mindestabstands zur Decke der Tiefgarage erzeugt und ausgeben werden.
Fig. 3b betrifft dasselbe Beispiel, jedoch ohne Vorhandensein eines Anhängers. Im Gegensatz zu Fig. 3a wird im Falle von Fig. 3b zudem eine Draufsicht als Ansicht A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo erzeugt, welche hier beispielhaft für drei unterschiedliche Zeitpunkte, t=n, t=n+1 und t=n+2 dargestellt ist. Es ist im Rahmen der vorliegenden Erfindung auch denkbar, ein mehrstufiges Warnsystem bereitzustellen, welches beispielsweise für das hier gezeigte Beispiel in Abhängigkeit des Grads an Gefahr für eine Kollision zu den unterschiedlichen Zeitpunkten t unterschiedliche Warnungen ausgibt, z. B. eine erste Warnung zum Zeitpunkt t=n, eine eindringlichere Warnung zum Zeitpunkt t=n+1 aufgrund der Reduktion eines vorgebbaren Abstands zum Hindernis 3, welche hin zum Zeitpunkt t=n+2 noch weiter gesteigert werden kann. Auch die automatische Einleitung eines Fahrvorgangs, hier beispielsweise eines Bremsvorgangs, ist denkbar.
Es versteht sich von selbst, dass in anderen Ausgestaltungen auch andere Ansichten A der Fahrzeugumgebung oberhalb des Fahrzeugs Uo erzeugt werden können, welche ebenfalls unter die vorliegende Erfindung fallen.

Claims

Patentansprüche
1. Verfahren, insbesondere computer-implementiertes Verfahren, zur Erzeugung einer Ansicht (A) einer Fahrzeugumgebung (U) eines Fahrzeugs (2), wobei das Fahrzeug (2) ein Sensorsystem (1 ) zur Umgebungserfassung mit zumindest zwei jeweils einen Ausschnitt der Fahrzeugumgebung (U) erfassenden und in unterschiedlichen Teilbereichen des Fahrzeugs (2) positionierten Sensoren (1a-1d), umfasst, umfassend folgende Verfahrensschritte:
- Empfangen von Sensordaten (D(t)) von dem Sensorsystem (1 ) als Funktion der Zeit (t),
- Bestimmen von Teilbereichen (T) einer Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) in den zu unterschiedlichen Zeitpunkten (t) empfangenen Sensordaten (D(t)), und
- Erzeugen einer Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) anhand der ermittelten Teilbereiche (1).
2. Verfahren nach Anspruch 1 , wobei die Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs einem Fahrer des Fahrzeugs (2) angezeigt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei das Erzeugen der Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) das Erstellen eines Umgebungsmodells für das Fahrzeug (2) anhand der zu unterschiedlichen Zeitpunkten (t) empfangenen Sensordaten (D(t)) umfasst.
4. Verfahren nach einem der vorherigen Ansprüche, wobei das Erzeugen der Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) eine Objektlokalisierung zumindest eines Objekts, insbesondere anhand des Umgebungsmodells für das Fahrzeug (2), umfasst.
5. Verfahren nach einem der vorherigen Ansprüche, wobei das Erzeugen der Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs eine Objektklassifikation zumindest eines Objekts, insbesondere eines lokalisierten Objekts, umfasst.
6. Verfahren nach einem der vorherigen Ansprüche, wobei das Erzeugen der Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs eine Rekonstruktion und/oder adaptive Zusammensetzung der die Fahrzeugumgebung oberhalb des Fahrzeugs betreffenden Teilbereiche (T) der zu unterschiedlichen Zeitpunkten (t) empfangenen Sensordaten (D(t)) umfasst.
7. Verfahren nach einem der vorherigen Ansprüche, wobei es sich bei der Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) um eine, insbesondere konfigurierbarer, 3D-Ansicht, um eine perspektivische Ansicht, um eine Draufsicht, eine seitliche Ansicht, insbesondere eine Schnittdarstellung, oder um eine Bowl-Ansicht handelt.
8. Verfahren nach einem der vorherigen Ansprüche, wobei das Sensorsystem (1) ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, ein Radar-Sensorsystem, ein Lidar-Sensorsystem, und/oder ein Ultraschall-Sensorsystem umfasst.
9. Verfahren nach einem der vorherigen Ansprüche, wobei anhand der Ansicht (A) der Fahrzeugumgebung (Uo) oberhalb des Fahrzeugs (2) ein Hindernis (3) für das Fahrzeug (2) oberhalb des Fahrzeugs (2), ein statischer Gegenstand oder ein statisches Zeichen (4) oberhalb des Fahrzeugs (2), eine Höheninformation (h), insbesondere betreffend ein abgeschlossenes Raumvolumen (V) oberhalb des Fahrzeugs (2), oder eine korrekte Positionierung des Fahrzeugs (2) relativ zu einem Objekt (5), welches sich zumindest teilweise oberhalb des Fahrzeugs (2) befindet, ermittelt wird.
10. Verfahren nach einem der vorherigen Ansprüche, wobei eine Information und/oder eine Warnung (W), insbesondere bei Gefahr, für den Fahrer des Fahrzeugs (2) ausgegeben wird.
11. Bildaufnahmeeinrichtung für ein Fahrzeug (2) umfassend ein Sensorsystem (1 ), eine Anzeigeeinrichtung (D) und eine Steuereinrichtung, wobei die Steuereinrichtung zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche eingerichtet ist.
12. Fahrzeug (2) umfassend eine Bildaufnahmeeinrichtung nach Anspruch 11.
13. Verwendung des Verfahrens nach einem der Ansprüche 1-10 für ein Fahrzeug (2), insbesondere in einem Fahrerassistenzsystem des Fahrzeugs (2).
14. Computerprogramm mit Anweisungen, die, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer veranlassen, das Verfahren nach einem der Ansprüche 1-10 auszuführen.
15. Computerprogrammprodukt, auf welchem das Computerprogramm nach Anspruch 14 gespeichert ist.
EP24759061.5A 2023-08-31 2024-08-09 Verfahren zur erzeugung einer umgebungsansicht eines fahrzeugs Pending EP4770888A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023208357.4A DE102023208357A1 (de) 2023-08-31 2023-08-31 Verfahren zur Erzeugung einer Umgebungsansicht eines Fahrzeugs
PCT/DE2024/200089 WO2025045316A1 (de) 2023-08-31 2024-08-09 Verfahren zur erzeugung einer umgebungsansicht eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP4770888A1 true EP4770888A1 (de) 2026-07-08

Family

ID=92503824

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24759061.5A Pending EP4770888A1 (de) 2023-08-31 2024-08-09 Verfahren zur erzeugung einer umgebungsansicht eines fahrzeugs

Country Status (3)

Country Link
EP (1) EP4770888A1 (de)
DE (1) DE102023208357A1 (de)
WO (1) WO2025045316A1 (de)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5316471B2 (ja) * 2010-04-27 2013-10-16 株式会社デンソー 物体認識装置、及びプログラム
DE102015221356B4 (de) 2015-10-30 2020-12-24 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugrundumansicht
DE102015221340B4 (de) 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102016220651A1 (de) 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
DE102019207415A1 (de) 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
US11586843B1 (en) 2020-03-26 2023-02-21 Ambarella International Lp Generating training data for speed bump detection
DE102020109506A1 (de) * 2020-04-06 2020-12-10 Daimler Ag Verfahren zur Unterstützung eines Fahrzeugnutzers
DE102021207558B4 (de) 2021-07-15 2025-09-04 Aumovio Autonomous Mobility Germany Gmbh Kamerasystem sowie Verfahren zum Erzeugen einer 3D-Ansicht mit einem Kamerasystem

Also Published As

Publication number Publication date
WO2025045316A1 (de) 2025-03-06
DE102023208357A1 (de) 2025-03-06

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20260331

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR