DE102021003057A1

DE102021003057A1 - Kamerabasiertes Fahrerassistenzsystem

Info

Publication number: DE102021003057A1
Application number: DE102021003057.5A
Authority: DE
Inventors: Martin Pischinger
Original assignee: FEV Group GmbH
Current assignee: FEV Group GmbH
Priority date: 2020-07-22
Filing date: 2021-06-15
Publication date: 2022-01-27
Also published as: DE102020004425A1

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem, ein Fahrzeug und ein Verfahren zum Betreiben eines Fahrerassistenzsystems.Das erfindungsgemäße Fahrerassistenzsystem umfasst- mindestens zwei zur Anbringung an einem Fahrzeug (8) vorgesehene Kameras (1a, 2a, 3a, 4a) zur kontinuierlichen Aufnahme von realen Kamerabildern,- eine Recheneinheit (5), die dazu ausgebildet und eingerichtet ist, aus den realen Kamerabildern in Echtzeit ein imaginäres Kamerabild (6) aus einer Drohnen-Perspektive zu erzeugen, wobei die die Drohnen-Perspektive eine spiegelverkehrte Sicht einer vor dem Fahrzeug (8) fliegenden Drohne, die auf das Fahrzeug (8) zurückblickt, wiedergibt,- eine Datenverbindung, welche die mindestens zwei Kameras (1a, 2a, 3a, 4a) und die Recheneinheit (5) zwecks Übertragung der Kamerabilder miteinander verbindet und- einen Bildschirm zur Anzeige des imaginären Kamerabildes (6).

Description

Die Erfindung betrifft ein Fahrerassistenzsystem, ein Fahrzeug und ein Verfahren zum Betreiben eines Fahrerassistenzsystems.
Es ist bekannt, in Fahrzeugen ein Kamerasystem vorzusehen, das beim Rangieren und langsamen Fahren einen Blick von oben auf das Fahrzeug mit der näheren Umgebung des Fahrzeugs an einem Bildschirm im Fahrzeug darstellt. Hierdurch kann ein Fahrer Hindernisse nahe dem Fahrzeug erkennen, die er durch Fenster des Fahrzeugs nicht sehen kann.
Ein System zum Einparken eines Fahrzeuges ist in der DE 10 2015 223 471 A1 2017 beschrieben. Das System umfasst eine Bilderfassungseinrichtung zur Erfassung von Bilddaten und eine Recheneinheit, die dazu ausgebildet ist, die Bilddaten von der Bilderfassungseinrichtung zu empfangen und auf Basis der Bilddaten Informationen, die eine Parkposition angeben, zu generieren.
Das erfindungsgemäße Fahrerassistenzsystem umfasst

- mindestens zwei zur Anbringung an einem Fahrzeug vorgesehene Kameras zur kontinuierlichen Aufnahme von realen Kamerabildern,
- eine Recheneinheit, die dazu ausgebildet und eingerichtet ist, aus den realen Kamerabildern in Echtzeit ein imaginäres Kamerabild aus einer Drohnen-Perspektive zu erzeugen, wobei die die Drohnen-Perspektive eine spiegelverkehrte Sicht einer vor dem Fahrzeug fliegenden Drohne, die auf das Fahrzeug zurückblickt, wiedergibt,
- eine Datenverbindung, welche die mindestens zwei Kameras und die Recheneinheit zwecks Übertragung der realen Kamerabilder miteinander verbindet und
- einen Bildschirm zur Anzeige des imaginären Kamerabildes.

Das Fahrerassistenzsystem ist bevorzugt für den Einsatz in Personenkraftwagen vorgesehen. Besonders bevorzugt dient es dazu, Fahrern Informationen über eine Fahrzeugumgebung in Echtzeit anzuzeigen.
Dadurch, dass das imaginäre Kamerabild aus einer Drohnen-Perspektive erzeugt wird, die eine spiegelverkehrte Sicht einer vor dem Fahrzeug fliegenden Drohne, die auf das Fahrzeug zurückblickt, wiedergibt, wird einem Betrachter des imaginären Kamerabildes suggeriert, er sehe in einen großen Spiegel, welcher sich vor dem Fahrzeug befindet. Bevorzugt ermöglicht dies dem Betrachter eine Fahrzeugumgebung hinter dem Fahrzeug mit einem Blick zu erfassen.
In einer weiteren bevorzugten Ausführungsform des Fahrerassistenzsystems ist die Recheneinheit dazu ausgebildet und eigerichtet, zumindest einen Ausschnitt eines Bildes spiegelverkehrt in das imaginäre Kamerabild einzufügen.
Dies ermöglicht eine Einbindung einer Abbildung einer Frontansicht des Fahrzeugs in das imaginäre Kamerabild. Bevorzugt fungiert die Abbildung als Orientierungshilfe für den Betrachter.
Besonders bevorzugt überlagert der Ausschnitt des Bildes das imaginäre Kamerabild durscheinend.
Dies ermöglicht dem Betrachter des imaginären Kamerabildes eine gleichzeitige Betrachtung der Frontansicht des Fahrzeugs und einer Umgebung hinter dem Fahrzeug, welche durch eine nicht-durscheinende Abbildung der Frontansicht verdeckt würde.
Das erfindungsgemäße Fahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem, wobei die mindestens 2 Kameras am Fahrzeug angebracht sind, und wobei der Bildschirm in einer Fahrerkabine des Fahrzeugs so angebracht ist, dass er von einer Fahrerposition aus eingesehen werden kann.
Das erfindungsgemäße Verfahren zum Betreiben eines Fahrerassistenzsystems umfasst die Schritte:

- S1 Kontinuierliches Aufnehmen realer Kamerabilder;
- S2 Erzeugen eines imaginäres Kamerabildes aus den realen Kamerabildern, wobei das imaginäre Kamerabild eine spiegelverkehrte Sicht einer vor dem Fahrzeug fliegenden Drohne, die auf das Fahrzeug zurückblickt, wiedergibt;
- S3 Darstellen des imaginären Kamerabildes auf einem Bildschirm.

Die abhängigen Ansprüche beschreiben weitere vorteilhafte Ausführungsformen der Erfindung.
Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figuren näher erläutert. Dabei zeigt

1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs, umfassend ein erfindungsgemäßes Fahrerassistenzsystem, in einer Aufsicht,
2 ein Ausführungsbeispiel eines imaginären Kamerabildes in einer schematischen Darstellung und
3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Betreiben eines Fahrerassistenzsystems.

1 zeigt ein Ausführungsbeispiel eines Fahrzeugs 8. Das Fahrzeug 8 umfasst ein Fahrerassistenzsystem. Das Fahrerassistenzsystem umfasst vier zur Anbringung am Fahrzeug 8 vorgesehene Kameras 1a, 2a, 3a, 4a zur kontinuierlichen Aufnahme von realen Kamerabildern, eine Recheneinheit 5 und einen Bildschirm (nicht gezeigt). Die vier Kameras 1a, 2a, 3a, 4a und die Recheneinheit 5 sind zwecks Übertragung der realen Kamerabilder über die Datenverbindung miteinander verbunden. Die Recheneinheit 5 ist derart ausgebildet und eingerichtet, aus den realen Kamerabildern in Echtzeit ein imaginäres Kamerabild 6 aus einer Drohnen-Perspektive zu erzeugen. Die Drohnen-Perspektive gibt dabei eine spiegelverkehrte Sicht einer vor dem Fahrzeug 8 fliegenden Drohne, die auf das Fahrzeug 8 zurückblickt, wieder (siehe 2).
Im Ausführungsbeispiel sind die vier Kameras 1a, 2a, 3a, 4a zur Aufnahme von realen Kamerabildern vorgesehen und an einer Außenseite des Fahrzeugs 8 montiert. Jeweils eine Kamera ist an der rechten und linken Seite sowie vorne und hinten am Fahrzeug 8 angebracht. Die hinten angebrachte Kamera 4a ist dazu ausgebildet, eine Fahrzeugumgebung hinter dem Fahrzeug 8 aufzunehmen, die für eine Bewertung eines Risikos eines Überholvorganges des Fahrzeuges 8 relevant ist.
Die Kameras 1a, 2a, 3a, 4a sind derart angeordnet und ausgerichtet, einen Surround-View des Fahrzeugs 8 aufzunehmen. Zu diesem Zweck umfassen die Kameras 1a, 2a, 3a, 4a Weitwinkelobjektive mit einem horizontalen Bildwinkel von hier 140°. Des Weiteren überlappen sich die einzelnen Kamerabilder zumindest in ihren Randbereichen. Des Weiteren haben die Kameras 1a, 2a, 3a, 4a eine ausreichend hohe Schärfentiefe, so dass ein Bereich von vorzugsweise mindestens 100 Meter ausreichend scharf aufgenommen werden kann, was vorteilhaft für die Qualität des imaginären Kamerabildes 6 ist. Hier sind zudem die Kameras 1a, 2a, 3a, 4a auf unendlich fokussiert.
Die Recheneinheit 5 ist eingerichtet mittels einer Transferfunktion aus den realen Kamerabildern imaginäre Bildbereiche 1, 2, 3 und 4 zu erzeugen. Solche Transferfunktionen sind in der Bildverarbeitung grundsätzlich bekannt, weswegen hierauf nicht weiter eingegangen werden soll. In diesem Ausführungsbeispiel wurden durch die Recheneinheit 5 geeignete Ausschnitte der realen Kamerabilder auf eine Ebene projiziert. Weiterhin ist die Recheneinheit 5 eingerichtet, aus den imaginären Bildbereichen 1, 2, 3 und 4 mittels einer zweiten inversen Transferfunktion ein imaginäres Kamerabild 6 aus der Drohnen-Perspektive zu erzeugen (siehe 2). Das imaginäre Kamerabild 6 kann auch durch eine Kombination von direkten und inversen Transferfunktionen erzeugt werden.
Im Ausführungsbeispiel ist die Recheneinheit 5 dazu eingerichtet, in das imaginäre Kamerabild 6 ein in einem Speicher der Recheneinheit 5 hinterlegtes Bild einzufügen.
Im Ausführungsbeispiel ist im Speicher ein Bild einer Frontansicht 7 des Fahrzeugs 8 hinterlegt. Dieses wird in das imaginäre Kamerabild 6 eingefügt (siehe 2). Die Recheneinheit 5 ist derart eingerichtet, dass diese zumindest einen Ausschnitt des Bildes spiegelverkehrt in das imaginäre Kamerabild 6 eingefügt. Das Einfügen erfolgt mittels einer Überlagerung oder Einblendtechnik. Im Ausführungsbeispiel überlagert das eigefügte Bild das imaginäre Kamerabild 6 durscheinend. Dies ermöglicht einem Betrachter eine gleichzeitige Betrachtung der Frontansicht 7 des Fahrzeugs 8 und einer Umgebung hinter dem Fahrzeug 8, welche durch eine nicht-durscheinende Überlagerung verdeckt würde.
Des Weiteren ist es möglich, im Rahmen der Bildverarbeitung das imaginäre Kamerabild 6 durch Schatten und/oder Lichteffekte zu ergänzen oder Formen der Fahrzeugoberfläche zu berücksichtigen. Die Recheneinheit 5 ist weiterhin ausgebildet, äußere Lichtverhältnisse (wie Tag/Nacht) durch Verändern der Helligkeit des hinterlegten Bildes zu berücksichtigen.
Im Ausführungsbeispiel wird das imaginäre Kamerabild 6 auf dem Bildschirm angezeigt. Der Bildschirm ist in einer Fahrerkabine des Fahrzeugs 8 so angebracht ist, dass er von einer Fahrerposition aus eingesehen werden kann.
Das Fahrerassistenzsystem wird mit dem in 3 gezeigten Ausführungsbeispiel eines Verfahrens betrieben. In einem ersten Schritt des Verfahrens S1 nehmen die Kameras 1 a, 2a, 3a, 4a kontinuierlich reale Kamerabilder der Fahrzeugumgebung auf. In einem zweiten Schritt S2 erzeugt die Recheneinheit 5 ein imaginäres Kamerabild 6 aus den realen Kamerabildern. Das imaginäre Kamerabild 6 gibt eine spiegelverkehrte Sicht einer vor dem Fahrzeug 8 fliegenden Drohne, die auf das Fahrzeug 8 zurückblickt, wieder. In einem dritten Schritt S3 wird das imaginäre Kamerabild 6 auf dem Bildschirm dargestellt.
In einem weiteren Ausführungsbeispiel eines Fahrerassistenzsystems (nicht dargestellt) wird das von der Recheneinheit 5 erzeugte imaginäre Bild wahlweise im Fahrzeug 8 angezeigt und/oder mittels einer drahtlosen Datenverbindung nach außen übertragen. Die Recheneinheit 5 kann über diese Datenverbindung angesteuert werden, um beispielsweise verschiedene Anzeigeoptionen oder Perspektiven anzuwählen.
Die Rohdaten der Kameras 1a, 2a, 3a, 4a können optional in der Recheneinheit 5 als Videodatei gespeichert werden, um nachträglich verwendet zu werden, z.B. für eine Unfallanalyse (Blackbox).
Das beschriebene Fahrerassistenzsystem eignet sich insbesondere für die Anwendung im Fahrzeug. Andere Anwendungen sollen damit nicht ausgeschlossen werden. Zudem bietet das System die Möglichkeit, weitere Funktionen zu integrieren, wie Fahrzeugerkennung, Rückspiegelfunktion, Signalerkennung oder die Einblendung zusätzlicher Informationen in das imaginäre Kamerabild 6, wie Fahrzeuginformationen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015223471 A1 [0003]

Claims

Fahrerassistenzsystem, umfassend - mindestens zwei zur Anbringung an einem Fahrzeug (8) vorgesehene Kameras (1a, 2a, 3a, 4a) zur kontinuierlichen Aufnahme von realen Kamerabildern, - eine Recheneinheit (5), die dazu ausgebildet und eingerichtet ist, aus den realen Kamerabildern in Echtzeit ein imaginäres Kamerabild (6) aus einer Drohnen-Perspektive zu erzeugen, wobei die die Drohnen-Perspektive eine spiegelverkehrte Sicht einer vor dem Fahrzeug (8) fliegenden Drohne, die auf das Fahrzeug (8) zurückblickt, wiedergibt, - eine Datenverbindung, welche die mindestens zwei Kameras (1a, 2a, 3a, 4a) und die Recheneinheit (5) zwecks Übertragung der realen Kamerabilder miteinander verbindet und - einen Bildschirm zur Anzeige des imaginären Kamerabildes (6).
Fahrerassistenzsystem nach Anspruch 1, wobei die Recheneinheit (5) dazu ausgebildet und eigerichtet ist, zumindest einen Ausschnitt eines Bildes spiegelverkehrt in das imaginäre Kamerabild (6) einzufügen.
Fahrerassistenzsystem nach Anspruch 2, wobei der Ausschnitt des Bildes das imaginäre Kamerabild (6) durscheinend überlagert.
Fahrerassistenzsystem nach Anspruch 2 oder 3, wobei der Ausschnitt des Bildes eine Frontansicht (7) des Fahrzeugs (8) umfasst.
Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, wobei die mindestens zwei Kameras (1a, 2a, 3a, 4a) dazu ausgebildet sind, eine Fahrzeugumgebung hinter dem Fahrzeug (8) aufzunehmen, die für eine Bewertung eines Risikos eines Überholvorganges des Fahrzeuges (8) relevant ist.
Fahrzeug, umfassend ein Fahrerassistenzsystem nach einem der Ansprüche 1 bis 5, wobei die mindestens 2 Kameras (1a, 2a, 3a, 4a) am Fahrzeug (8) angebracht sind, und wobei der Bildschirm in einer Fahrerkabine des Fahrzeugs (8) so angebracht ist, dass er von einer Fahrerposition aus eingesehen werden kann.
Verfahren zum Betreiben eines Fahrerassistenzsystems, umfassend die Schritte: - S1 Kontinuierliches Aufnehmen realer Kamerabilder; - S2 Erzeugen eines imaginäres Kamerabildes (6) aus den realen Kamerabildern, wobei das imaginäre Kamerabild (6) eine spiegelverkehrte Sicht einer vor einem Fahrzeug (8) fliegenden Drohne, die auf das Fahrzeug (8) zurückblickt, wiedergibt; - S3 Darstellen des imaginären Kamerabildes (6) auf einem Bildschirm.