DE102012219735A1

DE102012219735A1 - Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten

Info

Publication number: DE102012219735A1
Application number: DE201210219735
Authority: DE
Inventors: Thomas Reicher; Guenter Bauer
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2014-04-30

Abstract

Bilddaten (DAT) jeweiliger Bilder (P_i) werden von mehreren Kameras erfasst die an einem Fahrzeug angeordnet sind. Abhängig von den Bilddaten (DAT) werden Umgebungsmodellbilddaten (PU) eines Umgebungsmodellbildes ermittelt. Abhängig von den Umgebungsmodellbilddaten (PU) werden zu signalisierenden Bilddaten (PS) eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera auf das Umgebungsmodellbild ermittelt. In dem zu signalisierenden Bild wird ein abgebildetes Hindernis ermittelt, das aus Sicht der virtuellen Kamera ein Objekt verdeckt, das in dem Umgebungsmodellbild abgebildet ist. Die zu signalisierenden Bilddaten (PS) werden so angepasst, dass das verdeckte Objekt auf dem zu signalisierenden Bild wahrnehmbar ist.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind.
Fahrzeuge werden zunehmend mit mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel eines Fahrzeugs angeordnet sein. Eine derartige Kamera kann beispielsweise auch an einer Fahrzeugfront oder an dem Heck des Fahrzeugs angeordnet sein. Derartige Kameras können den Fahrzeugführer unterstützen bei der Wahrnehmung des Außenbereichs des Fahrzeugs.
Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Verfahren und eine Vorrichtung zu schaffen, das bzw. die dazu beiträgt, dass ein zu signalisierendes Bild aus einer für einen Fahrzeugführer eingängigen Sicht ermittelt wird.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind. Abhängig von den Bilddaten der erfassten Bilder werden Umgebungsmodellbilddaten eines Umgebungsmodellbildes ermittelt. Abhängig von den Umgebungsmodellbilddaten werden zu signalisierende Bilddaten eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera auf das Umgebungsmodellbild ermittelt. Es wird ein in dem zu signalisierenden Bild abgebildetes Hindernis ermittelt, das aus Sicht der virtuellen Kamera ein Objekt verdeckt, das in dem Umgebungsmodellbild abgebildet ist. Die zu signalisierenden Bilddaten werden so angepasst, dass das verdeckte Objekt auf dem zu signalisierenden Bild wahrnehmbar ist.
Bei der Sicht der virtuellen Kamera handelt es sich vorzugsweise um eine für einen Fahrzeugführer hilfreiche Sicht.
Indem überprüft wird, ob in dem zu signalisierenden Bild ein Hindernis ist, das aus Sicht der virtuellen Kamera ein oder mehrere Objekte verdeckt, die in dem Umgebungsmodellbild abgebildet sind, kann dies bei dem Erstellen des zu signalisierenden Bildes berücksichtigt werden. So können beispielsweise Hindernisse, die Objekte verdecken, transparent dargestellt werden, so dass ein Fahrzeugführer des Fahrzeugs die Objekte aus einer hilfreichen Sicht wahrnimmt. So erhält der Fahrzeugführer eine zusätzliche Hilfe in dem zu signalisierenden Bild. Auf dieser Weise kann beispielsweise ein Querverkehr aus einer für den Fahrzeugführer eingängigen Sicht wahrgenommen werden, obwohl der Querverkehr eigentlich durch ein Hindernis verdeckt ist.
Gemäß einer vorteilhaften Ausgestaltung wird eine Geometrie eines dreidimensionalen Umgebungsmodells bereitgestellt. Die Umgebungsmodellbilddaten werden durch Projizieren der Bilddaten der jeweiligen Bilder der verschiedenen Kameras auf die Oberfläche des dreidimensionalen Umgebungsmodells ermittelt. Durch die Projektion auf ein dreidimensionales Umgebungsmodell ist es gegebenenfalls mit wenig Rechenaufwand möglich die Umgebungsmodellbilddaten zu ermitteln. Aus diesen dreidimensionalen Umgebungsmodellbilddaten lässt sich gegebenenfalls einfach das Hindernis ermitteln.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird die Geometrie des dreidimensionalen Umgebungsmodells ermittelt abhängig von einem Messsignal eines Abstandssensors des Fahrzeugs. Hierdurch lässt sich gegebenenfalls einfach und kostengünstig ein dreidimensionales Umgebungsmodell ermitteln. Ein solcher Abstandssensor ist beispielsweise ein Ultraschallsensor.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird die Geometrie des dreidimensionalen Umgebungsmodells ermittelt abhängig von den Bilddaten der erfassten Bilder. Auf dieser Weise ist es gegebenenfalls möglich, das Umgebungsmodell ohne zusätzliche Sensorik zu ermitteln.
Gemäß einer weiteren vorteilhaften Ausgestaltung werden die zu signalisierenden Bilddaten mittels Alpha Blending angepasst. Hiermit ist es gegebenenfalls einfach und mit wenig Rechenaufwand realisierbar, die verdeckten Objekte anzuzeigen.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird zusätzlich eine zu signalisierende Zusatzinformation zu den zu signalisierenden Bilddaten hinzugefügt. Hierdurch können beispielsweise die verdeckten Objekte hervorgehoben und/oder markiert und/oder Zusatzinformationen zu den verdeckten Objekten eingeblendet werden.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:
1, ein Fahrzeug mit einer Steuervorrichtung und
2, ein Ablaufdiagram eines Programms, das in der Steuervorrichtung abgearbeitet wird.
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.
Ein Fahrzeug 1 weist verschiedene Kameras KAM1, KAM2, KAM3, KAM4 auf. Die jeweilige Kamera KAM1, KAM2, KAM3, KAM4 ist dazu ausgebildet und angeordnet zumindest einen Teil einer Umgebung des Fahrzeugs 1 zu erfassen. Eine erste Kamera KAM1 ist beispielsweise an der Front des Fahrzeugs 1 angeordnet, so zum Beispiel im Bereich des Kühlergrills. Eine zweite und dritte Kamera KAM2, KAM3 sind beispielsweise an den Außenspiegeln 3, 4 des Fahrzeugs 1 angeordnet. Eine vierte Kamera KAM4 ist beispielsweise im Heckbereich des Fahrzeugs 1 angeordnet. Durch eine geeignete Anordnung der Kameras, also insbesondere der ersten bis vierten Kamera KAM1, KAM2, KAM3, KAM4, kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.
In der Umgebung des Fahrzeugs 1 befinden sich ein oder mehrere Hindernisse H. Die erste Kamera KAM1 weist einen ersten Öffnungswinkel W1 auf, der den Bildbereich der ersten Kamera KAM1 eingrenzt. Das Hindernis H verdeckt einen verdeckten Bereich VB aus Sicht einer virtuellen Kamera VKAM. Der verdeckte Bereich VB wird von der ersten Kamera KAM1 erfasst, da er innerhalb des ersten Öffnungswinkels W1 liegt.
Er liegt zusätzlich innerhalb eines virtuellen Öffnungswinkels WV der virtuellen Kamera VKAM, der den Bildbereich der virtuellen Kamera VKAM eingrenzt. In dem verdeckten Bereich VB befindet sich ein Objekt OBJ.
Das Fahrzeug 1 weist ferner eine Steuervorrichtung 11 auf, die mit den verschiedenen Kameras KAM1, KAM2, KAM3, KAM4 derart signaltechnisch gekoppelt ist, dass sie Bilddaten DAT von durch die jeweilige Kamera KAM1, KAM2, KAM3, KAM4 erfassten Bildern P_i empfangen kann. Darüber hinaus kann die Steuervorrichtung 11 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein. Derartige Sensoren können beispielsweise ein Abstandsensor sein, der beispielsweise ultraschallbasiert ist.
Die Steuervorrichtung 11 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Darüber hinaus weist die Steuervorrichtung 11 bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer optischen Ausgabeeinheit. Auf diese Weise kann ein zu signalisierendes Bild mittels zu signalisierender Bilddaten PS signalisiert werden und zwar insbesondere einem Fahrzeugführer.
Die Steuervorrichtung 11 kann auch als Vorrichtung zur Bildverarbeitung bezeichnet werden.
Ein Programm zur Bildverarbeitung, das in der Steuervorrichtung 11 abgearbeitet wird, wird in einem Schritt S1 (2) gestartet, in dem gegebenenfalls Variablen initialisiert werden können.
In einem Schritt S3 werden Bilddaten DAT der jeweiligen Bilder P_i, die von den verschiedenen Kameras KAM1, KAM2, KAM3, KAM4 erfasst wurden, bereitgestellt. Es werden somit die Bilddaten DAT eines Bildes P1, das von der ersten Kamera KAM1 erfasst wurde, eines Bildes P_i das von der zweiten Kamera KAM2 erfasst wurde, eines Bildes P_i das von der dritten Kamera KAM3 erfasst wurde und eines Bildes P_i das von der vierten Kamera KAM4 erfasst wurde, zur weiteren Verarbeitung in den nachfolgenden Schritten bereitgestellt.
In einem Schritt S5 wird eine Geometrie eines dreidimensionalen Umgebungsmodells UM bereitgestellt. Das dreidimensionale Umgebungsmodell UM grenzt einen Umgebungsraum UR dreidimensional ein, der auch das Fahrzeug 1 umfasst.
Das dreidimensionale Umgebungsmodell UM wird beispielsweise abhängig von einem Messsignal eines Abstandssensors des Fahrzeugs 1 ermittelt und/oder mittels Bildverarbeitung.
In einem Schritt S7 werden Umgebungsmodellbilddaten PU durch Projizieren der Bilddaten DAT der jeweiligen Bilder P_i der verschiedenen Kameras KAM1, KAM2, KAM3, KAM4 auf die Oberfläche des dreidimensionalen Umgebungsmodells UM ermittelt.
In einem Schritt S9 wird eine Position POS der virtuellen Kamera VKAM und eine Sichtrichtung der virtuellen Kamera VKAM bereitgestellt. Diese können beispielsweise durch den Fahrzeugführer vorgegeben werden und zwar im Sinne einer Auswahl verschiedener angebotenen Positionen POS und/oder von einer anderen Einheit innerhalb der Steuervorrichtung 11 ermittelt werden.
In einem Schritt S11 werden zu signalisierenden Bilddaten PS eines zu signalisierenden Bildes aus Sicht der virtuellen Kamera VKAM auf das Umgebungsmodellbild abhängig von den Umgebungsmodellbilddaten PU ermittelt.
In einem Schritt S13 wird ein in dem zu signalisierenden Bild abgebildetes Hindernis H ermittelt, dass aus Sicht der virtuellen Kamera VKAM ein Objekt OBJ verdeckt, das in dem Umgebungsmodellbild abgebildet ist.
Da das zu signalisierende Bild das Umgebungsmodellbild aus Sicht der virtuellen Kamera VKAM abbildet, ist auf dem zu signalisierendem Bild das Hindernis H abgebildet und nicht der verdeckte Bereich VB und das Objekt OBJ, die aus Sicht der virtuellen Kamera VKAM hinter dem Hindernis H liegen. So kann die abgebildete Fläche des Hindernisses H gegebenenfalls einfach detektiert werden, da es sich dabei um den Bildbereich des zu signalisierenden Bildes handelt, auf dem der verdeckte Bereich VB und das Objekt OBJ abgebildet wäre.
In einem Schritt S15 werden die zu signalisierenden Bilddaten PS so angepasst, dass das verdeckte Objekt OBJ auf dem zu signalisierenden Bild wahrnehmbar ist. Dies kann beispielsweise mittels Alpha Blending realisiert werden. So können die zu signalisierenden Bilddaten PS beispielsweise derart angepasst werden, dass der Teil des abgebildeten Hindernis H, der innerhalb des virtuellen Öffnungswinkels WV liegt, mit dem verdeckten Bereich VB mittels Alpha Blending überlagert wird. Alternativ oder zusätzlich kann auch der der Teil des abgebildeten Hindernis H, der innerhalb des virtuellen Öffnungswinkels WV liegt, ausgeblendet werden.
Auf solcher Weise ist es möglich dass ein Objekt OBJ, das eigentlich durch das Hindernis H aus Sicht der virtuellen Kamera VKAM verdeckt wird, auf dem zu signalisierenden Bild angezeigt wird, damit ein Fahrzeugführer es wahrnehmen kann.
In einem Schritt S17 wird das Programm beendet und kann gegebenenfalls wieder in dem Schritt S1 gestartet werden.
Bezugszeichenliste

1: Fahrzeug
3, 4: Außenspiegel
11: Steuervorrichtung
DAT: Bilddaten
H: Hindernis
KAM1–KAM4: Kameras
OBJ: Objekt
P_i: Bild
POS: Position der virtuellen Kamera
PS: zu signalisierende Bilddaten
PU: Umgebungsmodellbilddaten
UM: Umgebungsmodell
UR: Umgebungsraum
VB: verdeckter Bereich
VKAM: virtuelle Kamera
W1: erster Öffnungswinkel
WV: virtueller Öffnungswinkel

Claims

Verfahren zur Bildverarbeitung von Bilddaten (DAT) jeweiliger Bilder (P_i), die von mehreren Kameras (KAM1, KAM2, KAM3, KAM4) erfasst werden, die an einem Fahrzeug (1) angeordnet sind, bei dem – abhängig von den Bilddaten (DAT) der erfassten Bilder (P_i) Umgebungsmodellbilddaten (PU) eines Umgebungsmodellbildes ermittelt werden, – abhängig von den Umgebungsmodellbilddaten (PU) zu signalisierende Bilddaten (PS) eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera (VKAM) auf das Umgebungsmodellbild ermittelt werden, – ein in dem zu signalisierenden Bild abgebildetes Hindernis (H) ermittelt wird, das aus Sicht der virtuellen Kamera (VKAM) ein Objekt (OBJ) verdeckt, das in dem Umgebungsmodellbild abgebildet ist und – die zu signalisierenden Bilddaten (PS) so angepasst werden, dass das verdeckte Objekt (OBJ) auf dem zu signalisierenden Bild wahrnehmbar ist.
Verfahren nach Anspruch 1, bei dem – eine Geometrie eines dreidimensionalen Umgebungsmodells (UM) bereitgestellt wird und – die Umgebungsmodellbilddaten (PU) durch Projizieren der Bilddaten (DAT) der jeweiligen Bilder (P_i) der verschiedenen Kameras (KAM1, KAM2, KAM3, KAM4) auf die Oberfläche des dreidimensionalen Umgebungsmodells (UM) ermittelt werden.
Verfahren nach Anspruch 2, bei dem die Geometrie des dreidimensionalen Umgebungsmodells (UM) ermittelt wird abhängig von einem Messsignal eines Abstandssensors des Fahrzeugs (1).
Verfahren nach Anspruch 2 oder 3, bei dem die Geometrie des dreidimensionalen Umgebungsmodells (UM) ermittelt wird abhängig von den Bilddaten (DAT) der erfassten Bilder (P_i).
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die zu signalisierenden Bilddaten (PS) mittels Alpha Blending angepasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem zusätzlich eine zu signalisierende Zusatzinformation zu den zu signalisierenden Bilddaten (PS) hinzugefügt wird.
Vorrichtung zur Bildverarbeitung von Bilddaten (DAT) jeweiliger Bilder (P_i), die von mehreren Kameras (KAM1, KAM2, KAM3, KAM4) erfasst werden, die an einem Fahrzeug (1) angeordnet sind, wobei die Vorrichtung dazu ausgebildet ist – Umgebungsmodellbilddaten (PU) eines Umgebungsmodellbildes abhängig von den Bilddaten (DAT) zu ermitteln, – zu signalisierende Bilddaten (PS) eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera (VKAM) auf das Umgebungsmodellbild abhängig von den Umgebungsmodellbilddaten (PU) zu ermitteln, – ein in dem zu signalisierendem Bild abgebildetes Hindernis (H) zu ermitteln, das aus Sicht der virtuellen Kamera (VKAM) ein Objekt (OBJ) verdeckt, das in dem Umgebungsmodellbild abgebildet ist und – die zu signalisierenden Bilddaten (PS) so anzupassen, dass das verdeckte Objekt (OBJ) auf dem zu signalisierenden Bild wahrnehmbar ist.