-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind.
-
Fahrzeuge werden zunehmend mit mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel eines Fahrzeugs angeordnet sein. Derartige Kameras können den Fahrzeugführer unterstützen bei der Wahrnehmung des Außenbereichs des Fahrzeugs.
-
Dadurch kann der Fahrzeugführer beispielsweise unterstützt werden bei Ein- und Ausparkvorgängen. Ferner kann er beispielsweise auch bei dem Passieren enger oder unübersichtlicher Passagen unterstützt werden.
-
Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Verfahren und eine Vorrichtung zu schaffen, das beziehungsweise die dazu beiträgt, dass ein zu signalisierendes Bild eine eingängige Sicht repräsentiert für einen Fahrzeugführer eines Fahrzeugs.
-
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
-
Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind. Eine Geometrie eines dreidimensionalen Umgebungsmodells wird bereit gestellt, das einen ebenen Bodenbereich aufweist, der in einer Standebene des Fahrzeugs liegt und das eine Oberfläche aufweist, die eine Bodenoberfläche des ebenen Bodenbereichs aufweist und die einen Umgebungsraum eingrenzt, der auch das Fahrzeug umfasst. Die Oberfläche grenzt den Umgebungsraum so dreidimensional ein.
-
Die Bilddaten der jeweiligen Bilder der verschiedenen Kameras werden auf die Oberfläche des dreidimensionalen Umgebungsmodells projiziert als Umgebungsmodell-Bilddaten. Insofern wird die durch die verschiedenen Kameras erfasste Umgebung des Fahrzeugs in Form der Umgebungsmodell-Bilddaten auf die Oberfläche des dreidimensionalen Umgebungsmodells projiziert.
-
Zu signalisierende Bilddaten eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera auf die Oberfläche des dreidimensionalen Umgebungsmodells werden ermittelt abhängig von einer vorgegebenen Position der virtuellen Kamera und Umgebungsmodell-Bilddaten.
-
Dies erfolgt bei einer Sicht, die zumindest einen Teil des Fahrzeugs einschließt, in dem Sinne, dass ein vorgegebenes Stellvertreterobjekt des Fahrzeugs in das dreidimensionale Umgebungsmodell eingebettet wird und zumindest ein Teilbereich des Stellvertreterobjekts in der Weise transparent dargestellt wird, dass die Sicht durch den Teilbereich auf einen jeweiligen Teiloberflächenbereich der Oberfläche des dreidimensionalen Umgebungsmodells ermöglicht ist.
-
Die Sicht der virtuellen Kamera ist insbesondere bezogen auf ihre virtuelle Kameraoptik. Bilddaten repräsentieren jeweils einen Bildpunkt, der auch als Pixel bezeichnet werden kann.
-
Das Stellvertreterobjekt ist insbesondere ein dreidimensionales Stellvertreterobjekt und der Teilbereich des Stellvertreterobjekts ist beispielsweise eine Außenhaut des Fahrzeugs, wie beispielsweise eine Motorhaube und/oder ein Kühlergrill und/oder ein Kotflügel und/oder eine Fahrzeugtür.
-
Auf diese Weise wird ein Beitrag geleistet, dem Fahrzeugführer ein umfassendes Bild der Fahrzeugumgebung zu präsentieren, insbesondere von Stellen, die aus seiner Gesichtsposition nicht direkt einsehbar sind, weil Teile der Fahrzeugkarosserie im Blickfeld stehen. Darüber hinaus kann so vermieden werden, dass eine Sicht von außerhalb des Fahrzeugs für diesen Zweck eingesetzt werden muss und zwar eine virtuelle Sicht, da diese für den Fahrzeugführer gegebenenfalls verwirrend sein kann, weil eine entsprechend verdrehte Sichtposition erforderlich ist zu diesem Zweck.
-
Gemäß einer vorteilhaften Ausgestaltung erfolgt das Ermitteln der zu signalisierenden Bilddaten bei der Sicht, die zumindest einen Teil des Fahrzeugs einschließt, in dem Sinne, dass eine Kontur des Stellvertreterobjekts erkennbar ist. Auf diese Weise wird ein Beitrag geleistet, dass zum einen störende Elemente im Hinblick auf eine Sicht auf den jeweiligen Teiloberflächenbereich der Oberfläche des dreidimensionalen Umgebungsmodells möglich ist, aber zum anderen auch eine sehr gute Orientierung für den Fahrzeugführer durch die gleichzeitig erkennbare Kontur des Fahrzeugs.
-
Auf diese Weise kann eine besonders kundenwertige Darstellung erfolgen.
-
In diesem Zusammenhang ist es vorteilhaft, wenn der Teilbereich des Stellvertreterobjekts teiltransparent dargestellt wird und/oder der Teilbereich des Stellvertreterobjekts überlagert mit einem Drahtgittermodell dargestellt wird.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird die Position der virtuellen Kamera in einem vorgegebenen Bereich um eine reguläre Gesichtsposition des Fahrzeugführers vorgegeben. Auf diese Weise kann automatisiert eine für den Fahrzeugführer sehr eingängige Sicht eingestellt werden.
-
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:
-
1 ein Fahrzeug mit einer Steuervorrichtung,
-
2 ein Ablaufdiagramm eines Programms, das in der Steuervorrichtung abgearbeitet wird,
-
3 eine Darstellung des Fahrzeugs bezogen auf ein dreidimensionales Umgebungsmodell,
-
4 eine Darstellung einer Sicht mit einem intransparent dargestellten Stellvertreterobjekt und
-
5 eine Sicht mit einem teilweise transparent dargestellten Stellvertreterobjekt.
-
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.
-
Ein Fahrzeug 1 (1) weist verschiedene Kameras auf. Die jeweilige Kamera ist dazu ausgebildet und angeordnet zumindest einen Teil einer Umgebung des Fahrzeugs zu erfassen. Die jeweilige Kamera kann beispielsweise in einem Außenspiegel 2, 3 des Fahrzeugs 1 als erste Kamera 4 oder dritte Kamera 7 angeordnet sein. Sie kann jedoch beispielsweise auch im Heckbereich des Fahrzeugs 1 als zweite Kamera 5 angeordnet sein oder beispielsweise in einem Frontbereich des Fahrzeugs 1, so zum Beispiel im Bereich des Kühlergrills, als vierte Kamera 9 angeordnet sein. Durch eine geeignete Anordnung der Kameras, also insbesondere der ersten bis vierten Kamera 4, 5, 7, 9 kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.
-
Das Fahrzeug 1 weist ferner eine Steuervorrichtung 11 auf, die mit den verschiedenen Kameras derart signaltechnisch gekoppelt ist, dass sie Bilddaten PIC_RAW von durch die jeweilige Kamera erfassten Bildern P_i empfangen kann. Darüber hinaus kann die Steuervorrichtung 11 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein. Derartige Sensoren können beispielsweise ein Abstandssensor sein, der beispielsweise ultraschallbasiert ist.
-
Die Steuervorrichtung 11 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Darüber hinaus weist die Steuervorrichtung 11 bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer optischen Ausgabeeinheit. Auf diese Weise kann ein zu signalisierendes Bild mittels zu signalisierender Bilddaten PIC_SIG signalisiert werden und zwar insbesondere einem Fahrzeugführer.
-
Die Steuervorrichtung 11 kann auch als Vorrichtung zur Bildverarbeitung bezeichnet werden.
-
Das Fahrzeug 1 weist ferner auf einen ersten und zweiten Frontscheinwerfer 13, 14, die an der Fahrzeugfront angeordnet sind. Darüber hinaus ist in der 4 ein Fahrersitz 17 hinsichtlich seiner Kontur skizziert und ebenso eine Kopfstütze 19. Darüber hinaus ist ein Kopf 21 des Fahrzeugführers dargestellt und eine reguläre Gesichtsposition 23 des Fahrzeugführers markiert. Eine Ebene 25 der regulären Gesichtsposition 23 ist mittels einer strichpunktierten Linie dargestellt und weist als Normalenvektor einen Vektor auf, dessen Ausrichtung entsprechend einer Längsachse Y des Fahrzeugs 1 ist. Darüber hinaus bezeichnet X eine Querachse des Fahrzeugs 1 und Z eine Hochachse des Fahrzeugs 1. Ferner ist in der 1 noch eine virtuelle Kamera 27 dargestellt, auf die näher weiter unten eingegangen wird.
-
Ein Programm zur Bildverarbeitung, das in der Steuervorrichtung 11 abgearbeitet wird, wird in einem Schritt S1 (siehe 2) gestartet, in dem gegebenenfalls Variablen initialisiert werden können.
-
In einem Schritt S3 werden Bilddaten PIC_RAW der jeweiligen Bilder, die von den verschiedenen Kameras erfasst wurden, bereitgestellt. Es werden somit die Bilddaten PIC_RAW eines Bildes P_i, das von der ersten Kamera 4 erfasst wurde, eines Bildes P_i, das von der zweiten Kamera 5 erfasst wurde, eines Bildes P_i, das von der dritten Kamera 7 erfasst wurde und eines Bildes P_i, das von der vierten Kamera 9 erfasst wurde, zur weiteren Verarbeitung in den nachfolgenden Schritten bereitgestellt.
-
In einem Schritt S5 wird eine Geometrie eines dreidimensionalen Umgebungsmodells bereitgestellt, das einen ebenen Bodenbereich aufweist, der in einer Standebene des Fahrzeugs 1 liegt. Das Umgebungsmodell weist eine Oberfläche OF auf, die eine Bodenoberfläche BOF und eine gekrümmte Oberfläche KROF aufweist. Die Oberfläche OF grenzt einen Umgebungsraum UR ein. Die Platzierung des Umgebungsmodells erfolgt jeweils relativ zu einem Bezugskoordinatensystem des Fahrzeugs 1.
-
In der 3 ist beispielhaft das Fahrzeug 1 und das dreidimensionale Umgebungsmodell in einer Schnittdarstellung dargestellt und zwar mit der Bodenoberfläche BOF und der gekrümmten Oberfläche KROF.
-
In einem Schritt S7 (2) werden die Bilddaten PIC_RAW der jeweiligen Bilder P_i der verschiedenen Kameras auf die Oberfläche OF des dreidimensionalen Umgebungsmodells projiziert als Umgebungsmodell-Bilddaten PIC_UMG. Es werden somit die Bilddaten PIC_RAW jeweils eines Bildes P_i der ersten Kamera 4, der zweiten Kamera 5, der dritten Kamera 7 und der vierten Kamera 9 auf die Oberfläche OF projiziert. Auf diese Weise wird somit die mittels der Kameras des Fahrzeugs 1 erfasste Umgebung auf die Oberfläche OF des dreidimensionalen Umgebungsmodells abgebildet.
-
In einem Schritt S9 wird eine Position POS der virtuellen Kamera 27 und eine Sichtrichtung der virtuellen Kamera 27 bezüglich einer Mittelachse der Kameraoptik bereitgestellt. Diese können beispielsweise durch den Fahrzeugführer vorgegeben werden und zwar auch im Sinne einer Auswahl verschiedener angebotener Positionen und/oder von einer anderen Einheit innerhalb der Steuervorrichtung 11 ermittelt werden.
-
In einem Schritt S11 wird ein Stellvertreterobjekt SVO des Fahrzeugs 1 bereitgestellt und in das dreidimensionale Umgebungsmodell eingebettet, insbesondere als dreidimensionales Stellvertreterobjekt SVO. Grundsätzlich ist dies so zu verstehen, dass entsprechende Daten bezüglich des Stellvertreterobjekts in der Art eingebettet werden, dass sich virtuell das Stellvertreterobjekt SVO in der Weise in dem Umgebungsraum UR befindet, wie das Fahrzeug 1 gemäß der 3.
-
In einem Schritt S13 werden zu signalisierende Bilddaten PIC_SIG eines zu signalisierenden Bildes aus Sicht der virtuellen Kamera 27 auf die Oberfläche OF des dreidimensionalen Umgebungsmodells ermittelt und zwar unter Berücksichtigung, ob die Sicht zumindest einen Teil des Fahrzeugs 1 und somit des vorgegebenen Stellvertreterobjekts SVO des Fahrzeugs 1 einschließt. Dies kann einfach unter Berücksichtigung des in dem Schritt S11 in das dreidimensionale Umgebungsmodell eingebetteten Stellvertreterobjekts SVO ermittelt werden.
-
Das Ermitteln der zu signalisierenden Bilddaten PIC_SIG erfolgt abhängig von der vorgegebenen Position POS der virtuellen Kamera 27, Umgebungsmodell-Bilddaten PIC_UMG und dem Stellvertreterobjekt SVO. Die zu signalisierenden Bilddaten PIC_SIG werden insofern auch abhängig von der Sichtrichtung der virtuellen Kamera 27 ermittelt.
-
Falls die Sicht zumindest einen Teil des Fahrzeugs 1 einschließt, erfolgt dies in dem Sinne, dass das vorgegebene Stellvertreterobjekt SVO des Fahrzeugs 1 bezüglich zumindest eines Teilbereichs in der Weise transparent dargestellt wird, dass die Sicht durch den Teilbereich auf einen jeweiligen Teiloberflächenbereich der Oberfläche OF des dreidimensionalen Umgebungsmodells ermöglicht ist.
-
In diesem Zusammenhang wird beispielsweise das Stellvertreterobjekt SVO bei dem zu signalisierenden Bild derart dargestellt, dass seine Kontur erkennbar ist. Dies kann beispielsweise dadurch erfolgt, dass der Teilbereich des Stellvertreterobjekts SVO teiltransparent dargestellt wird und/oder überlagert mit einem Drahtgittermodell dargestellt wird. Auf diese Weise ist eine gute Orientierung der räumlichen Gegebenheiten für den Fahrzeugführer bei dem zu signalisierenden Bild möglich.
-
Anhand der 4 und 5 ist dies exemplarisch dargestellt. So ist in der 4 eine entsprechende Sicht dargestellt, bei dem das Stellvertreterobjekt SVO intransparent dargestellt ist. Insofern ist auf den durch das Stellvertreterobjekt verdeckten Bereich des Bodens keine Sicht möglich. In der 5 ist dann das Stellvertreterobjekt SVO derart dargestellt, dass der Teilbereich des Stellvertreterobjekts SVO in der Weise transparent dargestellt ist, dass die Sicht durch den Teilbereich auf den jeweiligen Teiloberflächenbereich der Oberfläche OF des dreidimensionalen Umgebungsmodells ermöglicht ist. Es ist so ersichtlich, dass auf diese Weise eine Sicht auf den Boden möglich ist, der in der 4 durch das Stellvertreterobjekt verdeckt ist. Gleichzeitig ist die Kontur des Fahrzeugs 1 sichtbar, so dass auch eine gute Orientierung für den Fahrzeugführer möglich ist. In diesem Fall sind auch einzelne Bereiche teiltransparent dargestellt.
-
Die in dem Schritt S13 ermittelten zu signalisierenden Bilddaten PIC_SIG können anschließend mittels der optischen Ausgabeeinheit signalisiert werden.
-
Im Anschluss an die Bearbeitung des Schrittes S13 wird die Bearbeitung erneut, gegebenenfalls nach einer vorgegebenen Wartezeitdauer, in dem Schritt S3 fortgesetzt.
-
Die Position POS der virtuellen Kamera 27 wird beispielsweise in einem vorgegebenen Bereich um die reguläre Gesichtsposition 23 des Fahrzeugführers vorgegeben.
-
Auf diese Weise kann eine für den Fahrzeugführer besonders intuitive Sicht realisiert werden. Diese kann beispielsweise in Richtung der Fahrzeuglängsachse Y in Richtung auf die Fahrzeugfront oder auch auf eine der Seiten gerichtet sein.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2, 3
- Außenspiegel
- 4, 5, 7, 9
- Kamera
- 11
- Steuervorrichtung
- 13, 15
- erster, zweiter Frontscheinwerfer
- 17
- Fahrersitz
- 19
- Kopfstütze
- 21
- Kopf Fahrzeugführer
- 23
- reguläre Gesichtsposition des Fahrzeugführers
- 25
- Ebene der regulären Gesichtsposition
- 27
- virtuelle Kamera
- X
- Querachse des Fahrzeugs
- Y
- Längsachse des Fahrzeugs
- Z
- Hochachse des Fahrzeugs
- P_i
- Bild
- PIC_RAW
- Bilddaten
- PIC_SIG
- zu signalisierende Bilddaten
- OF
- Oberfläche
- BOF
- Bodenoberfläche
- KROF
- gekrümmten Oberfläche
- UR
- Umgebungsraum
- OB
- Objekt
- PIC_UMG
- Umgebungsmodell-Bilddaten
- POS
- Position der virtuellen Kamera
- MIR
- Spiegelbildmodus
- SVO
- Stellvertreterobjekt
