DE102019113962A1

DE102019113962A1 - Abbilden eines Umfelds

Info

Publication number: DE102019113962A1
Application number: DE102019113962.7A
Authority: DE
Inventors: Andrea Stupiggia
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2020-11-26

Abstract

Eine Kamera umfasst eine Optik, auf der sich ein opaker Bereich befindet. Ein Verfahren umfasst Schritte des Erfassens eines ersten und eines zweiten Bildes des Umfelds, wobei eine Ausrichtung der Kamera bezüglich des Umfelds für beide Bilder unterschiedlich ist, sodass auf dem ersten und dem zweiten Bild unterschiedliche Abschnitte des abgebildeten Umfelds durch den opaken Bereich gestört sind; und des Bestimmens eines dritten Bildes auf der Basis des ersten und des zweiten Bildes. Dabei wird ein auf dem ersten Bild gestörter Bereich des abgebildeten Umfelds durch einen korrespondierenden, ungestörten Bereich des zweiten Bildes ersetzt.

Description

Die Erfindung betrifft die Erstellung eines Bildes eines Umfelds mittels einer Kamera, auf deren Optik sich ein opaker Bereich befindet.
An einem Kraftfahrzeug ist eine Kamera angebracht, um ein Umfeld des Kraftfahrzeugs abzubilden. Die Kamera umfasst eine Optik, die äußeren Einflüssen ausgesetzt ist. Auf der Optik kann sich Schmutz oder Wasser derart anlagern, dass ein Bereich des mittels der Kamera erstellten Bildes gestört ist.
Ein Fahrer, der das Kraftfahrzeug auf der Basis des erstellten Bildes steuert, kann einen Teil des Umfelds nicht klar erkennen und eine Steuerung des Kraftfahrzeugs kann erschwert sein. Ein automatisches System, welches das Bild weiter verarbeitet, kann seinen Zweck schlechter oder gar nicht mehr erfüllen.
Zur Behebung des Problems kann eine Reinigungsvorrichtung an der Optik vorgesehen werden. Eine solche Vorrichtung ist aber üblicherweise fragil, kostenaufwendig oder komplex, sodass sie bei einer üblichen Benutzung des Kraftfahrzeugs Schaden nehmen könnte. Außerdem kann ein häufiges mechanisches Reinigen der Optik deren Qualität verringern.
Eine der Erfindung zu Grunde liegende Aufgabe besteht darin, ein Bild verbessert störungsfreies Bild eines Umfelds eines Kraftfahrzeugs bereitzustellen. Die Erfindung löst die Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Eine Kamera ist zur Erfassung eines Umfelds angebracht. Die Kamera umfasst eine Optik, auf der sich ein opaker Bereich (lat. opacus: „trüb, dunkel, verschwommen“) befindet. Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren Schritte des Erfassens eines ersten und eines zweiten Bildes des Umfelds, wobei eine Ausrichtung der Kamera bezüglich des Umfelds für beide Bilder unterschiedlich ist, sodass auf dem ersten und dem zweiten Bild unterschiedliche Abschnitte des abgebildeten Umfelds durch den opaken Bereich gestört sind; und des Bestimmens eines dritten Bildes auf der Basis des ersten und des zweiten Bildes. Dabei wird ein auf dem ersten Bild gestörter Bereich des abgebildeten Umfelds durch einen korrespondierenden, ungestörten Bereich des zweiten Bildes ersetzt wird. Die Kamera kann insbesondere an einem Kraftfahrzeug angebracht sein.
Der opake Bereich kann beispielsweise Wassertropfen oder Schmutz umfassen und bewirken, dass das Bild stellenweise dunkler, verzerrt oder verschwommen ist. Es kann sich auch um eine permanente Beeinträchtigung handeln, beispielsweise eine Beschädigung der Optik durch Steinschlag. Unter Umständen ist das Bild an einer solchen Stelle nicht zu erkennen oder gar nicht vorhanden.
Vorteilhaft kann das dritte Bild das Umfeld korrekt abbilden, ohne eine mechanische Reinigung der Optik zu erfordern. Auch wenn die Optik durch mehrere opake Bereiche beeinträchtigt ist, kann mittels des Verfahrens ein verbessertes, insbesondere vollständiges Bild bereitgestellt werden.
Das erste und das zweite Bild können jeweils ein Objekt abbilden, wobei eines der Bilder skaliert werden kann, sodass das Objekt auf beiden Bildern gleich groß ist. Dafür kann eine beliebige Struktur auf den Bildern betrachtet werden.
Die Kamera kann sich zwischen den Erfassungen der Bilder gegenüber dem Umfeld bewegen und das Skalieren kann in Abhängigkeit der Bewegung erfolgen. Das Skalieren kann beispielsweise bezüglich eines Wegs erfolgen, den die Kamera zwischen den Erfassungen zurückgelegt hat. Der Weg kann beispielsweise absolut, etwa mittels einer Positionierungseinrichtung, oder relativ, etwa auf der Basis einer Bewegungsgeschwindigkeit und einer zwischen den Erfassungen liegenden Zeit, bestimmt werden.
In einer weiteren Ausführungsform wird das Objekt erkannt. Das Skalieren kann dann in Abhängigkeit des erkannten Objekts erfolgen. So kann beispielsweise eines der Bilder derart skaliert werden, dass das erkannte Objekt im ersten und im zweiten Bild möglichst deckungsgleich sind. Das Objekt kann insbesondere ein unbewegliches Objekt umfassen, das bezüglich des Umfelds stillsteht. So kann eine fehlerhafte Skalierung vermieden werden, die dazu führen könnte, dass einige Bildinhalte des ersten und des zweiten Bilds zueinander passen und andere nicht.
Das erste und das zweite Bild können sich überlappende Abschnitte des Umfelds abbilden, wobei das dritte Bild eine Schnittmenge der abgebildeten Bereiche umfasst. Die Schnittmenge kann insbesondere einen Bereich des Umfelds umfassen, der sowohl auf dem ersten als auch auf dem zweiten Bild abgebildet ist. Der in der Schnittmenge abgebildete Bereich kann so größtenteils auf redundanten Informationen basieren und so verbessert verlässlich sein.
Das erste und das zweite Bild können sich überlappende Abschnitte des Umfelds abbilden, wobei das dritte Bild eine Vereinigungsmenge der abgebildeten Bereiche umfasst. In dieser Variante kann ein größerer Bereich des Umfelds auf dem dritten Bild abgebildet sein als auf dem ersten oder dem zweiten Bild. Zusätzliche Informationen können dadurch nutzbar sein.
Die geänderte Ausrichtung der Kamera kann auf der Basis des ersten und des zweiten Bildes bestimmt werden. Das erste Bild kann mit dem zweiten verglichen werden, beispielsweise anhand von Positionen eines Objekts oder einer Kante.
Die geänderte Ausrichtung der Kamera kann direkt bestimmt werden, beispielsweise mittels eines Beschleunigungs- oder Drehratensensors. Ist die Kamera an Bord eines Kraftfahrzeugs angebracht, so kann auch die Ausrichtung des Kraftfahrzeugs bestimmt werden. Die Ausrichtung des Kraftfahrzeugs kann auch von einem weiteren System an Bord des Kraftfahrzeugs bereitgestellt sein.
Die Ausrichtung der Kamera kann zwischen dem Erfassen des ersten und des zweiten Bildes geändert werden. Ist die Kamera an einem Kraftfahrzeug angebracht, so kann eine übliche, leichte Bewegung des fahrenden Kraftfahrzeugs bereits ausreichen, die Ausrichtung der Kamera zwischen dem ersten und dem zweiten Bild soweit zu verändern, dass die Bildhinhalte sich signifikant voneinander unterscheiden. Ist dies nicht der Fall, so kann das Kraftfahrzeug gesteuert werden, seine die Ausrichtung gegenüber dem Umfeld zu verändern, insbesondere wenn die Kamera starr am Kraftfahrzeug angebracht ist. Die Ausrichtung des Kraftfahrzeugs kann insbesondere in seitlicher Richtung mittels einer Lenkung verändert werden. Reicht die Bewegung nicht aus, oder ist die Kamera nicht an Bord eines Kraftfahrzeugs angebracht, so kann die Ausrichtung der Kamera gegenüber dem Umfeld aktiv geändert werden.
Ein Kraftfahrzeug kann auf der Basis des dritten Bildes gesteuert werden, insbesondere wenn die Kamera an Bord des Kraftfahrzeugs angebracht ist. Insbesondere kann das dritte Bild einem Steuersystem bereitgestellt werden, das eine Längs- und/oder Quersteuerung des Kraftfahrzeugs durchführt.
Nach einem zweiten Aspekt der Erfindung umfasst eine Vorrichtung eine Schnittstelle zu einer Kamera zur Erfassung eines Umfelds; wobei die Kamera eine Optik umfasst, auf der sich ein opaker Bereich befindet; und eine Verarbeitungseinrichtung zur Erfassung eines ersten Bildes und eines zweiten Bildes des Umfelds. Dabei ist eine Ausrichtung der Kamera bezüglich des Umfelds für beide Bilder unterschiedlich, sodass auf dem ersten und dem zweiten Bild unterschiedliche Abschnitte des abgebildeten Umfelds durch den opaken Bereich gestört sind, und die Verarbeitungseinrichtung ist dazu eingerichtet, ein drittes Bild auf der Basis des ersten und des zweiten Bildes zu bestimmen, wobei ein auf dem ersten Bild gestörter Bereich des abgebildeten Umfelds durch einen korrespondierenden, ungestörten Bereich des zweiten Bildes ersetzt ist.
Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
Die Vorrichtung kann ferner einen Aktuator zur Veränderung einer Ausrichtung der Kamera bezüglich des Umfelds umfassen. Der Aktuator kann auch die Optik der Kamera bewegen, beispielsweise durch Verschieben oder Verdrehen eines reflektiven oder refraktiven Elements. In einer weiteren Ausführungsform, in welcher die Kamera an einem Kraftfahrzeug angebracht ist, kann der Aktuator auch dazu eingerichtet sein, eine Ausrichtung der Kamera gegenüber dem Kraftfahrzeug zu verändern.
Die Kamera kann an Bord eines Kraftfahrzeugs angebracht sein und beispielsweise eine Rückfahrkamera, eine Frontkamera oder eine Außenspiegelkamera des Kraftfahrzeugs umfassen. Die Kamera kann Teil eines Umfelderfassungssystems sein. Alternativ kann die Kamera Teil eines Fahrassistenten sein, beispielsweise eines Spurhalte-Assistenten, eines Einpark-Assistenten, einer Erkennung einer Geschwindigkeitsbeschränkung auf der Basis eines Verkehrsschilds oder eines Tote-Winkel-Assistenten.
Nach einem weiteren Aspekt der Erfindung umfasst ein Kraftfahrzeug eine hierin beschriebene Vorrichtung.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein Kraftfahrzeug mit einer Vorrichtung;
2 Bilder eines Umfelds eines Kraftfahrzeugs;
3 ein Ablaufdiagramm eines Verfahrens;
4 beispielhafte Sequenzen von Bildern eines Umfelds eines Kraftfahrzeugs; und
5 Bilder einer Umgebung eines Kraftfahrzeugs bei unterschiedlichen Ausrichtungen einer Kamera illustriert.

1 zeigt ein Kraftfahrzeug 100 mit einer an Bord angebrachten Vorrichtung 105, die insbesondere zur Abtastung eines Umfelds 110 eingerichtet ist. Das Kraftfahrzeug 100 fährt bevorzugt auf einem Untergrund 115 in einer vorbestimmten Richtung. Im Umfeld 110 kann sich ein Objekt 120 befinden, das mittels der Vorrichtung 105 abgebildet werden soll. Das Objekt 120 kann für die Steuerung des Kraftfahrzeugs 100 von Bedeutung sein; vorliegend wird rein beispielhaft von einem Verkehrsschild ausgegangen, das beispielsweise eine Geschwindigkeitsbeschränkung anzeigt.
Die Vorrichtung 105 umfasst eine Kamera 125 mit einer Optik 130, wobei die Kamera 125 einen vorbestimmten Erfassungsbereich 135 des Umfelds 110 abtastet. Der Erfassungsbereich 135 umfasst das Objekt 120 und liegt üblicherweise in Fahrtrichtung des Kraftfahrzeugs 100. Auf der Optik 130 befindet sich ein opaker Bereich 140, beispielsweise in Form einer Verschmutzung oder einer Ansammlung von Wasser, sodass ein Abschnitt des Umfelds 110 verzerrt, verdunkelt oder unscharf abgebildet werden kann.
Ferner umfasst die Vorrichtung 105 eine Verarbeitungseinrichtung 145, die mittels einer ersten Schnittstelle 150 mit der Kamera 125 verbunden ist. Mittels einer zweiten Schnittstelle 155 kann eine Ausgabeeinrichtung 160 und/oder mittels einer dritten Schnittstelle 165 eine Einrichtung 170 angebunden sein. Die Ausgabeeinrichtung 160 kann beispielsweise eine optische Anzeige für einen Fahrer des Kraftfahrzeugs, etwa in Form eines Displays oder eines HUD (head up display). Die zweite Schnittstelle 155 kann auch mit einer weiteren Verarbeitungseinrichtung oder einem System an Bord des Kraftfahrzeugs 100 verbunden sein.
Die Einrichtung 170 ist dazu eingerichtet, eine Ausrichtung 175 des Kraftfahrzeugs 105 bezüglich des Umfelds 110 bereitzustellen und kann beispielsweise ein Inertialsystem umfassen. Weiter kann eine Speichereinrichtung 178 mit der Verarbeitungsvorrichtung 145 verbunden sein. Die Speichereinrichtung 178 kann ein Programm für die Verarbeitungseinrichtung 145 und/oder insbesondere mittels der Kamera 125 abgetastete, rohe, teilverarbeitete oder verarbeitete Bilddaten umfassen.
Der durch den opaken Bereich 140 auf der Optik 130 kann das Objekt 120 auf einem durch die Kamera 125 bereitgestellten Bild nicht klar erkennbar sein. Jedoch kann eine Änderung 180 der Ausrichtung 175 ausreichen, um das Objekt 120 teilweise oder vollständig mittels der Kamera 125 abzubilden. Insbesondere dann, wenn ein Abstand 185 der Kamera 125 vom Objekt 120 groß ist, oder wenn das Objekt 120 gegenüber dem Erfassungsbereich 135 optisch klein ist, kann schon eine geringe Änderung 180 ausreichen.
Die Position des gestörten Bereichs auf dem Bild gegenüber dem Umfeld 110 ist von einer Ausrichtung der Kamera 125 gegenüber des Umfelds 110 abhängig. Ist die Kamera 125 fest am Kraftfahrzeug 100 angebracht, so ist die Ausrichtung der Kamera 125 von der Ausrichtung des Kraftfahrzeugs 100 abhängig. Während das Kraftfahrzeug 100 fährt, ändert es üblicherweise seine Ausrichtung 175. Beispielsweise kann eine Unebenheit des Untergrunds 115 oder eine Änderung einer Beschleunigung oder Verzögerung des Kraftfahrzeugs eine vertikale Änderung 180 der Ausrichtung bewirken; oder ein Lenkeinschlag eine horizontale Änderung 180.
Sollte die Kamera 125 ihre Ausrichtung 175 nicht aufgrund eines üblichen Fahrbetriebs des Kraftfahrzeugs 100 ändern, etwa weil das Kraftfahrzeug stillsteht, so kann die Ausrichtung 175 der Kamera 125 auch mittels eines Aktuators 190 geändert werden. Dazu kann die Kamera 125 gegenüber dem Kraftfahrzeug 100 bewegt werden oder die Optik 130 gegenüber der Kamera 125. In einer weiteren Ausführungsform kann der Aktuator 190 auch zur Änderung der Ausrichtung des Kraftfahrzeugs 100 gegenüber dem Umfeld 110 eingerichtet sein. Dazu kann der Aktuator 190 insbesondere zur Quersteuerung des Kraftfahrzeugs 100 eingerichtet sein.
2 zeigt Bilder eines Umfelds 110 eines Kraftfahrzeugs 100. Ein erstes Bild 205 ist zu einem ersten Zeitpunkt, ein zweites Bild 210 zu einem zweiten Zeitpunkt erfasst. Aus den Bildern 205 und 210 kann ein drittes Bild 215 rekonstruiert werden. Die Bilder 205-215 sind exemplarisch aufgrund einer runden Optik 130 als rund angenommen. Ausrichtungen 175 der Kamera 125 zu den beiden Zeitpunkten sind unterschiedlich. Vorliegend weist die Kamera 125 zum ersten Zeitpunkt weiter nach unten als zum zweiten Zeitpunkt, sodass das erste Bild 205 einen niedriger gelegenen Ausschnitt des Umfelds 110 als das zweite Bild 210 darstellt.
Zum leichteren Verständnis ist das den Bildern 205, 210 zu Grunde liegende Umfeld 110 identisch dargestellt. Üblicherweise bewegt sich das Kraftfahrzeug 100 zwischen dem ersten und dem zweiten Zeitpunkt, sodass die Bilder 205, 210 unterschiedliche Perspektiven aufweisen. Bei einer geradlinigen Bewegung des Kraftfahrzeugs 100 in dieser Zeit kann die Perspektive des ersten Bilds 205 an die des zweiten Bilds 210 angepasst werden, indem es vergrößert wird. Optional kann es auf einen Ausschnitt reduziert werden. Ein Maß der Vergrößerung und die Lage des Ausschnitts kann aus der Bewegung des Kraftfahrzeugs sowie einer Charakteristik der Optik 130, insbesondere einer Brennweite der Optik 130, bestimmt werden. Das erste Bild 205 kann auch mit Methoden der Bildverarbeitung angepasst werden, um die gleiche Perspektive wie das zweite Bild 210 zu verwenden. Umgekehrt kann auch das zweite Bild 210 an das erste Bild 205 angepasst werden.
Ein opaker Bereich 140 auf der Optik 130 beeinflusst je nach Lage der Kamera 125 unterschiedliche Teile des Umfelds 110 auf den Bildern 205, 210. Während vorliegend der opake Bereich 140 im ersten Bild 205 das Objekt 120 - oder einen relevanten Teil davon - überlagert, ist dieser Teil im zweiten Bild 210 unbeeinträchtigt. Allerdings beeinflusst der opake Bereich 140 im zweiten Bild 210 einen anderen Bereich des Umfelds 110 und vorliegend ist ein anderer Teil des Objekts 120 ist im zweiten Bild 210 nicht mehr sichtbar.
Durch Kombinieren der beiden Bilder 205, 210 können alle Informationen, die auf wenigstens einem der Bilder 205, 210 enthalten sind, miteinander kombiniert werden. Insbesondere kann ein Bereich, der in nur einem der Bilder 205, 210 durch die opake Stelle 140 beeinflusst ist, durch eine korrespondierende Stelle des jeweils anderen Bilds 205 210 ersetzt werden. In einer ersten Ausführungsform umfasst das dritte Bild 215 eine Schnittmenge der Ausschnitte des Umfelds 110, die durch die Bilder 205, 210 abgebildet sind. In einer zweiten Ausführungsform umfasst das dritte Bild 215 eine Obermenge der Ausschnitte der Bilder 205, 210.
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zur Bereitstellung eines Bildes 215 eines Umfelds 110 eines Kraftfahrzeugs 100. Das Verfahren 300 kann insbesondere mittels einer Vorrichtung 105 an Bord des Kraftfahrzeugs 100 ausgeführt werden.
In einem Schritt 305 kann eine erste Ausrichtung 175 der Kamera 125 gegenüber dem Umfeld 110 bestimmt werden. Ist die Kamera 125 fest am Kraftfahrzeug 100 angebracht, kann hierfür die Ausrichtung 175 des Kraftfahrzeugs 100 gegenüber dem Umfeld 110 bestimmt werden. In einem Schritt 310 kann das erste Bild 205 abgetastet werden. In einem Schritt 315 kann eine zweite Ausrichtung 175 der Kamera 125 bestimmt werden. Unterscheidet sich die zweite Ausrichtung 175 von der ersten, so kann ein zweites Bild 210 in einem Schritt 320 abgetastet werden.
Für das Verfahren 300 ist entscheidend, dass sich die Ausrichtungen 175, die den Bildern 205, 210 zu Grunde liegen, voneinander unterscheiden. Insbesondere kann das zweite Bild 210 erst abgetastet werden, wenn sich die Ausrichtung 175 der Kamera 125 geändert hat. Eine absolute Bestimmung der Ausrichtungen 175 kann nicht erforderlich sein, um bestimmen zu können, dass eine relative Änderung 180 der Ausrichtung 175 vorliegt.
In einem Schritt 325 können das erste Bild 205 und das zweite Bild 210 überlagert werden, um ein drittes Bild 215 bereitzustellen, sodass ein Abschnitt, der auf nur einem der Bilder 205, 210 durch den opaken Bereich 140 beeinträchtigt ist, auf dem dritten Bild 215 möglichst unbeeinflusst ist. Für das Überlagern kann eines der Bilder 205, 210 skaliert, verschoben und/oder beschnitten werden. Eine Lage des opaken Bereichs 140 bezüglich der Bilder 205, 210 ist konstant und kann durch Vergleich der Bilder 205, 210 bestimmt werden, insbesondere wenn sie so vorbereitet sind, dass Bereiche zwischen ihnen deckungsgleich sind.
In einem Schritt 330 kann das dritte Bild 215 bereitgestellt werden, beispielsweise mittels einer optischen Ausgabeeinrichtung 160 an Bord des Kraftfahrzeugs 100. Das dritte Bild 215 kann auch als Datei oder Datenstrom, insbesondere als Bild eines Videodatenstroms, bereitgestellt werden. Die Bereitstellung kann auch für ein anderes System an Bord des Kraftfahrzeugs 100 vorgesehen erfolgen. Weiter alternativ kann das dritte Bild 215 abgespeichert werden.
In einem Schritt 335 kann das dritte Bild 215 weiter verarbeitet werden. Insbesondere kann das Objekt 120 isoliert und/oder erkannt werden. Weitere Maßnahmen können insbesondere Methoden der Bildbearbeitung oder der Objekterkennung umfassen. Aufgrund eines erkannten Objekts 120 kann eine weitere Verarbeitung stattfinden, beispielsweise um einen Sinngehalt des Objekts 120 - im vorliegenden Beispiel eine Geschwindigkeitsbeschränkung auf 70 km/h - zu extrahieren.
In einem Schritt 340 kann eine Steuerung auf der Basis der Ergebnisse des Schritts 335 erfolgen. Insbesondere kann das Kraftfahrzeug 100 in Abhängigkeit des dritten Bildes 215 gesteuert werden, vorzugsweise in Längs- und/oder Querrichtung.
4 zeigt beispielhafte Sequenzen von Bildern des Umfelds 110 eines Kraftfahrzeugs 100. In einer oberen Reihe sind Bilder dargestellt, die zu vorbestimmten Zeitpunkten Z mittels der Kamera 125 erfasst werden können. Die Zeitpunkte Z sind schematisch auf einem korrespondierenden Zeitstrahl im unteren Bereich von 4 angegeben und bevorzugt zeitlich äquidistant mit einem Abstand ΔZ. In einer unteren Reihe sind Bilder zu den gleichen Zeitpunkten Z unter Verwendung einer hierin vorgestellten Technik dargestellt. Das auf den Bildern dargestellte Umfeld 110 des Kraftfahrzeugs 100 ist wieder zum leichteren Verständnis unter Annahme gleicher Perspektiven für die Bilder dargestellt. Zu den Zeitpunkten Z₀, Z₂ und Z₃ hat die Kamera 125 eine erste Ausrichtung 175, zu einem Zeitpunkt Z₁ eine zweite Ausrichtung 175, die vertikal weiter nach oben gerichtet ist als die erste Ausrichtung 175. Dementsprechend ist der Bildinhalt der korrespondierenden Bilder gegenüber den anderen Bildern weiter nach unten verschoben.
Ab dem Zeitpunkt Z₁ liegen Bilder mit unterschiedlichen Ausrichtungen 175 vor, nämlich das vom ersten Zeitpunkt Z₀ und das vom zweiten Zeitpunkt Z₁ sodass eine Überlagerung entsprechend Schritt 325 des Verfahrens 300 von 3 möglich ist. Ein Bereich 405, der im Bild vom Zeitpunkt Z₁ neu erkennbar ist, kann nun mit dem Bild vom Zeitpunkt Z₀ kombiniert werden. Der Bereich 405 kann aber auch mit einem oder mehreren folgenden Bildern, beispielsweise vom Zeitpunkt Z₂ oder Z₃, kombiniert werden. Insbesondere wenn die erfassten Bilder Teil eines Videodatenstroms sind, kann das Objekt 120 in einer Vielzahl Bilder ab dem Zeitpunkt Z₂ erkennbar gemacht werden. Üblicherweise begrenzt eine Ortsveränderung der Kamera 125 diese Technik, indem ab einem gewissen Zeitpunkt ein abgetastetes Bild nicht mehr mit dem Bereich 405 vom Zeitpunkt Z₁ kombinierbar ist. Üblicherweise ist dies spätestens zu einem Zeitpunkt der Fall, an dem das Objekt 120 den Erfassungsbereich 135 verlassen hat.
5 zeigt Bilder eines Umfelds 110 eines Kraftfahrzeugs 100 bei unterschiedlichen Ausrichtungen 175 einer Kamera 125 an Bord des Kraftfahrzeugs 100.
Zu einem Zeitpunkt Z₀ nimmt die Ausrichtung 175 beispielhaft auf einen üblichen Mittelwert an, den sie beispielsweise auch an einem stehenden Kraftfahrzeug 100 annehmen könnte. Zu einem Zeitpunkt Z₁ weist die Ausrichtung 175 weiter nach oben und die Abweichung 180 ist positiv. Zu einem Zeitpunkt Z₂ weist die Ausrichtung 175 weiter nach unten und die Abweichung 180 ist negativ. Entsprechend liegt ein Abschnitt des Umfelds 110, der in allen abgetasteten Bildern enthalten ist, im Bild vom Zeitpunkt Z₁ weiter unten und im Bild vom Zeitpunkt Z₂ weiter oben als im Bild vom Zeitpunkt Z₀. Ein im Bild von Z₀ durch den opaken Bereich 140 beeinträchtigter Bereich kann in den späteren beiden Bildern jeweils teilweise oder ganz sichtbar sein. Unter Umständen kann das Objekt 120 bereits erkannt werden, wenn es aus mehreren Bildern nur unvollständig rekonstruiert werden kann und ein Bereich auf dem Bild verbleibt, der durch den opaken Bereich 140 beeinträchtigt ist.
Die Änderung 180 der Ausrichtung 175 kann durch eine übliche Variation der Ausrichtung des Kraftfahrzeugs 100 erfolgen oder mittels des Aktuators 190 gezielt herbeigeführt werden.
Bezugszeichenliste

100: Kraftfahrzeug
105: Vorrichtung
110: Umfeld
115: Untergrund
120: Objekt
125: Kamera
130: Optik
135: Erfassungsbereich
140: opaker Bereich
145: Verarbeitungseinrichtung
150: erste Schnittstelle
155: zweite Schnittstelle
160: Ausgabeeinrichtung
165: dritte Schnittstelle
170: Einrichtung
175: Ausrichtung
178: Speichereinrichtung
180: Änderung der Ausrichtung
185: Abstand
190: Aktuator
300: Verfahren
305: Bestimmen erste Ausrichtung
310: Abtasten erstes Bild
315: Bestimmen zweite Ausrichtung
320: Abtasten zweites Bild
325: Überlagern
330: Bereitstellen drittes Bild
335: Verarbeiten bereitgestelltes Bild
340: Steuerung durchführen
405: Bereich

Claims

Verfahren (300), mit folgenden Schritten: - Erfassen (310) eines ersten Bildes (205) eines Umfelds mittels einer Kamera (125); - Erfassen (320) eines zweiten Bildes (210) mittels der Kamera (125); - wobei eine Ausrichtung (175) der Kamera (125) bezüglich des Umfelds (110) für beide Bilder (205, 210) unterschiedlich ist; - wobei die Kamera (125) eine Optik (130) umfasst, auf der sich ein opaker Bereich (140) befindet, - sodass auf dem ersten (205) und dem zweiten Bild (210) unterschiedliche Abschnitte des abgebildeten Umfelds (110) durch den opaken Bereich (140) gestört sind; - Bestimmen eines dritten Bildes (215) auf der Basis des ersten (205) und des zweiten Bildes (210), wobei ein auf dem ersten Bild (205) gestörter Bereich des abgebildeten Umfelds (110) durch einen korrespondierenden, ungestörten Bereich (405) des zweiten Bildes (210) ersetzt wird.
Verfahren (300) nach Anspruch 1, wobei das erste (205) und das zweite Bild (210) jeweils ein Objekt (120) abbilden und eines der Bilder (205, 210) skaliert wird, sodass das Objekt (120) auf beiden Bildern (205, 210) gleich groß ist.
Verfahren (300) nach Anspruch 2, wobei sich die Kamera (125) zwischen den Erfassungen der Bilder (205, 210) gegenüber dem Umfeld (110) bewegt und das Skalieren in Abhängigkeit der Bewegung erfolgt.
Verfahren (300) nach Anspruch 2 oder 3, wobei das Objekt (120) erkannt wird und das Skalieren in Abhängigkeit des erkannten Objekts (120) erfolgt.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei das erste (205) und das zweite Bild (210) überlappende Abschnitte des Umfelds (110) abbilden und das dritte Bild (215) eine Schnittmenge der abgebildeten Bereiche umfasst.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Bild (205, 210) überlappende Abschnitte des Umfelds (110) abbilden und das dritte Bild (215) eine Vereinigungsmenge der abgebildeten Bereiche umfasst.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei die geänderte Ausrichtung (175) der Kamera (125) auf der Basis des ersten und des zweiten Bildes bestimmt wird.
Verfahren (300) nach einem der vorangehenden Ansprüche, ferner umfassend ein Ändern der Ausrichtung (175) der Kamera (125) zwischen dem Erfassen des ersten (205) und des zweiten Bildes (210).
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei die Kamera (125) an einem Kraftfahrzeug (100) angebracht ist und wobei die geänderte Ausrichtung (175) der Kamera (125) gegenüber dem Kraftfahrzeug (100) auf der Basis einer Ausrichtung (175) der Kamera (125) bestimmt wird.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei die Kamera (125) an einem Kraftfahrzeug (100) angebracht ist, ferner umfassend ein Steuern (340) des Kraftfahrzeugs (100) auf der Basis des dritten Bildes (215).
Vorrichtung (105), wobei die Vorrichtung (105) folgendes umfasst: - eine Schnittstelle (150) zu einer Kamera (125) zur Erfassung eines Umfelds (110) der Kamera (125); - wobei die Kamera (125) eine Optik (130) umfasst, auf der sich ein opaker Bereich (140) befindet; - eine Verarbeitungseinrichtung (145) zur Erfassung eines ersten Bildes (205) und eines zweiten Bildes (210) des Umfelds (110); - wobei eine Ausrichtung (175) der Kamera (125) bezüglich des Umfelds (110) für beide Bilder (205, 210) unterschiedlich ist; - sodass auf dem ersten (205) und dem zweiten Bild (210) unterschiedliche Abschnitte des abgebildeten Umfelds (110) durch den opaken Bereich (140) gestört sind; - wobei die Verarbeitungseinrichtung (145) dazu eingerichtet ist, ein drittes Bild (215) auf der Basis des ersten (205) und des zweiten Bildes (210) zu bestimmen, wobei ein auf dem ersten Bild (205) gestörter Bereich des abgebildeten Umfelds (110) durch einen korrespondierenden, ungestörten Bereich (405) des zweiten Bildes (210) ersetzt ist.
Vorrichtung (105) nach Anspruch 11, ferner umfassend einen Aktuator (190) zur Veränderung einer Ausrichtung (175) der Kamera (125) bezüglich des Umfelds (110).
Vorrichtung (105) nach Anspruch 10 und 11, ferner umfassend einen Aktuator (190) zur Veränderung einer Ausrichtung (175) der Kamera (125) bezüglich des Kraftfahrzeugs (100).
Vorrichtung (105) nach einem der Ansprüche 11 bis 13, wobei die Kamera (125) eine Rückfahrkamera, eine Frontkamera oder eine Außenspiegelkamera eines Kraftfahrzeugs (100) umfasst.
Kraftfahrzeug (100), umfassend eine Vorrichtung (105) nach einem der Ansprüche 11 bis 14.