-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung ein Kamerasystem.
-
Aus dem Stand der Technik ist ein kameragestütztes Bildstitching zur Visualisierung einer dreidimensionalen Fahrzeugumgebung aus einer vordefinierten Perspektive, beispielsweise einer Topview, unter Berücksichtigung aktueller Sensorik bekannt. Insbesondere wird im Stand der Technik das Bildstitching aufbauend auf extrinsischen Kameradaten durchgeführt. Auf Basis der initial kalibrierten Kamerasysteme wird die Bildpräsentation aus beispielsweise vier Umfeldkameras zu einer gemeinsamen Umfeldpräsentation überführt. Initial wie aber auch Online-Kalibrierungsalgorithmen sind insbesondere fehlerbehaftet, wobei der Fehler beispielsweise als Fehler der Rückprojektion, welche auch als Backprojectionerror bezeichnet werden kann, ausgedrückt wird. Die extrinsischen Kalibrierfehler können hierbei Werte bis zu 0,5 Grad einnehmen, wodurch insbesondere im Fernfeld Variationen von größer 0,5 Meter bei 50 Meter Kameradistanz vorliegen können. Entsprechend sind kalibriergestützte Stitchingverfahren insbesondere für das Nahfeld geeignet.
-
Ferner offenbart die
DE 10 2009 036 200 A1 ein Verfahren zur Überwachung einer Umgebung eines Fahrzeugs, wobei die Umgebung und in dieser vorhandene Objekte mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst werden, wobei aus mittels der Bilderfassungseinrichtung erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt. Dabei wird in Abhängigkeit von ermittelten Positionen der Objekte in dem Gesamtbild zwischen einem ersten Einzelbereich und einem zweiten Einzelbereich ein Verlauf zumindest einer Grenzlinie, die sich von einem Ursprung zum Bildrand des Gesamtbilds erstreckt, derart vorgegeben, dass die Grenzlinie abseits der Objekte verläuft.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie ein Kamerasystem zu schaffen, mittels welchen ein präzises Bildstitching über große Tiefenbereiche realisiert werden kann.
-
Diese Aufgabe wird durch ein Verfahren sowie durch ein Kamerasystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem mittels einer Kamera des Kamerasystems ein erster Bildbereich einer Umgebung des Kraftfahrzeugs als erstes Bild erfasst wird und bei welchem mittels der Kamera ein zweiter Bildbereich der Umgebung als zweites Bild erfasst wird und bei welchem mittels eines Bildstitchingverfahrens einer elektronischen Recheneinrichtung des Kamerasystems das erste Bild und das zweite Bild aus einem gemeinsamen Bildüberlappungsbereich zu einem Gemeinschaftsbild zusammengefügt werden.
-
Es ist vorgesehen, dass in Abhängigkeit von einem mittels der elektronischen Recheneinrichtung bestimmten Korrelationswert des ersten Bilds und des zweiten Bilds im Bildüberlappungsbereich als Bildstitchingverfahren ein kameragestütztes Bildstitching oder ein merkmalsgestütztes Bildstitching durchgeführt wird.
-
Dadurch ist es ermöglicht, dass ein präzises Bildstitchingverfahren über große Tiefenbereiche realisiert werden kann. Insbesondere wird dabei eine Objekttiefe im Bildstitching berücksichtigt. Ferner kann auch bei einer fehlerhaften Kamerakalibrierung das Verfahren präzise durchgeführt werden.
-
Mit anderen Worten ist ein Verfahren zum Zusammenführen beziehungsweise Anheften, welches insbesondere als Stitching bezeichnet wird, von Kamerabildern unter Berücksichtigung vorliegender Tiefenrelationen vorgeschlagen. Es wird mittels Bildverarbeitung eine Bildhomogenität im Stitching-Bereich ausgewertet, wobei im Fall einer insbesondere hohen Korrelation im Beobachtungsbereich ein kalibriergestütztes Stitchingverfahren angewendet wird, andernfalls wird ein merkmalsgestütztes Stitchingverfahren angewendet.
-
Insbesondere kann vorgesehen sein, dass die Kamera beweglich angeordnet ist und einen ersten Bildbereich erfassen kann und einen zum ersten Bildbereich unterschiedlichen zweiten Bildbereich. Alternativ kann vorgesehen sein, dass mittels einer ersten Kamera der erste Bildbereich erfasst werden kann und mittels einer zweiten Kamera ein zweiter Bildbereich erfasst werden kann. Es könne auch mehr als zwei Kameras mehr als zwei Bildbereiche erfassen.
-
Gemäß einer vorteilhaften Ausgestaltungsform wird bei einem Überschreiten eines vorgegebenen Korrelationsschwellwerts durch den Korrelationswert das kameragestützte Bildstitching durchgeführt.
-
Ebenfalls vorteilhaft ist, wenn bei dem kameragestützten Bildstitching extrinsische Kameraparameter der Kamera berücksichtigt werden.
-
Weiterhin vorteilhaft ist, wenn eine Entfernung eines Objekts in der Umgebung bei dem merkmalsgestützten Bildstitching berücksichtigt wird.
-
Es hat sich weiterhin als vorteilhaft erwiesen, wenn eine Positionierung eines Objekts in der Umgebung relativ zu einem Horizont der Umgebung im Gemeinschaftsbild bei dem merkmalsgestützten Bildstitching berücksichtigt wird.
-
Ein weiterer Aspekt der Erfindung betrifft ein Kamerasystem mit zumindest einer Kamera und mit einer elektronischen Recheneinrichtung, wobei das Kamerasystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Kamerasystems durchgeführt.
-
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Kamerasystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Ferner kann das Kraftfahrzeug insbesondere als zumindest teilweise autonomes, insbesondere als vollautonomes, Kraftfahrzeug ausgebildet sein.
-
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Kamerasystems sowie des Kraftfahrzeugs anzusehen. Das Kamerasystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigen:
- 1 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens; und
- 2 eine weitere schematische Ansicht des Verfahrens.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt in einer schematischen Ansicht eine Ausführungsform des Verfahrens. Insbesondere zeigt die 1 ein Verfahren zum Betreiben eines Kamerasystems 10 ( 2) eines nicht dargestellten Kraftfahrzeugs, bei welchem mittels einer Kamera 12, 14, 16, 18 (2) des Kamerasystems 10 ein erster Bildbereich 20 (2) in einer Umgebung 22 (2) des Kraftfahrzeugs als erstes Bild 24 (2) erfasst wird und bei welchem mittels der Kamera 12, 14, 16, 18 ein zweiter Bildbereich 26 (2) der Umgebung 22 als zweites Bild 28 (2) erfasst wird, und bei welchem mittels eines Bildstitchingverfahrens 30, 32 (2) einer elektronischen Recheneinrichtung 34 (2) des Kamerasystems 10 das erste Bild 24 und das zweite Bild 28 an einem gemeinsamen Bildüberlappungsbereich zu einem Gemeinschaftsbild zusammengefügt werden.
-
Es ist vorgesehen, dass in Abhängigkeit von einem mittels der elektronischen Recheneinrichtung 34 bestimmten Korrelationswert des ersten Bilds 24 und des zweiten Bilds 28 im Bildüberlappungsbereich als Bildstitchingverfahren 30, 32 ein kameragestütztes Bildstitching 30 (2) oder ein merkmalsgestütztes Bildstitching 32 (2) durchgeführt wird.
-
Insbesondere ist vorgesehen, dass bei dem Überschreiten eines vorgegebenen Korrelationsschwellwerts durch den Korrelationswert das kameragestützte Bildstitching 30 durchgeführt wird. Bei dem kameragestützten Bildstitching 30 werden insbesondere extrinsische Kameraparameter der Kamera 12, 14, 16, 18 berücksichtigt.
-
Ebenfalls kann vorgesehen sein, dass eine Entfernung eines Objekts 36 (2) in der Umgebung 22 bei dem merkmalsgestützten Bildstitching 32 berücksichtigt wird. Ferner kann eine Positionierung eines Objekts 36 in der Umgebung 22 relativ zu einem Horizont 38 (2) der Umgebung 22 in dem Gemeinschaftsbild bei dem merkmalsgestützten Bildstitching 32 berücksichtigt werden.
-
Insbesondere ist somit in der 1 zu sehen, dass in einem ersten Schritt S1 eine Kamerakalibrierung durchgeführt werden kann. Insbesondere erfolgt in einem weiteren ersten Schritt S1.1 eine Initialisierung. In einem zweiten Schritt S2 erfolgt eine Extraktion des Horizonts 38 in der Kamerabildebene. In einem dritten Schritt S3 erfolgt eine Zuordnung der Umfelddistanzinfo zu den Kamerapixeln. In einem vierten Schritt S4 erfolgt die Anwendung eines kalibriergesteuerten Stitchingverfahrens. In einem fünften Schritt S5 erfolgt die Anwendung merkmalsgestütztes Stitchingverfahrens. In einem sechsten Schritt S6 erfolgt eine Applikation der definierten Fehlermetrik und in einem siebten Schritt S7 erfolgt eine Optimierung.
-
Insbesondere ist somit in der 1 gezeigt, dass das kameragestützte Bildstitching 30 zur Visualisierung der dreidimensionalen Fahrzeugumgebung unter Berücksichtigung von kalibrier- und merkmalsgestützten Stitchingverfahren realisiert ist. Die jeweilige Applikation der Verfahren wird zyklisch durch Anwendung einer definierten Fehlermetrik getriggert. Diese kann im Rahmen einer beispielhaften Anwendung als Bildverarbeitungsalgorithmus ausgelegt werden. Hierbei wird die Homogenität der Stitchingschnittbereiche ausgewertet, indem beispielsweise durch einen Template-Matching-Algorithmus schrittweise die Bereiche symmetrisch um den Stitchingschnittbereich, insbesondere entlang der vertikalen Achse, ausgewertet werden. Ist hierbei eine hohe Korrelation zu erwarten, ist das kalibriergestützte Stitchingverfahren, welches als Default gesetzt werden kann, als korrekt anzusehen. Ist konträr hierzu die Korrelation entsprechend gering, wird für den beobachteten Bereich ein merkmalsgestütztes Stitchingverfahren, insbesondere das merkmalsgestützte Bildstitching 32, appliziert und für den Bereich eine entsprechende Korrektur des Stitchings vorgesehen. Hierbei ist zu beachten, dass für das merkmalsgestützte Bildstitching 32 eine minimale Distanz zur Anwendung zu berücksichtigen ist, da die Betrachtungswinkel/Position der Kameras 12, 14, 16, 18 im Nahfeld stark divergieren und demgemäß das Stitching fehlerhaft ist. Für die Betrachtung im Fernfeld relativiert sich die Auswirkung hinsichtlich der unterschiedlichen Betrachtungswinkel. Die Informationen hinsichtlich Distanz zur Anwendung unterliegt demgemäß beispielsweise erstens der Rückmeldung der definierten Fehler im Betrieb, zweitens der Information, ob das Objekt 36 oberhalb des Horizonts 38 positioniert ist und drittens den Tiefeninformationen aus der Parkennahfeldpräsentation, wobei dies insbesondere eine Sensorfusion der Parkensensorik entspricht.
-
Insbesondere ist somit ein technischer Lösungsansatz zur kameragestützten Tiefenrekonstruktion des Fahrzeugumfelds basierend auf gelernten Unschärferelation vorgeschlagen. Insbesondere fokussiert sich hierbei die Ausführungsform beispielhaft auf die Methode-Shape from Focus. Diese beruht auf dem Ansatz, dass Objekte 36 in einem definierten Abstand von der Kamerabildobjekte, insbesondere unter Voraussetzung fester Brennweite, auf dieser als scharfes/fokussiertes Objekt 36 abgebildet werden. Bewegt sich das Objekt 36 aus dem Fokuspunkt, wird es als verschwommenes Objekt 36 auf der Kamerabildebene dargestellt. Hierzu besteht nach der Abbildungsgleichung eine Relation zwischen Objektive, insbesondere Objektdistanz zur Kamerabildebene, und dem Grad der Unschärfe auf der Kamerabildebene. Um die Relation von Tiefe zum Grad der Unschärfe zu bestimmen, wird beispielhaft vorgeschlagen, in einem Online-Kalibrierschritt die berechnete Tiefenkante aus der in Serie existenten Structure from Motion zu nutzen und entsprechend die Übertragungsfunktion von Tiefenwerte zu Unschärferelation im Bereich der rekonstruierten Objekte 36 zu berechnen. Nachführend zur Onlinekalibrierung, kann durch Auswertung der Unschärferelation in definierten Bildbereichen die Tiefenwerte für diese Segmente, sowohl im statischen, wie auch dynamischen Fahrzustand rekonstruiert werden. Für die Auswertung der Unschärferelation ist die Berücksichtigung geeigneter Metriken vorzusehen. Hierzu bietet sich in einer beispielhaften Ausführung die „No-reference perceptual blur metric“ an. Insbesondere kann dann eine kamerabasierte Tiefenrekonstruktion im statischen Fahrzeugzustand durchgeführt werden. Ferner erlaubt dies eine segmentierbare Tiefenrekonstruktion. Des Weiteren werden intrinsische Kameravarianten durch OnlineKalibrierung aufbauend auf Distanzwerten berücksichtigt. Ferner ist unter Berücksichtigung eines Monokamerasystems dennoch dieses funktionsfähig, da keine Sensorfusion notwendig ist. Insbesondere ist dieses Verfahren auch invariant zum Ladezustand des Kraftfahrzeugs, durch Neigungsausgleich der Kameraonline-Kalibrierung.
-
In 2 ist insbesondere gezeigt, dass mittels vier Kameras 12, 14, 16, 18 die Umgebung 22 erfasst werden kann. Insbesondere kann mittels einer ersten Kamera 12 das erste Bild 24 aufgenommen werden. Mittels einer zweiten Kamera 14 kann das zweite Bild 28 aufgenommen werden. Mittels einer dritten Kamera 16 kann ein drittes Bild 40 aufgenommen werden. Mittels einer vierten Kamera 18 kann ein viertes Bild 42 aufgenommen werden. Insbesondere sind die Kameras 12, 14, 16, 18 unterschiedlich am Kraftfahrzeug angeordnet, sodass unterschiedliche Aufnahmewinkel beziehungsweise Blickwinkel durch die Kameras 12, 14, 16, 18 aufgenommen werden können. Insbesondere wird nun auf Basis der Bildstitchingverfahren 30, 32 eine entsprechende Zusammenführung der Bilder 24, 28, 40, 42 durchgeführt. Insbesondere ist durch den Vektor T ein Translationsvektor beschrieben und durch den Vektor R eine Rotationsmatrix.
-
Insbesondere kann im sechsten Schritt S6, insbesondere bei der Anwendung der Fehlermetrik im Bereich der Stitchingschnittebene, eine Einschätzung der Stitchinggüte durch Betrachtung von Kanten-Inhomogenitäten realisiert werden. Beispielsweise kann eine Winkelabweichung von dleft zu dright als indirektes Gütemaß des Stitchingverfahrens angesehen werden. Wenn die Winkelabweichung für betrachtetes Segment, insbesondere einem definierten Schwellwert entspricht, wird das merkmalsbasierte Bildstitching 32 in diesem Bereich durchgeführt.
-
Insgesamt zeigt die Erfindung ein Kamerastitchingverfahren unter Berücksichtigung vorliegender Tiefenrelationen.
-
Bezugszeichenliste
-
- 10
- Kamerasystem
- 12
- erste Kamera
- 14
- zweite Kamera
- 16
- dritte Kamera
- 18
- vierte Kamera
- 20
- erster Bildbereich
- 22
- Umgebung
- 24
- erstes Bild
- 26
- zweiter Bildbereich
- 28
- zweites Bild
- 30
- kameragestütztes Bildstitching
- 32
- merkmalsgestütztes Bildstitching
- 34
- elektronische Recheneinrichtung
- 36
- Objekt
- 38
- Horizont
- 40
- drittes Bild
- 42
- viertes Bild
- S1
- erster Schritt
- S1.1
- weiterer erster Schritt
- S2
- zweiter Schritt
- S3
- dritter Schritt
- S4
- vierter Schritt
- S5
- fünfter Schritt
- S6
- sechster Schritt
- S7
- siebter Schritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009036200 A1 [0003]
