DE102013220506A1

DE102013220506A1 - Ausfallsicheres Kamerasystem

Info

Publication number: DE102013220506A1
Application number: DE201310220506
Authority: DE
Inventors: Jörg Schrepfer
Original assignee: Applic Solutions Electronics & Vision Ltd; Application Solutions Electronic and Vision Ltd
Current assignee: Applic Solutions Electronics & Vision Ltd; Application Solutions Electronic and Vision Ltd
Priority date: 2013-10-11
Filing date: 2013-10-11
Publication date: 2015-04-16
Also published as: DE112014004683A5; WO2015052314A1

Abstract

Kamerasystem für ein Fahrzeug (1) mit mehreren Fahrzeugkameras (2) zur Erzeugung von Kamerabildern, die Bereiche der Umgebung des Fahrzeuges (1) wiedergeben, wobei sich die Sichtbereiche der Fahrzeugkameras (2) zumindest teilweise überlappen, und bei Ausfall eines von einer Fahrzeugkamera (2) übertragenen Kamerabildes durch eine Berechnungseinheit (4) das ausgefallene Kamerabild zumindest teilweise auf Basis von übrigen zumindest teilweise überlappenden Kamerabildern der übrigen Fahrzeugkameras (2) in Abhängigkeit von Kameraparametern (KP) der übrigen Fahrzeugkameras (2) rekonstruiert wird.

Description

Die Erfindung betrifft ein ausfallsicheres Kamerasystem und ein entsprechendes Verfahren zum ausfallsicheren Betreiben eines derartigen Kamerasystems für ein Fahrzeug, insbesondere ein Straßenfahrzeug.
Fahrzeuge werden zunehmend mit Fahrzeugkameras ausgestattet, welche Kamerabilder für den Fahrer des Fahrzeuges liefern. Dabei können die von den Fahrzeugkameras gelieferten Kamerabilder entweder direkt oder erst nach einer entsprechenden Bilddatenverarbeitung auf einer zugehörigen Anzeige innerhalb des Fahrzeugraumes des Fahrzeuges angezeigt werden. Beispielsweise werden in herkömmlichen Straßenfahrzeugen Fahrzeugkameras vorgesehen, die einen Vorder- bzw. Frontbereich und einen Heck- bzw. Rückbereich des Fahrzeuges abdecken, um den Fahrer bei Fahrmanövern, beispielsweise rückwärts einparken, zu unterstützen. Die von der Vorderkamera gelieferten Kamerabilder bzw. Bilddaten unterstützen den Fahrer bei der Steuerung des Fahrzeuges im Straßenverkehr. Weiterhin werden in Fahrzeugen zunehmend Umgebungs-Fahrzeugkameras angebracht, deren Kamerabilder durch eine Datenverarbeitungseinheit des Fahrzeuges zur Berechnung eines Umgebungsbildes ausgewertet werden. Derartige Camera-Surround-View-Systeme werden in Fahrzeugen zunehmend eingesetzt und erlauben es dem Fahrer die Umgebung seines Fahrzeuges aus einem gewünschten Blickwinkel von einer virtuellen Position zu betrachten.
Die verschiedenen Fahrzeugkameras des Fahrzeuges liefern Kamerabilder in Echtzeit, die ggf. nach entsprechender Bilddatenverarbeitung dem Fahrer auf einer Anzeige angezeigt werden. Bei herkömmlichen Kamerasystemen erfolgt bei einem Ausfall eines Kamerabildes üblicherweise ein entsprechender Hinweis für den Fahrer und das betroffene Kamerasystem wird aufgrund des Fehlers deaktiviert bzw. abgeschaltet.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Kamerasystem zu schaffen, welches auch bei Ausfall eines von einer Fahrzeugkamera gelieferten Kamerabildes einen weiteren Betrieb des Kamerasystems erlaubt.
Diese Aufgabe wird erfindungsgemäß durch ein Kamerasystem mit den in Patentanspruch 1 angegebenen Merkmalen gelöst.
Die Erfindung schafft demnach ein Kamerasystem für ein Fahrzeug mit mehreren Fahrzeugkameras zur Erzeugung von Kamerabildern, die Bereiche der Umgebung des Fahrzeuges wiedergeben, wobei sich die Sichtbereiche der Fahrzeugkameras zumindest teilweise überlappen, und bei Ausfall eines von einer Fahrzeugkamera übertragenen Kamerabildes durch eine Berechnungseinheit das ausgefallene Kamerabild zumindest teilweise auf Basis von übrigen zumindest teilweise überlappenden Kamerabildern der übrigen Fahrzeugkameras in Abhängigkeit von Kameraparametern der übrigen Fahrzeugkameras rekonstruiert wird.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems sind die Kameraparameter der in dem Fahrzeug vorhandenen Fahrzeugkameras des Fahrzeuges gespeichert, insbesondere in einem Datenspeicher, auf den die Berechnungseinheit Zugriff hat.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems werden bei Ausfall eines Kamerabildes mindestens einer Fahrzeugkamera durch die Berechnungseinheit die gespeicherten Kameraparameter zur Rekonstruktion des ausgefallenen Kamerabildes auf Basis der übrigen teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras herangezogen.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems umfassen die gespeicherten Kameraparameter der Fahrzeugkameras intrinsische Kameraparameter und extrinsische Kameraparameter.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems umfassen die extrinsischen Kameraparameter der Fahrzeugkamera Positionskoordinaten der Fahrzeugkamera in einem Koordinatensystem des Fahrzeuges sowie Ausrichtwinkel der Fahrzeugkamera.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems weisen die intrinsischen Kameraparameter der Fahrzeugkamera optische Parameter einer Kameraoptik der Fahrzeugkamera und/oder elektrische Parameter einer Bilddatenaufbereitungseinheit der Fahrzeugkamera auf.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems übertragen die Fahrzeugkameras relevante Kameraparameter zusammen mit den Kamerabildern an die Berechnungseinheit im laufenden Betrieb, sodass die Berechnungseinheit bei Ausfall eines Kamerabildes mindestens einer Fahrzeugkamera die empfangenen Kameraparameter zur Rekonstruktion des ausgefallenen Kamerabildes auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras und deren Kameraparameter heranzieht.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird das von einer Fahrzeugkamera des Fahrzeuges gelieferte Kamerabild als Anzeigebild direkt auf einer Anzeige des Fahrzeuges angezeigt.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird das von einer Fahrzeugkamera gelieferte Kamerabild erst nach einer Datenverarbeitung bzw. Bildaufbereitung auf einer Anzeige des Fahrzeuges angezeigt.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Fahrzeugkamerasystems wird das von einer Fahrzeugkamera gelieferte Kamerabild mit von weiteren Fahrzeugkameras gelieferten Kamerabildern durch eine Bilddatenverarbeitungseinheit zu einem Anzeigenbild verarbeitet, das auf einer Anzeige des Fahrzeuges angezeigt wird.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird bei Ausfall einer Anzeige des Fahrzeuges automatisch auf eine andere Anzeige oder auf eine eigens dafür vorgesehene Ersatzanzeige umgeschaltet.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird der Ausfall eines von einer Fahrzeugkamera übertragenen Kamerabildes durch die Berechnungseinheit detektiert.
Sobald die Berechnungseinheit den Ausfall eines von einer Fahrzeugkamera übertragenen Kamerabildes detektiert, rekonstruiert die Berechnungseinheit das ausgefallene Kamerabild zumindest teilweise auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras in Abhängigkeit von Kameraparametern der übrigen Fahrzeugkameras.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird der Ausfall eines von einer Fahrzeugkamera übertragenen Kamerabildes mittels einer von der Berechnungseinheit vorgenommenen Bilddatenanalyse des Kamerabildinhaltes detektiert.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems übertragen die Fahrzeugkameras die Kamerabilder an die Berechnungseinheit in Datenpaketen.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird ein Ausfall eines von einer Fahrzeugkamera übertragenen Kamerabildes durch Auswertung von Headerdaten der übertragenen Datenpakete detektiert.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems weist dieses vier Umgebungs-Fahrzeugkameras auf, die in dem Fahrzeug vorgesehen sind, welche einen vorderen, hinteren, seitlich rechten und seitlich linken Umgebungsbereich des Fahrzeuges überlappend erfassen.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems weist dieses eine rechte und eine linke Spiegel-Fahrzeugkamera auf, die einen linken und rechten seitlichen Spiegelbereich des Fahrzeuges erfassen.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems sind eine Front-Fahrzeugkamera und eine Heck-Fahrzeugkamera vorgesehen, die einen Frontbereich und einen Heckbereich des Fahrzeuges erfassen.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems sind eine linke Spiegelanzeige und eine rechte Spiegelanzeige vorgesehen, die jeweils dem Fahrer ein von der Berechnungseinheit berechnetes Spiegelbild der Fahrzeugumgebung in einem linken und rechten seitlichen Spiegelbereich des Fahrzeuges anzeigen.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird bei Ausfall eines von der Heck-Fahrzeugkamera übertragenen Kamerabildes das ausgefallene Kamerabild zumindest teilweise auf Basis der teilweise überlappenden Kamerabilder der beiden Spiegel-Fahrzeugkameras und deren Kameraparametern durch die Berechnungseinheit rekonstruiert.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird aus den von den Umgebungs-Fahrzeugkameras gelieferten Kamerabildern ein zusammengesetztes Umgebungsbild berechnet, das bei Ausfall eines der Kamerabilder einer Umgebungs-Fahrzeugkamera durch die Berechnungseinheit zumindest teilweise auf Basis der teilweise überlappenden Kamerabilder der übrigen Umgebungs-Fahrzeugkameras und deren Kameraparametern rekonstruiert wird.
Die Erfindung schafft ferner ein Verfahren zum ausfallsicheren Betreiben eines Kamerasystems, welches mehrere Fahrzeugkameras zur Erzeugung von Kamerabildern umfasst, die Bereiche der Umgebung eines Fahrzeuges wiedergeben,
wobei sich die Sichtbereiche der Fahrzeugkameras zumindest teilweise überlappen,
wobei bei Ausfall eines von einer Fahrzeugkamera übertragenen Kamerabildes das ausgefallene Kamerabild zumindest teilweise auf Basis von übrigen zumindest teilweise überlappenden Kamerabildern der übrigen Fahrzeugkameras in Abhängigkeit von Kameraparametern der übrigen Fahrzeugkameras rekonstruiert wird.
Im Weiteren werden mögliche Ausführungsformen des erfindungsgemäßen Kamerasystems und des erfindungsgemäßen Verfahrens zum ausfallsicheren Betreiben eines Kamerasystems unter Bezugnahme auf die beigefügten Figuren näher erläutert.
Es zeigen:
1 ein Blockschaltbild zur Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Kamerasystems;
2 eine Ansicht einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems für ein Fahrzeug mit mehreren Fahrzeugkameras unterschiedlichen Kameratyps;
3 ein Diagramm zur Erläuterung der Funktionsweise eines erfindungsgemäßen Kamerasystems und des erfindungsgemäßen Verfahrens zum ausfallsicheren Betreiben eines derartigen Kamerasystems.
Wie man in 1 erkennen kann, können in einem Fahrzeug 1 eine oder mehrere Fahrzeugkameras vorhanden sein. In dem dargestellten Ausführungsbeispiel sind in dem Fahrzeug 1 n Fahrzeugkameras 2-1, 2-2...2-n vorgesehen. Die Fahrzeugkameras 2-i können an unterschiedlichen Positionen mit unterschiedlichen Ausrichtwinkeln an der Fahrzeugkarosserie des Fahrzeuges angebracht sein. Die Fahrzeugkameras 2-i sind zur Erzeugung von Kamerabildern vorgesehen, die Bereiche der Umgebung des Fahrzeuges 1 wiedergeben. Aufgrund ihrer Position und Ausrichtung überlappen sich dabei die Sichtbereiche SB der Fahrzeugkameras 2-i zumindest teilweise. Die Fahrzeugkameras 2-i liefern Kamerabilder über Übertragungsleitungen 3-i an eine Berechnungseinheit 4 des Fahrzeuges 1. Bei einer möglichen Ausführungsform übertragen die Fahrzeugkameras 2-i Kamerabilder über einen Datenbus an die Berechnungseinheit 4. Die Berechnungseinheit 4 kann einen oder mehrere Mikroprozessoren zur Datenverarbeitung enthalten. Bei dem in 1 dargestellten Ausführungsbeispiel hat die Berechnungseinheit 4 Zugriff auf einen Datenspeicher 5, in dem Kameraparameter KP der Fahrzeugkameras 2-i abgelegt sind. Weiterhin sind an die Berechnungseinheit 4 bei dem in 1 dargestellten Ausführungsbeispiel eine oder mehrere Anzeigen 6-i angeschlossen.
Bei Ausfall eines von einer Fahrzeugkamera 2-i übertragenen Kamerabildes wird durch die Berechnungseinheit 4 das ausgefallene Kamerabild zumindest teilweise rekonstruiert. Die Berechnung des ausgefallenen Kamerabildes geschieht auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras in Abhängigkeit von Kameraparametern KP der übrigen Fahrzeugkameras. Bei dem in 1 dargestellten Ausführungsbeispiel hat die Berechnungseinheit 4 Zugriff auf den Datenspeicher 5, in dem die Kameraparameter KP der Fahrzeugkameras 2-i des Fahrzeuges 1 gespeichert sind.
Bei den Kameraparametern KP einer Fahrzeugkamera 2-i handelt es sich einerseits um intrinsische Kameraparameter der Fahrzeugkamera und andererseits um extrinsische Kameraparameter der Fahrzeugkamera.
Die extrinsischen Kameraparameter KP einer Fahrzeugkamera umfassen die Positionskoordinaten x, y, z der jeweiligen Fahrzeugkamera 2-i in einem Koordinatensystem des Fahrzeuges 1 sowie verschiedene Ausrichtwinkel der Fahrzeugkamera. Diese Ausrichtwinkel umfassen insbesondere einen Rollwinkel α, einen Neigungswinkel β und einen Gierwinkel γ. Hierdurch wird die Ausrichtung der Fahrzeugkamera 2-i im dreidimensionalen Raum bestimmt. Durch die extrinsischen Kameraparameter wird der Sichtbereich der jeweiligen Fahrzeugkamera 2-i festgelegt. Durch die entsprechende Positionierung und Ausrichtung (α, β, γ) der Fahrzeugkamera 2-i ist bei dem erfindungsgemäßen Kamerasystem gewährleistet, dass sich die Sichtbereiche SB der verschiedenen Fahrzeugkameras 2-i zumindest teilweise überlappen.
Neben den extrinsischen Kameraparametern können in dem Datenspeicher 5 intrinsische Kameraparameter der Fahrzeugkameras 2-i abgelegt sein. Die intrinsischen Kameraparameter umfassen beispielsweise optische Parameter einer Kameraoptik der Fahrzeugkamera, insbesondere der Kameralinsen sowie elektronische Parameter einer Bilddatenaufbereitungseinheit der jeweiligen Fahrzeugkamera 2-i.
Bei einer möglichen Ausführungsform werden bei Ausfall eines von einer Fahrzeugkamera 2-i stammenden Kamerabildes die Kameraparameter KP der übrigen nicht ausgefallenen Fahrzeugkameras aus dem Datenspeicher 5 ausgelesen und mit deren Hilfe auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras das ausgefallene Kamerabild zumindest teilweise rekonstruiert.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems liefern die Fahrzeugkameras 2-i ihre jeweiligen Kameraparameter KP während des laufenden Betriebes zusammen mit den Kamerabildern über die entsprechenden Übertragungsleitungen 3-i. Fällt bei dieser Ausführungsform ein Kamerabild einer Fahrzeugkamera 2-i aus, hat die Berechnungseinheit 4 die Möglichkeit, die von den übrigen Fahrzeugkameras bei der Übertragung der Kamerabilder mitgelieferten Kameraparameter KP auszuwerten, um mit deren Hilfe auf Basis der empfangenen und zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras das Kamerabild der ausgefallenen Fahrzeugkamera zu rekonstruieren.
Bei einer weiteren möglichen Ausführungsform können die Kameraparameter KP einer Fahrzeugkamera 2-i in einem integrierten Speicher der Fahrzeugkamera 2-i zum Auslesen bereitgestellt werden. Bei dieser Ausführungsform kann beispielsweise die Berechnungseinheit 4 bei Ausfall einer Fahrzeugkamera 2-i bzw. bei Ausfall deren Kamerabildes die Kameraparameter der übrigen noch nicht ausgefallenen Fahrzeugkameras 2-i über die Übertragungsleitungen 3-i von den funktionsfähigen Fahrzeugkameras anfragen, sodass diese ihre Kameraparameter KP an die Berechnungseinheit 4 übertragen.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird ein von einer Fahrzeugkamera 2-i geliefertes Kamerabild direkt als Anzeigebild auf einer entsprechenden Anzeige 6-i des Fahrzeuges 1 angezeigt. Bei einer weiteren möglichen Ausführungsform werden die von den Fahrzeugkameras gelieferten Kamerabilder zunächst durch eine Bilddatenverarbeitungseinheit zu einem Anzeigebild verarbeitet, welcher aus einer Anzeige 6-i des Fahrzeuges 1 angezeigt wird.
Bei Ausfall einer Anzeige des Fahrzeuges 1, beispielsweise der Anzeige 6-1 in 1, kann bei einer möglichen Ausführungsform auf eine andere Anzeige, beispielsweise die Anzeige 6-2, umgeschaltet werden. Weiterhin ist es möglich, dass bei Ausfall einer Anzeige des Fahrzeuges 1 automatisch auf eine eigens dafür vorgesehene Ersatzanzeige umgeschaltet wird. Bei einer möglichen Ausführungsform steuert die Berechnungseinheit 4 das Umschalten von der ausgefallenen Anzeige auf die andere bzw. Ersatzanzeige.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird der Ausfall eines von einer Fahrzeugkamera 2-i empfangenen Kamerabildes durch eine Detektionseinrichtung der Berechnungseinheit 4 detektiert. Sobald die Detektionseinheit den Ausfall eines Kamerabildes erfasst bzw. detektiert, wird das ausgefallene Kamerabild durch die Berechnungseinheit 4 zumindest teilweise auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras in Abhängigkeit von den Kameraparametern KP der übrigen Fahrzeugkameras 2-i rekonstruiert.
Der Ausfall eines von einer Fahrzeugkamera 2-i übertragenen Kamerabildes wird bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems durch eine Detektionseinrichtung der Berechnungseinheit 4 mittels Bilddatenanalyse des Kamerabildinhaltes detektiert. Der Ausfall des Kamerabildes kann unterschiedliche Ursachen haben. Eine mögliche Ursache für den Ausfall eines Kamerabildes ist beispielsweise die Verschmutzung der Kameraoptik durch Umgebungsdreck. Fährt beispielsweise das Fahrzeug 1 durch eine Pfütze, kann durch den aufgewirbelten Schmutz bzw. Schlamm die Kameralinse zumindest teilweise abgedeckt werden. Bei Verschmutzung bzw. Abdeckung verändert sich das Spektrum des aufgenommenen Kamerabildes, weil höhere Frequenzanteile vermindert sind bzw. verschwinden. Über eine entsprechende Frequenzanalyse des Kamerabildinhaltes kann die Detektionseinrichtung der Berechnungseinheit 4 erkennen, dass das Kamerabild zumindest zeitweise ausgefallen ist.
Eine weitere Ursache für den Ausfall einer Fahrzeugkamera kann beispielsweise darin bestehen, dass die Fahrzeugkamera selbst oder die Übertragungsleitung 3-i ausgefallen ist. Ein derartiger Ausfall kann beispielsweise dadurch festgestellt werden, dass das vorhandene Kamerabild sich über die Zeit nicht verändert bzw. einfriert. Die Fahrzeugkameras 2-i übertragen bei einer möglichen Ausführungsform eine Videosequenz bzw. eine Sequenz von Kamerabildern der Umgebung in Echtzeit. Verändert sich der Bildinhalt des Kamerabildes trotz Bewegung des Fahrzeuges 1 nicht, kann festgestellt werden, dass das entsprechende Kamerabild der Fahrzeugkamera 2-i ausgefallen ist.
Weiterhin ist es möglich, dass Fahrzeugkameras 2-i bei Erkennen einer internen Fehlfunktion eine entsprechende Meldung an die Berechnungseinheit 4 übertragen, um ihren Ausfall bzw. den Ausfall ihres Kamerabildes anzuzeigen bzw. zu melden.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems übertragen die Fahrzeugkameras 2-i über die Übertragungsleitungen 3-i die Kamerabilder in Datenpaketen an die Berechnungseinheit 4. Die Berechnungseinheit 4 kann bei einer möglichen Ausführungsform einen Ausfall eines von einer Fahrzeugkamera 2-i übertragenen Kamerabildes durch Auswertung von Verwaltungs- bzw. Headerdaten der Datenpakete detektieren. Beispielsweise können in den Headerdaten entsprechende Zähler bzw. Zählwerte enthalten sein, die eine Sequenz von Kamerabildern angeben. Ändert sich dieser Zählwert nicht, kann die Berechnungseinheit 4 erkennen, dass das Kamerabild ausgefallen ist.
Bei einer möglichen Ausführungsform überwacht die Berechnungseinheit 4 die Funktionsfähigkeit der verschiedenen Fahrzeugkameras 2-i kontinuierlich und/oder periodisch. Beispielsweise kann die Berechnungseinheit 4 in periodischen Zeitabständen eine Anfrage an eine Fahrzeugkamera 2-i stellen und eine entsprechende Antwortnachricht der Fahrzeugkamera 2-i auswerten, um zu überprüfen, ob die entsprechende Fahrzeugkamera noch funktionsfähig ist. In entsprechender Weise kann auch die Berechnungseinheit 4 die Funktionsfähigkeit von Anzeigeeinrichtungen 6-i überwachen.
2 zeigt ein Fahrzeug 1 mit mehreren in der Fahrzeugkarosserie vorgesehenen Fahrzeugkameras 2-i. In dem in 2 dargestellten Ausführungsbeispiel verfügt das Fahrzeug 1 über acht verschiedene Fahrzeugkameras. In dem dargestellten Ausführungsbeispiel sind in dem Kamerasystem vier Umgebungs-Fahrzeugkameras 2U an dem Fahrzeug 1 vorgesehen, wobei die vier Umgebungs-Fahrzeugkameras 2-U einen vorderen, hinteren, seitlich rechten und seitlich linken Umgebungsbereich des Fahrzeuges 1 überlappend erfassen. Die Umgebungs-Fahrzeugkamera 2U-F erfasst einen vorderen bzw. Frontbereich des Fahrzeuges 1 und die Umgebungs-Fahrzeugkamera 2U-H erfasst einen hinteren bzw. Heckbereich des Fahrzeugs 1, die Umgebungs-Fahrzeugkamera 2U-R erfasst einen seitlich rechten Umgebungsbereich des Fahrzeuges 1 und die Umgebungs-Fahrzeugkamera 2U-L erfasst einen seitlich linken Umgebungsbereich des Fahrzeuges 1. Neben den Umgebungs-Fahrzeugskameras 2U weist das Fahrzeug 1 bei dem dargestellten Ausführungsbeispiel zusätzlich zwei Spiegel-Fahrzeugkameras auf. Wie in 2 dargestellt, ist eine rechte Spiegel-Fahrzeugkamera 2S-R und eine linke Spiegelfahrzeugkamera 2S-L vorgesehen. Die rechte und linke Spiegel-Fahrzeugkamera erfassen einen linken und rechten seitlichen Spiegelbereich des Fahrzeuges, wie in 2 dargestellt. Darüber hinaus verfügt das Kamerasystem des Fahrzeuges 1 über eine Front-Fahrzeugkamera 2F und eine Heck-Fahrzeugkamera 2H, die einen Frontbereich und einen Heckbereich des Fahrzeuges 1 erfassen. Bei einer möglichen Ausführungsform wird bei Ausfall eines von der Heck-Fahrzeugkamera 2H übertragenen Kamerabildes das ausgefallene Kamerabild mindestens teilweise auf Basis der teilweise überlappenden Kamerabilder der beiden Spiegel-Fahrzeugkameras 2S-L, 2S-R und deren Kameraparametern KP durch die Berechnungseinheit 4 rekonstruiert. Wie man in 2 andeutungsweise erkennen kann, überlappen sich die Sichtbereiche der beiden Spiegel-Fahrzeugkameras 2S-L, 2S-R ab einem gewissen Abstand hinter dem Heck des Fahrzeuges 1.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamerasystems wird aus den von den Umgebungs-Fahrzeugkameras 2U-F, 2U-H, 2U-R, 2U-L ein zusammengesetztes Umgebungsbild berechnet. Bei Ausfall eines der Kamerabilder einer Umgebungs-Fahrzeugkamera wird durch die Berechnungseinheit 4 des Kamerasystems zumindest teilweise das ausgefallene Kamerabild rekonstruiert, wobei dies auf Basis der teilweise überlappenden Kamerabilder der übrigen Umgebungs-Fahrzeugkameras und deren Kameraparametern rekonstruiert wird. Fällt beispielsweise die Umgebungs-Fahrzeugkamera am Heck des Fahrzeuges 1 aus, können deren Kamerabilder zumindest teilweise auf Basis der beiden seitlich am Fahrzeug 1 angebrachten Umgebungs-Fahrzeugkameras 2U-R, 2U-L rekonstruiert werden.
3 zeigt ein Diagramm zur Erläuterung einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems für ein Fahrzeug 1. Ein Nutzer N bzw. Fahrer steuert das Fahrzeug 1 mithilfe eines in 3 symbolisch angedeuteten Lenkrades L. Vor dem Nutzer bzw. Fahrer N befindet sich über dem Lenkrad L eine erste Anzeigeeinheit 6A des Kamerasystems. Darüber hinaus können im Fahrzeug 1 weitere Anzeigeeinrichtungen vorgesehen sein. So kann beispielsweise in dem in 3 dargestellten Ausführungsbeispiel in dem Fahrzeugraum eine Rückspiegelanzeige 6B vorgesehen sein. Weiterhin kann beispielsweise eine Frontanzeige bzw. Head Unit Display 6C vorgesehen sein. Bei einer möglichen Ausführungsform weist das Fahrzeug 1 zudem eine linke Spiegelanzeige 6D und eine rechte Spiegelanzeige 6E auf. Die Spiegelanzeigen 6B, 6D, 6E können zusätzlich neben herkömmlichen optischen Spiegel vorgesehen sein oder diese ersetzen. Die linke und rechte Spiegelanzeige 6D, 6E zeigen dem Fahrer bzw. Nutzer N ein von der Berechnungseinheit 4 berechnetes Spiegelbild der Fahrzeugumgebung in einem linken und rechten seitlichen Spiegelbereich des Fahrzeuges 1 an. Fällt eine Anzeige wird, kann dies dem Fahrer N auf einer noch funktionsfähigen Anzeige automatisch angezeigt. Weiterhin kann bei Ausfall einer Anzeige des Fahrzeuges 1 automatisch auf eine andere Anzeige oder eine eigens dafür vorgesehene Ersatzanzeige umgeschaltet werden. Der Ausfall einer Anzeige kann durch eine Schaltungslogik erkannt bzw. erfasst werden. Diese Erfassungseinheit kann in der jeweiligen Anzeige selbst vorgesehen sein und einen Ausfall der Anzeige an die Berechnungseinheit 4 des Kamerasystems melden. Weiterhin kann beispielsweise bei Ausfall einer Spiegelanzeige 6D, 6E das Spiegelbild auf eine andere Anzeigeeinheit innerhalb des Fahrzeugraumes umgeschaltet werden bzw. transferiert werden, beispielsweise zu dem Cluster Display 6A oder auf das Head Unit Display 6C. Darüber hinaus kann beim Umschalten von einer defekten Anzeigeeinheit auf eine andere Anzeigeeinheit das entsprechende anzuzeigende Bild verarbeitet werden und auf die Größe der Ersatzanzeige skaliert werden.
Weitere Ausführungsformen des erfindungsgemäßen Kamerasystems sind möglich. So kann beispielsweise bei Ausfall eines Kamerabildes einer Fahrzeugkamera 2-i nach Detektion des Ausfalls die Ausrichtung der verbleibenden entsprechenden Kameras verändert werden, um eine möglichst weitgehende Überlappung der Sichtbereiche der verbleibenden Fahrzeugkameras 2-i zu erreichen. Anschließend wird durch die Berechnungseinheit 4 das ausgefallene Kamerabild zumindest teilweise auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der entsprechend eingestellten verbliebenen Fahrzeugkameras 2-i berechnet, wobei die angepassten Kameraparameter KP der übrigen Fahrzeugkameras 2-i, insbesondere deren veränderte Ausrichtwinkel berücksichtigt werden. Bei dieser Ausführungsform sind einige der Kameraparameter KP einer Fahrzeugkamera nicht fixiert, sondern können bei Ausfall einer anderen Fahrzeugkamera nachjustiert werden, um einen möglichst großen Überlappungsbereich der Sichtbereiche der verbleibenden noch funktionsfähigen Fahrzeugkameras zu erreichen.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Kamerasystems übertragen die Fahrzeugkameras 2-i die Kamerabilder in Echtzeit in Datenpaketen DP, insbesondere als Ethernet-Datenpakete. Bei dieser Ausführungsform können Videosequenzen bzw. Kamerabilder auf alle Ersatzanzeigen durch eine Multicast-Übertragung geliefert werden.
Das erfindungsgemäße Kamerasystem ist für verschiedene Fahrzeugtypen einsetzbar, insbesondere Straßenfahrzeuge. Das erfindungsgemäße Kamerasystem eignet sich für Personenkraftwagen und für Lastkraftwagen LKW. Weiterhin eignet sich das Kamerasystem für Personentransportmittel, insbesondere Fahrzeugbusse. Neben Straßenfahrzeugen kann das Kamerasystem auch für Wasser-, Schienen- oder Luftfahrzeuge eingesetzt werden. Insbesondere beim Rangieren von Wasserfahrzeugen in Häfen oder von Flugzeugen in Flughäfen kann das erfindungsgemäße ausfallsichere Kamerasystem zum Einsatz kommen.
Die Erfindung schafft zudem ein Verfahren zum ausfallsicheren Betreiben eines Kamerasystems, welches mehrere Fahrzeugkameras 2-i zur Erzeugung von Kamerabildern erfasst, die Bereiche der Umgebung eines Fahrzeuges 1 wiedergeben, wobei sich die Sichtbereiche der Fahrzeugkameras 1 zumindest teilweise überlappen.
Bei dem erfindungsgemäßen Verfahren wird bei Ausfall eines von einer Fahrzeugkamera 2-i übertragenen Kamerabildes das ausgefallene Kamerabild zumindest teilweise auf Basis von übrigen zumindest teilweise überlappenden Kamerabildern der übrigen Fahrzeugkameras in Abhängigkeit von Kameraparametern KP der übrigen Fahrzeugkameras rekonstruiert. Bei dem erfindungsgemäßen Verfahren werden Bilder bzw. Kamerabilder der übrigen Fahrzeugkameras derart transformiert, dass sie die gleiche perspektivische Sicht liefern, die von der ursprünglichen ausgefallenen Kamera geliefert worden wäre. Hierbei können perspektivische Mapping-Algorithmen zum Einsatz kommen.
Die Fahrzeugkameras 2-i können Fahrzeugkameras unterschiedlichen Typs umfassen. Beispielsweise können die Fahrzeugkameras 2-i Fisheye-Kameras sein, die über Weitwinkellinsen verfügen. Weiterhin können die Fahrzeugkameras 2-i die Umgebung in verschiedenen Frequenzbereichen FB erfassen, beispielsweise in einem sichtbaren Frequenzbereich oder in anderen Frequenzbereichen, beispielsweise Infrarot.
Bei einer möglichen Ausführungsform wird nach Ausfall eines Kamerabildes einer Fahrzeugkamera überwacht, ob ggf. im weiteren Betrieb das Kamerabild wieder zurückkehrt. Fällt beispielsweise eine Fahrzeugkamera 2-i aufgrund von Erschütterungen kurzzeitig aus, ist es möglich, dass anschließend nach Beendigung der Vibration bzw. Erschütterung das Kamerabild wieder zurückkehrt. In diesem Falle kann durch die Berechnungseinheit 4 die Rekonstruktion des ausgefallenen Kamerabildes eingestellt werden und wieder das von der Fahrzeugkamera 2-i gelieferte Originalbild für den weiteren Betrieb verwendet werden.
Bezugszeichenliste

1: Fahrzeug
2: Fahrzeugkamera
3: Leitungen
4: Berechnungseinheit
5: Datenspeicher
6: Anzeigeeinheit

Claims

Kamerasystem für ein Fahrzeug (1) mit mehreren Fahrzeugkameras (2) zur Erzeugung von Kamerabildern, die Bereiche der Umgebung des Fahrzeuges (1) wiedergeben, wobei sich die Sichtbereiche der Fahrzeugkameras (2) zumindest teilweise überlappen, und bei Ausfall eines von einer Fahrzeugkamera (2) übertragenen Kamerabildes durch eine Berechnungseinheit (4) das ausgefallene Kamerabild zumindest teilweise auf Basis von übrigen zumindest teilweise überlappenden Kamerabildern der übrigen Fahrzeugkameras (2) in Abhängigkeit von Kameraparametern (KP) der übrigen Fahrzeugkameras (2) rekonstruiert wird.
Kamerasystem nach Anspruch 1, wobei die Kameraparameter (KP) der Fahrzeugkameras (2) des Fahrzeuges (1) gespeichert sind und bei Ausfall eines Kamerabildes einer Fahrzeugkamera (2) durch die Berechnungseinheit (4) zur Rekonstruktion des ausgefallenen Kamerabildes auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras (2) herangezogen werden.
Kamerasystem nach Anspruch 2, wobei die Kameraparameter (KP) der Fahrzeugkameras (2) intrinsische Kameraparameter und extrinsische Kameraparameter aufweisen.
Kamerasystem nach Anspruch 3, wobei die extrinsischen Kameraparameter der Fahrzeugkamera (2) Positionskoordinaten der Fahrzeugkamera (2) in einem Koordinatensystem des Fahrzeuges und Ausrichtwinkel der Fahrzeugkamera (2) umfassen.
Kamerasystem nach Anspruch 3 oder 4, wobei die intrinsischen Kameraparameter der Fahrzeugkamera (2) optische Parameter der Kameraoptik der Fahrzeugkamera (2) und elektrische Parameter einer Bilddatenaufbereitungseinheit der Fahrzeugkamera (2) aufweisen.
Kamerasystem nach einem der vorangehenden Ansprüche 1 bis 5, wobei das von einer Fahrzeugkamera (2) des Fahrzeuges (1) gelieferte Kamerabild als Anzeigebild direkt auf einer Anzeige (6) des Fahrzeuges (1) angezeigt wird oder mit von weiteren Fahrzeugkameras gelieferten Kamerabildern durch eine Bilddatenverarbeitungseinheit zu einem Anzeigebild verarbeitet wird, das auf einer Anzeige (6) des Fahrzeuges angezeigt wird.
Kamerasystem nach Anspruch 6, wobei der Ausfall der Anzeige (6) des Fahrzeuges (1) automatisch auf eine andere Anzeige des Fahrzeuges (1) oder auf eine eigens dafür vorgesehene Ersatzanzeige umgeschaltet wird.
Kamerasystem nach einem der vorangehenden Ansprüche 1 bis 7, wobei der Ausfall eines von einer Fahrzeugkamera (2) übertragenen Kamerabildes durch die Berechnungseinheit (4) detektiert wird und nach Detektion des Ausfalles des Kamerabildes das ausgefallene Kamerabild durch die Berechnungseinheit (4) zumindest teilweise auf Basis der übrigen zumindest teilweise überlappenden Kamerabilder der übrigen Fahrzeugkameras (2) in Abhängigkeit von Kameraparametern der übrigen Fahrzeugkameras (2) rekonstruiert wird.
Kamerasystem nach Anspruch 8, wobei der Ausfall eines von einer Fahrzeugkamera (2) übertragenen Kamerabildes mittels einer von der Berechnungseinheit (4) vorgenommenen Bilddatenanalyse des Kamerabildinhaltes detektiert wird.
Kamerasystem nach Anspruch 8, wobei die Fahrzeugkameras (2) die Kamerabilder in Datenpaketen an die Berechnungseinheit (4) übertragen, welche einen Ausfall eines von einer Fahrzeugkamera (2) übertragenen Kamerabildes durch Auswertung von Headerdaten der Datenpakete detektiert.
Kamerasystem nach einem der vorangehenden Ansprüche 1 bis 10, wobei vier Umgebungs-Fahrzeugkameras (2UF, 2UH, 2UL, 2UR) in dem Fahrzeug (1) vorgesehen sind, welche einen vorderen, hinteren, seitlich rechten und seitlich linken Umgebungsbereich des Fahrzeuges überlappend erfassen und/oder eine rechte und linke Spiegel-Fahrzeugkamera (2SL, 2SR) in dem Fahrzeug (1) vorgesehen ist, die einen linken und rechten seitlichen Spiegelbereich des Fahrzeuges (1) erfassen und/oder eine Front-Fahrzeugkamera (2F) und eine Heck-Fahrzeugkamera (2H) vorgesehen sind, die einen Frontbereich und einen Heckbereich des Fahrzeuges (1) erfassen.
Kamerasystem nach Anspruch 11, wobei bei Ausfall eines von der Heck-Fahrzeugkamera (2H) übertragenen Kamerabildes das ausgefallene Kamerabild zumindest teilweise auf Basis der teilweise überlappenden Kamerabilder der beiden Spiegel-Fahrzeugkameras (2SL, 2SR) und deren Kameraparametern durch die Berechnungseinheit (4) rekonstruiert wird.
Kamerasystem nach Anspruch 11 oder 12, wobei aus den von den Umgebungs-Fahrzeugkameras (2UF, 2UH, 2UL, 2UR) gelieferten Kamerabildern ein zusammengesetztes Umgebungsbild berechnet wird, das bei Ausfall eines der Kamerabilder einer Umgebungs-Fahrzeugkamera durch die Berechnungseinheit (4) zumindest teilweise auf Basis der teilweise überlappenden Kamerabilder der übrigen Umgebungs-Fahrzeugkameras und deren Kameraparametern rekonstruiert wird.
Kamerasystem nach einem der vorangehenden Ansprüche 1 bis 13, wobei eine linke Spiegelanzeige (6D) und eine rechte Spiegelanzeige (6E) vorgesehen sind, die jeweils dem Fahrer (N) ein von der Berechnungseinheit (4) berechnetes Spiegelbild der Fahrzeugumgebung in einem linken und rechten seitlichen Spiegelbereich des Fahrzeuges (1) anzeigen.
Verfahren zum ausfallsicheren Betreiben eines Kamerasystems, welches mehrere Fahrzeugkameras (2) zur Erzeugung von Kamerabildern umfasst, die Bereiche der Umgebung des Fahrzeuges (1) wiedergeben, wobei sich die Sichtbereiche der Fahrzeugkameras (2) zumindest teilweise überlappen, wobei bei Ausfall eines von einer Fahrzeugkamera (2) übertragenen Kamerabildes das ausgefallene Kamerabild zumindest teilweise auf Basis von übrigen zumindest teilweise überlappenden Kamerabildern der übrigen Fahrzeugkameras in Abhängigkeit von Kameraparametern (KP) der übrigen Fahrzeugkameras rekonstruiert wird.