DE102012005400A1

DE102012005400A1 - Kamerasystem für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug

Info

Publication number: DE102012005400A1
Application number: DE201210005400
Authority: DE
Inventors: Patrick Eoghan Denny
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2012-03-16
Filing date: 2012-03-16
Publication date: 2013-09-19

Abstract

Die Erfindung betrifft ein Kamerasystem (1) für ein Kraftfahrzeug (8), mit zumindest einer Kamera (2) zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs (8), und mit zumindest einer Bildverarbeitungseinheit (3, 4, 5), welche dazu eingerichtet ist, die. Bilder zu empfangen und zumindest einem vorbestimmten Bildverarbeitungsalgorithmus (AL1, AL2, AL3) zu unterziehen, wobei das Kamerasystem (1) eine zwischen der Kamera (2) und der Bildverarbeitungseinheit (3, 4, 5) geschaltete Vermittlungseinrichtung (7) aufweist, welche dazu eingerichtet ist, von den Bildern verschiedene, auf zumindest einen Betriebsparameter (T, G, R, RC) der Kamera (2) bezogene Informationen zu empfangen und auf der Basis dieser Informationen ein Informationssignal zu erzeugen und an die Bildverarbeitungseinheit (3, 4, 5) abzugeben.

Description

Die Erfindung betrifft ein Kamerasystem für ein Kraftfahrzeug, mit zumindest einer Kamera zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs, wie auch mit zumindest einer Bildverarbeitungseinheit, welche die Bilder empfängt und zumindest einem vorbestimmten Bildverarbeitungsalgorithmus unterzieht. Die Erfindung betrifft außerdem ein Kraftfahrzeug mit einem solchen Kamerasystem, wie auch ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs.
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik in vielfältiger Ausgestaltung bekannt. Es ist nämlich bereits Stand der Technik, an einem Kraftfahrzeug – etwa einem Personenkraftwagen – eine Vielzahl von Kameras anzubringen, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die Bilder der Kameras können dann unterschiedlichsten Bildverarbeitungsalgorithmen zugrunde gelegt werden. So kann aus den Bildern aller Kameras beispielsweise das so genannte „Bird Eye View” erzeugt werden, also ein Bild, welches das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive zeigt. Außerdem sind Bildalgorithmen bekannt, welche zur Detektion von in der Umgebung des Kraftfahrzeugs befindlichen Objekten dienen, wie beispielsweise von Fußgängern oder aber anderen Kraftfahrzeugen. Als Bildverarbeitungsalgorithmus kann auch das so genannte „Cross Traffic Alert” eingesetzt werden, mittels welchem der Fahrer vor anderen Kraftfahrzeugen gewarnt wird, die sich in Querrichtung des Kraftfahrzeugs bewegen.
Die Robustheit sowie die Qualität und Zuverlässigkeit der Bildverarbeitungsalgorithmen hängt dabei hauptsächlich von der Qualität der gelieferten Bilder der Kamera ab. Die Bildverarbeitungseinheit, welche die Bilder verarbeitet, kann jedoch alleine anhand der empfangenen Bilddaten nicht eindeutig bestimmen, wie die Qualität der gelieferten Bilder tatsächlich ist, Beispielsweise kann es vorkommen, dass die Bildverarbeitungseinheit in den Bildern ein entgegenkommendes Kraftfahrzeug detektiert, obwohl es sich tatsächlich um das Rauschen der Bilddaten handelt. In diesem Falle ist die Qualität der Bilder in der Bildverarbeitungseinheit nicht bekannt, und der Fahrer wird vor einem Kraftfahrzeug gewarnt, welches in der Tat überhaupt nicht existiert.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, die Zuverlässigkeit eines Kamerasystems in einem Kraftfahrzeug im Vergleich zum Stand der Technik zu verbessern.
Diese Aufgabe wird erfindungsgemäß durch ein Kamerasystem, durch ein Kraftfahrzeug sowie durch ein Verfahren mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst zumindest eine Kamera zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs, wie auch zumindest eine Bildverarbeitungseinheit, welche die Bilder der Kamera empfängt und auf diese Bilder zumindest einen vorbestimmten Bildverarbeitungsalgorithmus anwendet, Das Kamerasystem umfasst eine zwischen einem Bildsensor (imager) der Kamera und der Bildverarbeitungseinheit geschaltete elektronische Vermittlungseinrichtung, welche dazu eingerichtet ist, von den Bildern verschiedene Informationen über zumindest einen Betriebsparameter der Kamera zu empfangen und auf der Basis dieser Informationen ein Informationssignal an die Bildverarbeitungseinheit abzugeben.
Die Vermittlungseinrichtung kann gemäß einer ersten Alternative zwischen der Kamera einerseits und der Bildverarbeitungseinheit andererseits geschaltet sein, so dass die Vermittlungseinrichtung und die Bildverarbeitungseinheit von der Kamera verschiedene Komponenten sind. Gemäß einer zweiten Alternative kann die Vermittlungseinrichtung in die Kamera integriert sein. Hier kann auch vorgesehen sein, dass auch die Bildverarbeitungseinheit in die Kamera integriert ist und somit eine interne Komponente der Kamera darstellt.
Die Erfindung basiert auf der Erkenntnis, dass bei bekannten Kamerasystemen die Bildverarbeitungsalgorithmen – und genauer gesagt die Bildverarbeitungseinrichtungen – kein Wissen über die tatsächliche Qualität der empfangenen Bilder besitzen. Diese Bildverarbeitungseinheiten sind üblicherweise lediglich auf die empfangenen Bilder „fokussiert” und können lediglich die empfangenen Bilddaten gemäß den vorgegebenen Algorithmen verarbeiten, um bestimmte Funktionalitäten im Fahrzeug bereitzustellen. Im Stand der Technik erhalten die Bildverarbeitungseinheiten keine Informationen über das tatsächliche Verhalten der Kamera. Die Erfindung geht nun den Weg, zwischen der Kamera und der Bildverarbeitungseinheit eine Vermittlungseinrichtung bereitzustellen, welche von den Bildern verschiedene, auf zumindest einen Betriebsparameter der Kamera bezogene Informationen (die keine Bilder sind) empfängt – insbesondere direkt von der Kamera – und anhand dieser Informationen ein Informationssignal erzeugt und an die Bildverarbeitungseinheit abgibt. Somit kann die Bildverarbeitungseinheit beispielsweise über die aktuelle Qualität der Bilder informiert werden und kann diese Information auch beim Ausführen des Bildverarbeitungsalgorithmus berücksichtigen. Die Robustheit und die Zuverlässigkeit des Kamerasystems kann somit im Vergleich zum Stand der Technik verbessert werden.
Die Hauptaufgabe der Vermittlungseinrichtung ist also die zumindest unidirektionale Vermittlung von Informationen zwischen der Kamera einerseits und der Bildverarbeitungseinheit andererseits, und zwar von solchen Informationen, welche nicht unmittelbar aus den erfassten Bildern gewonnen werden können. Bei der Vermittlungseinrichtung kann es sich beispielsweise um einen digitalen Signalprozessor und somit um eine von der Kamera sowie von der Bildverarbeitungseinheit separate elektronische Komponente handeln. Es ist aber auch grundsätzlich möglich, dass die Funktion bzw. die Logik der Vermittlungseinrichtung in einer bereits vorhandenen Komponente implementiert wird, nämlich beispielsweise in der Bildverarbeitungseinheit selbst.
Auch die Bildverarbeitungseinheit ist insbesondere eine elektronische Komponente, insbesondere ein digitaler Signalprozessor, welcher zum Verarbeiten der Bilder gemäß abgelegten Algorithmen eingerichtet ist.
Die zumindest eine Kamera ist bevorzugt eine Video-Kamera, welche eine zeitliche Sequenz von Bildern aufnehmen kann. Sie kann beispielsweise die so genannte Fischaugenkamera sein, welche einen relativ breiten Erfassungswinkel besitzt, welcher in einem Wertebereich von 100° bis 200° liegen kann.
Der Bildverarbeitungsalgorithmus kann grundsätzlich ein beliebiger Algorithmus sein, welcher zum Verarbeiten der Bilder und insbesondere auch zum Unterstützen des Fahrers beim Führen des Kraftfahrzeugs dient. Bei dem Bildverarbeitungsalgorithmus kann es sich beispielsweise um zumindest einen der folgenden Algorithmen handeln:

– einen Detektionsalgorithmus, welcher zum Identifizieren eines Objekts in den Bildern dient, und/oder
– einen Bird-View-Algorithmus, welcher zum Erzeugen eines Bildes dient, welches das Kraftfahrzeug und seine Umgebung aus einer Vogelperspektive zeigt, und/oder
– einen Cross-Traffic-Algorithmus, welcher zum Warnen des Fahrers vor in Querrichtung des Kraftfahrzeugs fahrenden anderen Fahrzeugen dient, und/oder
– einen Komprimierungsalgorithmus, welcher zum Komprimieren der Bilder dient (beispielsweise JPEG).

In einer Ausführungsform ist vorgesehen, dass die Vermittlungseinrichtung anhand der empfangenen Informationen einen Qualitätsgrad der Bilder bestimmen und das Informationssignal in Abhängigkeit von dem Qualitätsgrad erzeugen kann. Zur Ermittlung des Qualitätsgrads kann der Vermittlungseinrichtung beispielsweise eine Information über die aktuelle Temperatur der Kamera und/oder eine Information über die Bildwiederholrate der Kamera und/oder eine Information über einen Verstärkungsfaktor der Kamera geliefert werden. Zum Beispiel deutet ein großer Verstärkungsfaktor der Kamera darauf hin, dass die Bilder bei Dunkelheit erfasst werden und die aktuelle Qualität der Bilder somit eingeschränkt ist. Auch die Veränderung der Bildwiederholrate bedeutet in der Regel eine temporäre Verschlechterung der Bildqualität. Wird dies durch die Vermittlungseinrichtung erkannt, so kann die Vermittlungseinrichtung die Bildverarbeitungseinheit über die verschlechterte Qualität der Bilder informieren. Dies hat den Vorteil, dass die Bildverarbeitungseinheit die Veränderung in der Qualität der Bilder bei der Verarbeitung der Bilder berücksichtigen kann. Die Bildverarbeitungseinheit kann hier zum Beispiel die Empfindlichkeit bzw. die Schwellwerte bei der Detektion von Objekten entsprechend anpassen. Dies erhöht die Robustheit und die Zuverlässigkeit des Kamerasystems. Es ist auch möglich, dass auf dieses Informationssignal hin die Bildverarbeitungseinheit die Bildverarbeitung temporär unterbricht, bis die Qualität der Bilder wieder eine vorbestimmte Schwelle überschreitet.
Es kann auch vorgesehen sein, dass das Kamerasystem zumindest zwei Bildverarbeitungseinheiten jeweils zum Ausführen eines Bildverarbeitungsalgorithmus aufweist, welche mit der Vermittlungseinrichtung gekoppelt sind. Dann ist die Vermittlungseinrichtung eine für die zumindest zwei Bildverarbeitungseinheiten gemeinsame Vermittlungseinrichtung. Die Vermittlungseinrichtung ist hier also eine zentrale Einrichtung, welche Informationen zwischen der Kamera einerseits und den zumindest zwei Bildverarbeitungseinheiten andererseits vermittelt. Somit kann das gesamte Kamerasystem modular aufgebaut werden, und die einzelnen Bildverarbeitungseinheiten brauchen nicht in der Weise aufwändig umgestaltet zu werden, dass sie die Informationen von der Kamera selbst anfordern.
Die durch die Vermittlungseinrichtung empfangenen Informationen können grundsätzlich verschiedenste Informationen in Bezug auf die Betriebsweise der Kamera beinhalten. Die Vermittlungseinrichtung empfängt diese Informationen insbesondere direkt von der Kamera selbst.
Die empfangenen Informationen können beispielsweise eine Information über eine Bildwiederholrate der Kamera umfassen. Dies kann beispielsweise die jeweils aktuelle Bildwiederholrate sein. Auf der anderen Seite kann die Vermittlungseinrichtung von der Kamera eine Information darüber empfangen, dass eine Änderung der Bildwiederholrate bevorsteht, insbesondere unmittelbar bevorsteht. Diese Ausführungsform beruht auf der Erkenntnis, dass im Stand der Technik die Bildverarbeitungsalgorithmen temporär versagen können, und zwar dann, wenn sich die Bildwiederholrate der Kamera abrupt ändert. Bei einer plötzlichen Veränderung der Bildwiederholrate wird nämlich üblicherweise auch der Verstärkungsfaktor der Kamera angepasst, was bedeutet, dass einige Bilder plötzlich deutlich heller oder aber deutlich dunkler werden. Dieses Zeitintervall, für welches die Kamera hellere oder dunklere Bilder liefert, wie auch die Helligkeit/Dunkelheit der Bilder alleine sind dabei abhängig von der eingesetzten Kamera. Die Vermittlungseinrichtung ist nun in der Lage, das a priori Wissen über die bevorstehende Veränderung der Bildwiederholrate zum Warnen der Bildverarbeitungseinheit zu verwenden, um beispielsweise die Ausführung des Bildverarbeitungsalgorithmus temporär zu unterbrechen. Dabei ist es insbesondere auch nicht erforderlich, dass die Bildverarbeitungseinheit über die tatsächlichen Betriebsparameter – etwa die aktuelle Bildwiederholrate – der Kamera informiert wird. Es ist alleine ausreichend, dass die Vermittlungseinrichtung an die Bildverarbeitungseinheit ein Informationssignal abgibt, mit welchem die Bildverarbeitungseinrichtung zum temporären Unterbrechen des Bildverarbeitungsalgorithmus aufgefordert wird. Es können somit falsche Ergebnisse des Bildverarbeitungsalgorithmus verhindert werden.
Die von der Vermittlungseinrichtung empfangenen Informationen können ergänzend oder alternativ eine Information über eine aktuelle Temperatur der Kamera umfassen. Anhand der aktuellen Temperatur der Kamera gelingt es, die momentane Qualität der Bilder zu ermitteln. Die Vermittlungseinrichtung kann also anhand der Temperatur auf den aktuellen Qualitätsgrad der Bilder zurück schließen und die Bildverarbeitungseinheit gegebenenfalls über eine verschlechterte Qualität der Bilder informieren.
Ergänzend oder alternativ können die von der Vermittlungseinrichtung empfangenen Informationen eine Information über einen aktuellen Verstärkungsfaktor der Kamera umfassen. Bei dem Verstärkungsfaktor handelt es sich dabei um den aktuellen Verstärkungswert eines Verstärkers, mittels welchem das Bildsignal eines Bildsensors verstärkt wird. Der Verstärkungsfaktor entspricht also grundsätzlich der Empfindlichkeit des Bildsensors, sodass in der Regel bei Dunkelheit ein größerer Verstärkungsfaktor als bei einer helleren Umgebung eingestellt wird. Der Verstärkungsfaktor liefert der Vermittlungseinrichtung also einen Hinweis auf einen Helligkeitsgrad der Umgebung. Basierend darauf kann die Vermittlungseinrichtung auch die aktuelle Qualität der Bilder bestimmen. Bei einer dunklen Umgebung und einem entsprechend großen Verstärkungsfaktor ist die Rauschleistung der Bilder nämlich deutlich größer als bei einer hellen Umgebung und einem geringen Verstärkungsfaktor. Anhand des aktuellen Verstärkungsfaktors der Kamera kann die Vermittlungseinrichtung somit auch auf die aktuelle Qualität der Bilder sowie auf das Vorhandensein von Rauschen in den Bilddaten zurück schließen. Der aktuelle Qualitätsgrad der Bilder kann somit mit besonders hoher Genauigkeit bestimmt werden.
Das Kamerasystem kann einen Bildkodierer als Bildverarbeitungseinheit beinhalten, welcher zum Komprimieren der Bilder ausgebildet ist. Bei dieser Ausführungsform kann die Vermittlungseinrichtung auf der Basis der empfangenen Informationen, insbesondere auf der Basis des Verstärkungsfaktors und/oder der Temperatur der Kamera, mit dem zumindest einen Komprimierungsparameter den Bildkodierer vorgeben. Als Komprimierungsparameter kann mittels der Vermittlungseinrichtung beispielsweise der Grad der Komprimierung vorgegeben werden. Somit können die Bilder mittels des Bildkodierers beispielsweise nur dann komprimiert werden, wenn dies auch tatsächlich sinnvoll ist, etwa beispielsweise bei einer relativ großen Qualität der erfassten Bilder. Wird durch die Vermittlungseinrichtung anhand der empfangenen Informationen beispielsweise eine relativ hohe Temperatur der Kamera und/oder ein relativ großer Verstärkungsfaktor festgestellt, so kann die Vermittlungseinrichtung einen relativ kleinen Grad der Komprimierung einstellen oder es kann von einer Komprimierung der Bilddaten überhaupt abgesehen werden. Diese Ausführungsform sorgt also für einen Kompromiss zwischen der Bandbreite der komprimierten Daten einerseits sowie der beibehaltenen Qualität der komprimierten Bilder andererseits. Ein solcher Bildkodierer wird in Kraftfahrzeugen nämlich dazu verwendet, die von der Kamera gelieferten Bilddaten (Rohdaten) zu komprimieren und die komprimierten Daten über einen Kommunikationsbus des Kraftfahrzeugs zu übertragen. Die komprimierten Bilddaten beanspruchen dann eine deutlich geringere Bandbreite des Kommunikationsbusses als die Rohdaten.
Die Vermittlungseinrichtung kann auch zur Vermittlung von Informationen in die andere Richtung dienen: Die Vermittlungseinrichtung kann Informationen auch von der zumindest einen Bildverarbeitungseinheit empfangen und auf der Basis dieser Informationen die Betriebsweise der Kamera beeinflussen. Somit wird die Funktionalität des Kamerasystems im Vergleich zum Stand der Technik weiterhin erweitert.
Beispielsweise kann vorgesehen sein, dass die Vermittlungseinrichtung in Abhängigkeit von den empfangenen Informationen die Auflösung zumindest eines Teilbereichs der aufgenommenen Bilder verändert. Die Bildverarbeitungseinheit kann also eine Anforderungsnachricht an die Vermittlungseinrichtung abgeben, dass die Vermittlungseinrichtung die Auflösung der Kamera zumindest in einem Teilbereich der Bilder verändern soll. Somit kann der Rechenaufwand bei der Verarbeitung der Bilddaten sowie die benötigte Bandbreite zum Übertragen der Bilddaten minimiert werden, denn es können nur Teilbereiche der Bilder mit einer verbesserten Auflösung verarbeitet werden, und nicht etwa die gesamten Bilder.
Die Vermittlungseinrichtung kann von der Bildverarbeitungseinheit auch solche Informationen empfangen, durch welche die Vermittlungseinrichtung dazu aufgefordert wird, einen Gammakorrekturfaktor der Kamera zu verändern. Diese Ausführungsform erweist sich insbesondere bei Dunkelheit als besonders vorteilhaft: Bei Dunkelheit wird üblicherweise ein relativ hoher Gammafaktor für dunkle Bildpunkte vorgegeben, damit insgesamt der Kontrast auch in dunklen Bereichen des Bildes erhöht wird. Allerdings ist bei Dunkelheit auch der Verstärkungsfaktor der Kamera relativ groß, sodass die Bilddaten relativ stark verrauscht sind. Dies bedeutet, dass der Gammakorrektur auch das Rauschen unterworfen wird. Dies resultiert in der Praxis in verstärkten, verrauschten Bildbereichen, welche zu einer Fehlinterpretation bei der Bildverarbeitung führen können. Diese Rauschstrukturen verändern sich auch mit jedem einzelnen Bild, sodass die Bildverarbeitungseinheit diese Rauschbereiche unter Umständen als bewegliche Objekte interpretieren kann. Wenn die Bildverarbeitungseinheit eine Vielzahl von solchen Detektionen innerhalb einer kurzen Zeit feststellt, kann sie die Vermittlungseinrichtung dazu auffordern, den Gammakorrekturfaktor anzupassen, nämlich insbesondere für die dunklen Bildpunkte zu verringern. Somit können Fehldetektionen verhindert werden.
Das Kamerasystem kann auch zumindest zwei Kameras umfassen, welche mit der gemeinsamen Vermittlungseinrichtung gekoppelt sind. Die Vermittlungseinrichtung kann dann von den zumindest zwei Kameras Informationen über einen Betriebsparameter der jeweiligen Kameras empfangen und die jeweiligen Parameterwerte miteinander vergleichen. So ist es beispielsweise möglich, die jeweiligen Temperaturen der Kameras und/oder die jeweiligen Verstärkungsfaktoren der Kameras miteinander zu vergleichen. Somit können fehlerhaft funktionierende Kameras erkannt werden, was anhand einer deutlichen Abweichung in der Temperatur und/oder in dem Verstärkungsfaktor detektiert werden kann.
Bei mehreren Kameras kann die Vermittlungseinrichtung auch dazu dienen, Informationen zwischen den einzelnen Kameras zu vermitteln. Wenn beispielsweise eine der Kameras ein entgegenkommendes Kraftfahrzeug detektiert, kann diese Kamera unter Vermittlung der Vermittlungseinrichtung eine – etwa im Heckbereich des Kraftfahrzeugs angeordnete – andere Kamera darüber informieren, dass das entgegenkommende Kraftfahrzeug gleich in den Erfassungsbereich der anderen Kamera fällt. Das Verhalten des detektierten Objekts im Erfassungsbereich einer Kamera kann auch dazu genutzt werden, das voraussichtliche Verhalten dieses Objekts in dem Erfassungsbereich einer anderen Kamera vorherzusehen.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem.
Die Erfindung betrifft auch ein Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, bei welchem zumindest eine Kamera des Kamerasystems Bilder eines Umgebungsbereichs des Kraftfahrzeugs erfasst und zumindest eine Bildverarbeitungseinheit die Bilder empfängt und auf die Bilder zumindest einen vorbestimmten Bildverarbeitungsalgorithmus anwendet. Mittels einer zwischen der Kamera und der Bildverarbeitungseinheit gekoppelten Vermittlungseinrichtung werden von den Bildern verschiedene, auf zumindest einen Betriebsparameter der Kamera bezogene Informationen empfangen, und auf der Basis dieser Informationen wird ein Informationssignal erzeugt und an die Bildverarbeitungseinheit abgegeben.
Die mit Bezug auf das erfindungsgemäße Kamerasystem vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kraftfahrzeug sowie für das erfindungsgemäße Verfahren.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es sei an dieser Stelle betont, dass die nachfolgenden Ausführungen lediglich eine beispielhafte Ausführungsform der Erfindung betreffen und die Erfindung nicht auf das Ausführungsbeispiel beschränkt ist.
Dabei zeigen:
1 in schematischer Darstellung ein Kamerasystem gemäß einer Ausführungsform der Erfindung;
2 einen beispielhaften Verlauf eines Gammakorrekturfaktors; und
3 ein beispielhaftes, stark verrauschtes Bild einer Kamera.
1 zeigt ein Blockschaltbild eines Kamerasystems 1 eines Kraftfahrzeugs, insbesondere eines Personenkraftwagens. Das Kamerasystem 1 dient zum Unterstützen des Fahrers beim Führen des Kraftfahrzeugs. Das Kamerasystem 1 weist eine Kamera 2 auf, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Die Kamera 2 kann beispielsweise eine Video-Kamera sein, welche eine Vielzahl von Einzelbildern pro Sekunde liefert. Die Kamera 2 kann auch eine Fischaugenkamera sein.
Wie aus 1 hervorgeht, können auch weitere Kameras 2 optional vorgesehen sein, welche an dem Kraftfahrzeug verteilt angeordnet sind. Beispielsweise können die Kameras 2 derart am Kraftfahrzeug angeordnet sein, dass sie die gesamte Umgebung um das Kraftfahrzeug herum erfassen, also insgesamt ein 360°-Bild.
Die von der Kamera 2 erfassten Bilder werden einer Vielzahl von Bildverarbeitungseinheiten 3, 4, 5 zugeführt, welche jeweils einen Algorithmus All, AL2, AL3 auf die Bilder anwenden. Jede Bildverarbeitungseinheit 3, 4, 5 kann also die empfangenen Bilder der Kamera 2 jeweils einem vorbestimmten Bildverarbeitungsalgorithmus Al1, AL2, AL3 unterziehen und somit eine vorbestimmte Funktionalität im Kraftfahrzeug bereitstellen. Die aufgenommenen Bilder können an die Bildverarbeitungseinheiten 3, 4, 5 über eine Bildleitung 6 übertragen werden. Diese Bildleitung 6 kann beispielsweise ein gemeinsamer Kommunikationsbus sein, über welchen die Kamera 2 mit allen Bildverarbeitungseinheiten 3, 4, 5 gekoppelt ist. Alternativ kann auch vorgesehen sein, dass die Bildverarbeitungseinheiten 3, 4, 5 über jeweils eine separate elektrische Leitung mit der Kamera 2 gekoppelt sind.
Die Bildverarbeitungseinheiten 3, 4, 5 können insbesondere voneinander separate elektronische Signalprozessoren sein, welche unabhängig voneinander die Bildverarbeitungsalgorithmen Al1, AL2, AL3 ausführen können. Alternativ kann es sich bei den Bildverarbeitungseinheiten 3, 4, 5 jedoch lediglich um logische Einheiten eines gemeinsamen Prozessors handeln, welcher die Algorithmen AL1, AL2, AL3 ausführen kann.
Parallel zu der Bildleitung 6 ist die Kamera 2 mit den Bildverarbeitungseinheiten 3, 4, 5 auch über eine elektronische Vermittlungseinrichtung 7 gekoppelt. Sind mehrere Kameras 2 vorhanden, so kann jede Kamera 2 mit der Vermittlungseinrichtung 7 verbunden sein. Die Vermittlungseinrichtung 7 ist somit einerseits mit der Kamera 2 verbunden; andererseits ist die Vermittlungseinrichtung 7 mit den Bildverarbeitungseinheiten 3, 4, 5 verbunden. Die Vermittlungseinrichtung 7 dient hier als so genannter „Image Quality Handler” und hat die Funktion, verschiedenste Informationen zwischen der Kamera 2 einerseits und den Bildverarbeitungseinheiten 3, 4, 5 andererseits zu vermitteln.
Die Vermittlungseinrichtung 7 kann zum Beispiel als digitaler Signalprozessor oder dergleichen bereitgestellt sein.
In 1 sind die Kamera 2 und die Vermittlungseinrichtung 7 sowie die Bildverarbeitungseinheiten 3, 4, 5 als separate Komponenten dargestellt. Es ist jedoch auch möglich, dass die Vermittlungseinrichtung 7 und eine Bildverarbeitungseinheit 3, 4, 5 interne Komponenten der Kamera sind. In diesem Falle würde der Block 2 gemäß 1 einen Bildsensor der Kamera darstellen.
Die Vermittlungseinrichtung 7 empfängt folgende Informationen von der Kamera 2: die aktuelle Temperatur T eines Bildsensors der Kamera 2, den aktuellen Verstärkungsfaktor G der Kamera 2, die aktuelle Bildwiederholrate R sowie eine Information RC, dass eine Änderung der Bildwiederholrate R bevorsteht.
In Abhängigkeit von den empfangenen Informationen kann die Vermittlungseinrichtung 7 auf den aktuellen Qualitätsgrad der erfassten Bilder zurück schließen, ohne dass die Vermittlungseinrichtung 7 die Bilddaten der Kamera 2 empfangen muss. Sowohl die Temperatur T als auch der Verstärkungsfaktor G liefern nämlich eine eindeutige und unmittelbare Information über die aktuelle Qualität der Bilder. Es gilt dabei die Beziehung, dass, je größer die Temperatur T und je größer der Verstärkungsfaktor G sind, desto geringer die Qualität der aufgenommenen Bilder ist. Ein großer Verstärkungsfaktor G wird nämlich üblicherweise bei Dunkelheit eingestellt, und bei einem großen Verstärkungsfaktor G ist auch ein relativ hohes Rauschen vorhanden. Wird nun durch die Vermittlungseinrichtung 7 festgestellt, dass die Qualität der Bilder eine vorbestimmte Schwelle unterschritten hat, so kann die Vermittlungseinrichtung 7 ein entsprechendes Informationssignal an die Bildverarbeitungseinheiten 3, 4, 5 ausgeben, sodass die Bildverarbeitungseinheiten 3, 4, 5 über die verringerte Qualität der Bilder informiert werden. Die Bildverarbeitungseinheiten 3, 4, 5 können dann beispielsweise die Ausführung der Algorithmen AL1, AL2, AL3 temporär unterbrechen.
Auch eine Änderung der Bildwiederholrate R bedeutet, dass die gelieferten Bilder der Kamera 2 temporär deutlich heller bzw. deutlich dunkler werden. Um einen Fehler bei der Verarbeitung der Bilder zu vermeiden, kann die Vermittlungseinrichtung 7 auch an die Bildverarbeitungseinheiten 3, 4, 5 ein solches Informationssignal übermitteln, mit welchem die Bildverarbeitungseinheiten 3, 4, 5 darüber informiert werden, dass eine Änderung der Bildwiederholrate R unmittelbar bevorsteht. Nach Empfang eines solchen Informationssignals können die Bildverarbeitungseinheiten 3, 4, 5 die Ausführung der jeweiligen Algorithmen AL1, AL2, AL3 für ein vorbestimmtes Zeitintervall unterbrechen. Es wird somit abgewartet, bis sich der Verstärkungsfaktor G an die veränderte Bildwiederholrate R wieder angepasst hat. Es wird somit verhindert, dass die Bildverarbeitungseinheiten 3, 4, 5 temporär falsche Ergebnisse liefern, nämlich aufgrund einer Veränderung der Bildwiederholrate R. Dies erweist sich insbesondere dann als vorteilhaft, wenn einer der Algorithmen AL1, AL2, AL3 der so genannte Objekterkennungsalgorithmus ist, mittels welchem vorbestimmte Objekte in den aufgenommenen Bildern identifiziert und dann auch verfolgt werden können. Es wird nämlich verhindert, dass diese Bildverarbeitungseinheiten 3, 4, 5 das einmal detektierte Objekt temporär aus der Sicht verlieren oder sogar die Bewegungstrajektorie dieses Objekts falsch berechnen.
Ein weiteres Beispiel betrifft die Situation, bei welcher eine der Bildverarbeitungseinheiten 3, 4, 5 ein Bildkodierer ist, mittels welchem die empfangenen Bilder der Kamera 2 komprimiert werden können. Hier kann beispielsweise die JPEG-Kodierung vorgesehen sein. Ein solcher Bildkodierer hat dann die Aufgabe, die Bilddaten zu komprimieren und die komprimierten Bilddaten an einem Kommunikationsbus des Kraftfahrzeugs bereitzustellen, etwa an einem Ethernet-Bus. Üblicherweise arbeiten die bekannten Bildkodierer derart, dass alleine anhand der Bilddaten bestimmt wird, wie die Bilder komprimiert werden sollen. Nun können die Komprimierungsparameter durch die Vermittlungseinrichtung 7 vorgegeben werden. Diese Vorgaben kann die Vermittlungseinrichtung 7 in Abhängigkeit von den empfangenen Informationen definieren. Beispielsweise wird ein Komprimierungsgrad der Bilder in Abhängigkeit von dem aktuellen Qualitätsgrad der Bilder vorgegeben, also in Abhängigkeit von der Temperatur T und/oder von dem Verstärkungsfaktor G und/oder von der Bildwiederholrate R.
Die Vermittlungseinrichtung 7 kann Informationen auch in beide Richtungen vermitteln. Wenn beispielsweise eine der Bildverarbeitungseinheiten 3, 4, 5 eine interessierende Region (ROI) in den Bildern definiert und die Erhöhung der Bildauflösung in der ROI wünscht, kann diese Bildverarbeitungseinheit 3, 4, 5 eine Information an die Vermittlungseinrichtung 7 übermitteln, dass die Auflösung in der festgelegten ROI gegenüber anderen Bildbereichen erhöht werden kann.
Ein weiteres Beispiel betrifft die Verarbeitung der Bilder bei Dunkelheit, wenn in den erfassten Bildern eine dunkle Umgebung – beispielsweise während der Nacht – abgebildet ist. Die Objekterkennung erfolgt dann in der Regel anhand von Leuchten anderer Fahrzeuge. Damit der Kontrast auch in dunklen Bereichen der Bilder erhöht werden kann, wird die so genannte Gammakorrektur angewendet. Ein beispielhafter Verlauf eines Gammakorrekturfaktors ist dabei in 2 dargestellt. Wie aus 2 hervorgeht, werden die dunklen Bildpunkte einer relativ starken Gammakorrektur unterworfen, währen die helleren Bildpunkte weniger beeinflusst werden. Die in 2 dargestellte Gamma-Kurve ist somit zunächst relativ steil und bei helleren Bildpunkten deutlich flacher. Dunkle Bilder bedeuten jedoch andererseits auch, dass der Verstärkungsfaktor G relativ groß ist, sodass auch das Rauschen der Bilder entsprechend hoch ist. Dies bedeutet folglich, dass auch das Rauschen mit dem relativ großen Gammakorrekturfaktor korrigiert wird, wodurch hellere Rauschflecken in den Bildern entstehen können. Diese Rauschflecken sind in 3 anhand eines beispielhaften Kamerabildes dargestellt. In dem in 3 dargestellten Bild ist im unteren Bereich ein Teil des Kraftfahrzeugs 8 abgebildet, wie auch Begrenzungslinien 9, 10 der Fahrspur sowie das Licht eines anderen Kraftfahrzeugs 11. Die oben genannten Rauschflecken sind in 3 insgesamt mit 12 bezeichnet. Weil sich die Position der Rauschflecken 12 über die Vielzahl von Bildern verändern kann, kann es vorkommen, dass die Bildverarbeitungseinheit 3, 4, 5 diese Rauschflecken 12 als bewegliches Objekt interpretiert. In diesem Falle wird dies in der Regel so aussehen, dass die Bildverarbeitungseinheit 3, 4, 5 plötzlich eine Vielzahl von Detektionen feststellt. Dass es sich bei dieser Vielzahl von Detektionen um echte Objekte handelt, ist eher unwahrscheinlich. Deshalb kann die Bildverarbeitungseinheit 3, 4, 5 nach Feststellen einer solchen Vielzahl von Detektionen an die Vermittlungseinrichtung 7 eine Information senden, dass der Gammakorrekturfaktor reduziert werden kann. Wenn die Vermittlungseinrichtung 7 – beispielsweise anhand des aktuellen Verstärkungsfaktors G – feststellt, dass es momentan Nacht ist, kann sie den Kontrast der Bilder bei den dunkleren Bildpunkten verringern. Dazu kann die Vermittlungseinrichtung 7 beispielsweise ein Steuersignal an die Kamera 2 abgeben.
Sind bei dem Kamerasystem 1 mehrere Kameras 2 vorhanden, so kann die Vermittlungseinrichtung 7 auch zusätzliche Funktionalitäten bereitstellen: Beispielsweise kann die Vermittlungseinrichtung 7 die jeweiligen Temperaturwerte T der Kameras 2 miteinander vergleichen. Nach Feststellen einer signifikanten Abweichung bei einer der Kameras 2 kann die Vermittlungseinrichtung 7 entsprechend intervenieren, insbesondere die Bildverarbeitungseinheiten 3, 4, 5 über den (temporären) Ausfall der Kamera 2 informieren, Auch die Verstärkungsfaktoren G der jeweiligen Kameras 2 können miteinander verglichen werden, und nach Feststellen einer Abweichung bei einer der Kameras 2 können entsprechende Maßnahmen getroffen werden. Die Vermittlungseinrichtung 7 kann auch Informationen zwischen den Kameras 2 vermitteln. So kann beispielsweise eine Kamera 2, welche ein Objekt in den Bildern detektiert hat, über die Vermittlungseinrichtung 7 eine andere Kamera 2 darüber informieren, dass das detektierte Objekt voraussichtlich in den Erfassungsbereich der anderen Kamera 2 fallen wird.
Insgesamt kann die Vermittlungseinrichtung 7 also unterschiedlichste Funktionen bei dem Kamerasystem 1 übernehmen. Es ist außerdem beispielsweise möglich, dass die Vermittlungseinrichtung 7 den aktuellen Wert der Temperatur T aus einem Temperaturregister der Kamera 2 ausliest und mit einem unmittelbar gemessenen Wert der Temperatur T vergleicht.

Claims

Kamerasystem (1) für ein Kraftfahrzeug (8), mit zumindest einer Kamera (2) zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs (8), und mit zumindest einer Bildverarbeitungseinheit (3, 4, 5), welche dazu eingerichtet ist, die Bilder zu empfangen und zumindest einem vorbestimmten Bildverarbeitungsalgorithmus (Al1, AL2, AL3) zu unterziehen, dadurch gekennzeichnet, dass das Kamerasystem (1) eine zwischen einem Bildsensor der Kamera (2) und der Bildverarbeitungseinheit (3, 4, 5) geschaltete Vermittlungseinrichtung (7) aufweist, welche dazu eingerichtet ist, von den Bildern verschiedene, auf zumindest einen Betriebsparameter (T, G, R, RC) der Kamera (2) bezogene Informationen zu empfangen und auf der Basis dieser Informationen ein Informationssignal zu erzeugen und an die Bildverarbeitungseinheit (3, 4, 5) abzugeben.
Kamerasystem (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Vermittlungseinrichtung (7) dazu eingerichtet ist, anhand der empfangenen Informationen einen Qualitätsgrad der Bilder zu bestimmen und das Informationssignal in Abhängigkeit von dem Qualitätsgrad zu erzeugen.
Kamerasystem (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Kamerasystem (1) zumindest zwei Bildverarbeitungseinheiten (3, 4, 5) jeweils zum Ausführen eines Bildverarbeitungsalgorithmus (AL1, AL2, AL3) aufweist, welche mit der Vermittlungseinrichtung (7) gekoppelt sind, so dass die Vermittlungseinrichtung (7) eine für die zumindest zwei Bildverarbeitungseinheiten (3, 4, 5) gemeinsame Vermittlungseinrichtung (7) ist.
Kamerasystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Vermittlungseinrichtung (7) empfangenen Informationen eine Information über eine Bildwiederholrate (R) der Kamera (2) umfassen.
Kamerasystem (1) nach Anspruch 4, dadurch gekennzeichnet, dass die Informationen eine Information (RC) über eine bevorstehende Änderung der Bildwiederholrate (R) umfassen.
Kamerasystem (1) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die Vermittlungseinrichtung (7) dazu eingerichtet ist, mit dem Informationssignal die zumindest eine Bildverarbeitungseinheit (3, 4, 5) über eine, insbesondere bevorstehende, Veränderung der Bildwiederholrate (R) zu informieren.
Kamerasystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Vermittlungseinrichtung (7) empfangenen Informationen eine Information über eine aktuelle Temperatur (T) der Kamera (2) umfassen.
Kamerasystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Vermittlungseinrichtung (7) empfangenen Informationen eine Information über einen aktuellen Verstärkungsfaktor (G) der Kamera (2) umfassen.
Kamerasystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kamerasystem (1) als Bildverarbeitungseinheit (3, 4, 5) einen Bildkodierer zum Komprimieren der Bilder umfasst und die Vermittlungseinrichtung (7) dazu eingerichtet ist, auf der Basis der empfangenen Informationen, insbesondere auf der Basis eines Verstärkungsfaktors (G) und/oder einer Temperatur (T) der Kamera (2), mit dem Informationssignal zumindest einen Komprimierungsparameter, insbesondere einen Grad der Komprimierung, dem Bildkodierer vorzugeben.
Kamerasystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vermittlungseinrichtung (7) dazu eingerichtet ist, Informationen auch von der zumindest einen Bildverarbeitungseinheit (3, 4, 5) zu empfangen und auf der Basis dieser Informationen die Betriebsweise der Kamera (2) zu beeinflussen.
Kamerasystem (1) nach Anspruch 10, dadurch gekennzeichnet, dass die Vermittlungseinrichtung (7) dazu eingerichtet ist, in Abhängigkeit von den empfangenen Informationen die Auflösung zumindest eines Teilbereichs der aufgenommenen Bilder zu verändern.
Kamerasystem (1) nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Vermittlungseinrichtung (7) dazu eingerichtet ist, in Abhängigkeit von den empfangenen Informationen einen Gammakorrekturfaktor (γ) der Kamera (2) zu verändern.
Kamerasystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kamerasystem (1) zumindest zwei Kameras (2) umfasst, welche mit der gemeinsamen Vermittlungseinrichtung (7) gekoppelt sind, wobei die Vermittlungseinrichtung (7) dazu eingerichtet ist, von den zumindest zwei Kameras (2) Informationen über einen Betriebsparameter (T, G, R, RC) der jeweiligen Kameras (2) zu empfangen und die jeweiligen Parameterwerte miteinander zu vergleichen.
Kraftfahrzeug (8) mit einem Kamerasystem (1) nach einem der vorhergehenden Ansprüche.
Verfahren zum Betreiben eines Kamerasystems (1) in einem Kraftfahrzeug (8), bei welchem zumindest eine Kamera (2) des Kamerasystems (1) Bilder eines Umgebungsbereichs des Kraftfahrzeugs (8) erfasst und zumindest eine Bildverarbeitungseinheit (3, 4, 5) die Bilder empfängt und auf die Bilder zumindest einen vorbestimmten Bildverarbeitungsalgorithmus (AL1, AL2, AL3) anwendetet, dadurch gekennzeichnet, dass mittels einer zwischen einem Bildsensor der Kamera (2) und der Bildverarbeitungseinheit (3, 4, 5) geschalteten Vermittlungseinrichtung (7) von den Bildern verschiedene, auf zumindest einen Betriebsparameter (T, G, R, RC) der Kamera (2) bezogene Informationen empfangen werden und auf der Basis dieser Informationen ein Informationssignal erzeugt und an die Bildverarbeitungseinheit (3, 4, 5) abgegeben wird.