DE102010055156A1

DE102010055156A1 - Multikamerasystem für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betreiben eines Multikamerasystems in einem Kraftfahrzeug

Info

Publication number: DE102010055156A1
Application number: DE102010055156A
Authority: DE
Inventors: Thorsten Meyer; Patrick Eoghan Denny
Original assignee: Valeo Schalter und Sensoren GmbH; Connaught Electronics Ltd
Current assignee: Valeo Schalter und Sensoren GmbH; Connaught Electronics Ltd
Priority date: 2010-12-18
Filing date: 2010-12-18
Publication date: 2012-06-21
Also published as: EP2466889A3; EP2466889A2

Abstract

Die Erfindung betrifft ein Multikamerasystem (2) für ein Kraftfahrzeug (1), mit zumindest zwei Kameras (5a bis 5e) jeweils zum Erfassen von Bilddaten (13), welche eine zeitliche Abfolge von Einzelbildern (17) von einem Umgebungsbereich des Kraftfahrzeugs (1) repräsentieren, einer gemeinsamen Recheneinrichtung (4) zum Verarbeiten der Bilddaten (13) und zum Erzeugen einer Bilddarstellung aus den Bilddaten (13) zumindest einer der Kameras (5a bis 5e), und einer Anzeigeeinrichtung (3) zum Anzeigen der erzeugten Bilddarstellung, wobei die Recheneinrichtung (4) dazu ausgelegt ist, in Abhängigkeit von der zu erzeugenden Bilddarstellung an die zumindest zwei Kameras (5a bis 5e) Steuerbefehle (16) abzugeben, aufgrund welcher die zumindest zwei Kameras (5a bis 5e) an die Recheneinrichtung (4) lediglich einen durch die Steuerbefehle (16) vorgegebenen Anteil der erfassten Bilddaten (13) übermitteln.

Description

Die Erfindung betrifft ein Multikamerasystem für ein Kraftfahrzeug. Das Multikamerasystem umfasst zumindest zwei Kameras, welche jeweils zum Erfassen von Bilddaten ausgebildet sind, die eine Reihe von zeitlich nacheinander erfassten Einzelbildern (frames) von einem Umgebungsbereich des Kraftfahrzeugs repräsentieren. Das Multikamerasystem umfasst außerdem eine gemeinsame bzw. zentrale Recheneinrichtung, welche die Bilddaten der zumindest zwei Kameras verarbeitet und eine Bilddarstellung aus den Bilddaten zumindest einer der Kameras erzeugt. Eine Anzeigeeinrichtung zeigt die erzeugte Bilddarstellung an. Die Erfindung bezieht sich außerdem auf ein Kraftfahrzeug mit einem solchen Multikamerasystem, wie auch auf ein Verfahren zum Betreiben eines Multikamerasystems in einem Kraftfahrzeug.
Also richtet sich das Interesse vorliegend auf ein Kamerasystem mit mehreren Kameras, mittels denen ein Umgebungsbereich des Kraftfahrzeugs erfasst wird, nämlich insbesondere die gesamte Umgebung um das Kraftfahrzeug herum. Solche Multikamerasysteme sind bereits Stand der Technik. Eine zentrale Recheneinrichtung empfängt die Bilddaten aller Kameras und kann aus diesen Bilddaten eine gemeinsame Bilddarstellung erzeugen, welche dann auf einer Anzeigeeinrichtung – etwa auf einem Display – angezeigt werden kann. Diese Bilddarstellung beruht also auf den Bilddaten mehrerer Kameras. Eine derartige Bilddarstellung kann beispielsweise das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive zeigen – die Bilddarstellung ist dann ein so genanntes „Bird View”. Die Recheneinrichtung kann aber auch lediglich die Bilddaten einer einzigen Kamera verwenden und auf dem Display beispielsweise einen Bereich hinter dem Kraftfahrzeug anzeigen (so genanntes „rear view”). Das Bild einer den Bereich hinter dem Kraftfahrzeug erfassenden Kamera wird in der Regel nach Einlegen des Rückwärtsgangs angezeigt. Im Prinzip kann also auf der Anzeigeeinrichtung eine Bilddarstellung angezeigt werden, welche entweder auf den Bilddaten einer einzigen Kamera oder aber auf den Bilddaten einer Vielzahl von Kameras beruht.
Ein Multikamerasystem ist beispielsweise aus dem Dokument US 2006/0139488 A1 bekannt.
Die Druckschriften US 7,450,165 B2 sowie US 2007/0229680 A1 beschreiben jeweils ein Kamerasystem, welches eine einzige Kamera beinhaltet. Die Kamera überträgt aufgenommene Bilddaten an eine Basisstation, welche einen Signalprozessor sowie ein Display beinhaltet. Der Signalprozessor kann Steuerbefehle an die Kamera abgeben, welche die Kamera dazu veranlassen, aus einem aufgenommenen Gesamtbild lediglich einen vorbestimmten Bereich bzw. ein Bildfenster an den Signalprozessor zu übertragen. Um die für die Datenübertragung benötigte Bandbreite auf ein Minimum zu reduzieren, kann die Auflösung des übertragenen Bilderbereichs in Abhängigkeit von seiner Größe eingestellt werden. Das Zoomen innerhalb eines Gesamtbilds sowie die Einstellung der Auflösung des ausgewählten Bilderbereichs erfolgt dabei mithilfe einer internen Steuereinheit der Kamera. Dieses Kamerasystem wird dabei in einem Flugzeug verwendet.
Anders als bei einem Kamerasystem mit lediglich einer einzigen Kamera ist die Datenübertragung bei einem Multikamerasystem nicht ganz unproblematisch: Heutige Digitalkameras weisen üblicherweise eine relativ hohe Auflösung auf, sodass entsprechend eine relativ große Datenmenge erzeugt wird. Die Videokameras für Kraftfahrzeuge erzeugen in der Regel digitale oder aber analoge Bilddaten, welche in einem kontinuierlichen Datenstrom über eine Kommunikationsleitung an die Recheneinrichtung übertragen werden. In Frage kommen üblicherweise folgende zwei Standards für die Datenübertragung: LVDS (low voltage differential signalling) oder aber NTSC (national television systems committee). Im Falle des LVDS-Standards wird ein fortdauernder unterbrechungsfreier kontinuierlicher Datenstrom von unkomprimierten Bilddaten (BT.656 YcbCr 4:2:2) über eine elektrische Leitung an die Recheneinrichtung übertragen. Im Falle des NTSC-Standards hingegen wird ein analoges Signal gesendet, welches jedoch ebenfalls ein unterbrechungsfreier kontinuierlicher Videodatenstrom ist. Gerade aus diesem Grund müssen separate Übertragungskanäle bzw. separate Kommunikationsleitungen eingesetzt werden, nämlich ein separater Übertragungskanal für jede Kamera. Dies bedeutet, dass jede Kamera über jeweils eine separate elektrische Leitung mit der Recheneinrichtung gekoppelt sein muss, damit die Datenübertragung gewährleistet wird. Somit sind Multikamerasysteme relativ teuer und sehr aufwändig; insbesondere im Falle des LVDS-Standards sind die Kommunikationsleitungen aufwändig und teuer.
Es ist Aufgabe der Erfindung, ein gegenüber dem Stand der Technik verbessertes Multikamerasystem für ein Kraftfahrzeug bereitzustellen.
Diese Aufgabe wird erfindungsgemäß durch ein Multikamerasystem mit den Merkmalen des Patentanspruchs 1 gelöst, wie auch durch ein Verfahren mit den Merkmalen gemäß Patentanspruch 15. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung.
Ein erfindungsgemäßes Multikamerasystem für ein Kraftfahrzeug beinhaltet zumindest zwei Kameras (Videokameras) jeweils zum Erfassen von Bilddaten. Die Bilddaten repräsentieren eine zeitliche Abfolge von Einzelbildern (frames) bzw. eine Reihe von zeitlich nacheinander erfassten Einzelbildern eines Umgebungsbereichs des Kraftfahrzeugs. Das Multikamerasystem umfasst außerdem eine gemeinsame bzw. zentrale Recheneinrichtung, welche die Bilddaten der zumindest zwei Kameras verarbeitet. Die Recheneinrichtung kann aus den Bilddaten zumindest einer der Kameras eine Bilddarstellung erzeugen, welche mittels einer Anzeigeeinrichtung – etwa auf einem Display – angezeigt werden kann. Erfindungsgemäß ist vorgesehen, dass in Abhängigkeit von der anzuzeigenden Bilddarstellung die Recheneinrichtung an die zumindest zwei Kameras Steuerbefehle abgeben kann, aufgrund welcher die zumindest zwei Kameras an die Recheneinrichtung ausschließlich einen Anteil, also eine Teilmenge der gesamten erfassten Bilddaten übermitteln, nämlich einen durch die Steuerbefehle vorgegebenen Anteil der Bilddaten.
Mit anderen Worten besteht ein Kerngedanke der vorliegenden Erfindung darin, dass jede Kamera lediglich einen Datenanteil der eigenen Bilddaten an die Recheneinrichtung übertragen kann, nämlich denjenigen Anteil der Bilddaten, welcher durch die Recheneinrichtung in Abhängigkeit von der aktuellen Bilddarstellung auf der Anzeigeeinrichtung festgelegt wird. Als „Anteile der Bilddaten” kommen vorliegend sowohl zeitliche Anteile der Bilddaten – also unterschiedliche Einzelbilder innerhalb einer zeitlichen Abfolge von Einzelbildern – als auch Bildanteile innerhalb eines Einzelbildes in Frage, etwa bestimmte Bereiche eines Einzelbildes. Ergänzend oder alternativ beinhaltet der Begriff „Anteile der Bilddaten” auch bestimmte Informationen bzw. Merkmale eines Einzelbildes, nämlich beispielsweise bestimmte Farbinformationen und/oder Konturinformationen und/oder Kontrastinformationen und dergleichen. Die Erfindung hat diverse Vorteile: Durch Reduktion der Menge der übertragenen Bilddaten kann die benötigte Bandbreite bei der Übertragung der Bilddaten auf ein Minimum reduziert werden. Es kann somit beispielsweise eine Übertragung der Bilddaten mehrerer Kameras über eine gemeinsame einzige Datenleitung bzw. einen gemeinsamen Datenübertragungskanal ermöglicht werden. Dies kann beispielsweise so aussehen, dass das Multikamerasystem ein standardisiertes – insbesondere paketorientiertes – Datenübertragungssystem (beispielsweise ein Ethernet-System) aufweist, über welches die zumindest zwei Kameras ihre Bilddaten an die gemeinsame Recheneinrichtung gemäß einem standardisierten Kommunikationsprotokoll übertragen können. Bei einem solchen Datenübertragungssystem kann auf teure LVDS-Datenleitungen verzichtet werden, und es kann beispielsweise eine – oder mehrere – gemeinsame Datenleitung verwendet werden, welche die Recheneinrichtung mit den zumindest zwei Kameras koppelt, gegebenenfalls auch über einen Router und/oder eine Netzwerkbrücke. Also besteht der Hauptvorteil der Erfindung darin, dass die aufgenommenen Videos der Kameras nicht in voller Qualität bzw. nicht in der aufgenommenen Auflösung an die Recheneinrichtung übertragen werden müssen. Für jede Kamera ist somit eine gegenüber dem Stand der Technik verringerte Bandbreite erforderlich. Es ist nämlich nicht immer erforderlich, die aufgenommenen Bilder mit voller Auflösung oder in der gesamten Größe an die Recheneinrichtung zu übertragen. Es kann nämlich vorkommen, dass lediglich ein kleiner Bereich der Fahrzeugumgebung auf der Anzeigeeinrichtung angezeigt wird; in diesem Falle ist nur ein bestimmter Bereich der Einzelbilder erforderlich, während andere Bereiche mit einer schlechteren Auflösung übertragen oder sogar weggelassen werden können. Dies ist beispielsweise bei dem so genannten „vehicle terrain assistant” der Fall, bei welchem lediglich ein sehr kleiner Bereich der Einzelbilder des Videos benötigt wird, um im Gelände eine aktuelle Geschwindigkeit des Kraftfahrzeugs bezüglich der Erdoberfläche zu bestimmen. Die Erfindung hat außerdem den Vorteil, dass die Wahrscheinlichkeit einer Datenkollision auf ein Minimum reduziert werden kann. Nicht zuletzt kann durch die erfindungsgemäße Vorgehensweise elektrische Energie im Kraftfahrzeug gespart werden; denn es müssen insgesamt weniger Bilddaten an die Recheneinrichtung übertragen werden, und auch der Aufwand hinsichtlich der Datenverarbeitung ist reduziert.
Die zumindest zwei Kameras können beispielsweise CCD-Kameras (charge-coupled-device) und/oder CMOS-Kameras (complementary metal Oxide semiconductor) beinhalten. Es können insgesamt mehrere Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum – also ein 360°-Bild – erfassen können. Es kann eine Kamera an einer linken Seitenflanke und/oder eine Kamera an einem linken Außenspiegel und/oder eine Kamera an einer rechten Seitenflanke und/oder eine Kamera an einem rechten Außenspiegel und/oder eine Kamera an einem vorderen Stoßfänger und/oder eine Kamera an einem hinteren Stoßfänger und/oder eine Kamera hinter der Windschutzscheibe des Kraftfahrzeugs platziert sein.
Also kann jede Kamera lediglich einen vorbestimmten Anteil bzw. eine vorbestimmte Teilmenge der gesamten Bilddaten an die Recheneinrichtung übertragen. Wie bereits ausgeführt, werden unter dem Begriff „Anteile der Bilddaten” sowohl zeitliche Anteile der Reihe von Einzelbildern – also einzelne Bilder innerhalb der zeitlichen Abfolge – als auch räumliche Bildanteile bzw. Bildbereiche innerhalb eines einzigen Einzelbildes verstanden. Es ist in einer Ausführungsform vorgesehen, dass der Anteil der Bilddaten ein Teilbereich eines Einzelbildes ist, insbesondere mit einer durch die Steuerbefehle vorgegebenen Auflösung. Also kann jede Kamera als einen Anteil der Bilddaten einen durch die Steuerbefehle vorbestimmten ersten Teilbereich eines aufgenommenen Einzelbilds mit einer vorbestimmten Auflösung an die Recheneinrichtung übertragen – nämlich in Abhängigkeit von der aktuell angezeigten Bilddarstellung –, während die Bilddaten betreffend den restlichen Bereich des Einzelbildes überhaupt nicht oder nur mit einer schlechteren Auflösung übertragen werden können. Bei dieser Ausführungsform kann bei der Reihe von zeitlich nacheinander erfassten Einzelbildern ausschließlich jeweils der gleiche Teilbereich aller Einzelbilder dieser Abfolge mit einer vorbestimmten Auflösung übertragen werden. Beispielsweise kann die Recheneinrichtung Steuerbefehle an die Kameras übertragen, durch welche der gewünschte Teilbereich eines Einzelbildes festgelegt wird. Dabei können von unterschiedlichen Kameras jeweils unterschiedliche Teilbereiche der jeweiligen Einzelbilder an die Recheneinrichtung übertragen werden, wobei es auch möglich ist, dass von zumindest einer Kamera auch keine Bilddaten zu einem bestimmten Zeitpunkt übertragen werden. Die Recheneinrichtung kann zum Beispiel lediglich denjenigen Bereich der Einzelbilder in guter Qualität von den Kameras anfordern, welcher der angezeigten Bilddarstellung entspricht bzw. zur Erzeugung dieser Bilddarstellung verwendet wird. Der restliche Bereich der Einzelbilder kann hier mit einer schlechteren Auflösung oder überhaupt nicht übertragen werden. Diese Ausführungsform erweist sich insbesondere bei solchen Situationen als besonders vorteilhaft, in denen auf der Anzeigeeinrichtung lediglich ein kleiner Bereich der Fahrzeugumgebung dargestellt werden soll. Diese Ausführungsform ist jedoch auch dann besonders vorteilhaft, wenn die Recheneinrichtung eine Horizonterkennung in den Bilddaten vornimmt und auf der Anzeigeeinrichtung lediglich der relevante Bereich ohne den Himmel angezeigt werden soll.
Also kann lediglich ein Teilbereich eines aufgenommenen Einzelbildes mit einer vorbestimmten Auflösung an die Recheneinrichtung übertragen werden. Dies beinhaltet insbesondere zwei verschiedene Fälle: Zum einen können die Kameras unter Verzicht auf den restlichen, irrelevanten Bereich des Einzelbilds ausschließlich den durch die Steuerbefehle vorgegebenen Teilbereich des Einzelbilds an die Recheneinrichtung übertragen. Dann ist die benötigte Bandbreite auf ein Minimum reduziert, denn zu dem restlichen Bereich des Einzelbilds müssen überhaupt keine Daten übertragen werden. Zum anderen kann vorgesehen sein, dass die Kameras einzelne Bildpunkte des restlichen, irrelevanten Bereichs des Einzelbildes durch vorbestimmte Bildpunkte (pixels) ersetzen und den relevanten Teilbereich zusammen mit dem durch vorbestimmte Bildpunkte ersetzten restlichen Bereich an die Recheneinrichtung übertragen können. Dies kann beispielsweise so aussehen, dass alle Bildpunkte des restlichen Bereichs des Einzelbilds durch die vorbestimmten Bildpunkte ersetzt werden. Und zwar können die Bildpunkte des restlichen Bereichs durch solche Bildpunkte ersetzt werden, welche – gegebenenfalls nach einer Datenkomprimierung – den geringsten Speicherplatz bzw. die geringste Bandbreite für die Übertragung benötigen. Es hat sich als besonders vorteilhaft herausgestellt, wenn die Bildpunkte des restlichen Bereichs durch graue Bildpunkte ersetzt werden; denn gerade dann ist die Datenmenge für den zweiten, restlichen Bereich des Einzelbilds am geringsten. Ein solches Einzelbild – und insbesondere eine ganze Reihe von solchen Einzelbildern –, dessen erster (relevanter) Teilbereich die volle Auflösung aufweist und dessen zweiter (irrelevanter) Bereich durch vorbestimmte konstante Bildpunkte ersetzt ist, kann dann einer Datenkomprimierung unterzogen werden, und die komprimierten Bilddaten können an die Recheneinrichtung übertragen werden. Im Falle einer MJPEG-Komprimierung sowie im Falle des YUV-Farbmodells mit einer Abtastrate von 8 Bits pro Sample im Bereich von x00 bis x0ff können die irrelevanten Bildpunkte beispielsweise durch x80 ersetzt werden. Das Ersetzen der irrelevanten Bildpunkte durch vorbestimmte Bildpunkte hat dabei den Vorteil, dass die Recheneinrichtung die Einzelbilder in ihren gesamten Größen bzw. jeweils in derselben Abmessung empfängt und somit die Verarbeitung der empfangenen Einzelbilder ohne viel Aufwand erfolgen kann. Die Recheneinrichtung kann den restlichen, irrelevanten Bereich der Einzelbilder mit den grauen Bildpunkten einfach ausschneiden und den relevanten Teilbereich verarbeiten und auf der Anzeigeeinrichtung anzeigen.
Ergänzend oder alternativ kann der durch die Steuerbefehle der Recheneinrichtung vorgegebene Anteil der Bilddaten ein Teilbereich eines Einzelbildes oder aber ein gesamtes Einzelbild mit einer gegenüber der Auflösung der Kameras – also der ursprünglichen Auflösung des Bildes – geringeren Auflösung sein. Diese Auflösung des Teilbereichs oder aber des gesamten Einzelbildes kann durch die Steuerbefehle der Recheneinrichtung vorgegeben werden. Die Recheneinrichtung kann also in Abhängigkeit von der zu erzeugenden Bilddarstellung an die Kameras Steuerbefehle abgeben, durch welche die Auflösung der übertragenen Einzelbilder oder eines Teilbereichs der Einzelbilder vorgegeben und gegenüber der ursprünglichen Auflösung reduziert wird. Diese Ausführungsform erweist sich insbesondere bei dem so genannten „Bird View” also besonders vorteilhaft: Um eine Bilddarstellung der Fahrzeugumgebung aus einer Vogelperspektive zu erzeugen, benötigt die Recheneinrichtung die aufgenommenen Einzelbilder mehrerer Kameras. Da jedoch diese Einzelbilder zu einer gemeinsamen perspektivischen Bilddarstellung verarbeitet werden, brauchen diese Einzelbilder nicht mit voller Auflösung übertragen zu werden. Es kann somit die benötigte Bandbreite auf ein Minimum reduziert werden.
Wie bereits ausgeführt, können die Anteile der Bilddaten nicht nur die Bildbereiche eines Einzelbilds betreffen, sondern auch im Zeitbereich betrachtet werden bzw. die Einzelbilder innerhalb der zeitlichen Abfolge von Einzelbildern betreffen. Und zwar ist in einer Ausführungsform vorgesehen, dass der Anteil der Bilddaten zumindest ein Einzelbild oder sein Teilbereich aus der Reihe von zeitlich nacheinander erfassten Einzelbildern ist. Die Kameras können also als Anteil der Bilddaten zumindest einen Bereich eines Einzelbilds aus der zeitlichen Abfolge von Einzelbildern mit einer höheren Auflösung als einen korrespondierenden Bereich eines zeitlich benachbarten Einzelbilds dieser Abfolge an die Recheneinrichtung übertragen. Diese Ausführungsform erweist sich dann als besonders vorteilhaft, wenn ein zu einem bestimmten Zeitpunkt aufgenommenes Einzelbild für eine längere Zeitdauer auf der Anzeigeeinrichtung anstatt eines Videos angezeigt werden soll. Die auf dieses Einzelbild folgenden weiteren Einzelbilder können dann entweder mit einer geringeren Auflösung oder aber überhaupt nicht an die Recheneinrichtung übertragen werden. Zum Beispiel kann ein gesamtes Einzelbild einer Abfolge mit einer gegenüber den anderen Einzelbildern erhöhten Auflösung übertragen werden; es kann auch vorgesehen sein, dass nur ein einziges Einzelbild übertragen wird, während die zeitlich benachbarten Einzelbilder oder alle anderen Einzelbilder der Abfolge überhaupt nicht übertragen werden. In diesem Falle kann anstatt eines Videos das zu einem bestimmten Zeitpunkt aufgenommene Einzelbild angezeigt werden. Es kann auch vorgesehen sein, dass eine bestimmte zeitliche Abfolge von Einzelbildern als Video mit einer anderen Qualität – nämlich mit einer anderen Auflösung – als eine nachfolgende und/oder eine vorangehende zeitliche Abfolge von Einzelbildern an die Recheneinrichtung übertragen wird. Zum Beispiel kann eine zeitliche Abfolge von Einzelbildern mit einer relativ geringen Auflösung übertragen werden, um dann lediglich eine relativ kleine Bilddarstellung auf der Anzeigeeinrichtung anzuzeigen – es bedarf nämlich für eine solche kleine Bilddarstellung keiner hohen Auflösung. Die Recheneinrichtung kann auch Steuerbefehle an die Kameras übertragen, sodass die Auflösung der übertragenen Einzelbilder für eine bestimmte Abfolge von Einzelbildern erhöht wird. Auf diese Weise kann die Redundanz der Bilddaten bei sicherheitsrelevanten Funktionalitäten erhöht werden, um die Fehlerrate auf ein Minimum zu reduzieren.
Als Anteile der Bilddaten können auch bestimmte Merkmale eines Einzelbilds mit einer gegenüber anderen Merkmalen verbesserten Qualität an die Recheneinrichtung übertragen werden. Beispielsweise können die Kameras vorbestimmte Farbinformationen zumindest eines aufgenommenen Einzelbildes – insbesondere einer zeitlichen Abfolge von Einzelbildern – mit einer besseren Qualität als andere Farbinformationen an die Recheneinrichtung übertragen. Es kann zum Beispiel der rote Kanal mit einer besseren Qualität als der grüne Kanal übertragen werden oder es kann ausschließlich der rote Kanal an die Recheneinrichtung übertragen werden. Auch hier kann die benötigte Bandbreite auf ein Minimum reduziert werden.
Die zumindest zwei Kameras können an die Recheneinrichtung auch Bilddaten übertragen, welche ausschließlich Informationen über Konturen der abgebildeten Gegenstände und/oder Kontrastinformationen beinhalten. Eine solche Vorgehensweise ist insbesondere dann besonders vorteilhaft, wenn die Recheneinrichtung anhand der Bilddaten lediglich solche Funktionalitäten bereitstellt, die nicht auf das Anzeigen der Bilddarstellung auf der Anzeigeeinrichtung gerichtet sind. Solche Informationen über die Konturen und/oder die Kontrastinformationen können für eine nachträgliche Verarbeitung verwendet werden.
Die Recheneinrichtung bestimmt also die übertragenen Anteile der Bilddaten, und zwar in Abhängigkeit von der zur erzeugenden Bilddarstellung, welche auf der Anzeigeeinrichtung angezeigt werden soll. Zum Beispiel kann die Recheneinrichtung den benötigten Anteil der Bilddaten in Abhängigkeit von einem Darstellungsmodus festlegen, d. h. in Abhängigkeit davon, welcher Umgebungsbereich neben dem Kraftfahrzeug und/oder in welcher Größe und/oder aus welcher Perspektive angezeigt werden soll. Dies kann beispielsweise derart erfolgen, dass eine Vielzahl von unterschiedlichen Bereichen der Einzelbilder in den Kameras vordefiniert und jeweils mit einer spezifischen Kennung versehen sind. Die Recheneinrichtung kann in diesem Fall an die Kameras Steuerbefehle abgeben, welche eine Kennung beinhalten, durch welche der ausgewählte Bereich eindeutig definiert wird. Alternativ kann dies jedoch auch so aussehen, dass die Recheneinrichtung die festgelegten Bildbereiche jeweils neu kennzeichnet, nämlich unter Angabe der jeweiligen Wertebereiche für die Pixelnummern (beispielsweise Pixel 400 bis Pixel 2000).
Die Recheneinrichtung kann von zumindest einer der Kameras ausschließlich denjenigen Bereich eines Einzelbildes – insbesondere einer Abfolge von Einzelbildern – anfordern, welcher der angezeigten Bilddarstellung entspricht. Dies bedeutet, dass nur derjenige Bereich eines Einzelbildes an die Recheneinrichtung übertragen werden kann, welcher auf der Anzeigeeinrichtung angezeigt werden soll. Auf diese Weise ist die Menge der übertragenen Bilddaten auf ein Minimum reduziert.
Zur Reduktion der Menge der Bilddaten bzw. zur Reduktion der Auflösung der aufgenommenen Bilder können die zumindest zwei Kameras einen Codec verwenden. Dieser Codec kann dann auf die Bilddaten angewendet werden. Es erweist sich als besonders vorteilhaft, wenn die Bilddaten einer Datenkomprimierung nach dem H.264-Standard (MPEG-4) unterzogen werden. Dieser Standard unterstützt nämlich die Variation der Auflösung der übertragenen Bilder durch Verwendung von so genannten Profilen”. Mit einem derartigen Codec können daher verschiedene Qualitäten der aufgenommenen Bilder bzw. der Bilderbereiche eingestellt werden.
Es erweist sich auch als besonders vorteilhaft, wenn eine an die Recheneinrichtung übertragene Datenmenge zumindest einer der Kameras abhängig von der Datenmenge der jeweils anderen Kamera ist. Also kann die Auflösung der von einer Kamera übertragenen Bilder auch unter Berücksichtigung der Auflösung der Bilder einer anderen Kamera eingestellt werden. Entsprechend kann ein Bereich eines Einzelbildes einer Kamera auch unter Berücksichtigung eines ausgewählten Bereichs eines Einzelbilds einer anderen Kamera ausgewählt werden. Auf diesem Weg gelingt es, die übertragene Datenmenge insgesamt auf ein Minimum zu reduzieren und die Übertragung einer zu großen Menge von Bilddaten zu vermeiden. Gerade dann gelingt es, für die zumindest zwei Kameras eine gemeinsame Datenleitung bereitzustellen, über welche Bilddaten sowohl einer ersten als auch einer zweiten und gegebenenfalls noch einer weiteren Kamera übertragen werden können.
Vorzugsweise wird zur Übertragung der Bilddaten zwischen den Kameras und der Recheneinrichtung nicht wie im Stand der Technik der LVDS-Standard verwendet, sondern ein Datenübertragungssystem mit einem standardisierten Kommunikationsprotokoll. Dies hat den Vorteil, dass bei einem standardisierten Datenübertragungssystem – zum Beispiel dem Ethernet-System – einerseits die Anzahl der Kommunikationsleitungen auf ein Minimum reduziert werden kann und andererseits auch kostengünstige Leitungen eingesetzt werden können. Es gelingt auf diesem Wege auch, gegenüber einem kontinuierlichen unterbrechungsfreien Datenstrom eines LVDS-Systems die für die Übertragung der Bilddaten benötigte Bandbreite zu reduzieren. Die Bilddaten können nämlich beispielsweise komprimiert und in Datenpaketen an die Recheneinrichtung übertragen werden. Insgesamt wird somit also ein kostenreduziertes und bauraumsparendes Kamerasystem geschaffen.
Es erweist sich als vorteilhaft, wenn für die Datenübertragung ein paketorientiertes Datenübertragungssystem verwendet wird, bei welchem die Bilddaten in Pakete unterteilt werden und in Form von Datenpaketen an die Recheneinrichtung übertragen werden. Es wird dabei das Ethernet-System bevorzugt. Das Ethernet-System bietet dabei die Möglichkeit, die Bilddaten über kostengünstige Datenleitungen zu übertragen, wie auch die Anzahl der benötigten Datenleitungen auf ein Minimum zu reduzieren. Es können bei einem solchen paketorientierten System nämlich mehrere Kameras über eine einzige gemeinsame Datenleitung oder aber über ganz wenige Datenleitungen mit der Recheneinrichtung gekoppelt sein, und die Bilddaten mehrerer Kameras können über die gemeinsame Datenleitung an die Recheneinrichtung übertragen werden, ohne dass die Bitfehlerrate erhöht wird.
Bei dem standardisierten Datenübertragungssystem können Mittel zum Durchführen einer Flusskontrolle der übertragenen Bilddaten eingesetzt werden. Eine solche Flusskontrolle (flow control) ist ein Mechanismus, welcher die Datenübertragung im Datenübertragungssystem temporär, nämlich für eine vorbestimmte Zeitdauer, blockiert. Die Recheneinrichtung erhält somit die Möglichkeit, ein Signal an die zumindest zwei Kameras abzugeben und somit den Kameras mitzuteilen, dass die Recheneinrichtung zur Zeit keine weiteren Pakete zugesandt haben möchte bzw. dass die Kameras die Absendung von Datenpaketen für eine vorbestimmte Zeitdauer einstellen sollen. Es kann also eine Sendepause eingelegt werden. Auf diesem Wege wird verhindert, dass die Datenpakete teilweise verworfen werden. Durch die Datenflusssteuerung wird somit erreicht, dass eine möglichst kontinuierliche Datenübertragung ohne Verluste erfolgen kann. Insbesondere wird bei dem Datenübertragungssystem für die Bilddaten eine Flusskontrolle gemäß einem Standard der IEEE 1722-Familie (Audio-Video-Bridging) durchgeführt. Beispielsweise kann eine Datenflusskontrolle gemäß dem Standard IEEE 802.1 QAV durchgeführt werden. Insbesondere erweist sich die Kombination der Flusskontrolle mit einer Datenkomprimierung (zum Beispiel MPEG-4) als besonders vorteilhaft: Auf diese Weise kann die benötigte Bandbreite für die Übertragung der Bilddaten optimiert werden, und die Bilddaten können in relativ hoher Qualität mit einer geringen Bitfehlerrate übertragen werden und durch die Recheneinrichtung ohne viel Aufwand und ohne viele Verluste decodiert werden.
Die Mittel zur Durchführung der Datenflusskontrolle können beispielsweise einen Router und/oder eine Netzwerkbrücke beinhalten, welcher bzw. welche den Datenfluss zwischen der zumindest einen Kamera und der Recheneinrichtung steuern kann. Es kann jedoch auch vorgesehen sein, dass die Mittel zur Durchführung der Datenflusskontrolle eine Kamera umfassen, welche den eigenen Datenstrom und vorzugsweise auch einen Datenstrom einer weiteren Kamera steuert. Dies kann beispielsweise so aussehen, dass eine Kamera des Kamerasystems über eine weitere Kamera mit der Recheneinrichtung gekoppelt ist, so dass die Bilddaten der ersten Kamera über die zweite Kamera an die Recheneinrichtung übertragen werden. Auf diese Weise können Komponenten gespart werden, wie auch die Leitungen und der wertvolle Bauraum.
Also kann das Datenübertragungssystem eine für zumindest zwei Kameras des Kamerasystems gemeinsame Kommunikationsleitung aufweisen, über welche die Bilddaten der zumindest zwei Kameras an die Recheneinrichtung übertragen werden können. Dies bedeutet, dass die Bilddaten der zumindest zwei Kameras zumindest abschnittsweise durch eine gemeinsame Kommunikationsleitung übertragen werden können. Eine solche Vorgehensweise erweist sich insbesondere bei dem genannten Datenübertragungssystem mit einem standardisierten Kommunikationsprotokoll mit der Datenflusskontrolle gemäß einem IEEE 1722 AVB Standard als besonders vorteilhaft. Bei diesem Protokoll ist nämlich auch bei einer einzigen Datenleitung stets gewährleistet, dass zeitkritische Bilddaten an die Recheneinrichtung übertragen werden können, ohne dass zu lange Wartezeiten die Kommunikation zwischen einer Kamera und der Recheneinrichtung beeinträchtigen. Beispielsweise können die Kameras in einem seriellen Bussystem miteinander gekoppelt sein. Dann kann eine der Kameras auch die Funktion der Durchführung der Datenflusskontrolle haben, wie bereits ausgeführt. Es kann hier gegebenenfalls auf eine zusätzliche Netzwerkbrücke bzw. einen zusätzlichen Router zur Durchführung der Datenflusskontrolle verzichtet werden.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem erfindungsgemäßen Multikamerasystem.
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Multikamerasystems in einem Kraftfahrzeug. Zumindest zwei Kameras erfassen jeweilige Bilddaten, welche eine zeitliche Abfolge von Einzelbildern eines Umgebungsbereichs des Kraftfahrzeugs repräsentieren. Eine gemeinsame Recheneinrichtung verarbeitet die Bilddaten und erzeugt eine Bilddarstellung aus den Bilddaten zumindest einer der Kameras. Eine Anzeigeeinrichtung zeigt die erzeugte Bilddarstellung an. Die Recheneinrichtung gibt an die zumindest zwei Kameras in Abhängigkeit von der zu erzeugenden Bilddarstellung Steuerbefehle ab, aufgrund welcher die zumindest zwei Kameras an die Recheneinrichtung lediglich einen durch die Steuerbefehle vorgegebenen Anteil der erfassten Bilddaten übermitteln, also nur eine Teilmenge der gesamten Bilddaten.
Die mit Bezug auf das erfindungsgemäße Multikamerasystem vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kraftfahrzeug sowie für das erfindungsgemäße Verfahren.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand einzelner bevorzugter Ausführungsbeispiele näher erläutert, wie auch unter Bezugnahme auf die beigefügten Zeichnungen.
Dabei zeigen:
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Multikamerasystem gemäß einer Ausführungsform der Erfindung;
2 in schematischer Darstellung eine Kamera des Multikamerasystems gemäß 1;
3 ein Beispiel für eine bidirektionale Kommunikation zwischen einer Recheneinrichtung und einer Kamera, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird;
4 in schematischer Darstellung ein durch eine Kamera aufgenommenes Einzelbild mit einem ersten (relevanten) Bereich sowie einem zweiten (irrelevanten) Bereich; und
5 in schematischer Darstellung eine durch eine Kamera aufgezeichnete zeitliche Abfolge von Einzelbildern, wobei ein Bereich eines Einzelbilds mit einer besseren Auflösung als ein korrespondierender Bereich eines anderen Einzelbilds derselben Abfolge an die Recheneinrichtung übertragen wird.
Ein Kraftfahrzeug 1, wie es in 1 in schematischer und höchst abstrakter Darstellung gezeigt ist, ist im Ausführungsbeispiel ein Personenkraftwagen. Das Kraftfahrzeug 1 beinhaltet ein Multikamerasystem 2, welches folgende Komponenten umfasst: eine optische Anzeigeeinrichtung 3, eine Recheneinrichtung 4 (zum Beispiel einen digitalen Signalprozessor und/oder einen Mikrocontroller), wie auch fünf Kameras 5a bis 5e. Die Recheneinrichtung 4 steuert die Anzeigeeinrichtung 3 an.
Die Anzeigeeinrichtung 3 kann beispielsweise ein LCD-Display sein. Sie kann aber auch ein Projektor sein, mit dessen Hilfe Bilder auf eine Windschutzscheibe des Kraftfahrzeugs 1 projiziert werden können – ein so genannter Head-Up-Display.
Die Kameras 5a bis 5e können beispielsweise an einer äußeren Oberfläche des Kraftfahrzeugs 1 angeordnet sein. Die Anzahl sowie die Anordnung der Kameras 5a bis 5e ist in 1 lediglich beispielhaft dargestellt; je nach Ausführungsform kann die Anzahl der Kameras 5a bis 5e sowie deren Anordnung am Kraftfahrzeug 1 variieren. Im Ausführungsbeispiel können die Kameras 5a bis 5e beispielsweise an folgenden Komponenten des Kraftfahrzeugs 1 platziert sein: an einem vorderen Stoßfänger, an einem hinteren Stoßfänger, an einer linken Seitenflanke, an einem linken Außenspiegel, an einem rechten Außenspiegel, an einer rechten Seitenflanke und dergleichen. Im Prinzip können verschiedenste Typen von Kameras 5a bis 5e eingesetzt werden, welche zur Erfassung der Fahrzeugumgebung dienen. Zum Beispiel können die Kameras 5a bis 5e jeweils einen relativ breiten Erfassungswinkel aufweisen. Sie können so genannte Fischaugenkameras sein. Jedoch können die Erfassungswinkel der Kameras 5a bis 5e auch kleiner sein. Insgesamt kann der Erfassungswinkel der Kameras 5a bis 5e zum Beispiel in einem Wertebereich von 40° bis 210° liegen. Es können auch Kameras 5a bis 5e mit jeweils unterschiedlichen Erfassungswinkeln eingesetzt werden. Die Kameras 5a bis 5e können derart am Kraftfahrzeug 1 platziert sein, dass sie die gesamte Umgebung um das Kraftfahrzeug 1 herum erfassen, also ein 360°-Bild. Die Kameras 5a bis 5e können zum Beispiel CMOS-Kameras und/oder CCD-Kameras sein.
Die Kameras 5a bis 5e können jeweils eine zeitliche Abfolge von Einzelbildern von der Fahrzeugumgebung aufnehmen, d. h. ein Video. Die Kameras 5a bis 5e können an die Recheneinrichtung 4 Bilddaten übertragen, welche die aufgezeichneten Abfolgen von Einzelbildern repräsentieren. Bei einer Abfolge von Einzelbildern können eine Vielzahl von Einzelbildern (frames) pro Sekunde aufgezeichnet werden.
Zur Übertragung der Bilddaten von den Kameras 5a bis 5e sowie zur Übertragung von Steuerbefehlen von der Recheneinrichtung 4 an die Kameras 5a bis 5e umfasst das Multikamerasystem 2 ein standardisiertes Datenübertragungssystem 6, bei welchem die Bilddaten gemäß einem standardisierten Kommunikationsprotokoll übertragen werden. Im Ausführungsbeispiel wird ein paketorientiertes Protokoll bzw. ein paketorientiertes Datenübertragungssystem 6 verwendet. Zum Beispiel wird ein Ethernet-System eingesetzt. Dies bedeutet, dass die Bilddaten in Datenpakete unterteilt und als solche an die Recheneinrichtung 4 übertragen werden.
Das Datenübertragungssystem 6 umfasst im Ausführungsbeispiel gemäß 1 einen Router und/oder eine Netzwerkbrücke 7, über welchen bzw. über welche die Kameras 5a bis 5d mit der Recheneinrichtung 4 gekoppelt sind. Die Kamera 5e ist hingegen mit der Recheneinrichtung 4 direkt verbunden. Der Router und/oder die Netzwerkbrücke 7 dient auch zur Durchführung einer Datenflusskontrolle (flow control) der übertragenen Bilddaten, nämlich gemäß einem IEEE 1722 AVB Standard, insbesondere dem IEEE 802.1 QAV-Standard. Anstatt des separaten Routers und/oder der Netzwerkbrücke 7 kann an dieser Stelle auch eine Kamera eingesetzt werden, die dann den Datenfluss zur Recheneinrichtung 4 verwaltet. Diese Kamera dient dann als eine Brücke zwischen anderen Kameras und der Recheneinrichtung 4.
Im Ausführungsbeispiel gemäß 1 ist der Router und/oder die Netzwerkbrücke 7 über vier Datenleitungen bzw. vier Kommunikationsleitungen 8 bis 11 mit der Recheneinrichtung 4 verbunden. Dies bedeutet, dass für jede der Kameras 5a bis 5d jeweils eine Kommunikationsleitung 8 bis 11 zwischen dem Router und/oder der Netzwerkbrücke und der Recheneinrichtung 4 vorgesehen ist. An dieser Stelle kann jedoch auch nur eine einzige Datenleitung bzw. Kommunikationsleitung 8 eingesetzt werden, die als gemeinsame Kommunikationsleitung für die Kameras 5a bis 5d dienen kann. Der Router und/oder die Netzwerkbrücke 7 kann also nur über eine einzige Kommunikationsleitung 8 mit der Recheneinrichtung 4 verbunden sein. In diesem Fall werden die Bilddaten der Kameras 5a bis 5d über die gemeinsame Kommunikationsleitung 8 an die Recheneinrichtung 4 übertragen.
Wird anstatt des Routers und/oder der Netzwerkbrücke 7 eine Kamera als Brücke verwendet, so können diese Kamera sowie die Kameras 5a bis 5d in Reihe miteinander gekoppelt sein und somit einen seriellen Kommunikationsbus bilden. Diese Kameras 5a bis 5d können also in Form einer Kette miteinander verbunden sein, sodass die Bilddaten einer Kamera über andere Kameras übertragen werden. Es kann also eine Reihenschaltung aus den Kameras 5a bis 5d bereitgestellt sein. Eine solche Vorgehensweise ist bei dem Ethernet-System ohne viel Aufwand möglich. In diesem Fall können die Kameras 5a bis 5d jeweils mit zwei separaten Anschlüssen versehen sein.
Also empfängt die Recheneinrichtung 4 die Bilddaten der Kameras 5a bis 5e und kann aus diesen Bilddaten eine Bilddarstellung erzeugen, welche auf der Anzeigeeinrichtung 3 angezeigt wird. Es kommen unterschiedliche Betriebsmodi in Frage:

– Modus 1: In diesem Betriebsmodus kann die Recheneinrichtung 4 aus den Bilddaten aller Kameras 5a bis 5e eine Bilddarstellung erzeugen, welche das Kraftfahrzeug 1 sowie seine Umgebung aus einer Vogelperspektive zeigt (Bird-View-Modus);
– Modus 2: In diesem Betriebsmodus werden lediglich Einzelbilder bzw. ein Video oder aber ein ausgewählter Bereich der Einzelbilder der Kamera 5a angezeigt;
– Modus 3: In diesem Betriebsmodus werden lediglich Einzelbilder bzw. ein Video oder aber ein ausgewählter Bereich der Einzelbilder der Kamera 5b angezeigt;
– Modus 4: In diesem Betriebsmodus können Einzelbilder bzw. ein Video oder aber bestimmte Bereiche der Einzelbilder der Kamera 5c angezeigt werden;
– Modus 5: In diesem Betriebsmodus können die Einzelbilder bzw. ein Video der Kamera 5d angezeigt werden;
– Modus 6: In diesem Betriebsmodus können die Einzelbilder oder ein Video der Kamera 5e und somit der Bereich hinter dem Kraftfahrzeug 1 angezeigt werden (rear view mode);
– Modus 7: In diesem Betriebsmodus kann eine beliebige Kombination aus den Einzelbildern bzw. den Videos der Kameras 5a bis 5e angezeigt werden;
– Modus 8: In diesem Betriebsmodus wird nur ein sehr kleiner Bereich der Einzelbilder einer einzigen Kamera 5a bis 5e dazu verwendet, die Geschwindigkeit des Kraftfahrzeugs 1 bezüglich der Erdoberfläche zu berechnen (terrain assistant mode).

Zwischen den genannten Betriebsmodi kann entweder automatisch umgeschaltet werden und/oder es kann vorgesehen sein, dass der Fahrer alleine zwischen den einzelnen Modi umschalten kann. Die Recheneinrichtung 4 kann beispielsweise dann automatisch in den Modus 6 umschalten, wenn der Rückwärtsgang eingelegt wird – dann kann die Kamera 5e den Bereich hinter dem Kraftfahrzeug 1 erfassen, und es kann auf der Anzeigeeinrichtung 3 der Bereich hinter dem Kraftfahrzeug 1 angezeigt werden (rear view).
Für unterschiedliche Betriebsmodi bzw. für unterschiedliche Bilddarstellungen auf der Anzeigeeinrichtung 3 benötigt die Recheneinrichtung 4 jeweils unterschiedliche Anteile der übertragenen Bilddaten der Kameras 5a bis 5e. Dabei können unterschiedliche Teilbereiche der Einzelbilder in jeweils unterschiedlicher Qualität bzw. Auflösung benötigt werden; ein Teilbereich kann beispielsweise mit hoher Auflösung benötigt werden, während ein anderer Teilbereich mit einer geringen Auflösung bzw. überhaupt nicht benötigt wird. Auch die gesamten Einzelbilder können zu unterschiedlichen Zeitpunkten in unterschiedlicher Auflösung benötigt werden. Beispielsweise werden bei dem oben genannten Modus 1 die Bilder aller Kameras 5a bis 5e benötigt, jedoch nur mit einer relativ geringen Auflösung; denn diese Bilder werden dann zu einer gemeinsamen perspektivischen Bilddarstellung verarbeitet, welche das Kraftfahrzeug 1 aus der Vogelperspektive zeigt. Wird in einem anderen Modus in die angezeigte Bilddarstellung eingezoomt bzw. wird diese Bilddarstellung vergrößert, so kann hingegen lediglich ein Teilbereich der Einzelbilder einer Kamera 5a bis 5e mit einer entsprechend hohen Auflösung übertragen werden. Wird hingegen ein relativ großer Bereich der Umgebung angezeigt bzw. werden die gesamten Einzelbilder oder aber relativ große Teilbereiche davon übertragen, so kann die Dichte der Bildpunkte entsprechend reduziert werden. Es kann hier beispielsweise eine lineare Abhängigkeit zwischen der Größe des übertragenen Teilbereichs der Einzelbilder und der Dichte der Bildpunkte gelten; es kann nämlich die Beziehung gelten, dass je größer der übertragene Teilbereich ist, desto kleiner die Dichte der Bildpunkte ist. Jede Kamera 5a bis 5e kann:

– einen ersten Bereich eines aufgenommenen Einzelbildes – insbesondere der Einzelbilder einer gesamten Abfolge – mit einer höheren Auflösung als einen zweiten Bereich desselben Einzelbilds an die Recheneinrichtung 4 übertragen; dies beinhaltet auch die Situation, dass der zweite Bereich überhaupt nicht übertragen wird; und/oder
– zumindest einen Bereich eines Einzelbilds aus der zeitlichen Abfolge von Einzelbildern mit einer höheren Auflösung als einen korrespondierenden Bereich eines zeitlich benachbarten Einzelbilds dieser Abfolge an die Recheneinrichtung 4 übertragen; dies beinhaltet auch, dass der korrespondierende Bereich des benachbarten Einzelbilds überhaupt nicht übertragen wird; und/oder
– vorbestimmte Farbinformationen zumindest eines aufgenommenen Einzelbildes mit einer besseren Qualität als andere Farbinformationen an die Recheneinrichtung 4 übertragen; z. B. kann lediglich der rote Kanal übertragen werden; und/oder
– an die Recheneinrichtung 4 Bilddaten übertragen, welche ausschließlich Informationen über Konturen abgebildeter Gegenstände und/oder Kontrastinformationen beinhalten.

Bezug nehmend auf 2 wird ein möglicher Aufbau einer Kamera 5a bis 5e des Multikamerasystems 2 näher erläutert. Die Kameras 5a bis 5e umfassen einen Bildaufnehmer 12 (imager or image sensor), welcher einen Umgebungsbereich des Kraftfahrzeugs 1 erfasst und Bilddaten 13 erzeugt und an eine Steuereinheit 14 abgibt. Der Bildaufnehmer 12 kann eine relativ hohe Auflösung von einigen Megapixels aufweisen. Die Bilddaten 13 werden mit voller Auflösung an die Steuereinheit 14 übertragen. Die Steuereinheit 14 empfängt die Bilddaten 13, verarbeitet und komprimiert sie und leitet die Bilddaten 13 an eine Ethernet-Kommunikationsschnittstelle 15 weiter. Über die Ethernet-Kommunikationsschnittstelle 15 werden die Bilddaten 13 an die Recheneinrichtung 4 gesendet. Über die Kommunikationsschnittstelle 15 kann die Steuereinheit 14 der Kameras 5a bis 5e auch Steuerbefehle 16 von der Recheneinrichtung 4 empfangen. Die Kommunikationsschnittstelle 15 bereitet die Bilddaten 13 auf, sodass diese gemäß dem Ethernet-Protokoll übertragen werden können.
Die Recheneinrichtung 4 kann also an die Steuereinheit 14 der jeweiligen Kameras 5a bis 5e Steuerbefehle 16 übertragen, durch welche die benötigten Anteile der Bilddaten sowie die benötigte Qualität dieser Anteile bestimmt werden. Die Steuereinheit 14 der jeweiligen Kamera 5a bis 5e wählt aus den Bilddaten 13 des Bildaufnehmers 12 die benötigten Anteile aus und überträgt diese Anteile an die Recheneinrichtung 4. Die Steuereinheit 14 unterzieht die ausgewählten Anteile der Bilddaten 13 einer Datenkomprimierung, nämlich gemäß dem Standard H.264 (MPEG-4). Mit einem solchen Codec ist es möglich, durch Verwendung von so genannten „Profilen” unterschiedliche Anteile der Bilddaten 13 unterschiedlich zu komprimieren und somit unterschiedliche Anteile der Bilddaten 13 mit unterschiedlicher Qualität bzw. Auflösung an die Recheneinrichtung 4 zu übertragen.
In 3 ist ein möglicher Verlauf einer Kommunikation zwischen der Recheneinrichtung 4 und der Steuereinheit 14 der Kamera 5a bis 5e in Form einer Tabelle dargestellt. Die Recheneinrichtung 4 ist in dem Fall ein Master, welcher Befehle der Kamera 5a bis 5e als einem Slave erteilt. Die Recheneinrichtung 4 kann die Kamera 5a bis 5e aktivieren, den benötigten Teilbereich der Einzelbilder festlegen sowie die benötigte Auflösung dieses ausgewählten Teilbereichs definieren. Die Kamera 5a bis 5e stellt dann den benötigten Komprimierungsmodus des Codecs ein sowie wählt die relevanten Bilddaten 13 aus, welche komprimiert und übertragen werden sollen.
Wie bereits ausgeführt, kann jede Kamera 5a bis 5e einen ersten Bereich der Einzelbilder mit einer besseren Auflösung als einen zweiten Bereich der Einzelbilder übertragen, nämlich an die Recheneinrichtung 4. Dies beinhaltet auch, dass der zweite Bereich überhaupt nicht übertragen wird, sondern ausgeschnitten und verworfen wird. In 4 ist ein Beispiel für ein Einzelbild 17 einer Kamera 5a bis 5e dargestellt. Das Einzelbild 17 ist in eine Vielzahl von Bildblöcken 18 unterteilt, welche jeweils eine Vielzahl von Bildpunkten (pixels) aufweisen. Diejenigen Bildblöcke 18, welche in 4 nicht angekreuzt, also leer, sind, bilden einen ersten Teilbereich 19 des Einzelbilds 17, welcher einen relevanten Bereich darstellt und somit an die Recheneinrichtung 4 mit einer hohen Qualität übertragen wird. Die angekreuzten Bildblöcke bilden dagegen einen zweiten, irrelevanten Bereich 20, welcher nicht übertragen wird. Der erste, relevante Bereich 19, wie auch der zweite, irrelevante Bereich 20 werden durch die Recheneinrichtung 4 vorbestimmt. Nun sind mehrere Ausführungsformen vorgesehen: Die jeweilige Kamera 5a bis 5e kann die irrelevanten Bildblöcke 18, d. h. den zweiten Bereich 20, ausschneiden und lediglich den relevanten Bereich 19 übertragen. Alternativ können die Kameras 5a bis 5e das gesamte Einzelbild 19 an die Recheneinrichtung 4 übertragen; und der zweite Bereich 20 kann mit einer gegenüber dem ersten Bereich 19 schlechteren Auflösung übertragen werden. Als weitere Alternative kann vorgesehen sein, dass die Bildpunkte des zweiten Bereichs 20 durch vorbestimmte Bildpunkte ersetzt werden, etwa durch graue Bildpunkte. In allen Fällen ist die benötigte Bandbreite zur Übertragung des Einzelbilds 17 minimal und im Wesentlichen auf den ersten Bereich 19 begrenzt.
Wie bereits ausgeführt, können auch im Zeitbereich unterschiedliche Anteile der Bilddaten mit unterschiedlichen Qualitäten übertragen werden. In 5 ist in schematischer und höchstabstrakter Darstellung eine Reihe von zeitlich nacheinander erfassten Einzelbildern 17a bis 17m dargestellt, die eines nach dem anderen von den Kameras 5a bis 5e an die Recheneinrichtung 4 als Videofilm übertragen werden. Zumindest ein Teilbereich 21 eines Einzelbildes 17a dieser Abfolge kann gegenüber einem korrespondierenden Bereich 22 eines benachbarten Einzelbilds 17b mit einer verbesserten Auflösung an die Recheneinrichtung 4 übertragen werden. Zum Beispiel kann das gesamte Einzelbild 17a mit einer besseren Auflösung als das benachbarte Einzelbild 17b gesendet werden. Es ist auch möglich, dass die gesamte Abfolge von Einzelbildern 17a bis 17m mit einer besseren Auflösung als eine nachfolgende Abfolge von Einzelbildern gesendet wird.
Die beschriebene Vorgehensweise beinhaltet auch den Fall, dass an die Recheneinrichtung 4 der Bereich 21 des Einzelbildes 17a oder aber das gesamte Einzelbild 17a mit einer relativ guten Auflösung gesendet wird, während das benachbarte Einzelbild 17b und gegebenenfalls auch weitere Einzelbilder 17c bis 17m überhaupt nicht gesendet werden. Dann kann auf der Anzeigeeinrichtung 3 für eine längere Zeitdauer das zu einem bestimmten Zeitpunkt aufgenommene Einzelbild 17a bzw. sein Bereich 21 dargestellt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2006/0139488 A1 [0003]
US 7450165 B2 [0004]
US 2007/0229680 A1 [0004]

Zitierte Nicht-Patentliteratur

H.264-Standard (MPEG-4) [0019]
Standard der IEEE 1722-Familie [0023]
Standard IEEE 802.1 QAV [0023]
IEEE 1722 AVB Standard [0025]
IEEE 1722 AVB Standard [0042]
IEEE 802.1 QAV-Standard [0042]
Standard H.264 (MPEG-4) [0049]

Claims

Multikamerasystem (2) für ein Kraftfahrzeug (1), mit: – zumindest zwei Kameras (5a bis 5e) jeweils zum Erfassen von Bilddaten (13), welche eine Reihe von zeitlich nacheinander erfassten Einzelbildern (17) eines Umgebungsbereichs des Kraftfahrzeugs (1) repräsentieren, – einer gemeinsamen Recheneinrichtung (4) zum Verarbeiten der Bilddaten (13) und zum Erzeugen einer Bilddarstellung aus den Bilddaten (13) zumindest einer der Kameras (5a bis 5e), und – einer Anzeigeeinrichtung (3) zum Anzeigen der erzeugten Bilddarstellung, dadurch gekennzeichnet, dass die Recheneinrichtung (4) dazu ausgelegt ist, in Abhängigkeit von der zu erzeugenden Bilddarstellung an die zumindest zwei Kameras (5a bis 5e) Steuerbefehle (16) abzugeben, aufgrund welcher die zumindest zwei Kameras (5a bis 5e) an die Recheneinrichtung (4) lediglich einen durch die Steuerbefehle vorgegebenen Anteil der erfassten Bilddaten (13) übermitteln.
Multikamerasystem (2) nach Anspruch 1, dadurch gekennzeichnet, dass der Anteil der Bilddaten (13) einen Teilbereich (19) eines erfassten Einzelbildes (17), insbesondere mit einer durch die Steuerbefehle (16) vorgegebenen Auflösung, repräsentiert.
Multikamerasystem (2) nach Anspruch 2, dadurch gekennzeichnet, dass die zumindest zwei Kameras (5a bis 5e) dazu ausgelegt sind, unter Verzicht auf den restlichen Bereich (20) des Einzelbildes (17) ausschließlich den Teilbereich (19) dieses Einzelbildes (17) an die Recheneinrichtung (4) zu übertragen.
Multikamerasystem (2) nach Anspruch 2, dadurch gekennzeichnet, dass die zumindest zwei Kameras (5a bis 5e) dazu ausgelegt sind, einzelne Bildpunkte, insbesondere alle Bildpunkte, des restlichen Bereichs (20) des Einzelbildes (17) durch vorbestimmte Bildpunkte, insbesondere durch graue Bildpunkte, zu ersetzen.
Multikamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Anteil der Bilddaten (13) einen Teilbereich eines Einzelbildes (17) oder ein gesamtes Einzelbild (17) mit einer gegenüber einer Auflösung der Kameras (5a bis 5e) verringerten und durch die Steuerbefehle (16) vorgegebenen Auflösung repräsentiert.
Multikamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Anteil der Bilddaten (13) zumindest ein Einzelbild (17a) oder seinen Teilbereich (21) aus der Reihe von zeitlich nacheinander erfassten Einzelbildern (17) repräsentiert.
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Anteil der Bilddaten (13) lediglich eine durch die Steuerbefehle (16) vorbestimmte Farbinformation zumindest eines erfassten Einzelbildes (17) repräsentiert.
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Anteil der Bilddaten (13) lediglich eine Kontur zumindest eines abgebildeten Gegenstands und/oder lediglich eine Kontrastinformation repräsentiert.
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (4) dazu ausgelegt ist, von zumindest einer der Kameras (5a bis 5e) ausschließlich denjenigen Bereich (19) eines Einzelbildes mit einer gegenüber einem anderen Bereich (20) besseren Auflösung anzufordern, welcher der anzuzeigenden Bilddarstellung entspricht.
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest zwei Kameras (5a bis 5e) dazu ausgelegt sind, zur Reduktion der Menge der Bilddaten (13) auf selbige Bilddaten (13) einen Codec, insbesondere nach dem H.264-Standard, anzuwenden.
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine an die Recheneinrichtung (4) übertragene Datenmenge zumindest einer Kamera (5a bis 5e) abhängig von der Datenmenge zumindest einer anderen Kamera (5a bis 5e) ist.
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein standardisiertes Datenübertragungssystem (6), insbesondere ein paketorientiertes System, bevorzugt ein Ethernet-System, über welches die zumindest zwei Kameras (5a bis 5e) zur Übertragung der Bilddaten (13) gemäß einem standardisierten Kommunikationsprotokoll mit der Recheneinrichtung (4) gekoppelt sind.
Multikamerasystem (2) nach Anspruch 12, gekennzeichnet durch Mittel (7) zum Durchführen einer Flusskontrolle der Bilddaten (13) in dem Datenübertragungssystem (6).
Multikamerasystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Multikamerasystem (2) eine für die zumindest zwei Kameras (5a bis 5e) gemeinsame Kommunikationsleitung (8) aufweist, über welche die Bilddaten (13) der zumindest zwei Kameras (5a bis 5e) an die Recheneinrichtung (4) übertragbar sind.
Verfahren zum Betreiben eines Multikamerasystems (5a bis 5e) in einem Kraftfahrzeug (1), bei welchem: – zumindest zwei Kameras (5a bis 5e) jeweilige Bilddaten (13) erfassen, welche eine Reihe von zeitlich nacheinander erfassten Einzelbildern (17) eines Umgebungsbereichs des Kraftfahrzeugs (1) repräsentieren, – eine gemeinsame Recheneinrichtung (4) die Bilddaten (13) verarbeitet und eine Bilddarstellung aus den Bilddaten (13) zumindest einer der Kameras (5a bis 5e) erzeugt, und – eine Anzeigeeinrichtung (3) die erzeugte Bilddarstellung anzeigt, dadurch gekennzeichnet, dass die Recheneinrichtung (4) in Abhängigkeit von der zu erzeugenden Bilddarstellung an die zumindest zwei Kameras (5a bis 5e) Steuerbefehle (16) abgibt, aufgrund welcher die zumindest zwei Kameras (5a bis 5e) an die Recheneinrichtung (4) lediglich einen durch die Steuerbefehle (16) vorgegebenen Anteil der erfassten Bilddaten (13) übermitteln.