-
Die Erfindung betrifft ein Kamerasystem für Fahrzeuge.
-
Kamerasysteme wie sogenannte Top-View- oder Surround-View-Systeme finden sich zunehmend in Fahrzeugen, um dem Fahrer das unmittelbare Umfeld des Fahrzeugs anzuzeigen und ihm dadurch z.B. das Rangieren seines Fahrzeugs zu erleichtern. Zukünftige Systeme sollen zunehmend mit automatischen Fahrerassistenzfunktionalitäten ausgerüstet werden. Dies bedingt eine Bildverarbeitung, um automatisch Objekte, insbesondere Hindernisse zu erkennen und in der Folge einen Eingriff in die Fahrzeugdynamik zu ermöglichen, beispielsweise eine automatische Bremsung bei einem beim Einparken eines Fahrzeugs erkannten Hindernis.
-
Bisherige Systemarchitekturen sehen eine Sterntopologie mit einem zentralen Steuergerät vor, an das alle Systemkameras Bilddaten übermitteln. Das Steuergerät muss allerdings eine für die Verarbeitung der Bilddaten ausreichende Rechenleistung besitzen, was insbesondere bei großen Bilddatenmengen zu erheblichen Rechenleistungsanforderungen führen kann. Die
DE 10 2010 030 068 A1 schlägt daher vor, Bilddaten, die von in einem Fahrzeug eingesetzten Kameras aufgenommen wurden, zu transkodieren, und anschließend die transkodierten Bilddaten über eine Funkschnittstelle an ein Backend zur Bildverarbeitung zu übertragen, so dass die zur Bildverarbeitung notwendige Rechenleistung nicht vom Fahrzeug bereitgestellt werden muss, und somit aufwändige und teure Spezialkomponenten im Fahrzeug eingespart werden können.
-
Abgesehen von den Rechenleistungsforderungen für die Bildverarbeitung können bei derartigen Systemen noch Anforderungen an die funktionale Systemsicherheit eine Rolle spielen. Wenn nämlich solche Kamera-basierten Systeme auch automatisch in die Fahrzeugdynamik eingreifen sollen, sind die Anforderungen an die funktionale Sicherheit derartiger Systeme jedoch deutlich höher als bei lediglich anzeigenden Systemen.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Kamerasystem für Fahrzeuge vorzuschlagen, das sich insbesondere bezüglich den Anforderungen an die für eine effiziente Bildverarbeitung erforderliche Rechenleistung und an die funktionale Sicherheit technisch einfacher und auch kostengünstiger erstellen lässt als bisherige Architekturen mit einem zentralen Steuergerät.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Eine der Erfindung zugrunde liegende Idee besteht darin, ein Kamerasystem in Ringtopologie vorzusehen, das mit Kameras ausgestattet ist, die jeweils eine eigenständige Bildverarbeitung nicht nur der eigenen erfassten Bilder, sondern auch der von anderen Kameras erfassten Bilder durchführen können. Hierdurch kann die Rechenlast der Bildverarbeitung auf mehrere Komponenten, d.h. Kameras des Systems verteilt und/oder verringert werden und es muss kein zentrales Steuergerät mit einer ausreichenden Rechenleistung im Fahrzeug vorgehalten werden. Die Ringtopologie des erfindungsgemäßen Kamerasystems ermöglicht gegenüber einem System mit zentraler Auswerteeinheit noch folgende weitere Vorteile:
- – Erhöhung der Ausfallsicherheit: Wenn eine der Verbindungen zwischen zwei benachbarten Kameras in der Ringtopologie ausfällt, können in der Regel trotzdem noch alle Kameras bei entsprechender Ausgestaltung der Ringtopologie miteinander kommunizieren.
- – Verteiltes Rechnen: Bei Applikationen, bei denen nicht das Bild aller Kameras ausgelesen wird (z.B. Backup-Aid, Blind Spot Detection) kann das Bild oder Teilaufgaben der Bildauswertung oder Steuerung an die unbeteiligte(n) Kamera(s) weitergeleitet/übergeben werden, um so die Rechenlast gleichmäßig zu verteilen und effizienter zu gestalten.
- – Bei einem System mit zentraler ECU und per Ethernet verbundener Kameras muss wegen der Bandbreitenbeschränkung (z.B. 100 Mbit/sec) die Videoübertragung komprimiert erfolgen (z.B. Mjpeg, H264). Die Komprimierung erfolgt nicht verlustfrei, wodurch insbesondere bei stark bewegten Szenen wesentliche Information verloren geht. Dieser Informationsverlust kann bei dem Ringtopologie-System vermieden werden, da bei der Ringtopologie jedes Kamerasystem seine eigene Bildverarbeitung durchführen kann. Andererseits kann für das angezeigte Bild eine hohe Komprimierung in Kauf genommen werden, da die in dem Bild vorhandenen Informationsverluste für einen Betrachter kaum sichtbar sind.
-
Eine Ausführungsform der Erfindung betrifft nun ein Kamerasystem für Fahrzeuge mit mehreren Kameras, die über ein Netzwerk mit Ringtopologie untereinander vernetzt sind, wobei jede Kamera ausgebildet ist, eine Bildverarbeitung von erfassten Bildern durchzuführen, und wobei jede Kamera ferner ausgebildet ist, erfasste Bilder und/oder Bildverarbeitungsergebnisse an andere Kameras im Netzwerk für eine Bildverarbeitung durch diese Kameras bzw. für die Unterstützung der von diesen Kameras durchgeführte Bildverarbeitung zu übertragen, so dass die Rechenlast der Bildverarbeitung im Netzwerk auf mehrere Kameras verteilt bzw. die Rechenlast der Bildverarbeitung von Kameras im Netzwerk verringert wird. Durch die Ringtopologie und die Erweiterung der Kameras um eine eigenen Bildverarbeitung wird ein Kamerasystem mit der Möglichkeit verteilter Bildverarbeitung bzw. verteilten Rechnens oder der Verringerung der Bildverarbeitungs-Rechenlast einzelner Kameras im System geschaffen, dass ausfallsicherer und zum Teil effizienter als ein Kamerasystem mit einer zentralen Bildverarbeitungseinheit oder gar einer ausgelagerten Bildverarbeitung wie bei dem aus der
DE 10 2010 030 068 A1 bekannten System ist. Bei den von einer Kamera an andere Kameras im Netzwerk zuu übertragende Bildverarbeitungsergebnisse kann es sich beispielsweise im Objektlisten handeln, die zur beschleunigten oder einfacheren Objekterkennung von der Bildverarbeitung der empfangenden Kamera verwendet werden können.
-
Jede Kameras kann ferner ausgebildet sein, erst nach Abschluss einer eigenen Bildverarbeitung erfasste Bilder an eine andere Kamera im Netzwerk zu übertragen, so dass im Netzwerk zu jedem Zeitpunkt nur jeweils eine Kamera im Netzwerk eine Bildverarbeitung durchführt. Hierdurch kann die Bildverteilung nicht nur auf mehrere Kameras verteilt werden, sondern auch zeitlich gemultiplext werden, beispielsweise um eine Energieeinsparung zu Lasten der Bearbeitungszeit zu realisieren. Hierzu führt zu einem bestimmten Zeitpunkt immer nur eine Kamera des Systems eine Bildverarbeitung durch. Nach Abschluss der Bearbeitung wird zur nächsten Kamera gewechselt und so weiter bis die komplette Bildverarbeitung abgeschlossen ist. Bei vier Kameras ist hierbei eine Leistungseinsparung um etwa den Faktor 4 möglich, während sich die für die Bildverarbeitung benötigte Zeit etwa um den gleichen Faktor verlängert.
-
Die Dauer des Erfassens eines Bildes durch eine Kamera und die Dauer einer Bildverarbeitung durch diese Kamera können derart bemessen sein, dass sie kleiner als ein im Kamerasystem vorgegebener Zyklus sind. Beispielsweise können bei ausreichender Rechenleistung die Dauer des Erfassens eines Bildes durch eine Kamera und die Dauer einer Bildverarbeitung durch diese Kamera so kurz bemessen sein, dass innerhalb des vorgegebenen Zyklus eine sequentielle Bildverarbeitung aller erfassten Bilder ermöglicht wird. Hierdurch kann eine besonders schnelle Bildverarbeitung im System realisiert werden.
-
Die Verbindungen im Netzwerk zwischen zwei benachbarten Kameras in der Ringtopologie können bidirektional sein und jeder Kamera können zusätzlich zu den eigenen erfassten Bildern die von den im Netzwerk benachbarten Kameras erfassten Bilder für eine Bildverarbeitung zur Verfügung stehen. Beispielsweise kann können in einem System mit vier Kameras die Kameras 1 und 3 während der Bilderfassung oder –aufnahme gleichzeitig Bilder von benachbarten Kameras 4 und 2 empfangen, und während der Bilderfassung der Kameras 2 und 4 können diese Bilder der Kameras 1 und 3 empfangen. Somit dreht sich bei jedem Frame, d.h. jeder Erfassung eines neuen Bildes die Übertragungsrichtung im Netzwerk um. Für die Bildverarbeitung bzw. -berechnung steht jeder Kamera die Zeit von zwei Frames zur Verfügung. Somit kann gewährleistet werden, dass jeder Kamera für eine Bildverarbeitung mehrere Bilder zur Verfügung stehen, wodurch die verteilte Bildverarbeitung im System effizienter gestaltet werden kann. Auch ein sogenanntes echtes Doppelframekonzept ist implementierbar: beispielsweise können die Kameras immer zwei aufeinanderfolgende Bilder bzw. Frames A und B erfassen. Die Kameras 1 und 3 können dann Bild bzw. Frame A verarbeiten und Bild bzw. Frame B an die Kameras 2 und 4 zur Bildverarbeitung übertragen. Die Kameras 2 und 4 können ihrerseits das empfangene Bild B verarbeiten und nur Bild bzw. Frame A zur Bildverarbeitung an die Kameras 1 und 3 weitergeben.
-
Jede Kamera kann außerdem ausgebildet sein, eine Bildverarbeitung eines erfassten Bildes innerhalb der Zeitdauer des aufeinanderfolgenden Erfassens von zwei Bildern durchzuführen. Hierdurch wird ein besonderes schnelle Bildverarbeitung durch das Kamerasystem geschaffen, was insbesondere bei nahezu Echtzeitanforderungen an das Kamerasystem und dessen Bildverarbeitung von Bedeutung sein kann.
-
Schließlich kann auch jede Kamera ausgebildet sein, entweder ein erfasstes Bild gleichzeitig mit dem Erfassen des Bildes an mindestens eine benachbarte Kamera im Netzwerk zu übertragen oder ein erfasstes Bild nach dem Erfassen des Bildes während eines nachfolgenden Erfassens eines Bildes an mindestens eine benachbarte Kamera im Netzwerk zu übertragen. Hierdurch kann ein Doppelframekonzept im Kamerasystem implementiert werden, bei welchem eine Kamera auch die Bilder benachbarter Kameras in der Ringtopologie nutzen kann, beispielsweise für eine effizientere Bildverarbeitung wie eine genauere Objekterkennung.
-
Um die Ausfallsicherheit des Kamerasystems zu erhöhen, können die Kameras sich gegenseitig überwachen. Dies spielt eine zunehmend wichtige Rolle in sicherheitsrelevanten Anwendungen, wie z.B. Personenerkennung zur Verhinderung von Unfällen beim Rangieren. Demnach kann jede Kameras ferner ausgebildet sein, eine oder mehrere andere Kameras im Netzwerk auf Ausfälle zu überwachen.
-
Eine oder mehrere Kameras können mit einem Fahrzeugbus kommunikationsmäßig verbunden sein und/oder mindestens eine Kamera kann über einen Videoausgang, über den Bilder und/oder Bildverarbeitungsergebnisse ausgegeben werden können, mit einer Anzeigeeinheit eines Fahrzeugs verbunden sein. Wenn zwei oder mehr Kameras mit dem Fahrzeugbus verbunden sind, kann die Ausfallsicherheit gegenüber einem System mit nur einer an den Fahrzeugbus angebundenen Kamera erhöht werden. Ein Videoausgang ermöglicht es, vom Kamerasystem erfasste und ggf. verarbeitete Bilder direkt anzuzeigen, wodurch einem Fahrer unmittelbare Rückmeldung beispielsweise beim Einparken oder Rangieren mit seinem Fahrzeug gegeben werden kann.
-
Eine weitere Ausführungsform der Erfindung betrifft eine Kamera für den Einsatz in einem Kamerasystem nach der Erfindung und wie hierin beschrieben mit einem Bildsensor zum Erfassen von Bildern, einer Bildverarbeitungseinheit zum Durchführen von Bildberechnungen mit erfassten Bildern, und einer Netzwerk-Schnittstelleneinheit für ein Netzwerk mit Ringtopologie und zum Empfangen von Bildern und/oder Befehlen und/oder Bildverarbeitungsergebnissen von benachbarten Kameras im Netzwerk mit Ringtopologie und Übertragen von erfassten Bildern und/oder Befehlen und/oder Bildverarbeitungsergebnissen an benachbarte Kameras im Netzwerk mit Ringtopologie.
-
Die Kamera kann ferner eine Bilddaten-Enkodiereinheit zum Enkodieren von erfassten und/oder verarbeiteten Bildern für eine Übertragung an benachbarte Kameras im Netzwerk mit Ringtopologie aufweisen. Durch das Enkodieren können Bilder beispielsweise in ein für eine Übertragung über Netzwerkverbindungen zwischen den Kameras besonders geeignetes Format umgewandelt werden.
-
Die vorliegende Erfindung eignet sich insbesondere zum Einsatz mit einem Fahrerassistenzsystem, das eigenständig in die Fahrzeugdynamik eingreifen kann.
-
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
-
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
-
Die Zeichnung(en) zeigt/zeigen in
-
1 schematisch ein Ausführungsbeispiel eines Kamerasystems für Fahrzeuge mit vier Kameras gemäß der Erfindung;
-
2 das in 1 gezeigte Kamerasystem im Detail.
-
In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.
-
In 1 ist ein Kamerasystem 10 mit vier Kameras 12, 14, 16 und 18 gezeigt, die in Ringtopologie vernetzt sind. Hierzu ist jede der Kameras mit ihren beiden in der Ringtopologie benachbarten Kameras kommunikationsmäßig verbunden, also die Kamera 12 über eine Netzwerkverbindung 20 mit der Kamera 14, die über eine Netzwerkverbindung 22 mit der Kamera 16 verbunden ist. Die Kamera 16 ist wiederum mit der Kamera 18 über eine Netzwerkverbindung 24 verbunden. Der Ring wird über die Netzwerkverbindung 26 zwischen den Kameras 18 und 12 geschlossen. Die Netzwerkverbindungen 20, 22, 24 und 26 können uni- oder bidirektional sein. Eine bidirektionale Netzwerkverbindung besitzt gewisse Vorteile, wie später noch erläutert wird.
-
Die Kameras 18 und 14 sind zudem mit dem Fahrzeugbus (KFZ-Bus) 28 kommunikationsmäßig verbunden, über den sie beispielsweise in ein Fahrerassistenzsystem eingebunden sein können und mit einem Steuerrechner des Assistenzsystems Daten austauschen können. Die Kameras 12, 14, 16 und 18 können beispielsweise Teil eines Top-View- oder Surround-View-Systems und so ausgerichtet sein, dass sie das gesamte Umfeld eines Fahrzeugs erfassen können.
-
Jede Kamera 12, 14, 16 und 18 weist jeweils eine eigene Bildverarbeitungseinheit auf, welche die von der Kamera erfassten Bilder sowie von anderen Kameras erfasste Bilder verarbeiten kann. Die von der Einheit durchgeführte Bildverarbeitung ist vorzugsweise an die Aufgabenstellung des Kamerasystems angepasst; beispielsweise kann sie dazu ausgebildet sein, Objekte im Umfeld des Fahrzeugs zu erkennen und Listen erkannter Objekte, sogenannte Objektlisten über den Fahrzeugbus 28 an ein Fahrerassistenzsystem mit aktiver Fahrdynamikbeeinflussung zu übermitteln. Weiterhin sind die Kameras 12, 14, 16 und 18 so konfiguriert, dass sie Bildverarbeitungsaufgaben an andere Kameras des Systems auslagern oder Bildverarbeitungsergebnisse wie Objektlisten an andere Kameras des Systems übertragen können, um so die durch die Bildverarbeitung entstehende Rechenlast im Kamerasystem effizient verteilen bzw. die Rechenlast der Bildverarbeitung von Kameras im Netzwerk verringern zu können.
-
Durch die Ringtopologie des Kamerasystems 10 kann die Ausfallsicherheit erhöht werden. Bei bidirektionalen Netzwerkverbindungen 20, 22, 24 und 26 im System 10 – wie in 1 gezeigt – kann auch bei Ausfall einer Kamera im System die Kommunikation der restlichen Kameras im System aufrechterhalten werden. Fällt beispielsweise die Kamera 12 aus, können die Kameras 14, 16 und 18 dennoch über die Netzwerkverbindungen 22 und 24 miteinander kommunizieren. Sind zwei Kameras 14 und 18 mit dem Fahrzeugbus 28 verbunden, wie in 1, kann zudem auch bei einem Ausfall einer dieser beiden Kameras 14 oder 18 die Kommunikation über den Fahrzeugbus 28 gewährleistet werden.
-
2 zeigt den Aufbau der Kameras 12, 14, 16 und 18 des Systems 10 im Detail: jede der Kameras 12, 14, 16, 18 weist einen Bildsensor 120 (Imager) zum Erfassen von Bildern und Erzeugen digitaler Bilddaten der erfassten Bilder, eine Bildverarbeitungseinheit 122 zum Verarbeiten der vom Bildsensor 120 erzeugten digitalen Bilddaten gemäß einem bestimmten Algorithmus (beispielsweise zur Objekterkennung oder Umfeldüberwachung und –analyse), optional eine Bilddaten-Enkodiereinheit 126 zum Umwandeln der digitalen Bilddaten erfasster oder verarbeiteter Bilder in eine anderes Format und eine Netzwerk-Schnittstelleneinheit 124 zur Kommunikation mit anderen Kameras des Systems 10 auf. Alle Kameras sind in Bezug auf ihre Hardware weitestgehend identisch aufgebaut. Die Kameras 14 und 18 weisen zudem noch eine Schnittstelle zum Koppeln mit dem Fahrzeugbus 28 auf. Weiterhin weist die Kamera 18 noch einen (optionalen) Videodatenausgang 30 auf, über den sie mit einem Anzeigesystem verbunden werden kann. Im Prinzip können alle Kameras vollkommen identisch aufgebaut sein, insbesondere können alle Kameras eine Fahrzeugbus-Schnittstelle und einen Videodatenausgang aufweisen. Für den Aufbau- insbesondere für die Bildvorverarbeitung – können ASICs (Application Specific Integrated Circuits) verwendet werden, für die sich aufgrund der höheren Stückzahl eine spezielle Entwicklung lohnt.
-
Wie bereits erwähnt kann vom Kamerasystem 10 eine Bildausgabe erfolgen. Hierzu kann die Kamera 18, die räumlich am nächsten zu einer Anzeige im Fahrzeuge platziert ist, die mit dem System 10 erfassten Bilder (Kamerabilder) zur Anzeige weiterleiten. Hierdurch kann die Verkabelung im Fahrzeug effizienter gestaltet werden. Wenn der aus den Netzwerkverbindungen 20, 22, 24 und 26 gebildete Ringbus auf Ethernet beruht, liegen heutige Bandbreitenbeschränkungen für die Übertragung im Fahrzeug bei typischer Weise 100 MBit/s. Da die Bilder für die Anzeige eine hohe Komprimierung erlauben, können sie auch bei einer derartigen erwähnten Bandbreitenbeschränkung im Ringbus transportiert werden, um sie dann bei der Kamera 18 über den Videodatenausgang 30 auszuleiten, die im Fahrzeug am nächsten zur Anzeige angeordnet ist (z.B. die Frontkamera).
-
Durch den Aufbau der Kameras 12, 14, 16 und 18 und den Ringbus ermöglicht das Kamerasystem 10 – wie bereits erwähnt – eine verteilte Bildverarbeitung (hierin auch als verteiltes Rechnen bezeichnet, da digitale Bildverarbeitung komplexe Rechenoperationen umfasst). Diesbezüglich sind zwei Aspekte zu beachten: die verteilte Rechnen kann räumlich verteilt sein, d.h. verschiedene Rechenoperationen im Rahmen einer Bildverarbeitung können auf mehrere Kameras im System verteilt werden; außerdem kann das verteilte Rechnen auch zeitlich verteilt werden (zeitliches Multiplexen), beispielsweise um eine Energieeinsparung bei der Bildverarbeitung zu (Lasten der Bearbeitungszeit) zu erzielen. Dies kann z.B. in der Form ablaufen, dass jeweils nur eine Kamera zu einem bestimmten Zeitpunkt aktiv ist und eine Bildverarbeitung oder Bildberechnung ausführt, und danach zur nächsten Kamera gewechselt wird und so weiter. Dadurch wäre eine Leistungseinsparung bei 4 Kameras etwa um bis zu einem Faktor von 4 denkbar. Bei ausreichend Rechenleistung der in den Kameras implementierten Bildverarbeitungseinheiten wäre es ebenfalls möglich, den Berechnungszyklus inklusive Bildeinzug entsprechend kürzer als einen Systemzyklus zu gestalten, womit in einem Systemzyklus auch eine sequentielle Berechnung aller Kamerabilder denkbar wäre.
-
Das Kamerasystem 10 kann mit einer vorgegebenen Zykluszeit bzw. einem Zyklus entsprechend einem Takt arbeiten, d.h. alle im System 10 durchgeführten Operationen werden entsprechend dem vorgegebenen Zyklus ausgeführt, wodurch den Kameras 12, 14, 16 und 18 vorgegebene Zykluszeiten zur Verfügung stehen, entsprechend Taktperioden in einem getakteten Systemen. Der Zyklus kann so bemessen sein, dass bestimmte Operationen der Kameras, beispielsweise eine Bildaufnahme oder -erfassung oder eine bestimmte Rechenoperationen im Rahmen der von den Kameras ausgeführten Bildverarbeitung innerhalb eines Zyklus erfolgt bzw. durchgeführt wird. Der Zyklus kann somit wie ein vorgegebener Systemtakt verstanden werden. Der Zyklus kann von einer Kamera des Systems über den Ringbus vorgegeben werden, oder auch über den Fahrzeugbus, oder von entsprechenden Taktgebern in den einzelnen Kameras.
-
Im Folgenden wird nun eine Ausführungsform des erfindungsgemäßen Kamerasystems mit einem sogenannten Doppelframekonzept beschrieben, bei dem von einer Kamera auch Nachbarbilder der in der Ringtopologie benachbarten Kameras genutzt werden: Bei einer bidirektionalen Übertragung zwischen den Kameras und einem geeigneten Doppelframekonzept (Framesequenz A-B-A-B.....), kann jede Kamera immer Ihr eigenes Bild und die Bilder der beiden benachbarten Kameras zur Bildverarbeitung zu Verfügung haben. Mit dem Doppelframekonzept können beispielsweise Bilder mit unterschiedlichen Kameraparametern wie Belichtungszeiten, Kennlinien, Auflösungen etc. erfasst werden. Beispielsweise kann eine Kamera jeweils zwei aufeinanderfolgende Bilder mit unterschiedlichen Parametern wie einer kurzen und einer langen Belichtungszeit (Frame A bzw. B) erfassen. Die mit unterschiedlichen Parametern erfassten Bilder können dann für verschiedene Anwendungen verwendet werden, beispielsweise eine Fahrspurerkennung (Bilder mit langer Belichtungszeit, Frame A) und eine Verkehrszeichenerkennung (Bild mit kurzer Belichtungszeit, Frame B). Die mit unterschiedlichen Kameraparametern erfassten Bilder bzw. Frames können dann Anwendungs-abhängig auf verschiedene Kameras im System verteilt werden, um so die Rechenlast optimal auf das System aufzuteilen.
-
Ein Beispiel des Doppelframekonzepts soll nun im Folgenden verdeutlicht werden: Frame A: die Kameras 1 u. 3 (1) bzw. 18 und 14 (2) nehmen ein Bild auf, und gleichzeitig empfangen sie das von den Kamera 4 und 2 (1) bzw. 16 und 12 (2) aufgenommen Bild. Frame B: die Kameras 2 u. 4 (1) bzw. 12 und 16 (2) nehmen ein Bild auf, und gleichzeitig empfangen sie das von Kamera 1 und 3 (1) bzw. 18 und 14 (2) aufgenommen Bild. Die Richtung der Bildübertragung zwischen den Kameras dreht sich damit mit jedem Frame um. Für die Berechnung bzw. Bildverarbeitung steht den Kameras jeweils die Zeit von 2 Frames zur Verfügung. Es ist auch ein echtes Doppelframekonzept denkbar, bei dem beide Kameras immer Frame A u. B aufnehmen. Jedoch z.B. die Kameras 1 u.3 (18, 14) auf Bild A rechnen und Bild B nur weiter geben. Die Kameras 2 und 4 (12, 16) rechnen nur auf Bild B und geben Bild A nur weiter.
-
Gemäß einer weiteren Ausführungsform des erfindungsgemäßen Kamerasystem kann auch eine zeitlich versetzte Bildaufnahme vorgesehen sein: Hier sind wieder verschiedene Ausprägungen vorstellbar: beispielsweise kann ein Bild gleichzeitig mit der Aufnahme weitergeleitet werden. Ein Bild kann auch, da es ohnehin für die interne Prozessierung zwischengespeichert werden muss, ausgegeben werden, nachdem es aufgenommen wurde. Die Bildausgabe kann in diesem Fall gleichzeitig zur Bildaufnahme auf der Empfängerkamera erfolgen.
-
Abschließend wird noch ein Ausführungsbeispiel der Erfindung erläutert, bei dem alternativ oder zusätzlich zu einer Übertragung von erfassten Bildern Bildverarbeitungsergebnisse in Form von Objektlisten an benachbarte Kameras im System übertragen werden. hierzu kann beispielsweise eine Frontkamera, die mit einem 180°-Erfassungsbereich den Bereich vor einem Fahrzeug erfasst und eine Bildverarbeitung zur Objekterkennung durchführt, eine Objektliste mit den erkannten Objekten wie beispielsweise einer Fahrspur und Seitenbereichen mit Gras an eine benachbarte Seitenkamera übertragen, die dann anhand der von der Frontkamera empfangenen Objektliste ihre eigene Bildverarbeitung der eigenen erfassten Bilder zum Erkennen eines Seitenstreifens mit Gras effizienter ausführen kann, beispielsweise indem sie keine Suche in den erfassten Bildern nach dem Seitenstreifen mit Gras durchführen muss, sondern anhand der empfangenen Objektliste direkt eine Verifikation des Seitenstreifens mit Gras in den eigenen erfassten Bildern ausführen kann. Hierdurch kann die Bildverarbeitungs-Rechenlast verringert werden.
-
Das erfindungsgemäße Kamerasystem besitzt vor allem die folgenden Vorteile: Alle Kameras können bezüglich ihrer Hardware weitestgehend identisch aufgebaut sein. Im System wird ein verteiltes Rechnen der Bildverarbeitung durchgeführt, so dass die Leistung verteilt wird, oder es wird die Bildverarbeitungs-Rechenlast einzelner Kameras verringert. Das Kamerasystem kann prinzipiell ohne Zentralsteuergerät implementiert werden. Eine oder mehrere Kameras können am Fahrzeugbus angeschlossen sein und so in ein Fahrerassistenzsystem eingebunden werden.
-
Bezugszeichenliste
-
- 10
- Kamerasystem
- 12
- erste Kamera
- 120
- Bildsensor
- 122
- Bildverarbeitungseinheit
- 124
- Netzwerk-Schnittstelleneinheit
- 126
- Bilddaten-Enkodiereinheit
- 14
- zweite Kamera
- 16
- dritte Kamera
- 18
- vierte Kamera
- 20
- bidirektionale Netzwerkverbindung
- 22
- bidirektionale Netzwerkverbindung
- 24
- bidirektionale Netzwerkverbindung
- 26
- bidirektionale Netzwerkverbindung
- 28
- Fahrzeugbus
- 30
- Videodatenausgang
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010030068 A1 [0003, 0008]
