DE102010030068A1

DE102010030068A1 - Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden

Info

Publication number: DE102010030068A1
Application number: DE102010030068A
Authority: DE
Inventors: Wolfgang Hintermaier
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2010-06-15
Filing date: 2010-06-15
Publication date: 2011-12-15

Abstract

Es wird ein Verfahren angegeben zur Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden, bei dem die Bilddaten transkodiert werden und bei dem die transkodierten Bilddaten über eine Funkschnittstelle von dem Fahrzeug übertragen werden. Weiterhin werden eine entsprechend Vorrichtung sowie ein System mit mindestens einer derartigen Vorrichtung vorgeschlagen.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verarbeitung von Bilddaten, wobei die Bilddaten in einem Fahrzeug aufgenommen werden. Auch wird ein entsprechendes System vorgeschlagen.
In einem Fahrzeug werden Kameras eingesetzt, um Bilddaten von einer Umgebung des Fahrzeugs aufzunehmen anhand derer der Fahrer beispielsweise während des Einparkens oder beim Fahren unterstützt werden kann. Hierzu ist vorzugsweise eine Steuereinheit in dem Fahrzeug vorgesehen, die die Bilddaten der Kameras verarbeitet und für den Fahrer entsprechend aufbereitet. Beispielsweise kann mittels mehrerer Kameras, die an unterschiedlichen Positionen des Fahrzeugs angeordnet sind, für den Fahrer eine Abbildung des Fahrzeugs mit den Objekten der Umgebung aus der Vogelperspektive (von oben auf das Fahrzeug, auch bezeichnet als ”Topview”-Ansicht) generiert werden, die dem Fahrer beispielsweise eine genaue Positionierung des Fahrzeugs in eine Parklücke ermöglicht.
Die Kameras sind beispielsweise als Kamerasysteme realisiert, die Bilddaten über ein paketorientiertes Netzwerk an ein Steuergerät senden. Bereits in der Kamera kann eine Komprimierung der Bilddaten erfolgen, z. B. gemäß einer H.264- oder einer JPEG-Spezifikation. Die Kameras können von dem Steuergerät über das paketorientierte Netzwerk konfiguriert oder gesteuert werden. Für eine Kommunikation zwischen dem Steuergerät und der Kamera können unterschiedliche Protokolle eingesetzt werden, z. B. ein RealTime Streaming Protokoll (RTSP), ein RealTime Protokoll (RTP) oder ein Universal Plug and Play (UPnP) Protokoll.
Hierbei ist es von Nachteil, dass die Auswertung der Bilddaten in dem Fahrzeug bzw. in den Steuergeräten des Fahrzeugs erfolgt. Hierfür ist eine spezialisierte Hardware erforderlich, die teuer ist und zusätzlich das Gewicht des Fahrzeugs erhöht. Ein weiterer Nachteil besteht darin, dass die Hardware unflexibel ist und neue Funktionen (basierend auf den Bilddaten) nicht ohne weiteres mit der bereits indem Fahrzeug vorhandenen Hardware realisierbar sind.
Die Aufgabe der Erfindung besteht darin, die vorstehend genannten Nachteile zu vermeiden und insbesondere eine Lösung anzugeben, die eine effiziente Auswertung von Bilddaten, die durch ein Fahrzeug aufgenommen werden, ermöglicht.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich auch aus den abhängigen Ansprüchen.
Zur Lösung der Aufgabe wird ein Verfahren zur Verarbeitung von Bilddaten angegeben, wobei die Bilddaten durch ein bzw. mittels eines Fahrzeugs aufgenommen werden,

– bei dem die Bilddaten transkodiert werden;
– bei dem die transkodierten Bilddaten über eine Funkschnittstelle von dem Fahrzeug übertragen werden.

Die Transkodierung der Bilddaten umfasst eine beliebige Veränderung, Vorverarbeitung, Transformation oder Anpassung der aufgenommenen Bilddaten. Die Bilddaten können als Einzelbilder, als Bildfolgen oder als Bewegt-Bilder, insbesondere als ein komprimierter Bilddatenstrom, vorliegen oder bereitgestellt werden.
Grundsätzlich können die Bilddaten komprimiert oder unkomprimiert sein. Auch können die Bilddaten verlustfrei oder verlustbehaftet komprimiert werden.
Es sei angemerkt, dass die Bilddaten in dem Fahrzeug, an dem Fahrzeug oder von dem Fahrzeug, z. B. von Komponenten des Fahrzeugs (z. B. Kameras), aufgenommen werden können.
Hierbei ist es von Vorteil, dass durch die Umsetzung, Veränderung oder Anpassung (Transkodierung) der Bilddaten Eigenschaften der Funkschnittstelle effizient genutzt werden können. Beispielsweise kann abhängig von einer von der Funkschnittstelle bereitgestellten Bandbreite die Transkodierung so erfolgen, dass diese Bandbreite möglichst effizient ausgenutzt wird. Somit können die Bilddaten abhängig von der jeweils genutzten Schnittstelle effizient an ein Backend übertragen werden. Dort können die Bilddaten verarbeitet werden, so dass z. B. der Aufwand für eine Bildverarbeitung nicht lokal in dem Fahrzeug anfällt bzw. die dafür notwendige Rechenleistung nicht von dem Fahrzeug bereitgestellt werden muss. Dadurch können einerseits aufwändige und teure Spezialkomponenten in dem Fahrzeug eingespart werden, andererseits ist es möglich, die Erkennungsleistung und die mit der Erkennung von Bilddaten und/oder Objekten bzw. Kontextwissen (z. B. Wetterverhältnisse) zusammenhängende Funktionalität lediglich über das Backend dem Fahrzeug bereitzustellen; damit entfällt eine aufwändige und schwer zu realisierende Aktualisierung von Hardware und/oder Software in dem Fahrzeug.
Das Backend umfasst mindestens einen Rechner bzw. mindestens ein Rechnernetzwerk und kann mit mindestens einem weiteren Netzwerk, z. B. dem Internet oder einem Mobilfunknetz, verbunden sein. Bei dem Backend kann es sich um mindestens einen Rechner eines Dienstanbieters und/oder des Fahrzeugherstellers handeln.
Beispielsweise könnte das Backend mit zunehmender Bandbreite der Funkschnittstelle die Funktion bereitstellen, dass Bilddaten eines Ziels einer Navigation von einer Kamera des Fahrzeugs an das Backend übertragen werden und der Fahrer darauf aufmerksam gemacht wird, wenn das Ziel optisch erreicht ist. Auch ist es möglich, Verkehrsschilder, Ampeln oder andere (Verkehrs-)Hinweise mit der Kamera aufzunehmen und an das Backend zu übertragen.
Derartige Funktionalitäten können zentral und/oder verteilt (z. B. mittels ”Cloud Computing”) in dem Backend bereitgestellt werden, eine Aktualisierung der Hardware in dem Fahrzeug ist nicht notwendig, weil die Erkennung der Bilddaten (z. B. zentral) in dem Backend erfolgt. Ein weiterer Vorteil besteht darin, dass das Backend über größere (Bild-)Ressourcen (z. B. Speicherplatz und/oder Rechenkapazität) verfügt, die z. B. die Chancen einer visuellen Erkennung eines Objekts deutlich erhöhen. Ergänzend sei angemerkt, dass zwar eine Aktualisierung der Software in dem Fahrzeug mit überschaubarem Aufwand durchgeführt werden kann. Ein Tausch der Hardware – z. B. zur Bereitstellung zusätzlicher Funktionalitäten oder Applikationen – ist aber nicht erforderlich, weil z. B. eine für die Erkennung von Objekten benötigte hohe Rechenleistung von dem Backend bereitgestellt wird.
Eine Ausgestaltung besteht darin, dass die Bilddaten von mindestens einer in oder an dem Fahrzeug angeordneten Kamera aufgenommen werden.
Es sei angemerkt, dass die Transkodierung von einem Steuergerät vorgenommen werden kann, das mit der mindestens einen Kamera über ein Netzwerk, insbesondere ein paketorientiertes Netzwerk, verbunden ist. Das Steuergerät überträgt beispielsweise die transkodierten Bilddaten an das Backend.
Eine Weiterbildung ist es, dass die Bilddaten umfassen:

– mindestens ein Einzelbild oder Standbild,
– mindestens eine Bildfolge,
– Bewegt-Bilder und/oder
– mindestens einen Film oder Filmabschnitt.

Hierbei sei angemerkt, dass die Bilddaten von mindestens einer Kamera aufgezeichnet werden können abhängig von einer vorgegebenen Bedingung oder einem Ereignis. Wenn beispielsweise ein Rückwärtsgang des Fahrzeugs eingelegt wird, kann eine Rückfahrkamera aktiviert werden. Ebenso ist es möglich, dass bei Unterschreiten einer vorgegebenen Geschwindigkeit und/oder bei Erreichen vorgegebener Koordinaten (z. B. einer Zieladresse oder einem Parkhaus) mindestens eine Kamera aktiviert wird, um das Umfeld des Fahrzeugs aufzunehmen und so z. B. einen Einparkvorgang zu erleichtern.
Insbesondere ist es eine Option, dass z. B. von dem Fahrzeug über Seitenkameras Bilder an das Backend übertragen werden. Diese Bilder können zusammen mit einer Positionsinformation (z. B. ermittelt anhand von GPS-Daten) des Fahrzeugs übertragen werden. Entsprechend ist es möglich, z. B. bei einer Suche nach einem Parkplatz, Informationen von dem Backend basierend auf zuvor (z. B. von einem anderen Fahrzeug) übertragenen Bilddaten zu erhalten.
Beispielsweise kann das Ereignis auf einer Geschwindigkeit des Fahrzeugs basieren. So ist es z. B. möglich, dass bei einer Fahrt in der Stadt eine Übertragung einer reduzierten Menge an Bilddaten erfolgt im Gegensatz zu einer Fahrt über Land oder auf einer Autobahn.
Eine andere Weiterbildung ist es, dass die Bilddaten abhängig von einem Parameter der Funkschnittstelle transkodiert werden.
Insbesondere ist es eine Weiterbildung, dass der Parameter der Funkschnittstelle umfasst:

– eine maximale Bandbreite der Funkschnittstelle,
– eine verfügbare Bandbreite der Funkschnittstelle, Kosten für die Datenübertragung und/oder
– Dienstgütemerkmale der Funkschnittstelle.

So kann die Transkodierung eine Ratenanpassung umfassen bzw. mit der Transkodierung kann die Datenrate der von dem Fahrzeug zu dem Backend übertragenen Bilddaten angepasst werden.
Auch ist es eine Weiterbildung, dass die Bilddaten transkodiert werden, indem eine Protokollumsetzung erfolgt.
Insbesondere kann zwischen dem Fahrzeug und dem Backend ein anderes Protokoll genutzt werden als zwischen der Kamera und einem Steuergerät des Fahrzeugs. Insofern kann z. B. das Steuergerät des Fahrzeugs eine Transkodierung in das Protokoll, das zwischen dem Fahrzeug und dem Backend eingesetzt wird, vornehmen.
Ferner ist es eine Weiterbildung, dass die Bilddaten transkodiert werden mittels mindestens eines der folgenden Schritte:

– eine Veränderung der Auflösung;
– eine Veränderung eines Komprimierungsgrads;
– eine Veränderung eines Komprimierungstyps; eine Veränderung der Bilder pro Zeiteinheit;
– eine Veränderung eines Komprimierungsparameters.

Insbesondere ist es möglich, dass z. B. I-Frames gemäß einer H.264- oder MPEG-Spezifikation in I- und P-Frames oder dass JPEG-Bilddaten in I- und P-Frames transkodiert werden.
Weiterhin ist es möglich, aus einer z. B. gemäß der H.264- oder MPEG-Spezifikation codierten Videosequenz nur (bestimmte oder einen Teil der) I-Frames an das Backend zu übertragen.
Im Rahmen einer zusätzlichen Weiterbildung umfasst die Funkschnittstelle eine der folgenden Schnittstelle:

– eine Mobilfunkschnittstelle;
– eine WLAN-Schnittstelle.

Eine nächste Weiterbildung besteht darin, dass

– die transkodierten Bilddaten über die Funkschnittstelle zu einem Backend übertragen werden,
– die empfangenen transkodierten Bilddaten in dem Backend verarbeitet werden.

Eine Ausgestaltung ist es, dass die transkodierten Bilddaten in dem Backend gespeichert werden.
Insbesondere ist es möglich, dass z. B. ein Teil der aus den Bilddaten erhaltenen Informationen gespeichert wird und für künftige Anfragen anderer Fahrzeuge genutzt wird. Beispielsweise können diejenigen Informationen gespeichert werden, die mit großer Sicherheit erkannt werden konnten (z. B. ein Verkehrsschild) bzw. kann die anhand der Verarbeitung detektierte Information, z. B. ”Verkehrsschild: Geschwindigkeitsbegrenzung 60 km/h” (alleine oder zusammen mit den Bilddaten) gespeichert werden. Hierdurch kann ein Kontextwissen erstellt werden, dass anderen Fahrzeugen gegebenenfalls bereitgestellt werden kann.
Somit ist es möglich, dass in dem Backend die transkodierten Bilddaten, Teile der transkodierten Bilddaten und/oder Informationen, die aus den transkodierten Bilddaten abgeleitet oder ermittelt wurden, gespeichert werden.
Ferner ist es eine Option, dass die Bilddaten und/oder die detektierte Information für eine vorgegebene Zeitdauer gespeichert und danach gelöscht wird/werden.
Eine alternative Ausführungsform besteht darin, dass anhand der empfangenen transkodierten Bilddaten eine Information detektiert wird und diese Information an das Fahrzeug übertragen wird.
Optional kann die an das Fahrzeug übertragene Information zumindest vorübergehend in dem Fahrzeug gespeichert werden.
Insbesondere kann die detektierte Information zum Aufbau einer Wissensbasis verwendet werden. Eine solche Wissensbasis kann z. B. anderen Fahrzeugen über das Backend zugänglich gemacht werden.
Diese Information kann z. B. ein Verkehrsschild betreffen und/oder eine Anweisung für den Fahrer umfassen, die geeignet in dem Fahrzeug, z. B. in einem Head-Up-Display, eingeblendet wird.
Eine nächste Ausgestaltung ist es, dass mit den transkodierten Bilddaten über die Funkschnittstelle eine Ortsinformation betreffend die Bilddaten übertragen wird.
Somit kann das Fahrzeug, z. B. mittels eines Navigationssystems ermittelte Ortinformationen (Positions- oder GPS-Daten) zusammen mit den transkodierten Bilddaten an das Backend übermitteln. Das Backend kann die Ortsinformation in der Auswertung berücksichtigen und beispielsweise (von anderen Fahrzeugen) gesammelte (und in dem Backend (zwischen-)gespeicherte) Informationen betreffend die übermittelte Ortsinformation nutzen, um ggf. eine Nachricht bzw. Information an das Fahrzeug (zurück) zu übertragen. So ist es von Vorteil, dass auch eine ein Verkehrszeichen betreffende Information dem Fahrzeug übermittelt werden kann, selbst wenn aufgrund der transkodierten und von dem Backend empfangenen Bilddaten das (z. B. von Schnee bedeckte) Verkehrszeichen nicht detektierbar wäre, sofern bereits vorab mindestens ein Fahrzeug (insbesondere) zeitnah entsprechende (erkennbare) Bilddaten bereitgestellt hatte. Es werden beispielsweise Informationen in dem Backend (z. B. für eine vorgegebene Zeitdauer, um eine gewisse Aktualität zu gewährleisten) gesammelt und basierend auf diesen gesammelten Informationen und der übermittelten Ortsinformation kann eine entsprechend Rückmeldung an das Fahrzeug erfolgen.
Eine andere Ausgestaltung besteht darin, dass die transkodierten Bilddaten genutzt werden, um

– einen Parkplatz zu finden;
– ein aktuelles Wetter zu bestimmen;
– einen Unfall, eine Verkehrssituation und/oder eine Verkehrsbehinderung zu detektieren.

Somit können die Bilddaten derart analysiert werden, dass freie Parkplätze (z. B. zusammen mit einer ebenfalls übermittelten GPS-Information) bestimmt werden. Diese Informationen betreffend freie Parkplätze können von dem Backend anderen Fahrzeugen bereitgestellt werden.
Entsprechend kann ein aktuelles Wetter an einem Ort A anhand von an das Backend übermittelten Bilddaten von dem Backend bestimmt werden und einem Fahrzeug, dessen Nutzer sich für dieses Wetter an dem Ort A interessiert, angezeigt oder auf eine sonstige Art mitgeteilt werden (vergleichbar einer Webcam-Applikation).
Auch kann ein Unfall oder ein Stau mittels der übermittelten Bilddaten erkannt und diese Information weiteren Fahrzeugen von dem Backend bereitgestellt werden.
Die oben genannte Aufgabe wird auch gelöst mittels einer Vorrichtung umfassend eine Verarbeitungseinheit, die derart eingerichtet ist, dass das hierin beschriebene Verfahren ausführbar ist.
Die Verarbeitungseinheit kann z. B. eine analoge oder digitale Verarbeitungseinheit sein, sie kann als ein Prozessor und/oder eine zumindest teilweise festverdrahtete Schaltungsanordnung ausgeführt sein, die derart eingerichtet ist, dass das Verfahren wie hierin beschrieben durchführbar ist.
Der Prozessor kann jede Art von Prozessor oder Rechner oder Computer mit entsprechend notwendiger Peripherie (Speicher, Input/Output-Schnittstellen, Ein-Ausgabe-Geräte, etc.) sein oder einen solchen umfassen. Weiterhin kann eine festverdrahtete Schaltungseinheit, z. B. ein FPGA oder ein ASIC oder eine sonstige integrierte Schaltung, vorgesehen sein.
Es ist eine Ausgestaltung, dass die Vorrichtung ein Steuergerät des Fahrzeugs ist.
Auch wird die oben genannte Aufgabe gelöst mittels eines Systems umfassend mindestens eine der hier beschriebenen Vorrichtungen, wobei die Vorrichtung transkodierte Bilddaten an das Backend überträgt und das Backend eine Information basierend auf den detektierten transkodierten Bilddaten an die Vorrichtung übermittelt.
Weiterhin wird die vorstehend genannte Aufgabe mittels eines Fahrzeugs umfassend mindestens eine solche Vorrichtung oder mindestens ein solches System gelöst.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnungen dargestellt und erläutert.
Es zeigen:
1 ein Blockdiagramm, bei dem mehrere Kameras in einem Fahrzeug über ein paketorientiertes Netzwerk mit einem Endgerät und/oder mit einer Headunit verbunden sind;
2 ein schematisches Blockdiagramm mit Komponenten eines Fahrzeugs zur Veranschaulichung einer Übertragung von aufgenommenen und transkodierten Bilddaten an ein Backend;
3 eine schematische Beispielarchitektur eines Fahrzeugs mit mehreren Kameras, die über ein Netzwerk Bilddaten an eine Headunit liefern, wobei die Headunit die erhaltenen Bilddaten transkodiert abhängig von Parametern einer Funkschnittstelle und die transkodierten Bilddaten an ein Backend überträgt;
4 ein Nachrichtenflussdiagramm zwischen einem Fahrzeug und einem Backend, wobei die Kommunikation zwischen dem Fahrzeug und dem Backend vorzugsweise über eine Funkschnittstelle erfolgt.
In einem Fahrzeug können mehrere Kameras installiert sein, die (komprimierte) Bilddaten (einzelne Bilder oder z. B. komprimierte Bildfolgen) liefern, die z. B. von einem Steuergerät transkodiert und an einen Rechner (oder ein Rechnernetz) mittels einer Funkschnittstelle (z. B. WLAN, Mobilfunk, o. ä.) übertragen werden.
Der Rechner kann Teil eines Backends sein. Das Backend umfasst mindestens einen Rechner bzw. mindestens ein Rechnemetzwerk und kann mit mindestens einem weiteren Netzwerk, z. B. dem Internet oder einem Mobilfunknetz, verbunden sein. Bei dem Backend kann es sich um mindestens einen Rechner eines Dienstanbieters und/oder des Fahrzeugherstellers handeln.
Auf dem Rechner bzw. in dem Backend erfolgt die Verarbeitung der Bilddaten und der Rechner übermittelt optional basierend auf den verarbeiteten Bilddaten eine Nachricht an das Fahrzeug.
Sowohl die Bilddaten als auch die Nachricht können basierend auf einer über die Funkschnittstelle verfügbaren Bandbreite angepasst werden. Beispielsweise können bei einer geringen Bandbreite der Funkschnittstelle anstatt vieler Bilder oder anstatt von Bildern mit hoher Auflösung wenige (Einzel-)Bilder und/oder Bilder geringer Auflösung an den Rechner bzw. das Backend übertragen werden. Insbesondere kann ein (z. B. nahezu) kontinuierlicher von einer Kamera aufgenommener Bilddatenstrom so reduziert werden, dass nur jedes n-te Bild zu dem Backend übertragen wird.
Die Anpassung der aufgenommenen Bilddaten kann in dem Fahrzeug mittels einer Transkodierung erfolgen, die Parameter (z. B. Bandbreite, Kosten, Verfügbarkeit, etc.) einer Verbindung zu dem Backend berücksichtigt und die Bilddaten zur Weiterleitung an das Backend entsprechend modifiziert. Die Transkodierung kann hierbei insbesondere mindestens eine der folgenden Maßnahmen umfassen:

a) eine Veränderung (z. B. Verringerung) Auflösung;
b) eine Veränderung (z. B. Reduzierung) der Bilder pro Zeiteinheit;
c) eine Veränderung (z. B. Erhöhung) eines Komprimierungsgrads;
d) eine Veränderung der Art der Komprimierung.

Auch Kombinationen aus den vorstehend genannten Maßnahmen sind möglich. Insbesondere kann z. B. die Auflösung reduziert werden und zugleich kann die Anzahl der Bilder pro Zeiteinheit erhöht werden, indem sogenannte P-Frames (prädiktiv kodierte Bilder) bestimmt und eingefügt werden. Alternativ können nur I-Frames oder es kann ein Teil der I-Frames an das Backend gesendet werden.
1 zeigt ein Blockdiagramm, bei dem mehrere Kameras 101 bis 104 (auch bezeichnet als Kamerasysteme) in einem Fahrzeug über ein paketorientiertes Netzwerk 105 mit einem Endgerät 106 und/oder mit einer Headunit 107 verbunden sind.
Insbesondere kann/können in dem Fahrzeug acht Außenkameras und/oder mindestens eine Innenkamera vorgesehen sein. Die Innenkameras können Insassen, z. B. den Fahrer, überwachen, indem entsprechend Bilddaten an das Backend übertragen werden und von dem Backend eine Müdigkeit des Fahrers erkannt wird. Auch ist es möglich, dass mindestens eine der Kameras eine Nachtsichtkamera ist.
Jede Kamera 101 bis 104 umfasst eine Einheit zur Bildaufnahme (ggf. mit einer Digitalisierung), optional ein Mittel zur Bild-Vorverarbeitung, eine Einheit zur Bildverarbeitung, eine Einheit zur Bildkomprimierung und eine Paketiereinheit. Die Kamera 101 bis 104 kann Bilddaten aufnehmen, diese geeignet aufbereiten und über das paketorientierte Netzwerk 105 bereitstellen. Diese bereitgestellten Bilddaten können von dem Endgerät 106 und/oder von der Headunit 107 empfangen und entsprechend verarbeitet werden.
Das Endgerät 106 sowie die Headunit 107 weisen beispielhaft mindestens eine Anwendung auf, die Bilddaten benötigt. Die erhaltenen Bilddaten werden mittels einer Einheit zur Depaketierung und einer Einheit zur Dekomprimierung verarbeitet. Das Endgerät 106 sowie die Headunit 107 können unterschiedliche Fahrassistenzfunktionen wahrnehmen und unterschiedliche Bilddaten von unterschiedlichen Kameras auswerten.
Optional kann, um eine Verbesserung der Netzperformanz zu erreichen, eine Verkehrsflusskontrolle durchgeführt werden (z. B. mittels eines Leaky-Gucket- oder eines Token-Gucket-Verfahrens).
Das Netzwerk kann z. B. ein paketorientiertes Netzwerk umfassen, insbesondere ein Ethernet oder ein (Feld-)Bussystem (z. B. FlexRay). Insbesondere können die Kameras in ein bestehendes paketorientiertes Netzwerk eingebunden werden.
Das Netzwerk kann mit unterschiedlichen Transportprotokollen genutzt werden, z. B. einem Real-Time Transport Protokoll (RTP), einem User Datagram Protokoll (UDP) und/oder einem Internet Protokoll (IP).
Wird eine Kamera an ein bestehendes Netzwerk angebunden, so kann eine Echtzeitanforderung für den Datenverkehr mittels eines Dienstgüte-Mechanismus (Quality of Service (QoS) Mechanismus) sichergestellt werden. Beispielsweise können hierfür die Datenpakete geeignet priorisiert werden.
Das Netzwerk kann unterschiedliche Topologien aufweisen, z. B. eine Linientopologie, eine Ringtopologie oder eine Sterntopologie.
An dem Netzwerk können verschiedene Steuergeräte angeschlossen sein. Insbesondere ist es möglich, dass eine Netzwerkkomponente, z. B. ein Switch, zusammen (integriert) mit einem Steuergerät angeordnet ist. Entsprechend können Netzwerkkomponenten und Steuergeräte separat ausgeführt sein.
An das Netzwerk können verschiedene Steuergeräte (z. B. Endgeräte) angeschlossen werden. Jedes Steuergerät kann die Daten von einer Kamera oder von mehreren Kameras erhalten und verarbeiten. Entsprechend können Funktionen auf verschiedene Steuergeräte verteilt werden.
Beispielsweise können in einem Fahrzeug eine Vielzahl von Kameras 101 bis 104 vorgesehen sein, die ebenso wie zwei Steuergeräte 105, 107, mit dem Netzwerk 105 verbunden sind. Die Steuergeräte 105, 107 verarbeiten die von den Kameras 101 bis 104 bereitgestellten komprimierten Bilddaten. Beispielsweise werden die komprimierten Bilddaten, die für die bildgebende Fahrerassistenz verwendet werden, an die Headunit 107 geleitet und dort verarbeitet. Die komprimierten Bilddaten für andere Fahrerassistenzanwendungen, z. B. zur Kollisionserkennung und -vermeidung, werden dem Endgerät 106 bereitgestellt.
Wie nachfolgend eingehend ausgeführt wird, kann das Endgerät 106 und/oder die Headunit 107 über eine Einheit zur Transkodierung verfügen, die eine Anpassung einer Datenrate durchführt und die transkodierten Daten über eine Funkschnittstelle an ein Sackend übermittelt.
Auch ist es möglich dass ein anderes Steuergerät die Transkodierung der Videodaten übernimmt. Insbesondere kann es sich hierbei um das für die Datenübertragung zuständige Steuergerät handeln.
2 zeigt ein schematisches Blockdiagramm mit Komponenten eines Fahrzeugs zur Veranschaulichung einer Übertragung von aufgenommenen und transkodierten Bilddaten an ein Backend.
Eine Kamera 201 nimmt die Bilddaten auf. Hierbei sei angemerkt, dass es sich bei den hier erwähnten Kameras auch um Kamerasysteme handeln kann, die an ein Netzwerk anschließbar sind. Ein Beispiel für solch eine Kamera bzw. solch ein Kamerasystem ist in 1 gezeigt und vorstehend erläutert.
Die Bilddaten können komprimierte Bilddaten (z. B. gemäß H.264, MPEG-4, MPEG-7, etc.) sein. Insbesondere können die komprimierten Bilddaten Standbilder (sogenannte I-Frames) oder prädiktiv kodierte Bilder (sogenannte P-Frames) umfassen. Die Kamera 201 kann z. B. nur I-Frames bereitstellen. Auch ist es möglich, dass die Kamera 201 einzelne Bilder zu vorgegebenen Zeitpunkten oder (z. B. regelmäßig) n Bilder pro Zeitintervall aufnimmt. Die aufgenommenen Bilder können z. B. als komprimierte Bilddaten (z. B. gemäß JPEG-Komprimierung) von der Kamera 201 bereitgestellt werden.
Die Kamera 201 überträgt die Bilddaten überein Netzwerk 202 in einen Speicher 203. Bei dem Netzwerk 202 kann es sich um ein Ethernet oder um ein Bus-Netzwerk (z. B. ein MOST-, ein FlexRay- oder ein CAN-Bussystem) handeln.
Bei dem Speicher 203 kann es sich um einen LIFO-Speicher (Last-In-First-Out: zuletzt abgelegte Bilddaten werden zuerst aus dem Speicher gelesen), um einen FIFO-Speicher (First-In-First-Out: zuerst abgelegte Bilddaten werden zuerst aus dem Speicher gelesen), einen Ringpuffer oder um einen beliebigen Speicher handeln.
Eine Einheit zur Transkodierung 204 liest die Daten aus dem Speicher 203, modifiziert die Bilddaten, z. B. abhängig von Parametern einer Funkschnittstelle und überträgt die modifizierten Bilddaten anhand eines Transmitters 205 über die Funkschnittstelle an ein Backend z. B. eines Fahrzeugherstellers oder Dienstanbieters.
Auch ist es möglich, dass die Einheit zur Transkodierung die aus dem Speicher 203 gelesenen Daten verwirft.
Die Einheit 204 kann eine Ratensteuerung umfassen, also die Datenrate der über die Funkschnittstelle zu übertragenden Daten entsprechend anpassen. Beispielsweise können von der Kamera 201 bereitgestellte Bilddaten unterschiedlich stark komprimiert werden. Dabei kann es sich um verlustbehaftete als auch verlustlose Datenkomprimierungen handeln. Steht beispielsweise über die Funkschnittstelle nur eine geringe Bandbreite zur Verfügung und liefert die Kamera 201 einen verlustlos komprimierte Datenstrom mit einer hohen Auflösung (also mit einer zu hohen Datenrate für die verfügbare Funkschnittstelle), so kann mittels der Einheit 204 dieser Datenstrom so angepasst werden, dass zumindest ein Teil der Information des Datenstroms auch über die geringere Bandbreite der Funkschnittstelle zu dem Backend gelangen kann. Hierbei kann z. B. die Auflösung reduziert werden, die Anzahl der Bilder pro Sekunde können reduziert werden (beispielsweise kann nur ein Bild pro 200 ms in einer deutlich reduzierten Auflösung übertragen werden) und/oder ein Komprimierungsgrad kann entsprechend erhöht werden.
Die Übertragung an das Backend erfolgt anhand des Transmitters 205, der auch als ein Transceiver ausgeführt sein kann. Vorzugsweise umfasst das Fahrzeug einen Zugang zu einem Mobilfunknetzwerk, so dass anhand dieser Kommunikationsverbindung dietranskodierten Bilddaten zu dem Backend übertragen werden können.
Hierbei sei angemerkt, dass anstatt des Speichers 203 auch ein beliebiger Speicher genutzt werden kann. Ferner kann der Speicher Teil der Einheit 204 sein oder auch von dieser genutzt werden.
Die Einheit 204 entnimmt aus dem Speicher 203 die zwischengespeicherten Bilddaten, um diese zu transkodieren. Durch die Frequenz der Entnahme der Bilddaten kann eine Rate mit der die Bilder überfragen werden an die verfügbare Datenrate der Funkschnittstelle angepasst werden.
Die Transkodierung kann eine Protokollumsetzung umfassen. Beispielsweise kann zwischen dem Fahrzeug und dem Backend ein MPEG-2 Transport Stream Protokoll eingesetzt werden.
Insbesondere können in der Einheit 204 die folgenden Transkodierungen durchgeführt werden:

– I-Frames gemäß H.264 werden transkodiert in I-Frames und P-Frames gemäß H.264.
– JPEG-Bilddaten werden transkodiert in I-Frames und P-Frames gemäß
H.264.
– Bei Bilddaten, die gemäß einer H.264- oder einer MPEG-Spezifikation vorliegen (also I- und/oder P-Frames aufweisen), können alle oder nur bestimmte I-Frames übertragen werden (insbesondere kann ein Teil der I-Frames verworfen werden).

3 zeigt eine schematische Beispielarchitektur eines Fahrzeugs 311 mit mehreren Kameras 301 bis 306, die über ein Netzwerk 307 Bilddaten an eine Headunit 310 liefern. Die Headunit 310 ist ein beispielhaft gezeigtes Steuergerät des Fahrzeugs, das unterschiedliche Steueraufgaben bzw. Verarbeitungsaufgaben in dem Fahrzeug wahrnehmen kann. Entsprechend können weitere Endgeräte (Steuergeräte) in dem Fahrzeug vorgesehen sein (vergleiche 1). Insbesondere können die Verarbeitungsaufgaben auf mehrere Steuergeräte des Fahrzeugs verteilt werden.
In 3 ist beispielhaft ein Transceiver 308 dargestellt, der über das Netzwerk 307 adressierbar ist und von der Headunit 310 zur Übermittlung von Bilddaten an ein Backend (nicht in 3 dargestellt) über eine Funkschnittstelle (via eine Antenne 309 des Fahrzeugs 311) genutzt werden kann. Beispielhaft umfasst die Headunit 310 eine Einheit zur Transkodierung (vergleiche 2).
Insbesondere kann ein Steuergerät, z. B. ein Transmitter, Bilddaten, z. B. Videos (regelmäßig oder abhängig von Ereignissen) verarbeiten und an das Backend übermitteln.
Die Transkodierung (umfassend insbesondere z. B. die erwähnte Ratenkontrolle) kann in jedem Steuergerät, das an das Netzwerk 307 des Fahrzeugs 311 angeschlossen ist, implementiert sein.
Beispielsweise handelt es sich bei den in 3 gezeigten Kameras um eine Nachtsichtkamera 301, die in der Front des Fahrzeugs 311 angeordnet ist, eine rechte Seitenkamera 304, eine linke Seitenkamera 302, eine rechte Kamera 305, eine linke Kamera 303 und eine Rückfahrkamera 306.
Weiterhin ist es eine Option, dass zusammen mit den Bilddaten Positionsinformationen, z. B. GPS-Daten, von dem Fahrzeug an das Backend übertragen werden.
Die übertragenen Bilddaten können z. B. Verkehrsschilder, Ziele oder sonstige Bilder enthalten, die von dem Backend gesammelt und/oder ausgewertet werden. Insbesondere können die an das Backend übermittelten Bilddaten eine Nachricht von dem Backend an das Fahrzeug auslösen; z. B. wenn ein Verkehrsschild erkannt wurde, wird dem Fahrzeug mitgeteilt, dass eine Geschwindigkeitsbegrenzung von 60 km/h besteht. Diese Information kann z. B. von der Headunit geeignet ausgewertet und auf einer Anzeige des Fahrzeugs zur Information des Fahrers ausgegeben werden.
4 zeigt ein Nachrichtenflussdiagramm zwischen einem Fahrzeug 401 und einem Backend 402. Die Kommunikation zwischen dem Fahrzeug 401 und dem Backend 402 erfolgt vorzugsweise über eine Funkschnittstelle 403, z. B. eine WLAN-Schnittstelle oder eine Mobilfunkschnittstelle.
Das Fahrzeug 401 erhält Bilddaten von (mindestens) einer Kamera und transkodiert diese Bilddaten abhängig von der Bandbreite der Funkschnittstelle 403. Die transkodierten Bilddaten werden zusammen mit einer GPS-Information, die z. B. von einem Navigationssystem bereitgestellt werden, zu dem Backend 402 übertragen. Hierbei wird die vorhandene Bandbreite der Funkschnittstelle 403 effizient ausgenutzt.
Das Backend 402 führt basierend auf den erhaltenen und/oder ausgewerteten Bilddaten mit GPS-Information eine Auswertung durch. Hierbei sei angemerkt, dass eine derartige Auswertung eine Vielzahl von Bilddaten berücksichtigen kann, die bereits z. B. von anderen Fahrzeugen bereitgestellt wurden. So kann abhängig von der GPS-Information, selbst wenn die Bilddaten keine ausreichende Qualität aufweisen und eine Erkennung z. B. eines Verkehrsschilds aufgrund der Bildqualität (z. B. aufgrund von schlechtem Wetter) nicht möglich sein sollte, dennoch eine Auswertung erfolgen unter Berücksichtigung der bereits zuvor erhaltenen Bilddaten. Entsprechend kann eine Nachricht von dem Backend 402 an das Fahrzeug 401 gesendet werden umfassend eine Information, die von dem Fahrzeug geeignet genutzt werden kann, z. B. indem dem Fahrer eine Geschwindigkeitsbegrenzung angezeigt wird.
Insbesondere ist es möglich, dass aus den Bilddaten Information exzerpiert wird und nur die Information abgespeichert wird. Gegebenenfalls können auch Teile der Bilddaten gespeichert werden. Insbesondere ist es somit möglich, dass die Bilddaten auf Informationen reduziert werden und die Informationen als eine Wissensbasis genutzt werden, um Dienste über das Backend, z. B. einer Vielzahl von Fahrzeugen, bereitzustellen.
Insbesondere ist es ein Vorteil des hier vorgestellten Ansatzes, eine vorhandene oftmals beschränkte Bandbreite zwischen dem Fahrzeug und dem Backend effizient nutzen zu können und trotzdem Bilddaten an das Backend übertragen zu können. Insbesondere können die Bilddaten (dynamisch) angepasst werden im Hinblick z. B. auf die über die Funkschnittstelle bereitgestellte Datenrate.
Bezugszeichenliste

101: Kamera (bzw. Kamerasystem)
102: Kamera (bzw. Kamerasystem)
103: Kamera (bzw. Kamerasystem)
104: Kamera (bzw. Kamerasystem)
105: Netzwerk
106: Endgerät
107: Headunit
201: Kamera (bzw. Kamerasystem)
202: Netzwerk
203: Speicher (z. B. LIFO- oder ein FIFO-Speicher)
204: Einheit zur Transkodierung von Bilddaten
205: Transmitter (oder Transceiver)
301: Kamera (bzw. Kamerasystem)
302: Kamera (bzw. Kamerasystem)
303: Kamera (bzw. Kamerasystem)
304: Kamera (bzw. Kamerasystem)
305: Kamera (bzw. Kamerasystem)
306: Kamera (bzw. Kamerasystem)
307: Netzwerk
308: Transceiver
309: Antenne
310: Headunit
311: Fahrzeug
401: Fahrzeug
402: Backend
403: Funkschnittstelle (z. B. Mobilfunk- oder WLAN-Schnittstelle)

Claims

Verfahren zur Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden, – bei dem die Bilddaten transkodiert werden; – bei dem die transkodierten Bilddaten über eine Funkschnittstelle von dem Fahrzeug übertragen werden.
Verfahren nach Anspruch 1, bei dem die Bilddaten von mindestens einer in oder an dem Fahrzeug angeordneten Kamera aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bilddaten umfassen: – mindestens ein Einzelbild oder Standbild, – mindestens eine Bildfolge, – Bewegt-Bilder und/oder – mindestens einen Film oder Filmabschnitt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bilddaten abhängig von einem Parameter der Funkschnittstelle transkodiert werden.
Verfahren nach Anspruch 4, bei dem der Parameter der Funkschnittstelle umfasst: – eine maximale Bandbreite der Funkschnittstelle, – eine verfügbare Bandbreite der Funkschnittstelle, – Kosten für die Datenübertragung und/oder – Dienstgütemerkmale der Funkschnittstelle.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bilddaten transkodiert werden, indem eine Protokollumsetzung erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bilddaten transkodiert werden mittels mindestens eines der folgenden Schritte: – eine Veränderung der Auflösung; – eine Veränderung eines Komprimierungsgrads; – eine Veränderung eines Komprimierungstyps; – eine Veränderung der Bilder pro Zeiteinheit; – eine Veränderung eines Komprimierungsparameters.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Funkschnittstelle eine der folgenden Schnittstelle umfasst: – eine Mobilfunkschnittstelle; – eine WLAN-Schnittstelle.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem die transkodierten Bilddaten über die Funkschnittstelle zu einem Backend übertragen werden, – bei dem die empfangenen transkodierten Bilddaten in dem Backend verarbeitet werden.
Verfahren nach Anspruch 9, bei dem die transkodierten Bilddaten in dem Backend gespeichert werden.
Verfahren nach einem der Ansprüche 9 oder 10, bei dem anhand der empfangenen transkodierten Bilddaten eine Information detektiert wird und diese Information an das Fahrzeug übertragen wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem mit den transkodierten Bilddaten über die Funkschnittstelle eine Ortsinformation betreffend die Bilddaten übertragen wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die transkodierten Bilddaten genutzt werden, um – einen Parkplatz zu finden; – ein aktuelles Wetter zu bestimmen; – einen Unfall, eine Verkehrssituation und/oder eine Verkehrsbehinderung zu detektieren.
Vorrichtung umfassend eine Verarbeitungseinheit, die derart eingerichtet ist, dass ein Verfahren gemäß einem der vorhergehenden Ansprüche durchführbar ist.
Vorrichtung nach Anspruch 14, bei der die Vorrichtung ein Steuergerät des Fahrzeugs ist.