DE102011102744A1

DE102011102744A1 - Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung

Info

Publication number: DE102011102744A1
Application number: DE102011102744A
Authority: DE
Inventors: Patrick Eoghan Denny; Enda Peter Ward
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2011-05-28
Filing date: 2011-05-28
Publication date: 2012-11-29
Also published as: EP2530651A2; EP2530651B1; EP2530651A3

Abstract

Es soll eine Lösung aufgezeigt werden, wie der Einsatzbereich eines Kamerasystems (2) eines Kraftfahrzeugs (1) im Vergleich zum Stand der Technik erweitert werden kann. Bei einem erfindungsgemäßen Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1) wird zumindest ein Bild durch eine Kamera (3, 4, 13, 14, 15) des Kamerasystems (2) aufgenommen. Es werden Bilddaten, die das zumindest eine Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an eine vom Kraftfahrzeug (1) separate Recheneinrichtung (11) übertragen. Die Recheneinrichtung (11) verarbeitet die Bilddaten und überträgt ein Ergebnis dieser Verarbeitung an das Kamerasystem (2) des Kraftfahrzeugs (1). Im Rahmen der Verarbeitung der Bilddaten wird ein Algorithmus für eine Kalibrierung der Kamera (3, 4, 13, 14, 15) durch die Recheneinrichtung (11) ausgeführt, und das Ergebnis des Algorithmus wird über das drahtlose Kommunikationsnetzwerk an das Kamerasystem (2) übertragen.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs durch Aufnehmen zumindest eines Bildes mittels einer Kamera des Kamerasystems sowie Übertragen von Bilddaten, die das zumindest eine Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an eine vom Kraftfahrzeug separate Recheneinrichtung. Die Erfindung betrifft außerdem ein Kraftfahrzeug mit einem Kamerasystem einschließlich einer Kamera zum Aufnehmen eines Bildes sowie einschließlich einer Kommunikationseinheit zum Übertragen von Bilddaten an eine vom Kraftfahrzeug separate Recheneinrichtung. Die Erfindung bezieht sich des Weiteren auf ein System mit einem Kraftfahrzeug sowie einer vom Kraftfahrzeug separaten Recheneinrichtung.
Es ist Stand der Technik, von einer Kamera eines Kraftfahrzeugs aufgenommene Bilder an einen vom Kraftfahrzeug entfernten Server zu übertragen. Eine derartige Vorgehensweise ist beispielsweise aus dem Dokument US 7 100 190 B2 bekannt. Dieses Dokument beschreibt ein Kommunikationssystem mit einer Vielzahl von Kraftfahrzeugen, welche jeweils eine Kamera aufweisen. An jedem der Kraftfahrzeuge ist somit jeweils eine Kamera montiert. Die mit den Kameras aufgenommenen Bilder werden über ein drahtloses Kommunikationsnetzwerk an einen Host Server übertragen. Die Bilder können dann auf einem Display angezeigt werden. Die Videodaten sind außerdem im Internet bereitgestellt, sodass der Benutzer die Bilder auf einer Internet-Seite abrufen kann.
Aus dem Dokument WO 2006/020219 A2 ist eine Fahrzeugkonsole bekannt, welche zum Empfangen sowie zum Aussenden von Audio- und Videodaten ausgebildet ist. Die Konsole weist ein Gehäuse auf, welches in einem Kraftfahrzeug montiert werden kann. Die Konsole beinhaltet einen Empfänger, welcher zum drahtlosen Empfangen von Audio- und Videodaten von einem Eingabegerät dient. Die Konsole umfasst außerdem ein Aufzeichnungsgerät, welches die empfangenen Audio- und Videodaten aufzeichnet. Im Gehäuse ist auch ein Sender bereitgestellt, welcher zum drahtlosen Aussenden der Audio- und Videodaten an ein weiteres Gerät dient. Die Konsole kann auch ein Display aufweisen, auf welchem das Video angezeigt werden kann.
Aus der Druckschrift KR 10 2004 041 803 A ist ein System zum Bereitstellen von Daten eines Kraftfahrzeugs im Internet bekannt. In dem Kraftfahrzeug sind eine Vielzahl von Kameras bereitgestellt, welche jeweils einen GPS-Empfänger sowie eine drahtlose LAN-Karte aufweisen. Die durch die Kameras aufgenommenen Videodaten werden über ein drahtloses Kommunikationsnetzwerk an eine entfernte Recheneinrichtung übertragen und dort in einer Datenbank bereitgestellt.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung der Einsatzbereich des Kamerasystems des Kraftfahrzeugs im Vergleich zum Stand der Technik erweitert werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen gemäß Patentanspruch 1, wie auch durch ein Kraftfahrzeug mit den Merkmalen gemäß Patentanspruch 18 sowie durch ein System mit den Merkmalen gemäß Patentanspruch 19 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems eines Kraftfahrzeugs durch Aufnehmen zumindest eines Bildes durch eine Kamera des Kamerasystems sowie Übertragen von Bilddaten, welche das zumindest eine Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an eine vom Kraftfahrzeug separate Recheneinrichtung. Erfindungsgemäß ist vorgesehen, dass die Bilddaten mittels der Recheneinrichtung verarbeitet werden und ein Ergebnis der Verarbeitung von der Recheneinrichtung an das Kamerasystem des Kraftfahrzeugs übertragen wird, nämlich über das drahtlose Kommunikationsnetzwerk. Und zwar wird durch die Recheneinrichtung anhand der Bilddaten ein Algorithmus für eine Kalibrierung der Kamera ausgeführt, und ein Ergebnis dieses Algorithmus wird an das Kamerasystem übertragen.
Ein Kerngedanke der Erfindung besteht somit darin, dass die durch die Kamera aufgenommenen Bilddaten an eine externe Recheneinrichtung übertragen und dort verarbeitet werden, und dass das Ergebnis dieser Verarbeitung an das Kamerasystem übermittelt wird. In Abhängigkeit von diesem Ergebnis kann dann das Kamerasystem eine Funktionalität im Kraftfahrzeug bereitstellen bzw. eine Funktion ausführen. Somit können im Kraftfahrzeug auch solche Funktionalitäten bereitgestellt werden, welche relativ viel Rechenaufwand benötigen und sonst nur mit rechenstarken Signalprozessoren bereitgestellt werden könnten, wie das Ausführen des Algorithmus für die Kalibrierung der Kamera. Es kann nun auf solche rechenstarken und teuren Signalprozessoren im Kraftfahrzeug verzichtet werden bzw. die im Kraftfahrzeug bereits vorhandenen Rechenressourcen können entlastet und gespart werden. Das erfindungsgemäße Verfahren ermöglicht somit im Prinzip die Bereitstellung aller möglichen Funktionalitäten im Kraftfahrzeug, ohne dass zusätzliche Rechenressourcen im Kraftfahrzeug eingesetzt werden müssen. Insgesamt wird somit der Einsatzbereich des Kamerasystems im Kraftfahrzeug im Vergleich zum Stand der Technik erweitert, und es können mittels des Kamerasystems mehrere Funktionalitäten als im Stand der Technik bereitgestellt werden.
Die Übertragung der Bilddaten an die externe Recheneinrichtung ermöglicht also die Bereitstellung rechenaufwändiger Funktionalitäten, die ansonsten nur mithilfe eines rechenstarken Signalprozessors des Kraftfahrzeugs bereitgestellt werden könnten. Bei einer solchen rechenaufwändigen Funktionalität handelt es sich um die Kalibrierung der Kamera. Im Rahmen der Verarbeitung der Bilddaten wird der Algorithmus für die Kalibrierung der Kamera durch die Recheneinrichtung ausgeführt und das Ergebnis des Algorithmus über das drahtlose Kommunikationsnetzwerk an das Kamerasystem übertragen. Somit kann die Kamera auch dann kalibriert werden, wenn das Kamerasystem über keinen rechenstarken Signalprozessor verfügt und somit alleine nicht oder nur eingeschränkt in der Lage ist, einen derartigen Algorithmus auszuführen. Ist hingegen ein derartiger Signalprozessor im Kraftfahrzeug vorhanden, so kann seine Rechenleistung für andere, wichtigere Funktionalitäten gespart werden. Diese Ausführungsform macht sich die Tatsache zunutze, dass die aus dem Stand der Technik bekannten Algorithmen für die Kalibrierung von Kameras relativ rechenaufwändig und zeitintensiv sind. Die bekannten Algorithmen dauern nämlich relativ lange, insbesondere wenn sie durch einen leistungsschwachen Signalprozessor im Kraftfahrzeug ausgeführt werden. Würde ein derartiger Algorithmus für die Kalibrierung der Kamera im Kraftfahrzeug ausgeführt werden, so müssten die überwiegenden Rechenressourcen lediglich für die Ausführung dieses Algorithmus genutzt werden, und es könnten gegebenenfalls keine weiteren Funktionalitäten im Kraftfahrzeug bereitgestellt werden. Auf der anderen Seite ist es stets erforderlich, die Kamera zu kalibrieren, damit das Kamerasystem fehlerfrei funktioniert. Die Erfindung sorgt also einerseits für ein fehlerfrei funktionierendes Kamerasystem und andererseits auch für die Entlastung der Rechenressourcen im Kraftfahrzeug, sodass gleichzeitig auch weitere Funktionalitäten im Kraftfahrzeug durch das Kamerasystem bereitgestellt werden können, nämlich anhand der aufgenommenen Bilder.
Das erfindungsgemäße Verfahren hat zudem den Vorteil, dass in der externen Recheneinrichtung – welche ein Host Server eines Fahrzeugherstellers sein kann – auch zusätzliche Informationen vorliegen können, die im Kraftfahrzeug in der Regel nicht vorhanden sind. Für die Ausführung des Algorithmus können somit zusätzliche Daten – etwa statistische Daten anderer Kraftfahrzeuge – berücksichtigt werden, die im Kamerasystem des eigenen Kraftfahrzeugs nicht vorliegen.
Also wird durch die Recheneinrichtung ein Algorithmus für die Kalibrierung der Kamera ausgeführt und das Ergebnis dieses Algorithmus an das Kamerasystem des Kraftfahrzeugs übertragen. Eine Kalibrierung der Kamera ist insbesondere deshalb erforderlich, um die aufgenommenen Bilder auf einer Anzeigeeinrichtung im Kraftfahrzeug korrekt darstellen zu können. Dies gilt insbesondere dann, wenn zusammen mit den aufgenommenen Bildern der Fahrzeugumgebung auch ein Fahrzeugbild angezeigt wird, welches das eigene Kraftfahrzeug zeigt. Um die Bilder der Umgebung korrekt – relativ zum Fahrzeugbild – anzeigen zu können, müsste die tatsächliche Position und Orientierung der Kamera am Kraftfahrzeug bekannt sein. Dies ist jedoch aufgrund der Einbautoleranzen sowie aufgrund weiterer Parameter – wie Alterung, mechanischer Deformation und dergleichen – jedoch nicht oder nur mit einem sehr großen Aufwand möglich. Als Ergebnis des Algorithmus kann die Recheneinrichtung somit einen Korrekturfaktor für die Korrektur der Position der aufgenommenen Bilder relativ zum Fahrzeugbild berechnen und an das Kamerasystem übertragen. Die Position der Bilder der Umgebung bezüglich des Fahrzeugbildes auf der Anzeigeeinrichtung kann somit mit dem Korrekturfaktor korrigiert werden, sodass insgesamt ein plausibles Gesamtbild erzeugt wird.
Um den Korrekturfaktor zu bestimmen, kann die externe Recheneinrichtung zunächst die empfangenen Bilddaten – d. h. die empfangenen Bilder – einer Mustererkennung hinsichtlich vorbestimmter Merkmale unterziehen. Beispielsweise kann die Recheneinrichtung in dem empfangenen Bild nach Straßenmarkierungen suchen, etwa nach einer Fahrstreifenbegrenzung. Dann kann die Recheneinrichtung überprüfen, ob zwischen der erkannten Straßenmarkierung und der Fahrzeuglängsrichtung bzw. der Fahrtrichtung des Kraftfahrzeugs eine Parallelität gegeben ist oder nicht. Wird eine Abweichung erkannt, so kann diese Abweichung als Korrekturfaktor genutzt werden. Die Erfindung ist jedoch nicht auf diese Art und Weise der Berechnung des Korrekturfaktors beschränkt; es kommen im Wesentlichen alle aus dem Stand der Technik bekannten Algorithmen für die Kalibrierung einer am Kraftfahrzeug angebrachten Kamera angewendet werden.
Der Korrekturfaktor kann auch beim Zusammenfügen von Bildern unterschiedlicher Kameras berücksichtigt werden, die am Kraftfahrzeug angebracht sind und die Umgebung des Kraftfahrzeugs erfassen. Aus den Bildern unterschiedlicher Kameras kann durch das Kamerasystem ein Gesamtbild erzeugt werden, welches eine Draufsicht auf die Umgebung des Kraftfahrzeugs zeigt. Dieses Gesamtbild kann dann auf der Anzeigeeinrichtung im Innenraum des Kraftfahrzeugs angezeigt werden. Der Korrekturfaktor kann nun genutzt werden, um die Übergänge zwischen den Bildern unterschiedlicher Kameras realitätsgetreu und somit ohne Sprünge gestalten zu können. Weil der Korrekturfaktor die Abweichung der tatsächlichen Positionen der Kameras von deren jeweiligen Soll-Position berücksichtigt, kann somit ein sprungfreier Übergang zwischen den Bildern unterschiedlicher Kameras erzielt und somit ein insgesamt korrektes Gesamtbild dargestellt werden.
Zusammen mit den Bilddaten können vom Kamerasystem an die Recheneinrichtung auch Positionsdaten – etwa GPS-Daten – übertragen werden, welche eine Information über die globale Position des Kraftfahrzeugs zum Zeitpunkt der Aufnahme des Bildes beinhalten. Die Recheneinrichtung kann dann diese Positionsdaten in Bezug auf den Algorithmus berücksichtigen. Somit kann der Algorithmus noch genauer ausgeführt werden, und die Kalibrierung der Kamera kann noch robuster und präziser erfolgen. So kann die Recheneinrichtung die Positionsdaten dahingehend berücksichtigen, dass in Abhängigkeit von der globalen Position des Fahrzeugs (zum Zeitpunkt der Aufnahme des Bildes) das Ergebnis des Algorithmus entweder als plausibel angenommen oder als unplausibel verworfen wird. Alternativ kann in Abhängigkeit von der globalen Position des Kraftfahrzeugs entschieden werden, ob der Algorithmus anhand der Bilddaten ausgeführt werden soll oder nicht. Diese Ausführungsform beruht auf der Erkenntnis, dass der Algorithmus für die Kalibrierung der Kamera nur unter der Voraussetzung besonders zuverlässig ausgeführt werden kann, wenn sich das Kraftfahrzeug zum Zeitpunkt der Aufnahme des Bildes auf einer geraden Straße befand, und nicht etwa in einer Kurve. Der Korrekturfaktor kann insbesondere dann als plausibel angenommen werden, wenn zum Zeitpunkt der Aufnahme des Bildes keine Neigung bzw. kein Gefälle der Straße vorlag, sondern die Straße im Wesentlichen horizontal verlief. Diese Information kann nun durch die Recheneinrichtung aus den empfangenen Positionsdaten extrahiert werden, und die Recheneinrichtung kann entscheiden, ob das Ergebnis des Algorithmus plausibel ist oder nicht bzw. ob der Algorithmus überhaupt ausgeführt werden soll oder nicht.
Es ist auch sinnvoll möglich, dass von der externen Recheneinrichtung an das Kamerasystem Daten übertragen werden, durch welche zumindest ein bevorzugter Straßenabschnitt für die Aufnahme der Bilddaten für die Ausführung des Algorithmus vorgeschlagen wird. Also kann die Recheneinrichtung an das Kamerasystem Daten übertragen, welche eine Information über die bevorzugte globale Position für die Vornahme der Kalibrierung beinhalten. Dieser Vorschlag wird vorzugsweise in Abhängigkeit von Positionsdaten gemacht, welche vom Kamerasystem des Kraftfahrzeugs an die Recheneinrichtung übertragen werden. Somit kann die Recheneinrichtung einen Straßenabschnitt vorschlagen, der sich in der Nähe des Kraftfahrzeugs befindet. Dieser Vorschlag kann durch die Recheneinrichtung auch unter Berücksichtigung von Daten anderer Kraftfahrzeuge gemacht werden. Es können nämlich Daten einer Vielzahl von Kraftfahrzeugen in der Recheneinrichtung gesammelt und statistisch ausgewertet werden. Die Übertragung des Vorschlags an das Kamerasystem des Kraftfahrzeugs hat im Prinzip zwei Vorteile: Einerseits wird somit ein besseres Ergebnis bei der Kalibrierung der Kamera erreicht, weil der Algorithmus auf der Grundlage von plausiblen Bilddaten ausgeführt wird. Auf der anderen Seite muss die Kalibrierung somit nicht so häufig wie bei einer suboptimalen – etwa geneigten – Straße vorgenommen werden. Hierdurch kann Energie gespart werden und es erübrigt sich eine häufige Kommunikation mit der Recheneinrichtung.
Zusammen mit den Bilddaten kann das Kamerasystem auch Fahrzeugdaten an die Recheneinrichtung übertragen, welche eine Information über eine Beschleunigung des Kraftfahrzeugs zum Zeitpunkt der Aufnahme des Bildes und/oder eine Information über einen Neigungswinkel des Kraftfahrzeugs – insbesondere einen Rollwinkel und/oder einen Gierwinkel und/oder einen Nickwinkel – beinhalten. Diese Fahrzeugdaten können dann durch die Recheneinrichtung in Bezug auf den Algorithmus berücksichtigt werden. Somit ist der Algorithmus besonders robust und zuverlässig, und es kann eine besonders zuverlässige und höchst genaue Kalibrierung der Kamera vorgenommen werden. Auch diese Ausführungsform beruht auf der Erkenntnis, dass eine plausible und höchst genaue Kalibrierung nur auf Grundlage von Bilddaten vorgenommen werden kann, welche bei einer „normalen” Lage des Kraftfahrzeugs relativ zur Straße aufgenommen wurden. Die Lage des Kraftfahrzeugs wird beispielsweise durch die Beschleunigung des Kraftfahrzeugs sowie durch die Neigung der Straße beeinflusst. Diese Einflüsse werden nun in Bezug auf den Algorithmus für die Kalibrierung berücksichtigt. Und zwar kann der Neigungswinkel des Kraftfahrzeugs und/oder seine Beschleunigung dahingehend berücksichtigt werden, dass in Abhängigkeit von diesen Informationen das Ergebnis des Algorithmus entweder als plausibel angenommen oder als unplausibel verworfen wird. Alternativ kann der Neigungswinkel und/oder die Beschleunigung selbst beim Ausführen des Algorithmus berücksichtigt werden. Somit ist die Kalibrierung der Kamera besonders präzise.
Wie bereits ausgeführt, kann der Algorithmus für die Kalibrierung auch für eine Vielzahl von Kraftfahrzeugen mittels der Recheneinrichtung ausgeführt werden. Dann liegen in der Recheneinrichtung eine Vielzahl von Daten zu unterschiedlichen Kraftfahrzeugen vor. Dies ermöglicht eine statistische Auswertung der Daten der Vielzahl von Kraftfahrzeugen, sodass die Kalibrierung der Kamera noch verfeinert werden kann und neue Erkenntnisse gewonnen werden können. So können die Daten – nämlich die Vielzahl der Ergebnisse des Algorithmus – einem Data-Mining-Verfahren unterzogen werden. Ein Data-Mining-Verfahren ermöglicht beispielsweise das automatische Auswerten von Datenbeständen mithilfe statistischer Methoden beispielsweise zur Cluster-Analyse und Ausreißererkennung. So können in den Daten bestimmte Cluster bzw. Muster und/oder Ausreißer erkannt werden. Anhand eines Vergleichs zwischen dem Ergebnis des Algorithmus für die Kalibrierung der Kamera mit einem Ergebnis des Data-Mining-Verfahrens kann dann ein fehlerhafter Betrieb des Kamerasystems erkannt werden. Diese Information kann dann an das Kamerasystem des Kraftfahrzeugs übertragen werden, sodass der Fahrer dazu veranlasst wird, sein Kraftfahrzeug in eine Werkstatt zu bringen oder aber die Software des Kamerasystems zu aktualisieren. Ergänzend oder alternativ kann ein Ergebnis des Data-Mining-Verfahrens auch beim Ausführen des Algorithmus für die Kalibrierung der Kamera berücksichtigt werden. Somit können Erkenntnisse, die bei anderen Kraftfahrzeugen gewonnen werden, auch bei der Kalibrierung der Kamera des Kraftfahrzeugs berücksichtigt werden, um die Kalibrierung der Kamera zu verfeinern.
Die Kamera kann beispielsweise eine CMOS-Kamera (complementary metal oxide semiconductor) oder aber eine CCD-Kamera (charge coupled device) sein.
Die Kamera kann im Allgemeinen an einer beliebigen Stelle des Kraftfahrzeugs angeordnet sein. Sie kann zum Beispiel einen Umgebungsbereich des Kraftfahrzeugs erfassen; alternativ kann sie auch im Innenraum des Kraftfahrzeugs angeordnet sein und den Innenraum des Kraftfahrzeugs erfassen. Es kann auch vorgesehen sein, dass mehrere Kameras – zur Erfassung der Umgebung und/oder des Innenraums – eingesetzt werden und die Bilddaten aller Kameras an die externe Recheneinrichtung übertragen werden. Die Recheneinrichtung kann also die Bilddaten einer Vielzahl von Kameras des Kraftfahrzeugs verarbeiten und ein Ergebnis dieser Verarbeitung an das Kamerasystem übermitteln.
Also werden die Bilddaten über ein drahtloses Kommunikationsnetzwerk an die externe Recheneinrichtung übertragen. Prinzipiell ist hier ein beliebiges drahtloses Kommunikationsnetzwerk denkbar, nämlich beispielsweise das Internet und/oder das GSM-Netzwerk (global system for mobile communication) und dergleichen. Es erweist sich als vorteilhaft, wenn die Bilddaten und/oder das Ergebnis der Verarbeitung bzw. des Algorithmus zumindest abschnittsweise gemäß einem Kommunikationsstandard der IEEE-802.16-Familie übertragen werden. Dieser Kommunikationsstandard ist auch unter der Bezeichnung „WiMax” bekannt. Er ermöglicht die Übertragung der Bilddaten in Echtzeit, sodass das Ergebnis der Bildverarbeitung besonders rasch an das Kamerasystem übermittelt werden kann. Somit können auch die Funktionalitäten im Kraftfahrzeug in Abhängigkeit von dem Ergebnis der Bildverarbeitung besonders schnell bereitgestellt werden.
Hinsichtlich der externen Recheneinrichtung können zwei unterschiedliche Ausführungsformen vorgesehen sein: Die Bilddaten können an ein tragbares Kommunikationsgerät als Recheneinrichtung übertragen und durch das tragbare Kommunikationsgerät verarbeitet werden. Bei dem tragbaren Kommunikationsgerät kann es sich beispielsweise um ein Mobiltelefon (Smartphone) des Fahrers oder dergleichen handeln. Ergänzend oder alternativ können die Bilddaten auch an einen entfernten Hostserver als Recheneinrichtung übertragen und mittels des Host Servers verarbeitet werden. Dies hat den Vorteil, dass solche Hostserver in der Regel über eine relativ große Rechenleistung verfügen, sodass auch rechenaufwändige Bildverarbeitung besonders rasch durchgeführt werden kann. Die Übertragung der Bilddaten an ein tragbares Kommunikationsgerät wiederum hat den Vorteil, dass die mittels der Kamera aufgenommenen Bilder auch gleichzeitig auf einem Display des tragbaren Kommunikationsgeräts angezeigt werden können.
Neben dem Algorithmus für die Kalibrierung der Kamera sind auch weitere Algorithmen bekannt, die ebenfalls besonders rechenaufwändig sind. Dazu zählen beispielsweise auch solche Algorithmen, welche zur Objekterkennung bzw. zur Klassifizierung von abgebildeten Objekten dienen. Das Verarbeiten der Bilddaten durch die Recheneinrichtung kann also beinhalten, dass das zumindest eine Bild einer Mustererkennung unterzogen wird und ein in dem Bild erkanntes Objekt klassifiziert wird. Das Ergebnis dieser Objektklassifizierung kann dann über das drahtlose Kommunikationsnetzwerk an das Kamerasystem übermittelt werden. Auch bei dieser Ausführungsform werden die fahrzeuginternen Rechenressourcen gespart, und die aufwändigen Algorithmen zur Objektklassifizierung werden durch die externe Recheneinrichtung ausgeführt. Diese Ausführungsform kann besonders sinnvoll zur Detektion eines Einbrechers genutzt werden. In diesem Falle kann die Kamera – gegebenenfalls auch mehrere Kameras – die Umgebung des Kraftfahrzeugs erfassen und die Bilddaten auch im Stillstand des Kraftfahrzeugs an die Recheneinrichtung übertragen. Die Recheneinrichtung kann nun diese Bilddaten der Objekterkennung unterziehen und das Ergebnis dieser Objekterkennung an das Kamerasystem übermitteln. Wird anhand der Bilder beispielsweise ein Einbrecher detektiert, so können durch das Kamerasystem entsprechende Maßnahmen getroffen werden; es kann beispielsweise der Fahrer des Kraftfahrzeugs über die Anwesenheit des Einbrechers informiert werden. Ein Diebstahl des Kraftfahrzeugs kann somit verhindert werden.
In Abhängigkeit von dem Ergebnis der Objektklassifizierung kann also zumindest eine Funktionalität durch das Kamerasystem bereitgestellt werden. So kann beispielsweise ein Einbruchsensor des Kraftfahrzeugs dann aktiviert werden, wenn bei der Objektklassifizierung ein Einbrecher detektiert wird. Ergänzend oder alternativ kann auch eine zeitliche Abfolge von Bildern – also ein Video – durch die Kamera aufgenommen werden, und es können Videodaten, die die Abfolge von Bildern repräsentieren, über das drahtlose Kommunikationsnetzwerk an ein tragbares Kommunikationsgerät – etwa ein Mobiltelefon – des Fahrers überfragen werden. Wird ein Einbrecher erkannt, so kann der Fahrer somit die aufgenommenen Bilder auf seinem tragbaren Kommunikationsgerät (Mobiltelefon) angezeigt bekommen, sodass der Fahrer gegebenenfalls auch den Einbrecher auf dem Display des Kommunikationsgeräts sehen kann. Auf diesem Wege wird ermöglicht, die Identität des Einbrechers festzustellen.
Also übermittelt das Kamerasystem das zumindest eine Bild an die externe Recheneinrichtung, nämlich über das drahtlose Kommunikationsnetzwerk. Die Recheneinrichtung verarbeitet das zumindest eine Bild und übermittelt das Ergebnis dieser Verarbeitung an das Kamerasystem. Die von dem Kamerasystem an die Recheneinrichtung übertragenen Bilddaten können auch mehrere Bilder beinhalten, die dann durch die Recheneinrichtung verarbeitet werden. Es kann sogar auch ein ganzes Video an die Recheneinrichtung übertragen werden, und die Recheneinrichtung kann das gesamte Video verarbeiten und das Ergebnis dieser Verarbeitung an das Kamerasystem übertragen. In einer Ausführungsform ist somit vorgesehen, dass durch die Kamera eine zeitliche Abfolge bzw. Sequenz von Bildern – eines nach dem anderen, etwa ein Video – aufgenommen wird und an die Recheneinrichtung Videodaten übertragen werden, die die zeitliche Abfolge von Bildern repräsentieren. Die Recheneinrichtung kann dann die zeitliche Abfolge von Bildern bzw. die Videodaten verarbeiten und das Ergebnis dieser Verarbeitung an das Kamerasystem des Kraftfahrzeugs übermitteln. Anhand eines gesamten Videos lassen sich Funktionalitäten im Kraftfahrzeug bereitstellen, die sonst anhand eines einzigen Bildes nicht möglich sind. So können beispielsweise bewegliche Hindernisse durch die Recheneinrichtung detektiert und verfolgt werden, und das Ergebnis dieser Detektion sowie der Verfolgung kann dann an das Kamerasystem übertragen werden.
Die Kamera kann in dem Kraftfahrzeug auch derart angeordnet sein, dass sie den Innenraum des Kraftfahrzeugs erfasst. Das Verarbeiten der Bilddaten kann dann beinhalten, dass anhand des zumindest einen Bildes die Identität des Fahrers des Kraftfahrzeugs durch die externe Recheneinrichtung festgestellt wird und Daten mit Informationen über die Identität des Fahrers an das Kamerasystem übertragen werden. Einerseits kann somit eine Identifizierung des Fahrers vorgenommen werden bzw. es kann überprüft werden, ob der erkannte Fahrer zum Führen des Kraftfahrzeugs berechtigt ist oder nicht. Auf der anderen Seite kann diese Ausführungsform auch dazu genutzt werden, um fahrerspezifische Einstellungen unterschiedlichster Komponenten des Kraftfahrzeugs vorzunehmen.
In Abhängigkeit von der festgestellten Identität des Fahrers kann also zumindest eine Komponente des Kraftfahrzeugs angesteuert werden. Hierbei kann es sich zum Beispiel um eine Alarmanlage und/oder eine Fahrzeugsperre handeln, die dann angesteuert werden kann/können, wenn der Fahrer zum Führen des Kraftfahrzeugs nicht berechtigt ist. Als Komponente kann auch eine elektronische Versteileinrichtung zum Verstellen eines Fahrzeugsitzes des Fahrers angesteuert werden, und zwar fahrerspezifisch bzw. in Abhängigkeit von der festgestellten Identität des Fahrers. Im Allgemeinen kann in Abhängigkeit von der Identität des Fahrers zumindest eine der folgenden Funktionalitäten im Kraftfahrzeug bereitgestellt werden:

– Aktivieren einer Alarmanlage und/oder einer Fahrzeugsperre und/oder
– Einstellen einer Position eines Fahrzeugsitzes und/oder
– Einstellen einer Position eines Lenkrads des Kraftfahrzeugs und/oder
– Einstellen eines Parameters einer Aufhängung bzw. Federung des Kraftfahrzeugs – beispielsweise „sportlich” oder „Komfort” – und/oder
– Einstellen eines Parameters eines Antriebsmotors des Kraftfahrzeugs und/oder
– Einstellen einer Ausrichtung eines Spiegels des Kraftfahrzeugs, nämlich eines Innenspiegels und/oder eines Außenspiegels und/oder
– Einstellen eines Parameters des Kamerasystems (z. B. eine bevorzugte Standardbetriebsweise für Kameraaufnahme).

All diese Parameter können also fahrerspezifisch automatisch eingestellt werden, ohne dass der Fahrer diese Einstellungen selbst vornehmen muss. Dies ist für den Fahrer besonders bequem; er braucht lediglich in das Kraftfahrzeug einzusteigen, und die ihm zugewiesenen Einstellungen werden automatisch übernommen. Dabei werden die fahrzeuginternen Rechenressourcen nicht beansprucht, sondern die Identität des Fahrers wird mittels der externen Recheneinrichtung festgestellt.
Durch das Kamerasystem kann auch eine Kollisionssituation oder aber eine kollisionsnahe Situation des Kraftfahrzeugs erkannt werden. Das Kamerasystem kann nämlich erkennen, dass eine Kollision des Kraftfahrzeugs bevorsteht oder eintritt, und nach Erkennen einer solchen Kollisionssituation kann ein Bild durch die Kamera aufgenommen und über das drahtlose Kommunikationsnetzwerk an einen Hostserver eines Notdienstes übertragen werden. Die Fähigkeit des Kamerasystems, über das drahtlose Kommunikationsnetzwerk mit anderen Geräten zu kommunizieren, kann also dazu genutzt werden, um den Notdienst über eine bevorstehende oder eingetretene Kollision des Kraftfahrzeugs zu informieren. Eine solche Kollisionssituation kann beispielsweise anhand der Auswertung einer Längsbeschleunigung und/oder Querbeschleunigung und/oder anhand von Messwerten einer Bremskraft erkannt werden. Somit kann der Notdienst frühzeitig über die Kollisionssituation informiert werden, und es können entsprechende Maßnahmen getroffen werden. Zusammen mit dem Bild kann auch zumindest eine der folgenden Informationen an den Hostserver des Notdienstes übertragen werden: eine Information über eine aktuelle globale bzw. geografische Position des Kraftfahrzeugs und/oder ein amtliches Kennzeichen des Kraftfahrzeugs und/oder eine Information über die Identität eines Inhabers und/oder des Fahrers des Kraftfahrzeugs. Der Notdienst erhält somit alle wichtigsten Informationen über die Kollision, und zwar insbesondere über die aktuelle geografische Position des Kraftfahrzeugs zusammen mit dem aktuellen Bild der Umgebung und/oder des Innenraums des Kraftfahrzeugs. Es liegen somit alle wichtigsten Informationen vor, die für einen Noteinsatz benötigt werden.
Ein erfindungsgemäßes Kraftfahrzeug beinhaltet ein Kamerasystem, welches zumindest eine Kamera zum Aufnehmen eines Bildes sowie eine Kommunikationseinheit umfasst. Die Kommunikationseinheit ist zum Übertragen von Bilddaten, die das aufgenommene Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an eine vom Kraftfahrzeug separate Recheneinrichtung ausgebildet. Das Kamerasystem kann ein Ergebnis einer durch die Recheneinrichtung vorgenommenen Verarbeitung der Bilddaten empfangen und in Abhängigkeit von diesem Ergebnis zumindest eine Funktionalität im Kraftfahrzeug bereitstellen. Und zwar ist das Kamerasystem dazu ausgelegt, ein Ergebnis eines durch die Recheneinrichtung anhand der Bilddaten ausgeführten Algorithmus für eine Kalibrierung der Kamera zu empfangen und in Abhängigkeit von diesem Ergebnis von der Kamera aufgenommene Bilder zu korrigieren.
Ein erfindungsgemäßes System umfasst ein Kraftfahrzeug mit einem Kamerasystem sowie eine vom Kraftfahrzeug separate Recheneinrichtung. Das Kamerasystem umfasst zumindest eine Kamera zum Aufnehmen eines Bildes sowie eine Kommunikationseinheit, die zum Übertragen von Bilddaten über ein drahtloses Kommunikationsnetzwerk an die Recheneinrichtung ausgebildet ist. Die Recheneinrichtung kann die Bilddaten verarbeiten und ein Ergebnis dieser Verarbeitung an das Kamerasystem übertragen. Die Recheneinrichtung ist dazu ausgelegt, anhand der Bilddaten ein Algorithmus für eine Kalibrierung der Kamera auszuführen und ein Ergebnis dieses Algorithmus an das Kamerasystem zu übertragen.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kraftfahrzeug sowie für das erfindungsgemäße System.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, der Figur und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügte Zeichnung, näher erläutert. Dabei veranschaulicht die einzige Figur in schematischer Darstellung ein System gemäß einer Ausführungsform der Erfindung, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird.
Ein Kraftfahrzeug 1, wie es in der einzigen Figur gezeigt ist, ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 beinhaltet ein Kamerasystem 2, welches im Allgemeinen zumindest eine Kamera umfasst, insbesondere eine Vielzahl von Kameras. Im Ausführungsbeispiel ist eine erste Kamera 3 im Innenraum des Kraftfahrzeugs 1 montiert und erfasst den Innenraum des Kraftfahrzeugs 1. Eine zweite Kamera 4 ist im Heckbereich des Kraftfahrzeugs 1 angeordnet, etwa an dem hinteren Stoßfänger oder der Heckklappe oder aber an der Heckscheibe des Kraftfahrzeugs 1. Die Kamera 4 erfasst einen Umgebungsbereich hinter dem Kraftfahrzeug 1. Die Erfindung ist nicht auf die Anzahl und die Anordnung der Kameras 3, 4 gemäß der einzigen Figur beschränkt; es kann vielmehr eine beliebige Anzahl von Kameras bereitgestellt werden, und die Kameras können am Kraftfahrzeug 1 beliebig angeordnet sein. Die in der Figur dargestellte Anzahl und Anordnung der Kameras 3, 4 ist lediglich beispielhaft. Es können beispielsweise weitere Kameras 13, 14, 15 bereitgestellt werden, nämlich eine Kamera 13 am vorderen Stossfänger, eine Kamera 14 am linken Außenspiegel sowie eine Kamera 15 am rechten Außenspiegel.
Zum Kamerasystem 2 gehört auch eine Steuereinheit 5, welche beispielsweise einen digitalen Signalprozessor, einen Mikrocontroller sowie einen Speicher beinhalten kann. Die Steuereinheit 5 ist mit einem GPS-Empfänger elektrisch gekoppelt und empfängt GPS-Daten. Sie ist auch an einen Kommunikationsbus des Kraftfahrzeugs 1 angeschlossen, etwa an den CAN-Bus. Die Steuereinheit 5 empfängt somit Fahrzeugdaten (und ggf. auch GPS-Daten), die über den Kommunikationsbus (CAN-Bus) übertragen werden. Dazu zählen insbesondere die aktuelle Beschleunigung des Kraftfahrzeugs 1, der aktuelle Nickwinkel, der aktuelle Rollwinkel sowie der aktuelle Gierwinkel.
An die Steuereinheit 5 ist ein Router 6 angeschlossen, nämlich über eine Ethernet-Leitung 7. Die Steuereinheit 5 kommuniziert mit dem Router 6 somit nach dem Ethernet-Protokoll. Der Router 6 stellt eine Kommunikationseinheit des Kamerasystems 2 dar. Der Router 6 weist dabei eine Antenne 8 auf, die zum Empfangen und zum Aussenden von elektromagnetischen Wellen dient.
Auch die Kameras 3, 4 und 13, 14, 15 können mit jeweiligen Sendern mit jeweils einer Antenne 9, 10, 16 ausgestattet (die Antennen der Kameras 14, 15 sind der Übersicht halber nicht gezeigt). Die Kameras 3, 4, 13, 14, 15 können Bilder erfassen und die aufgenommenen Bilder repräsentierende Bilddaten bzw. Videodaten an die Steuereinheit 5 übertragen, nämlich über den Router 6.
Die Kommunikation zwischen den Kameras 3, 4, 13, 14, 15 einerseits und dem Router 6 andererseits erfolgt beispielsweise über eine WLAN-Verbindung (wireless local area network) und/oder nach dem Bluetooth-Standard.
Alternativ hierzu können die Kameras 3, 4, 13, 14, 15 mit der Steuereinheit 5 und/oder dem Router 6 über eine Low-Voltage Differential Signaling (LVDS), analog oder Ethernet basierte Kabelverbindung angeschlossen werden.
Der Router 6 ist außerdem zur Kommunikation über das Internet ausgebildet. Diese Kommunikation kann nach dem WiMax-Standard erfolgen, also nach einem Standard der IEEE-802.16-Familie. Über den Router 6 können die erfassten Bilddaten über das Internet an eine externe bzw. vom Kraftfahrzeug separate Recheneinrichtung 11 übertragen werden. Die Recheneinrichtung 11 besitzt eine deutlich größere Rechenleistung als die interne Steuereinheit 5. Bei der Recheneinrichtung 11 kann es sich beispielsweise um einen PC bzw. einen Server und/oder ein tragbares Kommunikationsgerät, wie beispielsweise ein Mobiltelefon, und/oder ein Notebook und dergleichen handeln. Die Recheneinrichtung 11 ist ebenfalls an das Internet angebunden und kann somit die Bilddaten der Kameras 3, 4, 13, 14, 15 empfangen. Die Recheneinrichtung 11 verarbeitet die empfangenen Bilddaten bzw. Videodaten und überträgt das Ergebnis dieser Verarbeitung zurück an das Kamerasystem 2, und genauer gesagt an die Steuereinheit 5 über den Router 8. Das Ergebnis der Bildverarbeitung stellt nun eine Grundlage für die Bereitstellung verschiedenster Funktionalitäten im Kraftfahrzeug 1 dar.
Ergänzend können die Bilddaten zusammen mit anderen fahrzeugspezifischen Informationen auch an einen Hostserver 12 eines Notdienstes bzw. einer Notrufzentrale übertragen werden. Anhand der am CAN-Bus abgegriffenen Informationen kann die Steuereinheit 5 nämlich feststellen, dass eine Kollision des Kraftfahrzeugs 1 bevorsteht oder eintritt. Wird dies festgestellt, so übermittelt die Steuereinheit 5 über das Internet an den Host Server 12 die momentan aufgenommenen Bilddaten der Kameras 3, 4, 13, 14, 15, wie auch weitere fahrzeugspezifische Informationen, wie beispielsweise die aktuelle globale Position des Kraftfahrzeugs 1, ein amtliches Kennzeichen des Kraftfahrzeugs 1, eine Information über die Identität des Fahrers bzw. des Inhabers des Kraftfahrzeugs 1 und dergleichen.
Also werden die aufgenommenen Bilddaten an die rechenstarke Recheneinrichtung 11 übertragen und dort verarbeitet. Das Ergebnis dieser Verarbeitung wird dann über das Internet an die Steuereinrichtung 5 übermittelt. Anhand des Ergebnisses wird dann eine Funktionalität im Kraftfahrzeug 1 bereitgestellt. Folgende Funktionalitäten sind vorgesehen:

– es kann eine Kalibrierung der Kameras 3, 4, 13, 14, 15 vorgenommen werden – die Recheneinrichtung 11 kann anhand der Bilddaten einen Algorithmus für die Kalibrierung der Kameras 3, 4, 13, 14, 15 ausführen und das Ergebnis dieses Algorithmus an die Steuereinheit 5 übermitteln;
– die Steuereinheit 5 kann einen Einbruchsensor des Kraftfahrzeugs 1 und/oder eine Alarmanlage und/oder eine Fahrzeugsperre aktivieren, wenn die Recheneinrichtung 11 ein in den Bildern abgebildetes Objekt als einen Einbrecher klassifiziert;
– wird ein Einbrecher erkannt, so kann die Steuereinheit 5 die Videodaten der Kameras 3, 4, 13, 14, 15 auch an ein Mobiltelefon des Fahrers übermitteln, nämlich über das Internet, sodass auf dem Mobiltelefon das aktuelle Video angezeigt werden kann;
– die Recheneinrichtung 11 kann anhand der Bilddaten die Identität des Fahrers des Kraftfahrzeugs 1 feststellen, und die Steuereinheit 5 kann in Abhängigkeit von der festgestellten Identität des Fahrers zumindest eine Komponente des Kraftfahrzeugs 1 ansteuern – hier kann beispielsweise die Position eines Fahrzeugsitzes und/oder die Position eines Lenkrads und/oder ein Parameter einer Federung des Kraftfahrzeugs 1 und/oder die Position eines Spiegels und/oder ein Parameter eines Antriebsmotors des Kraftfahrzeugs 1 eingestellt werden.

Das Interesse richtet sich nun auf die Kalibrierung der Kameras 3, 4, 13, 14, 15, also auf das Ausführen des Algorithmus für die Kalibrierung der Kameras 3, 4, 13, 14, 15 durch die Recheneinrichtung 11. Zusammen mit den Bilddaten kann die Steuereinheit 5 an die Recheneinrichtung 11 auch folgende Daten übermitteln: die GPS-Daten, welche die geografische Position des Kraftfahrzeugs 1 zum Zeitpunkt der Bildaufnahme angeben, wie auch eine Information über den Rollwinkel und/oder den Nickwinkel und/oder den Gierwinkel zum Zeitpunkt der Bildaufnahme. Neben den Bilddaten empfängt die Recheneinrichtung 11 somit auch die Informationen über die Beschleunigung, über die globale Position sowie über zumindest einen der genannten Winkel. Zudem kann die Steuereinheit 5 auch einige Merkmale der benutzten Kameras 3, 4, 13, 14, 15 sowie Parametern der Bildaufnahme wie Temperatur, Register des Bildwandlers zum Zeitpunkt der Bildaufnahme, verwendeten Linsentyp der Recheneinrichtung 11 übermitteln. All diese Daten können von der Recheneinrichtung 11 bei der Berechnung hilfreich verwerten werden.
Die Recheneinrichtung 11 kann den Algorithmus zur Kalibrierung nur unter der Voraussetzung ausführen, dass sich das Kraftfahrzeug 1 zum Zeitpunkt der Aufnahme der Bilder auf einer geraden und horizontalen Straße befand. Gerade dann stellen die Bilddaten eine zuverlässige Grundlage für die Ausführung des Algorithmus dar. Optional kann vorgesehen sein, dass die Recheneinrichtung 11 den Algorithmus nur unter der Voraussetzung ausführt, dass der Rollwinkel und/oder der Nickwinkel und/oder der Gierwinkel zum Zeitpunkt der Bildaufnahme kleiner als ein vorgegebener Grenzwert war/waren.
Die Kameras 4, 13, 14, 15 erfassen die gesamte Umgebung um das Kraftfahrzeug 1 herum. Die Steuereinheit 5 kann die Bilddaten der Kameras 4, 13, 14, 15 zu einem Gesamtbild verarbeiten, welches die Umgebung des Kraftfahrzeugs 1 sowie das Kraftfahrzeug 1 selbst aus einer Vogelperspektive zeigt (bird view). Dieses Gesamtbild zeigt also eine Draufsicht auf das Kraftfahrzeug 1 einerseits sowie auf seine Umgebung andererseits. Dieses Gesamtbild wird dann auf einer Anzeigeeinrichtung im Kraftfahrzeug 1 dargestellt. Gerade für eine korrekte Darstellung der Umgebung relativ zum Fahrzeugbild sowie für ein korrektes Zusammenfügen der Bilder unterschiedlicher Kameras 4, 13, 14, 15 ist die Kalibrierung der Kameras 4, 13, 14, 15 erforderlich. Die tatsächliche Position und Ausrichtung der Kameras 4, 13, 14, 15 ist nämlich nicht bekannt, dies aufgrund der Einbautoleranzen, der Alterung, der Deformation von Fahrzeugkomponenten, wie auch aufgrund von unterschiedlicher und ungleichmäßiger Lastverteilung im Kraftfahrzeug 1 und dergleichen. Ein Ziel ist es somit, einen realitätsgetreuen und sprunglosen Übergang zwischen Bildern unterschiedlicher Kameras 4, 13, 14, 15 sowie eine realitätsgetreue Position der Bilder der Umgebung relativ zum Fahrzeugbild zu erreichen. Dazu wird durch die Recheneinrichtung 11 im Rahmen der Ausführung des Algorithmus ein Korrekturfaktor berechnet, um welchen dann die angenommene tatsächliche Position der Kameras am Kraftfahrzeug 1 bzw. die Position der abgebildeten Umgebung bezüglich des Kraftfahrzeugs 1 korrigiert wird. Für die Berechnung des Korrekturfaktors kann die Recheneinrichtung 11 die empfangenen Bilder einer Mustererkennung unterziehen und in den Bildern nach vorbestimmten Merkmalen suchen. Zum Beispiel werden Straßenmarkierungen detektiert. Die Ausrichtung der Straßenmarkierungen im Bild – etwa über eine Vielzahl von zeitlich nacheinander erfassten Bildern hinweg – kann mit der Orientierung des Kraftfahrzeugs 1 verglichen werden. Wird eine Abweichung festgestellt, so wird der Korrekturfaktor bestimmt.
Den Korrekturfaktor übermittelt die Recheneinrichtung 11 anschließend über das Internet an das Kamerasystem 2 des Kraftfahrzeugs 1. Die Steuereinheit 5 empfängt den Korrekturfaktor und verwendet ihn zur Korrektur des Gesamtbildes, welches aus Bildern unterschiedlicher Kameras 4, 13, 14, 15 erzeugt wird. Somit kann ein Gesamtbild mit korrekten und realitätsgetreuen Übergängen zwischen den Bildern unterschiedlicher Kameras 4, 13, 14, 15 sowie mit einer korrekten Position der abgebildeten Umgebung relativ zum Fahrzeugbild erzeugt werden. Dieses Gesamtbild kann dann auf der Anzeigeeinrichtung im Kraftfahrzeug 1 angezeigt werden.
Beim Ausführen des Algorithmus – also beim Berechnen des Korrekturfaktors – kann die Recheneinrichtung 11 auch Daten anderer Fahrzeuge berücksichtigen. Beispielsweise werden in der Recheneinrichtung 11 Daten zu einer Vielzahl von Kraftfahrzeugen gesammelt und einer statistischen Auswertung unterworfen. Diese Daten können mittels eines Data-Mining-Verfahrens analysiert werden, und es können somit bestimmte Muster in den Daten unterschiedlicher Kraftfahrzeuge und/oder Ausreißer erkannt werden. Somit kann auch erkannt werden, dass das Ergebnis des Algorithmus für das Kraftfahrzeug 1 von den Daten anderer Kraftfahrzeuge abweicht, was beispielsweise auf einen fehlerhaften Betrieb des Kamerasystems 2 hindeutet. In einem solchen Fehlerfall kann die Recheneinrichtung 11 eine Information an die Steuereinheit 5 übermitteln, dass beispielsweise die Software aktualisiert werden muss und/oder das Kraftfahrzeug 1 in eine Werkstatt gebracht werden muss. Diese Information kann dann dem Fahrer angezeigt werden.
Liegen in der Recheneinrichtung 11 Daten zu einer Vielzahl von Kraftfahrzeugen vor, so kann die Recheneinrichtung 11 auch feststellen, welche Straßenabschnitte bzw. welche globale Positionen für die Aufnahme der Bilder für die Kalibrierung der Kameras 3, 4, 13, 14, 15 statistisch am besten geeignet sind. In der Regel sind dies gerade und horizontal ausgerichtete Straßenabschnitte. Die Recheneinrichtung 11 kann an die Steuereinheit 5 auch eine Information übertragen, durch welche ein derartiger bevorzugter Straßenabschnitt für die Aufnahme der Bilddaten im Hinblick auf die Kalibrierung der Kameras 3, 4, 13, 14, 15 vorgeschlagen wird. Diese Information kann dann dem Fahrer angezeigt werden, und das Kraftfahrzeug 1 kann zu dem bevorzugten Straßenabschnitt gebracht werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7100190 B2 [0002]
WO 2006/020219 A2 [0003]
KR 102004041803 A [0004]

Zitierte Nicht-Patentliteratur

Kommunikationsstandard der IEEE-802.16-Familie [0020]
Standard der IEEE-802.16-Familie [0040]

Claims

Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1) durch – Aufnehmen zumindest eines Bildes durch eine Kamera (3, 4, 13, 14, 15) des Kamerasystems (2), – Übertragen von Bilddaten, die das zumindest eine Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an eine vom Kraftfahrzeug (1) separate Recheneinrichtung (11), und – Verarbeiten der Bilddaten durch die Recheneinrichtung (11), dadurch gekennzeichnet, dass im Rahmen der Verarbeitung der Bilddaten ein Algorithmus für eine Kalibrierung der Kamera (3, 4, 13, 14, 15) durch die Recheneinrichtung (11) ausgeführt wird und das Ergebnis des Algorithmus über das drahtlose Kommunikationsnetzwerk an das Kamerasystem (2) übertragen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass durch die Kamera (3, 4, 13, 14, 15) ein Umgebungsbereich des Kraftfahrzeugs (1) erfasst wird und durch die Kamera (3, 4, 13, 14, 15) aufgenommene Bilder zusammen mit einem Fahrzeugbild auf einer Anzeigeeinrichtung im Kraftfahrzeug (1) dargestellt werden, wobei als Ergebnis des Algorithmus ein Korrekturfaktor für die Korrektur einer Position der aufgenommenen Bilder des Umgebungsbereichs relativ zum Fahrzeugbild berechnet und an das Kamerasystem (2) übertragen wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass durch zumindest zwei Kameras (3, 4, 13, 14, 15) des Kamerasystems (2) jeweils ein Bild einer Umgebung des Kraftfahrzeugs (1) aufgenommen wird und die Bilder der zumindest zwei Kameras (3, 4, 13, 14, 15) zu einem Gesamtbild verarbeitet werden, welches eine Draufsicht auf die Umgebung des Kraftfahrzeugs (1) zeigt, wobei als Ergebnis des Algorithmus ein Korrekturfaktor berechnet wird, welcher beim Zusammenfügen der Bilder der zumindest zwei Kameras (3, 4, 13, 14, 15) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusammen mit den Bilddaten auch Positionsdaten, welche eine Information über die globale Position des Kraftfahrzeugs (1) zum Zeitpunkt der Aufnahme des Bildes beinhalten, von dem Kamerasystem (2) an die Recheneinrichtung (11) übertragen und von der Recheneinrichtung (11) in Bezug auf den Algorithmus berücksichtigt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Positionsdaten durch die Recheneinrichtung (11) dahingehend berücksichtigt werden, dass in Abhängigkeit von der globalen Position des Kraftfahrzeugs (1): – das Ergebnis des Algorithmus entweder als plausibel angenommen oder als unplausibel verworfen wird oder – entschieden wird, ob der Algorithmus anhand der Bilddaten ausgeführt wird oder nicht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass von der Recheneinrichtung (11) an das Kamerasystem (2) Daten übertragen werden, durch welche zumindest ein bevorzugter Straßenabschnitt für die Aufnahme der Bilddaten für die Ausführung des Algorithmus vorgeschlagen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusammen mit den Bilddaten auch Fahrzeugdaten, welche eine Information über eine Beschleunigung des Kraftfahrzeugs (1) zum Zeitpunkt der Aufnahme des Bildes und/oder eine Information über einen Neigungswinkel des Kraftfahrzeugs (1) zum Zeitpunkt der Aufnahme des Bildes, insbesondere einen Rollwinkel und/oder einen Gierwinkel und/oder einen Nickwinkel, beinhalten, von dem Kamerasystem (2) an die Recheneinrichtung (11) übertragen und von der Recheneinrichtung (11) in Bezug auf den Algorithmus berücksichtigt werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Informationen über den Neigungswinkel und/oder über die Beschleunigung durch die Recheneinrichtung (11) dahingehend berücksichtigt werden, dass: – in Abhängigkeit von diesen Informationen das Ergebnis des Algorithmus entweder als plausibel angenommen oder als unplausibel verworfen wird oder – der Neigungswinkel und/oder die Beschleunigung beim Ausführen des Algorithmus berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für eine Vielzahl von Kraftfahrzeugen der Algorithmus für die Kalibrierung mittels der Recheneinrichtung (11) ausgeführt wird und die Vielzahl der Ergebnisse einem Data-Mining-Verfahren unterzogen werden und – anhand eines Vergleichs zwischen dem Ergebnis des Algorithmus für die Kalibrierung der Kamera (3, 4, 13, 14, 15) mit einem Ergebnis des Data-Mining-Verfahrens ein fehlerhafter Betrieb des Kamerasystems (2) erkannt wird und/oder – ein Ergebnis des Data-Mining-Verfahrens beim Ausführen des Algorithmus für die Kalibrierung der Kamera (3, 4, 13, 14, 15) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – die Bilddaten an einen Hostserver als Recheneinrichtung (11) übertragen und durch den Hostserver verarbeitet werden und/oder – die Bilddaten an ein tragbares Kommunikationsgerät als Recheneinrichtung (11) übertragen und durch das tragbare Kommunikationsgerät verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verarbeiten der Bilddaten durch die Recheneinrichtung (11) beinhaltet, dass das zumindest eine Bild einer Mustererkennung unterzogen wird und ein in dem Bild erkanntes Objekt klassifiziert wird, wobei das Ergebnis dieser Klassifizierung über das drahtlose Kommunikationsnetzwerk an das Kamerasystem (2) übertragen wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass in Abhängigkeit von dem Ergebnis der Klassifizierung zumindest eine der folgenden Funktionalitäten durch das Kamerasystem (2) bereitgestellt werden: – Aktivieren eines Einbruchsensors des Kraftfahrzeugs (1) und/oder – Aufnehmen einer zeitlichen Abfolge von Bildern durch die Kamera (3, 4, 13, 14, 15) und Übertragen von Videodaten, die die Abfolge Von Bildern repräsentieren, über das drahtlose Kommunikationsnetzwerk an ein tragbares Kommunikationsgerät eines Fahrers des Kraftfahrzeugs (1).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verarbeiten der Bilddaten beinhaltet, dass anhand des zumindest einen Bildes die Identität eines Fahrers des Kraftfahrzeugs (1) durch die Recheneinrichtung (11) festgestellt wird und Daten mit Informationen über die Identität des Fahrers an das Kamerasystem (2) übertragen werden.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass zumindest eine Komponente des Kraftfahrzeugs (1) in Abhängigkeit von der Identität des Fahrers angesteuert wird.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass in Abhängigkeit von der Identität des Fahrers zumindest eine der folgenden Funktionalitäten im Kraftfahrzeug (1) bereitgestellt wird: – Aktivieren einer Alarmanlage und/oder einer Fahrzeugsperre und/oder – Einstellen einer Position eines Fahrzeugsitzes und/oder – Einstellen einer Position eines Lenkrades und/oder – Einstellen eines Parameters einer Aufhängung des Kraftfahrzeugs (1) und/oder – Einstellen eines Parameters eines Antriebsmotors des Kraftfahrzeugs (1) und/oder – Einstellen einer Ausrichtung eines Spiegels des Kraftfahrzeugs (1).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch das Kamerasystem (2) erkannt wird, dass eine Kollision des Kraftfahrzeugs (1) bevorsteht oder eintritt, und nach Erkennen einer solchen Kollisionssituation ein Bild durch die Kamera (3, 4, 13, 14, 15) aufgenommen und über das drahtlose Kommunikationsnetzwerk an einen Hostserver (12) eines Notdienstes übertragen wird.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass zusammen mit dem Bild auch zumindest eine der folgenden Informationen an den Hostserver (12) des Notdienstes übertragen wird: – eine Information über eine aktuelle globale Position des Kraftfahrzeugs (1) und/oder – ein amtliches Kennzeichen des Kraftfahrzeugs (1) und/oder – eine Information über die Identität eines Inhabers des Kraftfahrzeugs (1).
Kraftfahrzeug (1) mit einem Kamerasystem (2), wobei das Kamerasystem (2) umfasst: – zumindest eine Kamera (3, 4, 13, 14, 15) zum Aufnehmen eines Bildes und – eine Kommunikationseinheit (6) zum Übertragen von Bilddaten, die das aufgenommene Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an eine vom Kraftfahrzeug (1) separate Recheneinrichtung (11), dadurch gekennzeichnet, dass das Kamerasystem (2) dazu ausgelegt ist, ein Ergebnis eines durch die Recheneinrichtung (11) anhand der Bilddaten ausgeführten Algorithmus für eine Kalibrierung der Kamera (3, 4, 13, 14, 15) zu empfangen und in Abhängigkeit von diesem Ergebnis von der Kamera (3, 4, 13, 14, 15) aufgenommene Bilder zu korrigieren.
System mit: – einem Kraftfahrzeug (1) mit einem Kamerasystem (2) und – einer vom Kraftfahrzeug (1) separaten Recheneinrichtung (11), – wobei das Kamerasystem (2) zumindest eine Kamera (3, 4, 13, 14, 15) zum Aufnehmen eines Bildes sowie eine Kommunikationseinheit (6) aufweist, die zum Übertragen von Bilddaten, die das aufgenommene Bild repräsentieren, über ein drahtloses Kommunikationsnetzwerk an die Recheneinrichtung (11) ausgebildet ist, dadurch gekennzeichnet, dass die Recheneinrichtung (11) dazu ausgelegt ist, anhand der Bilddaten ein Algorithmus für eine Kalibrierung der Kamera (3, 4, 13, 14, 15) auszuführen und ein Ergebnis dieses Algorithmus an das Kamerasystem (2) zu übertragen.