-
Die Erfindung betrifft ein Signalverarbeitungsverfahren für ein Fahrzeug, an dem mehrere Kameras angeordnet sind.
-
Fahrzeuge werden zunehmend mit mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel eines Fahrzeugs angeordnet sein. Beispielsweise kann eine derartige Kamera auch an einem Heckbereich oder einem Frontbereich des Fahrzeugs angeordnet sein.
-
Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Signalverarbeitungsverfahren für ein Fahrzeug zu schaffen, das dazu beiträgt, dass ein zu signalisierendes Bild eine eingängige Sicht repräsentiert für eine Person außerhalb des Fahrzeugs.
-
Die Aufgabe wird gelöst durch die Merkmale des unabhängigen Patentanspruchs. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
-
Die Erfindung zeichnet sich aus durch ein Signalverarbeitungsverfahren für ein Fahrzeug, an dem mehrere Kameras angeordnet sind. Abhängig von einem Messsignal eines Sensors des Fahrzeugs wird ein Eintreten eines vorgegebenen Ereignisses erkannt. Abhängig von dem Erkennen des Eintretens des vorgegebenen Ereignisses wird ein Bild der jeweiligen Kamera erfasst. Mittels einer drahtlosen Funkverbindung werden Bilddaten der erfassten Bilder an eine außerhalb des Fahrzeugs angeordnete Verarbeitungseinrichtung übertragen.
-
Abhängig von den übertragenen Bilddaten der jeweiligen erfassten Bilder werden Umgebungsmodell-Bilddaten eines Umgebungsmodell-Bildes ermittelt. Abhängig von den Umgebungsmodell-Bilddaten werden zu signalisierende Bilddaten eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera auf das Umgebungsmodell-Bild ermittelt.
-
Auf solche Weise kann im Falle eines Eintretens eines vorgegebenen Ereignisses gegebenenfalls mit geringem Übertragungsaufwand ein Umgebungsmodell-Bild ermittelt werden und zu diesem Umgebungsmodell-Bild zu signalisierende Bilddaten eines zu signalisierenden Bildes aus einer gewünschten Sicht ermittelt werden für eine eingängige Sicht für eine außerhalb des Fahrzeugs befindliche Person.
-
Die vorgegebenen Ereignisse können vorteilhafterweise abhängig von einem Messsignal eines Sensors ermittelt werden, der für die Sicherheit des Fahrzeugs verwendet wird. Ein solcher Sensor ist beispielsweise ein Sensor für eine Unfallerkennung und/oder ein Sensor für eine Alarmanlage und/oder ein Sensor eines Bewegungsmelders des Fahrzeugs. Solche vorgegebene Ereignisse sind beispielsweise ein Unfall und/oder ein Parkrempler und/oder ein Diebstahl und/oder ein Abschleppen des Fahrzeugs und/oder Vandalismus an dem Fahrzeug.
-
Die Umgebungsmodell-Bilddaten können beispielsweise ermittelt werden, indem die Bilddaten der jeweiligen Bilder der verschiedenen Kameras auf die Oberfläche eines bereitgestellten dreidimensionalen Umgebungsmodells projiziert werden.
-
Gemäß einer vorteilhaften Ausgestaltung werden zusätzlich zu den Bilddaten Kameradaten übertragen, die repräsentativ sind für einen Kameraparameter der jeweiligen Kamera. Beispielsweise weisen die Kameradaten einen oder mehrere intrinsische und/oder extrinsische Kameraparameter der jeweiligen Kamera auf. Hierdurch kann gegebenenfalls die Verzerrung des Bildes der jeweiligen Kamera reduziert werden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung werden zusätzlich zu den Bilddaten Zusatzdaten übertragen, die eine Fahrzeuginformation aufweisen. Indem Zusatzdaten, wie beispielsweise eine Fahrzeuggeschwindigkeit und/oder ein GPS-Signal und/oder eine Insassenanzahl und/oder ein Innenraumbild übertragen werden, können die übertragenen Zusatzdaten zusätzlich in dem zu signalisierenden Bild eingeblendet werden und hiermit eine Zusatzinformation an eine Person, die das zu signalisierende Bild betrachtet, liefern.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung weisen die Zusatzdaten ein Kamerabild des Innenraums des Fahrzeugs auf. Gerade bei einem Unfall ist es gegebenenfalls vorteilhaft für den Rettungsdienst, den Innenraum des Fahrzeugs zu sehen, um sich einen Überblick über die schwere des Unfalls zu machen.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung werden die Zusatzdaten abhängig von dem jeweiligen Ereignis ausgewählt. Gegebenenfalls ist es von Vorteil, je nach Ereignisart die Zusatzdaten auszuwählen, um so gegebenenfalls den Übertragungsaufwand gering zu halten, da gegebenenfalls je nach Ereignis verschiedene Zusatzdaten vorteilhaft sind.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung werden die zu signalisierenden Bilddaten an eine Empfangsvorrichtung gesendet. Die Empfangsvorrichtung kann beispielsweise eine mobile Empfangsvorrichtung sein. Sie kann außerdem eine Anzeigevorrichtung aufweisen, auf der das zu signalisierende Bild angezeigt werden kann. So ist beispielsweise eine Anzeige des zu signalisierenden Bildes auf der mobilen Empfangsvorrichtung möglich.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird die Empfangsvorrichtung abhängig von dem jeweiligen Ereignis ausgewählt. So ist es beispielsweise möglich, abhängig von dem Ereignis die Empfangsvorrichtung auszuwählen und so beispielsweise im Falle eines Unfalls das zu signalisierende Bild an einen Rettungsdienst zu senden und/oder im Falle eines Parkremplers zum Beispiel an den Besitzer des Fahrzeugs zu senden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Sicht der virtuellen Kamera von einem Eingabesignal einer extern zum Fahrzeug ausgebildeten Eingabevorrichtung vorgegeben werden. Hierdurch kann beispielsweise die Sicht von einer Person außerhalb des Fahrzeugs vorgegeben werden, die die Eingabevorrichtung bedient.
-
Gegebenenfalls ist es vorteilhaft, dass die Eingabevorrichtung und/oder die Empfangsvorrichtung und/oder die Verarbeitungseinrichtung in einer Baueinheit ausgebildet sind.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird ein Fahrzeugstellvertreterobjekt zu den Umgebungsmodell-Bilddaten hinzugefügt. Hierdurch wird gegebenenfalls verdeutlicht, an welcher Position sich das Fahrzeug in dem Umgebungsmodell befindet.
-
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:
-
1 ein Fahrzeug mit einer Übertragungsvorrichtung, eine Verarbeitungseinrichtung und eine Empfangsvorrichtung und
-
2 ein Ablaufdiagramm eines Programms für ein Signalverarbeitungsverfahren für ein Fahrzeug.
-
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.
-
Ein Fahrzeug 1 (1) weist verschiedene Kameras KAM_1, KAM_2, KAM_3, KAM_4 auf. Die jeweilige Kamera KAM_1, KAM_2, KAM_3, KAM_4 ist dazu ausgebildet und angeordnet, zumindest einen Teil einer Umgebung des Fahrzeugs 1 zu erfassen. Beispielsweise ist eine erste Kamera KAM_1 an der Front des Fahrzeugs 1 angeordnet, eine zweite Kamera KAM_2 an einem ersten Seitenspiegel 3 des Fahrzeugs 1 angeordnet, eine dritte Kamera KAM_3 an einem zweiten Seitenspiegel 4 des Fahrzeugs 1 angeordnet und eine vierte Kamera KAM_4 an einem Heckbereich des Fahrzeugs 1 angeordnet. Durch eine geeignete Anordnung der Kameras, also insbesondere der ersten bis vierten Kamera KAM_1, KAM_2, KAM_3, KAM_4 kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.
-
Das Fahrzeug 1 weist ferner eine Übertragungsvorrichtung 11 auf, die mit den verschiedenen Kameras KAM_1, KAM_2, KAM_3, KAM_4 derart signaltechnisch gekoppelt ist, dass sie Bilddaten DAT von Bildern P_i empfangen kann, die von der jeweiligen Kamera KAM_1, KAM_2, KAM_3, KAM_4 erfasst werden.
-
Darüber hinaus kann die Übertragungsvorrichtung 11 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein. Derartige Sensoren können beispielsweise ein Abstandssensor sein, der beispielsweise ultraschallbasiert ist und/oder ein Sensor, der für die Sicherheit des Fahrzeugs 1 verbaut ist, wie beispielsweise ein Sensor für eine Unfalldetektion, eine Alarmanlage und/oder ein Bewegungsmelder.
-
Die Übertragungsvorrichtung 11 weist ferner einen Daten- und Programmspeicher auf und ferner eine Recheneinheit, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden. Darüber hinaus weist die Übertragungsvorrichtung 11 eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer Verarbeitungseinrichtung 13. Die Übertragungsvorrichtung 11 kann in einer Baueinheit und/oder verteilt auf zwei oder mehrere Baueinheiten ausgebildet sein.
-
Die Verarbeitungseinrichtung 13 und die Übertragungsvorrichtung 11 sind beispielsweise mittels einer drahtlosen Funkverbindung, wie Bluetooth, WLAN und/oder Mobilfunk gekoppelt. Auf diese Weise können die Bilddaten DAT von der Übertragungsvorrichtung 11 an die Verarbeitungseinrichtung 13 übertragen werden.
-
Die Verarbeitungseinrichtung 13 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Die Verarbeitungseinrichtung 13 weist darüber hinaus eine Kommunikationsschnittstelle auf, über die sie signaltechnisch mit der Übertragungsvorrichtung 11 und/oder mit einer Empfangsvorrichtung 15 gekoppelt ist. Die Verarbeitungseinrichtung 13 kann in einer Baueinheit und/oder verteilt auf zwei oder mehrere Baueinheiten ausgebildet sein.
-
Die Verarbeitungseinrichtung 13 kann beispielsweise in einem Rechner in einem Backend und/oder einem anderen zentralen oder dezentralen Rechner und/oder in einem Smartphone ausgebildet sein.
-
Die Empfangsvorrichtung 15 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Darüber hinaus weist sie eine Kommunikationsschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit der Verarbeitungseinrichtung 13. Die Empfangsvorrichtung 15 kann in einer Baueinheit und/oder verteilt auf zwei oder mehrere Baueinheiten ausgebildet sein.
-
Die Empfangsvorrichtung 15 kann beispielsweise zusätzlich eine Anzeigevorrichtung aufweisen, die dazu ausgebildet ist ein zu signalisierendes Bild anzuzeigen.
-
Die Empfangsvorrichtung 15 kann beispielsweise in einem Rechner und/oder in einem Smartphone ausgebildet sein.
-
Die Empfangsvorrichtung 15 und die Verarbeitungseinrichtung 13 können in derselben Baueinheit und/oder verteilt auf zwei oder mehrere Baueinheiten ausgebildet sein.
-
Ein Programm, das verteilt auf die Übertragungsvorrichtung 11 und die Verarbeitungseinrichtung 13 abgearbeitet wird, wird in einem Schritt S1 (1) gestartet, in dem gegebenenfalls Variablen initialisiert werden können.
-
In einem Schritt S3 werden abhängig von einem Erkennen eines Eintretens eines vorgegebenen Ereignisses, abhängig von einem Messsignal eines Sensors des Fahrzeugs 1, Bilddaten DAT der jeweiligen Bilder P_i, die von den verschiedenen Kameras KAM_1, KAM_2, KAM_3, KAM_4 erfasst wurden, bereitgestellt.
-
Es werden somit Bilddaten DAT eines Bildes P_i, das von der ersten Kamera KAM_1 erfasst wurde, eines Bildes P_i, das von der zweiten Kamera KAM_2 erfasst wurde, eines Bildes P_i, das von der dritten Kamera KAM_3 erfasst wurde und eines Bildes P_i, das von der vierten Kamera KAM_4 erfasst wurde, zur weiteren Verarbeitung in den nachfolgenden Schritten bereitgestellt.
-
In einem Schritt S5 werden die Bilddaten DAT übertragen von der Übertragungsvorrichtung 11 an die Verarbeitungseinrichtung 13.
-
Zusätzlich zu den Bilddaten DAT können beispielsweise Kameradaten übertragen werden, die repräsentativ sind für einen Kameraparameter der jeweiligen Kamera KAM_1, KAM_2, KAM_3, KAM_4. Die Kameradaten können beispielweise intrinsische und/oder extrinsische Kameraparameter aufweisen. Mittels der Kameradaten kann beispielsweise das jeweilige Bild P_i entzerrt werden. Die Kameraparameter weisen beispielsweise alternativ oder zusätzlich die Position und/oder die Ausrichtung der jeweiligen Kamera KAM_1, KAM_2, KAM_3, KAM_4 auf.
-
Zusätzlich zu den Bilddaten DAT können beispielsweise Zusatzdaten übertragen werden, die eine Fahrzeuginformation aufweisen, wie beispielsweise an welcher Stelle ein Schaden detektiert wurde und/oder eine Position des Fahrzeugs 1 beispielsweise mittels eines GPS-Signals und/oder einen Zeitstempel und/oder eine Fahrzeuggeschwindigkeit und/oder einen Fahrzeugtyp des Fahrzeugs 1.
-
Alternativ oder zusätzlich können die Zusatzdaten ein Messsignal eines Abstandssensors des Fahrzeugs 1, der beispielsweise mittels Ultraschall realisiert ist aufweisen und/oder ein dreidimensionales Umgebungsmodell.
-
Alternativ oder zusätzlich können die Zusatzdaten ein Kamerabild des Innenraumes des Fahrzeugs 1 aufweisen.
-
In einem Schritt S7 werden Umgebungsmodell-Bilddaten PU eines Umgebungsmodell-Bildes ermittelt abhängig von den übertragenen Bilddaten DAT der jeweiligen erfassten Bilder P_i. Hierfür wird beispielsweise das dreidimensionale Umgebungsmodell bereitgestellt. Auf die Oberfläche des dreidimensionalen Umgebungsmodells können daraufhin die erfassten und übertragenen Bilder P_i projiziert werden, sodass ein dreidimensionales Umgebungsmodell-Bild erzeugt wird.
-
In einem Schritt S9 wird ein Fahrzeugstellvertreterobjekt SVO des Fahrzeugs 1 zu den Umgebungsmodell-Bilddaten PU hinzugefügt. Grundsätzlich ist dies so zu verstehen, dass entsprechende Daten bezüglich des Fahrzeugstellvertreterobjekts SVO in der Art hinzugefügt werden, dass sich virtuell das Fahrzeugstellvertreterobjekt SVO in der Weise in dem Umgebungsmodell-Bild befindet, wie sich das Fahrzeug 1 in der abgebildeten Umgebung befindet.
-
In einem Schritt S11 wird eine Sicht POS einer virtuellen Kamera VK bereitgestellt. Die Sicht POS kann beispielsweise von einem Eingabesignal einer extern zum Fahrzeug 1 ausgebildeten Eingabevorrichtung bereitgestellt werden werden.
-
Die Eingabevorrichtung ist beispielsweise mit der Empfangsvorrichtung 15 und/oder mit der Verarbeitungseinrichtung 13 in einer Baueinheit ausgebildet.
-
In einem Schritt S13 werden abhängig von den Umgebungsmodell-Bilddaten PU zu signalisierende Bilddaten PS eines zu signalisierenden Bildes aus Sicht POS der virtuellen Kamera VK auf das Umgebungsbild ermittelt. Zu den zu signalisierenden Bilddaten PS können beispielsweise die Zusatzdaten hinzugefügt werden, so dass diese in dem zu signalisierenden Bild eingeblendet werden können.
-
In einem Schritt S15 werden die zu signalisierenden Bilddaten PS gesendet an die Empfangsvorrichtung 15, beispielsweise zum Anzeigen auf der Anzeigevorrichtung der Empfangsvorrichtung 15.
-
Falls eine neue Sicht POS durch ein Eingabesignal der extern zum Fahrzeug 1 ausgebildeten Eingabevorrichtung vorgegeben wird, wird das Programm in dem Schritt S11 fortgeführt.
-
Auf diese Weise kann beispielsweise in einem Unfallfall ein zu signalisierendes Bild der Fahrzeugumgebung an einem Rettungsdienst gesendet werden, wobei zusätzlich beispielsweise an dem Fahrzeugstellvertreterobjekt SVO angezeigt werden kann, wo ein Schadenseintritt stattgefunden hat. Alternativ oder zusätzlich kann beispielsweise das zu signalisierende Bild an ein Smartphone eines Fahrzeugbesitzers gesendet werden, beispielsweise falls das Fahrzeug 1 abgeschleppt wird und/oder in einen Parkunfall verwickelt ist.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 3, 4
- Seitenspiegel
- 11
- Übertragungsvorrichtung
- 13
- Verarbeitungseinrichtung
- 15
- Empfangsvorrichtung
- DAT
- Bilddaten
- KAM_1–KAM_4
- Kamera
- P1
- Bild
- POS
- Sicht (der virtuellen Kamera)
- PS
- zu signalisierende Bilddaten
- PU
- Umgebungsmodell-Bilddaten
- SVO
- Fahrzeugstellvertreterobjekt
- VK
- virtuelle Kamera
