-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, sowie ein Sensorsystem zum Generieren einer Fahrzeugumsicht.
-
TECHNISCHER HINTERGRUND
-
Die Internetveröffentlichung http://www.autoscout24.de/themen/kfztechnik/elektronik/surround-view-funktionsweise/, die am Anmeldetag dieser Patentanmeldung abrufbar war, zeigt ein Surround-View-System. Derartige Systeme sind eingerichtet, eine Umsicht eines Fahrzeugs mittels Kameras, die an beweglichen Teilen des Fahrzeugs befestigt sind, zu erzeugen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein funktionaleres Surround-View-System zu schaffen.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, mit den Merkmalen des Patentanspruchs 1 und/oder durch ein Sensorsystem zum Generieren einer Fahrzeugumsicht mit den Merkmalen des Patentanspruchs 12 gelöst.
-
Demgemäß ist vorgesehen:
- - ein Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, mit den folgenden Schritten: Erfassen wenigstens eines Abstands einer Karosserie eines Fahrzeugs zu einem Untergrund, auf welchem sich die Karosserie befindet, mittels wenigstens eines Abstandssensors; Erfassen von Bilddaten mittels wenigstens einer Kamera zu einer Fahrzeugumgebung; Verarbeiten der Bilddaten aufgrund des erfassten Abstands mittels einer Recheneinheit; sowie
- - ein Sensorsystem zum Generieren einer Fahrzeugumsicht welches wenigstens einen Abstandssensor, wenigstens eine Kamera und eine Recheneinheit, welche mittels einer Datenverbindung mit der Kamera und mit dem Abstandssensor verbunden ist, aufweist, wobei der Abstandssensor eingerichtet ist, einen Abstand einer Karosserie eines Fahrzeugs zu einem Untergrund, auf welchem sich die Karosserie befindet, zu erfassen, wobei die Kamera eingerichtet ist, Bilddaten einer Fahrzeugumgebung zu erfassen, wobei die Recheneinheit eingerichtet ist, die Bilddaten aufgrund des Abstands weiterzuverarbeiten.
-
Fahrzeuge im Sinne dieser Patentanmeldung sind motorgetriebene Landfahrzeuge, insbesondere Automobile.
-
Als Karosserie bezeichnet man den kompletten Aufbau eines Kraftfahrzeuges.
-
Ein Untergrund eines Fahrzeugs ist beispielsweise eine Straße. Der Untergrund kann eine unebene Oberfläche sein, beispielsweise ein Feldweg oder eine Straße mit einem Randstein, wenn sich ein Fahrzeug schräg auf dem Randstein befindet.
-
Ein Abstandssensor dient zur Messung des Abstandes zwischen einem Objekt und einem Bezugspunkt, einer Bezugsfläche oder von Längenänderungen. In dieser Patentanmeldung handelt es sich bei Änderungen des Abstands um örtliche Änderungen.
-
Eine Kamera ist eine fototechnische Apparatur, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf ein magnetisches Videoband oder digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann.
-
Bilddaten dienen dem Speichern von Bildern. Bilddaten werden oft digital errechnet oder durch Analog-Digital-Wandlung digitalisiert.
-
Rollen bezeichnet die Bewegung eines Objekts um seine Längsachse. Bei Landfahrzeugen wird die Bewegung auch als Wanken bezeichnet. Tritt kein Rollen auf, so spricht man von lateraler Stabilität.
-
Eine Nickachse ist eine Körperachse, die quer zur längsten Ausdehnung eines Körpers oder zur normalen Bewegungsrichtung eines Fahrzeuges steht. Die Nickachse ist rechtwinklig zur Fahrtrichtung und zugleich parallel zum Erdboden. Der Drehwinkel um diese Achse wird als Nickwinkel bezeichnet. Bei Landfahrzeugen wird die Rotationsbewegung um die Nickachse z. B. durch Beschleunigungen in Längsrichtung hervorgerufen. Abhängig vom Vorzeichen der Beschleunigung wird dabei zwischen Brems- und Anfahrnicken unterschieden. Auf unebener Fahrbahn wird ein Fahrzeug ebenfalls zu Nickbewegungen angeregt. Dabei können tiefliegende Fahrzeugteile wie Frontspoiler die Fahrbahn berühren.
-
Eine Interpolation ist eine Kurve, die durch diskrete Daten verläuft.
-
Eine Rotationsmatrix ist eine Matrix, die eine räumliche Drehung beschreibt. Die Matrix enthält trigonometrische Ausdrücke des Drehwinkels, sodass bei ihrer Multiplikation z. B. mit einem Vektor dessen Drehung um diesen Winkel bewirkt wird. Außer durch den Winkel ist die Drehung durch das Drehzentrum (also einen Punkt, eine Achse, Ebene usw.) charakterisiert.
-
Die Drehung kann ein Objekt (eine Figur, einen Körper) bezüglich eines festgehaltenen Koordinatensystems (aktive Drehung) oder das Koordinatensystem selbst betreffen (passive Drehung).
-
Unter einer Rücktransformation eines Roll- oder Nickwinkels wird in dieser Anmeldung eine Drehung um einen Roll- oder Nickwinkel eines Fahrzeugs mit umgekehrten Vorzeichen verstanden.
-
Flächige Abstandssensoren ermitteln ein Abstandsprofil einer Fläche zu einer anderen Fläche. Punktförmige Abstandssensoren ermitteln einen Abstand zwischen zwei Punkten.
-
TOF-Sensoren sind 3D-Kamerasysteme, die mit einem Laufzeitverfahren (englisch: time of flight, TOF, auch ToF) Distanzen messen. Dazu wird eine Umgebung mittels eines Lichtpulses ausgeleuchtet. Eine Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Das Prinzip ähnelt dem punktförmigen Laserscanning mit dem Vorteil, dass eine ganze Szene auf einmal aufgenommen wird und nicht abgetastet werden muss.
-
Lidar (Abkürzung für englisch light detection and ranging), ist eine Methode zur optischen Abstands- und Geschwindigkeitsmessung. Statt der Radiowellen wie beim Radar werden Laserstrahlen verwendet.
-
Laserscanning (auch Laserabtastung) bezeichnet das zeilen- oder rasterartige Überstreichen von Oberflächen mit einem Laserstrahl, um diese zu vermessen oder um ein Bild zu erzeugen. Ein Lasersensor erfasst eine Objektgeometrie sowie eine Intensität des reflektierten Signals und ermittelt hieraus einen Abstand.
-
Zuladung bezeichnet die Summe des Gewichts, das sich aus Besatzung, Nutzlast sowie Kraft- und Schmierstoffen ergibt, die mitgeführt werden können.
-
Der Reifendruck ist der Druck in einem Luftreifen. Der Reifendruck ist entscheidend für die Verwendungsfähigkeit eines Luftreifens. Er wird deshalb nach Vorgabe eingestellt und muss zum Erhalt der Funktionsfähigkeit regelmäßig kontrolliert und gegebenenfalls angepasst werden. Der Reifendruck kann sich auch im Betrieb durch Erwärmung erhöhen. Falscher Reifendruck führt zu vorzeitigem Verschleiß oder zum Versagen des Luftreifens.
-
Eine Umsicht eines Fahrzeugs ist eine Ansicht, welche von einem Fahrzeug aus weggerichtet ist. Eine Umsicht kann einen Bildwinkel von wenigstens 60° abbilden. Eine Rundumsicht eines Fahrzeugs ist eine 360°-Ansicht um ein Fahrzeug herum.
-
Ein Sensorsystem weist einen oder mehrere Sensoren auf, wobei mehrere Sensoren gegebenenfalls miteinander verbunden sind.
-
Ein Display ist eine elektrisch angesteuerte Anzeige zur optischen Signalisierung von veränderlichen Informationen wie Bildern oder Zeichen. Ein Display kann dabei ein eigenständiges Gerät oder Teil eines Gerätes sein.
-
Surround View-Systeme, auch bezeichnet als Area View oder Around View, erzeugen ein Bild aus der Vogelperspektive, also von oben auf ein Fahrzeug. Dafür wird allerdings kein Bild von oben aufgenommen, sondern es werden Bilder von vorne, hinten und von der Seite zusammengefügt. Dazu befinden sich neben einer Rückfahrkamera weitere Weitwinkelkameras an der Front und an den Längsseiten des Fahrzeugs, z.B. unter den beiden Außenspiegeln. Bilder werden dazu oft digital entzerrt und auf einem Display im Cockpit des Fahrzeugs dargestellt.
-
Die grundlegende Idee der Erfindung ist es, mittels Distanzsensoren die Lage einer Karosserie zu einem Untergrund bzw. Boden hin zu bestimmen. Diese Lageinformation lässt sich einem Sensorsystem zuführen, sodass dieses den Abstand der Karosserie zum Untergrund an den Messstellen kennt. Aufgrund dieser Zusatzinformation kann eine angepasste Verarbeitung der Nutzdaten des Sensorsystems durchgeführt werden.
-
Eine weitere grundlegende Idee der Erfindung ist es, ein Sensorsystem zum Generieren einer Fahrzeugumsicht zu schaffen, welches das Herausrechnen von örtlich verschiedenen Abstandsmesswerten aus Bilddaten, ermöglicht.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird ein Rollwinkel und/oder Nickwinkel des Fahrzeugs mittels des Abstandssensors ermittelt. Ein Rollwinkel oder Nickwinkel eines Fahrzeugs kann dazu führen, dass ursprüngliche Annahmen für die Generierung eines Kombinationsbildes aus Einzelbildern eines Surround-View-Systems nicht mehr zutreffen. Dementsprechend lässt sich somit die Qualität eines Kombinationsbildes eines Surround-View-Systems verbessern.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird zwischen wenigstens zwei erfassten Abständen ein weiterer geschätzter Abstand interpoliert. Somit lässt sich ein Abstand an unbekannten Stellen der Karosserie schätzen. Somit lässt sich auch ein Rollwinkel oder ein Nickwinkel an Stellen, dessen Abstand der Karosserie zu einem Untergrund nicht bekannt ist, schätzen.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung werden die Bilddaten mittels einer Rotationsmatrix, welche die Bilddaten um einen Rollwinkel und/oder Nickwinkel zurücktransformiert, verarbeitet. Dementsprechend lassen sich Bilddaten, die einen Rollwinkel und/oder einen Nickwinkel enthalten, so transformieren, dass der Rollwinkel und/oder der Nickwinkel den Bilddaten nicht zu entnehmen ist. Dies verbessert die Lesbarkeit bzw. die Interpretierbarkeit der Bilddaten für einen menschlichen Benutzer.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung ist der Abstandssensor als flächige Sensor, insbesondere als Lidarsensor oder TOF-Sensor ausgebildet. Das Abstandsergebnis flächiger Sensoren liefert auch bei schwierigen bzw. unebenen Untergründen authentische Abstandsergebnisse. Beispielsweise erkennt ein flächiger Abstandssensor, der einen Abstand einer Karosserie zu einem Untergrund über einem Schlitz eines Gullydeckels misst, dass es sich bei dem Abstand der Karosserie in das Innere der Kanalisation (aufgrund der Messung durch den Schlitz des Gullydeckels) um eine lokale Unebenheit handelt, die den globalen Abstand der Karosserie zu einem Untergrund nicht weiter beeinträchtigt.
-
Derartige flächige Sensoren können beispielsweise als Lidarsensor oder als TOF-Sensor ausgebildet sein.
-
Alternativ oder zusätzlich ist es auch denkbar, dass der Abstandssensor als Punktsensor, insbesondere als Lasersensor ausgebildet ist. Derartige Lasersensoren werden häufig auch als Laserscanner bezeichnet. Punktsensoren sind besonders kostengünstig.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird eine Unebenheit in dem Untergrund, die den Rollwinkel und/oder Nickwinkel des Fahrzeugs nicht beeinflusst, erkannt. Eine derartige Erkennung ist sowohl mittels flächigen Abstandssensoren als auch mittels Punktsensoren, sofern mehrere Punktsensoren verwendet werden, möglich. Rollwinkel und/oder Nickwinkel können beispielsweise verfälscht werden, wenn ein Abstand durch einen Schlitz eines Gullydeckels, in einer Spurrinne oder in einem Schlagloch, zu welchem kein Reifen Kontakt hat, gemessen wird. Dementsprechend lässt sich somit ein zuverlässigeres Bildverarbeitungsverfahren schaffen.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird aus den verarbeiteten Bilddaten eine Umsicht des Fahrzeugs erzeugt. Dies ist besonders vorteilhaft für einen Fahrer oder einen Benutzer des Sensorsystems, da somit Bilddaten mehrerer aufgenommener Bilder derart visualisiert werden können, dass ein Mensch die Bilddaten in kurzer Zeit wahrnehmen und verarbeiten kann. Dies schont mentale Ressourcen eines Benutzers des Sensorsystems.
-
Dementsprechend ist es zweckmäßig, wenn die Umsicht eine Seitenansicht, Rückansicht und/oder Frontansicht oder eine Kombination aus einer Seitenansicht, Rückansicht oder Frontansicht, insbesondere eine Rundumsicht des Fahrzeugs, ist. Diese genannten Ansichten eines Fahrzeugs liefern für einen Fahrer besonders wertvolle Informationen und erleichtern das Steuern eines Fahrzeugs, beispielsweise während des Einparkens.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird aufgrund des erfassten Abstands eine Zuladung des Fahrzeugs und/oder ein Reifendruck von Reifen ermittelt. Somit ist es möglich, Messwerte eines Wiegesystems des Fahrzeugs oder eines Prüfsystems für einen Reifendruck des Fahrzeugs zu plausibilisieren. Somit lassen sich Funktionseinschränkungen eines Wiegesystems oder eines Prüfsystems für den Reifendruck frühzeitig erkennen. Dementsprechend ließe sich einem Benutzer des Fahrzeugs in diesem Fall empfehlen, eine Werkstatt zur Überprüfung des Wiegesystems oder Prüfsystems für den Reifendruck aufzusuchen. Ferner lässt sich somit ein Fahrer vor einer Überladung des Fahrzeugs warnen, auch wenn das Fahrzeug kein Wiegesystem aufweist.
-
Das Computerprogrammprodukt gemäß einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich die angepasste Bildverarbeitung aufgrund eines erfassten Abstands der Karosserie zu einem Untergrund des Fahrzeugs.
-
Es versteht sich, dass Fahrzeuge mit einem erfindungsgemäßen Sensorsystem leichter zu steuern sind, da ein Fahrer des Fahrzeugs mit einem Blick auf ein Display relevante Bereiche um ein Fahrzeug erfassen kann. Dies ist besonders für Fahrer mit einer eingeschränkten Beweglichkeit vorteilhaft und steigert somit die Sicherheit aller Verkehrsteilnehmer.
-
Figurenliste
-
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
- 1 ein schematisches Blockschaltbild einer Ausführungsform der Erfindung;
- 2 eine schematische Ansicht einer Ausführungsform der Erfindung;
- 3 ein schematisches Blockschaltbild einer Ausführungsform der Erfindung.
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt - jeweils mit denselben Bezugszeichen versehen.
-
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
1 zeigt ein schematisches Blockschaltbild eines Sensorsystems 10 mit einer Kamera 14, einer Kamera 15, einem Abstandssensor 18 und einer Recheneinheit 12. Die Kameras 14, 15 bzw. der Abstandssensor 18 sind mit der Recheneinheit 12 jeweils über eine Datenverbindung 16 bzw. 19 verbunden. Die Kamera 14 bzw. 15 ist an einem beweglichen Außenspiegel 54 bzw. an einer beweglichen Heckklappe eines Fahrzeugs 50 befestigt und ist eingerichtet, Bilder der Umgebung des Fahrzeugs 50 aufzunehmen. Der Abstandssensor 18 ist als flächiger TOF-Sensor ausgebildet und am Unterboden des Fahrzeugs 50 befestigt.
-
Abstandssensor 18 ermittelt ein flächiges Abstandsprofil des Unterbodens zu einem Untergrund, auf dem sich die Räder des Fahrzeugs befinden.
-
Die Bilder der Kameras 14, 15 werden mittels der Datenverbindung 16 an die Recheneinheit 12 übermittelt. Die Recheneinheit 12 ist eingerichtet, die Bilder der Kameras 14, 15 zu einer Umsicht des Fahrzeugs zusammenzufügen. Hierfür ermittelt die Recheneinheit 12 zunächst einen Rollwinkel und einen Nickwinkel des Fahrzeugs aufgrund des ermittelten Abstandsprofils. Im Folgenden werden die Bilddaten entsprechend des ermittelten Rollwinkels und Nickwinkels derart bearbeitet, dass der Rollwinkel und der Nickwinkel des Fahrzeugs aus den Bilddaten herausgerechnet werden. Dies erfolgt durch die Anwendung einer Rotationsmatrix auf die Bilddaten.
-
Die 2 zeigt eine Prinzipskizze eines Cockpits eines Fahrzeugs 50 mit einem Sensorsystem 10. Das Fahrzeug 50 umfasst einen Außenspiegel 54, an dem die Kamera 14 befestigt ist. Eine weitere Kamera 15 ist an einer Heckklappe (nicht dargestellt) des Fahrzeugs 50 befestigt. In dem Cockpit des Fahrzeugs 50 ist ein Display 52 ausgebildet, auf welchem die Umsicht des Fahrzeugs 50, die mittels der Recheneinheit 12 erzeugt wurde, angezeigt wird.
-
Die 3 zeigt ein Blockschaltbild eines Verfahrens gemäß einer Ausführungsform der Erfindung. In dem Schritt S1 wird wenigstens ein Abstand einer Karosserie eines Fahrzeugs zu einem Untergrund, auf welchem sich die Karosserie befindet, mittels wenigstens eines Abstandssensors erfasst. In dem Schritt S2 wird ferner ein Rollwinkel und/oder ein Nickwinkel des Fahrzeugs aufgrund des ermittelten Abstands ermittelt. In dem Schritt S3 werden Bilddaten mittels wenigstens einer Kamera zu einer Fahrzeugumgebung erfasst. In dem Schritt S4 werden Bilddaten aufgrund des erfassten Abstands verarbeitet.
-
Bezugszeichenliste
-
- 10
- Sensorsystem
- 12
- Recheneinheit
- 14
- Kamera
- 15
- Kamera
- 16
- Datenverbindung
- 18
- Abstandssensor
- 19
- Datenverbindung
- 50
- Fahrzeug
- 52
- Display
- 54
- Außenspiegel
- S1 - S4
- Verfahrensschritte
