-
Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem für ein Fahrzeug, insbesondere ausgebildet als Assistenzsystem zum Rangieren und/oder zum Einparken des Fahrzeugs, mit einer Videokamera, mittels der ein Videobild eines Umgebungsbereichs des Fahrzeugs mit zumindest einem Objekt aufnehmbar ist. Im Fahrzeug befindet sich ein Anzeigemittel, auf dem das Videobild mit den Objekten darstellbar ist.
-
STAND DER TECHNIK
-
Aus dem Stand der Technik sind Fahrerassistenzsysteme für Fahrzeuge bekannt, die insbesondere zum Rangieren und/oder zum Einparken des Fahrzeugs dienen. Beispielsweise zeigt die
DE 10 2007 022 523 A1 ein System für ein Fahrzeug, das eine Videokamera aufweist, mittels der ein Videobild eines Umgebungsbereiches des Fahrzeugs mit zumindest einem Objekt aufnehmbar ist. Jedoch richtet sich die Verwendung der Videokamera auf eine Umgebung des Fahrzeugs, die den Schwenkbereich einer Türklappe überwacht. Das Bild, das von der Videokamera aufgenommen wurde, kann über ein Anzeigemittel im Fahrzeug angezeigt werden. Weiterhin wird vorgeschlagen, die Videokamera für hinter dem Fahrzeug liegende Bereiche kostengünstig und funktionell zu verwenden, und es wird weiterhin vorgeschlagen, leistungsstarke Bildverarbeitungseinheiten zu verwenden, um die Darstellung der Objekte, die mit der Videokamera erfasst werden, und die auf dem Videobild dargestellt werden können, hervorzuheben. Weiterhin wird vorgeschlagen, basierend auf der Technik der Bildverarbeitung Fußgänger zu erkennen, beispielsweise in Analyse der Bewegungseigenschaften menschlicher Beine. Als Lichtquelle wird ein Beleuchtungsmittel genannt, das ein Lichtmuster, beispielsweise ein Streifenmuster, in den zu erfassenden Bereich abbildet, und die Streifen können von der Videokamera erfasst werden. Damit wird jedoch kein klassisches Videobild auf dem Anzeigemittel anzeigbar sein, und es ist lediglich ein synthetisches digital aufbereitetes Bild zur Anzeige möglich. Jedoch ist es wünschenswert, dass der Fahrer des Fahrzeugs ein Echtbild des erfassten Umgebungsbereiches des Fahrzeugs erhält, in dem jedoch Objekte, die beispielsweise kollisionsgefährdend sind, hervorgehoben sind. Die Verwendung von Bildverarbeitungsprogrammen zur Hervorhebung von Bildbestandteilen ist dabei aufwändig und teuer.
-
Die
DE 10 2008 042 825 A1 zeigt ein weiteres Fahrerassistenzsystem für ein Fahrzeug, und es wird eine Auswerteeinheit mit Mitteln zur Korrektur von Messfehlern vorgeschlagen, die Sensordaten wenigstens einer Sensorvorrichtung in Bezug auf ein Objekt bzw. zusätzlich die Umgebungskoordinaten eines Navigationssystems heranziehen, um daraus eine Koordinate des Objektes zu bestimmen. Als Sensorvorrichtung wird dabei eine Kamera vorgeschlagen. Eine Verbesserung des Assistenzsystems zum Rangieren und/oder zum Einparken des Fahrzeugs wird damit jedoch nicht erreicht.
-
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Fahrerassistenzsystem für ein Fahrzeug derart weiterzubilden, dass mit einfachen technischen Mitteln die Darstellung eines Videobildes mit Objekten in einem Anzeigemittel für einen Fahrer eines Fahrzeugs verbessert, insbesondere angereichert wird. Diese Aufgabe wird ausgehend von einem Fahrerassistenzsystem für ein Fahrzeug gemäß den bekannten Merkmalen des Anspruches 1 in Verbindung mit den kennzeichnenden Merkmalen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
OFFENBARUNG DER ERFINDUNG
-
Die Erfindung schließt die technische Lehre ein, dass wenigstens eine Sensoreinrichtung vorgesehen ist, die zur Sensierung des Umgebungsbereiches und zur Erstellung eines digitalen Sensorbildes des Umgebungsbereiches des Fahrzeugs ausgebildet ist, wobei weiterhin eine Prozessoreinrichtung vorgesehen ist, mittels der das Videobild durch Informationen des Sensorbildes anreicherbar ist.
-
Die Erfindung geht dabei von dem Gedanken aus, ein an sich bekanntes Fahrerassistenzsystem mit einer Videokamera zu verwenden, durch die ein Videobild eines Umgebungsbereiches des Fahrzeugs mit zumindest einem Objekt aufnehmbar ist, und das Videobild wird nicht, wie auf konventionelle Weise, mittels einer Bildverarbeitungssoftware aufbereitet und angereichert, um das Objekt im Videobild beispielsweise hervorzuheben, sondern die Erfindung nutzt die Möglichkeit, ein digitales, und damit synthetisch hergestelltes Sensorbild dazu zu verwenden, das konventionelle Videobild anzureichern. Beispielsweise kann das zumindest eine Objekt sowohl mit der konventionellen Videokamera erfasst werden, jedoch kann das Objekt gleichermaßen auch mit der Sensoreinrichtung erfasst werden. Damit steht zum einen ein konventionelles Videobild mit dem Objekt zur Verfügung, zum anderen steht ein digitales Sensorbild mit dem gleichen Objekt zur Verfügung, das dem konventionellen Videobild überlagert werden kann. Die Prozessoreinrichtung ist dabei derart ausgebildet, dass das konventionelle Videobild mit dem digitalen Sensorbild angereichert wird. Die Anreicherung kann dabei beispielsweise die Hervorhebung eines Objektes im Videobild betreffen. Damit wird der Komfort des Fahrerassistenzsystems beim Rangieren und/oder beim Einparken des Fahrzeugs weiter verbessert, in dem das dem Fahrer bereitgestellte Bild im Anzeigemittel aufbereitet wird, ohne kostspielige aufwändige und häufig nicht befriedigend arbeitende Bildverarbeitungsprogramme zu verwenden.
-
Die Anreicherung des Videobildes durch das Sensorbild mittels der Prozessoreinrichtung kann besonders vorteilhaft sein, wenn die Anreicherung das Hervorheben von Objekten in der Darstellung im Anzeigemittel umfasst. Insbesondere kann das Hervorheben von Objekten erfolgen, die bei einer Bewegung des Fahrzeugs kollisionsgefährdend sind. Das Hervorheben von Objekten basiert dabei nicht auf einem Bildverarbeitungsalgorithmus des konventionellen Videobildes, sondern das Hervorheben basiert auf der Korrelation des digitalen Sensorbildes mit dem Videobild, sodass die überlagerte Darstellung des Videobildes mit dem digitalen Sensorbild durch beispielsweise die Hervorhebung von Objekten im Videobild dargestellt wird. Im Ergebnis wird nicht lediglich eine Überblendung des digitalen Sensorbildes mit dem Videobild im Anzeigemittel ausgeführt, sondern es erfolgt eine Hervorhebung von Objekten im – sonst unveränderten – Videobild.
-
Das Sensorbild kann eine 3D-Information des Umgebungsbereiches des Fahrzeugs umfassen, wobei das Videobild lediglich ein 2D-Videobild ist, das mittels der Prozessoreinrichtung durch die 3D-Informationen der Sensoreinrichtung des Fahrzeugs anreicherbar ist. Beispielsweise kann sowohl die Videokamera als auch die Sensoreinrichtung am Heck des Fahrzeugs angeordnet sein, und das Videobild und/oder das verfügbare Sensorbild dient der Darstellung des Bereiches des Fahrzeugs, welches beim Rückwärtsfahren des Fahrzeugs befahren wird. Folglich können beispielsweise diejenigen Objekte hervorgehoben werden, die beim Rückwärtsfahren des Fahrzeugs eine Kollision verursachen können. Insbesondere können die Objekte in Abhängigkeit der Lenkbewegung und/oder der Stellung des Lenkrades des Fahrzeugs hervorgehoben werden, insbesondere dann, wenn abhängig vom Lenkeinschlag des Fahrzeugs eine Kollision mit wenigstens einem der Objekte erfolgen könnte.
-
Dabei kann die 3D-Information beispielsweise in das Videobild eingeblendet werden, beispielsweise in Form eines Abstandes in Metern. Somit kann das konventionelle 2D-Videobild mit 3D-Informationen angereichert werden, wobei die Objekte insofern mit einer 3D-Information angereichert werden können, als diese mit jeweiligen Abstandsinformationen versehen werden oder es können sich nah am Fahrzeug befindende Objekte überproportional größer dargestellt werden und sich entfernt vom Fahrzeug befindende Objekte können überproportional kleiner dargestellt werden, obwohl die Objektgröße selbst nicht mit der Größe der Darstellung korrespondieren muss.
-
Nach einer vorteilhaften Maßnahme kann die Sensoreinrichtung eine Lichtquelle aufweisen, die den Umgebungsbereich mit Licht umfassend eine Lichtstruktur ausleuchtet, und wobei die Sensoreinrichtung insbesondere eine Empfängerkamera umfasst, mittels der eine Rückreflektion der Lichtstruktur aufnehmbar ist. Die Lichtstruktur kann beispielsweise eine Streifenstruktur, eine Hell-Dunkel-Struktur oder eine Farbstruktur aufweisen. Befinden sich Objekte im Umgebungsbereich, so wird die Lichtstruktur, insbesondere die Streifenstruktur, gestört, und die Streifen der Streifenstruktur folgen den Kanten und Flächen des Objektes im Umgebungsbereich. Mit der Empfängerkamera kann die Umlenkung der Streifenstruktur erfasst und in eine Kontur des Objektes im Umgebungsbereich umgerechnet werden. Damit kann ein digitales Sensorbild erstellt werden, das erfindungsgemäß zur Korrelation und zur Anreicherung des Videobildes dienen kann.
-
Die Lichtquelle kann eine Laserstrahlquelle sein, und insbesondere kann die Lichtquelle einen Scanner umfassen, mit dem die Lichtstruktur in den Umgebungsbereich des Fahrzeugs aussendbar ist. Ferner kann eine Maske vorgesehen sein, durch die die Lichtstruktur in den Umgebungsbereich projiziert werden kann. Mit besonderem Vorteil kann die Empfängerkamera zur Aufnahme der Rückreflektion der Lichtstruktur durch die Videokamera gebildet sein, sodass die Videokamera einerseits das Videobild und andererseits die Lichtstruktur aufnehmen kann. Dabei kann die Videokamera beispielsweise ein Videobild mit Licht im visuellen Wellenlängenbereich aufnehmen, und die Videokamera kann die rückreflektierten Laserstrahlen aufnehmen, die einem anderen Wellenlängenbereich zugeordnet sind. Damit ist es möglich, mit einer Kamera sowohl ein Videobild als auch ein digitales Sensorbild aufzunehmen, insbesondere entsteht der Vorteil, dass die Perspektive der Aufnahme für beide Bilder die gleiche ist.
-
Nach einer weiteren vorteilhaften Maßnahme der Erfindung kann die Sensoreinrichtung eine Abstandsmesseinrichtung aufweisen, insbesondere kann vorgesehen sein, dass die Sensoreinrichtung einen Ultraschallsensor und/oder einen Radarsensor und/oder einen Kapazitätssensor umfasst, wobei mit Vorteil die Sensoreinrichtung derart ausgeführt sein kann, dass 3D-Informationen über den Umgebungsbereich des Fahrzeugs erfassbar sind. Damit kann die Sensoreinrichtung sowohl alternativ oder zusätzlich zur Lichtquelle und zur Empfängerkamera eine Abstandsmesseinrichtung aufweisen, die ebenfalls mit der Prozessoreinrichtung verbunden ist und mit der das digitale Sensorbild ausschließlich oder zusätzlich erstellt werden kann. Die Abstandsmesseinrichtung kann auf bekannte Weise als Einparkhilfe ausgeführt sein und Tiefeninformationen bereitstellen, beispielsweise in welchem Abstand sich welches Objekt zum Fahrzeug befindet. Mit dieser 3D-Information kann das Videobild erfindungsgemäß angereichert werden, und Objekte, die mit der Abstandsmesseinrichtung erfasst werden, können entweder mit Abstandswerten gekennzeichnet oder entsprechend hervorgehoben werden.
-
Vorteilhafterweise ist die Sensoreinrichtung zur Sensierung von Körperkanten von sich im Umgebungsbereich befindlichen Objekten ausgebildet, wobei die Anreicherung des Videobildes durch die Prozessoreinrichtung die Hervorhebung der Körperkanten der Objekte im Videobild umfasst. Dadurch entsteht der Vorteil, dass das Videobild durch die Hervorhebung von Körperkanten der Objekte auf die Informationen reduziert werden kann, die der Fahrer benötigt, um das Videobild schnell und einfach erfassen zu können. Die hervorgehobenen Objekte können dennoch beispielsweise Oberflächen oder Lichtverhältnisse aufweisen, die dem tatsächlichen Videobild entstammen, jedoch kann der Fahrer die Objekte deutlich schneller klassifizieren, und in Verbindung mit den 3D-Informationen können insbesondere Abstände zwischen den Körperkanten und dem Fahrzeug angezeigt werden.
-
Mit weiterem Vorteil kann die Anreicherung des Videobildes durch die Prozessoreinrichtung die Darstellung von Höheninformationen der Objekte umfassen. Beispielsweise können Objekte, die eine unkritische Höhe aufweisen, farblich anders dargestellt sein, als Objekte, die eine Höhe aufweisen, die kollisionsgefährdend ist.
-
Die Aufgabe der vorliegenden Erfindung wird ferner gelöst durch ein Verfahren zum Betrieb eines Fahrerassistenzsystems für ein Fahrzeug, insbesondere ausgebildet als Assistenzsystem zum Rangieren und/oder Einparken des Fahrzeugs mit einer Videokamera, mit der ein Videobild eines Umgebungsbereiches des Fahrzeugs mit zumindest einem Objekt aufgenommen wird und mit einem im Fahrzeug angeordneten Anzeigemittel, auf dem das Videobild mit dem Objekt dargestellt wird, und mit wenigstens einer Sensoreinrichtung, mit der der Umgebungsbereich sensiert wird und mit der ein digitales Sensorbild des Umgebungsbereiches des Fahrzeugs erstellt wird, wobei eine Prozessoreinrichtung vorgesehen ist, mittels der das Videobild im Anzeigemittel durch Informationen des Sensorbildes angereichert wird.
-
Die für das Fahrerassistenzsystem aufgeführten Merkmale und Vorteile können auf gleiche Weise für das erfindungsgemäße Verfahren Anwendung und Nutzen finden.
-
BEVORZUGTES AUSFÜHRUNGSBEISPIEL
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Figuren näher dargestellt. Es zeigt:
-
1 eine schematische Darstellung eines Fahrerassistenzsystems für ein Fahrzeug mit einer Situation, in der sich Objekte im Rückfahrbereich des Fahrzeugs befinden und
-
2 eine schematische Darstellung der Anreicherung eines mit einer Videokamera aufgenommenen Videobildes mittels eines durch eine Sensoreinrichtung aufgenommenen Sensorbildes.
-
1 zeigt ein Ausführungsbeispiel eines Fahrerassistenzsystems 1 für ein Fahrzeug 10, das als Assistenzsystem zum Rangieren, insbesondere zum Einparken des Fahrzeugs 10 ausgeführt ist. Das Fahrerassistenzsystem 1 umfasst eine Videokamera 11, die am Heck des Fahrzeugs 10 angeordnet ist. Mit der Videokamera kann der Umgebungsbereich des Fahrzeugs 10 gefilmt werden, und über ein im Fahrzeug 10 angeordnetes, nicht näher gezeigtes Anzeigemittel dargestellt werden. Im Umgebungsbereich hinter dem Fahrzeug 10 sind beispielhaft ein erstes Objekt 13 und ein zweites Objekt 14 gezeigt. Die Objekte 13 und 14 können mit der Videokamera 11 aufgenommen und im durch das Anzeigemittel dargestellten Bild gezeigt werden. Damit ergibt sich ein an sich bekanntes System zur Darstellung von Umgebungsbereichen des Fahrzeugs 10, die aber für einen Fahrer nicht oder nur erschwert sichtbar sind und die über ein Anzeigemittel, beispielsweise im Instrumentenbrett des Fahrzeugs 10, dargestellt werden können.
-
Weiterhin umfasst das Fahrerassistenzsystem 1 eine Sensoreinrichtung 16, 17, und die Sensoreinrichtung 16 besteht zunächst aus einer Lichtquelle 16, die beispielhaft am Heck des Fahrzeugs 10 unterhalb der Videokamera 11 gezeigt ist. Weiterhin umfasst die Sensoreinrichtung 16, 17 eine Empfängerkamera 11, die beispielhaft mit der Videokamera 11 gebildet ist. Das von der Lichtquelle 16 emittierte Licht kann damit von der Empfängerkamera 11 empfangen werden, und das Licht kann eine Struktur, beispielsweise eine Streifenstruktur, umfassen, und die Streifenstruktur kann durch die Empfängerkamera 11 aufgenommen werden. Damit kann durch die Sensoreinrichtung 16, 17 mit der Empfängerkamera 11 ein digitales Sensorbild bereitgestellt werden, das beispielhaft auch die Objekte 13 und 14 umfassen kann.
-
Wird mit der Videokamera 11 nun das konventionelle Videobild aufgenommen, kann dieses durch Informationen aus dem Sensorbild, das durch die Sensoreinrichtung 16, 17 aufgenommen wurde, angereichert werden. Die Anreicherung des Videobildes kann beispielsweise die Hervorhebung der Objekte 13 und 14 im Videobild betreffen.
-
Beispielhaft ist eine weitere Sensoreinrichtung 17 gezeigt, die als Abstandsmesseinrichtung 17 ausgeführt ist. Die Abstandsmesseinrichtung 17 kann ein Ultraschallsensor und/oder ein Radarsensor und/oder ein Kapazitätssensor sein und kann eine 3D-Information über den Umgebungsbereich des Fahrzeugs 10 bereitstellen, um das Videobild, das mit der Videokamera 11 aufgenommen wurde, anzureichern. Die Abstandsmesseinrichtung 17 kann eine Einparkhilfe darstellen, wie diese bereits bekannt sind, um eine 3D-Information über den Umgebungsbereich hinter dem Fahrzeug 10 bereitzustellen. Erfindungsgemäß wird diese 3D-Information dazu genutzt, das konventionelle Videobild, das durch die Videokamera 11 aufgezeichnet wird, mit Abstandsinformationen zwischen dem Fahrzeug 10 und den Objekten 13 und 14 anzureichern.
-
Die Anreicherung des Videobildes der Videokamera 11 mittels der Sensoreinrichtung 16, die als Lichtquelle 16 ausgebildet ist und die Videokamera 11 als Empfängerkamera nutzt, können Konturinformationen sein, die durch ein Streifenbild, das durch die Lichtquelle 16 den Umgebungsbereich ausleuchtet, mit der Empfängerkamera 11 empfangen wird, und es können Konturen, beispielsweise der Objekte 13 und 14, erfasst werden. Die Anreicherung des Videobildes kann neben Abstandsinformationen zwischen dem Fahrzeug 10 und den Objekten 13 und 14 folglich weitere Informationen umfassen, insbesondere Kanteninformationen der Objekte 13 und 14 oder beispielsweise Höheninformationen. Die numerische Verarbeitung und Überlagerung des Videobildes der Videokamera 11 und des Sensorbildes, das durch die Empfängerkamera 11 empfangen wird, kann durch eine Prozessoreinrichtung erfolgen.
-
2 zeigt eine schematische Darstellung der Anreicherung des Videobildes 12, das mit der Videokamera 11 aufgenommen wurde. Ferner gezeigt ist ein digitales Sensorbild 18, das mit der Sensoreinrichtung 11, 16 und 17 aufgenommen wurde. Die Objekte 13 und 14 im Videobild 12 sind auf konventionelle Weise im 2D-Format dargestellt, und das Videobild 12 kann beispielsweise schwarz-weiß oder farbig sein. Hingegen zeigt das digitale Sensorbild 18 die Objekte 13 und 14, die gestrichelt dargestellt ist, als synthetisch dargestellte Objekte, beispielsweise, indem lediglich Kantenkonturen dargestellt sind, oder die Objekte 13 und 14 sind mit Abstandsinformationen und/oder Höheninformationen angereichert. Das Anzeigemittel 15 stellt nunmehr das konventionelle Videobild 12 dar (fette Linien), und das konventionelle Videobild 12 ist durch Informationen aus dem digitalen Sensorbild 18 angereichert (gestrichelte Linien). Damit können die Objekte 13 und 14 hervorgehoben werden, beispielsweise durch farbige Markierungen oder durch ein Blinken der kollisionsgefährdenden Objekte 13 und 14 beim Rückwärtsfahren des Fahrzeugs 10, oder es kann eine sonstige Warnung an den Fahrer ausgegeben werden.
-
Im Ergebnis ist auf einfache Weise ein Bild in einem Anzeigemittel 15 im Fahrzeug 10 darstellbar, das auf einem konventionellen Videobild 12 basiert und das mit einer konventionellen Videokamera 11 aufgenommen werden kann. Jedoch ohne aufwändige Bildverarbeitungsprogramme zu nutzen, kann durch eine Sensoreinrichtung 11, 16 und 17 mit einer Empfängerkamera 11 eine Lichtquelle 16 und/oder eine Abstandsmesseinrichtung 17, das konventionelle Videobild 12 mit Informationen angereichert werden, die eine verbesserte Erkennbarkeit der Objekte 13 und 14 für einen Fahrer des Fahrzeugs 10 ermöglicht.
-
Die Erfindung beschränkt sich in ihrer Ausführung nicht auf das vorstehend angegebene bevorzugte Ausführungsbeispiel. Vielmehr ist eine Anzahl von Varianten denkbar, welche von der dargestellten Lösung auch bei grundsätzlich anders gearteten Ausführungen Gebrauch macht. Sämtliche aus den Ansprüchen, der Beschreibung oder den Zeichnungen hervorgehenden Merkmale und/oder Vorteile, einschließlich konstruktiven Einzelheiten, räumliche Anordnungen und Verfahrensschritte, können sowohl für sich als auch in den verschiedensten Kombinationen erfindungswesentlich sein. Die Sensoreinrichtung kann sowohl aus den Komponenten der Lichtquelle 16 in Verbindung mit der Empfängerkamera 11 ausgeführt sein, oder die Sensoreinrichtung ist als Abstandsmesseinrichtung 17 ausgeführt. Durch beide Arten der Sensoreinrichtungen 16 oder 17 kann das Videobild 12 bereits angereichert werden, wobei mit weiterem Vorteil sogar beide Sensoreinrichtungen 16 und 17 in Verbindung mit der Empfängerkamera 11 zu einer noch weiteren Anreicherung des Videobildes 12 dienen kann. Insbesondere muss die Empfängerkamera 11 nicht als Videokamera 11 zur Bereitstellung des konventionellen Videobildes verwendet werden, und es kann eine separate Empfängerkamera verwendet werden. Die Lichtquelle 16 kann beispielsweise nicht sichtbares Licht emittieren, und das Licht besitzt eine Struktur, insbesondere eine Matrix oder eine sonstige Schraffur, die geeignet ist, von der Empfängerkamera 11 empfangen und in Konturen von Objekten 13 und 14 umgerechnet zu werden. Insbesondere kann jedoch die Lichtquelle 16 ein Licht mit einer Wellenlänge emittieren, die gleichzeitig geeignet ist, den Umgebungsbereich des Fahrzeugs 10 auszuleuchten, um durch die Videokamera 11 erfasst zu werden, insbesondere wenn kein Tageslicht zur Verfügung steht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007022523 A1 [0002]
- DE 102008042825 A1 [0003]
