DE10359192A1

DE10359192A1 - Nachtsichtsystem für ein Kraftfahrzeug

Info

Publication number: DE10359192A1
Application number: DE10359192A
Authority: DE
Inventors: Tilmann Seubert; Norbert Höver; Wolfgang Kesseler; Martin Mühlenberg; Christian Boehlau
Original assignee: Hella KGaA Huek and Co
Current assignee: Hella GmbH and Co KGaA
Priority date: 2003-12-17
Filing date: 2003-12-17
Publication date: 2005-07-14

Abstract

Die Erfindung befasst sich mit einem Nachtsichtsystem für ein Kraftfahrzeug 8 mit mindestens einer Kamera 1, die ein Bild zumindest im Infrarot-Bereich aufzeichnet, einer Bildverarbeitungseinheit 3, der das Bild zugeführt wird und in der es verarbeitet wird, und einer Anzeigeeinheit, mit der das verarbeitete Bild 7 für den Fahrer dargestellt wird. Erfindungsgemäß ist vorgesehen, dass das Bild 7 vereinfacht wird, indem Informationen hinsichtlich irrelevanter Objekte unterdrückt werden oder eine Falschfarbendarstellung erfolgt oder als relevant erkannte Objekte hervorgehoben werden.

Description

Die Erfindung betrifft ein Nachtsichtsystem für ein Kraftfahrzeug mit mindestens einer Kamera, die ein Bild zumindest im Infrarot-Bereich aufzeichnet, einer Bildverarbeitungseinheit, der das Bild zugeführt wird und in der es verarbeitet wird, und einer Anzeigeeinheit, mit der das verarbeitete Bild für den Fahrer dargestellt wird oder als relevant erkannte Objekte hervorgehoben werden.

Ein solches System ist aus der DE 695 06 174 T2 bekannt. Dort wird ein mit einer Infrarot-Kamera aufgenommenes Bild über ein Head-Up-Display auf die Innenseite der Windschutzscheibe projiziert. Die Aufmerksamkeit des Fahrers wird hierbei auf die wärmsten Objekte gelenkt, indem ein Videoprozessor der Kamera die von kalten Objekten kommenden schwachen Signale unterdrückt, so dass lediglich die wärmeren Objekte oberhalb eines vorgegebenen Schwellenwerts dargestellt werden. Ein solches System hat jedoch den Nachteil, dass nicht immer die wärmeren Objekte gefährlich oder wesentlich sind. Darüber hinaus gehen die Informationen über die Umgebung der wärmeren Objekte verloren.

Aufgabe der Erfindung ist es, ein Nachtsichtsystem zu schaffen, das an den Fahrer alle zur Vermeidung einer Kollision oder zur Erfassung einer kritischen Situation notwendigen Informationen weitergibt und diese Informationen möglichst einfach darstellt.

Nachtsichtsysteme haben das Ziel, dem Fahrer Informationen aus dem Verkehrsraum anzubieten, die er aufgrund der Ausleuchtung durch ein Abblendlicht nicht erhält. Man unterscheidet hierbei aktive und passive Systeme.

Bei einem passiven System wird die thermische Strahlung von. Objekten im fernen Infrarot-Bereich über eine Thermokamera aufgenommen und dem Fahrer zur Anzeige gebracht. Dabei erhält man eine weitgehend homogene und entfernungsunabhängige Helligkeitsverteilung. Diese Systeme sind jedoch empfindlich gegen vom Eigenfahrzeug eingestrahlte Wärme und es erfolgt eine nicht-intuitive temperaturabhängige Darstellung der Objekte. Beispielsweise bringt eine in einen (isolierenden) Pelzmantel gehüllte Person nur ein schwaches Signal hervor, das unter Umständen nicht einmal erkannt wird.

Darüber hinaus gibt es aktive Nachtsichtsysteme, bei denen der Verkehrsraum fernlichtartig mit Infrarotstrahlung ausgeleuchtet und die Szene mit einer Kamera aufgenommen wird. Das so gewonnene Graustufenbild wird dann über ein Display dem Fahrer zur Verfügung gestellt. Da die infrarote Strahlung vom Menschen nicht wahrgenommen wird, wird dabei trotz des eingeschalteten infraroten Fernlichts der Gegenverkehr nicht geblendet. Solche aktiven Systeme sind wegen der günstigeren Kameratechnologie preiswerter und leichter zu integrieren als passive Systeme und weisen eine natürlichere Darstellung auf. Allerdings begrenzt die entfernungsabhängige Beleuchtung die Reichweite des aktiven Systems und verursacht gegebenenfalls eine Überbelichtung von nahen Objekten, die kompensiert werden muss.

Grundsätzlich erhält der Fahrer von beiden Arten von Nachtsichtsystemen deutlich früher Informationen über den Straßenverlauf oder mögliche Hindernisse, beispielsweise Personen auf der Fahrbahn, als dies ohne ein Nachtsichtsystem der Fall ist. Die vorliegende Erfindung funktioniert sowohl mit passiven als auch mit aktiven Nachtsichtsystemen.

Die gestellte Aufgabe wird durch ein Nachtsichtsystem mit den Merkmalen des Patentanspruchs 1 gelöst. Dabei wird dem Fahrer ein vereinfachtes verarbeitetes Bild zur Verfügung gestellt, welches nur die relevanten Objekte enthält, die er zur Einschätzung einer eventuellen Kollisionsgefahr und zur Einleitung von Gegenmaßnahmen benötigt. Ein solch vereinfachtes Bild kann zum Beispiel vorzugsweise durch Unterdrückung von Informationen erreicht werden oder durch eine Darstellung in Falschfarben erfolgen.

Eine vorteilhafte Weiterbildung der Erfindung sieht vor, dass die aufgenommenen Objekte mittels verschiedener Falschfarben für unterschiedliche Entfernungen dargestellt werden. Dadurch wird für den Fahrer zum Beispiel sofort erkennbar, ob sich das im Infrarot-Bereich abstrahlende Objekt in einem Bereich befindet, der auch durch das sichtbare Licht wahrnehmbar ist oder außerhalb dieses Bereichs. Ein Vergleich mit dem von ihm direkt gesehenen Bild im sichtbaren Bereich ist somit möglich und er hat einen guten Anhalt dafür, in welcher tatsächlichen Entfernung die dargestellten Objekte im Infrarot-Bereich liegen.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass die Bestimmung der Entfernung mittels Kantenextraktion, Auswertung des optischen Flusses und/oder der Bildhelligkeit erfolgt. Hierbei stellt der optische Fluss die zeitliche Veränderung von Pixels dar. Objekte, die sich in unterschiedlicher Entfernung befinden und Objekte, die eine unterschiedliche Geschwindigkeit aufweisen, liefern Bildpunkte, deren optischer Fluss sich unterschiedlich darstellt. Insbesondere ist es vorteilhaft, wenn eine Helligkeitskorrektur erfolgt. Diese ist problemlos nach der Feststellung des Abstands des Objekts zum Fahrzeug über die Beziehung zwischen Intensität und Abstand möglich. Die Intensität ist hierbei ungefähr proportional zum Kehrwert der vierten Potenz des Abstandes.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass alle Objekte, die mit normalem Scheinwerferlicht (Abblendlicht) angestrahlt werden, im verarbeiteten Bild unterdrückt werden. Dadurch sieht der Fahrer identische Gegenstände nicht doppelt, das heißt sowohl das reale Objekt über das sichtbare Licht als auch das Bild im Infrarot-Bereich über die Anzeigeeinheit. Durch die Vermeidung von solchen redundanten Informationen wird der Fahrer stärker auf die für ihn wichtigen zusätzlichen Informationen der Objekte, die im Infrarot-Bereich strahlen, hingelenkt. Beispielsweise könnten alle Gegenstände ausgeblendet werden, die sich innerhalb der Hell-Dunkel-Grenze des Abblendlichts befinden. Eine Abwandlung dieser bevorzugten Ausführungsform kann auch zur Ausblendung aller Objekte bis zu einer vorher festgelegten Reichweite, beispielsweise von 60 Metern, führen.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass die sichtbaren Lichtanteile mittels eines Sperrfilters vor der Aufzeichnung des Bildes herausgefiltert werden. Auch hierdurch wird eine Überblendung von Objekten sowohl in der Realität als auch im verarbeiteten Bild im Nahbereich, der vom Lichtstrahl des Abblendlichts abgedeckt ist, vermieden und der Fahrer wird nicht mit unnötigen redundanten Informationen belastet.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass zur Objekterkennung auch Informationen anderer Sensoren, wie Radar, Lidar oder Scanner, verwendet werden. Durch eine solche Sensorfusion kann eine noch bessere Objekterkennung gewährleistet werden.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass Objekte, die durch sichtbares Licht angestrahlt werden, farbig dargestellt werden und Objekte, deren Bild im Infrarot-Bereich aufgezeichnet werden, in Grautönen dargestellt werden. Dadurch wird vermieden, dass der Fahrer irritiert wird, weil er möglicherweise reale Objekte mit Objekten im verarbeiteten Bild verwechselt, da diese dort durch Falschfarben dargestellt werden, die der Realität nicht entsprechen. Dies ist insbesondere bei einem sehr warmen Objekt der Fall, das in Wirklichkeit eine dunkle Farbe aufweist. Da die Helligkeit des Bildes im Infrarot-Bereich von der Wärme abhängt, würde ein solches warmes, dunkles Fahrzeug als strahlend weißes Objekt abgebildet. Allerdings ist auch eine Darstellung der im Infrarot-Bereich aufgezeichneten Objekte mittels Falschfarben alternativ möglich. Dadurch wird dieser Darstellung ein stärkeres Gewicht gegeben gegenüber einer Darstellung in Grautönen, so dass der Fahrer diese wichtigen Informationen schnell als solche erkennt.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass Objekte, die sowohl durch sichtbares Licht angestrahlt werden als auch im Infrarot-Bereich aufgezeichnet werden, in Grautönen dargestellt werden, wenn die Infrarot-Lichtintensität höher ist als die Intensität des sichtbaren Lichts. Dies ist eine andere Möglichkeit, dass der Fahrer sämtliche Objekte, die im sichtbaren Bereich kaum mehr wahrnehmbar sind, aber eine gute Infrarot-Darstellung zulassen, sofort als im Infrarot-Bereich abstrahlende Objekte wahrnimmt, da diese in Grautönen dargestellt werden. Somit wird einer Verwirrung des Fahrers vorgebeugt.

Bevorzugt werden die beiden vorgenannten Weiterbildungen der Erfindung dadurch erreicht, dass das sichtbare Licht und das Infrarot-Licht getrennt erfassbar sind, insbesondere durch eine zweite Kamera, die im sichtbaren Bereich arbeitet, oder einen speziellen Bildsensorchip. Um den parallaxen Fehler zu minimieren und somit eine einfache Auswertung zur ermöglichen, ist es wichtig, dass die beiden Sensoren möglichst dicht nebeneinander angeordnet sind; besser ist es, wenn die beiden Sensoren integriert sind.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass Bilder für eine festlegbare Zeit in der Anzeigeeinheit eingefroren werden. Dadurch wird eine Irritierung des Fahrers durch verwirrende Bildelemente in der Anzeigeeinheit reduziert. Bei den verwirrenden Bildelementen handelt es sich beispielsweise um die Anzeige von vorbeiziehenden verwischten Büschen bei Kurvenfahrten. Das Einfrieren darf jedoch nicht zu lange andauern, damit es nicht zu einem ruckartigen Wechsel von Standbildern kommt.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass in engen Kurven das verarbeitete Bild heruntergedimmt wird und bei weiten Kurven oder Geradeausfahrt das verarbeitete Bild aufgedimmt wird. Hierdurch wird eine Ablenkung des Fahrers vermieden, ohne dass ihm wichtige Informationen verloren gehen. In engen Kurven ist der gesamte in Längsrichtung des Fahrzeugs befindliche Bereich gut durch das Abblendlicht ausgeleuchtet, so dass der Fahrer keine zusätzlichen Informationen über eventuelle Objekte auf der Fahrbahn, die in diesem Bereich vorhanden sein könnten, benötigt. Dies ist jedoch anders bei großen Kurvenradien oder bei einer Geradeausfahrt, so dass in diesem Fall wieder aufgedimmt wird. In diesem Fall endet der vom Abblendlicht ausgeleuchtete Bereich vor Objekten, die im Infrarot-Bereich abstrahlen und sich auf der Fahrbahn befinden. Eine Abgrenzung zwischen engen Kurven und großen Kurvenradien, die entweder zu einem Abdimmen oder einem Aufdimmen führen, kann über unterschiedliche Verfahren festgestellt werden.

Beispielsweise kann der Lenkwinkel bestimmt werden oder ein Gierratensensor erfasst die Kurvenfahrt.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass aus dem aufgezeichneten Bild ein Bereich in Abhängigkeit des Kurvenverlaufs herausgeschnitten wird. Dadurch ist es in Kurven möglich, nur den Teil des Bildes dem Fahrer anzuzeigen, der zum Kurveninneren zeigt und den kurvenäußeren Bereich, der sowieso vollständig vom Abblendlicht ausgeleuchtet wird, auszuschneiden. Der Fahrer erhält dann zusätzliche Informationen aus dem nicht beleuchteten Bereich der Fahrbahn zum Kurveninneren hin. Darüber hinaus werden ihm keine redundanten Informationen zu den sowieso im ausgeleuchteten Bereich liegenden Objekten vermittelt. Bevorzugt wird dafür eine hochauflösende Kamera mit einer Auslösung von mehr als 640 × 480 Pixeln mit einer Weitwinkel-Optik verwendet. Der ausgewählte Bildabschnitt hängt vom Kurvenradius und von weiteren Straßendaten, beispielsweise vom Gefälle, ab. Der Kurvenradius kann neben der Auswertung des Kamerabildes durch spezielle Fahrzeugzustandsdaten, wie unter anderem die Gierrate und die Beschleunigung, bestimmt werden.

Bevorzugt deckt die Weitwinkel-Optik einen Winkel von größer ±10°, insbesondere von ±18° oder ±30° ab. Je größer der abgedeckte Winkelbereich wird, desto mehr Informationen erhält der Fahrer aus den Randbereichen seines ausgeleuchteten Sehfeldes oder sogar darüber hinaus aus dem vom Abblendlicht nicht ausgeleuchteten Bereich. Dies ist insbesondere für Kurvenfahrten von hoher Bedeutung.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass nur ein Ausschnitt des verarbeiteten Bildes in horizontaler Richtung, beispielsweise über einen Winkelbereich von 20°, insbesondere von ±10°, und/oder in vertikaler Richtung angezeigt wird. Dadurch wird erreicht, dass dem Fahrer nicht zuviel Informationen angeboten werden von denen er überfordert wird. Es ist dabei möglich, dass nur die Winkelbereiche aus dem breiten, aufgenommenen Winkelbereich herausgeschnitten werden, die für ihn relevant sind. Bei einer Geradeausfahrt ist dies regelmäßig ein Winkelbereich von ±10° um die Fahrzeuglängsachse, dagegen liegt der relevante Bereich in einer Linkskurve, je nach Kurvenradius, bei beispielsweise -20° bis 0°. Vergleichbares gilt auch für eine nur teilweise Anzeige des aufgenommenen Bildes in vertikaler Richtung. Wenn das Fahrzeug aus der Ebene auf eine Steigung zufährt, so ist für den Fahrer der obere Bereich des aufgenommenen Bildes interessanter als der untere Bereich. Bevorzugt weist die hoch auflösende Kamera einen Digital-Zoom auf.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass ein IR-Scheinwerfer zur aktiven Ausleuchtung der Straße verwendet wird. Bevorzugt handelt es sich bei einem solchen IR-Scheinwerfer um einen weitwinklig abstrahlenden Scheinwerfer, der einen Winkelbereich von mindestens ±10°, bevorzugt ±30°, ausleuchtet. Dadurch werden insbesondere im nahen, vorderen Fahrzeug-Umfeldbereich die relevanten Informationen für den Fahrer und auch für weitere optische Sensoren aufgezeichnet. Es können hierdurch beispielsweise die benachbarten Fahrspuren rechts und links und insbesondere deren Fahrspurmarkierungen ausgeleuchtet werden und somit für Kamerasensoren detektierbar gemacht werden. Diese Fahrspurmarkierungen werden somit auch bei Nacht- oder Dunkelheitssituationen detektiert. Es lassen sich damit auch Hypothesen über Nachbarspurverläufe generieren, die dann zu tragen kommen, wenn das interne Bildverarbeitungs-Modell des Kamera-Sensors der eigenen Fahrspur durch singuläre Spurverlaufseffekte, wie beispielsweise Abbiegespuren, Spuraufweitungen oder Einmündungen von drei Spuren in zwei Spuren, nachhaltig gestört wird. In diesem Fall wird dem Nachtsichtsystem der Zugriff auf die zusätzlichen peripheren Spurdaten ermöglicht und ein rascherer Spurmodellwechsel der Fahrspurerkennung erfolgt dann ohne zeitaufwendige, neue Initialisierung.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass die Kamera um eine im Wesentlichen vertikal verlaufende Achse schwenkbar ist und ihr Winkel zur Fahrzeuglängsachse vom Kurvenverlauf abhängt. Auch hierdurch wird erreicht, dass der Fahrer nur Informationen im Infrarot-Bereich erhält, die außerhalb des vom Abblendlicht ausgeleuchteten Fahrbahnabschnitts liegen und somit eine Konzentration auf das Wesentliche erfolgt. Der Schwenkwinkel wird dabei in Abhängigkeit von ausgewählten Parametern in die Kurve hineingelenkt, beispielsweise des Lenkwinkels, der Gierrate, der Fahrspurerkennung oder sonstigen Informationen (wie zum Beispiel der Kurvenradius aus einer Navigationssystemdatenbank).

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass nicht relevante Objekte, wie der Hintergrund, erkannt werden und aus dem verarbeiteten Bild herausgelöst werden. Dies bedeutet eine sehr starke Reduktion sämtlicher für die Fahrsicherheit nicht relevanten Informationen. Der Fahrer wird dadurch stark entlastet, da er nicht mit überflüssigen Informationen belastet wird. Dem Fahrer können dann nur relevante Daten zur Verfügung gestellt werden, wie beispielsweise der Straßenverlauf oder Fußgänger, die sich auf der Fahrbahn befinden. Somit ergibt sich für den Fahrer eine leichtere Interpretierbarkeit aufgrund des vereinfachten Bildes. Besonders bevorzugt wird dabei, wenn nur noch Symbole dargestellt werden, beispielsweise Pfeile, die den Blick des Fahrers auf ein im Infrarot-Bereich liegendes Objekt hinlenken sollen. Ebenso kann ein Einfärben oder sonstiges Hervorheben des Objekts erfolgen.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass es gepulste LEDs erkennt und diese im verarbeiteten Bild konstant hält. Dies ist besonders wichtig, da heutzutage schon die Rückleuchten einiger hochpreisiger Fahrzeuge auf gepulsten LEDs basieren und mit steigender Marktdurchdringung zu rechnen ist. Die Pulsfrequenz der LEDs ist zwar an die Augenträgheit angepasst, so dass der Fahrer ein konstantes Licht sieht. Da die LED-Kurzfrequenz und die Bildaufnahmerate der Kamera jedoch miteinander interferieren, würde das Nachtsichtsystem ohne diese Weiterbildung dem Fahrer jedoch ein pulsierendes Bild zeigen. Der Fahrer würde dadurch stark irritiert, da die Visualisierung im Display von der gesehenen Realität abweicht und somit Fehlinterpretationen seitens des Fahrer möglich wären. Der Fahrer denkt beispielsweise beim Blick in das Display, dass das vor ihm fahrende Fahrzeug blinkt. Bevorzugt wird die Unterdrückung des gepulsten Bildes durch eine zusätzliche Bildverarbeitungs-Komponente im Nachtsichtsystem erreicht, die gezielt nach diesen gepulsten Rückleuchten sucht. Diese Bildverarbeitungs-Komponente hält dann im Bild an der berechneten Position die darzustellenden Bilddaten durch Bildmanipulationen konstant, so dass der Eindruck von gleichmäßig leuchtenden Rücklichtern auch beim Blick ins Display bestehen bleibt.

Als Anzeigeeinheit werden insbesondere Bildschirme oder Head-Up-Displays verwendet. Die Erfindung ist jedoch in keinster Weise hierauf beschränkt.

Vorteilhafte Ausgestaltungen der Erfindung werden weiter anhand der in den Figuren dargestellten Ausführungsbeispiele erläutert. Hierbei zeigen:
1 eine schematische Darstellung eines erfindungsgemäßen Nachtsichtsystems,
2 ein Vergleich eines Bildes mit Falschfarben mit dem gleichen sichtbaren Bild,
3 eine Darstellung einer Kurvenfahrt mit statischem Nachtsichtsystem,
4 Darstellung einer Geradeausfahrt mit Nachtsichtsystem und
5 Darstellung einer Kurvenfahrt mit dynamischem Nachtsichtsystem.
Ein wichtiger Punkt der Erfindung ist es, dass dem Fahrer zusätzlich zu der im sichtbaren Bereich ausgeleuchteten Straßenszene noch im Infrarot-Bereich abstrahlende Objekte angezeigt werden, wobei die zusätzlichen infrarotstrahlenden Objekte jedoch nur angezeigt werden, wenn sie keine redundante Information zu den im visuellen Bereich sichtbaren Objekten aufweisen. Dadurch wird erreicht, dass der Fahrer nicht von zu vielen Informationen quasi „erschlagen" wird und nicht mehr die wichtigen von den unwichtigen Informationen unterscheiden kann oder dies nur nach einer sehr langen Zeitspanne.
Prinzipiell läuft ein Sehen und Wahrnehmen eines Objekts als komplexer Vorgang ab, der aus mehreren einzelnen Vorgängen besteht. Zuerst entscheidet der Fahrer, seinen Blick auf ein neues Ziel zu lenken. Dies kann sowohl bewusst als auch unbewusst geschehen. Der Blick wird dann auf das Ziel bewegt. In der Zeit der Blickbewegung wird die Wahrnehmung im menschlichen Gehirn unterbrochen, sonst würde der Fahrer sich mit den verlaufenden Bildern auseinandersetzen müssen, wie sie beispielsweise bei Videoaufnahmen erzeugt werden, wenn die Kamera geschwenkt wird. Daran anschließend wird das Ziel fokussiert und festgestellt, ob es das richtige Ziel ist. Die das Ziel betreffenden Informationen werden wahrgenommen und verarbeitet. Erst danach werden Handlungen angestoßen, die sich aus dem Ergebnis der verarbeiteten Wahrnehmungen ergeben. Der zeitaufwendigste der oben genannten Vorgänge ist, das Ziel betreffende Informationen wahrzunehmen und zu verarbeiten. Ein solcher Vorgang läuft regelmäßig so ab: Der Fahrer blickt auf die Straße, dann auf eine Anzeigeeinheit des Nachtsichtsystems, muss hier alle dargestellten Informationen wahrnehmen, dann wieder auf die Straße blicken und alles zusammen wahrnehmen. Ein solcher Vorgang dauert regelmäßig mehrere Sekunden.
Die vorliegende Erfindung dient dazu, die für diesen Vorgang erforderliche Zeit zu reduzieren. Dies ist durch eine abstandsabhängige Beleuchtungskorrektur, die Einblendung von Farben, oder auch besonders vorteilhaft durch das Ausblenden von verwirrenden Bildelementen möglich.
In 1 ist ein erfindungsgemäßes Nachtsichtsystem für ein Kraftfahrzeug schematisch dargestellt. Mittels einer Kamera 1, die zumindest teilweise ihre Empfindlichkeit im Infrarotbereich hat, wird ein Bild der vor einem Fahrzeug liegenden Straßensituation aufgenommen. Dieses Bild wird an eine Bildverarbeitungseinheit 2 weitergegeben. In der Bildverarbeitungseinheit 2 wird eine Bildverarbeitung 3 vorgenommen. Dies kann beispielsweise durch eine Extraktion der Kanten der aufgenommenen Objekte, die Auswertung des optischen Flusses oder auch der Bildhelligkeit erreicht werden. Bevorzugt ist es auch möglich, dass eine Sensorfusion 4 erfolgt. Dies bedeutet, dass zur Objekterkennung zusätzlich Informationen von anderen Sensoren, wie zum Beispiel Radar, Lidar, Scanner oder ähnlichen, genutzt werden. Das verarbeitete Bild 7 wird dann noch einer Bildkorrektur 5 unterzogen und mittels einer Anzeigeeinheit dargestellt. Als Anzeigeeinheit kann beispielsweise ein bekanntes Head-Up-Display-System verwendet werden. Dadurch wird auf der Windschutzscheibe 6 das verarbeitete Bild 7 eingespiegelt.
Durch die Windschutzscheibe 6 sieht der Fahrer nun das „normale" Bild, das er im sichtbaren Bereich sowieso durch seine Augen aufnimmt, und zusätzlich im unteren Bereich der Windschutzscheibe 6 das verarbeitete Bild 7, das dem Fahrer zusätzliche Informationen aus dem Infrarot-Bereich gibt. Im vorliegenden Fall kann der Fahrer neben einem entgegenkommenden Fahrzeug und einem Fahrzeug in größerer Entfernung, bei welchem das Warnblinklicht eingeschaltet ist – die er auch ohne das Nachtsichtsystem erkennt – noch einen Menschen zwischen dem Fahrzeug mit eingeschaltetem Warnblinklicht und seinem eigenen Fahrzeug auf der Fahrbahn erkennen. Somit ist ein weit früheres Reagieren auf dieses Hindernis möglich und ein Unfall kann vermieden werden.
Die Bildverarbeitung 3 sowie die Bildkorrektur 5 können mittels unterschiedlicher Verfahren vorgenommen werden. Hierzu sind alle Verfahren geeignet, die schon oben im allgemeinen Beschreibungsteil ausgeführt sind. Insofern wird auf diesen Teil verwiesen. Im Folgenden werden nur noch die speziellen Methoden näher ausgeführt, die den beiliegenden Figuren zugeordnet sind.
In 2 ist dieselbe Verkehrssituation in zwei Teilbildern dargestellt, wobei das rechte Teilbild das dem Fahrer im sichtbaren Bereich zur Verfügung stehende Bild ist – das er auch ohne eine Nachtsichtsystem sieht. Im linken Teilbild ist eine Objekterkennung und abstandsabhängige Falschfarbendarstellung gezeigt. Hierbei wurden die Kanten der Objekte detektiert, beispielsweise die Fahrbahnmarkierungen – wie ein Richtungspfeil, ein Mittelstrich und die Seitenbegrenzung der Fahrbahn – darüber hinaus auch die Umrisse des vor dem eigenen Fahrzeug befindlichen Fahrzeugs. Schließlich sind auch die in weiter Entfernung befindlichen Bäume und die oberhalb der Straße angeordnete Ampelanlage zu erkennen.
Der Abstand der Objekte, die über ihre Kanten dargestellt werden, wird dem Benutzer des Nachtsichtsystems mittels Falschfarben verdeutlicht. Die nahe liegenden Objekte – wie beispielsweise der Richtungspfeil – sind rot, mittelweit entfernte Objekte – wie beispielsweise das Fahrzeug vor dem eigenen Fahrzeug – sind grün und weiter entfernte Objekte – wie beispielsweise die Ampelanlage und die Bäume – sind blau dargestellt. Auf der aus technischen Gründen der Anmeldung beiliegenden Schwarz-Weiß-Darstellung ist dies gut an den unterschiedlichen Grautönen zu erkennen.
Durch eine solche Falschfarbendarstellung in Abhängigkeit des Abstandes kann der Fahrer sehr gut die ihm mittels des Nachtsichtsystems angezeigte Information in Einklang mit den ihm im sichtbaren Bereich zur Verfügung stehenden Information bringen. Er kann dadurch gut abschätzen, wo ein gefährliches Objekt vorhanden ist und in welcher Entfernung es sich ungefähr befindet. Damit kann er schon sehr frühzeitig eventuelle Vorsichtsmaßnahmen – wie beispielsweise ein Abbremsen seines Fahrzeugs – einleiten.
In 3 ist die prinzipielle Situation während einer Kurvenfahrt dargestellt. Das Kraftfahrzeug 8 fährt auf der Straße 9 durch eine Linkskurve. Der Lichtkegel 10 des Abblendlichts verläuft in Richtung der Längssachse des Fahrzeugs 8, also in dieselbe Richtung, in die auch das Sichtfeld 11 des Nachtsichtsystems ausgerichtet ist. Sowohl der Lichtkegel 10 des Abblendlichts als auch das Sichtfeld 11 des Nachtsichtsystems liefern nur äußerst begrenzte Informationen hinsichtlich des den Fahrer des Fahrzeugs 8 interessierenden Verlaufs der Straße 9. Die Blickrichtung 12 des Fahrers geht nicht in die Richtung des Lichtkegels 10 des Abblendlichts sondern nach links in die Kurve hinein.
In der eingespiegelten Bildanzeige 7 ist dann lediglich die Gruppe von Büschen 13 zu sehen, die der Fahrer auch im Lichtkegel 10 des Abblendlichts sehen kann, die ihn aber nicht interessiert, da er den weiteren Verlauf der Kurve einsehen möchte.
Ohne diese redundante Information, die darüber hinaus für den Fahrer sowieso nicht relevant ist, zu unterdrücken, wird die Darstellung 7 heruntergedimmt. Erst wenn das Fahrzeug 8 wieder aus der Kurve herausgefahren ist, wird die Darstellung 7 wieder hochgedimmt. Die Feststellung, ob sich das Fahrzeug 8 in einer Kurve befindet, kann beispielsweise über die Abfragung des Lenkwinkels, die Gierrate oder die Querbeschleunigung erfolgen. Auch bei großen Kurvenradien, die einen vorab festzulegenden Radius überschreiten, wird das dargestellte Bild 7 wieder aufgedimmt. Durch die vorgenannten Maßnahmen ist gewährleistet, dass der Fahrer nicht unnötig durch Informationen abgelenkt wird, die für ihn sowieso irrelevant sind.
Eine andere Möglichkeit besteht darin (nicht gezeigt), dass eine schwenkbare Kamera 1 im Fahrzeug angebracht ist, und dem Verlauf der Kurve entsprechend um eine im Wesentlichen vertikale Achse in die Kurve hineingedreht wird. Dadurch bekommt der Fahrer die für ihn wichtige Information in seiner Blickrichtung 12.
In 4 ist eine Geradeausfahrt des Kraftfahrzeugs 8 gezeigt, das eine hochauflösende Kamera 1 mit einer Weitwinkel-Optik hat. Es kann beispielsweise 640 × 480 Pixel aufweisen oder sogar ein noch breiteres Format; hier ist beispielsweise an mit mehr als 860 × 480 Pixel gedacht. Das Sichtfeld 11 des Nachtsichtsystems ist dabei in jedem Fall sehr breit. Für den Fahrer ist jedoch nicht die gesamte Breite des Sichtfelds 11 interessant, sondern nur der seinen Fahrbahnteil abbildende Teilbereich 11' des Sichtfelds 11. Bei einer Geradeausfahrt ist dies der zentrale Bereich des gesamten Sichtfelds 11 des Nachtsichtsystems. In der Bildanzeige 7 ist dieser Ausschnitt 7' durch ein umrandetes Rechteck dargestellt.
In 5 ist eine Kurvenfahrt des Fahrzeugs 8 mit demselben Nachtsichtsystem wie in 4 angegeben, das eine hochauflösende Kamera 1 mit Weitwinkel-Optik enthält, dargestellt. In diesem Fall wird nicht der zentral vor dem Fahrzeug 8 liegende Teilbereich 11' (siehe 4) des Sichtfelds 11 des Nachtsichtsystems dem Fahrer angezeigt, sondern ein nach links verschobener Teilbereich 11''.
Dies entspricht der Blickrichtung 12 (siehe 3) des Fahrers, der in die Kurve hineinblickt und nicht stur geradeaus. In der Bildanzeige wird der verschobene Ausschnitt 7'' durch ein hell umrandetes Rechteck dargestellt, das um eine Strecke 14 gegenüber dem unverschobenen Ausschnitt 7' – der durch ein gepunktetes Rechteck dargestellt ist – verschoben ist.
Dieses System ist eine Alternative zu der oben bezüglich 3 angegebenen Möglichkeit einer Kamera 1, die um eine vertikale Achse verschwenkt wird.
Es versteht sich von selbst, dass auch eine Kombination der vorgenannten Optionen möglich ist. Dies gilt nicht nur hinsichtlich der zu den Figurenbeschreibungen genannten Ausführungsformen, sondern auch zu den im allgemeinen Beschreibungsteil angeführten Möglichkeiten.
Zusammenfassend kann festgehalten werden, dass bei allen erfindungsgemäßen Ausführungsbeispielen immer eine mögliche Entlastung des Fahrers gegeben ist, so dass dieser nicht mit unnötigen Informationen belastet wird und somit die Reaktionszeit um eventuell nötige Maßnahmen einzuleiten, um einen Unfall zu vermeiden, minimiert wird.

1: Kamera
2: Bildverarbeitungseinheit
3: Bildverarbeitung
4: Sensorfusion
5: Bildkorrektur
6: Windschutzscheibe
7: verarbeitetes Bild
7': Ausschnitt aus Sichtfeld des
: Nachtsichtsystems
7'': verschobener Ausschnitt aus Sichtfeld des
: Nachtsichtsystems
8: Kraftfahrzeug
9: Straße
10: Lichtkegel des Abblendlichts
11: Sichtfeld des Nachtsichtsystems
11': Teilbereich des Sichtfelds
11'': verschobener Teilbereich des Sichtfelds
12: Blickrichtung des Fahrers
13: Büsche
14: Verschiebung der Ausschnitte der Bildanzeige

Claims

Nachtsichtsystem für ein Kraftfahrzeug (8) mit mindestens einer Kamera (1), die ein Bild zumindest im Infrarot-Bereich aufzeichnet, einer Bildverarbeitungseinheit (2), der das Bild zugeführt wird und in der es verarbeitet wird, und einer Anzeigeeinheit, mit der das verarbeitete Bild (7) für den Fahrer dargestellt wird, dadurch gekennzeichnet, dass das verarbeitete Bild (7) vereinfacht wird, indem Informationen hinsichtlich irrelevanter Objekte unterdrückt werden oder eine Falschfarbendarstellung erfolgt oder als relevant erkannte Objekte hervorgehoben werden.
Nachtsichtsystem nach Anspruch 1, dadurch gekennzeichnet, dass die aufgenommenen Objekte mittels verschiedener Falschfarben für unterschiedliche Entfernungen dargestellt werden.
Nachtsichtsystem nach Anspruch 2, dadurch gekennzeichnet, dass die Bestimmung der Entfernung mittels Kantenextraktion, Auswertung des optischen Flusses und/oder der Bildhelligkeit erfolgt.
Nachtsichtsystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Helligkeitskorrektur erfolgt.
Nachtsichtsystem nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass alle Objekte, die mit normalem Scheinwerferlicht angestrahlt werden, im verarbeiteten Bild (7) unterdrückt werden.
Nachtsichtsystem nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die sichtbaren Lichtanteile mittels eines Sperrfilters vor der Aufzeichnung des Bildes herausgefiltert werden.
Nachtsichtsystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zur Objekterkennung auch Informationen anderer Sensoren, wie Radar, Lidar oder Scanner, verwendet werden.
Nachtsichtsystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass Objekte, die durch sichtbares Licht angestrahlt werden, farbig dargestellt werden und Objekte, deren Bild im Infrarot-Bereich aufgezeichnet werden, in Grautönen oder in Falschfarben dargestellt werden.
Nachtsichtsystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass Objekte, die sowohl durch sichtbares Licht angestrahlt werden als auch im Infrarot-Bereich aufgezeichnet werden, in Grautönen dargestellt werden, wenn die Infrarot-Lichtintensität höher ist als die Intensität des sichtbaren Lichts.
Nachtsichtsystem nach einem der Ansprüche 8 und 9, dadurch gekennzeichnet, dass das sichtbare Licht und das Infrarot-Licht getrennt erfassbar sind, insbesondere durch eine zweite Kamera, die im sichtbaren Bereich arbeitet, oder einen speziellen Bildsensorchip.
Nachtsichtsystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass Bilder für eine festlegbare Zeit in der Anzeigeeinheit eingefroren werden.
Nachtsichtsystem nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass in engen Kurven das verarbeitete Bild (7) heruntergedimmt wird und bei weiten Kurven oder Geradeausfahrt das verarbeitete Bild (7) aufgedimmt wird.
Nachtsichtsystem nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass aus dem aufgezeichneten Bild ein Bereich (7', 7'') in Abhängigkeit des Kurvenverlaufs herausgeschnitten wird.
Nachtsichtsystem nach Anspruch 13, dadurch gekennzeichnet, dass eine hochauflösende Kamera (1) mit einer Weitwinkel-Optik verwendet wird.
Nachtsichtsystem nach Anspruch 14, dadurch gekennzeichnet, dass die Weitwinkel-Optik einen Winkel von größer ±10°, insbesondere von ±18° oder ±30°, abdeckt.
Nachtsichtsystem nach einem der Ansprüche 14 oder 15, dadurch gekennzeichnet, dass nur ein Ausschnitt (7'; 7'') des verarbeiteten Bildes (7) in horizontaler Richtung, beispielsweise über einen Winkelbereich von 20°, insbesondere von ±10°, und/oder in vertikaler Richtung angezeigt wird.
Nachtsichtsystem nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die hochauflösende Kamera (1) einen Digital-Zoom aufweist.
Nachtsichtsystem nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass ein IR-Scheinwerfer zur aktiven Ausleuchtung der Straße (9) verwendet wird.
Nachtsichtsystem nach Anspruch 18, dadurch gekennzeichnet, dass der IR-Scheinwerfer einen Winkelbereich von mindestens ±10°, bevorzugt ±30°, ausleuchtet.
Nachtsichtsystem nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass die Kamera (1) um eine im Wesentlichen vertikal verlaufende Achse schwenkbar ist und ihr Winkel zur Fahrzeuglängsachse vom Kurvenverlauf abhängt.
Nachtsichtsystem nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass nicht relevante Objekte, wie der Hintergrund, erkannt werden und aus dem verarbeiteten Bild (7) herausgelöst werden.
Nachtsichtsystem nach Anspruch 21, dadurch gekennzeichnet, dass die relevanten Objekte durch Symbole, wie zum Beispiel Pfeile, dargestellt werden.
Nachtsichtsystem nach einem der Ansprüche 1 bis 22, dadurch gekennzeichnet, dass es gepulste LEDs erkennt und diese im verarbeiteten Bild (7) konstant hält.