-
Die
vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung
zum Anzeigen eines durch eine Bilderfassungseinrichtung erfassten
Bildes, wie es beispielsweise zur Fahrerunterstützung der Steuerung eines Fahrzeuges
anwendbar ist.
-
Beispielsweise
in zukünftigen
Verkehrssystemen oder Fahrzeugen werden computerunterstützte Verfahren
eingesetzt, um die menschliche, meist visuelle, Wahrnehmung zu unterstützen. Dem
jeweiligen Fahrer, beispielsweise eines Fahrzeugs bei Nacht, wird
zur Unterstützung
seiner normalen Wahrnehmung eine weitere, zum Beispiel computerbasierte
Visualisierung der Fahrzeugumgebung, wie der Straße, angezeigt.
Man spricht bei solchen Anwendungen auch von „augmented reality” insbesondere im
Bereich der „automotive
night vision”.
Es wird dabei beispielsweise in Ergänzung zum Straßenbild eine
Darstellung der Umgebung, die mit einer Infrarot-Kamera aufgenommen
wurde, angezeigt. Dabei ist es möglich,
Fußgänger oder
andere relevante Verkehrsobjekte zu erfassen und diese auf einem
Bildschirm durch zusätzliche
Markierungen, wie beispielsweise Pfeile oder farbige Umrandungen
hervorzuheben.
-
Problematisch
ist jedoch, dass entsprechende Markierungen, wie Farbkästen oder
auch blinkende Markierungen im dargestellten Bild, beispielsweise
der Straße,
die Aufmerksamkeit des Betrachters bzw. Fahrers vom eigentlichen
Bildinhalt weg zur Markierung lenken. Dies kann zur Folge haben,
dass der Betrachter ausschließlich
die Markierungen überwacht,
eventuell vorhandene Objekte, die von einem automatischen Erkennungssystem
nicht erkannt und deshalb auch nicht markiert wurden, jedoch übersieht.
-
In
der Vergangenheit wurden deshalb in der Regel ausschließlich global
aufbereitete Nachtsichtbilder auf einem Bildschirm, beispielsweise
im Armaturenbrett eines Fahrzeuges, angezeigt und auf eine Markierung
eventuell vom Fahrerassistenzsystem erkannter Objekte verzichtet.
Die Information über
vom Fahrerassistenzsystem erkannte Objekte kann ohne den oben genannten
Ablenkungseffekt dem Fahrer nicht zur Verfügung gestellt werden.
-
Der
vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren
zum Anzeigen von erfassten Bildern bereitzustellen.
-
Die
Aufgabe wird durch die Merkmale des jeweiligen unabhängigen Anspruchs
gelöst.
-
Die
Erfindung betrifft ein Verfahren zum Anzeigen eines durch eine Bilderfassungseinrichtung erfassten
Bildes vorgeschlagen, bei dem mindestens ein Bildbereich mit einem
vorgebbaren Bildinhalt in dem Bild einer lokalen Bildverbesserung
unterzogen wird. Dabei erfolgt keine Einfügung von zusätzlichen Bildelementen,
und das gesamte Bild mit dem mindestens einen verbesserten Bildbereich
wird durch eine Anzeigeeinrichtung visuell wiedergegeben.
-
Es
wird ferner eine Bildanzeigevorrichtung mit mindestens einer Bilderfassungseinrichtung,
einer Bildbearbeitungseinrichtung und einer Bildanzeigeeirrichtung
vorgeschlagen, wobei die Bildverarbeitungseinrichtung derart eingerichtet
ist, dass mindestens ein Bildbereich mit einem vorgebbaren Bildinhalt in
dem Bild einer lokalen Bildverbesserung ohne Einführung von
zusätzlichen
Bildelementen unterzogen wird. Die Anzeigeeinrichtung gibt das gesamte
Bild mit dem mindestens einen verbesserten Bildbereich visuell wieder.
-
Durch
das Verfahren kann beispielsweise einem Betrachter einer Szenerie
das natürlich
wahrnehmbare Bild, zum Beispiel auf einem Bildschirm angezeigt werden.
Da vorgebbare Bildinhalte, wie beispielsweise bestimmte Objekte
in Verkehrssituationen, wie Fußgänger, Verkehrsschilder,
Markierungen auf der Fahrbahn oder Lichtzeichenanlagen, in ihrer
Sichtbarkeit verbessert werden ohne eine besondere Hervorhebung
durch Markierungen vorzunehmen, besteht nicht die Gefahr, dass der
Nutzer sich an künstlich
eingefügte
Markierungselemente gewöhnt.
Vielmehr werden Bildbereiche mit relevanten Inhalten, wie Verkehrsschilder,
die von einem Nachtsichtgerät
erfasst werden, ausreichend deutlich wiedergegeben, um vom Benutzer
auf der Anzeigeeinrichtung erkannt zu werden.
-
Bei
einer Variante des Verfahrens wird einer oder mehrere der folgenden
Schritte durchgeführt: Erfassen
eines Bildes mittels einer Kamera als Erfassungsvorrichtung; Suchen
und Bestimmen mindestens eines Bildbereichs mit einem vorgegebenen
Bildinhalt aus einer Gruppe von vorgegebenen Bildinhalten in dem
Bild; Anwenden eines Bildverarbeitungsalgorithmus auf den bestimmten
Bildbereich zum Verbessern der Sichtbarkeit des Bildbereichs in dem
gesamten Bild ohne eine Randmarkierung des Bildbereichs vorzunehmen;
und/oder Darstellen des gesamten Bildes mit dem mindestens einen
verbesserten Bildbereich.
-
Als
Erfassungsvorrichtungen kommen beispielsweise übliche Fotokameras, CCD-Kameras oder
entsprechende Sensoren in Frage. Dabei können auch Nachtsichtgeräte, Infrarot-Kameras,
akustische Sensoren oder Laser-Abtaster verwendet werden, die zusätzliche
Daten zur weiteren Verarbeitung liefern. Die entsprechenden Sensordatenauswertung kann
neben dem dargestellten Kamerabild auch andere Sensoren, wie zum
Beispiel Radar- oder
Lidarsensoren auswerten.
-
Bei
einer beispielhaften Implementierung des Verfahrens wird eine Kontraständerung
in dem Bildbereich in Abhängigkeit
von dem gesamten Kontrastumfang des gesamten erfassten Bildes derart vorgenommen,
dass der Bildinhalt deutlicher wahrnehmbar ist. Grundsätzlich verbessert
eine Kontraständerung,
beispielsweise eine Kontrasterhöhung, die
Sichtbarkeit von Konturen, wie beispielsweise Symbolen auf Verkehrsschildern.
-
Das
Verfahren sieht in einer Ausführungsform
vor, nicht pauschal eine Kontraständerung, wie eine Kontrasterhöhung in
den gefundenen und bestimmten Bildbereichen mit speziellen Bild inhalten vorzunehmen,
sondern den Gesamtkontrastumfang des Gesamtbildes mit zu berücksichtigen.
Auf der Anzeigeeinrichtung soll nämlich der Bildbereich zwar deutlicher
sein, nicht jedoch in irgendeiner Weise markiert werden, so dass
er gegenüber
anderen Bildinhalten zu deutlich in den Vordergrund tritt. Beispielsweise
bei Nebel kann der Kontrast eines Verkehrszeichens im Gesamtbild
so angepasst werden, dass er im Vergleich zur Umgebung des Bildbereiches
mit einem Verkehrsschild zwar deutlicher wird, aber nicht hervorgehoben
ist.
-
Es
ist auch möglich,
eine Helligkeitsänderung
in dem Bildbereich vorzunehmen. Dies kann selbstverständlich auch
in Abhängigkeit
von der gesamten Helligkeit des erfassten Bildes erfolgen.
-
Vorzugsweise
erfolgt eine Änderung
des Kontrastes oder des Helligkeitsumfangs innerhalb vorgegebener
Schwellwerte, die in Abhängigkeit
von dem gesamten Bild ermittelt werden. Umfasst das gesamte Bild
beispielsweise nur einen geringen Kontrast, sollte vorzugsweise
bei einer Kontrasterhöhung bestimmter
Bildbereiche der lokale Kontrastumfang nicht größer als der des Gesamtbildes
sein, weil dies den Betrachter ablenken könnte.
-
Das
Verfahren eignet sich insbesondere im Automotive-Bereich, wobei
der vorgebbare Bildinhalt, beispielsweise aus einer Gruppe von Bildinhalten,
die Verkehrsobjekte umfasst, gesucht wird.
-
Es
ist möglich,
weitere Erfassungseinrichtungen auf den Gegenstand des erfassten
Bildes zu richten und/oder eine Umgebung des Gegenstandes zu erfassen.
Die lokale Bildverbesserung kann dann in Abhängigkeit von den gesamten erfassten
Daten erfolgen.
-
Anstelle
der Kontrast- oder Helligkeitsänderung
kann eine Bildverbesserung lokal auch durch Veränderung der Bildschärfe, der
Farbtemperatur und/oder der Farbsättigung in dem je weiligen Bildbereich
erfolgen. Dabei wird vorzugsweise die direkte Umgebung bzw. Nachbarschaft
der Bildbereiche berücksichtigt
und die lokale Verbesserung unter Einsatz eines Bildverbesserungsalgorithmus
auch als Funktion der Bildeigenschaften in der Umgebung des Bildbereiches
vollzogen.
-
In
einer besonderen Ausgestaltung des Verfahrens wird die lokale Bildverbesserung
des zu verbessernden Bildbereichs unter Berücksichtigung des Erkennungsergebnisses
durchgeführt.
Aufgrund der Erkennung ist ein „Sollbildinhalt” bekannt
und kann zur Steuerung der Aufbereitung verwendet werden. Beispielsweise
kann bei einem erkannten Verkehrsschild mit einer Geschwindigkeitsbegrenzung
bei einer Kontrastanpassung berücksichtigt
werden, dass es sich um schwarze Schrift auf weißem Grund handelt, somit kann
der Zielkontrast entsprechend gewählt werden. Ebenso kann auch
zum Beispiel die bekannte Schriftform für eine Orts- und richtungsabhängige Kantenverstärkung derart
berücksichtigt werden,
dass gezielt die Kanten zwischen Schrift und weißem Hintergrund hervorgehoben
werden.
-
In
einer besonderen Ausgestaltung des Verfahrens wird zum Verbessern
eines bestimmten Bildbereiches mit einem vorgegeben Bildinhalt der
betroffene Bildbereich in der gesamten Anzeige des Bildes durch
einen Modellbildinhalt ersetzt. Der Modellbildinhalt entspricht
dann dem vorgegebenen Bildinhalt und ist an die Umgebung des Bildbereiches
im Gesamtbild angepasst. Es zum Beispiel möglich, in einer ersten Verfahrensstufe
eine Lichtzeichenanlage festzustellen, die auf Grund minderer Bild-
oder Aufnahmequalität
schlecht sichtbar ist. Anstelle einer Bildbearbeitung wird dann,
beispielsweise aus einer Bibliothek, eine entsprechende Lichtzeichenanlage modelliert
und an die Stelle der ursprünglichen
Bilddaten in den Bildbereich eingefügt.
-
Die
Erfindung betrifft ferner ein Computerprogrammprodukt, welches die
Durchführung
eines entsprechenden Verfahrens auf einer programmgesteuerten Rechner-
oder Steuereinrichtung veranlasst. Als programmgesteuerte Rechner-
oder Steuereinrichtung kommt zum Beispiel ein PC oder ein Bordrechner
in einem Fahrzeug in Frage, auf dem entsprechende Software installiert
ist. Das Computerprogrammprodukt kann beispielsweise in der Art eines
Datenträgers
wie zum Beispiel USB-Stick, Floppy-Disk, CD-ROM, DVD implementiert
werden oder auch auf einer Servereinrichtung als herunterladbare
Programmdatei implementiert sein.
-
Weitere
vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche sowie der
im Folgenden beschriebenen Ausführungsbeispiele.
Im Weiteren wird die Erfindung anhand beispielhafter Implementierungen
unter Bezugnahme auf die beigelegten Figuren näher erläutert. Es zeigt dabei:
-
1:
eine schematische Darstellung eines Bildes mit Bildbereichen;
-
2:
ein beispielhaftes Ablaufdiagramm eines Verfahrens zum Bearbeiten
und Anzeigen eines Bildes;
-
3:
eine schematische Darstellung eines weiteren Bildes mit Bildbereichen;
-
4:
ein schematisches Blockdiagramm einer Bildanzeigevorrichtung; und
-
5: eine beispielhafte Gegenüberstellung eines
ursprünglichen
und eines verbesserten Bildes.
-
In
den Figuren sind gleiche bzw. funktionsgleiche Elemente mit den
gleichen Bezugszeichen versehen worden, sofern nichts Anderes angegeben ist.
-
Die 1 zeigt
eine schematische Darstellung eines Bildes bzw. einer Szenerie,
wie sie zum Beispiel von einer Kamera eines Fahrzeuges aufgenommen
werden kann. In dem Bild B1 ist eine Szenerie bzw. ein Bildgegenstand
wiedergegeben, in der eine Straße,
links und rechts des Straßenrandes
angeordnete Lichtzeichenanlagen und Verkehrsschilder sichtbar sind.
Es ist nun gewünscht,
eine automatische Erkennung und Visualisierung der relevanten Objekte
in dem Bild B1 für
den Nutzer gut sichtbar zu machen. Bei Einsatz eines entsprechenden
Verfahrens oder einer Vorrichtung zur Darstellung bzw. Wiedergabe
eines Bildes zur Unterstützung
im Autoverkehr, sind insbesondere Fußgänger, Verkehrsschilder oder
Ampeln, Bildinhalte oder Objekte, die der Fahrer wahrnehmen sollte.
Anstelle wie üblicherweise
zusätzliche
graphische Elemente in das Bild B1 einzupassen, um bestimmte Bildinhalte
zu markieren, erfolgt eine lokale Bildverbesserung, so dass die kritischen
Objekte in dem Bild besser wahrgenommen werden können. Es erfolgt keine Hinzufügung von
neuen Bildstrukturen oder Inhalten, die den Betrachter ablenken
würden,
wie das beim Hinzufügen von
Farbflächen
oder anderen Markierungen die Folge wäre.
-
In
der 2 ist ein beispielhaftes einfaches Ablaufdiagramm
eines Verfahrens zum Bearbeiten und Anzeigen, beispielsweise des
in der 1 dargestellten Bildes B1, angegeben. In einem
ersten Schritt S1 erfolgt eine Erfassung des Bildes B1, beispielsweise
mit einer Videokamera. Somit liegen Bilddaten, vorzugsweise digital,
vor und können
in einer Verarbeitungseinrichtung analysiert und bearbeitet werden.
-
In
einem folgenden Schritt S2 wird das Bild auf Bildbereiche untersucht,
die vorbestimmte Bildinhalte wiedergeben. Bei der Anwendung als
Fahrerassistenzsystem sind dies zum Beispiel die Bildbereiche mit
Verkehrsschildern C1, C2, C4–C6
und die Bildbereiche, die eine Ampel bzw. Lichtzeichenanlage C3,
C7 wiedergeben. Es sind Verfahren bekannt, die in Bilddaten entsprechende
Bereiche ausfindig machen bzw. lokalisieren.
-
Anschließend erfolgt
eine lokale Bildverbesserung im Schritt S3 ausschließlich für die Bereiche C1–C7, die
besondere Bildinhalte darstellen. Diese lokale Bildverbesserung
kann zum Beispiel durch Verstärkung
des Kontrastes in dem jeweiligen Bildbereich C1–C7, durch eine Verbesserung
der Farbsättigung bei
Farbdarstellungen, durch eine Erhöhung des Kontrastes oder der
Schärfe
oder auf andere Art und Weise erfolgen. Dabei wird jeweils die direkte Umgebung
in dem Bild B1 um die eruierten bzw. bestimmten Bildbereiche C1–C7 berücksichtigt,
damit die Übergänge zwischen
den Bildbereichen C1–C7 und
den übrigen
Teilen des Bildes B1 natürlich
erscheinen und vom Betrachter nicht als Markierung wahrgenommen
werden. Dies bedeutet zum Beispiel bei einem durch Nebel mit vermindertem
Kontrastumfang aufgenommenem Bild, dass die Kontrastverbesserung
für die
einzelnen erkannten Bildbereiche C1–C7 nur bis zu einem bestimmten
Schwellwert erfolgt, welcher derart eingestellt ist, dass beispielsweise
aus psychologischen Untersuchen garantiert werden kann, dass der
Durchschnittsbetrachter keine Markierung oder Hervorhebung wahrnimmt.
-
Im
Folgeschritt S4 wird das gesamte Bild mit den lokal verbesserten
Bildbereichen über
eine geeignete Anzeigevorrichtung wiedergegeben. Dies kann zum Beispiel
ein Bildschirm im Armaturenbrett sein oder auch andere Anzeigemöglichkeiten,
wie eine Projektion, zum Beispiel auf die Windschutzscheibe oder
an anderer Stelle, umfassen.
-
In
der 3 ist eine weitere schematische Darstellung eines
Bildes wiedergegeben. Das Bild B2 zeigt zum Beispiel einen kurvenhaften
Straßenverlauf
in hügeligem
Gebiet. Als für
eine lokale Bildverbesserung in Frage kommende Bereiche C9, C10
erkennt beispielsweise ein geeigneter Erkennungsalgorithmus Fußgänger C9
und Verkehrsschilder C10. Diese Bildelemente bzw. Bildbereiche C9,
C10 werden geeignet verbessert und anschließend im Gesamtbild 82 wiedergegeben.
-
In
der 3 ist ein Blockdiagramm eines Ausführungsbeispiels
für eine
Bildanzeigevorrichtung angegeben, die eine Variante des vorgenannten Verfahrens
implementiert. Die Bildanzeigevorrichtung 7 kann zum Beispiel
in einem Fahrzeug, wie einem Auto, Flugzeug, Schienen- oder Wasserfahrzeug
eingesetzt werden.
-
Dabei
ist eine Kamera 1 als Erfassungseinrichtung vorgesehen
und eine Vielzahl von weiteren Erfassungsvorrichtungen 4, 5,
wie beispielsweise Nachtsichtgeräte
oder andere Sensoren, die die Umgebung oder den Gegenstand auf den
die Kamera 1 gerichtet ist, abtasten oder erfassen. Dabei
sind vielfältige
Sensoren denkbar, wie beispielsweise Abstandssensoren, akustische
Sensoren, Infrarot- oder Ultraschall-Sensoren, Laser-Abtaster, Radargeräte, Temperatur-
oder Feuchtigkeitsfühler
oder andere aus der Umgebung stammende Reize aufnehmende Einrichtungen.
-
Die
Sensoren bzw. Erfassungseinrichtungen 1, 4, 5 sind
an eine Bildverarbeitungseinrichtung 2 gekoppelt, die zum
Beispiel Computer- oder Mikrocontroller- implementiert sein kann.
Die Bilddaten B und weitere Sensordaten SD werden einem Wahrnehmungssystem 6 zugeführt. Das
Wahrnehmungssystem 6 verarbeitet die empfangenen Daten
für die weitere
Auswertung in der Auswerteeinrichtung 8, die über ein
gespeichertes Umweltmodell 10 und eine Steuereinrichtung 9 verfügt. Aus
der Vielzahl von erfassten Umgebungsdaten B, SD kann mit Hilfe eines Modells
eine modellierte Abbildung der aufgenommenen Objekte geschaffen
werden. Beispielsweise kann die Steuereinheit 9 in Abhängigkeit
von dem gespeicherten Umweltmodell 10 die Bildbereiche
feststellen, die bestimmten Bildinhalten oder Objekten im Straßenverkehr
entsprechen.
-
Der
Bildverbesserungseinrichtung 11 wird das Ergebnis dieser
Auswertung sowie das von der Kamera 1 stammende Bild B übermittelt.
In der Bildverbesserungseinrichtung 11 werden dann die
Bildausschnitte bzw. Bildbereiche weiteren Bildverarbeitungsoperationen
unterzogen, um die Sichtbarkeit in dem Gesamtbild zu verbessern.
Dabei ist zum Beispiel möglich,
dass die im Gesamtbild ausfindig gemachten Objekte, wie Verkehrsschilder,
im Rahmen des Umweltmodells 10 als Bilddaten erzeugt werden, die
in die Bildbereiche eingefügt
werden, um ein klareres oder besseres Bild des jeweiligen, zum Beispiel Verkehrsobjektes,
zu erhalten. Es wird auch von Modellinhalten gesprochen.
-
Entsprechend
aufbereiteten Bilddaten AB werden einem Display 3 zugeführt, das
dem Benutzer oder Fahrer das Gesamtbild darstellt, wobei besonders
relevante Bildteile oder Bereiche qualitativ verbessert dargestellt
sind.
-
In
der 5 sind beispielhaft Bilder mit
einem relevanten Bildbereich dargestellt. Die 5A zeigt
ein Bild B3, das im Bildbereich C11 ein Verkehrsschild wiedergibt.
Eine konventionelle Anzeige in einem Fahrerassistenzsystem würde den
Bildbereich C11 deutlich hervorheben, beispielsweise durch eine
kreisrunde Umrandung in Signalfarbe um das Verkehrsschild. Dies
erfolgt gemäß der vorgestellten Verfahren
zum Anzeigen von Bildern nicht. 5A zeigt
ein unbearbeitetes ild, wie es von einer Kamera geliefert wird. 5B zeigt
das bearbeitete und lokal behandelte Bild, welches zur Anzeige gebracht
wird. Dabei wird wie in der 5B dargestellt
ist, das Gesamtbild B3' wiedergegeben,
wobei in dem festgestellten Bildbereich C11 eine lokale Bildverbesserung erfolgt.
-
Beispielsweise
bleibt die Helligkeit des Hintergrundes H vor und nach der Bildbearbeitung gleich,
was durch dieselbe Schraffur in den Bildern 5A und 5B angedeutet
ist. Eine leichte, nicht die Aufmerksamkeit des Betrachters besonders
anziehende Bildverbesserung wird zum Beispiel erzielt, indem der
Kontrast zwischen dem äußerem Bereich
A und dem inneren Bereich I des Verkehrsschildes bei der Darstellung
der 5B erhöht
wird. Dies ist durch die etwas stärkere Schraffur des äußeren Bereiches A' angedeutet. Genauso
kann der Kontrast zwischen der Schrift S und dem Inneren I durch
das Anzeigeverfahren verbessert werden. Man sieht in der 5B beispielsweise,
dass die Schrift SR' eine dunkle
Schraffur im Ausgangsbild B3 trägt.
-
Insofern
erfolgt eine verbessert sichtbare Anzeige von Bildelementen nicht
durch zusätzliche
graphische Hinzufügungen,
sondern durch eine lokale Bildverbesserung. Durch die besser sichtbare
Darstellung, zum Beispiel sicherheitsrelevanter Bildelemente, kann
bei einem Fahrerassistenzsystem, welches die Fahrbahn und deren
Umgebung wiedergibt, die Zuverlässigkeit
verbessert werden.
-
Die
Durchführung
des Verfahrens bzw. der angesprochenen Verfahrensschritte aus 2 lässt sich
jeweils durch die Einrichtungen 1–11 implementieren. Dabei ist
dem Fachmann klar, welche Verfahrenssteile welcher Einrichtung zugeordnet
sind. Zum Beispiel kann die Bildverbesserungseinrichtung 11 den
Schritt S3 ausführen.
Demgemäß sind die
Einrichtungen derart ausgestaltet das jeweilige Verfahrensschritte
umgesetzt und durchgeführt
werden.
-
Insofern
sind die funktionalen Blöcke
1–11 der 4 auch
als Programmmodule oder Routinen eines Computerprogramms aufzufassen
oder aber als dezidiert eingerichtete Einrichtungen, welche zur Implementierung
der jeweiligen Funktion während des
Verfahrens dienen.