DE10202163A1

DE10202163A1 - Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge

Info

Publication number: DE10202163A1
Application number: DE10202163A
Authority: DE
Inventors: Ulrich Seger; Matthias Franz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2002-01-22
Filing date: 2002-01-22
Publication date: 2003-07-31
Also published as: EP1470706A1; US7474798B2; US20040136605A1; WO2003063468A1; US20090141128A1; US7693344B2

Abstract

Es wird ein Verfahren und eine Vorrichtung zur Bildverarbeitung sowie ein Nachtsichtsystem für Kraftfahrzeuge vorgeschlagen, bei welchem eine im nahen Infrarot empfindliche Standardkamera Bilder liefert, die auf einem gegenüber der Kamera geringere Auflösung aufweisenden Anzeigemittel angezeigt werden. Ferner wird eine Bildverarbeitung vorgeschlagen, die die Rohbilder des Sensors mittels Bildschärfungsverfahren und/oder Kontrastverstärkungsverfahren verbessert, so dass eine Anzeige auf einem Anzeigemittel zur Betrachtung durch einen Betrachter ermöglicht ist.

Description

Stand der Technik

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung sowie ein Nachtsichtsystem für Kraftfahrzeuge.
Ein wichtiger Anwendungsfall von Videotechnik im Kraftfahrzeugbereich sind Nachtsichtsysteme. Dabei werden in der Regel wärmeempfindliche Kameras sowie eine Projektionseinheit verwendet, welche die von der Kamera aufgenommenen, sichtbaren Bilder auf die Windschutzscheibe wirft (sogenannte Head- Up-Displays). Ein Beispiel für ein solches Nachtsichtsystem zeigt das US-Patent 5,414,439. Insbesondere aufgrund des hohen Preises dieser Komponenten ist der Aufwand für solche Nachtsichtsysteme beträchtlich.

Vorteile der Erfindung

Durch die Verwendung einer im nahen Infrarot empfindlichen Standardkamera (CCD- oder CMOS-Kamera), insbesondere in Verbindung mit kostengünstigen Anzeigemitteln (z. B. LCD- Displays), wird der Aufwand für ein solches Nachtsichtsystem erheblich reduziert.
In vorteilhafter Weise wird ferner durch eine Schärfung des Bildes des optischen Sensors (Kamera, Sensor-Array) und/oder durch eine Verstärkung des Kontrastes des Bildes die Qualität von im nahen Infrarot aufgenommenen Bilder erheblich verbessert, so dass ein Einsatz als Nachtsichtsystems für Kraftfahrzeuge ermöglicht wird.
In vorteilhafter Weise erfolgt die Bildschärfung durch ein Bildverarbeitungsmodul, welches die unscharfen Bilder schärft, die durch Reflexion des einfallenden Infrarotlichtes an der Gehäuserückwand des optischen Sensors in Folge der Infrarottransparenz des Siliziums des Sensorchips entstehen. Diese prinzipiell bekannten Verfahren verstärken die Kanten im Bild, die durch die unscharfe Abbildung verwaschen erscheinen. Dadurch wird ein einem Betrachter scharf erscheinendes Bild rekonstruiert. Besonders vorteilhaft ist die Anwendung der sogenannten inversen Filterung zur Bildschärfung.
Ferner hat es sich als vorteilhaft erwiesen, zur Kontrastverstärkung eine adaptive Abbildungsfunktion, vorzugsweise eine nichtlineare Kennlinie, einzusetzen, die die im Bild vorhandenen Grauwerte in den Wertebereich der Grauwerte des Displays abbildet. Dadurch kann in vorteilhafter Weise ein Sensor mit einer höheren Anzahl von Grauwerten in Verbindung mit einem Display, welches lediglich weniger Grauwerte anzeigen kann, einsetzbar. Besonders vorteilhaft ist, dass das entstehende, kontrastverstärkte Bild dem Betrachter alle wesentlichen Einzelheiten anzeigt, da häufige Grauwertebereiche mit hoher Auflösung dargestellt werden, seltenere Grauwertebereiche mit geringerer Auflösung.
In vorteilhafter Weise werden je nach Anwendungsbeispiel Bildschärfung und Kontrastverstärkung gemeinsam oder eine Vorgehensweise alleine eingesetzt.
Besonders zweckmäßig ist es, beim Einsatz beider Module zuerst die Bildschärfung, dann die Kontrastverstärkung durchzuführen, da durch die Bildschärfung die Häufigkeit bestimmter Grauwerte verändert wird. Dadurch ergibt sich eine zuverlässige Rekonstruktion des ursprünglich unscharfen, verhältnismäßig kontrastarmen Bildes.
Diese Maßnahmen zur Bildverarbeitung (Bildschärfung, Kontrastverstärkung) werden auch außerhalb der Kraftfahrzeuganwendung, sowohl im Infrarot- als auch im sichtbaren Bereich mit den genannten Vorteilen eingesetzt, wenn unscharfe Bilder zu verarbeiten sind.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen bzw. aus den abhängigen Patentansprüchen.

Zeichnung

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert. Fig. 1 zeigt dabei ein Übersichtsbild mit Ablaufdiagramm für ein Bildverarbeitungssystem, insbesondere ein Nachtsichtsystem für Kraftfahrzeuge, bei welchem die oben erwähnten Bildschärfungs- und Kontrastverstärkungsmodule eingesetzt sind. Anhand der Diagramme der Fig. 2 und 3 werden zwei bevorzugte Ausführungsbeispiele erläutert, die zur Bildung der Abbildungsfunktion zur Kontrastverstärkung angewendet werden. Fig. 4 schließlich zeigt anhand eines Flußdiagramms ein Realisierungsbeispiel der beschriebenen Vorgehensweise als Rechnerprogramm.

Beschreibung von Ausführungsbeispielen

Fig. 1 zeigt den Aufbau eines Bildverarbeitungssystems, mit einem optischen Sensor 10, insbesondere einer im nahen Infrarot empfindlichen Standardkamera, welche Rohbilder an eine Verarbeitungseinheit 12 abgibt. Die Verarbeitungseinheit 12, die je nach Ausführungsbeispiel aus getrennten Signalverarbeitungseinheiten oder aus einem digitalen Prozessor besteht, weist ein Bildschärfungsmodul 14 sowie ein Kontrastverstärkungsmodul 16 auf. Das Bildschärfungsmodul 14 setzt die von der Kamera 10 gelieferten Rohbilder in geschärfte Bilder um, die an das Kontrastverstärkungsmodul abgegeben werden. Das Kontrastverstärkungsmodul 16 besteht aus einer Abbildungsfunktion 18, vorzugsweise einer nichtlinearen Kennlinie, welche die von dem Bildschärfungsmodul 14 gelieferten geschärften Bilder in kontrastreiche, auf das verwendete Display 20 angepaßte Bilder umsetzt. Ferner ist ein Abbildungsfunktionsberechnungsmodul 22 Bestandteil des Kontrastverstärkungsmoduls. Dieses ermittelt auf der Basis der vom Bildschärfungsmodul 14 gelieferten geschärften Bilder den Verlauf der Abbildungsfunktion (Kennlinie 18). Das Kontrastverstärkungsmodul 16 gibt dann die mittels der Kennlinie 18 gewichteten, geschärften Bilder als kontrastverstärkte Bilder an das Display 20 zur Anzeige ab.
Bei der Kamera 10 handelt es sich um eine Standardkamera, die in vielen Anwendungsfällen eingesetzt wird und die im sichtbaren Bereich und im nahen Infrarot empfindlich ist. Die Empfindlichkeit im nahen Infrarot wird dabei beispielsweise durch Verzicht auf Filtermaßnahmen erreicht, die zuweilen bei einer solchen Standardkamera vorgesehen sind. Beim Display 20 handelt es sich um ein Anzeigemittel, welches eine geringere Anzahl von Grauwerten darstellen kann als die Kamera. Ein bevorzugtes Beispiel ist ein LCD- Display, auf welchem die von der Kamera 10 erfaßten Bilder, insbesondere Nachtsichtbilder der Kraftfahrzeugumgebung für einen Fahrer sichtbar dargestellt werden.
Bildschärfungsmodul und Kontrastverstärkungsmodul werden je nach Ausführung gemeinsam oder getrennt (d. h. nur eines der Module) eingesetzt. Die Reihenfolge der Vorgehensweise, zuerst Bildschärfung, dann Kontrastverstärkung ist beim Einsatz beider Module zur Bildverarbeitung zweckmäßig.
Das in Fig. 1 dargestellte System stellt in der bevorzugten Anwendung ein Nachtsichtsystem für Kraftfahrzeuganwendungen dar, bei denen die Standardkamera ein Bild im nahen Infrarot in Kombination mit einer geeigneten Beleuchtung des Straßenbereichs vor dem Fahrzeug aufnimmt. Die beleutung kann z. B. von einem Fahrzeugscheinwerfer oder einem Zusatzscheinwerfer stammen, der infrarote Lichtanteile hat. Die aufgenommenen Nachtsichtbilder werden dann mit Hilfe der dargestellten Bildverarbeitung auf dem Display dem Fahrer angezeigt. Im bevorzugten Anwendungsfall wird eine Kamera eingesetzt, welche bis zu 4096 Grauwerte darstellen kann, während das verwendete Display typischerweise nur 64 Grauwerte darstellen kann.
Im bevorzugten Ausführungsbeispiel arbeitet das Bildschärfungsmodul 14 mit Hilfe eines Bildschärfungsverfahrens, bei welchem die Kanten im Bild, die durch die unscharfe Abbildung verwaschen erscheinen, verstärkt werden. Im bevorzugten Ausführungsbeispiel wird als Verfahren die sogenannte inverse Filterung eingesetzt. Dabei wird die Unschärfe der Abbildung im nahen Infrarot durch eine sogenannte Punktverwaschungsfunktion bzw. durch ihre Fouriertransformierte, die Modulationstransferfunktion, beschrieben. Im bevorzugten Ausführungsbeispiel wird diese für den Kameratyp durch ein Standardverfahren bei einer an den Fahrzeugscheinwerfer angepaßten Infrarotbeleuchtung ausgemessen. Diese Modulationstransferfunktion wird invertiert und wieder in den Ortsraum transformiert, so dass eine Filtermaske erhalten wird, die die reflexionsbedingte Unschärfe im Idealfall exakt kompensiert. Diese Filtermaske hat im Bezug auf die Raumfrequenzen dabei Hochpaßcharakteristik, d. h. niedrigere Raumfrequenzen werden stärker gedämpft als höhere Raumfrequenzen. Eine exakte Kompensierung der reflexionsbedingten Unschärfe kann in der Praxis durch Quantisierungs- und/oder Sättigungseffekte in der Regel nicht erreicht werden, so dass einige Details verlorengehen. Es hat sich jedoch gezeigt, dass dies bei der Verwendung eines Displays geringerer Auflösung unerheblich ist, da der Detailverlust für den Betrachter nicht wahrnehmbar ist. Das Verfahren entfernt daher die vorhandene Unschärfe in der Abbildung in ausreichendem Maße.
Somit ergibt sich durch das Bildschärfungsmodul bei der Aufnahme eines Testmusters, beispielsweise vergleichbar mit dem bekannten Siemensstern, einen verstärkten Kontrast des Bildes im Bereich der kurzen räumlichen Wellenlängen, d. h. der höheren Frequenzen. Dieser Effekt tritt deutlicher zutage, wenn beim Testmuster anstelle des rechteckförmigen ein sinusförmiger Intensitätsverlauf vorgegeben ist, da so der Einfluß höherer Harmonischer entfällt, weiterhin die Amplitude der Intensitätsschwankung nicht maximal ist.
Zur Kontrastverstärkung werden im Folgenden zwei Verfahren zur Berechnung einer Abbildungsfunktion (Kennlinie) dargestellt, mit deren Hilfe die Grauwerte der (ggf. geschärften) Kameraabbildung in Grauwerte des Display umgesetzt werden. Welches der beiden Verfahren bevorzugt eingesetzt wird, hängt von der jeweiligen Anwendung ab.
Ein erstes Verfahren zur Kontrastverstärkung wird anhand des Diagramms der Fig. 2 dargestellt. In diesem Diagramm werden die Grauwerte des Displays GWD über den Grauwerten der Kamera GWK dargestellt. Ausgangspunkt ist das ebenfalls in Fig. 2 eingezeichnete Histogramm 100 der Grauwerte des Kamerabildes. In diesem Histogramm ist die Häufigkeit der einzelnen Grauwerte im analysierten Bild aufgetragen. Aus dem Histogramm 100 wird dann ein Grauwertebereich des Kamerabildes abgeleitet, welches eine vorgegebene Prozentzahl der Grauwerte des Kamerabildes abdeckt. Im bevorzugten Ausführungsbeispiel werden die Grenzen dieses Grauwertebereichs so festgelegt, dass ein vorbestimmter Prozentsatz der niedrigen Grauwerte und ein gewisser Prozentsatz der höchsten Grauwerte des Kamerabildes (z. B. jeweils 5%) nicht in den vorgesehenen Abschnitt fallen. Aus diesen sogenannten p-Perzentilen des Histogramms wird für jedes Kamerabild die Position der Abschnittsgrenzen bestimmt (minimaler und maximaler Grauwert). Aufgrund der berechneten Abschnittsgrenzen wird dann eine Kennlinie 102 abgeleitet, die in der dargestellten Ausführung stückweise linear ist und m Grauwerte der Kameraabbildung auf n Grauwerte des Displays abbildet (in der Regel ist dabei m > n). Die Kennlinie bzw. die Abbildungsfunktion besteht dabei aus drei Abschnitten, im ersten Abschnitt werden alle Kameragrauwerte auf den untersten Grauwert des Displays abgebildet, im mittleren Abschnitt werden m-Grauwerte des Kamerabildes auf n-Grauwerte des Displays abgebildet, im letzen Abschnitt alle Kameragrauwerte auf den höchsten Display-Grauwert. Da die abzubildenden Grauwerte des Kamerabildes eine höhere Anzahl aufweisen als die des Displays, wird also durch den linearen Teil der Funktion 102 Grauwertebereiche der Kamera auf einen Grauwert des Displays umgesetzt. Die Funktion führt also eine "Clipping"-Operation durch und staucht bzw. spreizt den mittleren Grauwertebereich der Kameraabbildung auf die Display-Grauwerte.
Ein zweites Verfahren wird anhand der Abbildung der Fig. 3a und 3b dargestellt. Dieses Verfahren wird als Histogrammabgleich bezeichnet. Dazu wird aus dem Histogramm 100 die kumulative Verteilungsfunktion gebildet, indem die Histogrammwerte nacheinander aufaddiert werden (integriert). Dies zeigt Fig. 3a, in der die Häufigkeit der Kamera- Grauwerte über den möglichen Kamera-Grauwerten aufgetragen ist. Aus dieser Verteilungsfunktion (Histogramm) wird dann gemäß Fig. 3b durch Aufaddieren der Häufigkeitswerte eine nicht lineare Kennlinie bzw. Abbildungsfunktion ermittelt, die in Fig. 3b dargestellt ist. Diese Kennlinie wird der Umsetzung des Grauwertebereichs der Kamera GWK auf die Grauwerte GWD des Displays zugrunde gelegt. Die dargestellte Abbildungskurve weist jedem Grauwertebereich des Kamerabildes die optimale Auflösung im Grauwertebereich des Displays zu. Da die Grauwerteanzahl des Displays geringer ist als die des Kamerabildes, muß die Abbildungskurve mit der Anzahl der im Display verfügbaren Grauwerte unterabgetastet werden. Auf diese Weise werden bestimmten Grauwertebereichen der Kamera nur ein Grauwert des Displays zugeordnet. Häufigeren Kameragrauwerte (siehe Bereich größerer Steigung der Kennlinie) werden eine größere Anzahl von Displaygrauwerten zugeordnet (höhere Auflösung), weniger häufig auftreten Kameragrauwerten (flacherer Kennlinienbereich) werden eine geringer Anzahl Displaygrauwertem zugeordnet.
Je nach Ausführungsbeispiel wird die Kennlinie bzw. Abbildungsfunktion nach einem der genannten Verfahren für jedes Bild oder für jedes n-te Bild neu berechnet. Die Abbildungsfunktion wird vorzugsweise tiefpaßgefiltert, um das Rauschen im Histogramm zu unterdrücken.
Die Vorteile der Verwendung einer solchen adaptiven, nicht linearen Kennlinie bzw. Abbildungsfunktion zeigt sich ebenfalls bei Aufnahme von Testmustern. Werden beispielsweise zwei Grauwertkeile mit unterschiedlichen Steigungen des Intensitätsprofils aufgenommen, so erreicht die adaptive Kenn- Linie bzw. die Abbildungsfunktion, dass beide Testmuster im dargestellten Bild gleich erscheinen.
Im bevorzugten Ausführungsbeispiel wird die Bildverarbeitung (Bildschärfung und Kontrastverstärkung) in einem Rechner durchgeführt, welcher die von der Kamera gelieferten Rohbilder in kontrastreiche, geschärfte Bilder zur Display-Anzeige umsetzt. Die oben geschilderte Vorgehensweise wird dabei als Rechnerprogramm realisiert. Ein Beispiel für ein solches Rechnerprogramm ist im Flußdiagramm der Fig. 4 skizziert.
Das von der Kamera gelieferte Rohbild wird gemäß Schritt 200 eingelesen. Im Schritt 202 wird das Bild mit der vorgegebenen Filtermaske gefiltert. Dies stellt das geschärfte Bild dar. Aus diesem Bild wird gemäß Schritt 206 das Histogramm abgeleitet und im Schritt 208 gemäß einem der oben geschilderten Verfahren die Abbildungsfunktion erzeugt. Danach wird im Schritt 210 das geschärfte Bild mit der ermittelten Abbildungsfunktion bewertet, d. h. Grauwertebereiche des Bildes nach Maßgabe der Abbildungsfunktion in einen Display- Grauwert umgesetzt und dann im Schritt 212 an das Display zur Anzeige ausgegeben. Das mittels des Flußdiagramms skizzierte Programm wird dabei für jedes Rohbild durchlaufen. In einem Ausführungsbeispiel wird die Abbildungsfunktion nur für eine vorbestimmte Anzahl von Bildern (z. B. für jedes zehnte) ermittelt.
Die bevorzugte Anwendung der dargestellten Vorgehensweise ist ein Nachtsichtsystem für Kraftfahrzeuge. Die dargestellte Vorgehensweise läßt sich jedoch auch außerhalb dieses Anwendungsfalles bei anderen Nachtsichtsystemen oder bei Bildverarbeitungssystemen im nahen Infrarot oder im sichtbaren Bereich anwenden, bei welchen unscharfe Bilder entstehen bzw. Bilder hoher Auflösung mittels Displays niedrigerer Auflösung dargestellt werden.
Ferner lässt sich die beschriebene Vorgehensweise auch in Verbindung mit Farbbildern anwenden.

Claims

1. Verfahren zur Bildverarbeitung, bei welchem mittels eines optischen Sensors Bilder aufgenommen werden und auf einem Anzeigemittel mit einer gegenüber dem Sensor geringeren Auflösung dargestellt werden, dadurch gekennzeichnet, dass die vom Sensor ermittelten Bilder mittels eines Bildschärfungsverfahrens geschärft und/oder mittels eines Kontrastverstärkungsverfahrens in kontrastreiche Bilder zur Anzeige umgesetzt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Anzeigemittel eine gegenüber dem Sensor geringeren Auflösung aufweist.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vom Sensor gelieferten Rohbilder zunächst geschärft und dann der Kontrast der geschärften Bilder verstärkt wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sensor eine Standardkamera ist, die im nahen Infrarot empfindlich ist.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bildschärfung eine Verstärkung der im Bild unscharf dargestellten Kanten erfolgt, insbesondere mittels einer inversen Filterung des Bildes.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Kontrastverstärkung eine adaptive Abbildungsfunktion vorgesehen ist, welche die im Bild vorhandenen Grauwerte in Grauwerte des Anzeigemittels abbildet.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die adaptive Abbildungsfunktion eine stückweise lineare Funktion, die aus dem Histogramm des Kamerabildes abgeleitet wird, darstellt.

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die adaptive Abbildungsfunktion eine Verteilungsfunktion ist, die aus dem Histogramm abgeleitet ist.

9. Vorrichtung zur Bildverarbeitung, mit einer Auswerteeinheit, die Bilder von einem optischen Sensor empfängt und an ein Anzeigemittel zur Anzeige abgibt, dadurch gekennzeichnet, dass die Auswerteeinrichtung ein Bildschärfungsmodul und/oder ein Kontrastverstärkungsmodul umfaßt.

10. Nachtsichtsystem, insbesondere für Kraftfahrzeuge, bei welchem eine im nahen Infrarot empfindliche Standardkamera eingesetzt wird, mit einer Auswerteeinheit, die die Bilder der Kamera verbessert, mit einem Anzeigemittel, welches eine gegenüber der Kamera eine geringere Grauwerteauflösung aufweist und auf dem die verbesserten Bilder angezeigt werden.