DE102011102002A1

DE102011102002A1 - Verfahren zur Rauschentfernung und Nachtsichtsystem unter Verwendung desselben

Info

Publication number: DE102011102002A1
Application number: DE102011102002A
Authority: DE
Inventors: Taehyeon KWON; Intaek SONG; Gyuwon KIM; Hoseop JEONG; Kyoungjoong MIN
Original assignee: Samsung Electro Mechanics Co Ltd
Current assignee: Samsung Electro Mechanics Co Ltd
Priority date: 2011-01-21
Filing date: 2011-05-19
Publication date: 2012-07-26
Also published as: KR20120084971A; KR101204556B1; US20120188373A1

Abstract

Hierin werden ein Verfahren zur Rauschentfernung durch das Segmentieren eines Bildes in Übereinstimmung mit einem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten, das Setzen der Koeffizientenwerte eines Tiefpassfilters in Anbetracht der Eigenschaften jedes Bildes bezüglich jedes segmentierten Bildes und dann die Filterung jedes segmentierten Bildes und ein Nachtsichtsystem, das die Rauschentfernungseinheiten (110, 130), die das Verfahren verwenden und vor und hinter einer Helligkeitsverbesserungseinheit (120) angeordnet sind, enthält, wobei es dadurch möglich gemacht wird, das Rauschen ohne Verschlechterung der Bildqualität zu entfernen, offenbart.

Description

Die Erfindung betrifft das Gebiet der Verfahren zur Rauschentfernung und der Nachtsichtsysteme und insbesondere ein Verfahren zur Rauschentfernung, bei dem das Rauschen adaptiv in Übereinstimmung mit den Eigenschaften eines Bildes entfernt wird, und ein Nachtsichtsystem, in dem das Verfahren zur Rauschentfernung verwendet wird.
Diese Anmeldung beansprucht die Priorität gemäß 35 USC, Abschnitt 119, der koreanischen Patentanmeldung, lfd. Nr. 10-2011-0006323 , mit dem Titel ”Method For Removing Noise And Night-Vision System Using The Same”, eingereicht am 21. Januar 2011, die durch Bezugnahme in diese Anmeldung vollständig mit aufgenommen ist.
In einer neueren Automobiltechnologie sind verschiedene Systeme, die ein Bild durch eine Anzeige einer Instrumententafel vor einem Fahrersitz bestätigen können, indem Kameras sowohl auf der linken und der rechten Seite des Fahrzeugs als auch auf seiner Vorder- und seiner Rückseite angebracht werden, entwickelt worden, um die Bequemlichkeit und die Stabilität eines Fahrers während des Fahrens eines Fahrzeugs zu verbessern, wobei bereits damit begonnen wurde, sie in den Fahrzeugen anzuwenden. Ein Nachtsichtsystem (NVS), das eines dieser Systeme ist, ist eine Vorrichtung, die in einem Gesichtsfeld des Fahrers während des Fahrens des Fahrzeugs in einer dunklen Umgebung, wie z. B. einer Nachtfahrt, unterstützt. Das Nachtsichtsystem strahlt infrarote Strahlen zur Vorderseite des Fahrzeugs und photographiert die Vorderseite unter Verwendung einer Kamera, um dem Fahrer ein Bild der Vorderseite bereitzustellen, so dass der Fahrer ein Hindernis oder einen Fußgänger vor dem Fahrzeug erkennen kann, wobei es dadurch möglich gemacht wird, ein sicheres Fahren durch den Fahrer zu ermöglichen und einen Verkehrsunfall zu verhindern.
Die aktuelle Kamera für ein Fahrzeug besitzt aufgrund sowohl der Probleme eines Kameramoduls, wie z. B. der Einschränkungen an den optischen Zoom, die automatische Fokussierung und die Auflösung, als auch der Probleme einer Schaltung, wie z. B. der Einschränkungen an den Betrag der Leistungsaufnahme, den Speicher und die Logik usw., im Vergleich zu einer Digitalkamera ein signifikant niedriges Niveau der Bildqualität. Insbesondere wird im Fall eines Nachtsichtsystems selbst dann, wenn ein Sensor mit einem weiten Dynamikbereich (WDR) verwendet wird, eine große Menge des Rauschens bei niedriger Leuchtdichte erzeugt, wobei die Helligkeit eines Bildes signifikant niedrig ist, so dass ein Objekt nicht leicht erkannt werden kann. Deshalb ist ein Algorithmus zur Rauschentfernung aus einem Nachtbild der Nachtsichtkamera und zum Verbessern der Bildqualität notwendig.
Gemäß dem Stand der Technik sind verschiedene Verfahren zur Rauschentfernung in einer digitalen Bildverarbeitungsvorrichtung vorgeschlagen worden; sie berücksichtigen jedoch einen Helligkeitswert oder eine Richtung eines Randes oder eines Musters des Rauschens des Bildes nicht angemessen, so dass das Bild unscharf ist oder der Rand fehlerhaft ist.
Als das einfachste Verfahren zum Verringern einer in einem Bildsignal enthaltenen Rauschkomponente gibt es ein Verfahren zum Entfernen des Rauschens durch das Anwenden eines Tiefpassfilters (LPF) auf einen Zielbildpunkt und die umgebenden Bildpunkte. Wenn jedoch das Tiefpassfilter auf alle Bildpunkte des Bildes angewendet wird, werden die Randinformationen, die zum Erkennen des Objekts erforderlich sind, außerdem zusammen mit der Rauschkomponente des Bildes verringert, so dass die Schafe des Bildes verringert wird, wobei dadurch die Bildqualität verschlechtert wird.
1 ist eine Ansicht, die eine Bildausgabe aus einem Nachtsystem gemäß dem Stand der Technik zeigt. In 1 ist im Fall der Bildausgabe aus dem Nachtsichtsystem ein heller Bereich 10 um eine Straße durch die Scheinwerfer eines Fahrzeugs beleuchtet, wobei ein signifikanter dunkler Bereich 20 an einem oberen Ende des Bildes gleichzeitig erzeugt wird. Deshalb besitzen die in jedem Bereich erzeugten Rauschen Verteilungen und Stärken, die voneinander verschieden sind, wobei es dadurch unmöglich gemacht wird, das Rauschen unter Verwendung des Verfahrens zur Rauschentfernung gemäß dem Stand der Technik effektiv zu entfernen und die Schärfe des Bildes aufrechtzuerhalten.
Unterdessen enthält das vom Nachtsichtsystem ausgegebene Bild eine größere Menge des Rauschens als die eines allgemeinen Bildes, wobei es einen signifikant niedrigen Helligkeitswert des Bildes besitzt. Deshalb gibt es einen Bedarf an einem Bildverarbeitungsprozess zum Verbessern der Bildqualität.
Im Fall des Bildverarbeitungsprozesses, der im Nachtsichtsystem gemäß dem Stand der Technik verwendet wird, wird ein Prozess zum Verbessern des Helligkeitswerts des Bildes, wie z. B. ein Gammakurvenprozess, ein Histogrammdehnungsprozess, ein Histogrammentzerrungsprozess oder dergleichen, durch eine Helligkeitsverbesserungseinheit ausgeführt, bevor die Rauschkomponenten entfernt werden. Hier kann die Stärke der in dem dunklen Bereich des Bildes enthaltenen Rauschkomponente vergrößert werden. Deshalb wird ein Tiefpassfilter mit einer höheren Stärke verwendet, so dass die Menge eines Speichers und die Komplexität einer Schaltung vergrößert werden und die Schärfe des Bildes verschlechtert wird.
Der Erfindung liegt daher der Aufgabe zugrunde, ein Verfahren zur Rauschentfernung, bei dem das Rauschen durch das Ändern der Koeffizientenwerte eines Tiefpassfilters in Übereinstimmung mit den Eigenschaften eines Bildes entfernt wird, und ein Nachtsichtsystem, das das Rauschen effektiv entfernen kann, indem Rauschentfernungseinheiten unter Verwendung des Verfahrens zur Rauschentfernung aufgenommen werden, wobei die Rauschentfernungseinheiten vor und nach einer Helligkeitsverbesserungseinheit angeordnet sind, zu schaffen.
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Rauschentfernung nach Anspruch 1, ein Verfahren zur Rauschentfernung nach Anspruch 5, ein Verfahren zur Rauschentfernung nach Anspruch 10, ein Verfahren zur Rauschentfernung nach Anspruch 14, ein Verfahren zur Rauschentfernung nach Anspruch 19 und ein Nachtsichtsystem nach Anspruch 24. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Gemäß einer beispielhaften Ausführungsform der Erfindung wird ein Verfahren zur Rauschentfernung geschaffen, wobei das Verfahren umfasst: (a) Photographieren eines Nachtbildes um ein Fahrzeug und dann Ausgeben eines für die Bildverarbeitung erforderlichen Signals; (b) Segmentieren des Bildes in Übereinstimmung mit einem Helligkeitswert des Bildes und/oder einer Verteilung der Bildpunktdaten von dem Ausgangssignal; und (c) Ausführen der Filterung durch das Anwenden verschiedener Koeffizientenwerte eines Tiefpassfilters auf jedes segmentierte Bild in Übereinstimmung mit dem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten.
Der Schritt (b) kann das Segmentieren des Bildes in einen dunklen Bereich, einen Zwischenbereich und einen hellen Bereich in Übereinstimmung mit dem Helligkeitswert des Bildes enthalten.
Der Schritt (b) kann das Segmentieren des Bildes in einen Punktrauschbereich, in dem die Bildpunktdaten punktweise verteilt sind, einen Texturbereich, in dem die Daten mehrerer Bildpunkte ohne Ausrichtung vorhanden sind, um als Texturkomponenten vorhanden zu sein, einen Randbereich, in dem die Bildpunktdaten als Randkomponenten vorhanden sind, und einen homogenen Bereich, in dem die Rauschkomponenten, die Texturkomponenten und die Randkomponenten nicht vorhanden sind, in Übereinstimmung mit der Verteilung der Bildpunktdaten enthalten.
Das Verfahren kann ferner das Bestimmen einer Richtung der Randkomponenten und das Detektieren, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, bezüglich des Randbereichs enthalten.
Gemäß einer ersten beispielhaften Ausführungsform der Erfindung wird ein Verfahren zur Rauschentfernung geschaffen, wobei das Verfahren enthält: (a) Bestimmen eines zu Verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters; (b) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem ersten Schwellenwert, um einen dunklen Bereich in dem Bild zu detektieren; (c) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten Schwellenwert, um einen Zwischenbereich oder einen hellen Bereich in dem Bild zu detektieren, wenn im Schritt (b) der dunkle Bereich nicht detektiert wird; (d) Detektieren eines Randbereichs in einem Bereich des Bildes, der als der helle Bereich detektiert wird, wenn der helle Bereich detektiert wird; und (e) Ausführen der Filterung durch das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf die Bildpunkte, in denen die Randkomponenten vorhanden sind, bezüglich eines Bereichs des Bildes, der als der Randbereich detektiert wird.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (b) als der dunkle Bereich detektiert wird, enthalten.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das niedriger als das des dunklen Bereichs ist, bezüglich eines Bereichs des Bildes, der im Schritt (c) als der Zwischenbereich detektiert wird, enthalten.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte bezüglich eines Bereichs des Bildes, in dem im Schritt (d) der Randbereich nicht detektiert wird, enthalten.
Das Detektieren des Randbereichs kann enthalten: Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters unter Verwendung des Laplace-Kerns und dann Berechnen der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|;
Auswählen eines Maximalwerts MAX(EDGE) und eines Minimalwerts MIN(EDGE) aus den Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wie sie durch die folgenden Gleichungen gegeben sind MAX(EDGE) = MAX[Adv, Adh, Adr, Adl], MIN(EDGE) = MIN[Adv, Adh, Adr, Adl], DE = |MAX(EDGE) – MIN(EDGE)|;
Vergleichen eines Absolutwerts DE eines Werts, der durch das Subtrahieren des Minimalwerts MIN(EDGE) vom Maximalwert MAX(EDGE) erhalten wird, mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der Randbereich ist, wenn der Absolutwert DE größer als der vorgegebene Schwellenwert ist.
Gemäß einer zweiten beispielhaften Ausführungsform der Erfindung wird ein Verfahren zur Rauschentfernung geschaffen, wobei das Verfahren enthält: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters; (b) Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters und dann Berechnen der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, bezüglich aller im Schritt (a) berechneten Helligkeitswertbereiche; (c) Detektieren eines homogenen Bereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte; (d) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem ersten vorgegebenen Schwellenwert, um einen dunklen Bereich innerhalb eines Bereichs des Bildes zu detektieren, der als der homogene Bereich detektiert wird, wenn im Schritt (c) der homogene Bereich detektiert wird; (e) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten Schwellenwert, um einen Zwischenbereich oder einen hellen Bereich innerhalb eines Bereichs des Bildes zu detektieren, der als der homogene Bereich detektiert wird, wenn im Schritt (d) der dunkle Bereich nicht detektiert wird; und (f) Ausführen der Filterung durch das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der als der helle Bereich detektiert wird.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das höher als das des hellen Bereichs ist, bezüglich eines Bereichs des Bildes, der im Schritt (e) als der Zwischenbereich detektiert wird, enthalten.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das höher als das des Zwischenbereichs ist, bezüglich eines Bereichs des Bildes, der im Schritt (d) als der dunkle Bereich detektiert wird, enthalten.
Das Detektieren des homogenen Bereichs kann enthalten: Vergleichen der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der homogene Bereich ist, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert sind.
Gemäß einer dritten beispielhaften Ausführungsform der Erfindung wird ein Verfahren zur Rauschentfernung geschaffen, wobei das Verfahren enthält: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters; (b) Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters und dann Berechnen der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, bezüglich aller im Schritt (a) berechneten Helligkeitswertbereiche; (c) Detektieren eines homogenen Bereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte; (d) Detektieren eines Randbereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (c) der homogene Bereich nicht detektiert wird; (e) Detektieren eines Punktrauschbereichs oder eines Texturbereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (d) der Randbereich nicht detektiert wird; (f) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten vorgegebenen Schwellenwert, um einen Zwischenbereich oder einen hellen Bereich innerhalb eines Bereichs des Bildes zu detektieren, der als der Texturbereich detektiert wird, wenn der Texturbereich detektiert wird; und (g) Ausführen der Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte eines Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkten bezüglich eines Bereichs des Bildes, der als der helle Bereich detektiert wird.
Das Verfahren kann ferner die Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte und das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (f) als der Zwischenbereich detektiert wird, enthalten.
Das Verfahren kann ferner die Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (e) als der Punktrauschbereich detektiert wird, enthalten.
Das Detektieren des Punktrauschbereichs kann enthalten: Vergleichen der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der Punktrauschbereich ist, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte größer als der vorgegebene Schwellenwert sind.
Das Detektieren des Texturbereichs kann enthalten: Vergleichen der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der Texturbereich ist, wenn auch nur eine der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert ist.
Gemäß einer vierten beispielhaften Ausführungsform der Erfindung wird ein Verfahren zur Rauschentfernung geschaffen, wobei das Verfahren enthält: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters; (b) Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters und dann Berechnen der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, bezüglich aller im Schritt (a) berechneten Helligkeitswertbereiche; (c) Detektieren eines homogenen Bereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte; (d) Detektieren eines Randbereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (c) der homogene Bereich nicht detektiert wird; (e) Bestimmen einer Richtung der Randkomponenten unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (d) der Randbereich detektiert wird; (f) Detektieren, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, wenn die Richtung der Randkomponenten bestimmt wird; (g) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten vorgegebenen Schwellenwert, um einen Zwischenbereich oder einen hellen Bereich innerhalb des Bildes zu detektieren, in dem der Randbereich detektiert wird, wenn im Schritt (f) detektiert wird, dass die Randkomponenten kontinuierlich vorhanden sind; und (h) Ausführen der Filterung durch das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, bezüglich eines Bereichs des Bildes, der als der helle Bereich detektiert wird.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, und den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (g) als der Zwischenbereich detektiert wird, enthalten.
Das Verfahren kann ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf die Bildpunkte, in denen die Randkomponenten vorhanden sind, bezüglich eines Bereichs des Bildes, für den im Schritt (f) detektiert wird, dass die Randkomponenten nicht kontinuierlich vorhanden sind, enthalten.
Das Bestimmen der Richtung der Randkomponenten kann enthalten: Berechnen eines Absolutwerts Dvh eines Werts, der durch das Subtrahieren von Adh von Adv erhalten wird, und eines Absolutwerts Drl eines Werts, der durch das Subtrahieren von Adl von Adr erhalten wird; Vergleichen von Dvh mit Dvl und Vergleichen von Adv mit Adh oder von Adr mit Adl in Übereinstimmung mit dem Vergleichsergebnis; Vergleichen von Adv mit Adh, wenn Dvh größer als Dvl ist, um zu bestimmen, dass die Randkomponenten in der horizontalen Richtung vorhanden sind, wenn Adv größer als Adh ist, und um zu bestimmen, dass die Randkomponenten in der vertikalen Richtung vorhanden sind, wenn Adv kleiner als Adh ist; und Vergleichen von Adr mit Adl, wenn der Drl-Wert größer als Dvh ist, um zu bestimmen, dass die Randkomponenten in der diagonalen Richtung von oben rechts nach unten links vorhanden sind, wenn Adr größer als Adl ist, und um zu bestimmen, dass die Randkomponenten in der diagonalen Richtung von oben links nach unten rechts vorhanden sind, wenn Adr kleiner als Adl ist, wie es durch die folgenden Gleichungen gegeben ist: Dvh = |Adv – Adh|, Drl = |Adr – Adl|, if(Dvh > Drl)&&(Adv > Adh) ≅ horizontaler Rand, sdv_1 = |P10 – P00| + |P10 – P20|, sdv_2 = |P12 – P02| + |P12 – P22|, if(Dvh > Drl)&&(Adh > Adv) ≅ vertikaler Rand, sdh_1 = |P01 – P00| + |P01 – P02|, sdh_2 = |P21 – P20| + |P21 – P22|, if(Drl > Dvh)&&(Adr > Adl) ≅ linker diagonaler Rand, sdr_1 = |P00 – P01| + |P00 – P10|, sdr_2 = |P22 – P12| + |P22 – P21|, if(Drl > Dvh)&&(Adl > Adr) ≅ rechter diagonaler Rand, sdl_1 = |P02 – P01| + |P02 – P12|, sdl_2 = |P20 – P10| + |P20 – P21|.
Das Detektieren, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, kann enthalten: Berechnen der absoluten Differenzwerte zwischen zwei umgebenden Bildpunkten in der Umgebung eines Mittenbildpunkts, der in der Richtung positioniert ist, von der im Schritt (e) bestimmt wird, dass die Randkomponenten vorhanden sind, und der umgebenden Bildpunkte, die den zwei umgebenden Bildpunkten benachbart sind, und Summieren der berechneten absoluten Differenzwerte, um sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 zu berechnen; Vergleichen von sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 mit dem vorgegebenen Schwellenwert; und Bestimmen, dass die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, wenn alle von sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 größer als der Schwellenwert sind, wie durch die folgenden Gleichungen gegeben ist: Dvh = |Adv – Adh|, Drl = |Adr – Adl|, if(Dvh > Drl)&&(Adv > Adh) ≅ horizontaler Rand, sdv_1 = |P10 – P00| + |P10 – P20|, sdv_2 = |P12 – P02| + |P12 – P22|, if(Dvh > Drl)&&(Adh > Adv) ≅ vertikaler Rand, sdh_1 = |P01 – P00| + |P01 – P02|, sdh_2 = |P21 – P20| + |P21 – P22|, if(Drl > Dvh)&&(Adr > Adl) ≅ linker diagonaler Rand, sdr_1 = |P00 – P01| + |P00 – P10|, sdr_2 = |P22 – P12| + |P22 – P21|, if(Drl > Dvh)&&(Adl > Adr) ≅ rechter diagonaler Rand, sdl_1 = |P02 – P01| + |P02 – P12|, sdl_2 = |P20 – P10| + |P20 – P21|.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung wird ein Nachtsichtsystem geschaffen, das ein von einem Kameramodul aufgenommenes Nachtbild um ein Fahrzeug auf einer Anzeige anzeigt, wobei das Nachtsichtsystem enthält: eine erste Rauschentfernungseinheit, die das Rauschen durch Filterung der Zusammensetzungen entfernt, die als das Rauschen in einem von einem Bildsensor ausgegebenen Bildsignal dienen; eine Helligkeitsverbesserungseinheit, die einen Helligkeitswert des Bildes verbessert, in dem die Rauschkomponenten durch die erste Rauschentfernungseinheit entfernt worden sind; eine zweite Rauschentfernungseinheit, die das Rauschen durch Filterung der Komponenten entfernt, die als das Rauschen in dem Bild dienen, in dem der Helligkeitswert durch die Helligkeitsverbesserungseinheit verbessert worden ist; und eine Signalverarbeitungseinheit, die das Bildsignal verarbeitet, in dem der Helligkeitswert verbessert worden ist und die Rauschkomponenten entfernt worden sind, und die das Bildsignal an die Anzeige ausgibt.
Die erste Rauschentfernungseinheit kann das Verfahren gemäß einer ersten beispielhaften Ausführungsform ausführen.
Die zweite Rauschentfernungseinheit kann das Verfahren gemäß den zweiten bis vierten beispielhaften Ausführungsformen ausführen.
Die erste Rauschentfernungseinheit kann das Verfahren gemäß einer ersten beispielhaften Ausführungsform ausführen und die zweite Rauschentfernungseinheit kann das Verfahren gemäß den zweiten bis vierten beispielhaften Ausführungsformen ausführen.
Weitere Merkmale und Vorteile der Erfindung werden deutlich beim Lesen der folgenden Beschreibung bevorzugter Ausführungsformen, die auf die Zeichnung Bezug nimmt; es zeigen:
1 eine Ansicht, die ein von einem Nachtsichtsystem gemäß dem Stand der Technik ausgegebenes Bild zeigt;
2 einen Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer beispielhaften Ausführungsform der Erfindung zeigt;
3 eine Ansicht, die ein 3 × 3-Maskenfilter zeigt, das in einem Verfahren zur Rauschentfernung gemäß einer beispielhaften Ausführungsform der Erfindung verwendet wird;
4 einen Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer ersten beispielhaften Ausführungsform der Erfindung zeigt;
5A einen Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer zweiten beispielhaften Ausführungsform der Erfindung zeigt;
5B einen Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer dritten beispielhaften Ausführungsform der Erfindung zeigt;
5C einen Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer vierten beispielhaften Ausführungsform der Erfindung zeigt;
6 einen Blockschaltplan eines Nachtsichtsystems gemäß einer beispielhaften Ausführungsform der Erfindung;
7A eine Ansicht, die ein Bild zeigt, in dem ein Helligkeitswert ohne Rauschentfernung verbessert worden ist;
7B eine vergrößerte teilweise Ansicht des Teils A nach 7A;
8A eine Ansicht, die ein Bild zeigt, in dem ein Helligkeitswert verbessert worden ist, nachdem die Rauschkomponenten durch eine erste Rauschentfernungseinheit eines Nachtsichtsystems gemäß einer beispielhaften Ausführungsform der Erfindung entfernt worden sind;
8B eine vergrößerte teilweise Ansicht des Teils B nach 8A;
9A eine Ansicht, die ein Bild zeigt, das schließlich von einem Nachtsichtsystem gemäß dem Stand der Technik ausgegeben wird; und
9B eine Ansicht, die ein Bild zeigt, das schließlich von einem Nachtsichtsystem gemäß einer beispielhaften Ausführungsform der Erfindung ausgegeben wird.
Im Folgenden werden beispielhafte Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügte Zeichnung ausführlich beschrieben. Die Begriffe und Wörter, die in dieser Beschreibung und den Ansprüchen verwendet werden, sollten nicht als auf die typischen Bedeutungen oder Wörterbuchdefinitionen eingeschränkt interpretiert werden, sondern sie sollten als die Bedeutungen und die Konzepte aufweisend interpretiert werden, die für den technischen Umfang der Erfindung basierend auf der Regel relevant sind, in Übereinstimmung mit der ein Erfinder das Konzept des Begriffs geeignet definieren kann, um das beste Verfahren am geeignetsten zu beschreiben, das er oder sie zum Ausführen der Erfindung kennt.
2 ist ein Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer beispielhaften Ausführungsform der Erfindung zeigt.
In 2 wird zuerst in einem Verfahren zur Rauschentfernung gemäß einer beispielhaften Ausführungsform der Erfindung eine Operation des Photographierens eines Nachtbildes einer Vorderseite eines Fahrzeugs und dann des Ausgebens eines Signals, das für die Verarbeitung des Bildes erforderlich ist, ausgeführt (S10).
Die Operation S10 kann durch ein (nicht gezeigtes) Kameramodul ausgeführt werden, das an der Vorderseite des Fahrzeugs angebracht ist. Das Kameramodul kann aus einer Linse, die das Nachtbild der Vorderseite des Fahrzeugs von infraroten Strahlen aufnimmt, die durch ein Objekt reflektiert werden, und einem Bildsensor, der das empfangene Nachtbild in das für die Verarbeitung des Bildes erforderliche Signal umsetzt, um das umgesetzte Signal auszugeben, konfiguriert sein.
Dann wird eine Operation des Segmentierens des Bildes in Übereinstimmung mit einem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten unter Verwendung des vom Bildsensor ausgegebenen Signals ausgeführt (S20).
3 ist eine Ansicht, die ein 3 × 3-Maskenfilter zeigt, das in einem Verfahren zur Rauschentfernung gemäß einer beispielhaften Ausführungsform der Erfindung verwendet wird.
Ein Maskenfilter definiert einen vorgegebenen Bildpunktbereich des Bildes. Um das Bild in Übereinstimmung mit den Eigenschaften des Bildes zu segmentieren, sollte zuerst ein Bereich, der einen Zielbildpunkt P11, der ein Verarbeitungsziel eines Tiefpassfilters ist, und wenigstens die umgebenden Bildpunkte P00, P01, P02, P10, P12, P20, P21 und P22, die dem Zielbildpunkt P11 benachbart sind, enthält, unter Verwendung des 3 × 3-Maskenfilters bestimmt werden, wie in 3 gezeigt ist. Hier filtern neun Filterbereiche, in die das 3 × 3-Maskenfilter unterteilt ist, die Einheitsbildpunkte, während die Einheitsbildpunkte abgetastet werden, die den Einheitsbildpunkten des Bildes entsprechen. In einigen Fällen wird zusätzlich zu dem 3 × 3-Maskenfilter ein 5 × 5-Maskenfilter usw. verwendet, so dass mehrere Einheitsbildpunkte entsprechend konfiguriert sein können.
Nachdem der Zielbildpunkt und die umgebenden Bildpunkte durch das 3 × 3-Maskenfilter bestimmt worden sind, wird eine Operation des Berechnens eines Helligkeitswerts des Zielbildpunkts P11, der das Verarbeitungsziel des Tiefpassfilters ist, ausgeführt, um das Bild in Übereinstimmung mit dem Helligkeitswert des Bildes zu segmentieren.
Ein Prozess zum Berechnen des Helligkeitswerts des Bildes ist durch die Gleichung 1 im Folgenden gegeben. AVG(BR) = (SUM[P00:P22] – P11)/8 [Gleichung 1]
Wie durch die Gleichung 1 gegeben ist, kann der Helligkeitswert des Zielbildpunkts P11, der das Verarbeitungsziel des Tiefpassfilters ist, berechnet werden, indem ein Mittelwert AVR(BR) der umgebenden Bildpunkte P00, P01, P02, P10, P12, P20, P21 und P22 berechnet wird.
Nachdem der Helligkeitswert des Zielbildpunkts P11 berechnet worden ist, kann der Helligkeitswert des Zielbildpunkts P11 mit einem vorgegebenen Schwellenwert verglichen werden, wobei es dadurch möglich gemacht wird, das Bild in Übereinstimmung mit dem Helligkeitswert zu segmentieren. Hier ist der Schwellenwert, der ein Wert ist, der experimentell so gesetzt wird, um die hervorragendste Leistung zu haben, vorzugsweise auf einen ersten und einen zweiten Schwellenwert gesetzt, um das Bild in einem dunklen Bereich, einen Zwischenbereich und einen hellen Bereich zu segmentieren. Das heißt, wenn der Helligkeitswert kleiner als der erste Schwellenwert ist, kann das Bild in einen dunklen Bereich segmentiert werden, wenn der Helligkeitswert größer als der erste Schwellenwert ist und kleiner als der zweite Schwellenwert ist, kann das Bild in einen Zwischenbereich segmentiert werden, und wenn der Helligkeitswert größer als der zweite Schwellenwert ist, kann das Bild in einen hellen Bereich segmentiert werden.
Außerdem wird eine Operation des Segmentierens des Bildes in einen Punktrauschbereich, in dem die Bildpunktdaten punktweise verteilt sind, einen Texturbereich, in dem die Daten mehrerer Bildpunkte ohne Ausrichtung vorhanden sind, um als Texturkomponenten vorhanden zu sein, einen Randbereich, in dem die Bildpunktdaten als Randkomponenten vorhanden sind, und einen homogenen Bereich, in dem die Rauschkomponenten, die Texturkomponenten und die Randkomponenten nicht vorhanden sind, in Übereinstimmung mit der Verteilung der Bildpunktdaten ausgeführt.
Insbesondere kann bezüglich des in den Randbereich segmentierten Bildes eine Operation zum Bestimmen einer Richtung der Randkomponenten und des Detektierens, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, außerdem ausgeführt werden.
Die Operation des Segmentierens des Bildes in den homogenen Bereich, den Punktrauschbereich, den Texturbereich und den Randbereich und die Operation des Bestimmens der Richtung der Randkomponenten und des Detektierens, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, wird bei den Verfahren zur Rauschentfernung gemäß den beispielhaften Ausführungsformen der Erfindung im Folgenden beschrieben.
Nachdem das Bild in Übereinstimmung mit dem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten segmentiert worden ist, wird eine Operation des Ausführens der Filterung durch das Anwenden verschiedener Koeffizientenwerte des Tiefpassfilters auf jedes segmentierte Bild in Übereinstimmung mit dem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten ausgeführt (S30).
Die Koeffizientenwerte des Tiefpassfilters, die auf jedes Bild angewendet werden, werden bei den Verfahren zur Rauschentfernung gemäß den beispielhaften Ausführungsformen der Erfindung im Folgenden ausführlich beschrieben.
Wie oben beschrieben worden ist, besitzt das im Nachtsichtsystem verwendete Nachtbild einen hellen Bildpunktwert bezüglich der durch die Scheinwerfer des Fahrzeugs beleuchteten Straße und der Objekte um die Straße; das Nachtbild besitzt jedoch einen signifikant niedrigen Bildpunktwert bezüglich seines oberen Abschnitts. Diese dunklen Bereiche enthalten aufgrund des Mangels an Lichtmenge eine große Menge des Rauschens. Deshalb werden die Koeffizientenwerte des Tiefpassfilters so eingestellt, dass die Filterung mit einer hohen Stärke bezüglich des Bildes des dunklen Bereichs ausgeführt werden kann. Im Gegenteil werden die Koeffizientenwerte des Tiefpassfilters so eingestellt, dass die Filterung mit einer geringeren Stärke ausgeführt werden kann, wie die Helligkeitswerte des Bildes höher werden. Im Ergebnis ist es möglich, die Rauschkomponenten effektiv zu entfernen, während die Schärfe der Bildqualität aufrechterhalten wird.
Unterdessen werden ähnlich zu dem Bild des dunklen Bereichs bezüglich des homogenen Bereichs, in dem es keinen Bedarf gibt, die Schärfe aufrechtzuerhalten, und des Bildes des Punktrauschbereichs, der die Rauschkomponenten enthält, die Koeffizientenwerte des Tiefpassfilters so eingestellt, dass die Filterung mit hoher Stärke ausgeführt werden kann. Ähnlich zum hellen Bereich werden bezüglich des Texturbereichs, in dem die Daten mehrerer Bildpunkte ohne Ausrichtung vorhanden sind, um als Texturkomponenten vorhanden zu sein, wie z. B. als ein Objekt, ein Hindernis oder dergleichen, das durch den Fahrer erkannt werden sollte, die Koeffizientenwerte des Tiefpassfilters so eingestellt, dass die Filterung mit niedriger Stärke ausgeführt werden kann. Im Ergebnis ist es möglich, die Rauschkomponenten effektiv zu entfernen, während die Schärfe der Bildqualität aufrechterhalten wird.
Bezüglich des Randbereichs werden die Koeffizientenwerte des Tiefpassfilters so eingestellt, dass die Filterung an den Bildpunkten mit Ausnahme der Randkomponenten ausgeführt werden kann, wobei es dadurch möglich gemacht wird, die Rauschkomponenten effektiv zu entfernen, während die Randkomponenten aufrechterhalten werden.
Insbesondere bezüglich eines Bereichs des Bildes, für den detektiert worden ist, dass die Randkomponenten in der vorgegebenen Richtung im Randbereich kontinuierlich vorhanden sind, werden die Koeffizientenwerte des Tiefpassfilters so eingestellt, dass die in einer vorgegebenen Richtung kontinuierlich vorhandenen Randkomponenten ausgeschlossen werden, wobei es dadurch möglich gemacht wird, die Rauschkomponente effektiv zu entfernen, ohne ein Phänomen zu verursachen, dass das Bild in der Richtung, in der die Randkomponenten vorhanden sind, unscharf wird.
Im Folgenden wird ein Verfahren zur Rauschentfernung gemäß einer ersten beispielhaften Ausführungsform der Erfindung beschrieben.
4 ist ein Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer ersten beispielhaften Ausführungsform der Erfindung zeigt. Zuerst wird eine Operation des Bestimmens eines zu verarbeitenden Zielbereichs unter Verwendung des Maskenfilters bezüglich des Bildes der Vorderseite des Fahrzeugs und des Berechnens des Helligkeitswerts des Zielbildpunkts innerhalb des Maskenfilters ausgeführt (S101). Der Helligkeitswert des Zielbildpunkts kann durch die Gleichung 1 berechnet werden.
Nachdem der Helligkeitswert des Zielbildpunkts berechnet worden ist, wird eine Operation des Vergleichens des Helligkeitswerts des Zielbildpunkts mit einem ersten vorgegebenen Schwellenwert, um den dunklen Bereich in dem Bild zu detektieren, ausgeführt (S102). Wenn der Helligkeitswert des Zielbildpunkts kleiner als der erste Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der dunkle Bereich ist.
Wenn bei dem Vergleich zwischen dem Helligkeitswert des Zielbildpunkts und dem ersten Schwellenwert in der Operation S102 der dunkle Bereich nicht detektiert wird, wird eine Operation des Vergleichens des Helligkeitswerts des Zielbildpunkts mit einem zweiten Schwellenwert, um den Zwischenbereich oder den hellen Bereich in dem Bild zu detektieren, ausgeführt (S103). Wenn der Helligkeitswert des Zielbildpunkts kleiner als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der Zwischenbereich ist, und wenn der Helligkeitswert des Zielbildpunkts größer als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der helle Bereich ist.
Dann wird eine Operation des Detektierens, ob die Randkomponenten in einem Bereich des Bildes, der als der helle Bereich detektiert worden ist, vorhanden sind, ausgeführt (S104).
Ein Prozess des Detektierens, ob die Randkomponenten vorhanden sind, ist durch die Gleichung 2 und die Gleichung 3 im Folgenden gegeben. Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, [Gleichung 2] MAX(EDGE) = MAX[Adv, Adh, Adr, Adl], MIN(EDGE) = MIN[Adv, Adh, Adr, Adl], DE = |MAX(EDGE) – MIN(EDGE)|. [Gleichung 3]
Zuerst werden, wie durch die Gleichung 2 gegeben ist, die Differenzen (die im Folgenden als die absoluten Differenzwerte bezeichnet werden) der Signalstärke zwischen dem Zielbildpunkt und den umgebenden Bildpunkten unter Verwendung des Laplace-Kerns berechnet, wobei dann die Summen der absoluten Differenzwerte, die in jeder Richtung berechnet worden sind, in der die umgebenden Bildpunkte vorhanden sind, berechnet werden. Das heißt, in dem Fall des 3 × 3-Maskenfilters ist die Anzahl der umgebenden Bildpunkte acht, so dass acht absolute Differenzwerte in einem Maskenfilter berechnet werden können. Deshalb können die Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, die Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, die Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und die Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts in jeder Richtung, in der umgebenden Bildpunkte vorhanden sind, berechnet werden.
Als Nächstes werden, wie durch die Gleichung 3 gegeben ist, ein Maximalwert MAX(EDGE) und ein Minimalwert MIN(EDGE) aus Adv, Adh, Adr und Adl ausgewählt, wird ein Wert DE, der durch das Subtrahieren des ausgewählten Minimalwerts MIN(EDGE) vom ausgewählten Maximalwert MAX(EDGE) erhalten wird, mit einem vorgegebenen Schwellenwert verglichen und kann bestimmt werden, dass die Randkomponenten vorhanden sind, werden DE größer als der Schwellenwert ist.
Die durch die Gleichung 2 berechneten absoluten Differenzwerte bedeuten den Änderungsbetrag zwischen den Bildpunkten in jeder Richtung. Deshalb gibt der Maximalwert MAX(EDGE) an, dass der Änderungsbetrag zwischen den Bildpunkten in der Richtung der größte ist, die als der Maximalwert bestimmt worden ist, und gibt der Minimalwert MIN(EDGE) an, dass der Änderungsbetrag zwischen den Bildpunkten in der Richtung der kleinste ist, die als der Minimalwert bestimmt worden ist. Deshalb ist, wenn die Rauschkomponenten innerhalb des Maskenfilters vorhanden sind, der Änderungsbetrag zwischen den Bildpunkten in allen Richtungen groß, so dass DE klein ist. Wenn die Randkomponenten im Maskenfilter nicht vorhanden sind, ist desgleichen der Änderungsbetrag zwischen den Bildpunkten in allen Richtungen klein, so dass DE klein wird. Wenn jedoch die Randkomponenten in dem Maskenfilter vorhanden sind, ist der Änderungsbetrag zwischen den Bildpunkten in der Richtung, in der die Randkomponenten vorhanden sind, klein, so dass die Summe (z. B. eine aus Adv, Adh, Adr und Adl) der absoluten Differenzwerte in der Richtung, in der die Randkomponenten vorhanden sind, als der Minimalwert MIN(EDGE) ausgewählt wird, und eine der Summen der absoluten Differenzwerte in den Richtungen, die von der Richtung verschieden ist, als der Maximalwert MAX(EDGE) ausgewählt wird. Im Ergebnis wird DE groß. Wenn DE größer als der vorgegebene Schwellenwert ist, kann deshalb detektiert werden, dass die Randkomponenten vorhanden sind.
Dann wird bezüglich eines Bereichs des Bildes, von dem detektiert worden ist, dass die Randkomponenten vorhanden sind, eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf die Bildpunkte, in denen die Randkomponenten vorhanden sind, so dass die Randkomponenten beibehalten werden können, ausgeführt (S105).
Außerdem wird bezüglich eines Bereichs des Bildes, der aufgrund dessen, dass der Helligkeitswert des Zielbildpunkts kleiner als der erste Schwellenwert ist, in der Operation S102 als der dunkle Bereich detektiert worden ist, eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt, so dass die Filterung mit einer hohen Stärke in Übereinstimmung mit den Eigenschaften des dunklen Bereichs, der viele Rauschkomponenten besitzt, ausgeführt werden kann, ausgeführt (S106).
Ferner wird bezüglich eines Bereichs des Bildes, der aufgrund dessen, dass der Helligkeitswert des Zielbildpunkts kleiner als der zweite Schwellenwert ist, in der Operation S103 als der Zwischenbereich detektiert worden ist, eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das kleiner als das des dunklen Bereichs ist, in Übereinstimmung mit den Eigenschaften des Zwischenbereichs, der die Rauschkomponenten besitzt, die kleiner als jene des dunklen Bereichs sind, ausgeführt (S107).
Außerdem wird bezüglich des Bereichs des Bildes, für den in der Operation S104 detektiert worden ist, dass die Randkomponenten in dem Bereich des Bildes, der als der helle Bereich detektiert worden ist, aufgrund dessen, dass DE kleiner als der vorgegebene Schwellenwert ist, nicht vorhanden sind, eine Operation des Ausführens der Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte, so dass die Filterung mit einer niedrigen Stärke in Übereinstimmung mit den Eigenschaften des hellen Bereichs, der wenige Rauschkomponenten besitzt, ausgeführt werden kann, ausgeführt (S108).
Das heißt, dass von dem Kameramodul ausgegebene Nachtbild wird in Übereinstimmung mit dem Helligkeitswert des Bildes in den hellen Bereich, den Zwischenbereich und den dunklen Bereich segmentiert, wobei die Koeffizientenwerte des Tiefpassfilters mit einem hohen Gewicht auf den Zielbildpunkt angewendet werden, so dass die Filterung mit einer höheren Stärke ausgeführt werden kann, wie der Helligkeitswert niedriger wird. Bezüglich des Bereichs, in dem die Randkomponenten detektiert werden können, wird bestimmt, ob die Randkomponenten vorhanden sind, wobei dann die Filterung ausgeführt wird. Im Ergebnis ist es möglich, die Rauschkomponenten effektiv zu entfernen.
Im Folgenden wird ein Verfahren zur Rauschentfernung gemäß einer zweiten beispielhaften Ausführungsform der Erfindung beschrieben.
5A ist ein Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer zweiten beispielhaften Ausführungsform der Erfindung zeigt. Zuerst wird eine Operation des Bestimmens des zu verarbeitenden Zielbereichs unter Verwendung des Maskenfilters bezüglich des Bildes der Vorderseite des Fahrzeugs und des Berechnens des Helligkeitswerts des Zielbildpunkts innerhalb des Maskenfilters ausgeführt (S201). Der Helligkeitswert des Zielbildpunkts kann durch die Gleichung 1 berechnet werden.
Nachdem der Helligkeitswert des Zielbildpunkts berechnet worden ist, wird bezüglich aller berechneten Helligkeitswertbereiche eine Operation des Berechnens der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten unter Verwendung des Laplace-Kerns und dann des Berechnens der Summe Adv der absoluten Differenzwerte in der vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in der horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in der diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in der diagonalen Richtung von oben links nach unten rechts in jeder Richtung, in der die umgebenden Bildpunkte vorhanden sind, wie sie durch die Gleichung 2 gegeben sind, ausgeführt (S202).
Während in der ersten beispielhaften Ausführungsform der Erfindung die Summen der absoluten Differenzwerte in jeder Richtung basierend auf dem Zielbildpunkt P11 nur bezüglich des hellen Bereichs berechnet werden, um zu detektieren, dass die Randkomponenten vorhanden sind, werden in der zweiten beispielhaften Ausführungsform der Erfindung die Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte bezüglich aller Helligkeitswertbereiche berechnet, um das Rauschen genauer zu entfernen.
Dann wird eine Operation des Detektierens des homogenen Bereichs innerhalb des Bildes unter Verwendung der in der Operation S202 berechneten Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte ausgeführt (S203).
Die Operation des Detektierens des homogenen Bereichs kann eine Operation des Vergleichens der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit dem vorgegebenen Schwellenwert und eine Operation des Bestimmens, dass dieser Bereich des Bildes der homogene Bereich ist, wenn alle Summen Adv, Adh, Adr und Adl der berechneten absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert sind, enthalten.
Weil die durch die Gleichung 2 berechneten Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte den Änderungsbetrag zwischen den Bildpunkten in jeder Richtung bedeuten, sind in dem Fall des homogenen Bereichs, in dem die Randkomponenten, die Rauschkomponenten oder die Texturkomponenten nicht vorhanden sind, die Änderungsbeträge zwischen den Bildpunkten in allen Richtungen klein. Deshalb kann der homogene Bereich detektiert werden, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert sind.
Wenn in der Operation S203 der homogene Bereich detektiert wird, wird eine Operation des Vergleichens des Helligkeitswerts des Zielbildpunkts mit dem ersten vorgegebenen Schwellenwert, um den dunklen Bereich innerhalb eines als der homogene Bereich detektierten Bereichs des Bildes zu detektieren, ausgeführt (S204). Wenn der Helligkeitswert des Zielbildpunkts kleiner als der erste Schwellenwert ist, kann hier bestimmt werden, dass dieser Bereich des Bildes der dunkle Bereich ist.
Wenn der Helligkeitswert des Zielbildpunkts größer als der erste Schwellenwert ist, wird eine Operation des Vergleichens des Helligkeitswerts des Zielbildpunkts mit dem zweiten Schwellenwert, um den Zwischenbereich und den hellen Bereich innerhalb des als der homogene Bereich detektierten Bereichs des Bildes zu detektieren, ausgeführt (S205). Wenn der Helligkeitswert des Zielbildpunkts kleiner als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der Zwischenbereich ist, und wenn der Helligkeitswert des Zielbildpunkts größer als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der helle Bereich ist.
Dann wird bezüglich des als der helle Bereich detektierten Bereichs des Bildes eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf den Zielbildpunkt, so dass die Filterung mit einer hohen Stärke in Übereinstimmung mit den Eigenschaften des homogenen Bereichs, in dem es keinen Bedarf gibt, die Schärfe aufrechtzuerhalten, ausgeführt werden kann, ausgeführt (S206).
Ferner wird bezüglich des Bereichs des Bildes, der aufgrund dessen, dass der Helligkeitswert des Zielbildpunkts kleiner als der zweite Schwellenwert ist, in der Operation S205 als der Zwischenbereich detektiert worden ist, eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das höher als das des hellen Bereichs ist, in Übereinstimmung mit den Eigenschaften des homogenen Bereichs, in dem es keinen Bedarf gibt, die Schärfe aufrechtzuerhalten, und den Eigenschaften des Zwischenbereichs, der mehr Rauschkomponenten als der helle Bereich besitzt, ausgeführt (S207).
Ferner wird bezüglich des Bereichs des Bildes, der aufgrund dessen, dass der Helligkeitswert des Zielbildpunkts kleiner als der erste Schwellenwert ist, in der Operation S204 als der dunkle Bereich detektiert worden ist, eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das höher als das des Zwischenbereichs ist, so dass die Filterung mit einer hohen Stärke in Übereinstimmung mit den Eigenschaften des homogenen Bereichs, in dem es keinen Bedarf gibt, die Schärfe aufrechtzuerhalten, und den Eigenschaften des dunklen Bereichs, der mehr Rauschkomponenten als der Zwischenbereich besitzt, ausgeführt werden kann, ausgeführt (S208).
Das heißt, bezüglich des als der homogene Bereich detektierten Bereichs des Bildes werden die Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf den Zielbildpunkt angewendet, so dass die Filterung mit der im Allgemeinen hohen Stärke ausgeführt werden kann, die berücksichtigt, dass es keinen Bedarf gibt, die Schärfe aufrechtzuerhalten. Ferner werden die Koeffizientenwerte des Tiefpassfilters, die ein allmählich höheres Gewicht besitzen, auf den Zielbildpunkt angewendet, so dass die Filterung mit der höheren Stärke in der Reihenfolge vom hellen Bereich zum dunklen Bereich in Übereinstimmung mit dem Helligkeitswert des Bildes ausgeführt werden kann. Im Ergebnis ist es möglich, die Rauschkomponenten effektiv zu entfernen.
Im Folgenden wird ein Verfahren zur Rauschentfernung gemäß einer dritten beispielhaften Ausführungsform der Erfindung beschrieben.
5B ist ein Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer dritten beispielhaften Ausführungsform der Erfindung zeigt. Zuerst werden die Operationen S201, S202 und S203 sequentiell ausgeführt. Die Operationen S201, S202 und S203 sind die gleichen wie jene in der zweiten beispielhaften Ausführungsform der Erfindung. Deshalb ist ihre ausführliche Beschreibung weggelassen.
Wenn in der Operation S203 der homogene Bereich nicht detektiert wird, wird eine Operation des Detektierens des Randbereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte ausgeführt (S301). Der Randbereich kann durch die Gleichung 3 detektiert werden.
Wenn in der Operation S301 der Randbereich nicht detektiert wird, wird eine Operation des Detektierens des Punktrauschbereichs oder des Texturbereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte ausgeführt (S302).
Die Operation des Detektierens des Texturbereichs kann eine Operation des Vergleichens der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit dem vorgegebenen Schwellenwert und eine Operation des Detektierens, dass dieser Bereich des Bildes der Texturbereich ist, wenn auch nur eine der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert ist, enthalten. Die Operation des Detektierens des Punktrauschbereichs kann eine Operation des Vergleichens der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit dem vorgegebenen Schwellenwert und eine Operation des Detektierens, dass dieser Bereich des Bildes der Punktrauschbereich ist, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte größer als der vorgegebene Schwellenwert sind, enthalten.
Das heißt, wie oben beschrieben worden ist, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert sind, kann detektiert werden, dass dieser Bereich des Bildes der homogene Bereich ist. Wenn die Rauschkomponenten in dem Maskenfilter vorhanden sind, ist desgleichen der Änderungsbetrag zwischen den Bildpunkten in allen Richtungen groß. Wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte größer als der vorgegebene Schwellenwert sind, kann deshalb bestimmt werden, dass dieser Bereich des Bildes der Punktrauschbereich ist, und wenn auch nur eine der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert ist, kann deshalb bestimmt werden, dass dieser Bereich des Bildes der Texturbereich ist.
Wenn in der Operation S302 der Texturbereich detektiert wird, wird eine Operation des Vergleichens des Helligkeitswerts des Zielbildpunkts mit dem zweiten vorgegebenen Schwellenwert, um den Zwischenbereich oder den hellen Bereich innerhalb eines als der Texturbereich detektierten Bereichs des Bildes zu detektieren, ausgeführt (S303). Wenn der Helligkeitswert des Zielbildpunkts kleiner als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der Zwischenbereich ist, und wenn der Helligkeitswert des Zielbildpunkts größer als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der helle Bereich ist.
Dann wird bezüglich des als der helle Bereich detektierten Bereichs des Bildes eine Operation des Ausführens der Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte ausgeführt (S304), wobei bezüglich des als der Zwischenbereich detektierten Bereichs des Bildes eine Operation des Ausführens der Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte und des Anwendens der Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf den Zielbildpunkt ausgeführt wird (S305).
Das heißt, in dem Fall des Texturbereichs wird die Filterung mit einer im Allgemeinen niedrigen Stärke durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte ausgeführt, so dass die Texturkomponenten, die das Objekt oder das Hindernis konfigurieren, das durch den Fahrer erkannt werden sollte, beibehalten werden können. Ferner werden die Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf den Zielbildpunkt angewendet, so dass die Filterung mit einer allmählich höheren Stärke in der Reihenfolge vom hellen Bereich zum Zwischenbereich in Anbetracht des Helligkeitswerts des Bildes ausgeführt werden kann. Im Ergebnis ist es möglich, die Rauschkomponente effektiv zu entfernen.
Unterdessen wird bezüglich eines in der Operation S302 als der Punktrauschbereich detektierten Bereichs des Bildes eine Operation des Ausführens der Filterung durch das Anwenden des Koeffizientenwerts des Tiefpassfilters mit dem Gewicht auf den Zielbildpunkt, so dass die Filterung mit der großen Stärke in Übereinstimmung mit den Eigenschaften des Punktrauschbereichs, der viele Rauschkomponenten besitzt, ausgeführt werden kann, ausgeführt (S306).
In dem Fall des Punktrauschbereichs, der nur die Rauschkomponenten enthält, werden ungleich zu dem als der homogene Bereich detektierten Bereich des Bildes die Koeffizientenwerte des Tiefpassfilters mit dem Gewicht direkt auf den Zielbildpunkt angewendet, ohne dass er der Operation des Segmentierens des Bildes in Übereinstimmung mit dem Helligkeitswert des Bildes unterworfen wird, wobei es dadurch möglich gemacht wird, die Rauschkomponenten vollständig zu entfernen.
Im Folgenden wird ein Verfahren zur Rauschentfernung gemäß einer vierten beispielhaften Ausführungsform der Erfindung beschrieben.
5C ist ein Ablaufplan, der einen Betriebsablauf eines Verfahrens zur Rauschentfernung gemäß einer vierten beispielhaften Ausführungsform der Erfindung zeigt. Zuerst werden die Operationen S201, S202, S203 und S301 sequentiell ausgeführt. Die Operationen S201, S202, S203 und S301 sind die gleichen wie jene in der zweiten und der dritten beispielhaften Ausführungsform der Erfindung. Deshalb ist ihre ausführliche Beschreibung weggelassen.
Wenn in der Operation S301 der Randbereich detektiert wird, wird eine Operation des Bestimmens der Richtung der Randkomponenten unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte ausgeführt (S401).
Ein Prozess des Bestimmens der Richtung der Randkomponenten und des Detektierens, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, ist durch die Gleichung 4 gegeben. Dvh = |Adv – Adh|, Drl = |Adr – Adl|, if(Dvh > Drl)&&(Adv > Adh) ≅ horizontaler Rand, sdv_1 = |P10 – P00| + |P10 – P20|, sdv_2 = |P12 – P02| + |P12 – P22|, if(Dvh > Drl)&&(Adh > Adv) ≅ vertikaler Rand, sdh_1 = |P01 – P00| + |P01 – P02|, sdh_2 = |P21 – P20| + |P21 – P22|, if(Drl > Dvh)&&(Adr > Adl) ≅ linker diagonaler Rand, sdr_1 = |P00 – P01| + |P00 – P10|, sdr_2 = |P22 – P12| + |P22 – P21|, if(Drl > Dvh)&&(Adl > Adr) ≅ rechter diagonaler Rand, sdl_1 = |P02 – P01| + |P02 – P12|, sdl_2 = |P20 – P10| + |P20 – P21|. [Gleichung 4]
Die Operation des Bestimmens der Richtung der Randkomponenten enthält die folgenden Operationen. Wie durch die Gleichung 4 gegeben ist, wird zuerst eine Operation des Berechnens des Absolutwerts Dvh eines Werts, der durch das Subtrahieren von Adh von Adv erhalten wird, und eines Absolutwerts Drl, der durch das Subtrahieren von Adl von Adr erhalten wird, ausgeführt.
Dann wird eine Operation des Vergleichens von Dvh mit Dvl und des Vergleichens von Adv mit Adh oder von Adr mit Adl in Übereinstimmung mit dem Vergleichsergebnis ausgeführt.
Wenn Dvh größer als Dvl ist, wird eine Operation des Vergleichens von Adv mit Adh, um zu bestimmen, dass die Randkomponenten in der horizontalen Richtung vorhanden sind, wenn Adv größer als Adh ist, und um zu bestimmen, dass die Randkomponenten in der vertikalen Richtung vorhanden sind, wenn Adv kleiner als Adh ist, ausgeführt.
Wenn andererseits der Drl-Wert größer als Dvh ist, wird eine Operation des Vergleichens von Adr mit Adl, um zu bestimmen, dass die Randkomponenten in der diagonalen Richtung von oben rechts nach unten links vorhanden sind, wenn Adr größer als Adl ist, und um zu bestimmen, dass die Randkomponenten in der diagonalen Richtung von oben links nach unten rechts vorhanden sind, wenn Adr kleiner als Adl ist, ausgeführt.
Weil die Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte den Änderungsbetrag zwischen den Bildpunkten in jeder Richtung bedeuten, ist in dem Fall, in dem die Randkomponenten in der horizontalen Richtung vorhanden sind, Adh die kleinste, während die von Adh verschiedenen Werte von Adv, Adr und Adl relativ groß sind. Deshalb ist Dvh größer als Dvl und ist Adv größer als Adh. Eine ähnliche Beschreibung kann auf den Fall, in dem die Randkomponenten in der vertikalen Richtung vorhanden sind, den Fall, in dem die Randkomponenten in der diagonalen Richtung von oben rechts nach unten links vorhanden sind, und den Fall, in dem die Randkomponenten in der diagonalen Richtung von oben links nach unten rechts vorhanden sind, angewendet werden.
Nachdem die Richtung, in der die Randkomponente vorhanden ist, bestimmt worden ist, wird eine Operation des Detektierens, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, ausgeführt (S402).
Die Operation des Detektierens, ob die Randkomponenten kontinuierlich vorhanden sind, enthält die folgenden Operationen. Zuerst wird eine Operation des Berechnens der absoluten Differenzwerte zwischen den zwei umgebenden Bildpunkten (z. B. P10 und P12 in dem Fall, in dem die Randkomponenten in der horizontalen Richtung vorhanden sind) in der Umgebung eines Mittenbildpunkts P11, der in der Richtung positioniert ist, für die in der Operation S401 bestimmt worden ist, dass die Randkomponenten vorhanden sind, und den umgebenden Bildpunkten (z. B. P00 und P20 bezüglich P10 sowie P02 und P22 bezüglich P12), die den zwei umgebenden Bildpunkten P10 und P12 benachbart sind, und des Summierens der berechneten absoluten Differenzwerte ausgeführt (S402a).
Wenn bestimmt wird, dass die Randkomponenten in der horizontalen Richtung vorhanden sind, können die Summe sdv_1 der absoluten Differenzwerte für P10 und die Summe sdv_2 der absoluten Differenzwerte für P12 berechnet werden. Wenn bestimmt wird, dass die Randkomponenten in der vertikalen Richtung vorhanden sind, können die Summe sdh_1 der absoluten Differenzwerte für P01 und die Summe sdh_2 der absoluten Differenzwerte für P21 berechnet werden. Wenn bestimmt wird, dass die Randkomponenten in der diagonalen Richtung von oben links nach unten rechts vorhanden sind, können die Summe sdr_l der absoluten Differenzwerte für P00 und die Summe sdr_2 der absoluten Differenzwerte für P22 berechnet werden. Wenn bestimmt wird, dass die Randkomponenten in der diagonalen Richtung von oben rechts nach unten links vorhanden sind, können die Summe sdl_1 der absoluten Differenzwerte für P02 und die Summe sdl_2 der absoluten Differenzwerte für P20 berechnet werden.
Wenn sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 in der Operation S402a berechnet werden, wird eine Operation des Vergleichens der berechneten sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 mit dem vorgegebenen Schwellenwert ausgeführt (S402b). Wenn alle von sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 größer als der Schwellenwert sind, wird eine Operation des Bestimmens, dass die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, ausgeführt (S402c).
Weil die Summen der absoluten Differenzwerte den Änderungsbetrag zwischen den Bildpunkten in jeder Richtung bedeuten, besitzen sdv_1 und sdv_2 einen großen Wert, wenn die Randkomponenten in der horizontalen Richtung kontinuierlich vorhanden sind. Wenn sowohl sdv_1 als auch sdv_2 größer als der vorgegebene Schwellenwert sind, kann deshalb bestimmt werden, dass die Randkomponenten in der horizontalen Richtung kontinuierlich vorhanden sind.
Wenn detektiert wird, dass die Randkomponenten kontinuierlich vorhanden sind, wird eine Operation des Vergleichens des Helligkeitswerts des Zielbildpunkts mit dem zweiten vorgegebenen Schwellenwert, um den Zwischenbereich oder den hellen Bereich innerhalb des Bildes, in dem der Randbereich detektiert wird, zu detektieren, ausgeführt (S403). Wenn der Helligkeitswert des Zielbildpunkts kleiner als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der Zwischenbereich ist, und wenn der Helligkeitswert des Zielbildpunkts größer als der zweite Schwellenwert ist, kann bestimmt werden, dass dieser Bereich des Bildes der helle Bereich ist.
Bezüglich des als der helle Bereich detektierten Bereichs des Bildes wird eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, ausgeführt (S404). Bezüglich des als der Zwischenbereich detektierten Bereichs des Bildes wird eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, und den Zielbildpunkt ausgeführt (S405).
Das heißt, die Koeffizientenwerte des Tiefpassfilters mit dem Gewicht werden auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, in Anbetracht der Richtung, in der die Randkomponenten kontinuierlich vorhanden sind, angewendet. Ferner werden die Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf den Zielbildpunkt angewendet, so dass die Filterung mit einer allmählich höheren Stärke in der Reihenfolge vom hellen Bereich zum Zwischenbereich in Anbetracht des Helligkeitswerts des Bildes ausgeführt werden kann. Im Ergebnis ist es möglich, die Rauschkomponenten effektiv zu entfernen, ohne das Phänomen zu verursachen, dass das Bild in der Richtung, in der die Randkomponenten vorhanden sind, unscharf wird.
Unterdessen wird bezüglich des Bereichs des Bildes, für den in der Operation S402 detektiert worden ist, dass die Randkomponenten nicht kontinuierlich vorhanden sind, eine Operation des Ausführens der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit dem Gewicht auf die Bildpunkte, in denen die Randkomponenten vorhanden sind, ausgeführt (S406).
Im Folgenden wird ein Nachtsichtsystem unter Verwendung eines Verfahrens zur Rauschentfernung gemäß einer beispielhaften Ausführungsform der Erfindung beschrieben.
6 ist ein Blockschaltplan eines Nachtsichtsystems gemäß einer beispielhaften Ausführungsform der Erfindung.
In 6 kann ein Nachtsichtsystem 100 gemäß einer beispielhaften Ausführungsform der Erfindung aus einer ersten Rauschentfernungseinheit 110, die das Rauschen durch die Filterung der Komponenten, die als das Rauschen in einem von einem Bildsensor ausgegebenen Bildsignal dienen, entfernt, einer Helligkeitsverbesserungseinheit 120, die einen Helligkeitswert des Bildes, in dem die Rauschkomponenten durch die erste Rauschentfernungseinheit 110 entfernt worden sind, verbessert; eine zweite Rauschentfernungseinheit 130, die das Rauschen durch die Filterung der Komponenten, die als das Rauschen in dem Bild dienen, in dem der Helligkeitswert durch die Helligkeitsverbesserungseinheit 120 verbessert worden ist, entfernt; und eine Signalverarbeitungseinheit 140, die das Bildsignal verarbeitet, in dem das Rauschen entfernt worden ist, und das Bildsignal an eine Anzeige ausgibt, konfiguriert sein.
Die erste Rauschentfernungseinheit 110 ist vor der Helligkeitsverbesserungseinheit 120 enthalten, um die Rauschkomponenten, die in dem von dem Bildsensor ausgegebenen Bildsignal enthalten sind, zu entfernen, bevor der Helligkeitswert des Bildes verbessert wird. Die erste Rauschentfernungseinheit 110 kann das Verfahren zur Rauschentfernung gemäß der ersten beispielhaften Ausführungsform der Erfindung ausführen.
In dem Fall des Nachtbildes können aufgrund eines niedrigen Bildsignalpegels, bevor der Helligkeitswert durch die Helligkeitsverbesserungseinheit 120 verbessert worden ist, keine ausreichenden Informationen über die Rauschkomponenten erhalten werden. Deshalb wird das Bild zuerst in Übereinstimmung mit dem Helligkeitswert des Bildes in den hellen Bereich, den Zwischenbereich und den dunklen Bereich segmentiert, wird bezüglich des hellen Bereichs, in dem die Randkomponenten detektiert werden können, detektiert, ob die Randkomponenten vorhanden sind, und werden die Koeffizientenwerte des Tiefpassfilters in Übereinstimmung mit den Eigenschaften jedes Bildes angewendet, wobei es dadurch möglich gemacht wird, das Rauschen effektiv zu entfernen.
7A ist eine Ansicht, die ein Bild zeigt, in dem ein Helligkeitswert ohne Rauschentfernung verbessert worden ist; 7B ist eine vergrößerte teilweise Ansicht des Teils A nach 7A; 8A ist eine Ansicht, die ein Bild zeigt, in dem ein Helligkeitswert verbessert worden ist, nachdem die Rauschkomponenten durch eine erste Rauschentfernungseinheit 110 eines Nachtsichtsystems gemäß einer beispielhaften Ausführungsform der Erfindung entfernt worden sind; und 8B ist eine vergrößerte teilweise Ansicht des Teils B nach 8A.
Durch das Vergleichen von 7B mit 8B kann erkannt werden, dass die erste Rauschentfernungseinheit 110 in dem Nachtsichtsystem gemäß einer beispielhaften Ausführungsform der Erfindung enthalten ist, so dass die Rauschkomponenten entfernt werden, bevor der Helligkeitswert des Nachtbildes verbessert wird, wobei es dadurch möglich gemacht wird, zu verhindern, dass die Rauschkomponenten gleichzeitig mit der Verbesserung des Helligkeitswerts vergrößert werden, und die Rauschkomponenten im dunklen Bereich am oberen Ende des Bildes signifikant zu entfernen, während die Schärfe im hellen Bereich aufrechterhalten wird.
Nachdem das Rauschen durch die erste Rauschentfernungseinheit entfernt worden ist, verbessert die Helligkeitsverbesserungseinheit 120 den Helligkeitswert des Bildes. Als ein Verfahren zum Verbessern des Helligkeitswerts des Bildes kann ein Gammakurvenverfahren, ein Histogrammdehnungsverfahren, ein Histogrammentzerrungsverfahren oder dergleichen verwendet werden.
Nachdem der Helligkeitswert des Nachtbildes durch die Helligkeitsverbesserungseinheit 120 verbessert worden ist, entfernt die zweite Rauschentfernungseinheit 130 die Rauschkomponenten, die in dem Bild enthalten sind, in dem der Helligkeitswert verbessert worden ist. Hier kann die zweite Rauschentfernungseinheit 130 eines der Verfahren zur Rauschentfernung gemäß den zweiten bis vierten beispielhaften Ausführungsformen der Erfindung ausführen.
Weil die erste Rauschentfernungseinheit 110 die Rauschkomponenten entfernt, bevor der Helligkeitswert des Bildes verbessert wird, ist es aufgrund des niedrigen Bildsignalpegels schwierig, die Rauschkomponenten völlig zu entfernen. Deshalb werden die Rauschkomponenten durch die zweite Rauschentfernungseinheit 130 genau entfernt.
Wird berücksichtigt, dass die Bildqualität in einem gewissen Grad durch die erste Rauschentfernungseinheit 110 und die Helligkeitsverbesserungseinheit 120 verbessert wird, segmentiert ungleich zur ersten Rauschentfernungseinheit 110 die zweite Rauschentfernungseinheit 130 das Bild in Übereinstimmung mit der Verteilung der Bildpunktdaten, wobei sie dann jedes segmentierte Bild in Übereinstimmung mit dem Helligkeitswert des Bildes segmentiert, um die Filterung in Übereinstimmung mit den Eigenschaften jedes Bildes auszuführen, wobei es dadurch möglich gemacht wird, die Rauschkomponenten genau zu entfernen.
9A ist eine Ansicht, die ein Bild zeigt, das schließlich von einem Nachtsichtsystem gemäß dem Stand der Technik ausgegeben wird; und 9B ist eine Ansicht, die ein Bild zeigt, das schließlich von einem Nachtsichtsystem gemäß einer beispielhaften Ausführungsform der Erfindung ausgegeben wird.
Wird 9A mit 9B verglichen, kann erkannt werden, dass das vom Nachtsichtsystem gemäß der beispielhaften Ausführungsform der Erfindung schließlich ausgegebene Bild hinsichtlich der Kontur des Objekts und der Schärfe im Vergleich zu dem vom Nachtsichtsystem gemäß dem Stand der Technik schließlich ausgegebenen Bild verbessert ist.
Wenn die in dem Nachtbild enthaltenen Rauschkomponenten durch die erste und die zweite Rauschentfernungseinheit 110 bzw. 130 entfernt werden und der Helligkeitswert durch die Helligkeitsverbesserungseinheit 120 verbessert wird, dient die Signalverarbeitungseinheit 140 dazu, das Bildsignal, in dem die Rauschkomponenten entfernt worden sind und der Helligkeitswert verbessert worden ist, zu verarbeiten, so dass das Bildsignal zu der Anzeige ausgegeben werden kann.
Gemäß den beispielhaften Ausführungsformen der Erfindung wird das Bild in Übereinstimmung mit dem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten segmentiert, wobei das Tiefpassfilter mit verschiedenen Gewichten auf jedes segmentierte Bild angewendet wird, wobei es dadurch möglich gemacht wird, das Rauschen effektiv zu entfernen, während die Randkomponenten und die Texturkomponenten, die für das Erkennen des Objekts erforderlich sind, beibehalten werden.
Außerdem wird das Nachtsichtsystem, das die erste und die zweite Rauschentfernungseinheit enthält, die das Verfahren zur Rauschentfernung gemäß den beispielhaften Ausführungsformen der Erfindung verwenden und die vor/hinter der Helligkeitsverbesserungseinheit angeordnet sind, geschaffen, wobei es dadurch möglich gemacht wird, im Vergleich zu der Schaltung zur Rauschentfernung, die in dem Nachtsichtsystem gemäß dem Stand der Technik verwendet wird, die Rauschkomponenten effektiv zu entfernen.
Deshalb sind die in den Ausführungsformen und der Zeichnung der Erfindung beschriebenen und gezeigten Konfigurationen lediglich die bevorzugtesten Ausführungsformen, sie repräsentieren aber nicht den vollständigen technischen Erfindungsgedanken der Erfindung. Folglich sollte die Erfindung als alle Änderungen, Äquivalente und Ersetzungen, die im Erfindungsgedanken und im Umfang der Erfindung zum Zeitpunkt des Einreichens dieser Anmeldung enthalten sind, enthaltend ausgelegt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2011-0006323 [0002]

Claims

Verfahren zur Rauschentfernung, wobei das Verfahren umfasst: (a) Photographieren eines Nachtbildes um ein Fahrzeug und dann Ausgeben eines für die Bildverarbeitung erforderlichen Signals (S10); (b) Segmentieren (S20) des Bildes in Übereinstimmung mit einem Helligkeitswert des Bildes und/oder einer Verteilung der Bildpunktdaten von dem Ausgangssignal; und (c) Ausführen der Filterung (S30) durch das Anwenden verschiedener Koeffizientenwerte eines Tiefpassfilters auf jedes segmentierte Bild in Übereinstimmung mit dem Helligkeitswert des Bildes und/oder der Verteilung der Bildpunktdaten.
Verfahren nach Anspruch 1, wobei der Schritt (b) das Segmentieren des Bildes in einen dunklen Bereich, einen Zwischenbereich und einen hellen Bereich in Übereinstimmung mit dem Helligkeitswert des Bildes enthält.
Verfahren nach Anspruch 1, wobei der Schritt (b) das Segmentieren des Bildes in einen Punktrauschbereich, in dem die Bildpunktdaten punktweise verteilt sind, einen Texturbereich, in dem die Daten mehrerer Bildpunkte ohne Ausrichtung vorhanden sind, um als Texturkomponenten vorhanden zu sein, einen Randbereich, in dem die Bildpunktdaten als Randkomponenten vorhanden sind, und einen homogenen Bereich, in dem die Rauschkomponenten, die Texturkomponenten und die Randkomponenten nicht vorhanden sind, in Übereinstimmung mit der Verteilung der Bildpunktdaten enthält.
Verfahren nach Anspruch 3, das ferner das Bestimmen einer Richtung der Randkomponenten und das Detektieren, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, bezüglich des Randbereichs umfasst.
Verfahren zur Rauschentfernung, wobei das Verfahren umfasst: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters (S101); (b) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem ersten Schwellenwert (S102), um einen dunklen Bereich in dem Bild zu detektieren; (c) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten Schwellenwert (S103), um einen Zwischenbereich oder einen hellen Bereich in dem Bild zu detektieren, wenn im Schritt (b) der dunkle Bereich nicht detektiert wird; (d) Detektieren eines Randbereichs in einem Bereich des Bildes (S104), der als der helle Bereich detektiert wird, wenn der helle Bereich detektiert wird; und (e) Ausführen der Filterung (S105) durch das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf die Bildpunkte, in denen die Randkomponenten vorhanden sind, bezüglich eines Bereichs des Bildes, der als der Randbereich detektiert wird.
Verfahren nach Anspruch 5, das ferner das Ausführen der Filterung (S106) durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (b) als der dunkle Bereich detektiert wird, umfasst.
Verfahren nach Anspruch 5, das ferner das Ausführen der Filterung (S107) durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das niedriger als das des dunklen Bereichs ist, bezüglich eines Bereichs des Bildes, der im Schritt (c) als der Zwischenbereich detektiert wird, umfasst.
Verfahren nach Anspruch 5, das ferner das Ausführen der Filterung durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte bezüglich eines Bereichs des Bildes, in dem im Schritt (d) der Randbereich nicht detektiert wird, umfasst.
Verfahren nach Anspruch 5, wobei das Detektieren des Randbereichs enthält: Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters unter Verwendung des Laplace-Kerns und dann Berechnen der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|; Auswählen eines Maximalwerts MAX(EDGE) und eines Minimalwerts MIN(EDGE) aus den Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wie sie durch die folgenden Gleichungen gegeben sind MAX(EDGE) = MAX[Adv, Adh, Adr, Adl], MIN(EDGE) = MIN[Adv, Adh, Adr, Adl], DE = |MAX(EDGE) – MIN(EDGE)|; Vergleichen eines Absolutwerts DE eines Werts, der durch das Subtrahieren des Minimalwerts MIN(EDGE) vom Maximalwert MAX(EDGE) erhalten wird, mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der Randbereich ist, wenn der Absolutwert DE größer als der vorgegebene Schwellenwert ist.
Verfahren zur Rauschentfernung, wobei das Verfahren umfasst: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters (S201); (b) Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters und dann Berechnen (S202) der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, bezüglich aller im Schritt (a) berechneten Helligkeitswertbereiche; (c) Detektieren (S203) eines homogenen Bereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte; (d) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem ersten vorgegebenen Schwellenwert (S204), um einen dunklen Bereich innerhalb eines Bereichs des Bildes zu detektieren, der als der homogene Bereich detektiert wird, wenn im Schritt (c) der homogene Bereich detektiert wird; (e) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten Schwellenwert (S205), um einen Zwischenbereich oder einen hellen Bereich innerhalb eines Bereichs des Bildes zu detektieren, der als der homogene Bereich detektiert wird, wenn im Schritt (d) der dunkle Bereich nicht detektiert wird; und (f) Ausführen der Filterung (S206) durch das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der als der helle Bereich detektiert wird.
Verfahren nach Anspruch 10, das ferner das Ausführen der Filterung (S207) durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das höher als das des hellen Bereichs ist, bezüglich eines Bereichs des Bildes, der im Schritt (e) als der Zwischenbereich detektiert wird, umfasst.
Verfahren nach Anspruch 10, das ferner das Ausführen der Filterung (S208) durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht, das höher als das des Zwischenbereichs ist, bezüglich eines Bereichs des Bildes, der im Schritt (d) als der dunkle Bereich detektiert wird, umfasst.
Verfahren nach Anspruch 10, wobei das Detektieren des homogenen Bereichs enthält: Vergleichen der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der homogene Bereich ist, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert sind.
Verfahren zur Rauschentfernung, wobei das Verfahren umfasst: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters (S201); (b) Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters und dann Berechnen (S202) der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, bezüglich aller im Schritt (a) berechneten Helligkeitswertbereiche; (c) Detektieren (S203) eines homogenen Bereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte; (d) Detektieren eines Randbereichs (S301) innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (c) der homogene Bereich nicht detektiert wird; (e) Detektieren eines Punktrauschbereichs oder eines Texturbereichs (S302) innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (d) der Randbereich nicht detektiert wird; (f) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten vorgegebenen Schwellenwert (S303), um einen Zwischenbereich oder einen hellen Bereich innerhalb eines Bereichs des Bildes zu detektieren, der als der Texturbereich detektiert wird, wenn der Texturbereich detektiert wird; und (g) Ausführen der Filterung (S304) durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte eines Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte bezüglich eines Bereichs des Bildes, der als der helle Bereich detektiert wird.
Verfahren nach Anspruch 14, das ferner die Filterung (S305) durch das Anwenden der gleichmäßig zugeordneten Koeffizientenwerte des Tiefpassfilters auf den Zielbildpunkt und die umgebenden Bildpunkte und das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (f) als der Zwischenbereich detektiert wird, umfasst.
Verfahren nach Anspruch 14, das ferner das Ausführen der Filterung (S306) durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (e) als der Punktrauschbereich detektiert wird, umfasst.
Verfahren nach Anspruch 14, wobei das Detektieren des Punktrauschbereichs enthält: Vergleichen der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der Punktrauschbereich ist, wenn alle Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte größer als der vorgegebene Schwellenwert sind.
Verfahren nach Anspruch 14, wobei das Detektieren des Texturbereichs enthält: Vergleichen der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte mit einem vorgegebenen Schwellenwert; und Bestimmen, dass dieser Bereich des Bildes der Texturbereich ist, wenn auch nur eine der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte kleiner als der vorgegebene Schwellenwert ist.
Verfahren zur Rauschentfernung, wobei das Verfahren umfasst: (a) Bestimmen eines zu verarbeitenden Zielbereichs unter Verwendung eines Maskenfilters bezüglich eines Bildes einer Vorderseite eines Fahrzeugs und Berechnen eines Helligkeitswerts eines Zielbildpunkts innerhalb des Maskenfilters (S201); (b) Berechnen der absoluten Differenzwerte zwischen dem Zielbildpunkt und den umgebenden Bildpunkten innerhalb des Maskenfilters und dann Berechnen (S202) der Summe Adv der absoluten Differenzwerte in einer vertikalen Richtung, der Summe Adh der absoluten Differenzwerte in einer horizontalen Richtung, der Summe Adr der absoluten Differenzwerte in einer diagonalen Richtung von oben rechts nach unten links und der Summe Adl der absoluten Differenzwerte in einer diagonalen Richtung von oben links nach unten rechts, wie sie durch die folgenden Gleichungen gegeben sind: Adv = |P11 – P01| + |P11 – P21|, Adh = |P11 – P10| + |P11 – P12|, Adr = |P11 – P02| + |P11 – P20|, Adl = |P11 – P00| + |P11 – P22|, bezüglich aller im Schritt (a) berechneten Helligkeitswertbereiche; (c) Detektieren (S203) eines homogenen Bereichs innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte; (d) Detektieren eines Randbereichs (S401) innerhalb des Bildes unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (c) der homogene Bereich nicht detektiert wird; (e) Bestimmen einer Richtung der Randkomponenten unter Verwendung der Summen Adv, Adh, Adr und Adl der absoluten Differenzwerte, wenn im Schritt (d) der Randbereich detektiert wird; (f) Detektieren (S402), ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, wenn die Richtung der Randkomponenten bestimmt wird; (g) Vergleichen des Helligkeitswerts des Zielbildpunkts mit einem zweiten vorgegebenen Schwellenwert (S403), um einen Zwischenbereich oder einen hellen Bereich innerhalb des Bildes zu detektieren, in dem der Randbereich detektiert wird, wenn im Schritt (f) detektiert wird, dass die Randkomponenten kontinuierlich vorhanden sind; und (h) Ausführen der Filterung (S404) durch das Anwenden der Koeffizientenwerte eines Tiefpassfilters mit einem Gewicht auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, bezüglich eines Bereichs des Bildes, der als der helle Bereich detektiert wird.
Verfahren nach Anspruch 19, das ferner das Ausführen der Filterung (S405) durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf die Bildpunkte, die in der Richtung positioniert sind, in der die Randkomponenten vorhanden sind, und den Zielbildpunkt bezüglich eines Bereichs des Bildes, der im Schritt (g) als der Zwischenbereich detektiert wird, umfasst.
Verfahren nach Anspruch 19, das ferner das Ausführen der Filterung durch das Anwenden der Koeffizientenwerte des Tiefpassfilters mit einem Gewicht auf die Bildpunkte, in denen die Randkomponenten vorhanden sind, bezüglich eines Bereichs des Bildes, für den im Schritt (f) detektiert wird, dass die Randkomponenten nicht kontinuierlich vorhanden sind, umfasst.
Verfahren nach Anspruch 19, wobei das Bestimmen der Richtung der Randkomponenten enthält: Berechnen eines Absolutwerts Dvh eines Werts, der durch das Subtrahieren von Adh von Adv erhalten wird, und eines Absolutwerts Drl eines Werts, der durch das Subtrahieren von Adl von Adr erhalten wird; Vergleichen von Dvh mit Dvl und Vergleichen von Adv mit Adh oder von Adr mit Adl in Übereinstimmung mit dem Vergleichsergebnis; Vergleichen von Adv mit Adh, wenn Dvh größer als Dvl ist, um zu bestimmen, dass die Randkomponenten in der horizontalen Richtung vorhanden sind, wenn Adv größer als Adh ist, und um zu bestimmen, dass die Randkomponenten in der vertikalen Richtung vorhanden sind, wenn Adv kleiner als Adh ist; und Vergleichen von Adr mit Adl, wenn der Drl-Wert größer als Dvh ist, um zu bestimmen, dass die Randkomponenten in der diagonalen Richtung von oben rechts nach unten links vorhanden sind, wenn Adr größer als Adl ist, und um zu bestimmen, dass die Randkomponenten in der diagonalen Richtung von oben links nach unten rechts vorhanden sind, wenn Adr kleiner als Adl ist, wie es durch die folgenden Gleichungen gegeben ist: Dvh = |Adv – Adh|, Drl = |Adr – Adl|, if(Dvh > Drl)&&(Adv > Adh) ≅ horizontaler Rand, sdv_1 = |P10 – P00| + |P10 – P20|, sdv_2 = |P12 – P02| + |P12 – P22|, if(Dvh > Drl)&&(Adh > Adv) ≅ vertikaler Rand, sdh_1 = |P01 – P00| + |P01 – P02|, sdh_2 = |P21 – P20| + |P21 – P22|, if(Drl > Dvh)&&(Adr > Adl) ≅ linker diagonaler Rand, sdr_1 = |P00 – P01| + |P00 – P10|, sdr_2 = |P22 – P12| + |P22 – P21|, if(Drl > Dvh)&&(Adl > Adr) ≅ rechter diagonaler Rand, sdl_1 = |P02 – P01| + |P02 – P12|, sdl_2 = |P20 – P10| + |P20 – P21|.
Verfahren nach Anspruch 19, wobei das Detektieren, ob die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, enthält: Berechnen der absoluten Differenzwerte zwischen zwei umgebenden Bildpunkten in der Umgebung eines Mittenbildpunkts, der in der Richtung positioniert ist, von der im Schritt (e) bestimmt wird, dass die Randkomponenten vorhanden sind, und der umgebenden Bildpunkte, die den zwei umgebenden Bildpunkten benachbart sind, und Summieren der berechneten absoluten Differenzwerte, um sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 zu berechnen; Vergleichen von sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 mit dem vorgegebenen Schwellenwert; und Bestimmen, dass die Randkomponenten in der bestimmten Richtung kontinuierlich vorhanden sind, wenn alle von sdv_1 und sdv_2, sdh_1 und sdh_2, sdr_1 und sdr_2 oder sdl_1 und sdl_2 größer als der Schwellenwert sind, wie durch die folgenden Gleichungen gegeben ist: Dvh = |Adv – Adh|, Drl = |Adr – Adl|, if(Dvh > Drl)&&(Adv > Adh) ≅ horizontaler Rand, sdv_1 = |P10 – P00| + |P10 – P20|, sdv_2 = |P12 – P02| + |P12 – P22|, if(Dvh > Drl)&&(Adh > Adv) ≅ vertikaler Rand, sdh_1 = |P01 – P00| + |P01 – P02|, sdh_2 = |P21 – P20| + |P21 – P22|, if(Drl > Dvh)&&(Adr > Adl) ≅ linker diagonaler Rand, sdr_1 = |P00 – P01| + |P00 – P10|, sdr_2 = |P22 – P12| + |P22 – P21|, if(Drl > Dvh)&&(Adl > Adr) ≅ rechter diagonaler Rand, sdl_1 = |P02 – P01| + |P02 – P12|, sdl_2 = |P20 – P10| + |P20 – P21|.
Nachtsichtsystem, das ein von einem Kameramodul aufgenommenes Nachtbild um ein Fahrzeug auf einer Anzeige anzeigt, wobei das Nachtsichtsystem enthält: eine erste Rauschentfernungseinheit (110), die das Rauschen durch Filterung der Zusammensetzungen entfernt, die als das Rauschen in einem von einem Bildsensor ausgegebenen Bildsignal dienen; eine Helligkeitsverbesserungseinheit (120), die einen Helligkeitswert des Bildes verbessert, in dem die Rauschkomponenten durch die erste Rauschentfernungseinheit (110) entfernt worden sind; eine zweite Rauschentfernungseinheit (130), die das Rauschen durch Filterung der Komponenten entfernt, die als das Rauschen in dem Bild dienen, in dem der Helligkeitswert durch die Helligkeitsverbesserungseinheit (120) verbessert worden ist; und eine Signalverarbeitungseinheit (140), die das Bildsignal verarbeitet, in dem der Helligkeitswert verbessert worden ist und die Rauschkomponenten entfernt worden sind, und die das Bildsignal an die Anzeige ausgibt.
Nachtsichtsystem nach Anspruch 24, wobei die erste Rauschentfernungseinheit (110) das Verfahren nach einem der Ansprüche 1 bis 9 ausführt.
Nachtsichtsystem nach Anspruch 24, wobei die zweite Rauschentfernungseinheit (130) das Verfahren nach einem der Ansprüche 1 bis 4 oder der Ansprüche 10 bis 23 ausführt.
Nachtsichtsystem nach Anspruch 24, wobei die erste Rauschentfernungseinheit (110) das Verfahren nach einem der Ansprüche 1 bis 9 ausführt und die zweite Rauschentfernungseinheit (130) das Verfahren nach einem der Ansprüche 1 bis 4 oder der Ansprüche 10 bis 23 ausführt.