DE112007003473B4

DE112007003473B4 - Nachtsichtgerät

Info

Publication number: DE112007003473B4
Application number: DE112007003473.4T
Authority: DE
Inventors: Seiya Shimizu
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2007-05-07
Filing date: 2007-05-07
Publication date: 2017-04-06
Anticipated expiration: 2027-05-08
Also published as: WO2008139565A1; US20100019151A1; JP4659906B2; US8076633B2; JPWO2008139565A1; DE112007003473T5

Abstract

Nachtsichtgerät zum Aufnehmen eines Bildes eines Gegenstandes unter Verwendung von reflektiertem Licht von emittiertem Infrarotlicht, welches Nachtsichtgerät umfasst:
eine Bildsegmentierungseinheit, die ein aufgenommenes Bild in eine Vielzahl von Regionen segmentiert, auf der Basis eines Luminanzwertes eines beleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn das Infrarotlicht emittiert wird, und eines Luminanzwertes eines nichtbeleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn das Infrarotlicht nicht emittiert wird, wobei die Vielzahl von Regionen eine erste Region, deren Luminanzwert des nichtbeleuchteten Bildes größer als eine erste Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine zweite Schwelle ist, eine zweite Region, deren Luminanzwert des nichtbeleuchteten Bildes kleiner als eine dritte Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine vierte Schwelle ist, und eine dritte Region, welche weder zu der ersten noch zu der zweiten Region gehört, umfasst; und
eine Luminanzwertkorrektureinheit, die Luminanzwerte der Regionen auf unterschiedliche Arten für jede Region korrigiert.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein Nachtsichtgerät, das ein Bild eines Gegenstandes unter Verwendung von reflektiertem Licht von emittiertem Infrarotlicht aufnimmt.
HINTERGRUNDTECHNIK
In letzter Zeit ist zum Erhöhen der Sicherheit eines Fahrers, der nachts (oder zu lichtarmer Zeit) ein Fahrzeug fährt, eine Technik zum Montieren eines Nachtsichtgerätes an ein Fahrzeug und Anzeigen eines Bildes (eines Nachtsichtbildes) einer Straße vor dem Fahrzeug mit hoher Sichtbarkeit für einen Fahrer in der Praxis eingesetzt worden. Das Nachtsichtgerät vom Fahrzeugmontagetyp wird grob klassifiziert in ein Nachtsichtgerät unter Verwendung eines Ferninfrarotsystems und ein Nachtsichtgerät unter Verwendung eines Nahinfrarotsystems.
Das Nachtsichtgerät unter Verwendung eines Ferninfrarotsystems realisiert seine Funktion durch Abbilden von Wärme (Ferninfrarotstrahl), die durch eine Person oder ein Fahrzeug vorn auf der Straße erzeugt wird, durch eine Ferninfrarotkamera. Da eine Wärmequelle selbst visualisiert wird, ist eine Abbildung auch unter dem Umstand ohne Beleuchtung möglich. In dem Ferninfrarotsystem ist eine Abbildung jedoch nicht möglich, wenn ein Hintergrund und ein Objekt keine Temperaturdifferenz aufweisen, so dass Verkehrsschilder, ein Anstrich auf der Straßenoberfläche oder dergleichen nicht abgebildet werden können. Ferner ist das Nachtsichtgerät unter Verwendung eines Ferninfrarotsystems teuer.
Andererseits emittiert das Nachtsichtgerät unter Verwendung eines Nahinfrarotsystems Nahinfrarotlicht nach vorn, bildet das reflektierte Licht mit einer Kamera ab, die ein Nahinfrarotwellenlängenband abbilden kann, und zeigt das Bild an. Das System kann sogar ein Objekt abbilden, das keine Wärme erzeugt, und kann ein Bild erhalten, das einem visuellen Bild ähnlich ist. Ferner ist das Nachtsichtgerät unter Verwendung eines Nahinfrarotsystems nicht so teuer wie das Nachtsichtgerät unter Verwendung eines Ferninfrarotsystems.
Das Nachtsichtgerät unter Verwendung eines Nahinfrarotsystems ist jedoch gegenüber einem Leuchtmittel mit starkem Licht wie etwa einem Scheinwerfer eines entgegenkommenden Fahrzeugs anfällig und kann Verkehrsschilder, die aus einem rekursiv-reflektierendem Material hergestellt sind, auf Grund der starken Reflexion nicht lesen.
Um die Probleme zu lösen, gibt es eine Technik zum Reduzieren des Einflusses eines Leuchtmittels, indem Nahinfrarotlicht impulsweise emittiert wird und ein Nachtsichtbild unter Verwendung eines Differenzbildes zwischen einem Bild, wenn es beleuchtet wird, und einem Bild, wenn es nicht beleuchtet wird, korrigiert wird (siehe Patentdokument 1 und Patentdokument 2).
Patentdokument 1: Japanische offengelegte Patentveröffentlichung JP 2002-274 258 A .
Patentdokument 2: Japanische offengelegte Patentveröffentlichung JP 2003-087 644 A .
JP 2003-087 644 A beschreibt, dass eine Umgebung eines Fahrzeugs mit moduliertem Infrarotlicht bestrahlt wird. Bilder werden zu einem Zeitpunkt aufgenommen, wenn die Quantität das Beschreibungslicht groß ist, und zu einem Zeitpunkt, wenn die Quantität klein ist. Die alten Bilder werden aufgezeichnet. Ein Bildunterschiedsabschnitt findet Unterschiede zwischen den zwei Bildern, um den Einfluss von Störlicht auszuschließen. Ein Luminenz-Korrekturabschnitt korrigiert die Luminenz des Unterschiedbildes durch Multiplizieren der Luminenz des Bildes von Unterschieden mit einem bestimmten Verstärkungsfaktor.
DE 103 03 047 A1 beschreibt ein Verfahren zur Verbesserung der Sicht in Fahrzeugen, wobei Bilddaten aus der Umgebung erfasst werden und zusätzlich eine Bestimmung der Wettersituation aus den Bilddaten erfolgt. Zur Ermittlung der Wettersituation wird ein Vergleich von Bilddaten eines oder mehrerer Bereiche eines Bildes und/oder mehrerer zu verschiedenen Zeiten aufgenommener Bilder verwendet.
US 2006/0 008 171 A1 beschreibt ein System und ein Verfahren zum Verbessern von digitalen Blitzfotografien. Insbesondere wird ein Fotografieren bei wenig Licht verbessert. Es wird eine Bildpaar verwendet, wobei eines davon mit einem Blitz aufgenommen ist und das andere ohne aufgenommen ist, um ein Rauschen von dem Umgebungsbild zu entfernen, das Umgebungsbild unter Verwendung von Details aus dem Blitzbild zu schärfen, Farben zu korrigieren und einen Rote-Augeneffekt zu entfernen.
OFFENBARUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDES PROBLEM
Es ist jedoch ein Problem gewesen, dass auch dann, wenn ein Nachtsichtbild unter Verwendung eines Nachtsichtgerätes unter Einsatz eines Nahinfrarotsystems aufgenommen wird und das Nachtsichtbild unter Verwendung der herkömmlichen Techniken (zum Beispiel Patentdokument 1 oder Patentdokument 2) korrigiert wird, die Sichtbarkeit eines Objektes, das gewisse Eigenschaften hat (zum Beispiel eines aus rekursiv-reflektierendem Material hergestellten Objektes (Verkehrsschilder oder dergleichen)), nicht verbessert werden kann.
Die vorliegende Erfindung ist angesichts dieses Umstandes gemacht worden, und eine Aufgabe von ihr ist es, ein Nachtsichtgerät vorzusehen, das die Sichtbarkeit eines Nachtsichtbildes ungeachtet der Eigenschaften eines Objektes verbessern kann.
MITTEL ZUM LÖSEN DES PROBLEMS
Um das oben beschriebene Problem zu lösen und die Aufgabe zu erfüllen, ist die vorliegende Erfindung ein Nachtsichtgerät gemäß unabhängigem Anspruch 1 und ein Nachtsichtbildverarbeitungsprogramm gemäß unabhängigem Anspruch 6.
Ein weiterer Aspekt der vorliegenden Erfindung ist zum Aufnehmen eines Bildes eines Gegenstandes unter Verwendung von reflektiertem Licht von emittiertem Infrarotlicht. Das Nachtsichtgerät enthält eine Bildsegmentierungseinheit, die ein aufgenommenes Bild in eine Vielzahl von Regionen segmentiert, auf der Basis eines Luminanzwertes eines beleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn das Infrarotlicht emittiert wird, und eines Luminanzwertes eines nichtbeleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn das Infrarotlicht nicht emittiert wird; und eine Luminanzwertkorrektureinheit, die Luminanzwerte der Regionen auf der Basis der Eigenschaften der durch die Bildsegmentierungseinheit segmentierten Regionen korrigiert.
Bei der Erfindung segmentiert die Bildsegmentierungseinheit eine Region in einem Bild, deren Luminanzwert des nichtbeleuchteten Bildes größer als eine erste Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine zweite Schwelle ist, als leuchtende Region, und die Luminanzwertkorrektureinheit korrigiert die Luminanzwerte der Bildregion, die als leuchtende Region segmentiert wird, mit den Luminanzwerten, die in der leuchtenden Region des beleuchteten Bildes oder des nichtbeleuchteten Bildes enthalten sind.
Bei der Erfindung segmentiert die Bildsegmentierungseinheit eine Region in einem Bild, deren Luminanzwert des nichtbeleuchteten Bildes kleiner als eine dritte Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine vierte Schwelle ist, als hochreflektierende Region, und die Luminanzwertkorrektureinheit korrigiert die Luminanzwerte der Bildregion, die als hochreflektierende Region segmentiert wird, auf der Basis von Werten, die durch Korrigieren der Luminanzwerte der hochreflektierenden Region des nichtbeleuchteten Bildes erhalten werden.
Bei der Erfindung segmentiert die Bildsegmentierungseinheit eine Region in einem Bild, deren Luminanzwert des nichtbeleuchteten Bildes größer als der Luminanzwert des beleuchteten Bildes ist, als Region mit niedriger Luminanz, und die Luminanzwertkorrektureinheit korrigiert die Luminanzwerte der Bildregion, die als Region mit niedriger Luminanz segmentiert wird, auf der Basis von Werten, die durch Korrigieren der Luminanzwerte der Region mit niedriger Luminanz des beleuchteten Bildes erhalten werden.
Die Erfindung enthält ferner eine Erfassungseinheit von Bildern mit sichtbarem Licht, die ein Bild mit sichtbarem Licht von dem Gegenstand erfasst, der durch eine Kamera mit sichtbarem Licht aufgenommen wird. Bei der Erfindung erzeugt die Luminanzwertkorrektureinheit Pixelwerte der leuchtenden Region und der hochreflektierenden Region unter Verwendung des Bildes mit sichtbarem Licht.
EFFEKT DER ERFINDUNG
Gemäß der vorliegenden Erfindung kann die Sichtbarkeit eines Nachtsichtbildes ungeachtet der Eigenschaften eines Gegenstandes verbessert werden, da ein abgebildetes Bild segmentiert wird in eine Vielzahl von Regionen auf der Basis des Luminanzwertes eines beleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn Infrarotlicht emittiert wird, und des Luminanzwertes eines nichtbeleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn Infrarotlicht nicht emittiert wird, und der Luminanzwert jeder segmentierten Region auf der Basis der Eigenschaften der Region korrigiert wird.
Gemäß der vorliegenden Erfindung kann der Luminanzwert einer leuchtenden Region angemessen korrigiert werden, da eine Region in einem Bild, deren Luminanzwert eines nichtbeleuchteten Bildes größer als eine erste Schwelle ist und deren Luminanzwert eines beleuchteten Bildes größer als eine zweite Schwelle ist, als leuchtende Region segmentiert wird und der Luminanzwert der Bildregion, die als leuchtende Region segmentiert wird, mit dem Luminanzwert korrigiert wird, der in einer leuchtenden Region eines beleuchteten Bildes oder eines nichtbeleuchteten Bildes enthalten ist.
Gemäß der vorliegenden Erfindung kann die Sichtbarkeit einer hochreflektierenden Region verbessert werden, da eine Region in einem Bild, deren Luminanzwert eines nichtbeleuchteten Bildes kleiner als eine dritte Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine vierte Schwelle ist, als hochreflektierende Region segmentiert wird und der Luminanzwert der Bildregion, die als hochreflektierende Region segmentiert wird, auf der Basis eines Wertes korrigiert wird, der durch Korrigieren des Luminanzwertes der hochreflektierenden Region des nichtbeleuchteten Bildes erhalten wird.
Gemäß der vorliegenden Erfindung kann der Luminanzwert einer Region mit niedriger Luminanz angemessen korrigiert werden, da eine Region in einem Bild, deren Luminanzwert des nichtbeleuchteten Bildes größer als der Luminanzwert des beleuchteten Bildes ist, als Region mit niedriger Luminanz segmentiert wird und deren Luminanzwert einer Bildregion, die als Region mit niedriger Luminanz segmentiert wird, auf der Basis eines Wertes korrigiert wird, der durch Korrigieren des Luminanzwertes der Region mit niedriger Luminanz des beleuchteten Bildes erhalten wird.
Gemäß der vorliegenden Erfindung kann die Sichtbarkeit eines Nachtsichtbildes weiter verbessert werden, da ein Objekt durch eine Kamera mit sichtbarem Licht aufgenommen wird, um dessen Bild mit sichtbarem Licht zu erfassen, und Pixelwerte der Luminanzregion und der hochreflektierenden Region unter Verwendung des Bildes mit sichtbarem Licht erzeugt werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Schema zum Erläutern von Grundzügen und Eigenschaften eines Nachtsichtgerätes gemäß einer ersten Ausführungsform.
2 ist ein Schema einer Konfiguration eines Fahrzeugs, an welches das Nachtsichtgerät der ersten Ausführungsform montiert ist.
3 ist ein Schema einer Beziehung zwischen einer Infrarotemissionszeitlage einer Nahinfrarotquelle und einer Belichtungszeitlage einer Nahinfrarotkamera.
4 ist ein Funktionsblockdiagramm einer Konfiguration einer Nachtsichtbildverarbeitungseinheit gemäß der ersten Ausführungsform.
5 ist ein Schema zum Erläutern der Verarbeitung einer Schlierenentfernungseinheit.
6 ist ein Schema einer exemplarischen Datenstruktur einer Regionsegmentierungstabelle.
7 ist ein Schema einer exemplarischen Datenstruktur einer Luminanzkonvertierungstabelle für hochreflektierende Regionen.
8 ist ein Schema einer exemplarischen Datenstruktur einer Konvertierungstabelle für Regionen mit niedriger Luminanz.
9 ist ein Bild eines Nachtsichtbildes auf gegenwärtige Weise und eines Nachtsichtbildes auf herkömmliche Weise.
10 ist ein Flussdiagramm einer Prozedur der Nachtsichtbildverarbeitungseinheit gemäß der ersten Ausführungsform.
11 ist ein Flussdiagramm einer Prozedur der Schlierenentfernung.
12 ist ein Flussdiagramm einer Prozedur der Regionsegmentierung.
13 ist ein Flussdiagramm einer Prozedur der Verarbeitung einer leuchtenden Region.
14 ist ein Flussdiagramm einer Prozedur der Verarbeitung einer hochreflektierenden Region.
15 ist ein Flussdiagramm einer Prozedur der Verarbeitung einer Region mit niedriger Luminanz.
16 ist ein Flussdiagramm einer Syntheseprozedur.
17 ist ein Schema einer Konfiguration eines Fahrzeugs, an welches ein Nachtsichtgerät gemäß einer zweiten Ausführungsform montiert ist.
18 ist ein Schema einer exemplarischen Konfiguration einer Farbkamera, die einen Abbildungsbereich hat, der derselbe wie jener einer Nahinfrarotkamera ist.
19 ist ein Funktionsblockdiagramm einer Konfiguration der Nachtsichtbildverarbeitungseinheit gemäß der zweiten Ausführungsform.
20 ist ein Flussdiagramm einer Prozedur der Verarbeitung einer leuchtenden Region gemäß der zweiten Ausführungsform.
21 ist ein Flussdiagramm einer Prozedur der Verarbeitung einer hochreflektierenden Region gemäß der zweiten Ausführungsform.
22 ist ein Schema einer Hardwarekonfiguration eines Computers der Nachtsichtbildverarbeitungseinheit, die in 4 gezeigt ist.
Bezugszeichenliste

10, 15: Fahrzeug
20: Scheinwerfer
30: Display
40: Optische Abbildungslinse
50: Optische Beleuchtungslinse
60, 305: Nahinfrarotquelle
70: Nahinfrarotkamera
80: Beleuchtungssteuereinheit
90, 306: Farbkamera
90a: Strahlenteiler
90b: Infrarot-Sperrfilter
100, 200: Nachtsichtbildverarbeitungseinheit
110, 210: Feldtrenneinheit
120, 220: Schlierenentfernungseinheit
130, 230: Regionsegmentierungseinheit
140, 240: Verarbeitungseinheit für leuchtende Regionen
150, 250: Verarbeitungseinheit für hochreflektierende Regionen
160, 260: Verarbeitungseinheit für Regionen mit niedriger Luminanz
170, 270: Synthetisierungseinheit
300: Computer
301: Eingabevorrichtung
302: Monitor
303: Beleuchtungssteuervorrichtung
304: Nahinfrarotkamera
307: RAM
307a, 310a: Verschiedene Typen von Daten
308: ROM
309: CPU
310: HDD
310b: Nachtsichtbildverarbeitungsprogramm

BESTE AUSFÜHRUNGSFORM(EN) DER ERFINDUNG
Ausführungsformen eines Nachtsichtgerätes gemäß der vorliegenden Erfindung werden unter Bezugnahme auf die beigefügten Zeichnungen eingehend erläutert.
Erste Ausführungsform
Es werden Grundzüge und Eigenschaften eines Nachtsichtgerätes gemäß einer ersten Ausführungsform erläutert. 1 ist ein Schema zum Erläutern der Grundzüge und der Eigenschaften des Nachtsichtgerätes gemäß der ersten Ausführungsform. Wie in der Figur gezeigt, trennt das Nachtsichtgerät ein Bild, das durch eine Nahinfrarotkamera aufgenommen wird (im Folgenden als Eingangsfeldbild beschrieben), in ein ungeradzahliges Feldbild und ein geradzahliges Feldbild (das Eingangsfeldbild ist eine Kombination eines Bildes aus dem ungeradzahligen Feldbild und dem geradzahligen Feldbild). Das ungeradzahlige Feldbild repräsentiert ein Bild, wenn ein Gegenstand nicht mit Infrarotlicht beleuchtet wird, und das geradzahlige Feldbild repräsentiert ein Bild, wenn der Gegenstand mit Infrarotlicht beleuchtet wird.
Das Nachtsichtgerät segmentiert ein Bild in eine Vielzahl von Regionen auf der Basis des Luminanzwertes des ungeradzahligen Feldbildes und des Luminanzwertes des geradzahligen Feldbildes und korrigiert den Luminanzwert der segmentierten Regionen gemäß Eigenschaften der Regionen. Das Nachtsichtgerät gemäß der ersten Ausführungsform segmentiert ein Bild in eine leuchtende Region, eine hochreflektierende Region und eine Region mit niedriger Luminanz.
Die leuchtende Region ist eine Region, die einen selbstleuchtenden Gegenstand enthält, wie etwa einen Scheinwerfer eines entgegenkommenden Fahrzeugs, ein Rücklicht eines vorausfahrenden Fahrzeugs, die Straßenbeleuchtung und ein leuchtendes Schild. Die hochreflektierende Region ist eine Region, die Licht stark reflektiert, wie etwa Infrarotlicht und sichtbares Licht, wobei die Region ein Verkehrsschild, eine Sicherheitssäule, einen Rückstrahler eines vorausfahrenden Fahrzeugs, einen Fahrzeugkörper (Spiegelreflexion) und dergleichen enthält.
Die Region mit niedriger Luminanz ist eine Region, die weder zu der leuchtenden Region noch zu der hochreflektierenden Region von den Regionen eines Eingangsfeldbildes gehört, wobei die Region eine Straßenoberfläche, einen Fußgänger, einen anderen Fahrzeugkörper (diffuse Reflexion), ein Bauwerk, den Himmel, den Hintergrund und dergleichen enthält.
Wie ersichtlich ist, kann das Nachtsichtgerät gemäß der ersten Ausführungsform die Sichtbarkeit eines Nachtsichtbildes ungeachtet der Eigenschaften eines Gegenstandes verbessern, indem ein Eingangsfeldbild in ein ungeradzahliges Feldbild und ein geradzahliges Feldbild getrennt wird, das Bild auf der Basis des Luminanzwertes des ungeradzahligen Feldbildes und des Luminanzwertes des geradzahligen Feldbildes in Regionen segmentiert wird und der Luminanzwert der segmentierten Regionen gemäß Eigenschaften der Regionen korrigiert wird.
Nun wird eine exemplarische Konfiguration eines Fahrzeugs erläutert, an welches das Nachtsichtgerät gemäß der ersten Ausführungsform montiert ist. 2 ist ein Schema einer Konfiguration eines Fahrzeugs, an welches das Nachtsichtgerät der ersten Ausführungsform montiert ist. Wie in der Figur gezeigt, enthält ein Fahrzeug 10 einen Scheinwerfer 20, ein Display 30, eine optische Abbildungslinse 40, eine optische Beleuchtungslinse 50, eine Nahinfrarotquelle (eine Laserdiode, eine Leuchtdiode oder dergleichen) 60, eine Nahinfrarotkamera 70, eine Beleuchtungssteuereinheit 80 und eine Nachtsichtbildverarbeitungseinheit 100.
Es wird angenommen, dass von diesen die Nahinfrarotquelle 60 konfiguriert ist, um die Bildansicht der Nahinfrarotkamera 70 zu beleuchten. Die Nahinfrarotquelle 60 kann eine Vielzahl von lichtemittierenden Dioden (LED) umfassen, die kombiniert sind, oder kann die diffuse Beleuchtung einer Laserdiode nutzen.
Die Nahinfrarotkamera 70 wird installiert, um die Straße vor dem Fahrzeug aufzunehmen, für das ein Nachtsichtbild erstellt wird, und wird zum Beispiel horizontal an dem Fahrzeug 10 installiert. Die Nahinfrarotkamera 70 ist eine Schwarzweiß-Kamera mit ladungsgekoppeltem Bauelement (CCD-Kamera) oder dergleichen, die eine Nahinfrarotband-Empfindlichkeit hat. Ein Sperrfilter für sichtbares Licht kann an der Nahinfrarotkamera 70 angebracht sein.
Die Beleuchtungssteuereinheit 80 steuert die Nahinfrarotquelle 60, um Infrarotlicht intermittierend zu emittieren. 3 ist ein Schema einer Beziehung zwischen einer Infrarotstrahlemissionszeitlage der Nahinfrarotquelle 60 und einer Belichtungszeitlage der Nahinfrarotkamera 70. Wie in der Figur gezeigt, steuert die Beleuchtungssteuereinheit 80 die Nahinfrarotquelle 60 so, dass die Infrarotstrahlemissionszeitlage mit einer Zeitlage der Nahinfrarotkamera 70, zu der ein geradzahliges Feldbild abgebildet wird (Belichtungszeitlage des geradzahligen Feldes), synchron ist.
Das heißt, ein Pixelwert mit Umgebungslicht wird in einem ungeradzahligen Feld durch die Nahinfrarotkamera 70 aufgezeichnet, die ein ungeradzahliges Feldbild und ein geradzahliges Feldbild zu der in 3 gezeigten Zeitlage aufnimmt (die Nahinfrarotkamera 70 arbeitet mit 30-fps-Verschachtelung), und die Beleuchtungssteuereinheit 80, die die Nahinfrarotquelle 60 steuert. Im Gegensatz zu der Belichtungszeitlage des ungeradzahligen Feldes wird ein Pixelwert mit Umgebungslicht und reflektiertem Licht des emittierten Nahinfrarotlichtes zu einer Belichtungszeitlage des geradzahligen Feldes mit der Zeitdifferenz von 1/60 s aufgezeichnet.
Die Nachtsichtbildverarbeitungseinheit 100 segmentiert ein Bild in Regionen auf der Basis des Luminanzwertes eines ungeradzahligen Feldbildes und des Luminanzwertes eines geradzahligen Feldbildes und korrigiert den Luminanzwert der segmentierten Regionen gemäß den Eigenschaften der Regionen (die Nachtsichtbildverarbeitungseinheit 100 entspricht dem Nachtsichtgerät gemäß der vorliegenden Erfindung). 4 ist ein Funktionsblockdiagramm einer Konfiguration der Nachtsichtbildverarbeitungseinheit 100 gemäß der ersten Ausführungsform.
Wie in der Figur gezeigt, enthält die Nachtsichtbildverarbeitungseinheit 100 eine Feldtrenneinheit 110, eine Schlierenentfernungseinheit 120, eine Regionsegmentierungseinheit 130, eine Verarbeitungseinheit für leuchtende Regionen 140, eine Verarbeitungseinheit für hochreflektierende Regionen 150, eine Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 und eine Synthetisierungseinheit 170.
Die Feldtrenneinheit 110 erfasst Daten eines Eingangsfeldbildes von der Nahinfrarotkamera 70 und trennt das erfasste Eingangsfeldbild in ein ungeradzahliges Feldbild und ein geradzahliges Feldbild. Die Feldtrenneinheit 110 gibt die Daten des getrennten ungeradzahligen Feldbildes und geradzahligen Feldbildes an die Schlierenentfernungseinheit 120 aus.
Die Schlierenentfernungseinheit 120 erfasst die Daten des getrennten ungeradzahligen Feldbildes und des geradzahligen Feldbildes und entfernt Schlieren, die auf dem ungeradzahligen Feldbild und dem geradzahligen Feldbild vorhanden sind. 5 ist ein Schema zum Erläutern der Verarbeitung der Schlierenentfernungseinheit 120.
Die Schlierenentfernungseinheit 120 scant zuerst das ungeradzahlige Feldbild und bestimmt den minimalen Luminanzwert jeder vertikalen Zeile. Die Schlierenentfernungseinheit 120 erzeugt eine Sequenz der minimalen Luminanz S(x), in der der minimale Luminanzwert der vertikalen Zeilen sequentiell ab dem minimalen Luminanzwert der am weitesten links liegenden vertikalen Zeile in dem ungeradzahligen Feldbild angeordnet wird. Der minimale Luminanzwert, der in der Sequenz der minimalen Luminanz S(x) zuletzt angeordnet ist, ist der minimale Luminanzwert der am weitesten rechts liegenden vertikalen Zeile in dem ungeradzahligen Feldbild.
Die Schlierenentfernungseinheit 120 stellt den Luminanzwert des gesamten ungeradzahligen Feldbildes auf der Basis der Sequenz der minimalen Luminanz S(x) ein. Wenn zum Beispiel der minimale Luminanzwert einer Sequenz der minimalen Luminanz S(n) (n ist eine positive ganze Zahl) A ist, subtrahiert die Schlierenentfernungseinheit 120 den minimalen Luminanzwert A von jedem Luminanzwert, der in der n-ten vertikalen Zeile ab der am weitesten links liegenden vertikalen Zeile enthalten ist. Ein entsprechender minimaler Luminanzwert wird von jedem Luminanzwert subtrahiert, der in den anderen vertikalen Zeilen enthalten ist.
Wie ersichtlich ist, kann der Einfluss von Schlieren wie in dem Bild in der rechten Hälfte von 5 durch die Schlierenentfernungseinheit 120 entfernt werden, die den minimalen Luminanzwert von dem Luminanzwert subtrahiert, der in jeder vertikalen Zeile enthalten ist. Die Schlierenentfernungseinheit 120 entfernt den Einfluss von Schlieren auf dem geradzahligen Feldbild auf ähnliche Weise wie beim ungeradzahligen Feldbild.
Die Regionsegmentierungseinheit 130 erfasst die Daten eines ungeradzahligen Bildes, von dem Schlieren durch die Schlierenentfernungseinheit 120 entfernt worden sind (nachfolgend einfach als ungeradzahliges Feldbild bezeichnet), und eines geradzahligen Feldbildes, von dem Schlieren entfernt worden sind (nachfolgend einfach als geradzahliges Feldbild bezeichnet), und segmentiert ein Bild in Regionen (eine leuchtende Region, eine hochreflektierende Region, eine Region mit niedriger Luminanz) auf der Basis des erfassten ungeradzahligen Feldbildes und geradzahligen Feldbildes.
Speziell hält die Regionsegmentierungseinheit 130 eine Regionsegmentierungstabelle und segmentiert ein Bild in jede Region, indem sie die Regionsegmentierungstabelle, den Luminanzwert des ungeradzahligen Feldbildes und den Luminanzwert des geradzahligen Feldbildes vergleicht. 6 ist ein Schema einer exemplarischen Datenstruktur einer Regionsegmentierungstabelle. Es wird angenommen, dass die ersten bis vierten Schwellen, die in 6 angegeben sind, im Voraus durch einen Verwalter eingestellt werden. Die Regionsegmentierungseinheit 130 kann den Luminanzwert für jeden Pixel des ungeradzahligen Feldbildes und des geradzahligen Feldbildes vergleichen oder kann den Luminanzwert für jede vorbestimmte Region vergleichen.
Wie in 6 gezeigt, bestimmt die Regionsegmentierungseinheit 130, wenn der Luminanzwert des ungeradzahligen Feldbildes größer als die erste Schwelle ist und der Luminanzwert des geradzahligen Feldbildes größer als die zweite Schwelle ist, den entsprechenden Teil (Pixel) als leuchtende Region.
Wenn der Luminanzwert des ungeradzahligen Feldbildes andererseits kleiner als die dritte Schwelle ist und der Luminanzwert des geradzahligen Feldbildes größer als die vierte Schwelle ist, bestimmt die Regionsegmentierungseinheit 130 den entsprechenden Teil (Pixel) als hochreflektierende Region. Die Regionsegmentierungseinheit 130 bestimmt einen Teil (Pixel), der weder zu der leuchtenden Region noch zu der hochreflektierenden Region gehört, oder einen Teil (Pixel), auf dem der Luminanzwert des ungeradzahligen Feldbildes größer als der Luminanzwert des geradzahligen Feldbildes ist, als Region mit niedriger Luminanz.
Die Regionsegmentierungseinheit 130 segmentiert ein Bild in die leuchtende Region, die hochreflektierende Region und die Region mit niedriger Luminanz auf der Basis des Bestimmungsresultats und gibt die Daten des Bildes der leuchtenden Region, die Daten des Bildes der hochreflektierenden Region und die Daten des Bildes der Region mit niedriger Luminanz an die Verarbeitungseinheit für leuchtende Regionen 140, die Verarbeitungseinheit für hochreflektierende Regionen 150 bzw. die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 aus.
Die Regionsegmentierungseinheit 130 hält Daten von jeder Zeichenform, vergleicht die Zeichenform und die Form der segmentierten hochreflektierenden Region und bestimmt, ob die Formen miteinander übereinstimmen. Wenn die Formen übereinstimmen, wird die hochreflektierende Region an die Verarbeitungseinheit für hochreflektierende Regionen 150 so wie sie ist als Daten des Bildes der hochreflektierenden Region ausgegeben.
Wenn die Formen andererseits nicht übereinstimmen, gibt die Regionsegmentierungseinheit 130 die hochreflektierende Region, deren Form nicht übereinstimmt, an die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 als die Daten des Bildes der Region mit niedriger Luminanz aus.
Die Verarbeitungseinheit für leuchtende Regionen 140 erfasst die Daten des Bildes der leuchtenden Region von der Regionsegmentierungseinheit 130 und korrigiert den Luminanzwert gemäß der leuchtenden Region. Speziell korrigiert die Verarbeitungseinheit für leuchtende Regionen 140 den Luminanzwert jedes Pixels, der in der leuchtenden Region enthalten ist, in den Luminanzwert eines in dem geradzahligen Feldbild (oder dem ungeradzahligen Feldbild) enthaltenen Pixels entsprechend der leuchtenden Region.
Zum Beispiel wird der Luminanzwert eines Punktes (x, y), der in der leuchtenden Region enthalten ist, in den Luminanzwert des Punktes (x, y) des geradzahligen Feldbildes korrigiert. Die Verarbeitungseinheit für leuchtende Regionen 140 korrigiert den Luminanzwert aller Pixel, die in der leuchtenden Region enthalten sind. Die Verarbeitungseinheit für leuchtende Regionen 140 gibt die Daten des Bildes der leuchtenden Region, deren Luminanzwert korrigiert worden ist (nachfolgend ein korrigiertes Bild der leuchtenden Region), an die Synthetisierungseinheit 170 aus.
Die Verarbeitungseinheit für hochreflektierende Regionen 150 erfasst die Daten des Bildes der hochreflektierenden Region von der Regionsegmentierungseinheit 130 und korrigiert den Luminanzwert gemäß der hochreflektierenden Region. Speziell erzeugt bei der Verarbeitung der Verarbeitungseinheit für hochreflektierende Regionen 150 die Verarbeitungseinheit für hochreflektierende Regionen 150 eine Luminanzwertkonvertierungstabelle für hochreflektierende Regionen auf der Basis des Luminanzwertes der hochreflektierenden Region in dem ungeradzahligen Feldbild.
Ein Beispiel für die Art und Weise des Erzeugens der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen wird nun erläutert. Die Verarbeitungseinheit für hochreflektierende Regionen 150 detektiert den maximalen Luminanzwert des in der hochreflektierenden Region in dem ungeradzahligen Feldbild enthaltenen Luminanzwertes und berechnet eine Vergrößerung B, die den detektierten maximalen Luminanzwert von 255 ergibt.
Falls der maximale Luminanzwert der hochreflektierenden Region zum Beispiel C ist, wird die Vergrößerung B wie folgt berechnet:
B = 255/C
Falls der maximale Luminanzwert der Einfachheit halber 100 ist, beträgt die Vergrößerung B 2,55, und somit kann die Luminanzwertkonvertierungstabelle für hochreflektierende Regionen wie in 7 dargestellt werden. 7 ist ein Schema einer exemplarischen Datenstruktur einer Luminanzwertkonvertierungstabelle für hochreflektierende Regionen.
Die Verarbeitungseinheit für hochreflektierende Regionen 150 vergleicht den Luminanzwert, der in der hochreflektierenden Region des ungeradzahligen Feldbildes enthalten ist, und den Eingangsluminanzwert der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen und korrigiert den Luminanzwert des Pixels so, dass der Luminanzwert den korrigierten Luminanzwert (Ausgangsluminanzwert) darstellt. Wenn der Luminanzwert zum Beispiel 2 ist, beträgt der korrigierte Luminanzwert 5,1 (siehe 7). Die Verarbeitungseinheit für hochreflektierende Regionen 150 korrigiert den Luminanzwert aller Pixel, die in der hochreflektierenden Region enthalten sind. Die Verarbeitungseinheit für hochreflektierende Regionen 150 gibt die Daten des Bildes der hochreflektierenden Region, deren Luminanzwert korrigiert worden ist (nachfolgend ein korrigiertes Bild der hochreflektierenden Region), an die Synthetisierungseinheit 170 aus.
Die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 erfasst die Daten des Bildes der Region mit niedriger Luminanz von der Regionsegmentierungseinheit 130 und korrigiert den Luminanzwert gemäß der Region mit niedriger Luminanz. Speziell erzeugt bei der Verarbeitung der Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 eine Konvertierungstabelle für Regionen mit niedriger Luminanz auf der Basis des Luminanzwertes der Region mit niedriger Luminanz in dem geradzahligen Feldbild.
Nun wird ein Beispiel für die Art und Weise des Erzeugens der Konvertierungstabelle für Regionen mit niedriger Luminanz erläutert. Die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 detektiert den maximalen Luminanzwert des in der Region mit niedriger Luminanz in dem geradzahligen Feldbild enthaltenen Luminanzwertes und berechnet eine Vergrößerung D, die den detektierten Luminanzwert von 255 ergibt.
Falls der maximale Luminanzwert der Region mit niedriger Luminanz zum Beispiel E ist, wird die Vergrößerung D wie folgt berechnet:
D = 255/E
Falls der maximale Luminanzwert der Einfachheit halber zum Beispiel 80 ist, beträgt die Vergrößerung D 3,19, so dass die Konvertierungstabelle für Regionen mit niedriger Luminanz wie in 8 dargestellt werden kann. 8 ist ein Schema einer exemplarischen Datenstruktur einer Konvertierungstabelle für Regionen mit niedriger Luminanz.
Die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 vergleicht den Luminanzwert, der in der Region mit niedriger Luminanz des geradzahligen Feldbildes enthalten ist, und den Eingangsluminanzwert der Konvertierungstabelle für Regionen mit niedriger Luminanz miteinander und korrigiert den Luminanzwert des Pixels so, dass der Luminanzwert den korrigierten Luminanzwert (Ausgangsluminanzwert) darstellt. Wenn der Luminanzwert zum Beispiel 2 ist, beträgt der korrigierte Luminanzwert 6,38 (siehe 8). Die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 gibt die Daten des Bildes der Region mit niedriger Luminanz, deren Luminanzwert korrigiert worden ist (nachfolgend ein korrigiertes Bild der Region mit niedriger Luminanz), an die Synthetisierungseinheit 170 aus.
Die Synthetisierungseinheit 170 erfasst Daten eines korrigierten Bildes einer leuchtenden Region von der Verarbeitungseinheit für leuchtende Regionen 140, Daten eines Bildes einer hochreflektierenden Region von der Verarbeitungseinheit für hochreflektierende Regionen 150 und Daten eines korrigierten Bildes der Region mit niedriger Luminanz von der Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 und synthetisiert die erfassten Bilder. Die Synthetisierungseinheit 170 gibt die Daten des synthetisierten Bildes an das Display 30 als Nachtsichtbild aus.
9 ist ein Bild eines Nachtsichtbildes auf gegenwärtige Weise und eines Nachtsichtbildes auf herkömmliche Weise. Wie in der Figur gezeigt, wird das Nachtsichtbild auf gegenwärtige Weise im Vergleich zu dem herkömmlichen Nachtsichtbild durch Schlieren weniger beeinflusst, und es kann die Sichtbarkeit einer hochreflektierenden Region verbessern.
Eine Prozedur der Nachtsichtbildverarbeitungseinheit 100 gemäß der ersten Ausführungsform wird nun erläutert. 10 ist ein Flussdiagramm einer Prozedur der Nachtsichtbildverarbeitungseinheit 100 gemäß der ersten Ausführungsform. Wie in der Figur gezeigt, erfasst in der Nachtsichtbildverarbeitungseinheit 100 die Feldtrenneinheit 110 Daten eines Eingangsfeldbildes (Schritt S101) und trennt das Eingangsfeldbild in ein ungeradzahliges Feldbild und ein geradzahliges Feldbild (Schritt S102).
Die Schlierenentfernungseinheit 120 führt eine Schlierenentfernung aus, um Schlieren des ungeradzahligen Feldbildes und des geradzahligen Feldbildes zu entfernen (Schritt S103), und die Regionsegmentierungseinheit 130 segmentiert das Bild in eine leuchtende Region, eine hochreflektierende Region und eine Region mit niedriger Luminanz (Schritt S104).
Die Verarbeitungseinheit für leuchtende Regionen 140 führt eine Verarbeitung der leuchtenden Region aus (Schritt S105a), die Verarbeitungseinheit für hochreflektierende Regionen 150 führt eine Verarbeitung der hochreflektierenden Region aus (Schritt S105b), und die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 führt eine Verarbeitung der Region mit niedriger Luminanz aus (Schritt S105c).
Die Synthetisierungseinheit 170 erfasst Daten eines korrigierten Bildes der leuchtenden Region von der Verarbeitungseinheit für leuchtende Regionen 140, Daten eines korrigierten Bildes der hochreflektierenden Region von der Verarbeitungseinheit für hochreflektierende Regionen 150 und Daten eines korrigierten Bildes der Region mit niedriger Luminanz von der Verarbeitungseinheit für Regionen mit niedriger Luminanz 160, um die Bilder zu synthetisieren (Schritt S106), und gibt das Bild an das Display 30 aus (Schritt S107).
Wenn die Nachtsichtbildverarbeitungseinheit 100 den Prozess fortsetzt (NEIN bei Schritt S108), geht der Prozess zu Schritt S101 über, und wenn die Nachtsichtbildverarbeitungseinheit 100 den Prozess beendet (JA bei Schritt S108), endet der Prozess.
Die als Schritt S103 von 10 gezeigte Schlierenentfernung wird nun erläutert. 11 ist ein Flussdiagramm einer Prozedur der Schlierenentfernung. Wie in der Figur gezeigt, scant die Schlierenentfernungseinheit 120 ein ungeradzahliges Feldbild, erzeugt die Sequenz der minimalen Luminanz S(x) in jeder vertikalen Zeile (Schritt S201) und subtrahiert S(x) von dem Luminanzwert eines unverarbeiteten Punktes (x, y) des ungeradzahligen Feldbildes (Schritt S202).
Die Schlierenentfernungseinheit 120 bestimmt, ob die Verarbeitung bei allen Pixeln in dem ungeradzahligen Feldbild vollendet worden ist (Schritt S203), und wenn das nicht der Fall ist (NEIN bei Schritt S204), geht der Prozess zu Schritt S202 über.
Wenn die Verarbeitung andererseits vollendet worden ist (JA bei Schritt S204), scant die Schlierenentfernungseinheit 120 das geradzahlige Feldbild, erzeugt die Sequenz der minimalen Luminanz S(x) in jeder vertikalen Zeile (Schritt S205) und subtrahiert S(x) von dem Luminanzwert eines unverarbeiteten Punktes (x, y) in dem geradzahligen Feldbild (Schritt S206).
Die Schlierenentfernungseinheit 120 bestimmt, ob die Verarbeitung bei allen Pixeln in dem geradzahligen Feldbild vollendet worden ist (Schritt S207), und wenn das nicht der Fall ist (NEIN bei Schritt S208), geht der Prozess zu Schritt S206 über, und falls die Verarbeitung vollendet worden ist (JA bei Schritt S208), endet die Schlierenentfernung.
Wie ersichtlich ist, kann dadurch, dass die Schlierenentfernungseinheit 120 Schlieren entfernt, die auf dem ungeradzahligen Feldbild und dem geradzahligen Feldbild vorhanden sind, der Luminanzwert jeder Region präziser korrigiert werden, und die Sichtbarkeit eines Nachtsichtbildes kann verbessert werden.
Nun wird die als Schritt S104 von 10 gezeigte Regionsegmentierung erläutert. 12 ist ein Flussdiagramm einer Prozedur der Regionsegmentierung. Wie in der Figur gezeigt, erfasst die Regionsegmentierungseinheit 130 den Wert eines Pixels, der nicht der Regionsegmentierung unterzogen wurde (Schritt S301), und bestimmt, ob der Luminanzwert des ungeradzahligen Feldbildes größer als die erste Schwelle ist und der Luminanzwert des geradzahligen Feldbildes größer als die zweite Schwelle ist (Schritt S302). Falls die Bedingungen erfüllt sind (JA bei Schritt S303), registriert die Regionsegmentierungseinheit 130 den Pixel als leuchtende Region (Schritt S304), und der Prozess geht zu Schritt S311 über.
Falls die Bedingungen andererseits nicht erfüllt sind (NEIN bei Schritt S303), bestimmt die Regionsegmentierungseinheit 130, ob der Luminanzwert des ungeradzahligen Feldbildes kleiner als die dritte Schwelle ist und der Luminanzwert des geradzahligen Feldbildes größer als die vierte Schwelle ist (Schritt S305). Falls die Bedingungen nicht erfüllt sind (NEIN bei Schritt S306), registriert die Regionsegmentierungseinheit 130 den Pixel als Region mit niedriger Luminanz (Schritt S307), und der Prozess geht zu Schritt S311 über.
Falls die Bedingungen andererseits erfüllt sind (JA bei Schritt S306), bestimmt die Regionsegmentierungseinheit 130, ob eine durch den Pixel segmentierte Region des zu bestimmenden Gegenstandes eine Zeichenform hat (Schritt S308), und falls sie keine Zeichenform hat (NEIN bei Schritt S309), geht der Prozess zu Schritt S307 über.
Falls die Region andererseits eine Zeichenform hat (JA bei Schritt S309), registriert die Regionsegmentierungseinheit 130 den Pixel als hochreflektierende Region (Schritt S310). Wenn die Verarbeitung nicht bei allen Pixeln vollendet worden ist (NEIN bei Schritt S311), geht der Prozess zu Schritt S301 über, und wenn die Verarbeitung vollendet worden ist (JA bei Schritt S311), endet die Regionsegmentierung.
Nun wird die als Schritt S105a von 10 gezeigte Verarbeitung der leuchtenden Region erläutert. 13 ist ein Flussdiagramm einer Prozedur der Verarbeitung der leuchtenden Region. Wie in der Figur gezeigt, erfasst die Verarbeitungseinheit für leuchtende Regionen 140 einen unkorrigierten Luminanzwert (einen Pixelwert) (Schritt S401) und bestimmt, ob es sich um eine leuchtende Region handelt (Schritt S402).
Wenn es sich nicht um eine leuchtende Region handelt (NEIN bei Schritt S403), wird für den Luminanzwert eine Null eingesetzt (Schritt S404), und der Prozess geht zu Schritt S406 über. Wenn es sich andererseits um eine leuchtende Region handelt (JA bei Schritt S403), wird der Luminanzwert des geradzahligen Feldbildes für den Luminanzwert der Region eingesetzt (Schritt S405).
Die Verarbeitungseinheit für leuchtende Regionen 140 bestimmt, ob die Verarbeitung bei allen Pixeln vollendet worden ist, und wenn das nicht der Fall ist (NEIN bei Schritt S406), geht der Prozess zu Schritt S401 über, und falls die Verarbeitung vollendet worden ist (JA bei Schritt S406), endet die Verarbeitung der leuchtenden Region.
Wie ersichtlich ist, kann dadurch, dass die Verarbeitungseinheit für leuchtende Regionen 140 den Luminanzwert der leuchtenden Region durch den Luminanzwert des geradzahligen Feldbildes (den maximalen Luminanzwert) ersetzt, der Scheinwerfer eines entgegenkommenden Fahrzeugs und dergleichen auf einem Nachtsichtbild akkurat angezeigt werden.
Nun wird die als Schritt S105b von 10 gezeigte Verarbeitung der hochreflektierenden Region erläutert. 14 ist ein Flussdiagramm einer Prozedur der Verarbeitung der hochreflektierenden Region. Wie in der Figur gezeigt, erzeugt die Verarbeitungseinheit für hochreflektierende Regionen 150 eine Luminanzwertkonvertierungstabelle für hochreflektierende Regionen auf der Basis des Luminanzwertes einer hochreflektierenden Region in einem ungeradzahligen Feldbild (Schritt S501) und erfasst einen unkorrigierten Luminanzwert (Schritt S502).
Die Verarbeitungseinheit für hochreflektierende Regionen 150 bestimmt, ob es sich um eine hochreflektierende Region handelt (Schritt S503), und wenn das nicht der Fall ist (NEIN bei Schritt S504), wird eine Null für den Luminanzwert eingesetzt (Schritt S505), und der Prozess geht zu Schritt S507 über.
Falls es sich andererseits um eine hochreflektierende Region handelt (JA bei Schritt S504), wird der Luminanzwert des ungeradzahligen Feldbildes auf der Basis der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen konvertiert und der Luminanzwert der Region eingesetzt (Schritt S506).
Die Verarbeitungseinheit für hochreflektierende Regionen 150 bestimmt, ob die Verarbeitung bei allen Pixeln vollendet worden ist, und wenn das nicht der Fall ist (NEIN bei Schritt S507), geht der Prozess zu Schritt S502 über, und falls die Verarbeitung vollendet worden ist (JA bei Schritt S507), endet die Verarbeitung der hochreflektierenden Region.
Wie ersichtlich ist, kann dadurch, dass die Verarbeitungseinheit für hochreflektierende Regionen 150 den Luminanzwert einer hochreflektierenden Region eines Bildes auf der Basis einer Luminanzwertkonvertierungstabelle für hochreflektierende Regionen korrigiert, die Sichtbarkeit eines aus rekursiv-reflektierendem Material erzeugten Verkehrsschildes oder dergleichen verbessert werden.
Nun wird die als Schritt S105c von 10 gezeigte Verarbeitung der Region mit niedriger Luminanz erläutert. 15 ist ein Flussdiagramm einer Prozedur der Verarbeitung der Region mit niedriger Luminanz. Wie in der Figur gezeigt, erzeugt die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 eine Konvertierungstabelle für Regionen mit niedriger Luminanz auf der Basis des Luminanzwertes einer Region mit niedriger Luminanz in dem geradzahligen Feldbild (Schritt S601) und erfasst einen unkorrigierten Luminanzwert (Schritt S602).
Die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 bestimmt, ob es sich um eine Region mit niedriger Luminanz handelt (Schritt S603), und wenn das nicht der Fall ist (NEIN bei Schritt S604), setzt die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 eine Null für den Pixel ein (Schritt S605), und der Prozess geht zu Schritt S607 über.
Falls es andererseits eine Region mit niedriger Luminanz ist (JA bei Schritt S604), konvertiert die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 den Luminanzwert des geradzahligen Feldbildes auf der Basis der Konvertierungstabelle für Regionen mit niedriger Luminanz und setzt den Luminanzwert der Region ein (Schritt S606).
Die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 bestimmt, ob die Verarbeitung bei allen Pixeln vollendet worden ist, und wenn das nicht der Fall ist (NEIN bei Schritt S607), geht der Prozess zu Schritt S602 über, und wenn die Verarbeitung vollendet worden ist (JA bei Schritt S607), endet die Verarbeitung der Region mit niedriger Luminanz.
Wie ersichtlich ist, kann dadurch, dass die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 den Luminanzwert einer Region mit niedriger Luminanz eines Bildes auf der Basis einer Luminanzwertkonvertierungstabelle für Regionen mit niedriger Luminanz korrigiert, die Sichtbarkeit eines Bildes der Region mit niedriger Luminanz verbessert werden.
Nun wird der als Schritt S106 von 10 gezeigte Syntheseprozess erläutert. 16 ist ein Flussdiagramm einer Prozedur des Syntheseprozesses. Wie in der Figur gezeigt, erfasst die Synthetisierungseinheit 170 einen unverarbeiteten Luminanzwert (Schritt S701) und setzt den erfassten Luminanzwert als Luminanzwert ein, der erhalten wird, indem der Luminanzwert der hochreflektierenden Region, der Luminanzwert der leuchtenden Region und der Luminanzwert der Region mit niedriger Luminanz addiert werden (Schritt S702).
Die Synthetisierungseinheit 170 bestimmt, ob die Verarbeitung bei allen Pixeln vollendet worden ist, und wenn das nicht der Fall ist (NEIN bei Schritt S703), geht der Prozess zu Schritt S701 über, und falls die Verarbeitung vollendet worden ist (JA bei Schritt S703), endet der Syntheseprozess.
Wie beschrieben worden ist, trennt die Nachtsichtbildverarbeitungseinheit 100 (das Nachtsichtgerät) gemäß der ersten Ausführungsform ein Eingangsfeldbild, das von der Nahinfrarotkamera 70 erfasst wird, in ein ungeradzahliges Feldbild und ein geradzahliges Feldbild und segmentiert das Bild in Regionen (eine leuchtende Region, eine hochreflektierende Region, eine Region mit niedriger Luminanz) auf der Basis des Luminanzwertes jedes Pixels, der in dem ungeradzahligen Feldbild und dem geradzahligen Feldbild enthalten ist. Da die Nachtsichtbildverarbeitungseinheit 100 den Luminanzwert jeder Region gemäß Eigenschaften der Region korrigiert, kann die Sichtbarkeit eines Nachtsichtbildes verbessert werden.
Wenn der Luminanzwert einer hochreflektierenden Region korrigiert wird, kann die in 4 gezeigte Verarbeitungseinheit für hochreflektierende Regionen 150 die Luminanzwertkorrektur, wie etwa eine Gammakorrektur, auf der Basis eines ungeradzahligen Feldbildes implementieren. Wenn der Luminanzwert einer Region mit niedriger Luminanz korrigiert wird, kann die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 die Luminanzwertkorrektur, wie etwa die Gammakorrektur, auf der Basis eines geradzahligen Feldbildes implementieren.
Zweite Ausführungsform
Nun werden Grundzüge und Eigenschaften des Nachtsichtgerätes gemäß einer zweiten Ausführungsform erläutert. Das Nachtsichtgerät gemäß der zweiten Ausführungsform korrigiert den Luminanzwert jeder Region (einer leuchtenden Region, einer hochreflektierenden Region, einer Region mit niedriger Luminanz) ähnlich wie in der ersten Ausführungsform gezeigt und zeigt die leuchtende Region und die hochreflektierende Region mit Farben unter Verwendung eines Farbbildes an, das durch eine Farbkamera abgebildet wird.
Wie ersichtlich ist, kann dadurch, dass das Nachtsichtgerät gemäß der zweiten Ausführungsform eine leuchtende Region und eine hochreflektierende Region in einem Nachtsichtbild mit Farben anzeigt, die Sichtbarkeit weiter verbessert werden.
Nun wird eine exemplarische Konfiguration eines Fahrzeugs erläutert, an welches das Nachtsichtgerät gemäß der zweiten Ausführungsform montiert ist. 17 ist ein Schema einer Konfiguration eines Fahrzeugs, an welches das Nachtsichtgerät gemäß der zweiten Ausführungsform montiert ist. Wie in der Figur gezeigt, enthält ein Fahrzeug 15 den Scheinwerfer 20, das Display 30, die optische Abbildungslinse 40, die optische Beleuchtungslinse 50, die Nahinfrarotquelle 60, die Nahinfrarotkamera 70, die Beleuchtungssteuereinheit 80, eine Farbkamera 90 und eine Nachtsichtbildverarbeitungseinheit 200.
Weil von diesen der Scheinwerfer 20, das Display 30, die optische Abbildungslinse 40, die optische Beleuchtungslinse 50, die Nahinfrarotquelle 60, die Nahinfrarotkamera 70 und die Beleuchtungssteuereinheit 80 dem Scheinwerfer 20, dem Display 30, der optischen Abbildungslinse 40, der optischen Beleuchtungslinse 50, der Nahinfrarotquelle 60, der Nahinfrarotkamera 70 und der Beleuchtungssteuereinheit 80, die in 2 gezeigt sind, ähnlich sind, wird die Erläuterung nicht wiederholt.
Die Farbkamera 90 ist eine Kamera mit sichtbarem Licht, in der ein Abbildungsbereich eingestellt wird, der derselbe wie jener der Nahinfrarotkamera 70 ist. 18 ist ein Schema einer exemplarischen Konfiguration der Farbkamera, die einen Abbildungsbereich hat, der derselbe wie jener der Nahinfrarotkamera ist.
Wie in 18 gezeigt, wird Licht, das von der optischen Abbildungslinse 40 einfällt, durch einen Strahlenteiler 90a geteilt und an die Nahinfrarotkamera 70 und die Farbkamera 90 (die Farbkamera 90 durch einen Infrarot-Sperrfilter 90b) ausgegeben. Wie in 18 gezeigt, kann durch Konfigurieren der Nahinfrarotkamera 70 und der Farbkamera 90 der Abbildungsbereich derselbe wie jener der Nahinfrarotkamera werden.
Die Nachtsichtbildverarbeitungseinheit 200 korrigiert den Luminanzwert jeder Region (einer leuchtenden Region, einer hochreflektierenden Region, einer Region mit niedriger Luminanz) auf ähnliche Weise wie in der ersten Ausführungsform gezeigt und zeigt die leuchtende Region und die hochreflektierende Region mit Farben an dem Display 30 unter Verwendung eines durch die Farbkamera 90 abgebildeten Farbbildes an.
Nun wird eine Konfiguration der Nachtsichtbildverarbeitungseinheit 200 gemäß der zweiten Ausführungsform erläutert. 19 ist ein Funktionsblockdiagramm einer Konfiguration der Nachtsichtbildverarbeitungseinheit 200 gemäß der zweiten Ausführungsform. Wie in der Figur gezeigt, enthält die Nachtsichtbildverarbeitungseinheit 200 eine Feldtrenneinheit 210, eine Schlierenentfernungseinheit 220, eine Regionsegmentierungseinheit 230, eine Verarbeitungseinheit für leuchtende Regionen 240, eine Verarbeitungseinheit für hochreflektierende Regionen 250, eine Verarbeitungseinheit für Regionen mit niedriger Luminanz 260 und eine Synthetisierungseinheit 270.
Da die Einzelheiten der Verarbeitung, die ausgeführt wird durch die Feldtrenneinheit 210, die Schlierenentfernungseinheit 220, die Regionsegmentierungseinheit 230, die Verarbeitungseinheit für Regionen mit niedriger Luminanz 260 und die Synthetisierungseinheit 270, dieselben sind wie jene, die ausgeführt werden durch die Feldtrenneinheit 110, die Schlierenentfernungseinheit 120, die Regionsegmentierungseinheit 130, die Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 und die Synthetisierungseinheit 170, die unter Bezugnahme auf 4 erläutert wurden, wird die Erläuterung nicht wiederholt.
Die Verarbeitungseinheit für leuchtende Regionen 240 erfasst Daten eines Farbbildes von der Farbkamera 90, erfasst Daten eines Bildes einer leuchtenden Region von der Regionsegmentierungseinheit 230 und korrigiert den Luminanzwert gemäß der leuchtenden Region. Speziell ersetzt die Verarbeitungseinheit für leuchtende Regionen 240 die Pixelwerte und Luminanzwerte, die in einer leuchtenden Region enthalten sind, durch die Pixelwerte und Luminanzwerte eines Farbbildes, die der leuchtenden Region entsprechen.
Zum Beispiel werden der Pixelwert und Luminanzwert eines Punktes (x, y), der in einer leuchtenden Region enthalten ist, durch den Pixelwert und Luminanzwert eines Punktes (x, y) eines Farbbildes ersetzt. Die Verarbeitungseinheit für leuchtende Regionen 240 korrigiert (ersetzt) alle Pixel, die in einer leuchtenden Region enthalten sind. Die Verarbeitungseinheit für leuchtende Regionen 240 gibt Daten eines Bildes einer leuchtenden Region, deren Luminanzwert korrigiert worden ist, an die Synthetisierungseinheit 270 aus.
Die Verarbeitungseinheit für hochreflektierende Regionen 250 erfasst Daten eines Farbbildes von der Farbkamera 90, erfasst Daten eines Bildes einer hochreflektierenden Region von der Regionsegmentierungseinheit 230 und korrigiert den Luminanzwert gemäß der hochreflektierenden Region. Speziell wird bei der Verarbeitung durch die Verarbeitungseinheit für hochreflektierende Regionen 250 eine Luminanzwertkonvertierungstabelle für hochreflektierende Regionen auf der Basis des Luminanzwertes einer hochreflektierenden Region in einem Farbbild erzeugt. Die Art und Weise der Erzeugung der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen ist der in der ersten Ausführungsform ähnlich. Die Datenstruktur der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen ist auch ähnlich (siehe 7).
Die Verarbeitungseinheit für hochreflektierende Regionen 250 vergleicht den Luminanzwert, der in der hochreflektierenden Region in dem Farbbild enthalten ist, und den Eingangsluminanzwert der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen und korrigiert den Luminanzwert des Pixels des Farbbildes, so dass er den korrigierten Luminanzwert (Ausgangsluminanzwert) darstellt. Die Verarbeitungseinheit für hochreflektierende Regionen 250 gibt Daten eines Bildes der hochreflektierenden Region, deren Luminanzwert korrigiert worden ist, an die Synthetisierungseinheit 270 aus.
Nun wird eine Prozedur der Nachtsichtbildverarbeitungseinheit 200 gemäß der zweiten Ausführungsform erläutert. Die Verarbeitung der leuchtenden Region und die Verarbeitung der hochreflektierenden Region werden erläutert, die sich von denen der Nachtsichtbildverarbeitungseinheit 100 unterscheiden, die in der ersten Ausführungsform gezeigt sind. Zunächst wird die Verarbeitung der leuchtenden Region erläutert. 20 ist ein Flussdiagramm einer Prozedur der Verarbeitung der leuchtenden Region gemäß der zweiten Ausführungsform.
Wie in 20 gezeigt, erfasst die Verarbeitungseinheit für leuchtende Regionen 240 einen unkorrigierten Luminanzwert (Schritt S801) und bestimmt, ob es sich um eine leuchtende Region handelt (Schritt S802). Wenn es sich nicht um eine leuchtende Region handelt (NEIN bei Schritt S803), setzt die Verarbeitungseinheit für leuchtende Regionen 240 eine Null für den Luminanzwert ein (Schritt S804), und der Prozess geht zu Schritt S806 über.
Wenn es sich andererseits um eine leuchtende Region handelt (JA bei Schritt S803), setzt die Verarbeitungseinheit für leuchtende Regionen 240 den Pixelwert und Luminanzwert eines Farbbildes als Pixelwert und Luminanzwert einer leuchtenden Region ein (Schritt S805). Die Verarbeitungseinheit für leuchtende Regionen 240 bestimmt, ob die Verarbeitung bei allen Pixeln vollendet worden ist, und wenn das nicht der Fall ist (NEIN bei Schritt S806), geht der Prozess zu Schritt S801 über, und falls die Verarbeitung vollendet worden ist (JA bei Schritt S806), endet die Verarbeitung der leuchtenden Region.
Nun wird die Verarbeitung der hochreflektierenden Region erläutert. 21 ist ein Flussdiagramm einer Prozedur der Verarbeitung der hochreflektierenden Region gemäß der zweiten Ausführungsform. Wie in der Figur gezeigt, erzeugt die Verarbeitungseinheit für hochreflektierende Regionen 250 eine Luminanzwertkonvertierungstabelle für hochreflektierende Regionen auf der Basis des Luminanzwertes einer hochreflektierenden Region in einem Farbbild (Schritt S901) und erfasst einen unkorrigierten Luminanzwert (Schritt S902).
Die Verarbeitungseinheit für hochreflektierende Regionen 250 bestimmt, ob der erfasste Luminanzwert der Luminanzwert einer hochreflektierenden Region ist (Schritt S903), und wenn das nicht der Fall ist (NEIN bei Schritt S904), setzt die Verarbeitungseinheit für hochreflektierende Regionen 250 eine Null für den Luminanzwert ein (Schritt S905), und der Prozess geht zu Schritt S907 über.
Wenn es sich andererseits um eine hochreflektierende Region handelt (JA bei Schritt S904), konvertiert die Verarbeitungseinheit für hochreflektierende Regionen 250 den Luminanzwert des Farbbildes auf der Basis der Luminanzwertkonvertierungstabelle für hochreflektierende Regionen und setzt den Luminanzwert als Luminanzwert der Region ein (Schritt S906). Die Verarbeitungseinheit für hochreflektierende Regionen 250 bestimmt, ob die Verarbeitung bei allen Pixeln vollendet worden ist, und wenn das nicht der Fall ist (NEIN bei Schritt S907), geht der Prozess zu Schritt S902 über, und falls die Verarbeitung nicht vollendet worden ist (JA bei Schritt S907), endet die Verarbeitung der hochreflektierenden Region.
Wie beschrieben worden ist, kann dadurch, dass die Nachtsichtbildverarbeitungseinheit 200 gemäß der zweiten Ausführungsform ein Bild in Regionen (eine leuchtende Region, eine hochreflektierende Region, eine Region mit niedriger Luminanz) segmentiert, den Luminanzwert der leuchtenden Region und der hochreflektierenden Region unter Verwendung eines Farbbildes korrigiert, das durch die Farbkamera 90 abgebildet wird, und die leuchtende Region und die hochreflektierende Region mit Farben anzeigt, die Sichtbarkeit weiter verbessert werden.
Ein Teil oder die Gesamtheit der Verarbeitung in der vorliegenden Ausführungsform, die als automatisch ausführbar erläutert wurde, kann manuell ausgeführt werden, und ein Teil oder die Gesamtheit der Verarbeitung, die als manuell ausführbar erläutert wurde, kann durch ein bekanntes Verfahren automatisch ausgeführt werden. Zusätzlich können die Verarbeitungsprozedur, die Steuerungsprozedur, die spezifischen Namen und die Informationen, die verschiedene Typen von Daten und Parametern enthalten, die oben oder in den Figuren angeführt sind, optional verändert werden, wenn nichts anderes angegeben ist.
Die Konfigurationen der Nachtsichtbildverarbeitungseinheiten 100, 200, die in 4 und 19 gezeigt sind, sind funktionell und konzeptionell und brauchen nicht physisch, wie gezeigt, konfiguriert zu sein. Mit anderen Worten: die spezifischen Modi der Verteilung/Integration jeder Vorrichtung sind nicht auf jene beschränkt, die in den Figuren gezeigt sind, sondern die Gesamtheit oder ein Teil von ihnen kann funktionell oder physisch in einer optionalen Einheit gemäß verschiedenartigen Lasten oder der Verwendung verteilt/integriert sein. Des Weiteren kann die Gesamtheit oder ein Teil der Verarbeitungsfunktionen, die durch jede Vorrichtung ausgeführt werden, durch eine zentrale Verarbeitungseinheit (CPU) (oder Speichersteuereinheit (MCU) oder Mikroverarbeitungseinheit (MPU)) und ein Computerprogramm, das durch die CPU analysiert und ausgeführt wird, realisiert werden oder alternativ als Hardware durch eine verdrahtete Logik realisiert werden.
22 ist ein Schema einer Hardware-Konfiguration eines Computers der Nachtsichtbildverarbeitungseinheit 100, die in 4 gezeigt ist (oder der Nachtsichtbildverarbeitungseinheit 200, die in 19 gezeigt ist). Dieser Computer 300 enthält eine Eingabevorrichtung 301, die eine Eingabe von Daten von einem Nutzer empfängt, einen Monitor 302, eine Beleuchtungssteuervorrichtung 303, eine Nahinfrarotkamera 304, eine Nahinfrarotquelle 305, eine Farbkamera 306, einen Speicher mit wahlfreiem Zugriff (RAN) 307, einen Nur-Lese-Speicher (ROM) 308, eine CPU 309 und ein Festplattenlaufwerk (HDD) 310, von denen alle durch einen Bus 311 verbunden sind.
Die Beleuchtungssteuereinheit 303, die Nahinfrarotkamera 304, die Nahinfrarotquelle 305 und die Farbkamera 306 entsprechen der Beleuchtungssteuereinheit 80, der Nahinfrarotkamera 70 und der Nahinfrarotquelle 60, die in 4 gezeigt sind, bzw. der in 19 gezeigten Farbkamera 90.
Das HDD 310 speichert ein Nachtsichtbildverarbeitungsprogramm 310b, das eine Funktion aufweist, die jener der Nachtsichtbildverarbeitungseinheit 100 (200) ähnlich ist. Wenn die CPU 309 das Nachtsichtbildverarbeitungsprogramm 310b von dem HDD 310 ausliest und es ausführt, wird eine Nachtsichtbildverarbeitung 309a aktiviert, die die Funktionen der Funktionseinheiten der Nachtsichtbildverarbeitungseinheit 100 (200) realisiert. Die Nachtsichtbildverarbeitung 309a entspricht der Feldtrenneinheit 110, der Schlierenentfernungseinheit 120, der Regionsegmentierungseinheit 130, der Verarbeitungseinheit für leuchtende Regionen 140, der Verarbeitungseinheit für hochreflektierende Regionen 150, der Verarbeitungseinheit für Regionen mit niedriger Luminanz 160 und der Synthetisierungseinheit 170, die in 4 gezeigt sind.
Das HDD 310 speichert verschiedene Typen von Daten 310a, die Daten entsprechen, die in der Nachtsichtbildverarbeitungseinheit 100 gespeichert sind. Die verschiedenen Typen von Daten 310a entsprechen einer Regionsegmentierungstabelle (siehe 6) oder dergleichen.
Die CPU 309 speichert die verschiedenen Typen von Daten 310a in dem HDD 310 und liest die verschiedenen Typen von Daten 310a von dem HDD 310 aus und speichert die Daten in dem RAM 307 und führt die Nachtsichtbildverarbeitung unter Verwendung von verschiedenen Typen von Daten 307a aus, die in dem RAM 307 gespeichert sind.
INDUSTRIELLE ANWENDBARKEIT
Wie ersichtlich ist, ist das Nachtsichtgerät gemäß der vorliegenden Erfindung zum Beispiel als Nachtsichtgerät nützlich, das ein Nachtsichtbild unter Verwendung von Infrarotlicht aufnimmt, und ist besonders für den Fall geeignet, wo die Sichtbarkeit eines Nachtsichtbildes ungeachtet der Eigenschaften eines Gegenstandes verbessert werden muss.

Claims

Nachtsichtgerät zum Aufnehmen eines Bildes eines Gegenstandes unter Verwendung von reflektiertem Licht von emittiertem Infrarotlicht, welches Nachtsichtgerät umfasst: eine Bildsegmentierungseinheit, die ein aufgenommenes Bild in eine Vielzahl von Regionen segmentiert, auf der Basis eines Luminanzwertes eines beleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn das Infrarotlicht emittiert wird, und eines Luminanzwertes eines nichtbeleuchteten Bildes, das ein Bild repräsentiert, das aufgenommen wird, wenn das Infrarotlicht nicht emittiert wird, wobei die Vielzahl von Regionen eine erste Region, deren Luminanzwert des nichtbeleuchteten Bildes größer als eine erste Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine zweite Schwelle ist, eine zweite Region, deren Luminanzwert des nichtbeleuchteten Bildes kleiner als eine dritte Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine vierte Schwelle ist, und eine dritte Region, welche weder zu der ersten noch zu der zweiten Region gehört, umfasst; und eine Luminanzwertkorrektureinheit, die Luminanzwerte der Regionen auf unterschiedliche Arten für jede Region korrigiert.
Nachtsichtgerät nach Anspruch 1, bei dem die Luminanzwertkorrektureinheit die Luminanzwerte der ersten Region mit den Luminanzwerten korrigiert, die in der ersten Region des beleuchteten Bildes oder des nichtbeleuchteten Bildes enthalten sind.
Nachtsichtgerät nach Anspruch 1, bei dem die Luminanzwertkorrektureinheit die Luminanzwerte der zweiten Region auf der Basis von Werten korrigiert, die durch Korrigieren der Luminanzwerte der zweiten Region des nichtbeleuchteten Bildes erhalten werden.
Nachtsichtgerät nach Anspruch 1, bei dem die Luminanzwertkorrektureinheit die Luminanzwerte der dritten Region auf der Basis von Werten korrigiert, die durch Korrigieren der Luminanzwerte der dritten Region des beleuchteten Bildes erhalten werden.
Nachtsichtgerät nach Anspruch 2 oder 3, ferner mit einer Erfassungseinheit von Bildern mit sichtbarem Licht, die ein Bild mit sichtbarem Licht des Gegenstandes erfasst, das durch eine Kamera mit sichtbarem Licht aufgenommen wird, bei dem die Luminanzwertkorrektureinheit Pixelwerte der ersten Region und der zweiten Region unter Verwendung des Bildes mit sichtbarem Licht erzeugt.
Nachtsichtbildverarbeitungsprogramm, das bewirkt, dass ein Computer ausführt: einen Bildsegmentierungsschritt zum Segmentieren eines Bildes in eine Vielzahl von Regionen auf der Basis eines Luminanzwertes eines beleuchteten Bildes, das ein Bild repräsentiert, das durch eine Infrarotkamera aufgenommen wird, wenn Infrarotlicht emittiert wird, und eines Luminanzwertes eines nichtbeleuchteten Bildes, das ein Bild repräsentiert, das durch die Infrarotkamera aufgenommen wird, wenn das Infrarotlicht nicht emittiert wird, wobei die Vielzahl von Regionen eine erste Region, deren Luminanzwert des nichtbeleuchteten Bildes größer als eine erste Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine zweite Schwelle ist, eine zweite Region, deren Luminanzwert des nichtbeleuchteten Bildes kleiner als eine dritte Schwelle ist und deren Luminanzwert des beleuchteten Bildes größer als eine vierte Schwelle ist, und eine dritte Region, welche weder zu der ersten noch zu der zweiten Region gehört, umfasst; und einen Luminanzwertkorrekturschritt zum Korrigieren von Luminanzwerten von den beschriebenen Regionen auf unterschiedliche Arten für jede Region.
Nachtsichtbildverarbeitungsprogramm nach Anspruch 6, bei dem der Luminanzwertkorrekturschritt das Korrigieren der Luminanzwerte der ersten Region mit den Luminanzwerten enthält, die in der ersten Region des beleuchteten Bildes oder des nichtbeleuchteten Bildes enthalten sind.
Nachtsichtbildverarbeitungsprogramm nach Anspruch 6, bei dem der Luminanzwertkorrekturschritt das Korrigieren der Luminanzwerte der zweiten Region auf der Basis von Werten enthält, die durch Korrigieren der Luminanzwerte der zweiten Region des nichtbeleuchteten Bildes erhalten werden.
Nachtsichtbildverarbeitungsprogramm nach Anspruch 6, bei dem der Luminanzwertkorrekturschritt das Korrigieren der Luminanzwerte der dritten Region auf der Basis von Werten enthält, die durch Korrigieren der Luminanzwerte der dritten Region des beleuchteten Bildes erhalten werden.
Nachtsichtbildverarbeitungsprogramm nach Anspruch 7 oder 8, ferner mit einem Erfassungsschritt von Bildern mit sichtbarem Licht, zum Erfassen eines Bildes mit sichtbarem Licht des Gegenstandes, das durch eine Kamera mit sichtbarem Lichtaufgenommen wird, bei dem der Luminanzwertkorrekturschritt das Erzeugen von Pixelwerten der ersten Region und der zweiten Region unter Verwendung des Bildes mit sichtbarem Licht enthält.