DE10301469B4

DE10301469B4 - Infrarotbildverarbeitungsvorrichtung

Info

Publication number: DE10301469B4
Application number: DE10301469A
Authority: DE
Inventors: Masahito Wako Watanabe; Nobuharu Wako Nagaoka; Takayuki Wako Tsuji; Hiroshi Wako Hattori
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-01-18
Filing date: 2003-01-16
Publication date: 2005-04-14
Anticipated expiration: 2023-01-17
Also published as: DE10301469A1; JP2003216949A; US6690011B2; US20030137593A1; JP3756452B2

Abstract

Binärisierungsverfahren für ein von einer Infrarotkamera aufgenommenes Infrarotbild, umfassend:
Einstellen (S33) eines Schwellwerts zwischen zwei Helligkeitswerten, die zwei in dem Helligkeitshistogramm (S32) erscheinenden Häufigkeitspeaks entsprechen. die einem Hintergrundbild und einem Objektbild zugeordnet sind;
Änderung (S38, S43; S47, S49) des Schwellwerts durch einen Helligkeitsschwellwert-Einstellabschnitt auf solche Weise, dass die Fläche des durch das Binärisierungsverfahren extrahierten Bildes in einen vorgegebenen Bereich fällt,
dadurch gekennzeichnet, dass die Änderung des Schwellwerts nur dann durchgeführt wird, wenn die Fläche des durch das Binärisierungsverfahren extrahierten Bildes innerhalb einer vergangenen Periode von N Sekunden öfter als M Mal nicht in den vorgegebenen Bereich fiel (S37, S42).

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Binärisierungsverfahren für ein von einer Infrarotkamera aufgenommenes Infrarotbild, umfassend: Einstellen eines Schwellwerts zwischen zwei Helligkeitswerten, die zwei in dem Helligkeitshistogramm erscheinenden Häufigkeitspeaks entsprechen, die einem Hintergrundbild und einem Objektbild zugeordnet sind, und Änderung des Schwellwerts durch einen Helligkeitsschwellwert-Einstellabschnitt auf solche Weise, dass die Fläche des durch das Binärisierungsverfahren extrahierten Bildes in einen vorgegebenen Bereich fällt.
Beschreibung des Standes der Technik
Herkömmlich wird, wenn ein Objekt wie beispielsweise ein Fußgänger aus einem von einer Infrarotkamera aufgenommenen Bild extrahiert wird, eine Binärisierungsverarbeitung durchgeführt, um das Objektbild von dem Hintergrundbild zu unterscheiden. Eine Binärisierungsverarbeitung eines Bildes unterscheidet das Objektbild von dem Hintergrundbild, das in dem von der Infrarotkamera aufgenommenen Bild enthalten ist. Die Unterscheidung des Objektbildes von dem Hintergrundbild erfolgt durch das Einstellen eines Helligkeitsschwellwerts, der zwei Peaks separiert (Hintergrund-Peak und Objekt-Peak), die in dem Helligkeitshistogramm als das Häufigkeitsmaximum von Pixels erhalten werden, die mit einem relativ schwachen Helligkeitsumfang als Hintergrund und mit einem relativ starken Helligkeitsumfang als das Objekt erscheinen.

Ein konventionelles Beispiel einer Infrarotbildverarbeitungsvorrichtung, die eine Binärisierungsverarbeitung des Infrarotbildes durch Festlegen eines Helligkeits schwellwerts zwischen dem Hintergrund-Peak und den Objekt-Peaks, die anhand des Helligkeitshistogramms des Infrarotbildes ermittelt werden, durchführt, ist in der ungeprüften japanischen Patentanmeldung, Erstveröffentlichungsnummer 2001–160144 beschrieben. Dieses Dokument beschreibt eine konventionelle Bildverarbeitungsvorrichtung, die von zwei Bildern, die von einer Stereokamera aufgenommen werden, ein Histogramm als eine Funktion des an der Abszisse angegebenen Helligkeitswerts I und einer an der Ordinate angegebenen Häufigkeit von Pixels H [I] mit einem Helligkeitswert I erstellt, wobei zwei Helligkeitswerte erhalten werden, die den Objekt-Peaks und den Hintergrund-Peaks entsprechen, und wobei die Kontrastwerte von zwei von der Stereokamera aufgenommenen Bildern verglichen werden. Von den beiden Bildern wird das eine mit dem höheren Kontrastwert als ein Referenzbild gewählt, und für das Referenzbild wird eine Binärisierungsverarbeitung unter Verwendung des Schwellwerts des gewählten Bildes durchgeführt und ein Objekt aus dem binärisierten Bild extrahiert.

Die vorgenannte Bildverarbeitungsvorrichtung macht es möglich, ein Versagen bei der Bestimmung des Objekts aufgrund der Kontrastunterschiede zwischen zwei von der Stereokamera aufgenommenen Bildern zu vermeiden.

Wenn sich die Peak-Positionen des Hintergrund-Peaks und des Objekt-Peaks in dem Helligkeitshistogramm der Infrarotbilder ändern, weil sich die von dem Objekt abgegebene Infrarotstrahlung ändert oder weil sich die Jahreszeit, das Wetter, die Tageszeit und die Umgebungstemperatur ändern, stellt sich bei der vorgenannten Infrarotbildverarbeitungsvorrichtung jedoch das Problem, dass das Objekt nicht genau extrahiert werden kann oder dass etwas anderes als das Objekt extrahiert wird.

Die Druckschrift "Markham, K.C.: Comparison of segmentation processes for object acquisition in infrared images. Radar and Signal Processing [see also IEE Proceedings – Radar and Navigation], IEE Proceedings, Vol. 136, Pt. F, No. 1, February 1989, pp. 13–21" offenbart ein Binärisierungsverfahren der oben genannten Art. Das dort beschriebene "p-tile"-Verfahren umfasst die Auswahl eines Schwellwerts, so dass sich p Prozent der Punkte in einem Helligkeitshistogramm des Infrarotbildes oberhalb des Schwellwerts befinden. Der Wert p wird hierbei aus a priori Information über den zu erwartenden Anteil von Objektpunkten an den gesamten Bildpunkten ausgewählt. Allerdings bezieht sich dieses Verfahren auf Einzelbilder und bei der Anwendung dieses Verfahrens auf eine Folge von in Realzeit aufgenommenen Bildern könnte sich der Schwellwert, beispielsweise aufgrund von Änderungen der Hintergrundbeleuchtung des aufgenommenen Bildes, von einem Bild zum nächsten stark ändern, was die Bestimmung von Positionen und Geschwindigkeiten einzelner Objekte über eine Folge von Bildern erschweren würde.

Die Druckschriften "Mester, R.; Hötter, M.: Robust Displacement Vector Estimation Including a Statistical Error Analysis. Fifth International Conference on Image Processing and its Applications, 1995. Edinburgh, UK, 4–6 July 1995, IEE Conf. Publication No. 410, pp. 168–172". und "Ribarić, Slobodan; Šegvić, Siniša; Špišić, Vladimir: Locally Adaptive Theresholding of the Sequence of Image Frames. 10^th Mediterranean Electrotechnical Conf., MEleCon 2000, 29– 31 May 2000. Proceedings, Vol. 2, pp. 673–676" behandeln allgemein das Problem der Identifikation und Verfolgung von einzelnen Objekten über eine Folge von Bildern. Die Veröffentlichung von Mester und Hötter offenbart einen Verschiebungsvektor, der eine Bewegung eines Objekts von einem Einzelbild zum nächsten beschreibt, und ordnet jedem Verschiebungsvektor einen Zuverlässigkeitswert zu, um hiermit Rauschen in der Objekt-Umrissbestimmung von einem Bild zum nächsten ausgleichen zu können. Die Veröffentlichung von Ribaric et al. benutzt lokale Schwellwerte für unterschiedliche Regionen des aufgenommenen Bildes, wobei diese Schwellwerte aufgrund von a priori Informationen über die Objekte über eine Folge von Bildern graduell angepasst werden, indem für das jeweils nächste Bild der Folge die lokalen Schwellwerte mit einem Anpassungsfaktor multipliziert werden. Allerdings stößt diese Methode an ihre Grenzen, wenn sich die Durchschnittsbeleuchtung eines Bildes zwischen zwei aufeinander folgenden Bildern um mehr als 0,5‰ ändert.

ZUSAMMENFASSUNG DER ERFINDUNG

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Infrarotbildverarbeitungsvorrichtung zur Verfügung zu stellen, die in der Lage ist, ein Objekt in Reaktion auf eine Änderung in dem Helligkeitshistogramm des von der Infrarotkamera aufgenommenen Bildes genau zu extrahieren und über eine Folge von mehreren Bildern zuverlässig zu identifizieren.

Nach einem ersten Aspekt der vorliegenden Erfindung wird ein Binärisierungsverfahren der oben genannten Art bereitgestellt, wobei die Änderung des Schwellwerts nur dann durchgeführt wird, wenn die Fläche des durch das Binärisierungsverfahren extrahierten Bildes innerhalb einer vergangenen Periode von N Sekunden öfter als M Mal nicht in den vorgegebenen Bereich fiel.

Indem die Infrarotbildverarbeitungsvorrichtung wie oben beschrieben konfiguriert wird, kann diese durch das Binärisierungsverfahren ein Objekt extrahieren, ohne vom Rauschen des Hintergrundbildes gestört zu werden, indem der Schwellwert für das Separieren des Objekts so geändert wird, dass das Flächenverhältnis des Objektbildes in einem vorgegebenen Flächenbereich festgelegt wird und indem bei einer Folge von Bildern durch die erfindungsgemäße Durchschnittsermittlungsoperation einzelne Ausreißer bei den Schwellwerten ignoriert werden.

Im Rahmen der vorliegenden Erfindung kann weiterhin vorgesehen sein, dass der Abschnitt für die Einstellung des Helligkeitswertes in der vorgenannten Infrarotbildverarbeitungsvorrichtung im voraus ein unteres Limit enthält, das heißt einen minimalen Helligkeitswert, der über dem Helligkeitswert liegt, welcher der dem Hintergrundbild in dem Helligkeits-Frequenz-Histogramm zugeordneten Spitzenhäufigkeit entspricht, und ein oberes Limit, das heißt einen maximalen Helligkeitswert, der unter dem Helligkeitswert liegt, welcher der dem Objektbild in dem Helligkeits-Frequenz-Histogramm zugeordneten Spitzenhäufigkeit entspricht.

Durch die Konfigurierung der Infrarotbildverarbeitungsvorrichtung in obenstehender Weise ermöglicht das Binärisierungsverfahren ein Extrahieren des Objektbildes ohne ein Versagen, wobei die Möglichkeit eines Versagens bei der Extraktion des Objektbildes ausgeschaltet wird, indem der das Objektflächenverhältnis begrenzende Schwellwert so geändert wird, dass er in einem Bereich zwischen dem minimalen Helligkeitswert und dem maximalen Helligkeitswert liegt, wenn der Schwellwert in der Weise geändert wird, dass das Objektflächenverhältnis innerhalb eines vorgegebenen Bereichs liegt.

FIGURENKURZBESCHREIBUNG

1 ist ein Diagramm, dass die Konstruktion einer Infrarotbildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.

2 ist ein Diagramm, das die Positionen für die Befestigung von Infrarotkameras, Sensoren, Displays etc. an dem Fahrzeug zeigt.

3 ist ein Flussdiagramm, das die Objekterfassungsoperation und Warnoperation der Infrarotbildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.

4A und 4B zeigen ein Grauwertbild (4A) und dessen binärisiertes Bild (4B).

5 ist ein Diagramm, das den Fall zeigt, in dem das Stattfinden einer Kollision wahrscheinlich ist.

6 ist ein Diagramm, das klassifizierte Zonen vor dem Fahrzeug zeigt.

7 ist ein Flussdiagramm, das das Verfahren zum Ändern des Binärisierungsschwellwerts gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.

8 ist ein Diagramm, das das Verfahren zum Einstellen einer binärisierten Schwelle durch ein Modenverfahren gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.

9 ist ein Diagramm, das ein Verfahren zum Einstellen des minimalen Helligkeitsschwellwerts gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.

10A und 10B sind Diagramme, die das binärisierte Bild (10B) des Infrarotbildes (10A) unter Verwendung eines Schwellwerts zeigen, der niedriger ist als der minimale Helligkeitsschwellwert.

11 11 ist ein Diagramm, das ein Verfahren zum Einstellen des maximalen Helligkeitsschwellwerts gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.

12 ist ein Flussdiagramm für das Verfahren zum Ändern des Binärisierungsschwellwerts gemäß der zweiten Ausführungsform der vorliegenden Erfindung.

DETAILBESCHREIBUNG DER ERFINDUNG
Nachstehend wird die vorliegende Erfindung unter Bezugnahme auf die anliegenden Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Diagramm, das die Konstruktion einer Infrarotbildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der Erfindung zeigt.
In 1 bezeichnet Bezugsziffer 1 eine Bildverarbeitungseinheit, die mit einer CPU (Zentraleinheit) für die Steuerung einer Infrarotbildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung ausgestattet ist. Die Bildverarbeitungseinheit 1 umfasst zwei Infrarotkameras 2R und 2L, die in der Lage sind, Infrarotstrahlen im fernen Infrarot zu erfassen, einen Gierratensensor 3 zur Erfassung der Gierrate des gegenwärtigen Fahrzeugs, einen Fahrzeuggeschwindigkeitssensor 4 zur Erfassung der Fahrgeschwindigkeit des gegenwärtigen Fahrzeugs und einen Bremssensor 5 zur Erfassung der Bremsbetätigung. Die Bildverarbeitungseinheit 1 spielt eine Rolle bei der Erfassung von beweglichen Objekten wie Fußgänger oder Tiere durch Infrarotbilder von der Umgebung des gegenwärtigen Fahrzeugs und sie erzeugt einen Alarm, wenn bestimmt wird, dass die Möglichkeit einer Kollision groß ist.
Die Bildverarbeitungseinheit 1 umfasst ferner einen Lautsprecher für die Alarmausgabe und eine Art von Anzeigevorrichtungen, um Bilder, die von den Infrarotkameras 2R und 2L aufgenommen werden, anzuzeigen und um dem Fahrer des Fahrzeugs das Objekt bewusst zu machen, wie zum Beispiel eine Anzeigevorrichtung mit integriertem Zähler, wobei der Zähler den Fahrzustand des Fahrzeugs anhand von Zahlen darstellt, eine NAVI-Anzeige, die an der Konsole des gegenwärtigen Fahrzeugs vorgesehen ist, und ein HUD (Heads-Up-Display) zur Anzeige von Informationen, das hinter der Frontscheibe an einer Posi tion angeordnet ist, in der die Sicht des Fahrers nach vorne nicht beeinträchtigt wird.
Die Bildverarbeitungseinheit 1 umfasst ferner einen A/D-Wandler zum Umwandeln von eingegebenen analogen Signale in digitale Signale, einen Bildspeicher zum Speichern digitalisierter Bildsignale, eine CPU zur Ausführung von verschiedenen Rechenprozessen, ein RAM (Schreib-Lese-Speicher) zur Speicherung von Daten, die für die Rechenprozesse verwendet werden, ein ROM (Nur-Lese-Speicher) zum Speichern von Programmen, Tabellen, Kennfeldern etc. und eine Ausgabeschaltung für die Ausgabe von Ansteuersignalen für den Lautsprecher 6 und von Anzeigesignalen für die Anzeigevorrichtung wie beispielsweise das HUD. Die Bildverarbeitungseinheit 1 ist auf solche Weise konfiguriert, dass Ausgangssignale der Infrarotkameras 2R und 2L, des Gierratensensors 3, des Fahrzeuggeschwindigkeitssensors 4 und des Bremssensors nach Umwandlung in digitale Signale in die Bildverarbeitungseinheit 1 eingegeben werden.
Wie in 2 gezeigt ist, sind zwei Infrarotkameras 2R und 2L an Frontbereichen des Fahrzeugs in symmetrischen Positionen beiderseits der zentralen Achse des Fahrzeugs angeordnet. Beide Infrarotkameras 2R und 2L sind auf gleicher Höhe befestigt, so dass die optischen Achsen beider Kameras parallel zueinander liegen.
Es ist zu beachten, dass die Infrarotkamera eine Charakteristik besitzt, wonach der Ausgangssignalpegel (Helligkeit) mit zunehmender Temperatur des Objekts ansteigt. Wiederum ist zu beachten, dass das HUD 7a zur Anzeige der Bilder an einer Position angeordnet ist, in der die Sicht des Fahrers nicht beeinträchtigt wird.
Nachstehend werden Operationen der vorliegenden Ausführungsform mit Bezug auf die anliegenden Zeichnungen beschrieben.
3 ist ein Flussdiagramm, das Operationen für erfasste Objekte, zum Beispiel Fußgänger, und für die Erzeugung eines Alarms darstellt.
Zunächst erhält die Bildverarbeitungseinheit 1 die Infrarotbilder als die Ausgangssignale der Infrarotkameras 2R und 2L (Schritt S1), führt eine A/D-Umwandlung zur Umwandlung analoger Signale in digitale Signale durch (Schritt S2), und das digitale Grauwertbild wird in dem Bildspeicher gespeichert (Schritt S3). Es ist zu beachten, dass die Infrarotkamera 2R das Bild der rechten Seite und die Infrarotkamera 2L das Bild der linken Seite aufnimmt. Da das Bild der rechten Seite eine Abbildung eines Objekts in einer Position darstellt, die in der horizontalen Richtung von dem Objekt auf dem Bild der linken Seite verschoben ist, ermöglicht diese Verschiebung (Parallaxe) eine Berechnung der Distanz von dem Fahrzeug zu dem Objekt.
Als nächstes wird zur Unterscheidung des Objektbildes, das andere Fahrzeuge oder Fußgänger enthält, von dem Hintergrundbild das durch die rechte Kamera 2R erhaltene Bild der rechten Seite als Referenzbild festgelegt, und es wird ein Verfahren zur Änderung des Binärisierungsschwellwerts durchgeführt, um den Helligkeitsschwellwert ITH einzustellen (Schritt S4). Das Verfahren zur Änderung des Binärisierungsschwellwerts wird in einem nachfolgenden Abschnitt im Detail beschrieben.
Wenn der für die Binärisierungsverarbeitung verwendete Helligkeitsschwellwert ITH in Schritt S4 bestimmt wird, werden Bildsignale des Referenzbildes binärisiert, das heißt die Regionen, die heller als der Helligkeitsschwellwert ITH sind, werden auf "1" (weiß) gesetzt, und die Regionen, die dunkler als der Helligkeitsschwellwert ITH sind, werden auf "0" (schwarz) gesetzt (Schritt S5).
4 zeigt ein durch die Infrarotkamera 2R erfasstes Grauwertbild, und ein binärisiertes Bild wird, wie in 4B gezeigt, durch eine Binärisierungsverar beitung des Grauwertbildes erhalten. Es wird bestimmt, dass Körper, die von Rahmen P1 bis P4 in 4B umgeben sind, als Objekte festgelegt werden (im Folgenden als "sehr helle Regionen" bezeichnet).
Wenn binärisierte Bilddaten erhalten werden, wird eine Verarbeitung durchgeführt, um die binärisierten Daten in Lauflängendaten umzuwandeln (Schritt S6). Eine Zeile der Lauflängendaten wird gebildet, indem die durch die Binärisierungsverarbeitung bestimmte weiße Region als Pixelreihen dargestellt wird. Das heißt, die Breite der Lauflängenzeile entspricht der von einem Pixel, und die Länge der Lauflängenzeile entspricht der Gesamtlänge der die Zeile bildenden Pixels.
Als nächstes werden in Schritt S8 Objekte extrahiert, indem die Lauflängendaten, die von Bilddaten in Lauflängendaten umgewandelt wurden (Schritt S7), als Objekte markiert werden. Das heißt, die sehr hellen Regionen in 4B können als das Objekt 1 bis Objekt 4 extrahiert werden, indem angenommen wird, dass ein Objekt durch einen Teil dargestellt wird, in dem mehrere Lauflängenzeilen einander in der y-Richtung überlappen.
Wenn Objekte extrahiert werden, werden der Schwerpunkt G, Flächengrößen S und Seitenverhältnisse ASPECT von umschriebenen Vierecken von Objekten berechnet (Schritt S9).
Die Flächengrößen werden durch Addieren von Längen (run [i]–1) von Lauflängendaten für dasselbe Objekt A ermittelt, wobei angenommen wird, dass die Lauflängendaten für die Region A angegeben werden durch (x [i], y [i], A), wobei (i = 0, 1, 2, ..., N – 1). Die Koordinate (xc, yc) des Schwerpunkts G des Objekts A lässt sich ermitteln durch Multiplizieren einer jeweiligen Länge (run [i] – 1) der Lauflängendaten und jeweiliger Koordinaten (x [i] oder y [i]), durch Addieren der jeweiligen Multiplikationsprodukte und durch Dividieren des Ergebnisses der Addition durch die Flächengröße S.
Zusätzlich kann das Seitenverhältnis als das Verhältnis der horizontalen Länge zur vertikalen Länge des umschriebenen Vierecks des Objekts ermittelt werden.
Zu beachten ist, dass die tatsächliche Länge der Lauflängendatenzeile als (run [i] – 1) dargestellt ist, da die Lauflängendatenzeile durch die Anzahl von Pixels (run [i]) dargestellt wird. Der Schwerpunkt eines Objekts kann gegen den Schwerpunkt des umschriebenen Vierecks ausgetauscht werden.
Sobald der Schwerpunkt G, die Fläche S und das Seitenverhältnis für ein Objekt ermittelt sind, wird das Objekt in Form von Zeitreihen-Daten verfolgt, das heißt, das Objekt wird in jedem Abtastzyklus identifiziert (Schritt S10). Die Zeitreihen-Verfolgung wird durchgeführt, um zu bestimmen, ob zwei Objekte A und B, die zur Zeit k, welche eine diskrete Zeit einer anlogen Zeit t ist, extrahiert werden, die gleichen sind wie die Objekte C und D, die zur diskreten Zeit (k + 1) extrahiert werden. Wenn bestimmt wird, dass die Objekte A und B die gleichen sind wie die Objekte C und D, werden die Objekte C und D als die Objekte A und B markiert, und es wird die gleiche Verarbeitung in Form der Zeitreihen-Verfolgung wiederholt.
Die Positions(Schwerpunkt)koordinaten der jeweiligen Objekte werden in dem Speicher als die Zeitreihen-Positionsdaten zur Verwendung bei späteren Berechnungen gespeichert.
Die vorstehend beschriebene Verarbeitung in Schritt S5 bis S10 wird für das binärisierte Referenzbild (in dieser Ausführungsform das rechte Bild) durchgeführt.
Als nächstes liest die Bildverarbeitungseinheit die durch den Fahrzeuggeschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit VCAR und die durch den Gierratensensor 3 erfasste Gierrate YR und führt das Zeitintegral der Gier rate aus, um in der Folge den Drehwinkel/Einschlagwinkel θr des gegenwärtigen Fahrzeugs 10 zu erhalten (Schritt S11).
Parallel zu der Verarbeitung in Schritt S10 und S11 wird ein Verfahren zur Berechnung der Distanz zwischen dem Objekt und dem vorliegenden Fahrzeug 10 in Schritt S12 bis S14 durchgeführt. Da das Verfahren eine längere Zeit benötigt als die Schritte S10 und S11, erfolgt die Berechnung in den Schritten S12 bis S14 über eine längere Zyklusdauer als die der Schritte S10 und S11 (zum Beispiel ist die Zyklusdauer etwa dreimal länger als die Zyklusdauer für die Schritte S10 und S11).
Es wird eines der in dem binärisierten Bild des Referenzbildes (das rechte Bild) gefundenen Objektbilder ausgewählt, und das ausgewählte Objektbild wird als ein Suchbild R1 (gesamte von dem umschriebenen Viereck umgebene Region) auf dem rechten Bild festgelegt/eingestellt (Schritt S12).
Eine Suchregion (nachfolgend als korrespondierendes Bild bezeichnet) wird auf dem linken Bild festgelegt, um das dem Suchbild R1 auf dem rechten Bild entsprechende Bild zu suchen (Schritt S13). Praktisch wird eine Suchregion R2 auf dem linken Bild gemäß den oberen Positionen des umschriebenen Vierecks des Suchbildes R1 festgelegt. Ein Summierungswert der Helligkeitsdifferenz C (a, b), der die Korrelationsebene der Suchregion R1 mit der Suchregion R2 angibt, wird berechnet, und die Region, in der der Summierungswert der Helligkeitsdifferenz minimal wird, wird als das korrespondierende Bild extrahiert. Es ist zu beachten, dass diese Korrelationsberechnung unter Verwendung des Grauwertbildes, nicht des binärisierten Bildes durchgeführt wird.
Wenn die zurückliegend ermittelten Positionsdaten verfügbar sind, kann eine Region R2a, die schmaler ist als die Region R2, als Suchregion festgelegt werden.
In Übereinstimmung mit der Verarbeitung in Schritt S13 wird das Suchbild R1 in dem Referenzbild (rechtes Bild) extrahiert, und das demselben Objekt auf dem rechten Bild entsprechende Suchbild R4 wird extrahiert, der Schwerpunkt sowohl des Suchbildes R1 als auch des korrespondierenden Bildes R4 und die Parallaxe Δd (Anzahl von Pixels) werden ermittelt, und es wird die Distanz zwischen dem anwesenden Fahrzeug 10 und dem Objekt berechnet (Schritt S14).
Sind das Verfahren für die Berechnung des Drehwinkels/Einschlagwinkels θr in Schritt S11 und das Verfahren für die Berechnung der Distanz zwischen dem gegenwärtigen Fahrzeug 10 und dem Objekt in Schritt S14 abgeschlossen, werden als nächstes die Koordinate (x, y) auf dem Bild und die Distanz z in Realkoordinaten (X, Y, Z) umgewandelt (Schritt S15).
Wie in 2 gezeigt ist, werden die Realkoordinaten (X, Y, Z) gebildet, indem die Mittenposition der beiden Infrarotkameras (eine feste Position des gegenwärtigen Fahrzeugs 10) als Ursprung der Koordinaten festgelegt wird. Dagegen werden die Koordinaten des Bildes gebildet, indem die Mitte des Bildes als Ursprung der Koordinaten festgelegt wird, und die x-Achse wird als die horizontale Richtung und die y-Achse als die vertikale Richtung festgelegt.
Wenn die Realkoordinaten bestimmt werden, wird die Korrektur des Drehwinkels/Einschlagwinkels des gegenwärtigen Fahrzeugs 10 durchgeführt, um die durch die Kurvenfahrt des gegenwärtigen Fahrzeugs 10 verursachte Positionsverlagerung des Fahrzeugs zu korrigieren (Schritt S16). Das Korrekturverfahren auf der Basis des Drehwinkels/Einschlagwinkels des Fahrzeugs dient dazu, die Verschiebung des Fahrzeugs um Δx in der x-Richtung auf dem von der Kamera aufgenommenen Bild zu korrigieren, wenn sich das vorliegende Fahrzeug 10 innerhalb einer Zeitspanne zwischen dem Zeitpunkt k bis zu dem Zeitpunkt (k + 1) in einem Winkel von θr nach links wendet.
Es ist zu beachten, dass in der folgenden Erläuterung die Koordinaten (X, Y, Z) nach der Durchführung der Drehwinkel/Einschlagwinkel-Korrektur verwendet werden.
Wenn die Drehwinkel/Einschlagwinkel-Korrektur beendet ist, wird eine angenäherte Linie LMV, die dem Vektor der Bewegung des Objekts relativ zu dem gegenwärtigen Fahrzeug 10 entspricht, aus N (N = etwa 10) Elementkoordinaten der Positionsdaten des wirklichen Raums ermittelt, d.h. als Zeitseriendaten, die während einer Beobachtungsperiode von ΔT als Daten nach der Drehwinkel/Einschlagwinkel-Korrektur gewonnen werden (Schritt S17).
Danach werden die momentane Position P = (X (0), Y (0), Z (0)) und die vorherige (N-1) Abtastposition (vor der Zeit ΔT) P (X (N-1), Y (N-1), Z (N-1)) in die Positionen auf der angenäherten Linie LMV korrigiert, und es werden die korrigierten Koordinaten Pv (0) = (Xv (0), Yv (0), Zv (0)) und Pv (N-1) = (Xv (0), Yv (0), Zv (0)) erhalten.
Der Vektor der relativen Bewegung zu der Position Pv (0) als der sich in Richtung auf die Position Pv (N-1) bewegende Vektor wird durch das oben genannte Verfahren erhalten.
Wie vorstehend beschrieben, ermöglicht eine Berechnung des geometrischen Ortes der relativen Bewegung des Objekts für das gegenwärtige Fahrzeug 10 unter Verwendung einer Mehrzahl (N Elemente) von in einer Beobachtungsperiode gewonnenen Daten und die anschließende Erfassung/Ermittlung des Vektors der relativen Bewegung, der sich der Bewegung des Objekts relativ zu dem Fahrzeug 10 annähert, eine Fehlerreduzierung bei der Positionserfassung des Objekts und eine genaue Vorhersage der Möglichkeit einer Kollision mit dem Objekt.
Außerdem wird nach der Ermittlung des Vektors der relativen Bewegung ein Alarm-Bestimmungsverfahren durchgeführt, um die Möglichkeit einer Kollision mit dem erfassten Objekt zu bestimmen (Schritt S18).
Das Alarm-Bestimmungsverfahren (Schritt S18) ist ein Verfahren für die Erfassung/Ermittlung der Möglichkeit einer Kollision des gegenwärtigen Fahrzeugs 10 mit dem erfassten Objekt durch Ausführen beispielweise der folgenden Verfahren: ein Verfahren zur Bestimmung einer Kollision, ein Verfahren zur Bestimmung eines Kollisions-Nahbereichs, in dem bestimmt wird, ob sich das Fahrzeug im Nahbereich befindet, und ein Verfahren zur Bestimmung eines Kollisions-Näherungsbereichs, in dem bestimmt wird, ob sich das Fahrzeug dem Nahbereich nähert.
Das Verfahren zur Bestimmung eines Kollisions-Nahbereichs, in dem bestimmt wird, ob das gegenwärtige Fahrzeug dem erfassten Objekt nahe ist, wird durchgeführt, wenn bestimmt wird, dass das gegenwärtige Fahrzeug mit dem Objekt kollidieren kann. Des weiteren wird das Verfahren zur Bestimmung eines Kollisions-Näherungsbereichs, in dem bestimmt wird, ob sich das Fahrzeug einem Nahbereich nähert, durchgeführt, wenn in dem Verfahren zur Bestimmung des Kollisions-Nahbereichs bestimmt wird, dass die Wahrscheinlichkeit einer Kollision des gegenwärtigen Fahrzeugs mit dem Objekt gering ist.
Im Folgenden wird als Beispiel ein Fall beschrieben, in dem sich ein Objekt 20 mit einer Geschwindigkeit Vp aus einer Richtung von 90° zur Fahrtrichtung des gegenwärtigen Fahrzeugs auf das anwesende Fahrzeug zu bewegt.
Zuerst wird das Kollisions-Bestimmungsverfahren durchgeführt, indem zunächst die Geschwindigkeit Vs des Objekts relativ zu dem gegenwärtigen Fahrzeug 10 in z-Richtung in dem Fall ermittelt wird, in dem sich das Objekt während der Beobachtungszeit von ΔT dem gegenwärtigen Fahrzeug 10 aus der Distanz Zv (N-1) bis zur Distanz Zv (0) nähert, und indem dann bestimmt wird, ob das Ob jekt und das gegenwärtige Fahrzeug innerhalb der einen Sicherheitsspielraum aufweisenden Zeit kollidieren, wobei angenommen wird, dass sich das Objekt und das Fahrzeug unter Beibehaltung der relativen Geschwindigkeit Vs unterhalb eines Bereichs einer Höhe H bewegen. Die einen Sicherheitsspielraum (Zeitspielraum T) aufweisende Zeit wird so bestimmt, dass eine mögliche Kollisionszeit T früher als die vorhergesagte Kollisionszeit erfasst wird. Deshalb wird der Zeitspielraum T mit 2 bis 5 Sekunden bemessen. Zu beachten ist, dass die Höhe H eine vorgegebene Höhe ist, um einen Höhenbereich für die Kollisionsvorhersage vorzusehen. Daher wird die Höhe H normalerweise als eine Höhe festgelegt, die zweimal höher ist als die Höhe des gegenwärtigen Fahrzeugs.
Das Bestimmungsverfahren wird durchgeführt, um zu bestimmen, ob sich das Objekt in einem Nahbereich AR1 befindet, welcher der Bereich ist, in dem die Möglichkeit, dass das gegenwärtige Fahrzeug, wenn es sich vorwärts bewegt, mit dem Objekt kollidiert, groß ist. Der Nahbereich AR1 ist ein Teil des Dreiecksbereichs ARO, der als sichtbarer Bereich für die Kameras 2R und 2L definiert ist, wie das anhand der fettgedruckten Linie in 6 gezeigt ist, wobei der Nahbereich AR1 von dem Fahrzeug einen Abstand von weniger als Z1 = Vs × T und die Breite von α + 2β hat, wobei α die Breite des gegenwärtigen Fahrzeugs und β die auf beiden Seiten der Breite des gegenwärtigen Fahrzeugs zugegebene Randbreite (z.B. zwischen 50 und 100 cm) ist. Es ist zu beachten, dass der Nahbereich AR1 eine vorgegebene Höhe von H hat.
Weiterhin ist das Verfahren zur Bestimmung eines Kollisions-Näherungsbereichs ein Verfahren, in dem bestimmt wird, ob sich das Objekt in den Annäherungsbestimmungsbereichen AR2 und AR3 bewegt und den Nahbereich AR1 betritt und ob das Objekt mit dem gegenwärtigen Fahrzeug 10 kollidieren wird. Die Näherungsbestimmungsbereiche AR2 und AR3 sind Bereiche, die höhere X-Koordinaten (größere Breite in der transversalen Richtung des Nahbereichs) als der Nahbereich haben, wie das in 6 dargestellt ist. Zu beachten ist, dass die Näherungsbestimmungsbereiche AR2 und AR3 auch die gleiche vorgegebene Höhe H haben.
Wenn in dem Alarm-Bestimmungsverfahren, das das Kollisions-Bestimmungsverfahren, das Nahbereichs-Bestimmungsverfahren zum Bestimmen, ob sich das Fahrzeug in einem Nahbereich befindet, und ein Verfahren zur Bestimmung der Annäherung an den Kollisionsbereich, in dem bestimmt wird, ob sich das Fahrzeug dem Nahbereich nähert, einschließt, bestimmt wird, dass keine Möglichkeit für eine Kollision des gegenwärtigen Fahrzeugs mit einem Objekt gegeben ist (NEIN in Schritt 18), erfolgt die Rückkehr zu Schritt S1, und es werden die oben beschriebenen Verfahren wiederholt.
Wenn in dem Alarm-Bestimmungsverfahren (Schritt S18) bestimmt wird, dass die Möglichkeit einer Kollision gegeben ist, und wenn in dem Nahbereichs-Bestimmungsverfahren oder in dem Verfahren zur Bestimmung des Kollisions-Näherungsbereichs bestimmt wird, dass eine Kollision mit dem Objekt möglich ist (JA in Schritt S18), folgt in dem Ablauf das Alarmausgabe-Bestimmungsverfahren in Schritt S19.
In Schritt S19 wird das Alarmausgabe-Bestimmungsverfahren, d.h. die Bestimmung, ob ein Alarm ausgegeben wird oder nicht, durchgeführt, indem auf der Basis der Ausgabe BR des Bremssensors 5 bestimmt wird, ob der Fahrer des gegenwärtigen Fahrzeugs die Bremse betätigt (Schritt S19).
Wenn bestimmt wird, dass die Bremse des gegenwärtigen Fahrzeugs 10 von dem Fahrer betätigt wird, wird eine durch die Bremsbetätigung erzeugte Beschleunigung Gs (positiv in der Verzögerungsrichtung) berechnet, und wenn die Beschleunigung über einem vorgegebenen Schwellwert GTH liegt, wird bestimmt, dass eine Kollision durch die Bremsbetätigung vermieden werden kann, worauf das Alarmausgabe-Bestimmungsverfahren abgeschlossen wird (NEIN in Schritt S19) und die Rückkehr zu Schritt S1 erfolgt und die vorgenannten Verfahren wiederholt werden.
Wenn eine angemessene Bremsbetätigung erfolgt, ist es möglich, die Alarmausgabe zu stoppen und dadurch zu vermeiden, dass der Fahrer gestört wird.
Wenn dagegen die Beschleunigung Gs unter dem vorgegebenen Schwellwert liegt oder wenn der Fahrer des gegenwärtigen Fahrzeugs 10 die Bremse nicht betätigt, führt der Ablauf direkt zu Schritt S20 (JA in Schritt 19), wo die Wahrscheinlichkeit eines Kontakts des gegenwärtigen Fahrzeugs mit dem Objekt sehr hoch ist, so dass der akustische Alarm ausgegeben (Schritt S20) und zum Beispiel ein von der rechten Infrarotkamera 2R aufgenommenes rechtes Bild auf dem Display angezeigt wird und das sich nähernde Objekt hervorgehoben wird, um den Fahrer des gegenwärtigen Fahrzeugs zu warnen (Schritt S21).
Es ist zu beachten, dass der vorgegebene Schwellwert GTH der Beschleunigung dem Beschleunigungswert entspricht, wenn das gegenwärtige Fahrzeug innerhalb des Fahrdistanz von Zv (0) angehalten werden kann, wenn die durch Bremsoperation erzeugte Beschleunigung Gs beibehalten wird.
Wie vorstehend beschrieben, werden die Objektextraktions- und Alarmausgabeoperationen durch die Bildverarbeitungseinheit 1 der Infrarotbildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform ausgeführt. Es folgt nachstehend eine detaillierte Erläuterung des Verfahrens zur Änderung des Binärisierungsschwellwerts in Schritt S4 in dem in 3 dargestellten Flussdiagramm.
7 ist ein Flussdiagramm, das Operationen der Verarbeitung für die Änderung des Binärisierungsschwellwerts gemäß der vorliegenden Ausführungsform der vorliegenden Erfindung darstellt.
In 7 bestimmt die Bildverarbeitungseinheit 1, ob dies das erste Verfahren der Änderung des Binärisierungsschwellwerts nach dem Starten der Bildverarbeitungseinheit 1 ist (Schritt S31).
Wenn in Schritt S31 bestimmt wird, dass dies die erste Binärisierungsverarbeitung nach dem Starten der Bildverarbeitungseinheit 1 ist (JA in Schritt S31), erstellt die Bildverarbeitungseinheit 1 ein Helligkeitshistogramm des Grauwertbildes, das in Schritt S3 in dem in 3 dargestellten Flussdiagramm erhalten wurde (Schritt S32). Auf dem Grauwertbild ist eine Region mit einer höheren Temperatur als eine Region dargestellt, die stärker weiß ist, oder als eine Region mit größerer Helligkeit. Das Histogramm des Grauwertbildes wird erhalten, indem die Helligkeit an der Abszisse angegeben wird und indem die Anzahl von Pixels bei einer bestimmten Helligkeit, d.h. Häufigkeit der Pixels bei einer entsprechenden Helligkeit als H [I] in Richtung der vertikalen Achse dargestellt wird.
Aus dem oben beschriebenen Helligkeitshistogramm wird durch ein Modenverfahren ein Initialwert INI_TH für den Helligkeitsschwellwert eingestellt. Die Einstellung des Binärisierungsschwellwerts durch das Modenverfahren wird wie in 8 dargestellt durchgeführt (Schritt S33). Die Einstellung des Binärisierungsschwellwerts durch das Modenverfahren wird durchgeführt, indem zuerst zwei Helligkeitswerte des Hintergrund-Peaks und des Objekt-Peaks, die in dem Helligkeitshistogramm erscheinen, ermittelt werden, und indem dann ein Helligkeitsschwellwert ITH55 als ein Wert ermittelt wird, der den Helligkeitsunterschied zwischen dem Helligkeitswert des Hintergrundpeaks und dem Helligkeitswert des Hochtemperaturobjekt-Peaks durch ein Verhältnis von Q [%] und (1-Q) [%] dividiert.
Bei den Operationen des erstmaligen Verfahrens für die Änderung des Binärisierungsschwellwerts wird, nachdem der Initialwert INI_TH durch das Modenverfahren für den Helligkeitsschwellwert ITH festgelegt wurde, die Operation des Verfahrens für die Änderung des Binärisierungsschwellwerts beendet, und der Ablauf führt zurück zu Schritt S5, der in 3 dargestellt ist, und es werden die Objekterfassungs- und die Alarmausgabeoperation kontinuierlich durchgeführt.
Wenn dagegen die Operation in Schritt S31 nicht das erstmalige Verfahren der Änderung des Binärisierungsschwellwerts nach dem Starten der Bildverarbeitungseinheit 1 ist (NEIN in Schritt S31), führt die Bildverarbeitungseinheit 1 die Binärisierungsverarbeitung für das rechte Bild, das dieses Mal von der Infrarotkamera 2R aufgenommen wird, als Referenzbild durch, unter Verwendung des in der vorherigen Verarbeitung ermittelten Helligkeitsschwellwerts ITH (Schritt S34).
Als nächstes wird das Binärisierungsflächenverhältnis P des binärisierten Bildes berechnet (Schritt S35). Hier gibt das Binärisierungsflächenverhältnis das Verhältnis des Objektbildes für die Binärisierung zu dem Gesamtbild an und wird durch die folgende Gleichung definiert. P = Gesamtpixelzahlen des Objekts für Binärisierung/Gesamtpixelzahlen des Gesamtbildes für Binärisierung × 100 [%]
Nach der Ermittlung des Binärisierungsflächenverhältnisses wird bestimmt, ob das Binärisierungsflächenverhältnis unter einem vorgeschriebenen Wert α [%] liegt und ob der Helligkeitsschwellwert ITH der minimale Helligkeitswert Min_TH ist (Schritt S36).
Wenn bestimmt wird, dass das Binärisierungsflächenverhältnis unter einem vorgeschriebenen Wert α [%] liegt und dass der Helligkeitsschwellwert ITH nicht der minimale Helligkeitswert Min_TH ist (JA in Schritt S36), wird in Schritt S37 bestimmt, ob die Bedingungen in Schritt S36 öfter als M Male innerhalb der vergangenen Periode von N Sekunden (z.B. 1 Sekunde) erfüllt wurden. Es ist zu beachten, dass die Ergebnisse der Bestimmung einer Durchschnittsermittlungsoperation unterzogen werden, um ein Pendeln der Verarbeitungsoperationen des Verfahrens zur Änderung des Binärisierungsschwellwerts zu vermeiden.
In Schritt S37 wird, wenn die Bedingungen in Schritt S36 innerhalb der Periode von N Sekunden öfter als M Male erfüllt wurden (JA in Schritt 37), ein Wert mit einer vorgegebenen Rate X von dem Helligkeitsschwellwert ITH subtrahiert, um den Helligkeitsschwellwert zu reduzieren (Schritt S33).
In Schritt S39 wird bestimmt, ob der Helligkeitsschwellwert unter dem minimalen Helligkeitsschwellwert Min_TH liegt (Schritt S39).
Wenn in Schritt S39 bestimmt wird, dass der Helligkeitsschwellwert unter dem minimalen Helligkeitsschwellwert Min_TH liegt (JA in Schritt S39), wird der Helligkeitsschwellwert ITH auf den minimalen Helligkeitsschwellwert Min_TH eingestellt (Schritt S40).
Des weiteren wird, wenn in Schritt S37 bestimmt wird, dass die Bedingungen in Schritt S36 innerhalb der vergangenen Periode von N Sekunden nicht öfter als M Male erfüllt wurden (NEIN in Schritt S37), die Operation des Verfahrens für die Änderung des Binärisierungsschwellwerts abgeschlossen.
Außerdem wird die Operation des Verfahrens für die Änderung des Binärisierungsschwellwerts auch dann abgeschlossen, wenn in Schritt S36 bestimmt wird, dass der Helligkeitsschwellwert ITH nicht unter dem minimalen Helligkeitsschwellwert Min_TH liegt (NEIN in Schritt S39).
Wenn dagegen in Schritt S36 bestimmt wird, dass das Binärisierungsflächenverhältnis P unter einem vorgeschriebenen Wert α (%) liegt und der Helligkeitsschwellwert ITH gleich dem minimalen Helligkeitswert Min_TH ist (NEIN in Schritt S36), wird bestimmt, ob das Binärisierungsflächenverhältnis P unter einem vorgeschriebenen Wert β (%) liegt und ob der Helligkeitsschwellwert ITH gleich dem maximalen Helligkeitsschwellwert Max_TH ist (Schritt S41).
Wenn in Schritt S41 bestimmt wird, dass das Binärisierungsflächenverhältnis P unter einem vorgeschriebenen Wert β (%) liegt und dass der Helligkeitsschwellwert ITH nicht der maximale Helligkeitsschwellwert Max_TH ist (JA in Schritt S41), wird bestimmt, ob die Bedingungen in Schritt S41 innerhalb der vergangenen Periode von N Sekunden (z.B. eine Sekunde) öfter als M Male erfüllt wurden. Es ist zu beachten, dass die Ergebnisse der Bestimmung einer Durchschnittsermittlungsoperation unterzogen werden, um ein Pendeln bei den Operationen des Verfahrens für die Änderung des Binärisierungsschwellwerts zu vermeiden.
Wenn in Schritt S42 bestimmt wird, dass die Bedingungen in Schritt S41 innerhalb der Periode von N Sekunden öfter als M Male erfüllt wurden (JA in Schritt S42), wird ein vorgeschriebenes Verhältnis X zu dem Helligkeitsschwellwert ITH addiert, um den Helligkeitsschwellwert ITH zu erhöhen (Schritt S43).
Danach wird bestimmt, ob der Helligkeitsschwellwert ITH über dem maximalen Helligkeitsschwellwert Max_TH liegt (Schritt S44).
Wenn in Schritt S44 bestimmt wird, dass der Helligkeitsschwellwert ITH über dem maximalen Helligkeitsschwellwert Max_TH liegt (JA in Schritt S44), wird der Helligkeitsschwellwert ITH auf den maximalen Helligkeitsschwellwert Max_TH eingestellt (Schritt S45). Wenn dagegen in Schritt S41 bestimmt wird, dass das Binärisierungsflächenverhältnis P unter einem vorgeschriebenen Wert β (%) liegt oder dass der Helligkeitsschwellwert ITH der maximale Helligkeitsschwellwert Max_TH ist (NEIN in Schritt S41), wird die Operation des Verfahrens für die Änderung des Binärisierungsschwellwerts abgeschlossen.
Wenn in Schritt S42 bestimmt wird, dass die Bedingungen in Schritt S41 innerhalb der vergangenen Periode von N Sekunden öfter als M Male erfüllt wurden (Schritt S42), wird das Verfahren für die Änderung des Binärisierungsschwellwerts ebenfalls abgeschlossen.
Des weiteren wird das Verfahren für die Änderung des Binärisierungsschwellwert abgeschlossen, wenn in Schritt S44 bestimmt wird, dass der Helligkeitsschwellwert ITH nicht über dem maximalen Helligkeitsschwellwert Max_TH liegt (NEIN in Schritt S44).
Es ist zu beachten, dass der vorgenannte minimale Helligkeitsschwellwert Min_TH ein unterer Grenzwert der Helligkeitsschwellwerte ist, der als Helligkeitswert so ermittelt wird, dass er im Hinblick auf die wechselnde Umgebung nicht von der Straßenoberfläche beeinflusst wird.
Die Festlegung/Einstellung des minimalen Helligkeitsschwellwerts wird nachstehend unter Bezugnahme auf die anliegenden Zeichnungen beschrieben. Wie in 9 gezeigt ist, wird der minimale Helligkeitsschwellwert Min_TH 60 in der Weise ermittelt, das er die folgenden Bedingungen erfüllt.

(1) Der minimale Helligkeitsschwellwert wird als ein Helligkeitswert zwischen der Helligkeit des Hintergrund-Peaks und der Helligkeit des Objekt-Peaks eingestellt, so dass das Objekt mit der höheren Temperatur zuverlässig extrahiert werden kann.
(2) Der minimale Helligkeitsschwellwert wird als ein Helligkeitswert so eingestellt, dass das Objekt mit der höheren Temperatur zuverlässig extrahiert werden kann, ohne von der Dispersion aufgrund des Rauschens eines Bildes beeinträchtigt zu werden.

Es ist zu beachten, dass bei Verwendung eines Schwellwerts unterhalb des minimalen Helligkeitsschwellwerts Min_TH für das Binärisierungsverfahren des in 10A gezeigten Bildes Strassenbankett und Hintergrundbilder zusätzlich zu dem Fußgänger extrahiert werden, wie in 10B gezeigt.
Außerdem ist der maximale Helligkeitsschwellwert ein für das Binänsierungsverfahren eines Bildes verwendeter oberer Grenzwert des Helligkeitsschwellwerts, und der maximale Helligkeitsschwellwert wird in solcher Weise auf einen Helligkeitswert eingestellt, dass er ungeachtet der sich ändernden Umgebung unter den folgenden Bedingung nicht zu einem Fehlschlag beim Extrahieren des Objekts führt.
Die Einstellung des maximalen Helligkeitsschwellwerts Max_TH wird nachstehend unter Bezugnahme auf die anliegenden Zeichnungen beschrieben. Wie in 11 gezeigt ist, wird der maximale Helligkeitsschwellwert Max_TH 61 wie folgt eingestellt.
(1) Der maximale Helligkeitsschwellwert Max_TH wird als Helligkeitswert zwischen dem minimalen Helligkeitsschwellwert Min_TH und einer dem Hochtemperaturobjekt-Peak in dem Helligkeitshistogramm entsprechenden Helligkeit oder zwischen dem minimalen Helligkeitsschwellwert Min_TH und einer maximalen Helligkeit des Hochtemperaturobjekts in dem Helligkeitshistogramm eingestellt, wobei dafür gesorgt wird, dass das Objekt nicht durch eine Helligkeitsschwelle über dem maximalen Helligkeitsschwellwert extrahiert werden kann.
Die vorstehend erwähnte sich ändernde Umgebung bedeutet die Änderung der Umgebungstemperatur des Fahrzeugs durch einen Jahreszeitenwechsel, durch das Verlassen einer Garage oder durch das Fahren hinter dem anderen Fahrzeug oder aus anderen Gründen.
Darüber hinaus liegen die vorgeschriebenen Werte α und β zur Bestimmung des Binärisierungsflächenverhältnisses P vorzugsweise unter 10%, weil das tatsächliche Bild unvermeidbar die Straßenoberfläche oder den Himmel in der tatsächlichen Fahrumgebung enthält.
Es ist zu beachten, dass das Verfahren zur Änderung des Binärisierungsschwellwerts unter Verwendung eines von der Infrarotkamera 2R aufgenommenen Bildes durchgeführt wird.
Außerdem umfasst die Bildverarbeitungseinheit 1 in der vorliegenden Ausführungsform die Vorrichtung für die Einstellung des Helligkeitsschwellwerts. Praktisch gesprochen entsprechen Schritt S4 in 3 und die Schritte S31 bis S45 in 7 der Vorrichtung für die Einstellung des Helligkeitsschwellwerts.
Wie vorstehend beschrieben, ändert die Infrarotbildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung bei der Binärisierungsverarbeitung eines Infrarotbildes für die Extraktion eines Objekts, z.B. eines Fußgängers, aus dem Bild den Helligkeitsschwellwert ITH in einem Bereich von dem Untergrenzenschwellwert, d.h. dem minimalen Helligkeitsschwellwert Min_TH, bis zu dem maximalen Helligkeitsschwellwert, d.h. dem maximalen Helligkeitsschwellwert Max_TH, in der Weise, dass die Fläche des Objektbildes, um eine vorbestimmte Fläche zu sein, optimiert wird. Ferner wird bei der Änderung des Helligkeitsschwellwerts bestimmt, wie viele Male die Bedingungen für die Änderung des Schwellwerts innerhalb einer vorgegebenen Zeitperiode erfüllt werden, und der vorgegebene Helligkeitsschwellwert wird reduziert oder erhöht, indem ein vorgegebenes Verhältnis X von dem vorgegebenen Schwellwert ITH subtrahiert oder der vorgegebene Schwellwert ITH um ein vorgegebenes Verhältnis X erhöht wird, was die Binärisierungsverarbeitung stabilisiert, indem ein Pendeln des Schwellwerteinstellungsverfahrens und eine Empfindlichkeit der Binärisierungseinstelloperation für Umgebungsänderungen verhindert werden.
Zweite Ausführungsform
Als nächstes wird eine zweite Ausführungsform der vorliegenden Erfindung mit Bezug auf die anliegenden Zeichnungen beschrieben.
Die Infrarotbildverarbeitungsoperationen gemäß der zweiten Ausführungsform der vorliegenden Erfindung unterscheiden sich von jenen der ersten Ausführungsform der vorliegenden Erfindung dadurch, dass das in 7 dargestellte Flussdiagramm, das für die Binärisierungsschwellwert-Änderungsoperationen durch die Bildverarbeitungseinheit 1 der Infrarotbildverarbeitungsvorrichtung in der ersten Ausführungsform verwendet wird, in die durch das Flussdiagramm in 12 dargestellten Binärisierungsschwellwert-Änderungsoperationen geändert wird.
Zu beachten ist, dass die Konstruktion der Infrarotbildverarbeitungsvorrichtung und die Operationen, ausgenommen die Binärisierungsschwellwert-Änderungsoperationen, die gleichen sind wie jene der ersten Ausführungsform, so dass deren Erläuterung entfallen kann.
Die Operationen des Binärisierungsschwellwert-Änderungsverfahrens in der zweiten Ausführungsform der Erfindung werden im Folgenden unter Bezugnahme auf 12 im Detail beschrieben.
Die Operationen des Binärisierungsschwellwert-Änderungsverfahrens gemäß der zweiten Ausführungsform unterscheiden sich von den Operationen des Binärisierungsschwellwert-Änderungsverfahrens gemäß der ersten Ausführungsform dadurch, dass bei der in 7 dargestellten Operation des Binärisierungsschwellwert-Änderungsverfahrens von Schritt S31 bis Schritt S45 die Operation in Schritt S38 in der ersten Ausführungsform durch die Operationen in den Schritten S48 und S49 der zweiten Ausführungsform ersetzt wird und dass die Operation in Schritt S43 in der ersten Ausführungsform durch die Ope rationen in den Schritten S48 und S49 in der zweiten Ausführungsform ersetzt wird. Außerdem sind bei den Operationen des Binärisierungsschwellwert-Änderungsverfahrens gemäß der in 12 gezeigten vorliegenden Ausführungsform die Operationen in den Schritten mit den gleichen Schrittnummern wie bei den Operationen des Binärisierungsschwellwert-Änderungsverfahrens gemäß der in 7 gezeigten ersten Ausführungsform die gleichen wie die in der ersten Ausführungsform beschriebenen Operationen.
Demzufolge werden die Operationen des Binärisierungsschwellwert-Änderungsverfahrens gemäß der zweiten Ausführungsform hauptsächlich mit Konzentration auf die Verfahrensschritte S46, S47, S48 und S49 beschrieben.
Ähnlich der ersten Ausführungsform werden Operationen der Verfahrensschritte S31 bis S34 durchgeführt, und das Binärisierte Flächenverhältnis P des Binärisierten Referenzbildes wird in Schritt S35 erhalten. Wenn in Schritt S36 bestimmt wird, dass das Flächenverhältnis P kleiner ist als α (%) und dass der Helligkeitsschwellwert ITH nicht der minimale Helligkeitsschwellwert Min_TH ist (JA in Schritt S36), werden die Ergebnisse der Bestimmung einer Durchschnittsermittlungsoperation in Schritt S36 unterzogen, um ein Pendeln der Operationen des Binärisierungsschwellwert-Änderungsverfahrens zu verhindern (JA in Schritt S37).
Im Fall von Operationen der Binärisierungsschwellwert-Änderung gemäß der ersten Ausführungsform wurde der Helligkeitsschwellwert ITH durch Subtrahieren eines vorgegebenen Verhältnisses von dem in Schritt S38 ermittelten Helligkeitsschwellwert reduziert. Im Fall der zweiten Ausführungsform dagegen erstellt die Bildverarbeitungseinheit 1 ein Helligkeitshistogramm unter Verwendung des in Schritt S3 in 3 erhaltenen Grauwertbildes, ähnlich dem Schritt S32 von 32 in der ersten Ausführungsform (Schritt S46).
Ein neuer Schwellenwert mode_TH, der unter Anwendung des Modenverfahrens aus dem oben genannten Helligkeitshistogramm erhalten wird, wird auf den Helligkeitsschwellwert ITH eingestellt (Schritt S47). Da die Einstellung des Binärisierungsschwellwerts unter Anwendung des Modenverfahrens mit Bezug auf 8 in der ersten Ausführungsform beschrieben wurde, erübrigt sich die Erläuterung des Modenverfahrens.
Nachdem in Schritt S47 ein neuer Schwellwert auf den Helligkeitsschwellwert ITH eingestellt wurde, werden die Verfahrensoperationen in den Schritten 39 bis 40 durchgeführt, ähnlich der ersten Ausführungsform, und die Operationen des Binärisierungsschwellwert-Änderungsverfahrens werden abgeschlossen.
Wenn dagegen die Bedingungen in Schritt S36 (NEIN in Schritt S6) nicht erfüllt werden, führt der Ablauf weiter zu Schritt S41. Wenn in Schritt S41 bestimmt wird, dass das in Schritt S35 ermittelte Binärisierungsflächenverhältnis P über β (%) liegt und dass der Helligkeitsschwellwert ITH nicht der maximale Helligkeitsschwellwert Max_TH ist (JA in Schritt S41), werden die Ergebnisse in Schritt S47 in dem nachfolgenden Schritt S42 der Durchschnittsermittlungsoperation unterzogen (JA in Schritt S41).
Anschließend erstellt die Bildverarbeitungseinheit 1 in Operationen des Binärisierungsschwellwert-Änderungsverfahrens gemäß der zweiten Ausführungsform ein Helligkeitswert-Histogramm auf der Basis des in Schritt S3 in dem in 3 gezeigten Flussdiagramm erhaltenen Grauwertbildes (Schritt S48), im Gegensatz zu der Vergrößerung des Helligkeitsschwellwerts ITH um ein vorgegebenes Verhältnis in Schritt S43 in Operationen des Binärisierungshelligkeitswert-Änderungsverfahrens gemäß der ersten Ausführungsform.
In Schritt S49 wird ein neuer Helligkeitsschwellwert mode_TH durch das Modenverfahren aus dem oben genannten Histogramm gewonnen, und der neue Helligkeitsschwellwert mode_TH wird auf den Schwellwert eingestellt.
Wenn in Schritt S49 der neue Schwellwert auf den Helligkeitsschwellwert ITH eingestellt wird, erfolgt die Verarbeitung in den Schritten S44 bis S45 ähnlich wie in der ersten Ausführungsform, und die Operationen des Verfahrens für die Änderung des binären Schwellwerts werden abgeschlossen.
Es ist zu beachten, dass das oben genannte Binärisierungsschwellwert-Änderungsverfahren unter Verwendung des durch die Infrarotkamera 2R erhaltenen rechten Bildes ähnlich wie in der ersten Ausführungsform durchgeführt wird.
Die in der Bildverarbeitungseinheit 1 enthaltene Vorrichtung zur Einstellung des Helligkeitsschwellwerts entspricht dem in der ersten Ausführungsform an früherer Stelle beschriebenen Schritt S4 in 3 und den Schritten S31 bis S37, S39 bis S42 und S46 und 49, die in 12 gezeigt sind.
Wie vorstehend beschrieben, ändert die Infrarotbildverarbeitungsvorrichtung der vorliegenden Erfindung den Helligkeitsschwellwert, der bei der Binärisierungsverarbeitung verwendet wird, um ein Objekt wie beispielsweise einen Fußgänger aus einem Infrarotbild zu extrahieren, in der Weise, dass die durch die Binärisierungsverarbeitung zu extrahierende Flächengröße in einen vorgegebenen Bereich von dem minimalen Helligkeitsschwellwert Min_TH bis zu dem maximalen Helligkeitsschwellwert Max_TH fällt. Im Fall der Änderung des Helligkeitsschwellwerts ITH wird gezählt, wie viele Male innerhalb einer vorgegebenen Zeitperiode die Bedingungen für die Änderung des Schwellwerts erfüllt werden, und der Schwellwert wird durch das Modenverfahren direkt eingestellt, so dass ein Pendeln des Schwellwert-Einstellverfahrens verhindert und der genaue Schwellwert für das Binärisierungsverfahren rasch eingestellt werden kann.
In der obenstehenden Beschreibung wird die "Fläche" des Objekts normalerweise zur Angabe des Binärisierungsflächenverhältnisses verwendet. Außer dem ist zu beachten, dass die "Fläche" des durch die Binärisierung extrahierten Objektbildes auch die Gesamtpixelzahlen des Objekts für die Binärisierung angibt.
Die vorliegende Erfindung stellt eine Infrarotbildverarbeitungsvorrichtung bereit, die zu einer Binärisierungsverarbeitung in Reaktion auf die Änderung des Helligkeitshistogramms in der Lage ist. Die Bildverarbeitungseinheit der Bildverarbeitungsvorrichtung führt eine Binärisierungsverarbeitung für ein Infrarotbild unter Verwendung eines bei der vorhergehenden Verarbeitung bestimmten Helligkeitsschwellwerts durch und berechnet das Flächenverhältnis P. Wenn das Binärisierungsflächenverhältnis P unter einem vorgeschriebenen Wert α (%) liegt und wenn der Helligkeitsschwellwert nicht der minimale Helligkeitsschwellwert Min_TH ist, wird der Helligkeitsschwellwert ITH durch Subtrahieren eines vorgegebenen Verhältnisses reduziert. Ähnlich wird, wenn das Binärisierungsflächenverhältnis P über einem vorgegebenen Wert β (%) liegt und der Helligkeitsschwellwert nicht mit dem maximalen Helligkeitsschwellwert Max_TH übereinstimmt, der Helligkeitsschwellwert durch Vergrößern eines vorgeschriebenen Werts auf den Helligkeitsschwellwert ITH erhöht.

Claims

Binärisierungsverfahren für ein von einer Infrarotkamera aufgenommenes Infrarotbild, umfassend: Einstellen (S33) eines Schwellwerts zwischen zwei Helligkeitswerten, die zwei in dem Helligkeitshistogramm (S32) erscheinenden Häufigkeitspeaks entsprechen. die einem Hintergrundbild und einem Objektbild zugeordnet sind; Änderung (S38, S43; S47, S49) des Schwellwerts durch einen Helligkeitsschwellwert-Einstellabschnitt auf solche Weise, dass die Fläche des durch das Binärisierungsverfahren extrahierten Bildes in einen vorgegebenen Bereich fällt, dadurch gekennzeichnet, dass die Änderung des Schwellwerts nur dann durchgeführt wird, wenn die Fläche des durch das Binärisierungsverfahren extrahierten Bildes innerhalb einer vergangenen Periode von N Sekunden öfter als M Mal nicht in den vorgegebenen Bereich fiel (S37, S42).
Binärisierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Helligkeitsschwellwert-Einstellabschnitt im voraus mit einem minimalen Helligkeitswert (S39) versehen wird, der über dem Helligkeitswert liegt, welcher dem Häufigkeits-Peak entspricht, der dem Hintergrundbild zugeordnet ist, und mit einem maximalen Helligkeitswert (S44), der unter dem Helligkeitswert liegt, welcher dem Häufigkeits-Peak entspricht, der dem Objektbild zugeordnet ist.