DE102005056616B4

DE102005056616B4 - Fahrzeugumgebungsüberwachungsvorrichtung

Info

Publication number: DE102005056616B4
Application number: DE102005056616A
Authority: DE
Inventors: Nobuharu Wako Nagaoka; Takayuki Wako Tsuji; Masahito Wako Watanabe
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-11-30
Filing date: 2005-11-28
Publication date: 2010-09-23
Anticipated expiration: 2025-11-29
Also published as: JP2006151300A; JP4128562B2; US7388476B2; US20060126898A1; DE102005056616A1

Abstract

Fahrzeugumgebungsüberwachungsvorrichtung, welche auf Grundlage eines mittels einer Infrarotabbildungsvorrichtung (2R, 2L) aufgenommenen Graustufenbildes einen in der Umgebung eines Fahrzeugs (10) vorhandenen Körper als ein Objekt extrahiert, umfassend:
eine Extraktionseinrichtung, die aus durch Binärisieren des Graustufenbildes erhaltenen Bilddaten ein binärisiertes Objekt extrahiert;
eine Kantenerfassungseinrichtung, die eine Kante in dem Graustufenbild erfasst;
eine Horizontalkanten-Bestimmungseinrichtung, die bestimmt, ob die durch die Kanten-Erfassungseinrichtung erfasste horizontale Kante in einem vorgeschriebenen Bereich von der oberen Endposition (OBJ_TOP) oder der unteren Endposition (OBJ_BOT) des durch die Extraktionseinrichtung extrahierten binärisierten Objekts existiert; und eine Objekttyp-Bestimmungseinrichtung, die auf Grundlage eines Bestimmungsergebnisses der Horizontalkanten-Bestimmungseinrichtung einen Objekttyp bestimmt,
dadurch gekennzeichnet, dass die Kantenerfassungseinrichtung dort, wo horizontale Linien (I) Seiten des Objekts in dem Graustufenbild schneiden, horizontale Kanten erfasst, und dass, wenn der Längenanteil (RATE (I)) einer solchen horizontalen Kante, deren Höhenposition relativ zu den anderen horizontalen Kanten maximal oder minimal ist, die Länge der horizontalen Linien (I) um...

Description

Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsüberwachungsvorrichtung, die Objekte durch Durchführen einer Binärisierungsverarbeitung von durch Infrarotkameras aufgenommenen Bildern extrahiert.
Herkömmlich ist eine Anzeigeverarbeitungseinrichtung bekannt, bei der ein Objekt, etwa ein Fußgänger, der möglicherweise mit einem Fahrzeug zusammenstößt, aus einem durch eine Infrarotkamera aufgenommen Infrarotbild einer Fahrzeugumgebung extrahiert wird und Information über dieses Objekt dem Fahrer zur Verfügung gestellt wird (siehe beispielsweise die JP-A-H11-328364 ).
Diese Anzeigeverarbeitungseinrichtung sucht durch Binärisieren des Inrarotbilds einen Bereich (binärisiertes Objekt), in dem helle Teile konzentriert sind, und bestimmt auf Grundlage des aus einem Seitenverhältnis oder Füllfaktor des binärisierten Objekts berechneten Abstands, ob das binärisierte Objekt der Kopf eines Fußgängers ist. Sie bestimmt darüber hinaus eine tatsächliche Fläche und einen Schwerpunkt im Infrarotbild. Dann wird die Höhe des Fußgängers im Infrarotbild aus dem Abstand zwischen dem Kopfteilbereich des Fußgängers und der Infrarotkamera sowie einer Durchschnittshöhe von erwachsenen Personen berechnet, und ein den Körper eines Fußgängers enthaltender Körperbereich wird festgelegt. Durch Trennen und Anzeigen des Kopfbereichs und des Körperbereichs von anderen Bereichen wird bezüglich eines Fußgängers eine anschauliche Unterstützung für den Fahrer durchgeführt.
Da übrigens die Anzeigeverarbeitungsvorrichtung des Beispiels des oben genannten Stands der Technik einen Fußgänger aufgrund einer Bestimmung der Form für einen Kopfteilbereich oder einen Körperteilbereich im Infrarotbild erfasst, kann es schwierig werden, einen Fußgänger von einer künstlichen Struktur zu unterscheiden, die die Form eines Fußgängers hat, und insbesondere eine ähnliche Form, Größe und Positionshöhe des Fußgängerkopfes hat und Wärme abstrahlt.
Aus der DE 102 28 638 A1 ist eine Fahrzeugumgebungsüberwachungsvorrichtung nach dem Oberbegriff von Anspruch 1 bekannt. Dort wird eine künstliche Struktur basierend auf einer horizontalen Kante bestimmt, welche wiederum mittels einer Mustervorlage bestimmt wird, nicht aber gemäß dem horizontalen Längenanteil einer Kante davon.
Aufgabe der vorliegenden Erfindung ist es, eine Fahrzeugumgebungsüberwachungsvorrichtung bereitzustellen, die in der Lage ist, einen Fußgänger und eine künstliche Struktur in einem Infrarotbild genau zu unterscheiden und zu extrahieren.
Zur Lösung der obigen Aufgabe sieht die vorliegende Erfindung eine Fahrzeugumgebungsüberwachungsvorrichtung gemäß Anspruch 1 vor.
Die Vorrichtung extrahiert einen in der Umgebung eines Fahrzeugs als ein Objekt vorhandenen Körper auf Grundlage eines durch eine Infrarotabbildungseinrichtung aufgenommenen Bildes und umfasst eine Extraktionseinrichtung für ein binärisiertes Objekt, welche ein binärisiertes Objekt aus durch Binärisieren von Graustufenbildern des Bildes erhaltenen Bilddaten extrahiert, eine Kanten-Erfassungseinrichtung, die Kanten in dem Graustufenbild erfasst, eine Horizontalkanten-Bestimmungseinrichtung, die bestimmt, ob eine jeweilige durch die Kanten-Erfassungseinrichtung erfasste Horizontalkante in einem vorgeschriebenen Bereich von einem oberen Ende oder einem unteren Ende des durch die Extraktionseinrichtung für ein binärisiertes Objekt extrahierten binärisierten Objekts existiert, sowie eine Objekttyp-Bestimmungseinrichtung, die einen Objekttyp auf Grundlage eines Bestimmungsergebnisses der Horizontalkanten-Bestimmungseinrichtung bestimmt.
Gemäß der oben beschriebenen Fahrzeugumgebungsüberwachungsvorrichtung kann eine künstliche Struktur als Objekttyp, bei dem horizontale Kanten in einem vorgeschriebenen Bereich vom oberen Ende oder unteren Ende des binärisierten Objekts schwierig zu erfassen sind, und etwas anderes als eine künstliche Struktur, nämlich ein Fußgänger, mit leicht erfassbaren horizontalen Kanten am oberen Ende oder unteren Ende des binärisierten Objekts genau unterschieden werden.
Die Fahrzeugumgebungsüberwachungsvorrichtung enthält eine Fußgängererkennungseinrichtung, welche in der Umgebung eines Fahrzeugs vorhandene Fußgänger auf Grundlage des Bildes erkennt, wobei die Fußgängererkennungseinrichtung eine Fußgängererkennungsverarbeitung an dem Objekt ausführt, wenn durch die Objekttypbestimmungseinrichtung bestimmt wird, dass das Objekt ein Fußgänger ist.
Hierdurch kann die Fußgängererkennungsgenauigkeit verbessert werden, indem die Fußgängererkennungsverarbeitung für das Objekt durchgeführt wird, als ein Fußgänger bestimmt wird.
Ferner kann die Fahrzeugumgebungsüberwachungseinrichtung eine Warnungsausgabeeinrichtung umfassen, welche eine das Objekt betreffende Warnung ausgibt, wenn das Objekt durch die Objekttypbestimmungseinrichtung als ein Fußgänger bestimmt wird.
Da in diesem Fall eine Warnung für ein Objekt, das als etwas anderes als eine künstliche Struktur bestimmt wird, sowie für ein Objekt, das als ein Fußgänger bestimmt wird, ausgegeben werden kann, können unnötige Warnungen für künstliche Strukturen vermieden werden.
Die Erfindung wird im Folgenden anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Figuren näher erläutert. Es zeigt:
1 ein Blockdiagramm, das die Konstruktion einer Fahrzeugum gebungsüberwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2 ein Diagramm, das ein mit der in 1 gezeigten Fahrzeugumgebungsüberwachungsvorrichtung ausgestattetes Fahrzeug zeigt;
3 ein Flussdiagramm, das die Betriebsvorgänge der in 1 gezeigten Fahrzeugumgebungsüberwachungsvorrichtung zeigt;
4 ein Flussdiagramm, das die in 3 gezeigte Warnungsbestimmungsverarbeitung zeigt;
5 ein Diagramm, das ein Beispiel einer Relativposition zwischen einem Fahrzeug und einem Objekt zeigt;
6 ein Diagramm, das ein Beispiel der Klassifikation der Bereiche, etwa eines vor dem Fahrzeug festgelegten Annäherungsbestimmungsbereichs zeigt;
7 ein Diagramm, das ein Beispiel eines Zielbereichs (Maske) zeigt, welcher ein Horizontalkantenfassungsziel ist und welcher ein Bereich ist, der ein binärisiertes Objekt enthält;
8 ein Diagramm, welches ein Beispiel einer in der in 7 gezeigten Maske erfassten horizontalen Kante zeigt;
9 ein Diagramm, das ein Beispiel der Kantenerfassungsposition zeigt, bei der die Höhenposition der horizontalen Kante maximal ist (das heißt, die höchste Position in der Vertikalrichtung);
10 ein Diagramm, das ein Beispiel der Kantenerfassungsposition und der Position des oberen Endes des binärisierten Objekts zeigt;
11 ein Diagramm, das ein Beispiel eines Zielbereichs (Maske) zeigt, welcher eine Horizontalkantenerfassungsziel ist und welcher Bereich ist, der wenigstens den unteren Abschnitt des binärisierten Objekts enthält;
12 ein Diagramm, das ein Beispiel der in der in 11 gezeigten Maske erfassten horizontalen Kante zeigt;
13 ein Diagramm, das ein Beispiel der Kantenerfassungsposition und der Position des unteren Endes des binärisierten Objekts zeigt.
Hierin wird im Folgenden eine Fahrzeugumgebungsüberwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
Die beispielhaft in 1 gezeigte Fahrzeugumgebungsüberwachungsvorrichtung gemäß der vorliegenden Ausführungsform umfasst: eine Bildverarbeitungseinheit 1, die mit einer CPU (zentralen Prozessoreinheit) ausgestattet ist, welche die Fahrzeugumgebungsüberwachungsvorrichtung steuert/regelt, zwei Infrarotkameras 2R und 2L, die in der Lage sind, entfernte Infrarotstrahlung zu erfassen, einen Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, einen Fahrzeuggeschwindigkeitssensor 4, der die Bewegungsgeschwindigkeit des Fahrzeugs erfasst, einen Bremssensor 5, der eine Bremsbetätigung eines Fahrers erfasst, einen Lautsprecher 6 und eine Anzeigevorrichtung 7. Beispielsweise erfasst die Bildverarbeitungseinheit 1 ein sich bewegendes Objekt, etwa einen Fußgänger oder ein Tier vor dem Fahrzeug in dessen Bewegungsrichtung aus Infrarotbildern der Umgebung des Fahrzeugs, die durch die beiden Infrarotkameras 2R, 2L aufgenommen werden, und aus Erfassungssignalen, welche den Bewegungszustand des durch jeden der Sensoren 3, 4 und 5 erfassten Fahrzeugs betreffen. In dem Fall, in dem die Möglichkeit einer Kollision zwischen dem erfassten sich bewegenden Objekt und dem Fahrzeug bestimmt wird, wird über die Lautsprecher 6 oder die Anzeigeeinrichtung 7 eine Warnung ausgegeben.
Weiterhin ist die Anzeigeeinrichtung 7 beispielsweise mit einer Anzeigeeinrichtung konstruiert, welche Instrumente umfasst, die verschiedene Bewegungszustände des Fahrzeugs anzeigen, mit einer Anzeigeeinrichtung in der Art einer Navigationseinrichtung, und ferner mit einem HUD (Head Up Display = projizierte Frontscheibenanzeige) 7a, welches Information verschiedener Art an einer Position an der Windschutzscheibe anzeigt, an der das Sichtfeld des Fahrers nicht beeinträchtigt ist.
Weiterhin enthält die Bildverarbeitungseinheit 1 einen A/D-Wandler, der Eingangsanalogsignale zu Digitalsignalen umwandelt, einen Bildspeicher, der digitalisierte Bildsignale speichert, eine CPU (zentrale Prozessoreinheit), die verschiedene arithmetische Prozeduren durchführt, einen RAM (Arbeitsspeicher), der zum Speichern von Daten in der Mitte der arithmetischen Prozedur verwendet wird, einen ROM (Nur-Lesespeicher), der durch die CPU ausgeführte Programme und Tabellen, Kennfelder und dergleichen speichert sowie eine Ausgangsschaltung, die Treibersignale für die Lautsprecher 6 und Anzeigesignale für das HUD 7a ausgibt. Die Bildverarbeitungseinheit 1 ist derart konstruiert, dass die Ausgangssignale der Infrarotkameras 2R und 2L und der jeweiligen Sensoren 3, 4 und 5 in die CPU eingegeben werden, nachdem sie in Digitalsignale umgewandelt worden sind.
Wie in 2 gezeigt ist, sind ferner zwei Infrarotkameras 2R und 2L an der Vorderseite des Fahrzeugs 10 an Stellen symmetrisch in Breitenrichtung relativ zur zentralen Achse des Fahrzeugs 10 angeordnet. Die optischen Achsen beider Kameras 2R, 2L sind parallel zueinander und beide Infrarotkameras 2R, 2L sind in derselben Höhe von der Straßenoberfläche aus befestigt. Eine Charakteristik der Infrarotkameras 2R, 2L ist, dass der Ausgangssignal pegel (das heißt die Luminanz oder Bildhelligkeit) ansteigt, wenn die Temperatur des Objekts ansteigt.
Weiterhin ist das HUD 7a derart vorgesehen, dass es die Bilder an einer Position an der Windschutzscheibe des Fahrzeugs 10 anzeigt, an der das Sichtfeld des Fahrers nicht beeinträchtigt ist.
Die Fahrzeugumgebungsüberwachungsvorrichtung gemäß der vorliegenden Ausführungsform ist mit der oben beschriebenen Konstruktion ausgestattet. Nachfolgend wird die Funktionsweise der Fahrzeugumgebungsüberwachungsvorrichtung unter Bezugnahme auf die Zeichnungen beschrieben.
Die Betriebsvorgänge der Bildverarbeitungseinheit 1 zur Erfassung eines Objekts, etwa eines Fußgängers, und Ausgabe einer Warnung werden im Folgenden beschrieben.
Zunächst erhält in dem in 3 gezeigten Schritt S1 die Bildverarbeitungseinheit 1 Infrarotbilder, die die Ausgangssignale von den Infrarotkameras 2R, 2L sind.
Nachfolgend wird in Schritt S2 eine A/D-Wandlung der erhaltenen Bilder durchgeführt.
Nachfolgend wird in Schritt S3 ein Graustufenbild, welches Halbtongradationsinformation (Graustufenrasterinformation) enthält, erhalten und in einem Bildspeicher abgespeichert. Hierbei nimmt die Infrarotkamera 2R das rechte Bild auf und die Infrarotkamera 2L das linke Bild auf. Weil ferner im rechten Bild und im linken Bild die horizontale Position am Anzeigeschirm für dasselbe Objekt verschoben erscheint, ermöglicht diese Verschiebung (das heißt die Parallaxe) die Berechnung des Abstands von dem Fahrzeug 10 zum Objekt.
Nachfolgend wird das durch die Infrarotkamera 2R aufgenommene rechte Bild als Referenzbild bestimmt und eine Binärisierungsverarbeitung dieses Bildsignals wird durchgeführt, das heißt Bereiche, die heller sind als ein vorbestimmter Luminanzschwellenwert (Bildhelligkeitsschwellenwert) ITH, werden auf ”1” (weiß) gesetzt und dunklere Bereiche werden auf ”0” (schwarz) gesetzt.
Die Prozedur von Schritt S4 bis S9 oben wird für das aus der Binärisierungsverarbeitung erhaltene Referenzbild durchgeführt (beispielsweise das rechte Bild).
Nachfolgend werden in Schritt S5 die als Ergebnis der Binärisierungsverarbeitung für die Infrarotbilder erhaltenen Bilddaten in lauflängenkodierte Daten umgewandelt. In den lauflängenkodierten Daten werden Bereiche, welche als Ergebnis der Binärisierungsverarbeitung weiß geworden sind, auf dem Pixelniveau als Zeilen angezeigt. Jede Zeile ist derart festgelegt, dass sie in der y-Richtung die Breite eines Pixels und in der x-Richtung die Länge einer entsprechend zugehörigen Anzahl von Pixeln aufweist.
Nachfolgend wird in Schritt S6 eine Kennzeichnung des Objekts für die in lauflängenkodierte Daten umgewandelten Bilddaten durchgeführt.
Nachfolgend wird in Schritt S7 das Objekt nach Maßgabe der Kennzeichnung des Objekts extrahiert. Hierbei werden in dem Fall, in dem aus jeweiligen Zeilen der lauflängenkodierten Daten Zeilen mit gleichen Koordinaten in x-Richtung zueinander benachbart sind, erkannt, dass die benachbarten Zeilen ein einzelnes Objekt bilden.
Nachfolgend wird in Schritt S8 der Schwerpunkt G des extrahierten Objekts, die Fläche S und das Seitenverhältnis ASPECT des umschriebenen Vierecks berechnet.
Hierbei werden, unter der Annahme, dass die lauflängenkodierten Daten des als A bezeichneten Objekts (x(i), y(i), Lauflänge(i), A) (i = 0, 1, 2, ..., N – 1, wobei N eine willkürliche nicht negative ganze Zahl ist), die Flächen S durch Addieren der Längen (Lauflänge(i) – 1) jedes lauflängenkodierten Datums für dasselbe Objekt berechnet.
Ferner werden die Koordinaten (xc, yc) des Schwerpunkts G des mit A bezeichneten Objekts durch Multiplizieren der Länge (Lauflänge(i) – 1), jedes lauflängenkodierten Datums mit den Koordinaten x(i) oder y(i) (das heißt (Lauflänge(i) – 1) × x(i) oder (Lauflänge(i) – 1) × y(i)), Addieren der Multiplikationsprodukte für dasselbe Objekt und Teilen des Ergebnisses durch die Fläche S berechnet.
Weiterhin wird das Seitenverhältnis ASPECT als das Verhältnis Dy/Dx der Länge Dy in der Vertikalrichtung eines um das mit A bezeichnete Objekt umschriebenen Vierecks gegenüber der Länge Dx in der Horizontalrichtung berechnet.
Da die lauflängenkodierten Daten durch die Anzahl von Pixeln (Anzahl von Koordinaten) repräsentiert werden (= Lauflänge(i)), ist es notwendig, von der tatsächlichen Länge 1 zu subtrahieren (= Lauflänge(i) – 1). Ferner können die Koordinaten des Schwerpunkts G durch den Schwerpunkt des umschriebenen Vierecks des Objekts ersetzt werden.
Nachfolgend werden die Schritte S9 und S10 sowie die Schritte S11 bis S13 parallel abgearbeitet.
Zunächst wird in Schritt S9 eine zeitliche Verfolgung des Objekts durchgeführt, das heißt dasselbe Objekt wird zu jeder Abtastzeit erkannt. Die zeitliche Verfolgung wird durchgeführt, um zu bestimmen, ob zwei zum Zeitintervall k extrahierte Objekte A und B dieselben sind wie die Körper C und D, die zur diskreten Zeit (k + 1) extrahiert worden sind. Die Zeitintervalle k, k + 1 sind hierbei eine innerhalb eines Abtastintervalls diskrete analoge Zeit. Wenn bestimmt wird, dass die Objekte A und B dieselben sind wie die Objekte C und D, werden die Objekte C und D als Objekte A und B umbenannt.
Dann werden die Koordinaten jedes erkannten Objekts (beispielsweise der Schwerpunkt) in dem Speicher als Zeitserienpositionsdaten gespeichert.
Nachfolgend wird in Schritt S10 die durch den Fahrzeuggeschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit VCAR und die durch den Gierratensensor 3 erfasste Gierrate YR erhalten und durch Nehmen des zeitlichen Integrals der Gierrate YR wird der Lenkwinkel θr des Fahrzeugs 10 berechnet.
Mittlerweile wird parallel zur Verarbeitung in Schritt S9 und S10 eine Verarbeitung zum Berechnen des Abstands z zwischen dem Objekt und dem Fahrzeug 10 in Schritt S11 bis Schritt S13 durchgeführt. Weil die Verarbeitung von Schritt S11 mehr Zeit erfordert als diejenige von Schritt S9 und S10, wird dieser für eine längere Zeitdauer als die Schritte S9 und S10 durchgeführt (eine Zeitdauer, die beispielsweise ungefähr dreimal länger ist als die Zeitdauer für die Schritte S1 bis S10).
Zunächst wird in Schritt S11 eine Mehrzahl der Objekte, die in den binärisierten Bilddaten des Referenzbilds (beispielsweise des rechten Bilds) verfolgt wurden, ausgewählt und beispielsweise wird der gesamte Bereich, welcher das ausgewählte Objekt durch ein umschriebenes Viereck umschließt, als ein Suchbild R1 aus dem Referenzbild (beispielsweise dem rechten Bild) ausgewählt.
Nachfolgend wird in Schritt S12 ein Suchbereich zum Suchen eines Bilds (entsprechendes Bild) R2 entsprechend dem Suchbereich R1 in dem Bild (beispielsweise dem linken Bild) festgelegt, das dem Referenzbild (beispielsweise dem rechten Bild) entspricht, und eine Korrelationsberechnung wird durchgeführt, um ein entsprechendes Bild R2 zu extrahieren. Hier wird beispielsweise ein Suchbereich in dem linken Bild festgelegt nach Maßgabe der Vertexkoordinaten des Suchbilds R1 festgelegt, ein Luminanzdifferenzsummenwert C(a, b), welcher den Korrelationsgrad des Suchbilds R1 in dem Suchbereich zeigt, berechnet und der Bereich, in dem dieser Summen wert C(a, b) am niedrigsten ist, als das entsprechende Bild R2 extrahiert. Weiterhin wird diese Korrelationsberechnung für das Graustufenbild durchgeführt, nicht für die von dem Binärisierungsprozess erhaltenen Bilddaten. In dem Fall, in dem die historischen Positionsdaten für dasselbe Objekt zur Verfügung stehen, kann der Suchbereich auf Grundlage der historischen Positionsdaten kleiner sein.
Nachfolgend wird in Schritt S13 die Position der Schwerpunkte sowohl des Suchbilds R1 als auch des entsprechenden Bilds R2 und die Parallaxe Δd auf dem Pixelniveau berechnet. Ferner wird der Abstand zwischen dem Fahrzeug 10 und dem Objekt, das heißt der Abstand z(m) (Objektabstand) von den Infrarotkameras 2R, 2L zum Objekt berechnet, beispielsweise auf Grundlage der Basislänge der Kameras, d. h. des horizontalen Abstands D (m) zwischen Mittelpunkten jeder Abbildungseinrichtung der Infrarotkameras 2R, 2L, dem Brennpunktsabstand der Kamera, d. h. dem Brennpunktsabstand f(m) jeder Linse der Infrarotkameras 2R, 2L, der Pixelteilung p (m/ Pixel) und der Parallaxe Δd (Pixel), wie im Ausdruck (1) gezeigt ist.
Wenn weiterhin in Schritt S14 die Berechnung des Lenkwinkels θr in Schritt S10 und die Berechnung des Abstands z in Schritt S13 vollständig sind, werden die Koordinaten im Bild (x, y) und der Abstand z in reale Raumkoordinaten (X, Y, Z) umgewandelt.
Wie in 2 gezeigt ist, werden hierbei beispielsweise die realen Raumkoordinaten (X, Y, Z) festgelegt durch Zuweisen des Ursprungs O zu der Mittelposition der Montageposition der Infrarotkameras 2R, 2L vor dem Fahrzeug 10 und die Koordinaten in dem Bild werden derart festgelegt, dass die Horizontalrichtung die x-Richtung ist und die Vertikalrichtung die y-Richtung ist, wobei der Mittelpunkt des Bilds im Ursprung liegt. Ferner sind die Koordinaten (xc, yc) die Koordinaten, die umgewandelt wurden aus den Ko ordinaten (x, y) im Referenzbild (beispielsweise dem rechten Bild) in die Koordinaten in einem virtuellen Bild, welches erhalten wurde durch Ausrichten des Ursprungs Odes realen Raums und des Mittelpunkts der Bilddaten derart, dass sie zusammenfallen, auf Grundlage der Relativpositionsbeziehung zwischen der Montageposition der Infrarotkamera 2R und des Ursprungs O im realen Raum.
Nachfolgend wird in Schritt S15 eine Lenkwinkelkorrektur durchgeführt, um die Verlagerung des Objekts im Bild, welche durch das Lenken des Fahrzeugs 10 verursacht wird, zu kompensieren. Diese Lenkwinkelkorrekturprozedur wird durchgeführt, um eine Verlagerung um Δx in der x-Richtung im Bereich der durch die Infrarotkameras 2R, 2L aufgenommenen Bilddaten zu kompensieren, wenn beispielsweise das Fahrzeug 10 um einen Winkel von θr innerhalb einer Zeitdauer von der Zeit k bis (k + 1) nach links lenkt. Wie beispielsweise in dem nummerischen Ausdruck (3) gezeigt ist, werden die als ein Ergebnis der Kompensation der Koordinaten im realen Raum (X, Y, Z) kompensierten Koordinaten (Xr, Yr, Zr) als neue Koordinaten (X, Y, Z) im realen Raum erhalten.
Nachfolgend wird in Schritt S16 eine ungefähr gerade Linie LMV, die dem Relativbewegungsvektor zwischen dem Objekt und dem Fahrzeug 10 entspricht, aus N (beispielsweise beträgt N ungefähr 10) Stücken von realen Raumpositionsdaten, welche Zeitseriendaten bilden und welche einer Lenkwinkelkorrektur unterzogen wurden, für dasselbe Objekt während einer vor bestimmten Überwachungszeitdauer ΔT erhalten.
In diesem Schritt S16 werden die jüngsten Koordinaten P(0) = (X(0), Y(0), Z(0)) und die Koordinaten P vor dem Abtasten (vor der vorbestimmten Zeitdauer ΔT) (N – 1) = (X(N – 1), Y(N – 1), Z(N – 1) zu Positionen auf der ungefähr geraden Linie LMV korrigiert und die korrigierten Koordinaten Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(N – 1)) berechnet.
Diese Prozedur ergibt den Relativbewegungsvektor als ein sich von den Koordinaten Pv(N – 1) zu Pv(0) bewegenden Vektor.
Durch Erhalten eines Relativbewegungsvektors durch Berechnen einer angenäherten geraden Linie, welche den Relativbewegungsweg des Objekts relativ zum Fahrzeug 10 aus einer Mehrzahl von (beispielsweise N) Stücken von realen Raumpositionsdaten innerhalb der vorbestimmten Überwachungszeitdauer ΔT annähert, ist es möglich, mit besserer Genauigkeit abzuschätzen, ob eine Möglichkeit eines Zusammenstoßes zwischen dem Fahrzeug 10 und einem Objekt besteht, wobei der Effekt von Positionserfassungsfehlern verringert wird.
Nachfolgend wird in Schritt S17 bei der Warnungsbestimmungsverarbeitung auf Grundlage der Möglichkeit einer Kollision zwischen dem erfassten Objekt und dem Fahrzeug 10 bestimmt, ob das erfasste Objekt Anlass zu einer Warnung sein soll.
Wenn das Ergebnis dieser Bestimmung ”NEIN” ist, geht der Ablauf weiter zu Schritt S1 und die Verarbeitung der oben beschriebenen Schritte S1 bis S17 wird wiederholt.
Wenn andererseits das Ergebnis dieser Bestimmung ”JA” ist, geht der Ablauf weiter zu Schritt S18.
Weiterhin wird in Schritt S18 in dem Warnungsausgabebestimmungsprozess auf Grundlage der Ausgabe BR des Bremssensors 5 je nachdem, ob der Fahrer des Fahrzeugs 10 die Bremse betätigt, bestimmt, ob die Warnungsausgabe erforderlich ist.
Wenn das Bestimmungsergebnis in Schritt S18 ”NEIN” ist, wird beispielsweise in dem Fall, in dem ein Beschleunigungs/Verzögerungsgrad Gs (positiv in der Verzögerungsrichtung) größer ist als ein vorbestimmter Schwellenwert GTH, während der Fahrer des Fahrzeugs 10 die Bremse betätigt, bestimmt, dass die Kollision durch die Bremsbetätigung vermieden werden kann. Der Ablauf kehrt zu Schritt S1 zurück und die Verarbeitung der oben beschriebenen Schritte S1 bis S18 wird wiederholt.
Wenn andererseits das Bestimmungsergebnis in Schritt S18 ”JA” ist, wird beispielsweise in dem Fall, in dem ein Beschleunigungs/Verzögerungsgrad Gs (positiv in der Verzögerungsrichtung) nicht größer als der vorbestimmte Schwellenwert GTH ist, während der Fahrer des Fahrzeugs 10 die Bremse betätigt, oder in dem Fall, in dem der Fahrer des Fahrzeugs 10 die Bremse nicht betätigt, die Möglichkeit einer Kollision als hoch bestimmt und der Ablauf geht weiter zu Schritt S19.
Der vorbestimmte Schwellenwert GTH ist ein Wert, der einer Beschleunigung/Verzögerung entspricht, welche dazu führen würde, dass das Fahrzeug 10, sofern dieser Beschleunigungs/Verzögerungsgrad Gs während des Bremsvorgangs beibehalten wird, nach einem Bewegungsabstand anhält, der nicht größer ist als der Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10.
Danach wird in Schritt S19 ein hörbarer Warnton ausgegeben, beispielsweise durch den Lautsprecher 6, oder eine visuelle Warnanzeige ausgegeben, beispielsweise durch die Anzeigevorrichtung 7, oder eine ertastbare Warnung ausgegeben durch Erzeugen einer Befestigungskraft, die für den Fahrer tastend wahrnehmbar ist, mit Erzeugung einer vorbestimmten Span nung im Sicherheitsgurt oder durch Erzeugen von Vibration (Lenkvibration), beispielsweise an einem Lenkrad, das durch den Fahrer tastend wahrnehmbar ist.
Nachfolgend werden in Schritt S20 beispielsweise die von der Infrarotkamera 2R erhaltenen Bilddaten an die Anzeigevorrichtung 7 ausgegeben, um das sich relativ annähernde Objekt als ein hervorgehobenes Bild anzuzeigen.
Hierin wird im Folgenden die oben beschriebene Warnungsbestimmungsverarbeitung in Schritt S17 unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Diese Warnungsbestimmungsverarbeitung bestimmt die Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und einem erfassten Objekt auf Grundlage der Kollisionsbestimmungsverarbeitung, einer Verarbeitung zur Bestimmung, ob ein Objekt sich in einem Annäherungsbestimmungsbereich befindet, einer Eindringkollisionsbestimmungsverarbeitung, einer Verarbeitung zur Bestimmung einer künstlichen Struktur und einer Verabeitung zur Bestimmung eines Fußgängers, wie in 4 gezeigt ist. Die folgende Beschreibung nimmt Bezug auf ein Beispiel, wie es in 5 gezeigt ist, bei dem ein Objekt 20 sich mit einer Geschwindigkeit Vp in der Richtung im Wesentlichen in einem 90°-Winkel relativ zur Bewegungsrichtung des Fahrzeugs 10 (beispielsweise der Z-Richtung) bewegt.
Zunächst wird in dem in 4 gezeigten Schritt S31 eine Kollisionsbestimmungsverarbeitung durchgeführt. Die Kollisionsbestimmungsverarbeitung berechnet die Relativgeschwindigkeit Vs des Fahrzeugs 10 und des Objekts 20 in der Z-Richtung in dem Fall, in dem, wie in 5, das Objekt 20 sich von einem Abstand von Zv(N – 1) auf einen Abstand von Zv(0) während einer Zeitdauer ΔT annähert, und unter der Annahme, dass die Höhen sowohl des Fahrzeugs 10 als auch des Objekts 20 nicht größer als ein vorbestimmter Bodenabstand sind und die Relativgeschwindigkeit Vs beibehalten wird. Sie bestimmt ferner, ob das Fahrzeug 10 und das Objekt 20 innerhalb der vorbestimmten erlaubten Zeit Ts miteinander zusammenstoßen.
Wenn das Bestimmungsergebnis ”NEIN” ist, geht der Ablauf weiter zu Schritt S37, der später beschrieben wird.
Wenn andererseits das Ergebnis dieser Bestimmung ”JA” ist, geht der Ablauf weiter zu Schritt S32.
Weiterhin soll die erlaubte Zeit Ts die Bestimmung der Möglichkeit einer Kollision um eine vorbestimmte Zeitdauer Ts vor der geschätzten Kollisionszeit ermöglichen, und ist beispielsweise auf ungefähr 2 bis 5 Sekunden eingestellt. Ferner wird der vorbestimmte Bodenabstand H beispielsweise auf ungefähr zweimal die Höhe des Fahrzeugs 10 eingestellt.
Nachfolgend wird in Schritt S32 bestimmt, ob das Objekt sich innerhalb eines Annäherungsbestimmungsbereichs befindet. Wie beispielsweise in 6 gezeigt ist, bestimmt in einem Bereich AR0, welcher durch die Infrarotkameras 2R, 2L überwacht werden kann, diese Bestimmungsverarbeitung, ob das Objekt sich innerhalb eines Bereichs AR1 befindet, der sich in einem Abstand (Vs × Ts) näher zum Fahrzeug 10 als eine vordere Position Z1 befindet und der eine Gesamtbreite (α + 2β) mit einer vorbestimmten Breite β (beispielsweise ungefähr 50 bis 100 cm) aufweist, die zu beiden Seiten der Breite α des Fahrzeugs 10 in der Fahrzeugquerrichtung (das heißt der X-Richtung) addiert ist, und der den vorbestimmten Bodenabstand H aufweist. Das heißt, AR1 ist ein Annäherungsbestimmungsbereich, in dem eine hohe Wahrscheinlichkeit besteht, dass eine Kollision mit dem Fahrzeug 10 auftritt, wenn das Objekt an seiner Stelle bleibt.
Wenn das Bestimmungsergebnis ”JA” ist, geht der Ablauf weiter zu Schritt S34, der später beschrieben wird.
Wenn andererseits das Ergebnis der Bestimmung ”NEIN” ist, geht der Ab lauf weiter zu Schritt S33.
Danach wird in Schritt S33 eine Eindringkollisionsbestimmungsverarbeitung durchgeführt, um zu bestimmen, ob eine Möglichkeit existiert, dass das Objekt in den Annäherungsbestimmungsbereich eintritt und mit dem Fahrzeug 10 zusammenstößt. Wie beispielsweise in 6 gezeigt ist, bestimmt diese Eindringkollisionsbestimmungsverarbeitung, ob eine Möglichkeit besteht, dass das sich in den außerhalb des Annäherungsbestimmungsbereichs AR1 in der Fahrzeugquerrichtung (das heißt der x-Richtung) liegenden Eindringbestimmungsbereichen AR2 und AR3 bewegende Objekt mit dem Bodenabstand H in den Annäherungsbestimmungsbereich AR1 eintritt und mit dem Fahrzeug 10 zusammenstößt.
Wenn das Bestimmungsergebnis ”JA” ist, geht der Ablauf weiter zu Schritt S36, der später beschrieben wird.
Wenn andererseits das Bestimmungsergebnis ”NEIN” ist, geht der Ablauf weiter zu Schritt S37, der später beschrieben wird.
Danach wird in Schritt S34 eine Verarbeitung zur Bestimmung einer künstlichen Struktur durchgeführt, um zu bestimmen, ob das Objekt eine künstliche Struktur ist. Diese Verarbeitung zur Bestimmung einer künstlichen Struktur bestimmt, dass das Objekt eine künstliche Struktur ist und schließt das Objekt von der Warnungsbestimmung aus, wenn bestimmte Charakteristiken, etwa die unten genannten, erfasst werden, welche bedeuten, dass das Objekt kein Fußgänger sein kann.
Wenn das Ergebnis dieser Bestimmung ”NEIN” ist, geht der Ablauf weiter zu Schritt S35.
Wenn andererseits das Ergebnis dieser Bestimmung ”JA” ist, geht der Ablauf weiter zu Schritt S37.
Danach wird in Schritt S35 eine Verarbeitung zur Bestimmung eines Fußgängers durchgeführt, um zu bestimmen, ob das Objekt ein Fußgänger ist.
Wenn das Ergebnis der Bestimmung in Schritt S35 ”JA” ist, geht der Ablauf weiter zu Schritt S36.
Wenn anderersits das Ergebnis der Bestimmung in Schritt S35 ”NEIN” ist, geht der Ablauf weiter zu Schritt S37, welcher später beschrieben wird.
Danach wird in Schritt S36, dann, wenn in Schritt S33 eine Möglichkeit existiert, dass das Objekt in den Annäherungsbestimmungsbereich eindringt und mit dem Fahrzeug 10 zusammenstößt (JA in Schritt S33), oder wenn in Schritt S35 das als möglicherweise ein Fußgänger bestimmte Objekt keine künstliche Struktur ist (JA in Schritt S35), bestimmt, dass eine Möglichkeit besteht, dass das Fahrzeug 10 mit dem erfassten Objekt zusammenstößt und eine Warnung gerechtfertigt ist, und die Verarbeitung wird beendet.
In Schritt S37 wird andererseits dann, wenn in Schritt S31 keine Möglichkeit eines Zusammenstoßes zwischen dem Fahrzeug 10 und dem Objekt innerhalb der vorbestimmten erlaubten Zeit Ts besteht (NEIN in Schritt S31) oder in Schritt S33 keine Möglichkeit besteht, dass das Objekt in den Annäherungsbestimmungsbereich eindringt und mit dem Fahrzeug 10 zusammenstößt (NEIN in Schritt S33), oder in Schritt S34 eine Bestimmung gemacht wird, dass das Objekt eine künstliche Struktur ist (JA in Schritt S34), oder wenn das in Schritt S34 als keine künstliche Struktur bestimmte Objekt kein Fußgänger ist (NEIN in Schritt S35), bestimmt, dass keine Möglichkeit einer Kollision zwischen dem Objekt und dem Fahrzeug 10 besteht und eine Warnung nicht gerechtfertigt ist, und die Verarbeitung wird beendet.
Hierin wird im Folgenden als die oben genannte Verarbeitung zur Bestimmung einer künstlichen Struktur in Schritt S34 eine Verarbeitung zur Unterscheidung einer künstlichen Struktur mit einer Form ähnlich einem Fußgänger, insbesondere einer ähnlichen Form und Höhe eines Kopfes, der Wärme emittiert, beschrieben.
Wie beispielsweise in 7 gezeigt ist, legt diese Verarbeitung zur Bestimmung einer künstlichen Struktur in einem Referenzbild (beispielsweise das von der Infrarotkamera 2R erhaltene rechte Bild) einen Zielbereich (Maske) OA fest, der ein Erfassungsziel für eine horizontale Kante ist und ein Bereich ist, der ein binärisiertes Objekt OB enthält.
Bei beispielsweise gegebenen Koordinaten (xb, yb) am oberen linken Punkt QL des umschriebenen Vierecks QB des binärisiertes Objekts OB, einer Breite Wb des umschriebenen Vierecks und einer Höhe Hb des umschriebenen Vierecks, sind dann, wenn die Breite dxP der Maske OA auf einen vorbestimmten Wert eingestellt ist (beispielsweise die Breite Wb des umschriebenen Vierecks + 2 × ein vorbestimmter Wert M_W, wobei der vorbestimmte Wert M_W 1 Pixel ist) und die Höhe dyP der Maske OA auf einen vorbestimmten Wert eingestellt ist (beispielsweise 2 × der vorbestimmte Wert M_H, wobei der vorbestimmte Wert M_H ein Wert ist, der sich über eine vorbestimmte Höhe MASK_H eines tatsächlichen Raums (beispielsweise 30 cm) in einem Bild erstreckt, wobei der vorbestimmte Wert M_H = Brennweite f × vorbestimmte Höhe MASK_H/Objektabstand z ist), die Koordinaten (xP, yP) des oberen linken Punkts AL der Maske OA gleich (xP = xb – M_W, yP = yb – M_H).
Dann wird bestimmt, ob ein Kantenfilterausgangswert Kido_buff, der durch Anwenden eines geeigneten Kantenfilters zum Erfassen von horizontalen Kanten innerhalb der Maske OA in dem Graustufenbild größer ist als ein vorbestimmter Schwellenwert KIDO_FIL_TH (beispielsweise 10 Gradationsstufen bzw. Grade).
Wenn das Ergebnis dieser Bestimmung ”JA” ist, wird die Festlegung gemacht, dass eine horizontale Kante existiert.
Wenn das Ergebnis dieser Bestimmung ”NEIN” ist, wird nunmehr die Festlegung getroffen, dass keine horizontale Kante existiert.
Wie für das Beispiel in 8 gezeigt ist, wird dann bei jeder horizontalen Linie I (I ist eine ganze Zahl, I = 0, ..., dyP – 1), die in der Maske OA festgelegt ist, das Verhältnis der Anzahl von Pixeln, bei denen bestimmt wurde, dass eine horizontale Kante existiert (Kantenerfassungspixelzahl), zur gesamten Pixelzahl, die die horizontale Linie bildet, das heißt das Einschließungsverhältnis RATE(I) der horizontalen Kante (= 100 × Kantenerfassungspixelzahl × (dxP – 2 × M_W)) berechnet.
Danach wird aus den in der horizontalen Linie I, bei der das Einschließungsverhältnis RATE(I) der horizontalen Kante größer ist als ein vorbestimmter Schwellenwert RATE_TH (beispielsweise 50%) (RATE(I) > RATE_TH), wie beispielsweise in 9 gezeigt ist, enthaltenen horizontalen Kanten die Höhenposition der horizontalen Kante, bei der die Höhenposition der horizontalen Kante maximal ist (das heißt die höchste Position in der Vertikalrichtung), als die Kantenerfassungsposition j_FL_TOP festgelegt.
Danach wird bestimmt, ob der Unterschied zwischen der oberen Endposition OBJ_TOP des binärisierten Objekts, welches von den zu lauflängenkodierten Daten umgewandelten Bilddaten erfasst wird, und der Kantenerfassungsposition j_FL_TOP(|OBJ_TOP – j_FL_TOP|) größer ist als ein vorgeschriebener Schwellenwert DIFF_H_TH.
Der vorgeschriebene Schwellenwert DIFF_H_TH ist beispielsweise ein Wert, der sich um eine vorbestimmte Höhe H_TH (beispielsweise 10 cm) des tatsächlichen Raums in einem Bild erstreckt, wobei der vorgeschriebene Schwellenwert DIFF_H_TH = Brennweite f × vorbestimmte Höhe H_TH/Objektabstand z ist.
Wenn das Ergebnis dieser Bestimmung ”NEIN” ist, das heißt, wenn die obere Endposition OBJ_TOP des binärisierten Objekts und die Kantenerfas sungsposition j_FL_TOP ungefähr in der gleichen Position liegen, dann wird, wie in 10 gezeigt ist, bestimmt, dass die maximale Höhenposition der horizontalen Kante, bei der die Abnahme im Luminanzwert relativ steil ist (Kantenerfassungsposition j_FL_TOP), bei ungefähr derselben Position wie die obere Endposition OBJ_TOP des binärisierten Objekts erfasst wird. Es wird bestimmt, dass das binärisierte Objekt etwas anderes ist als eine künstliche Struktur (beispielsweise der Kopf eines Fußgängers), der/das sich in der Vertikalrichtung (beispielsweise in der Vertikalrichtung nach oben) erstreckt, und die Verarbeitung wird beendet.
Wenn dieses Bestimmungsergebnis ”JA” ist, das heißt, wenn die Differenz zwischen der oberen Endposition OBJ_TOP des binärisierten Objekts und der Kantenerfassungsposition j_FL_TOP relativ groß ist, beispielsweise die Verringerung im Luminanzwert in der Vertikalrichtung relativ moderat ist, wird bestimmt, dass das binärisierte Objekt eine künstliche Struktur ist, die sich in der Vertikalrichtung (beispielsweise in der Vertikalrichtung nach oben) erstreckt, und die Verarbeitung wird beendet.
Das heißt, dann, wenn das binärisierte Objekt als eine künstliche Struktur bestimmt wird, die sich in der Vertikalrichtung (zum Beispiel in der Vertikalrichtung nach oben) erstreckt, wobei die Fluktuation im Luminanzwert entlang der Vertikalrichtung relativ moderat ist, wird beispielsweise eine horizontale Kante lediglich in der Nähe der Spitzenposition erfasst, wo der der Luminanzwert maximal wird. Die horizontale Kante wird schwer zu erfassen in dem Bereich, in dem der Luminanzwert sich zu einem sich verringernden Trend ändert und die Differenz zwischen der oberen Endposition OBJ_TOP des binärisierten Objekts und der Kantenerfassungsposition j_FL_TOP steigt an.
Gemäß der oben beschriebenen Fahrzeugumgebungsüberwachungsvorrichtung können eine künstliche Struktur, die sich in eine Vertikalrichtung (zum Beispiel in der Vertikalrichtung nach oben) erstreckt, als ein Objekttyp, bei dem eine horizontale Kante innerhalb des vorgeschriebenen Schwellenwerts DIFF_H_TH von der oberen Endposition OBJ_TOP des binärisierten Objekts schwer zu erfassen ist, und etwas anderes als eine künstliche Struktur, beispielsweise ein Fußgänger, dem eine horizontale Kante an der oberen Endposition OBJ_TOP des binärisierten Objekts leicht zu erfassen ist, leicht voneinander unterschieden werden.
Wenn bei der oben beschriebenen Ausführungsform die Differenz zwischen der oberen Endposition OBJ_TOP des binärisierten Objekts und der Kantenerfassungsposition j_FL_TOP größer als der vorbeschriebene Schwellenwert DIFF_H_TH ist, wird das binärisierte Objekt als eine künstliche Struktur bestimmt, die sich in der Vertikalrichtung (zum Beispiel in der Vertikalrichtung nach oben) erstreckt, aber ist nicht hierauf beschränkt. Wenn beispielsweise die Differenz zwischen der unteren Endposition OBJ_BOT des binärisierten Objekts und die Kantenerfassungsposition j_FL_BOT größer als der vorbestimmte Schwellenwert DIFF_H_TH ist, kann das binärisierte Objekt als eine künstliche Struktur bestimmt werden, die sich in der Vertikalrichtung erstreckt (beispielsweise in der Vertikalrichtung nach unten).
Das heißt, bei der Verarbeitung zur Bestimmung einer künstlichen Struktur wird, wie in 11 gezeigt ist, an einem Referenzbild (beispielsweise dem von der Infrarotkamera 2R erhaltenen rechten Bild) ein Zielbereich (Maske) OA festgelegt, welcher ein Erfassungsziel für eine horizontale Kante ist und ein Bereich ist, der wenigstens den unteren Teil des binärisierten Objekts OB enthält.
Bei beispielsweise gegebenen Koordinaten (xb, yb) am oberen linken Punkt QL des umschriebenen Vierecks QB des binärisierten Objekts OB, einer Breite Wb des umschriebenen Vierecks und einer Höhe Hb des umschriebenen Vierecks, sind dann, wenn die Breite dxP der Maske OA auf einen vorbestimmten Wert eingestellt ist (beispielsweise die Breite Wb des umschriebenen Vierecks + 2 × einen vorbestimmten Wert M_W, wobei der vorbestimmte Wert M_W 1 Pixel beträgt) und die Höhe dyP der Maske OA auf einen vorbestimmten Wert eingestellt ist (beispielsweise 2 × den vorbe stimmten Wert M_H, wobei der vorbestimmte Wert M_H ein Wert ist, der sich um eine vorbestimmte Höhe MASK_H eines tatsächlichen Raums (beispielsweise 30 cm) in einem Bild erstreckt, wobei der vorbestimmte Wert M_H = Brennweite f × vorbestimmte Höhe MASK_H/Objektabstand z ist), die Koordinaten (xp, yP) des oberen linken Punkts AL der Maske OA (xP = xb – M_W, yP = yb + Hb – M_H).
Dann wird bestimmt, ob ein Kantenfilterausgabewert Kido_buff, der durch Anwenden eines geeigneten Kantenfilters zur Erfassung von horizontalen Kanten innerhalb der Maske OA an dem Graustufenbild erhalten wird, größer ist als ein vorbestimmter Schwellenwert KIDO_FIL_TH (beispielsweise 10 Gradationsstufen bzw. Grade).
Wenn das Ergebnis dieser Bestimmung ”JA” ist, wird die Festlegung gemacht, dass eine horizontale Kante existiert.
Wenn das Ergebnis dieser Bestimmung ”NEIN” ist, wird nunmehr die Festlegung gemacht, dass keine horizontale Kante existiert.
Wie beispielsweise in 12 gezeigt ist, wird dann bei jeder horizontalen Linie I (I ist eine ganze Zahl, wobei I = 0, ..., dyP – 1 ist), die in der Maske OA festgelegt ist, das Verhältnis der Anzahl von Pixeln, bei denen bestimmt wird, dass die horizontale Kante existiert (Kantenerfassungspixelzahl) zur Gesamtzahl der die horizontale Linie bildenden Pixelzahl, das heißt, die Einschließungsrate RATE(I) der horizontalen Kante (= 100 × Kantenerfassungspixelzahl × (dxP – 2 × M_W)), berechnet.
Dann wird unter den die horizontale Linie I enthaltenen horizontalen Kanten, bei denen die Einschließungsrate RATE(I) der horizontalen Kante größer ist als ein vorgeschriebener Schwellenwert RATE_TH (beispielsweise 50%) (RATE(I) > RATE_TH), wie beispielsweise in 9 gezeigt ist, die Höhenpositon der horizontalen Kante, bei der die Höhenposition der horizontalen Kante ein Minimum ist (das heißt die niedrigste Position in der Vertikalrich tung), als die Kantenerfassungsposition j_FL_BOT festgelegt.
Dann wird bestimmt, ob die Differenz zwischen der unteren Endposition OBJ_BOT des binärisierten Objekts, das aus den zu lauflängenkodierten Daten umgewandelten Bilddaten erfasst wird, und der Kantenerfassungsposition j_FL_BOT(|OBJ_BOT – j_FL_BOT|) größer ist als ein vorbestimmter Schwellenwert DIFF_H_TH.
Der vorgeschriebene Schwellenwert DIFF_H_TH ist beispielsweise ein Wert, der sich um eine vorbestimmte Höhe H_TH (beispielsweise 10 cm) des tatsächlichen Raums in einem Bild erstreckt, wobei der vorgeschriebene Schwellenwert DIFF_H_TH = Brennweite f × vorbestimmte Höhe H_TH/Objektabstand z ist.
Wenn das Ergebnis dieser Bestimmung ”NEIN” ist, das heißt, wenn die untere Endposition OBJ_BOT des binärisierten Objekts und die Kantenerfassungsposition j_FL_BOT ungefähr dieselbe Position sind, wie in 13 gezeigt ist, wird bestimmt, dass die minimale Höhenposition der horizontalen Kante, bei der die Verringerung des Luminanzwerts relativ steil ist (Kantenerfassungsposition j_FL_BOT), als ungefähr dieselbe Position erfasst wird wie die untere Endposition OBJ_BOt des binärisierten Objekts, und es wird bestimmt, dass das binärisierte Objekt etwas anderes ist als eine künstliche Struktur (beispielsweise der Kopf eines Fußgängers), das/der sich in der Vertikalrichtung (beispielsweise in der Vertikalrichtung nach unten) erstreckt, und die Verarbeitung wird beendet.
Wenn das Ergebnis dieser Bestimmung ”JA” ist, das heißt, wenn die Differenz zwischen der unteren Endposition OBJ_BOT des binärisierten Objekts und der Kantenerfassungsposition j_FL_BOT relativ groß ist, beispielsweise die Verringerung des Luminanzwerts in der Vertikalrichtung relativ moderat ist, wird bestimmt, dass das binärisierte Objekt eine künstliche Struktur ist, die sich in der Vertikalrichtung erstreckt (beispielsweise in der Vertikalrichtung nach unten), und die Verarbeitung wird beendet.
Das heißt, wenn das binärisierte Objekt als eine künstliche Struktur bestimmt wird, die sich in der Vertikalrichtung erstreckt (beispielsweise in der Vertikalrichtung nach unten), wobei die Fluktuation im Luminanzwert entlang der Vertikalrichtung relativ moderat ist, wird beispielsweise eine horizontale Kante lediglich in der Nähe einer Spitzenwertposition bestimmt, bei der der Luminanzwert maximal ist. Die horizontale Kante wird schwierig zu erfassen in dem Bereich, in dem der Luminanzwert sich zu einem sich verringernden Trend verändert, und die Differenz zwischen der unteren Endposition OBJ_BOT des binärisierten Objekts und der Kantenerfassungsposition j_FL_BOT steigt an.
Bei dieser Modifikation kann eine sich in einer Vertikalrichtung (beispielsweise in einer Vertikalrichtung nach unten) erstreckende künstliche Struktur als ein Typ eines Objekts, bei dem eine horizontale Kante innerhalb des vorgeschriebenen Schwellenwerts DIFF_H_TH von der unteren Endposition OBJ_BOT des binärisierten Objekts schwierig zu erfassen ist, und etwas anderes als eine künstliche Struktur, beispielsweise ein Fußgänger, bei dem eine horizontale Kante an der unteren Endposition OBJ_BOT des binärisierten Objekts leicht erfasst werden kann, genau voneinander unterschieden werden.
Eine Fahrzeugumgebungsüberwachungsstruktur, welche einen in der Umgebung eines Fahrzeugs als ein Objekt vorhandenen Körper auf Grundlage eines durch eine Infrarotabbildungseinrichtung erhaltenen Bildes erfasst, umfasst eine Extraktionseinrichtung für ein binärisiertes Objekt, die ein binärisiertes Objekt aus Daten extrahiert, die durch Binärisieren eines Graustufenbildes des Bildes erhalten werden, eine Horizontalkanten-Erfassungseinrichtung, die eine horizontale Kante in dem Graustufenbild erfasst, eine Horizontalkanten-Bestimmungseinrichtung, die bestimmt, ob die durch die Horizontalkanten-Erfassungseinrichtung erfasste horizontale Kante in einem vorbestimmten Bereich von dem oberen Ende oder dem unteren Ende des durch die Extraktionseinrichtung für das binärisierte Objekt extrahierten binärisierten Objekts existiert, sowie eine Objekttyp-Bestimmungseinrichtung, die einen Objekttyp auf Grundlage eines Bestimmungsergebnisses der Horizontalkanten-Bestimmungseinrichtung bestimmt.

Claims

Fahrzeugumgebungsüberwachungsvorrichtung, welche auf Grundlage eines mittels einer Infrarotabbildungsvorrichtung (2R, 2L) aufgenommenen Graustufenbildes einen in der Umgebung eines Fahrzeugs (10) vorhandenen Körper als ein Objekt extrahiert, umfassend: eine Extraktionseinrichtung, die aus durch Binärisieren des Graustufenbildes erhaltenen Bilddaten ein binärisiertes Objekt extrahiert; eine Kantenerfassungseinrichtung, die eine Kante in dem Graustufenbild erfasst; eine Horizontalkanten-Bestimmungseinrichtung, die bestimmt, ob die durch die Kanten-Erfassungseinrichtung erfasste horizontale Kante in einem vorgeschriebenen Bereich von der oberen Endposition (OBJ_TOP) oder der unteren Endposition (OBJ_BOT) des durch die Extraktionseinrichtung extrahierten binärisierten Objekts existiert; und eine Objekttyp-Bestimmungseinrichtung, die auf Grundlage eines Bestimmungsergebnisses der Horizontalkanten-Bestimmungseinrichtung einen Objekttyp bestimmt, dadurch gekennzeichnet, dass die Kantenerfassungseinrichtung dort, wo horizontale Linien (I) Seiten des Objekts in dem Graustufenbild schneiden, horizontale Kanten erfasst, und dass, wenn der Längenanteil (RATE (I)) einer solchen horizontalen Kante, deren Höhenposition relativ zu den anderen horizontalen Kanten maximal oder minimal ist, die Länge der horizontalen Linien (I) um einen vorbestimmten ersten Schwellenwert (RATE_TH) überschreitet, die Horizontalkanten-Bestimmungseinrichtung bestimmt, ob ein Höhenunterschied zwischen der oberen Endposition (OBJ_TOP) oder unteren Endposition (OBJ_BOT) des binärisierten Objekts und der Höhenposition (j_FL_TOP, j_FL_BOT) dieser einen horizontalen Kante größer als ein vorbestimmter zweiter Schwellenwert (DIFF_H_TH) ist, wobei die Objekttyp-Bestimmungseinrichtung bestimmt, dass das Objekt ein Fußgänger ist, wenn der Höhenunterschied gleich oder kleiner als der vorbestimmte zweite Schwellenwert (DIFF_H_TH) ist.
Fahrzeugumgebungsüberwachungsvorrichtung nach Anspruch 1, gekennzeichnet durch eine Warnungsausgabeeinrichtung (6, 7), die eine das Objekt betreffende Warnung ausgibt, wenn durch die Objekttyp-Bestimmungseinrichtung bestimmt wird, dass das Objekt ein Fußgänger ist.