-
Die
vorliegende Erfindung betrifft eine Fahrzeugumgebungsüberwachungsvorrichtung,
die Objekte durch Durchführen
einer Binärisierungsverarbeitung
von durch Infrarotkameras aufgenommenen Bildern extrahiert.
-
Herkömmlich ist
eine Anzeigeverarbeitungseinrichtung bekannt, bei der ein Objekt,
etwa ein Fußgänger, der
möglicherweise
mit einem Fahrzeug zusammenstößt, aus
einem durch eine Infrarotkamera aufgenommen Infrarotbild einer Fahrzeugumgebung
extrahiert wird und Information über
dieses Objekt dem Fahrer zur Verfügung gestellt wird (siehe beispielsweise
die
JP-A-H11-328364 ).
-
Diese
Anzeigeverarbeitungseinrichtung sucht durch Binärisieren des Inrarotbilds einen
Bereich (binärisiertes
Objekt), in dem helle Teile konzentriert sind, und bestimmt auf
Grundlage des aus einem Seitenverhältnis oder Füllfaktor
des binärisierten
Objekts berechneten Abstands, ob das binärisierte Objekt der Kopf eines
Fußgängers ist.
Sie bestimmt darüber
hinaus eine tatsächliche
Fläche
und einen Schwerpunkt im Infrarotbild. Dann wird die Höhe des Fußgängers im
Infrarotbild aus dem Abstand zwischen dem Kopfteilbereich des Fußgängers und
der Infrarotkamera sowie einer Durchschnittshöhe von erwachsenen Personen
berechnet, und ein den Körper
eines Fußgängers enthaltender
Körperbereich
wird festgelegt. Durch Trennen und Anzeigen des Kopfbereichs und
des Körperbereichs
von anderen Bereichen wird bezüglich
eines Fußgängers eine anschauliche
Unterstützung
für den
Fahrer durchgeführt.
-
Da übrigens
die Anzeigeverarbeitungsvorrichtung des Beispiels des oben genannten
Stands der Technik einen Fußgänger aufgrund
einer Bestimmung der Form für
einen Kopfteilbereich oder einen Körperteilbereich im Infrarotbild
erfasst, kann es schwierig werden, einen Fußgänger von einer künstlichen
Struktur zu unterscheiden, die die Form eines Fußgängers hat, und insbesondere
eine ähnliche
Form, Größe und Positionshöhe des Fußgängerkopfes
hat und Wärme
abstrahlt.
-
Aus
der
DE 102 28 638
A1 ist eine Fahrzeugumgebungsüberwachungsvorrichtung nach
dem Oberbegriff von Anspruch 1 bekannt. Dort wird eine künstliche
Struktur basierend auf einer horizontalen Kante bestimmt, welche
wiederum mittels einer Mustervorlage bestimmt wird, nicht aber gemäß dem horizontalen
Längenanteil
einer Kante davon.
-
Aufgabe
der vorliegenden Erfindung ist es, eine Fahrzeugumgebungsüberwachungsvorrichtung
bereitzustellen, die in der Lage ist, einen Fußgänger und eine künstliche
Struktur in einem Infrarotbild genau zu unterscheiden und zu extrahieren.
-
Zur
Lösung
der obigen Aufgabe sieht die vorliegende Erfindung eine Fahrzeugumgebungsüberwachungsvorrichtung
gemäß Anspruch
1 vor.
-
Die
Vorrichtung extrahiert einen in der Umgebung eines Fahrzeugs als
ein Objekt vorhandenen Körper auf
Grundlage eines durch eine Infrarotabbildungseinrichtung aufgenommenen
Bildes und umfasst eine Extraktionseinrichtung für ein binärisiertes Objekt, welche ein
binärisiertes
Objekt aus durch Binärisieren
von Graustufenbildern des Bildes erhaltenen Bilddaten extrahiert,
eine Kanten-Erfassungseinrichtung,
die Kanten in dem Graustufenbild erfasst, eine Horizontalkanten-Bestimmungseinrichtung,
die bestimmt, ob eine jeweilige durch die Kanten-Erfassungseinrichtung
erfasste Horizontalkante in einem vorgeschriebenen Bereich von einem
oberen Ende oder einem unteren Ende des durch die Extraktionseinrichtung
für ein
binärisiertes
Objekt extrahierten binärisierten
Objekts existiert, sowie eine Objekttyp-Bestimmungseinrichtung,
die einen Objekttyp auf Grundlage eines Bestimmungsergebnisses der
Horizontalkanten-Bestimmungseinrichtung
bestimmt.
-
Gemäß der oben
beschriebenen Fahrzeugumgebungsüberwachungsvorrichtung
kann eine künstliche Struktur
als Objekttyp, bei dem horizontale Kanten in einem vorgeschriebenen
Bereich vom oberen Ende oder unteren Ende des binärisierten
Objekts schwierig zu erfassen sind, und etwas anderes als eine künstliche Struktur,
nämlich
ein Fußgänger, mit
leicht erfassbaren horizontalen Kanten am oberen Ende oder unteren Ende
des binärisierten
Objekts genau unterschieden werden.
-
Die
Fahrzeugumgebungsüberwachungsvorrichtung
enthält
eine Fußgängererkennungseinrichtung, welche
in der Umgebung eines Fahrzeugs vorhandene Fußgänger auf Grundlage des Bildes
erkennt, wobei die Fußgängererkennungseinrichtung
eine Fußgängererkennungsverarbeitung
an dem Objekt ausführt,
wenn durch die Objekttypbestimmungseinrichtung bestimmt wird, dass
das Objekt ein Fußgänger ist.
-
Hierdurch
kann die Fußgängererkennungsgenauigkeit
verbessert werden, indem die Fußgängererkennungsverarbeitung
für das
Objekt durchgeführt
wird, als ein Fußgänger bestimmt
wird.
-
Ferner
kann die Fahrzeugumgebungsüberwachungseinrichtung
eine Warnungsausgabeeinrichtung umfassen, welche eine das Objekt
betreffende Warnung ausgibt, wenn das Objekt durch die Objekttypbestimmungseinrichtung
als ein Fußgänger bestimmt
wird.
-
Da
in diesem Fall eine Warnung für
ein Objekt, das als etwas anderes als eine künstliche Struktur bestimmt
wird, sowie für
ein Objekt, das als ein Fußgänger bestimmt
wird, ausgegeben werden kann, können unnötige Warnungen
für künstliche
Strukturen vermieden werden.
-
Die
Erfindung wird im Folgenden anhand eines bevorzugten Ausführungsbeispiels
unter Bezugnahme auf die Figuren näher erläutert. Es zeigt:
-
1 ein
Blockdiagramm, das die Konstruktion einer Fahrzeugum gebungsüberwachungsvorrichtung gemäß einer
Ausführungsform
der vorliegenden Erfindung zeigt;
-
2 ein
Diagramm, das ein mit der in 1 gezeigten
Fahrzeugumgebungsüberwachungsvorrichtung
ausgestattetes Fahrzeug zeigt;
-
3 ein
Flussdiagramm, das die Betriebsvorgänge der in 1 gezeigten
Fahrzeugumgebungsüberwachungsvorrichtung
zeigt;
-
4 ein
Flussdiagramm, das die in 3 gezeigte
Warnungsbestimmungsverarbeitung zeigt;
-
5 ein
Diagramm, das ein Beispiel einer Relativposition zwischen einem
Fahrzeug und einem Objekt zeigt;
-
6 ein
Diagramm, das ein Beispiel der Klassifikation der Bereiche, etwa
eines vor dem Fahrzeug festgelegten Annäherungsbestimmungsbereichs
zeigt;
-
7 ein
Diagramm, das ein Beispiel eines Zielbereichs (Maske) zeigt, welcher
ein Horizontalkantenfassungsziel ist und welcher ein Bereich ist,
der ein binärisiertes
Objekt enthält;
-
8 ein
Diagramm, welches ein Beispiel einer in der in 7 gezeigten
Maske erfassten horizontalen Kante zeigt;
-
9 ein
Diagramm, das ein Beispiel der Kantenerfassungsposition zeigt, bei
der die Höhenposition der
horizontalen Kante maximal ist (das heißt, die höchste Position in der Vertikalrichtung);
-
10 ein
Diagramm, das ein Beispiel der Kantenerfassungsposition und der
Position des oberen Endes des binärisierten Objekts zeigt;
-
11 ein
Diagramm, das ein Beispiel eines Zielbereichs (Maske) zeigt, welcher
eine Horizontalkantenerfassungsziel ist und welcher Bereich ist,
der wenigstens den unteren Abschnitt des binärisierten Objekts enthält;
-
12 ein
Diagramm, das ein Beispiel der in der in 11 gezeigten
Maske erfassten horizontalen Kante zeigt;
-
13 ein
Diagramm, das ein Beispiel der Kantenerfassungsposition und der
Position des unteren Endes des binärisierten Objekts zeigt.
-
Hierin
wird im Folgenden eine Fahrzeugumgebungsüberwachungsvorrichtung gemäß einer
Ausführungsform
der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen
beschrieben.
-
Die
beispielhaft in 1 gezeigte Fahrzeugumgebungsüberwachungsvorrichtung
gemäß der vorliegenden
Ausführungsform
umfasst: eine Bildverarbeitungseinheit 1, die mit einer
CPU (zentralen Prozessoreinheit) ausgestattet ist, welche die Fahrzeugumgebungsüberwachungsvorrichtung
steuert/regelt, zwei Infrarotkameras 2R und 2L,
die in der Lage sind, entfernte Infrarotstrahlung zu erfassen, einen
Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst,
einen Fahrzeuggeschwindigkeitssensor 4, der die Bewegungsgeschwindigkeit
des Fahrzeugs erfasst, einen Bremssensor 5, der eine Bremsbetätigung eines
Fahrers erfasst, einen Lautsprecher 6 und eine Anzeigevorrichtung 7.
Beispielsweise erfasst die Bildverarbeitungseinheit 1 ein
sich bewegendes Objekt, etwa einen Fußgänger oder ein Tier vor dem
Fahrzeug in dessen Bewegungsrichtung aus Infrarotbildern der Umgebung
des Fahrzeugs, die durch die beiden Infrarotkameras 2R, 2L aufgenommen werden,
und aus Erfassungssignalen, welche den Bewegungszustand des durch
jeden der Sensoren 3, 4 und 5 erfassten
Fahrzeugs betreffen. In dem Fall, in dem die Möglichkeit einer Kollision zwischen
dem erfassten sich bewegenden Objekt und dem Fahrzeug bestimmt wird,
wird über
die Lautsprecher 6 oder die Anzeigeeinrichtung 7 eine
Warnung ausgegeben.
-
Weiterhin
ist die Anzeigeeinrichtung 7 beispielsweise mit einer Anzeigeeinrichtung
konstruiert, welche Instrumente umfasst, die verschiedene Bewegungszustände des
Fahrzeugs anzeigen, mit einer Anzeigeeinrichtung in der Art einer
Navigationseinrichtung, und ferner mit einem HUD (Head Up Display
= projizierte Frontscheibenanzeige) 7a, welches Information
verschiedener Art an einer Position an der Windschutzscheibe anzeigt,
an der das Sichtfeld des Fahrers nicht beeinträchtigt ist.
-
Weiterhin
enthält
die Bildverarbeitungseinheit 1 einen A/D-Wandler, der Eingangsanalogsignale
zu Digitalsignalen umwandelt, einen Bildspeicher, der digitalisierte
Bildsignale speichert, eine CPU (zentrale Prozessoreinheit), die
verschiedene arithmetische Prozeduren durchführt, einen RAM (Arbeitsspeicher),
der zum Speichern von Daten in der Mitte der arithmetischen Prozedur
verwendet wird, einen ROM (Nur-Lesespeicher), der durch die CPU
ausgeführte
Programme und Tabellen, Kennfelder und dergleichen speichert sowie eine
Ausgangsschaltung, die Treibersignale für die Lautsprecher 6 und
Anzeigesignale für
das HUD 7a ausgibt. Die Bildverarbeitungseinheit 1 ist
derart konstruiert, dass die Ausgangssignale der Infrarotkameras 2R und 2L und
der jeweiligen Sensoren 3, 4 und 5 in
die CPU eingegeben werden, nachdem sie in Digitalsignale umgewandelt
worden sind.
-
Wie
in 2 gezeigt ist, sind ferner zwei Infrarotkameras 2R und 2L an
der Vorderseite des Fahrzeugs 10 an Stellen symmetrisch
in Breitenrichtung relativ zur zentralen Achse des Fahrzeugs 10 angeordnet.
Die optischen Achsen beider Kameras 2R, 2L sind
parallel zueinander und beide Infrarotkameras 2R, 2L sind
in derselben Höhe
von der Straßenoberfläche aus
befestigt. Eine Charakteristik der Infrarotkameras 2R, 2L ist, dass
der Ausgangssignal pegel (das heißt die Luminanz oder Bildhelligkeit)
ansteigt, wenn die Temperatur des Objekts ansteigt.
-
Weiterhin
ist das HUD 7a derart vorgesehen, dass es die Bilder an
einer Position an der Windschutzscheibe des Fahrzeugs 10 anzeigt,
an der das Sichtfeld des Fahrers nicht beeinträchtigt ist.
-
Die
Fahrzeugumgebungsüberwachungsvorrichtung
gemäß der vorliegenden
Ausführungsform
ist mit der oben beschriebenen Konstruktion ausgestattet. Nachfolgend
wird die Funktionsweise der Fahrzeugumgebungsüberwachungsvorrichtung unter
Bezugnahme auf die Zeichnungen beschrieben.
-
Die
Betriebsvorgänge
der Bildverarbeitungseinheit 1 zur Erfassung eines Objekts,
etwa eines Fußgängers, und
Ausgabe einer Warnung werden im Folgenden beschrieben.
-
Zunächst erhält in dem
in 3 gezeigten Schritt S1 die Bildverarbeitungseinheit 1 Infrarotbilder,
die die Ausgangssignale von den Infrarotkameras 2R, 2L sind.
-
Nachfolgend
wird in Schritt S2 eine A/D-Wandlung der erhaltenen Bilder durchgeführt.
-
Nachfolgend
wird in Schritt S3 ein Graustufenbild, welches Halbtongradationsinformation
(Graustufenrasterinformation) enthält, erhalten und in einem Bildspeicher
abgespeichert. Hierbei nimmt die Infrarotkamera 2R das
rechte Bild auf und die Infrarotkamera 2L das linke Bild
auf. Weil ferner im rechten Bild und im linken Bild die horizontale
Position am Anzeigeschirm für
dasselbe Objekt verschoben erscheint, ermöglicht diese Verschiebung (das
heißt
die Parallaxe) die Berechnung des Abstands von dem Fahrzeug 10 zum
Objekt.
-
Nachfolgend
wird das durch die Infrarotkamera 2R aufgenommene rechte Bild
als Referenzbild bestimmt und eine Binärisierungsverarbeitung dieses
Bildsignals wird durchgeführt,
das heißt
Bereiche, die heller sind als ein vorbestimmter Luminanzschwellenwert
(Bildhelligkeitsschwellenwert) ITH, werden auf ”1” (weiß) gesetzt und dunklere Bereiche
werden auf ”0” (schwarz)
gesetzt.
-
Die
Prozedur von Schritt S4 bis S9 oben wird für das aus der Binärisierungsverarbeitung
erhaltene Referenzbild durchgeführt
(beispielsweise das rechte Bild).
-
Nachfolgend
werden in Schritt S5 die als Ergebnis der Binärisierungsverarbeitung für die Infrarotbilder erhaltenen
Bilddaten in lauflängenkodierte
Daten umgewandelt. In den lauflängenkodierten
Daten werden Bereiche, welche als Ergebnis der Binärisierungsverarbeitung
weiß geworden
sind, auf dem Pixelniveau als Zeilen angezeigt. Jede Zeile ist derart
festgelegt, dass sie in der y-Richtung die Breite eines Pixels und
in der x-Richtung die Länge
einer entsprechend zugehörigen
Anzahl von Pixeln aufweist.
-
Nachfolgend
wird in Schritt S6 eine Kennzeichnung des Objekts für die in
lauflängenkodierte
Daten umgewandelten Bilddaten durchgeführt.
-
Nachfolgend
wird in Schritt S7 das Objekt nach Maßgabe der Kennzeichnung des
Objekts extrahiert. Hierbei werden in dem Fall, in dem aus jeweiligen
Zeilen der lauflängenkodierten
Daten Zeilen mit gleichen Koordinaten in x-Richtung zueinander benachbart
sind, erkannt, dass die benachbarten Zeilen ein einzelnes Objekt
bilden.
-
Nachfolgend
wird in Schritt S8 der Schwerpunkt G des extrahierten Objekts, die
Fläche
S und das Seitenverhältnis
ASPECT des umschriebenen Vierecks berechnet.
-
Hierbei
werden, unter der Annahme, dass die lauflängenkodierten Daten des als
A bezeichneten Objekts (x(i), y(i), Lauflänge(i), A) (i = 0, 1, 2, ...,
N – 1, wobei
N eine willkürliche
nicht negative ganze Zahl ist), die Flächen S durch Addieren der Längen (Lauflänge(i) – 1) jedes
lauflängenkodierten
Datums für
dasselbe Objekt berechnet.
-
Ferner
werden die Koordinaten (xc, yc) des Schwerpunkts G des mit A bezeichneten
Objekts durch Multiplizieren der Länge (Lauflänge(i) – 1), jedes lauflängenkodierten
Datums mit den Koordinaten x(i) oder y(i) (das heißt (Lauflänge(i) – 1) × x(i) oder
(Lauflänge(i) – 1) × y(i)),
Addieren der Multiplikationsprodukte für dasselbe Objekt und Teilen
des Ergebnisses durch die Fläche
S berechnet.
-
Weiterhin
wird das Seitenverhältnis
ASPECT als das Verhältnis
Dy/Dx der Länge
Dy in der Vertikalrichtung eines um das mit A bezeichnete Objekt
umschriebenen Vierecks gegenüber
der Länge
Dx in der Horizontalrichtung berechnet.
-
Da
die lauflängenkodierten
Daten durch die Anzahl von Pixeln (Anzahl von Koordinaten) repräsentiert werden
(= Lauflänge(i)),
ist es notwendig, von der tatsächlichen
Länge 1
zu subtrahieren (= Lauflänge(i) – 1). Ferner
können
die Koordinaten des Schwerpunkts G durch den Schwerpunkt des umschriebenen
Vierecks des Objekts ersetzt werden.
-
Nachfolgend
werden die Schritte S9 und S10 sowie die Schritte S11 bis S13 parallel
abgearbeitet.
-
Zunächst wird
in Schritt S9 eine zeitliche Verfolgung des Objekts durchgeführt, das
heißt
dasselbe Objekt wird zu jeder Abtastzeit erkannt. Die zeitliche
Verfolgung wird durchgeführt,
um zu bestimmen, ob zwei zum Zeitintervall k extrahierte Objekte
A und B dieselben sind wie die Körper
C und D, die zur diskreten Zeit (k + 1) extrahiert worden sind.
Die Zeitintervalle k, k + 1 sind hierbei eine innerhalb eines Abtastintervalls
diskrete analoge Zeit. Wenn bestimmt wird, dass die Objekte A und
B dieselben sind wie die Objekte C und D, werden die Objekte C und
D als Objekte A und B umbenannt.
-
Dann
werden die Koordinaten jedes erkannten Objekts (beispielsweise der
Schwerpunkt) in dem Speicher als Zeitserienpositionsdaten gespeichert.
-
Nachfolgend
wird in Schritt S10 die durch den Fahrzeuggeschwindigkeitssensor 4 erfasste
Fahrzeuggeschwindigkeit VCAR und die durch den Gierratensensor 3 erfasste
Gierrate YR erhalten und durch Nehmen des zeitlichen Integrals der
Gierrate YR wird der Lenkwinkel θr
des Fahrzeugs 10 berechnet.
-
Mittlerweile
wird parallel zur Verarbeitung in Schritt S9 und S10 eine Verarbeitung
zum Berechnen des Abstands z zwischen dem Objekt und dem Fahrzeug 10 in
Schritt S11 bis Schritt S13 durchgeführt. Weil die Verarbeitung
von Schritt S11 mehr Zeit erfordert als diejenige von Schritt S9
und S10, wird dieser für
eine längere
Zeitdauer als die Schritte S9 und S10 durchgeführt (eine Zeitdauer, die beispielsweise
ungefähr
dreimal länger
ist als die Zeitdauer für
die Schritte S1 bis S10).
-
Zunächst wird
in Schritt S11 eine Mehrzahl der Objekte, die in den binärisierten
Bilddaten des Referenzbilds (beispielsweise des rechten Bilds) verfolgt
wurden, ausgewählt
und beispielsweise wird der gesamte Bereich, welcher das ausgewählte Objekt
durch ein umschriebenes Viereck umschließt, als ein Suchbild R1 aus
dem Referenzbild (beispielsweise dem rechten Bild) ausgewählt.
-
Nachfolgend
wird in Schritt S12 ein Suchbereich zum Suchen eines Bilds (entsprechendes
Bild) R2 entsprechend dem Suchbereich R1 in dem Bild (beispielsweise
dem linken Bild) festgelegt, das dem Referenzbild (beispielsweise
dem rechten Bild) entspricht, und eine Korrelationsberechnung wird
durchgeführt,
um ein entsprechendes Bild R2 zu extrahieren. Hier wird beispielsweise
ein Suchbereich in dem linken Bild festgelegt nach Maßgabe der
Vertexkoordinaten des Suchbilds R1 festgelegt, ein Luminanzdifferenzsummenwert
C(a, b), welcher den Korrelationsgrad des Suchbilds R1 in dem Suchbereich
zeigt, berechnet und der Bereich, in dem dieser Summen wert C(a,
b) am niedrigsten ist, als das entsprechende Bild R2 extrahiert.
Weiterhin wird diese Korrelationsberechnung für das Graustufenbild durchgeführt, nicht
für die
von dem Binärisierungsprozess
erhaltenen Bilddaten. In dem Fall, in dem die historischen Positionsdaten
für dasselbe
Objekt zur Verfügung
stehen, kann der Suchbereich auf Grundlage der historischen Positionsdaten
kleiner sein.
-
Nachfolgend
wird in Schritt S13 die Position der Schwerpunkte sowohl des Suchbilds
R1 als auch des entsprechenden Bilds R2 und die Parallaxe Δd auf dem
Pixelniveau berechnet. Ferner wird der Abstand zwischen dem Fahrzeug 10 und
dem Objekt, das heißt
der Abstand z(m) (Objektabstand) von den Infrarotkameras 2R, 2L zum
Objekt berechnet, beispielsweise auf Grundlage der Basislänge der
Kameras, d. h. des horizontalen Abstands D (m) zwischen Mittelpunkten
jeder Abbildungseinrichtung der Infrarotkameras 2R, 2L,
dem Brennpunktsabstand der Kamera, d. h. dem Brennpunktsabstand
f(m) jeder Linse der Infrarotkameras 2R, 2L, der
Pixelteilung p (m/ Pixel) und der Parallaxe Δd (Pixel), wie im Ausdruck (1)
gezeigt ist.
-
-
Wenn
weiterhin in Schritt S14 die Berechnung des Lenkwinkels θr in Schritt
S10 und die Berechnung des Abstands z in Schritt S13 vollständig sind,
werden die Koordinaten im Bild (x, y) und der Abstand z in reale Raumkoordinaten
(X, Y, Z) umgewandelt.
-
Wie
in 2 gezeigt ist, werden hierbei beispielsweise die
realen Raumkoordinaten (X, Y, Z) festgelegt durch Zuweisen des Ursprungs
O zu der Mittelposition der Montageposition der Infrarotkameras 2R, 2L vor
dem Fahrzeug 10 und die Koordinaten in dem Bild werden
derart festgelegt, dass die Horizontalrichtung die x-Richtung ist
und die Vertikalrichtung die y-Richtung ist, wobei der Mittelpunkt
des Bilds im Ursprung liegt. Ferner sind die Koordinaten (xc, yc)
die Koordinaten, die umgewandelt wurden aus den Ko ordinaten (x,
y) im Referenzbild (beispielsweise dem rechten Bild) in die Koordinaten
in einem virtuellen Bild, welches erhalten wurde durch Ausrichten
des Ursprungs Odes realen Raums und des Mittelpunkts der Bilddaten
derart, dass sie zusammenfallen, auf Grundlage der Relativpositionsbeziehung
zwischen der Montageposition der Infrarotkamera 2R und
des Ursprungs O im realen Raum.
-
-
Nachfolgend
wird in Schritt S15 eine Lenkwinkelkorrektur durchgeführt, um
die Verlagerung des Objekts im Bild, welche durch das Lenken des
Fahrzeugs 10 verursacht wird, zu kompensieren. Diese Lenkwinkelkorrekturprozedur
wird durchgeführt,
um eine Verlagerung um Δx
in der x-Richtung im Bereich der durch die Infrarotkameras 2R, 2L aufgenommenen
Bilddaten zu kompensieren, wenn beispielsweise das Fahrzeug 10 um
einen Winkel von θr
innerhalb einer Zeitdauer von der Zeit k bis (k + 1) nach links
lenkt. Wie beispielsweise in dem nummerischen Ausdruck (3) gezeigt
ist, werden die als ein Ergebnis der Kompensation der Koordinaten
im realen Raum (X, Y, Z) kompensierten Koordinaten (Xr, Yr, Zr)
als neue Koordinaten (X, Y, Z) im realen Raum erhalten.
-
-
Nachfolgend
wird in Schritt S16 eine ungefähr
gerade Linie LMV, die dem Relativbewegungsvektor zwischen dem Objekt
und dem Fahrzeug 10 entspricht, aus N (beispielsweise beträgt N ungefähr 10) Stücken von
realen Raumpositionsdaten, welche Zeitseriendaten bilden und welche
einer Lenkwinkelkorrektur unterzogen wurden, für dasselbe Objekt während einer
vor bestimmten Überwachungszeitdauer ΔT erhalten.
-
In
diesem Schritt S16 werden die jüngsten
Koordinaten P(0) = (X(0), Y(0), Z(0)) und die Koordinaten P vor
dem Abtasten (vor der vorbestimmten Zeitdauer ΔT) (N – 1) = (X(N – 1), Y(N – 1), Z(N – 1) zu
Positionen auf der ungefähr
geraden Linie LMV korrigiert und die korrigierten Koordinaten Pv(0)
= (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(N – 1)) berechnet.
-
Diese
Prozedur ergibt den Relativbewegungsvektor als ein sich von den
Koordinaten Pv(N – 1)
zu Pv(0) bewegenden Vektor.
-
Durch
Erhalten eines Relativbewegungsvektors durch Berechnen einer angenäherten geraden
Linie, welche den Relativbewegungsweg des Objekts relativ zum Fahrzeug 10 aus
einer Mehrzahl von (beispielsweise N) Stücken von realen Raumpositionsdaten
innerhalb der vorbestimmten Überwachungszeitdauer ΔT annähert, ist
es möglich,
mit besserer Genauigkeit abzuschätzen,
ob eine Möglichkeit
eines Zusammenstoßes zwischen
dem Fahrzeug 10 und einem Objekt besteht, wobei der Effekt
von Positionserfassungsfehlern verringert wird.
-
Nachfolgend
wird in Schritt S17 bei der Warnungsbestimmungsverarbeitung auf
Grundlage der Möglichkeit
einer Kollision zwischen dem erfassten Objekt und dem Fahrzeug 10 bestimmt,
ob das erfasste Objekt Anlass zu einer Warnung sein soll.
-
Wenn
das Ergebnis dieser Bestimmung ”NEIN” ist, geht
der Ablauf weiter zu Schritt S1 und die Verarbeitung der oben beschriebenen
Schritte S1 bis S17 wird wiederholt.
-
Wenn
andererseits das Ergebnis dieser Bestimmung ”JA” ist, geht der Ablauf weiter
zu Schritt S18.
-
Weiterhin
wird in Schritt S18 in dem Warnungsausgabebestimmungsprozess auf
Grundlage der Ausgabe BR des Bremssensors 5 je nachdem,
ob der Fahrer des Fahrzeugs 10 die Bremse betätigt, bestimmt,
ob die Warnungsausgabe erforderlich ist.
-
Wenn
das Bestimmungsergebnis in Schritt S18 ”NEIN” ist, wird beispielsweise
in dem Fall, in dem ein Beschleunigungs/Verzögerungsgrad Gs (positiv in
der Verzögerungsrichtung)
größer ist
als ein vorbestimmter Schwellenwert GTH, während der Fahrer des Fahrzeugs 10 die
Bremse betätigt,
bestimmt, dass die Kollision durch die Bremsbetätigung vermieden werden kann.
Der Ablauf kehrt zu Schritt S1 zurück und die Verarbeitung der
oben beschriebenen Schritte S1 bis S18 wird wiederholt.
-
Wenn
andererseits das Bestimmungsergebnis in Schritt S18 ”JA” ist, wird
beispielsweise in dem Fall, in dem ein Beschleunigungs/Verzögerungsgrad
Gs (positiv in der Verzögerungsrichtung)
nicht größer als
der vorbestimmte Schwellenwert GTH ist, während der Fahrer des Fahrzeugs 10 die
Bremse betätigt,
oder in dem Fall, in dem der Fahrer des Fahrzeugs 10 die
Bremse nicht betätigt,
die Möglichkeit
einer Kollision als hoch bestimmt und der Ablauf geht weiter zu
Schritt S19.
-
Der
vorbestimmte Schwellenwert GTH ist ein Wert, der einer Beschleunigung/Verzögerung entspricht, welche
dazu führen
würde,
dass das Fahrzeug 10, sofern dieser Beschleunigungs/Verzögerungsgrad
Gs während
des Bremsvorgangs beibehalten wird, nach einem Bewegungsabstand
anhält,
der nicht größer ist
als der Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10.
-
Danach
wird in Schritt S19 ein hörbarer
Warnton ausgegeben, beispielsweise durch den Lautsprecher 6,
oder eine visuelle Warnanzeige ausgegeben, beispielsweise durch
die Anzeigevorrichtung 7, oder eine ertastbare Warnung
ausgegeben durch Erzeugen einer Befestigungskraft, die für den Fahrer
tastend wahrnehmbar ist, mit Erzeugung einer vorbestimmten Span nung
im Sicherheitsgurt oder durch Erzeugen von Vibration (Lenkvibration),
beispielsweise an einem Lenkrad, das durch den Fahrer tastend wahrnehmbar
ist.
-
Nachfolgend
werden in Schritt S20 beispielsweise die von der Infrarotkamera 2R erhaltenen
Bilddaten an die Anzeigevorrichtung 7 ausgegeben, um das
sich relativ annähernde
Objekt als ein hervorgehobenes Bild anzuzeigen.
-
Hierin
wird im Folgenden die oben beschriebene Warnungsbestimmungsverarbeitung
in Schritt S17 unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
-
Diese
Warnungsbestimmungsverarbeitung bestimmt die Möglichkeit einer Kollision zwischen
dem Fahrzeug 10 und einem erfassten Objekt auf Grundlage
der Kollisionsbestimmungsverarbeitung, einer Verarbeitung zur Bestimmung,
ob ein Objekt sich in einem Annäherungsbestimmungsbereich
befindet, einer Eindringkollisionsbestimmungsverarbeitung, einer
Verarbeitung zur Bestimmung einer künstlichen Struktur und einer
Verabeitung zur Bestimmung eines Fußgängers, wie in 4 gezeigt
ist. Die folgende Beschreibung nimmt Bezug auf ein Beispiel, wie
es in 5 gezeigt ist, bei dem ein Objekt 20 sich
mit einer Geschwindigkeit Vp in der Richtung im Wesentlichen in
einem 90°-Winkel
relativ zur Bewegungsrichtung des Fahrzeugs 10 (beispielsweise
der Z-Richtung) bewegt.
-
Zunächst wird
in dem in 4 gezeigten Schritt S31 eine
Kollisionsbestimmungsverarbeitung durchgeführt. Die Kollisionsbestimmungsverarbeitung
berechnet die Relativgeschwindigkeit Vs des Fahrzeugs 10 und
des Objekts 20 in der Z-Richtung in dem Fall, in dem, wie
in 5, das Objekt 20 sich von einem Abstand von
Zv(N – 1)
auf einen Abstand von Zv(0) während
einer Zeitdauer ΔT
annähert,
und unter der Annahme, dass die Höhen sowohl des Fahrzeugs 10 als
auch des Objekts 20 nicht größer als ein vorbestimmter Bodenabstand
sind und die Relativgeschwindigkeit Vs beibehalten wird. Sie bestimmt
ferner, ob das Fahrzeug 10 und das Objekt 20 innerhalb
der vorbestimmten erlaubten Zeit Ts miteinander zusammenstoßen.
-
Wenn
das Bestimmungsergebnis ”NEIN” ist, geht
der Ablauf weiter zu Schritt S37, der später beschrieben wird.
-
Wenn
andererseits das Ergebnis dieser Bestimmung ”JA” ist, geht der Ablauf weiter
zu Schritt S32.
-
Weiterhin
soll die erlaubte Zeit Ts die Bestimmung der Möglichkeit einer Kollision um
eine vorbestimmte Zeitdauer Ts vor der geschätzten Kollisionszeit ermöglichen,
und ist beispielsweise auf ungefähr
2 bis 5 Sekunden eingestellt. Ferner wird der vorbestimmte Bodenabstand
H beispielsweise auf ungefähr
zweimal die Höhe
des Fahrzeugs 10 eingestellt.
-
Nachfolgend
wird in Schritt S32 bestimmt, ob das Objekt sich innerhalb eines
Annäherungsbestimmungsbereichs
befindet. Wie beispielsweise in 6 gezeigt
ist, bestimmt in einem Bereich AR0, welcher durch die Infrarotkameras 2R, 2L überwacht
werden kann, diese Bestimmungsverarbeitung, ob das Objekt sich innerhalb
eines Bereichs AR1 befindet, der sich in einem Abstand (Vs × Ts) näher zum
Fahrzeug 10 als eine vordere Position Z1 befindet und der
eine Gesamtbreite (α +
2β) mit
einer vorbestimmten Breite β (beispielsweise
ungefähr
50 bis 100 cm) aufweist, die zu beiden Seiten der Breite α des Fahrzeugs 10 in
der Fahrzeugquerrichtung (das heißt der X-Richtung) addiert
ist, und der den vorbestimmten Bodenabstand H aufweist. Das heißt, AR1
ist ein Annäherungsbestimmungsbereich,
in dem eine hohe Wahrscheinlichkeit besteht, dass eine Kollision
mit dem Fahrzeug 10 auftritt, wenn das Objekt an seiner
Stelle bleibt.
-
Wenn
das Bestimmungsergebnis ”JA” ist, geht
der Ablauf weiter zu Schritt S34, der später beschrieben wird.
-
Wenn
andererseits das Ergebnis der Bestimmung ”NEIN” ist, geht der Ab lauf weiter
zu Schritt S33.
-
Danach
wird in Schritt S33 eine Eindringkollisionsbestimmungsverarbeitung
durchgeführt,
um zu bestimmen, ob eine Möglichkeit
existiert, dass das Objekt in den Annäherungsbestimmungsbereich eintritt
und mit dem Fahrzeug 10 zusammenstößt. Wie beispielsweise in 6 gezeigt
ist, bestimmt diese Eindringkollisionsbestimmungsverarbeitung, ob
eine Möglichkeit
besteht, dass das sich in den außerhalb des Annäherungsbestimmungsbereichs
AR1 in der Fahrzeugquerrichtung (das heißt der x-Richtung) liegenden
Eindringbestimmungsbereichen AR2 und AR3 bewegende Objekt mit dem
Bodenabstand H in den Annäherungsbestimmungsbereich
AR1 eintritt und mit dem Fahrzeug 10 zusammenstößt.
-
Wenn
das Bestimmungsergebnis ”JA” ist, geht
der Ablauf weiter zu Schritt S36, der später beschrieben wird.
-
Wenn
andererseits das Bestimmungsergebnis ”NEIN” ist, geht der Ablauf weiter
zu Schritt S37, der später
beschrieben wird.
-
Danach
wird in Schritt S34 eine Verarbeitung zur Bestimmung einer künstlichen
Struktur durchgeführt, um
zu bestimmen, ob das Objekt eine künstliche Struktur ist. Diese
Verarbeitung zur Bestimmung einer künstlichen Struktur bestimmt,
dass das Objekt eine künstliche
Struktur ist und schließt
das Objekt von der Warnungsbestimmung aus, wenn bestimmte Charakteristiken,
etwa die unten genannten, erfasst werden, welche bedeuten, dass
das Objekt kein Fußgänger sein
kann.
-
Wenn
das Ergebnis dieser Bestimmung ”NEIN” ist, geht
der Ablauf weiter zu Schritt S35.
-
Wenn
andererseits das Ergebnis dieser Bestimmung ”JA” ist, geht der Ablauf weiter
zu Schritt S37.
-
Danach
wird in Schritt S35 eine Verarbeitung zur Bestimmung eines Fußgängers durchgeführt, um
zu bestimmen, ob das Objekt ein Fußgänger ist.
-
Wenn
das Ergebnis der Bestimmung in Schritt S35 ”JA” ist, geht der Ablauf weiter
zu Schritt S36.
-
Wenn
anderersits das Ergebnis der Bestimmung in Schritt S35 ”NEIN” ist, geht
der Ablauf weiter zu Schritt S37, welcher später beschrieben wird.
-
Danach
wird in Schritt S36, dann, wenn in Schritt S33 eine Möglichkeit
existiert, dass das Objekt in den Annäherungsbestimmungsbereich eindringt
und mit dem Fahrzeug 10 zusammenstößt (JA in Schritt S33), oder
wenn in Schritt S35 das als möglicherweise
ein Fußgänger bestimmte
Objekt keine künstliche
Struktur ist (JA in Schritt S35), bestimmt, dass eine Möglichkeit
besteht, dass das Fahrzeug 10 mit dem erfassten Objekt zusammenstößt und eine
Warnung gerechtfertigt ist, und die Verarbeitung wird beendet.
-
In
Schritt S37 wird andererseits dann, wenn in Schritt S31 keine Möglichkeit
eines Zusammenstoßes zwischen
dem Fahrzeug 10 und dem Objekt innerhalb der vorbestimmten
erlaubten Zeit Ts besteht (NEIN in Schritt S31) oder in Schritt
S33 keine Möglichkeit
besteht, dass das Objekt in den Annäherungsbestimmungsbereich eindringt
und mit dem Fahrzeug 10 zusammenstößt (NEIN in Schritt S33), oder
in Schritt S34 eine Bestimmung gemacht wird, dass das Objekt eine
künstliche
Struktur ist (JA in Schritt S34), oder wenn das in Schritt S34 als
keine künstliche
Struktur bestimmte Objekt kein Fußgänger ist (NEIN in Schritt S35),
bestimmt, dass keine Möglichkeit
einer Kollision zwischen dem Objekt und dem Fahrzeug 10 besteht
und eine Warnung nicht gerechtfertigt ist, und die Verarbeitung
wird beendet.
-
Hierin
wird im Folgenden als die oben genannte Verarbeitung zur Bestimmung
einer künstlichen
Struktur in Schritt S34 eine Verarbeitung zur Unterscheidung einer
künstlichen
Struktur mit einer Form ähnlich
einem Fußgänger, insbesondere
einer ähnlichen
Form und Höhe
eines Kopfes, der Wärme
emittiert, beschrieben.
-
Wie
beispielsweise in 7 gezeigt ist, legt diese Verarbeitung
zur Bestimmung einer künstlichen Struktur
in einem Referenzbild (beispielsweise das von der Infrarotkamera 2R erhaltene
rechte Bild) einen Zielbereich (Maske) OA fest, der ein Erfassungsziel
für eine
horizontale Kante ist und ein Bereich ist, der ein binärisiertes
Objekt OB enthält.
-
Bei
beispielsweise gegebenen Koordinaten (xb, yb) am oberen linken Punkt
QL des umschriebenen Vierecks QB des binärisiertes Objekts OB, einer
Breite Wb des umschriebenen Vierecks und einer Höhe Hb des umschriebenen Vierecks,
sind dann, wenn die Breite dxP der Maske OA auf einen vorbestimmten
Wert eingestellt ist (beispielsweise die Breite Wb des umschriebenen
Vierecks + 2 × ein
vorbestimmter Wert M_W, wobei der vorbestimmte Wert M_W 1 Pixel
ist) und die Höhe
dyP der Maske OA auf einen vorbestimmten Wert eingestellt ist (beispielsweise
2 × der
vorbestimmte Wert M_H, wobei der vorbestimmte Wert M_H ein Wert
ist, der sich über
eine vorbestimmte Höhe
MASK_H eines tatsächlichen
Raums (beispielsweise 30 cm) in einem Bild erstreckt, wobei der
vorbestimmte Wert M_H = Brennweite f × vorbestimmte Höhe MASK_H/Objektabstand
z ist), die Koordinaten (xP, yP) des oberen linken Punkts AL der
Maske OA gleich (xP = xb – M_W,
yP = yb – M_H).
-
Dann
wird bestimmt, ob ein Kantenfilterausgangswert Kido_buff, der durch
Anwenden eines geeigneten Kantenfilters zum Erfassen von horizontalen
Kanten innerhalb der Maske OA in dem Graustufenbild größer ist
als ein vorbestimmter Schwellenwert KIDO_FIL_TH (beispielsweise
10 Gradationsstufen bzw. Grade).
-
Wenn
das Ergebnis dieser Bestimmung ”JA” ist, wird
die Festlegung gemacht, dass eine horizontale Kante existiert.
-
Wenn
das Ergebnis dieser Bestimmung ”NEIN” ist, wird
nunmehr die Festlegung getroffen, dass keine horizontale Kante existiert.
-
Wie
für das
Beispiel in 8 gezeigt ist, wird dann bei
jeder horizontalen Linie I (I ist eine ganze Zahl, I = 0, ..., dyP – 1), die
in der Maske OA festgelegt ist, das Verhältnis der Anzahl von Pixeln,
bei denen bestimmt wurde, dass eine horizontale Kante existiert
(Kantenerfassungspixelzahl), zur gesamten Pixelzahl, die die horizontale
Linie bildet, das heißt
das Einschließungsverhältnis RATE(I)
der horizontalen Kante (= 100 × Kantenerfassungspixelzahl × (dxP – 2 × M_W))
berechnet.
-
Danach
wird aus den in der horizontalen Linie I, bei der das Einschließungsverhältnis RATE(I)
der horizontalen Kante größer ist
als ein vorbestimmter Schwellenwert RATE_TH (beispielsweise 50%)
(RATE(I) > RATE_TH),
wie beispielsweise in 9 gezeigt ist, enthaltenen horizontalen
Kanten die Höhenposition
der horizontalen Kante, bei der die Höhenposition der horizontalen
Kante maximal ist (das heißt
die höchste
Position in der Vertikalrichtung), als die Kantenerfassungsposition
j_FL_TOP festgelegt.
-
Danach
wird bestimmt, ob der Unterschied zwischen der oberen Endposition
OBJ_TOP des binärisierten
Objekts, welches von den zu lauflängenkodierten Daten umgewandelten
Bilddaten erfasst wird, und der Kantenerfassungsposition j_FL_TOP(|OBJ_TOP – j_FL_TOP|)
größer ist
als ein vorgeschriebener Schwellenwert DIFF_H_TH.
-
Der
vorgeschriebene Schwellenwert DIFF_H_TH ist beispielsweise ein Wert,
der sich um eine vorbestimmte Höhe
H_TH (beispielsweise 10 cm) des tatsächlichen Raums in einem Bild
erstreckt, wobei der vorgeschriebene Schwellenwert DIFF_H_TH = Brennweite
f × vorbestimmte
Höhe H_TH/Objektabstand
z ist.
-
Wenn
das Ergebnis dieser Bestimmung ”NEIN” ist, das
heißt,
wenn die obere Endposition OBJ_TOP des binärisierten Objekts und die Kantenerfas sungsposition
j_FL_TOP ungefähr
in der gleichen Position liegen, dann wird, wie in 10 gezeigt
ist, bestimmt, dass die maximale Höhenposition der horizontalen
Kante, bei der die Abnahme im Luminanzwert relativ steil ist (Kantenerfassungsposition
j_FL_TOP), bei ungefähr
derselben Position wie die obere Endposition OBJ_TOP des binärisierten
Objekts erfasst wird. Es wird bestimmt, dass das binärisierte
Objekt etwas anderes ist als eine künstliche Struktur (beispielsweise
der Kopf eines Fußgängers),
der/das sich in der Vertikalrichtung (beispielsweise in der Vertikalrichtung
nach oben) erstreckt, und die Verarbeitung wird beendet.
-
Wenn
dieses Bestimmungsergebnis ”JA” ist, das
heißt,
wenn die Differenz zwischen der oberen Endposition OBJ_TOP des binärisierten
Objekts und der Kantenerfassungsposition j_FL_TOP relativ groß ist, beispielsweise
die Verringerung im Luminanzwert in der Vertikalrichtung relativ
moderat ist, wird bestimmt, dass das binärisierte Objekt eine künstliche
Struktur ist, die sich in der Vertikalrichtung (beispielsweise in
der Vertikalrichtung nach oben) erstreckt, und die Verarbeitung
wird beendet.
-
Das
heißt,
dann, wenn das binärisierte
Objekt als eine künstliche
Struktur bestimmt wird, die sich in der Vertikalrichtung (zum Beispiel
in der Vertikalrichtung nach oben) erstreckt, wobei die Fluktuation
im Luminanzwert entlang der Vertikalrichtung relativ moderat ist,
wird beispielsweise eine horizontale Kante lediglich in der Nähe der Spitzenposition
erfasst, wo der der Luminanzwert maximal wird. Die horizontale Kante
wird schwer zu erfassen in dem Bereich, in dem der Luminanzwert
sich zu einem sich verringernden Trend ändert und die Differenz zwischen
der oberen Endposition OBJ_TOP des binärisierten Objekts und der Kantenerfassungsposition
j_FL_TOP steigt an.
-
Gemäß der oben
beschriebenen Fahrzeugumgebungsüberwachungsvorrichtung
können
eine künstliche
Struktur, die sich in eine Vertikalrichtung (zum Beispiel in der
Vertikalrichtung nach oben) erstreckt, als ein Objekttyp, bei dem
eine horizontale Kante innerhalb des vorgeschriebenen Schwellenwerts DIFF_H_TH
von der oberen Endposition OBJ_TOP des binärisierten Objekts schwer zu
erfassen ist, und etwas anderes als eine künstliche Struktur, beispielsweise
ein Fußgänger, dem
eine horizontale Kante an der oberen Endposition OBJ_TOP des binärisierten
Objekts leicht zu erfassen ist, leicht voneinander unterschieden
werden.
-
Wenn
bei der oben beschriebenen Ausführungsform
die Differenz zwischen der oberen Endposition OBJ_TOP des binärisierten
Objekts und der Kantenerfassungsposition j_FL_TOP größer als
der vorbeschriebene Schwellenwert DIFF_H_TH ist, wird das binärisierte
Objekt als eine künstliche
Struktur bestimmt, die sich in der Vertikalrichtung (zum Beispiel
in der Vertikalrichtung nach oben) erstreckt, aber ist nicht hierauf
beschränkt.
Wenn beispielsweise die Differenz zwischen der unteren Endposition
OBJ_BOT des binärisierten Objekts
und die Kantenerfassungsposition j_FL_BOT größer als der vorbestimmte Schwellenwert
DIFF_H_TH ist, kann das binärisierte
Objekt als eine künstliche
Struktur bestimmt werden, die sich in der Vertikalrichtung erstreckt
(beispielsweise in der Vertikalrichtung nach unten).
-
Das
heißt,
bei der Verarbeitung zur Bestimmung einer künstlichen Struktur wird, wie
in 11 gezeigt ist, an einem Referenzbild (beispielsweise
dem von der Infrarotkamera 2R erhaltenen rechten Bild)
ein Zielbereich (Maske) OA festgelegt, welcher ein Erfassungsziel
für eine
horizontale Kante ist und ein Bereich ist, der wenigstens den unteren
Teil des binärisierten
Objekts OB enthält.
-
Bei
beispielsweise gegebenen Koordinaten (xb, yb) am oberen linken Punkt
QL des umschriebenen Vierecks QB des binärisierten Objekts OB, einer
Breite Wb des umschriebenen Vierecks und einer Höhe Hb des umschriebenen Vierecks,
sind dann, wenn die Breite dxP der Maske OA auf einen vorbestimmten
Wert eingestellt ist (beispielsweise die Breite Wb des umschriebenen
Vierecks + 2 × einen
vorbestimmten Wert M_W, wobei der vorbestimmte Wert M_W 1 Pixel
beträgt)
und die Höhe
dyP der Maske OA auf einen vorbestimmten Wert eingestellt ist (beispielsweise
2 × den
vorbe stimmten Wert M_H, wobei der vorbestimmte Wert M_H ein Wert
ist, der sich um eine vorbestimmte Höhe MASK_H eines tatsächlichen
Raums (beispielsweise 30 cm) in einem Bild erstreckt, wobei der
vorbestimmte Wert M_H = Brennweite f × vorbestimmte Höhe MASK_H/Objektabstand
z ist), die Koordinaten (xp, yP) des oberen linken Punkts AL der
Maske OA (xP = xb – M_W,
yP = yb + Hb – M_H).
-
Dann
wird bestimmt, ob ein Kantenfilterausgabewert Kido_buff, der durch
Anwenden eines geeigneten Kantenfilters zur Erfassung von horizontalen
Kanten innerhalb der Maske OA an dem Graustufenbild erhalten wird,
größer ist
als ein vorbestimmter Schwellenwert KIDO_FIL_TH (beispielsweise
10 Gradationsstufen bzw. Grade).
-
Wenn
das Ergebnis dieser Bestimmung ”JA” ist, wird
die Festlegung gemacht, dass eine horizontale Kante existiert.
-
Wenn
das Ergebnis dieser Bestimmung ”NEIN” ist, wird
nunmehr die Festlegung gemacht, dass keine horizontale Kante existiert.
-
Wie
beispielsweise in 12 gezeigt ist, wird dann bei
jeder horizontalen Linie I (I ist eine ganze Zahl, wobei I = 0,
..., dyP – 1
ist), die in der Maske OA festgelegt ist, das Verhältnis der
Anzahl von Pixeln, bei denen bestimmt wird, dass die horizontale
Kante existiert (Kantenerfassungspixelzahl) zur Gesamtzahl der die
horizontale Linie bildenden Pixelzahl, das heißt, die Einschließungsrate
RATE(I) der horizontalen Kante (= 100 × Kantenerfassungspixelzahl × (dxP – 2 × M_W)),
berechnet.
-
Dann
wird unter den die horizontale Linie I enthaltenen horizontalen
Kanten, bei denen die Einschließungsrate
RATE(I) der horizontalen Kante größer ist als ein vorgeschriebener
Schwellenwert RATE_TH (beispielsweise 50%) (RATE(I) > RATE_TH), wie beispielsweise
in 9 gezeigt ist, die Höhenpositon der horizontalen
Kante, bei der die Höhenposition
der horizontalen Kante ein Minimum ist (das heißt die niedrigste Position
in der Vertikalrich tung), als die Kantenerfassungsposition j_FL_BOT
festgelegt.
-
Dann
wird bestimmt, ob die Differenz zwischen der unteren Endposition
OBJ_BOT des binärisierten Objekts,
das aus den zu lauflängenkodierten
Daten umgewandelten Bilddaten erfasst wird, und der Kantenerfassungsposition
j_FL_BOT(|OBJ_BOT – j_FL_BOT|)
größer ist
als ein vorbestimmter Schwellenwert DIFF_H_TH.
-
Der
vorgeschriebene Schwellenwert DIFF_H_TH ist beispielsweise ein Wert,
der sich um eine vorbestimmte Höhe
H_TH (beispielsweise 10 cm) des tatsächlichen Raums in einem Bild
erstreckt, wobei der vorgeschriebene Schwellenwert DIFF_H_TH = Brennweite
f × vorbestimmte
Höhe H_TH/Objektabstand
z ist.
-
Wenn
das Ergebnis dieser Bestimmung ”NEIN” ist, das
heißt,
wenn die untere Endposition OBJ_BOT des binärisierten Objekts und die Kantenerfassungsposition
j_FL_BOT ungefähr
dieselbe Position sind, wie in 13 gezeigt
ist, wird bestimmt, dass die minimale Höhenposition der horizontalen
Kante, bei der die Verringerung des Luminanzwerts relativ steil
ist (Kantenerfassungsposition j_FL_BOT), als ungefähr dieselbe
Position erfasst wird wie die untere Endposition OBJ_BOt des binärisierten
Objekts, und es wird bestimmt, dass das binärisierte Objekt etwas anderes
ist als eine künstliche
Struktur (beispielsweise der Kopf eines Fußgängers), das/der sich in der
Vertikalrichtung (beispielsweise in der Vertikalrichtung nach unten)
erstreckt, und die Verarbeitung wird beendet.
-
Wenn
das Ergebnis dieser Bestimmung ”JA” ist, das
heißt,
wenn die Differenz zwischen der unteren Endposition OBJ_BOT des
binärisierten
Objekts und der Kantenerfassungsposition j_FL_BOT relativ groß ist, beispielsweise
die Verringerung des Luminanzwerts in der Vertikalrichtung relativ
moderat ist, wird bestimmt, dass das binärisierte Objekt eine künstliche
Struktur ist, die sich in der Vertikalrichtung erstreckt (beispielsweise
in der Vertikalrichtung nach unten), und die Verarbeitung wird beendet.
-
Das
heißt,
wenn das binärisierte
Objekt als eine künstliche
Struktur bestimmt wird, die sich in der Vertikalrichtung erstreckt
(beispielsweise in der Vertikalrichtung nach unten), wobei die Fluktuation
im Luminanzwert entlang der Vertikalrichtung relativ moderat ist,
wird beispielsweise eine horizontale Kante lediglich in der Nähe einer
Spitzenwertposition bestimmt, bei der der Luminanzwert maximal ist.
Die horizontale Kante wird schwierig zu erfassen in dem Bereich,
in dem der Luminanzwert sich zu einem sich verringernden Trend verändert, und
die Differenz zwischen der unteren Endposition OBJ_BOT des binärisierten
Objekts und der Kantenerfassungsposition j_FL_BOT steigt an.
-
Bei
dieser Modifikation kann eine sich in einer Vertikalrichtung (beispielsweise
in einer Vertikalrichtung nach unten) erstreckende künstliche
Struktur als ein Typ eines Objekts, bei dem eine horizontale Kante
innerhalb des vorgeschriebenen Schwellenwerts DIFF_H_TH von der
unteren Endposition OBJ_BOT des binärisierten Objekts schwierig
zu erfassen ist, und etwas anderes als eine künstliche Struktur, beispielsweise
ein Fußgänger, bei
dem eine horizontale Kante an der unteren Endposition OBJ_BOT des
binärisierten
Objekts leicht erfasst werden kann, genau voneinander unterschieden
werden.
-
Eine
Fahrzeugumgebungsüberwachungsstruktur,
welche einen in der Umgebung eines Fahrzeugs als ein Objekt vorhandenen
Körper
auf Grundlage eines durch eine Infrarotabbildungseinrichtung erhaltenen
Bildes erfasst, umfasst eine Extraktionseinrichtung für ein binärisiertes
Objekt, die ein binärisiertes
Objekt aus Daten extrahiert, die durch Binärisieren eines Graustufenbildes
des Bildes erhalten werden, eine Horizontalkanten-Erfassungseinrichtung,
die eine horizontale Kante in dem Graustufenbild erfasst, eine Horizontalkanten-Bestimmungseinrichtung,
die bestimmt, ob die durch die Horizontalkanten-Erfassungseinrichtung
erfasste horizontale Kante in einem vorbestimmten Bereich von dem
oberen Ende oder dem unteren Ende des durch die Extraktionseinrichtung
für das
binärisierte
Objekt extrahierten binärisierten
Objekts existiert, sowie eine Objekttyp-Bestimmungseinrichtung,
die einen Objekttyp auf Grundlage eines Bestimmungsergebnisses der
Horizontalkanten-Bestimmungseinrichtung bestimmt.