DE10228638A1

DE10228638A1 - Fahrzeugzonen-Überwachungsvorrichtung

Info

Publication number: DE10228638A1
Application number: DE10228638A
Authority: DE
Inventors: Nobuharu Nagaoka; Takayuki Tsuji; Masahito Watanabe; Hiroshi Hattori; Kouzou Simamura
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-06-28
Filing date: 2002-06-26
Publication date: 2003-01-16
Anticipated expiration: 2022-06-27
Also published as: US20030007074A1; US8144195B2; US20090046151A1; JP2003016429A; DE10228638B4

Abstract

Die Erfindung betrifft eine Fahrzeugzonen-Überwachungsvorrichtung, die künstliche Strukturen auf der Basis von Formidentifikationen unter Verwendung eines Referenzbilds aus einem Infrarotbild eliminiert, das von einer an dem Fahrzeug vorgesehenen Fotografiervorrichtung aufgenommen worden ist, und verbleibende Objekte als sich bewegende physische Körper, wie etwa Fußgänger und Tiere erfasst. Die Fahrzeugzonen-Überwachungsvorrichtung, die die in der Nähe des Fahrzeugs befindlichen physischen Körper aus Infrarotbildern erfasst, die von an dem Fahrzeug vorgesehenen Infrarotkameras (2R uns 2L) aufgenommen worden sind, umfasst eine Objektextrahiervorrichtung, die Infrarotstrahlung abgebende Objektbilder aus dem Infrarotbild extrahiert, sowie eine künstliche Struktur-Identifiziervorrichtung, die identifiziert, ob ein Objekt eine künstliche Struktur ist oder nicht, indem sie das von der Objektbild-Extrahiervorrichtung extrahierte Objektbild mit einem Referenzbild vergleicht, das ein geradliniges Muster oder ein rechtwinkliges Muster aufweist.

Description

Die Erfindung betrifft eine Fahrzeugzonen- oder Fahrzeugumgebungs- Überwachungsvorrichtung, die physische Körper, wie etwa andere Fahrzeuge, Fußgänger und Tiere, die sich in der Nähe des Fahrzeugs befinden, erfasst.
Die ungeprüfte japanische Patentanmeldung, Erstveröffentlichung Nr. 2001-6069 ist ein bekanntes Beispiel einer Zonenüberwachungsvorrichtung, die in der Nähe eines Fahrzeugs befindliche physische Körper erfasst, die sich bewegen, wie etwa Fußgänger und Tiere. Diese Zonenüberwachungsvorrichtung berechnet den Abstand zwischen den in der Nähe des Fahrzeugs befindlichen Objekten und dem Fahrzeug aus Bildern, die von zwei Infrarotkameras erhalten werden, und berechnet dann den Bewegungsvektor der Objekte aus den Positionsdaten der Objekte, die in zeitlicher Aufeinanderfolge gefunden werden. Zusätzlich erfasst die Vorrichtung die Objekte, die hohe Kollisionsmöglichkeit mit dem Fahrzeug haben, aus der Beziehung zwischen der Fortbewegungsrichtung des Fahrzeugs und dem Bewegungsvektor des Objekts.
Zusätzlich offenbart die japanische ungeprüfte Patentanmeldung Erstveröffentlichung Nr. 2001-108758 eine Technik, in der Objekte erfasst werden, indem solche Zonen eliminiert werden, die Temperaturen zeigen, die sich klar von der physischen Körpertemperatur eines Fußgängers unterscheiden, aus einem Infrarotbild, das mit einer Bildaufnahme aufgenommen wird, die an dem Fahrzeug vorgesehen ist.
Für Objekte, die aus Abschnitten extrahiert sind, die die Zone eliminieren, die eine von der Körpertemperatur eines Fußgängers klar unterschiedliche Temperatur zeigen, bestimmt die Vorrichtung, ob das Objekt ein Fußgänger ist oder nicht, indem es das Aspektverhältnis des Objekts weiter identifiziert.
Obwohl jedoch in den oben beschriebenen herkömmlichen Zonenüberwachungsvorrichtungen Objekte, die Infrarotlicht emittieren, erfasst werden können, ist die Erfassung von Objekten neben Fußgängern und Tieren ein Problem. Diese Objekte umfassen solche, die von sich aus Wärme abstrahlen, wie etwa Warenautomaten, Telefonsäulen und Lichtmasten, die während des Tages durch Sonneneinstrahlung erhitzt worden sind und die im Hinblick auf die Fahrzeugfahrt nur wenig wichtig sind.
Insbesondere besteht das Problem, dass die physischen Körper, die angenähert die gleiche Temperatur wie der physische Körpertemperatur eines Fußgängers haben oder die eine längliche Form haben, die etwa die gleiche ist wie die eines Fußgängers, von Fußgängern überhaupt unterschieden werden können.
Wenn ferner Fußgänger und Tiere mit unbestimmten Formen aus den Objekten extrahiert werden, indem ihre Form identifiziert wird, besteht das Problem, dass die Verbesserung der Erfassungsgenauigkeit schwierig ist.
Im Hinblick auf die obigen Probleme ist es Aufgabe der Erfindung, eine Fahrzeugzonen-Überwachungsvorrichtung anzugeben, die künstliche Strukturen durch Formidentifikation unter Verwendung von Referenzbildern aus dem Infrarotbild, das von einer an dem Fahrzeug vorgesehenen Fotografiervorrichtung aufgenommen ist, eliminiert und die restlichen Objekte als physische Körper erfasst, die sich bewegen, wie etwa Fußgänger und Tiere.
Zur Lösung zumindest eines der oben beschriebenen Probleme wird nach einem ersten Aspekt der Erfindung eine Fahrzeugzonen- Überwachungsvorrichtung vorgeschlagen, die einen in der Nähe des Fahrzeugs befindlichen physischen Körper aus von einer Fotografiervorrichtung bzw. Bildaufnahmevorrichtung aufgenommenen Infrarotbildern erfasst, umfassend: eine Objektextrahiervorrichtung, die ein Infrarotstrahlung abgebendes Objekt aus den Infrarotbildern erfasst; und eine künstliche-Struktur-Identifiziervorrichtung, die ein Bild eines Objekts, das durch die Objekt-Extrahiervorrichtung extrahiert ist, mit einem Referenzbild eines Elements vergleicht, das eine künstliche Struktur definiert, und identifiziert, ob das Objekt eine künstliche Struktur ist oder nicht.
Mittels der oben beschriebenen Struktur wird, für eine Mehrzahl von Wärme emittierenden physischen Körpern, die in den von der Fotografiervorrichtung aufgenommenen Infrarotbildern vorhanden sind, ein Bild dieses physischen Körpers mit einem Referenzbild verglichen, und wird unterschieden, ob der physische Körper eine künstliche Struktur mit einer vorbestimmten Form oder ein anderer physischer Körper als dieser ist, z. B. ein sich bewegender, wie etwa ein Fußgänger oder ein Tier.
In der Fahrzeugzonen-Überwachungsvorrichtung des ersten Aspekts ist ein zweiter Aspekt bevorzugt gekennzeichnet durch eine künstliche- Struktur-Eleminiervorrichtung, die Objekte, die von der künstliche- Struktur-Identifiziervorrichtung als künstliche Strukturen identifiziert worden sind, von den Objekten, die von der Objektextrahiervorrichtung extrahiert worden sind, eliminiert.
Mittels der oben beschriebenen Struktur werden, um andere Objekte als künstliche Strukturen, die Aufmerksamkeit erhalten sollten, zu extrahieren, künstliche Strukturen von aus den Infrarotbildern extrahierten Objekte eliminiert, und die verbleibenden Objekte können als sich bewegende physische Körper erkannt werden.
In der Fahrzeugzonen-Überwachungsvorrichtung des ersten und zweiten Aspekts ist ein dritter Aspekt der Erfindung bevorzugt dadurch gekennzeichnet, dass die Referenzbilder ein Bild enthalten, das ein Liniensegment repräsentiert; und die künstliche-Struktur- Identifiziervorrichtung Objekte, die ein Liniensegment enthalten, als künstliche Struktur identifiziert.
Mittels der oben beschriebenen Struktur können, durch Identifikation, ob ein geradliniges Segment vorhanden ist oder nicht, das künstliche Strukturen in Objekten leicht charakterisiert, Objekte mit geradlinigen Segmenten als künstliche Strukturen eliminiert werden und können andere Objekte als künstliche Objekte erkannt werden.
In der Fahrzeugzonen-Überwachungsvorrichtung der ersten bis dritten Aspekte ist ein vierter Aspekt der Erfindung bevorzugt dadurch gekennzeichnet, dass die künstliche-Struktur-Identifiziervorrichtung eine Referenzbilddimensions-Veränderungsvorrichtung aufweist, die die Gräße des Referenzbilds so verändert, dass sie zum Abstand zwischen dem Fahrzeug und dem Objekt konform ist.
Mittels der oben beschriebenen Struktur kann die Präzision der Erfassung, ob ein Objekt eine künstliche Struktur ist oder nicht, verbessert werden, indem die Größendifferenzen zwischen dem Objektbild und dem Referenzbild komplementiert bzw. komplementär gemacht werden, die aufgrund des Abstands zwischen dem Objekt und dem Fahrzeug auftreten, und auf beide mittels einer geeigneten Größe bzw. Maßstab Bezug genommen wird.
Wie oben erläutert, wird das Ergebnis der Überwachung der Umgebung in der Nähe des Fahrzeugs behandelt, indem es in bewegende physische Körper, wie etwa Fußgänger und Tiere, und künstliche Straßenstrukturen klassifiziert wird. Somit kann z. B. für den Fall, dass die Umgebung in der Nähe des Fahrzeugs dem Fahrer des Fahrzeugs angezeigt wird, das Verfahren zum Anzeigen dieser Objekte differenziert unterschiedlich sein, wobei dem Fahrer solche physischen Körper geeignet mitgeteilt werden, denen mehr Aufmerksamkeit geschenkt werden sollte.
Falls z. B. die Information über diese physischen Körper bei der Fahrzeugsteuerung verwendet wird, kann diese, in Abhängigkeit von der Klassifizierung und Wichtigkeit der physischen Körper, als Bestimmungsmaterial verwendet werden, um die Reihenfolge oder den Befehl zur Fahrzeugsteuerung zu verändern.
Wie oben beschrieben, wird nach dem ersten Aspekt der Erfindung das Bild einer Mehrzahl von Objekten, die Wärme abstrahlen und in einem durch eine Fotografiervorrichtung aufgenommenen Infrarotbild vorhanden sind, mit einem Referenzbild verglichen. Es lässt sich unterscheiden, ob dieser physische Körper eine künstliche Struktur mit einer bestimmten Form oder ein sich bewegender physischer Körper wie etwa ein Fußgänger oder ein Tier ist.
Durch Klassifizieren von aus dem Infrarotbild extrahierten Objekten in künstliche Strukturen und natürliche Strukturen erhält man den Effekt, dass physische Körper, die wichtig sind und denen in Bezug auf die Fahrt des Fahrzeugs mehr Aufmerksamkeit geschenkt werden sollte, zuverlässig erkannt werden können.
Zusätzlich kann im Vergleich zu den Fall, in dem Fußgänger und Tiere mit undefinierten Formen aus einem Objekt durch die Formidentifizierung des Objekts selbst extrahiert werden kann, weil physische Körper mit bestimmten Formen erfasst werden, der Effekt erhalten werden, dass das Erkennen des Objekts mit weniger Berechnung und höherer Erfassungspräzision erfolgt.
Nach dem zweiten Aspekt der Erfindung werden, um andere Objekte als künstliche Strukturen zu extrahieren, denen Aufmerksamkeit geschenkt werden sollte, die künstlichen Strukturen aus den von dem Infrarotbild extrahierten Objekten eliminiert, und die verbleibenden Objekte werden als bewegende physische Körper erkannt.
In dem man künstliche Strukturen ausschließt und nur solche Objekte behandelt, die nicht künstliche Strukturen sind, die aus dem Infrarotbild extrahiert worden sind, erhält man daher den Effekt, dass das Erkennen wichtiger physischer Körper verbessert werden kann.
Nach dem dritten Aspekt der Erfindung können, durch Identifikation, ob ein geradliniges Segment vorhanden ist oder nicht, das künstliche Strukturen in dem Bild einfach charakterisiert, Objekte mit geradlinigen Segmenten als künstliche Struktur ausgeschlossen werden, und Objekte die nicht künstliche Strukturen sind, können erkannt werden.
Daher können Straßenstrukturen aus dem Infrarotbild vergleichsweise leicht entfernt werden, und man kann den Effekt erhalten, dass die Erfassungspräzision von Fußgängern und Tieren, die eine undefinierte Form haben, verbessert werden kann.
Nach dem vierten Aspekt der Erfindung erhält man durch Kompensation der Größendifferenzen zwischen dem Objektbild und dem Referenzbild, das durch den Abstand zwischen dem Objekt und dem Fahrzeug erzeugt wird, und durch Vergleichen beider mit einer geeigneten Größe, den Effekt erhalten, dass die Erfassungspräzision, ob das Objekt eine künstliche Struktur ist oder nicht, verbessert werden kann.
Daher erhält man die Effekte, dass Erfassungsfehler aufgrund des Abstands zwischen dem Fahrzeug und dem Objekt vermieden werden können, und die Umgebungsüberwachung in der Nähe des Fahrzeugs kann über einen weiten Bereich hinaus ausgeführt werden.
Durch die Unterscheidung physischer Körper, die sich bewegen, wie etwa Fußgänger und Tiere, von künstlichen Straßenstrukturen, kann die Information über diese physischen Körper bei der Fahrzeugsteuerung benutzt werden, und falls diese Information als Information oder Warnungen dem Fahrer des Fahrzeugs angezeigt wird, kann dies als Material benutzt werden, um das Anzeigeverfahren der Information und der Warnungen in Abhängigkeit vom Inhalt und der Wichtigkeit des Objekts oder das Steuerverfahren des Fahrzeugs zu verändern.
Die Erfindung wird nun anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen beschrieben.
Fig. 1 zeigt im Blockdiagramm die Struktur der Fahrzeugzonen- Überwachungsvorrichtung nach der Ausführung;
Fig. 2 zeigt die Installationspositionen der Infrarotkameras, Sensoren, der Anzeige u. dgl. in dem Fahrzeug;
Fig. 3 zeigt im Flussdiagramm die Prozesssequenz für alle Operationen in der Bildprozessoreinheit der Fahrzeugzonen- Überwachungsvorrichtung dieser Ausführung;
Fig. 4A und Fig. 4B zeigen die Grauskalierungen, die durch die Infrarotkamera erhalten werden, sowie das binäre Bild davon;
Fig. 5A, 5B und 5C zeigen den Umwandlungsprozess und die Markierung bzw. Kennzeichnung für die Lauflängendaten;
Fig. 6A und 6B zeigen die zeitliche Verfolgung des Objekts;
Fig. 7 zeigt die Drehwinkelkompensation des Objektbilds,
Fig. 8A und 8B zeigen das Suchbild im rechten Bild und die gesetzte Suchzone im linken Bild;
Fig. 9 zeigt den Korrelationsberechnungsprozess, der die Suchzone als Objekt verwendet;
Fig. 10A und 10B zeigen das Berechnungsverfahren zur Objektparallaxe in der Abstandsberechnung des Objekts;
Fig. 11 zeigt den Versatz oder Offset der Objektposition in dem durch Drehen des Fahrzeugs erzeugten Bild;
Fig. 12 zeigt im Flussdiagramm die Details des Warnbestimmungsprozesses in der Bildprozessoreinheit der Fahrzeugzonen-Überwachungsvorrichtung dieser Ausführung;
Fig. 13 zeigt die Zonenaufteilung in der Vorwärtsrichtung des Fahrzeugs;
Fig. 14 zeigt den Fall, in dem leicht eine Kollision auftreten kann;
Fig. 15 zeigt im Flussdiagramm die Details des Erfassungsprozesses eines vertikalen linearen Teils in der Bildprozessoreinheit der Fahrzeugzonen-Überwachungsvorrichtung der Ausführung;
Fig. 16 zeigt im Flussdiagramm die Details des Erfassungsprozesses des horizontalen linearen Teils in der Bildprozessoreinheit der Fahrzeugzonen-Überwachungsvorrichtung dieser Ausführung;
Fig. 17 zeigt im Flussdiagramm die Details des Erfassungsprozesses des viereckigen Teils in der Bildprozessoreinheit der Fahrzeugzonen-Überwachungsvorrichtung dieser Ausführung;
Fig. 18A und 18B zeigen die Details des extrahierten Musters des vertikal linearen Teils bei der Suche des Bilds;
Fig. 19 zeigt die Suche des Referenzmusters für die Suche des vertikalen linearen Teils;
Fig. 20A und 20B zeigen die Details des extrahierten Musters des vertikalen linearen Teils bei der Suche des Bilds;
Fig. 21A und 21B zeigen die Details des extrahierten Musters des viereckigen Teils bei der Suche des Bilds;
Fig. 22 zeigt ein Beispiel einer von der Infrarotkamera aufgenommenen Straßenstruktur;
Fig. 23 zeigt im Flussdiagramm die Details des Erfassungsprozesses identischer Formen in der Bildprozessoreinheit der Fahrzeugzonen-Überwachungsvorrichtung dieser Ausführung; und
Fig. 24A und 24B zeigen die Suche des Objektmusters zum Erfassen identischer Formen.
Fig. 1 zeigt im Blockdiagramm die Struktur der Fahrzeugzonen- Überwachungsvorrichtung des Ausführungsbeispiels.
In Fig. 1 ist mit der Bezugszahl 1 eine Bildprozessoreinheit bezeichnet, die eine CPU (zentrale Prozessoreinheit) aufweist, die die Fahrzeugzonen- Überwachungsvorrichtung dieser Ausführung steuert, und mit ihr verbunden sind zwei Infrarotkameras 2R und 2L, die Infrarotlicht erfassen können, ein Gierratensensor 3, der Schwingungen bzw. Gierbewegungen dieses Fahrzeugkörpers erfasst, ein Geschwindigkeitssensor 4, der die Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) dieses Fahrzeugs erfasst, sowie ein Bremssensor 5 zum Erfassen der Bremsbetätigung. Hierdurch erfasst die Bildprozessoreinheit 1 ein sich bewegendes Objekt, wie etwa einen Fußgänger oder ein Tier vor dem Fahrzeug aus Signalen, die das Infrarotbild in der Nähe des Fahrzeugs repräsentieren, sowie den Fahrzustand des Fahrzeugs, und bestimmt, wenn die Möglichkeit einer Kollision hoch ist.
Mit der Bildprozessoreinheit 1 verbunden sind ein Lautsprecher 6, der eine stimmliche Warnung ausgibt, und z. B. eine Messanzeige bzw. Tachoanzeige, die ein Messgerät, das den Fahrzustand des Fahrzeugs numerisch repräsentiert, eine NAVI-Anzeige (Navigationsanzeige), die an der Konsole des Fahrzeugs angeordnet ist, oder ein HUD (Head Up Display), das Informationen an der Frontscheibe an einer Position anzeigt, die sich nicht mit der Voraussicht des Fahrers stört, integriert, um den Fahrer des Fahrzeugs über Objekte in Kenntnis zu setzen, mit denen die Kollisionsgefahr hoch ist.
Zusätzlich umfasst die Bildprozessoreinheit 1 eine A/D- Umwandlungsschaltung, die ein analoges Eingangssignal in ein digitales Signal umwandelt, einen Bildspeicher, der ein digitalisiertes Bildsignal speichert, eine CPU (zentrale Prozessoreinheit), die jede Art von Operationsprozess ausführt, ein RAM (Speicher mit wahlfreiem Zugriff), das zum Speichern von Daten dient, die die CPU gegenwärtig verarbeitet, ein ROM (Nur-Lesespeicher), das von der CPU ausgeführte Programme, Tabellen, Kennfelder u. dgl. speichert, ein Treibersignal für den Lautsprecher 6 sowie eine Ausgabeschaltung, die Anzeigesignale u. dgl. z. B. an das HUD 7a ausgibt, und ist so strukturiert, dass jedes der Ausgangssignale der Infrarotkameras 2R und 2L, des Gierratensensors 3, des Geschwindigkeitssensors 4 und des Bremssensors 5 in digitale Signale umgewandelt und in die CPU eingegeben werden.
Zusätzlich sind, wie in Fig. 2 gezeigt, an der Vorderseite des Fahrzeugs 10 die Infrarotkameras 2R und 2L an im Wesentlichen symmetrischen Positionen in Bezug auf die Quermittelrichtung des Fahrzeugs 10 angeordnet, und die optischen Achsen der zwei Infrarotkameras 2R und 2L sind zueinander parallel. Zusätzlich ist die Höhe beider Kameras über der Straßenoberfläche auf gleiche Werte festgelegt. Darüber hinaus haben die Infrarotkameras 2R und 2L die Eigenschaft, dass der Ausgangssignalpegel ansteigt (die Helligkeit zunimmt), wenn die Temperatur des Objektes ansteigt.
Zusätzlich ist das HUD 7a so vorgesehen, dass das Anzeigebild an einer Position der Frontscheibe des Fahrzeugs 10 angezeigt wird, die den nach vorne gerichteten Sichthorizont des Fahrers nicht blockiert.
Nachfolgend wird der Betrieb dieser Ausführung anhand der Figuren erläutert.
Fig. 3 ist ein Flussdiagramm, dass die Prozesssequenz in der Bildprozessoreinheit 1 der Fahrzeugzonen-Überwachungsvorrichtung dieser Ausführung zeigt.
Zuerst erhält die Bildprozessoreinheit 1 ein Infrarotbild, das ein Ausgangssignal der Infrarotkameras 2R und 2L ist (Schritt S1), führt daran eine A/D-Umwandlung aus (Schritt S2) und speichert das Grauskalenbild in dem Bildspeicher (Schritt S3). Ferner wird das rechte Bild von der Infrarotkamera R2 erhalten, und dann wird das linke Bild von der Infrarotkamera 2L erhalten. Zusätzlich wird in dem rechten Bild und dem linken Bild die horizontale Position auf dem Anzeigeschirm desselben Objekts mit einem Versatz angezeigt, und somit kann durch diesen Versatz (Parallaxe) der Abstand zu diesem Objekt berechnet werden.
Dann dient das von der Infrarotkamera R2 erhaltene rechte Bild als das Referenzbild. Es erfolgt eine binäre Verarbeitung dieses Signalbilds, d. h. der Prozess, in dem Zonen, die heller sind als ein Helligkeitsschwellenwert ITH, mit "1" bezeichnet werden (weiß), und dunkle Zonen mit "0" (schwarz) bezeichnet werden (Schritt S4).
Fig. 4A zeigt das Grauskalenbild, das von der Infrarotkamera 2R erhalten ist, und, durch einen binären Prozess erhält man das Bild von Fig. 4B. Ferner werden in Fig. 4B jene physischen Körper, die mit den Rahmen P1 bis P4 umgeben sind, als die Objekte festgelegt, die auf dem Anzeigeschirm in weiß dargestellt werden (nachfolgend als "sehr helle Zone" bezeichnet).
Wenn die Bilddaten, die dieser binären Verarbeitung unterzogen sind, von der Infrarotkamera erhalten worden sind, erfolgt ein Prozess, in der die binären Bilddaten in Lauflängendaten umgewandelt werden (Schritt S5).
Fig. 5A erläutert dies in einer Zeichnung, und in dieser Figur ist jene Zone, die durch binäre Umwandlung weiß geworden ist, als die Linien L1 bis L8 gezeigt. Die Linien L1 bis L8 haben alle eine Breite von 1 Pixel in der y-Richtung und sind, obwohl sie tatsächlich ohne Zwischenraum in der y-Richtung angeordnet sind, zum Zwecke der Erläuterung getrennt worden. Zusätzlich haben die Linien L1 bis L8 jeweils eine Länge von 2 Pixeln, 2 Pixeln, 3 Pixeln, 8 Pixeln, 7 Pixeln, 8 Pixeln, 8 Pixeln bzw. 8 Pixeln. Die Lauflängendaten sind durch die Koordinaten des Anfangspunkts jeder der Linien (dem Punkt am linken Ende jeder Linie) und der Länge (Anzahl von Pixeln) vom Anfangspunkt zum Endpunkt (dem Punkt am rechten Ende jeder Linie) gezeigt. Zum Beispiel umfasst die Linie L3 die 3 Pixel (x3, y5), (x4, y5) und (x5, y5) und somit wird (x3, y5, 3) die Lauflängendaten.
Dann wird aus den in Lauflängendaten umgewandelten Bilddaten, durch Markierung des Objekts (Schritt S6) der Prozess ausgeführt, mit dem das Objekt extrahiert wird (Schritt S7). Das heißt, wie in Fig. 5B gezeigt, dass von den Linien L1 bis L8, die in Lauflängendaten umgewandelt worden sind, die Linien L1 bis L3, die die in der y-Richtung überlappenden Teile sind, als ein Objekt 1 behandelt werden, die Linien L4 bis L8 als ein Objekt 2 behandelt werden und die Objektmarkierungen 1 und 2 zu den Lauflängendaten addiert werden. Durch diesen Prozess werden z. B. die in Fig. 4B gezeigten sehr hellen Zonen jeweils als Objekte 1 bis 4 erkannt.
Wenn die Extraktion der Objekte abgeschlossen ist, wie in Fig. 5C gezeigt, wird dann der Schwerpunkt G, die Oberflächenausdehnung S und das Aspektverhältnis ASPECT des mit den unterbrochenen Linien umschriebenen Vierecks berechnet (Schritt S8).
Hier wird die Oberflächenausdehnung S berechnet, indem die Längen der Lauflängendaten für das gleiche Objekt addiert werden. Zusätzlich wird die Koordinate des Schwerpunkts G als die x-Koordinate jener Linie berechnet, die die Oberflächenausdehnung S in der x-Richtung zweiteilt, und die y-Koordinate jener Linie, die sie in der y-Richtung zweiteilt. Ferner wird das Aspektverhältnis ASPECT berechnet als das Dy/Dx- Verhältnis von Dy und Dx, wie in Fig. 5C gezeigt. Ferner kann die Position des Schwerpunkts G durch die Position des Schwerpunkts des umschriebenen Vierecks ersetzt werden.
Wenn der Schwerpunkt, die Oberflächenausdehnung und das Aspektverhältnis des Umschreibungsvierecks berechnet worden sind, erfolgt dann die Erkennung der zeitlichen Verfolgung bzw. Zeitspur, d. h. die Abtastung jedes Zyklus desselben Objekts (Schritt S9). In einer zeitlichen Verfolgung dient k als die Zeit, während der die Zeit t als analoger Betrag an einem Abtastzyklus diskret gemacht wird, und wie in Fig. 6A werden, falls die Objekte A und B zur Zeit k extrahiert werden, die Objekte C und D, die zur Zeit (k + 1) extrahiert werden, als mit den Objekten A und B identisch bestimmt. Insbesondere wenn die folgenden Identitätsbestimmungsbedingungen 1 bis 3 erfüllt sind, werden die Objekte A und B als identisch mit den Objekten C und D bestimmt und die Markierungen der Objekte C und D werden jeweils in die Objekte A und B geändert.

1. Wenn die Positionskoordinaten des Schwerpunkts im Bild des Objekts i ( = A, B) zur Zeit k jeweils auf (xi(k), yi(k)) gesetzt werden und die Positionskoordinaten des Schwerpunkts des Bilds des Objekts j (= C, D) zur Zeit (k + 1) jeweils auf (xj(k + 1), yj(k + 1)) gesetzt werden, dann gilt |xj(k + 1) - xi(k)| < Δx|yj(k + 1) - yi(k)| < Δy, wobei Δx und Δy die zulässigen Werte des Bewegungsbetrags in dem Bild jeweils in der x-Richtung und der y-Richtung bezeichnen.
2. Wenn die Oberflächenausdehnung des Objekts i (= A, B) in dem Bild zur Zeit k gleich Si(k) ist und die Oberflächenausdehnung des Objekts j (= C, D) des Bilds zur Zeit (k + 1) gleich Sj(k + 1) ist, dann gilt Sj(k + 1)/Si(k) < 1 ± ΔS, wobei ΔS die zulässigen Werte der Flächenänderung bezeichnet.
3. Wenn das Aspektverhältnis des umschriebenen Vierecks des Objekts i (= A, B) zur Zeit k gleich ASPECT i(k) ist und das Aspektverhältnis des umschriebenen Vierecks des Objekts j (= C, D) gleich ASPECT j(k + 1) ist, dann gilt ASPECT j(k + 1)/ASPECT i(k) < 1 ± Δ ASPECT, wobei Δ ASPECT die zulässigen Werte des Aspektverhältnisses bezeichnet.

Wenn man z. B. Fig. 6A und 6B vergleicht, erfüllen, obwohl die Größe jedes der Objekte in dem Bild größer wird, das Objekt A und das Objekt C die oben beschriebenen Bedingungen für die Identitätsindifikation, und erfüllen das Objekt B und das Objekt D die oben beschriebenen Bedingungen für die Identitätsidentifikation, und somit werden die Objekte C und D jeweils als die Objekte A bzw. B erkannt. Auf diese Weise werden die Positionskoordinaten (des Schwerpunkts) jedes der erkannten Objekte in dem Speicher als zeitserielle Positionsdaten gespeichert, die beim späteren Berechnungsprozess verwendet werden.
Ferner wird der oben erläuterte Prozess in den Schritten S4 bis S9 an einem binären Referenzbild ausgeführt (in dieser Ausführung dem rechten Bild).
Dann wird die Geschwindigkeit VCAR, die von dem Geschwindigkeitssensor 4 erfasst ist und die Gierrate YR, die von dem Gierratensensor 3 erfasst ist, gelesen, und, wie in Fig. 7 gezeigt, wird der Kurvenfahr- bzw. Drehwinkel θr des Fahrzeugs 10 durch Integrieren der Gierrate Yr in Bezug auf die Zeit berechnet (Schritt S10).
Im Gegensatz hierzu wird der Prozess der Schritte S9 und S10 parallel ausgeführt, und in den Schritten S11 bis S13 wird der Prozess ausgeführt, der den Abstand z zwischen dem Objekt und dem Fahrzeug 10 berechnet. Weil diese Berechnung länger dauert als die Schritte S9 und S10, werden sie in einem längeren Zyklus als Schritt S9 und S10 ausgeführt (z. B. mit einem Zyklus, der etwa das dreifache des Ausführungszyklus der Schritte S1 bis S10 beträgt).
Zuerst wird, durch Auswahl von einem der Objekte, das durch das binäre Bild des Referenzobjekts (des rechten Bilds) markiert bzw. verfolgt wird, wie in Fig. 8A gezeigt, in dem Suchbild R1 (hier wird die Gesamtfläche, die von dem Umschreibungsviereck umgeben ist, zum gesuchten Bild gemacht) von dem rechten Bild extrahiert (Schritt S11).
Dann wird die Fahrzeugsuchzone, in der das Bild dem gesuchten Bild (nachfolgend als das "korrespondierende Bild" bezeichnet) entspricht, von dem linken Bild gesetzt, und das korrespondierende Bild wird durch Ausführung der Korrelationsbereichnung extrahiert (Schritt S12). Insbesondere wird, wie in Fig. 8B gezeigt, in Abhängigkeit von jeder der Spitzenkoordinaten des gesuchten Bilds R1, die Suchzone R2 in dem linken Bild gesetzt, und der Helligkeitsdifferenz-Gesamtwert C (a, b), der den Korrelationsgrad mit dem gesuchten Bild R1 in der Suchzone R2 angibt, wird durch die nachfolgend gezeigte Gleichung 1 berechnet, und die Zone, in der dieser Gesamtwert C (a, b), minimal wird, wird als das korrespondierende Bild extrahiert. Anzumerken ist, dass diese Korrelationsberechnung mittels des Grauskalenbilds und nicht des binären Bilds ausgeführt wird.
Wenn darüberhinaus vergangene Positionsdaten für den identischen physischen Körper vorhanden sind, wird eine Zone R2a (in Fig. 8B mit unterbrochener Linie gezeigt), die schmaler ist als die Suchzone R2, so gesetzt, dass sie als die Suchzone dient.
Hier ist IR (m, n) der Helligkeitswert der Position der Koordinate (m, n) in der in Fig. 9 gezeigten Suchzone R1, und IL (a + m - M, b + n - N) ist der Helligkeitswert der Position der Koordinate (m, n) in der Suchzone R1 und der lokalen Zone R3 mit derselben Form, wobei die Koordinaten (a, b) in der Suchzone die Basispunkte sind. Die Position des korrespondierenden Bilds wird definiert, indem die Position herausgefunden wird, an der der Gesamtwert C (a, b) der Helligkeitsdifferenz minimiert wird, indem die Koordinaten (a, b) an dem Basispunkt geändert werden.
Aufgrund des Prozesses in Schritt S12, wie in Fig. 10A und 10B gezeigt, werden, weil das Suchbild R1 und das diesem Objekt entsprechende korrespondierende Bild R4 extrahiert sind, dann der Abstand dR (Anzahl der Pixel) zwischen der Position des Schwerpunkts des Suchbilds R1 und der Bildmittellinie LCTR sowie der Abstand dL (Anzahl der Pixel) zwischen der Position des Schwerpunkts des korrespondierenden Bilds R4 und der Bildmittellinie LCTR gefunden, und durch Anwenden der folgenden Gleichung 2 wird der Abstand z zwischen dem Fahrzeug 10 und dem Objekt berechnet (Schritt S13).
Hier ist B die Basislinienlänge, d. h. der Abstand in der horizontalen Richtung zwischen der Mittelposition des fotografischen Elements der Infrarotkamera 2R und der Mittelposition des fotografischen Elements der Infrarotkamera 2L (die Trennung bzw. der Abstand der Lichtstrahlenachse beider Infrarotkameras); F ist die Brennweite der Linsen der Infrarotkameras 2R und 2L, p ist die Pixeltrennung bzw. der Pixelabstand in dem fotografischen Element der Infrarotkameras 2R und 2L, und Δd (= dR + dL) ist der Parallaxenbetrag.
Wenn die Berechnung des Drehwinkels θr in Schritt S10 und die Berechnung des Abstands zu dem Objekt in Schritt S13 abgeschlossen worden sind, werden die Koordinaten (x, y) in dem Bild und der in Gleichung 2 berechnete Abstand z auf die folgende Gleichung 3 angewendet, und in reale Raumkoordinaten (X, Y, Z) umgewandelt (Schritt S14).
Hier ist, wie in Fig. 2 gezeigt, der Ursprung O der realen Raumkoordinaten (X, Y, Z) die Position des Mittelpunkts der Installationsposition der Infrarotkameras 2R und 2L (die Position, an der sie an dem Fahrzeug 10 fixiert sind), wobei sie wie in der Figur gezeigt fixiert sind, und die Koordinaten in dem Bild werden durch x in der horizontalen Richtung und y in der vertikalen Richtung bestimmt, wobei die Mitte des Bilds als der Ursprung dient.

wobei f = F/p.
Hier sind (xc, yc) die Koordinaten (x, y) des rechten Bilds, die in Koordinaten eines virtuellen Bilds umgewandelt worden sind, in dem der reale Raumursprung O und die Bildmitte in Übereinstimmung gebracht worden sind, auf der Basis der relativen Positionsbeziehung zwischen der Installationsposition der Infrarotkamera 2R und dem realen Raumursprung O. Zusätzlich ist f das Verhältnis der Brennweite F und dem Pixelintervall P.
Wenn dann die realen Raumkoordinaten gefunden worden sind, wird die Drehwinkelkompensation aufgeführt, um die Positionsverschiebung in dem Bild aufgrund der Drehung bzw. Kurvenfahrt des Fahrzeugs 10 zu kompensieren (Schritt S15).
Wenn, wie in Fig. 7 gezeigt, das Fahrzeug dreht (d. h. eine Kurve fährt), z. B. mit einem Drehwinkel θr in der linken Richtung während des Zeitintervalls von Zeit k zu (k + 1), tritt eine Verschiebung in der x-Richtung um einen Betrag äquivalent Δx, wie in Fig. 11 gezeigt, in dem von der Kamera erhaltenen Bild auf, und die Drehwinkelkompensation ist ein Prozess, um dies zu kompensieren. Insbesondere wird in der folgenden Gleichung 4 das reale Raumkoordinatensystem (X, Y, Z) angewendet, und werden die kompensierten Koordinaten (Xr, Yr, Zr) berechnet. Die berechneten realen Raumpositionsdaten (Xr, Yr, Zr) werden jedem Objekt zugeordnet und im Speicher gespeichert. Ferner werden in der folgenden Erläuterung die Koordinaten nach der Drehwinkelkompensation als (X, Y, Z) bezeichnet.
Wenn die Drehwinkelkompensation für die realen Koordinaten abgeschlossen ist, wird dann die angenähert gerade Linie LMV, die den relativen Bewegungsvektor zwischen dem Objekt und dem Fahrzeug 10 enspricht, aus N realen Raumpositionsdaten (für z. B. N = 10) nach der Drehwinkelkompensation herausgefunden, die während der Überwachungsperiode ΔT für ein- und dasselbe Objekt erhalten wurden, d. h. aus den Zeitseriendaten (Schritt S16).
Genauer gesagt, wenn der Richtungsvektor L, der die Richtung der angenähert geraden Linie LMV angibt, gleich (Ix, Iy, Iz) ist, wobei (|L| = 1), wird die durch die folgende Gleichung 5 repräsentierte gerade Linie gefunden.

X = u.Ix + Xav
Y = u.Iy + Yav
Z = u.Iz + Zav.
Hier ist u ein Parameter, der einen beliebigen Wert einnimmt, und Xav, Yav und Zav sind jeweilige Mittelwerte der X-Koordinate, der Y- Koordinate und der Z-Koordinate der realen Raumpositionsdaten-Sequenz.
Wenn ferner der Parameter u eliminiert wird, wird Gleichung 5 zu Gleichung 5a:

(X - Xav)/1x = (Y - Yav)/1y = (Z - Zav)/1z Gl. 5a
Für den Fall, dass z. B. P(0), P(1), P(2), . . ., P(n-2), P(N-1) die Zeitseriendaten nach der Drehwinkelkompensation bezeichnet, läuft die angenähert gerade Linie LMV durch die Mittelwertpositionskoordinate Pav = (Zav, Yav, Zav) der Zeitsequenzdaten, und sie wird als gerade Linie gefunden, die dadurch gekennzeichnet ist, dass der Mittelwert des Quadrats des Abstands von jedem der Datenpunkte minimal ist.
Hier bezeichnet der in Klammern gesetzte numerische Wert, der zu P addiert ist, das die Koordinate jedes Datenpunkts bezeichnet, an, dass, je größer der Wert, desto älter die Daten sind. Zum Beispiel bezeichnet P(0) die jüngste Positionskoordinate, P(1) bezeichnet die Positionskoordinate einer ein Zyklus zurückliegenden Abtastung und P(2) bezeichnet die Positionskoordinate einer zwei Zyklen zurückliegenden Abtastung.
Wenn dann die jüngste Positionskoordinate P(0) = (X(0), Y(0), Z(0)) ist, wird die Positionskoordinate P(N-1) = (X (N-1), Y(N-1), Z(N-1)) der (N-1) zurückliegenden Abtastung (vor der Zeit ΔT) auf eine Position auf der angenähert geraden Linie LMV kompensiert. Genauer gesagt, durch Anwenden der Z-Koordinaten (Z(0), Z(N-1)) auf die obige Gleichung 5a, d. h. der folgenden Gleichung 6, werden die Positionskoordinaten nach der Kompensation Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N-1) = (Xv(N-1), Yv(N-1), Zv(N-1)) gefunden.
Der relative Bewegungsvektor wird als Vektor von der in Gleichung 8 berechneten Positionskoordinate Pv(N-1) zu Pv(0) hin gefunden.
In dem den relativen Bewegungsvektor, herausfindet, indem man der angenähert geraden Linie, die sich dem relativen Bewegungsort des Objekts in Bezug auf das Fahrzeug 10 aus einer Mehrzahl (N) Daten innerhalb der Überwachungsperiode ΔT berechnet, kann der Einfluss des Positionserfassungsfehlers reduziert werden, und kann die Möglichkeit einer Kollision mit dem Objekt genauer vorhergesagt werden.
Wenn darüberhinaus in Schritt S16 der relative Bewegungsvektor gefunden worden ist, wird dann die Möglichkeit einer Kollision mit dem erfassten Objekt bestimmt, und es wird ein Warnbestimmungsprozess ausgeführt, der eine Warnung ausgibt, wenn die Möglichkeit hoch ist (Schritt S17).
Ferner kehrt, wenn der Warnbestimmungsprozess abgeschlossen worden ist, der Fluss zu Schritt S1 zurück, und der obige Prozess wird wiederholt.
Nun wird der Warnbestimmungsprozess in Schritt S17 des in Fig. 3 gezeigten Flussdiagramms anhand des in Fig. 12 gezeigten Flussdiagramms erläutert.
Wie in Fig. 14 gezeigt, wird hier als ein zu erläuterndes Beispiel ein Fall beschrieben, in dem sich ein Tier 20 mit einer Geschwindigkeit Vp in einer Richtung bewegt, die einen Winkel von angenähert 90° in Bezug auf die Fortbewegungsrichtung des Fahrzeugs 10 hat.
Zuerst berechnet die Bildprozessoreinheit 1 mittels der folgenden Gleichung 7 die relative Geschwindigkeit Vs in der Z-Richtung von dem Tier 20, das sich während der Zeit ΔT dem Abstand Zv(0) von dem Abstand Zv(N-1) annähert, und führt einen Kollisionsbestimmungsprozess aus (Schritt S21). Der Kollisionsbestimmungsprozess ist ein Prozess, der bestimmt, ob die Möglichkeit einer Kollision besteht, wenn die folgenden Gleichungen 8 und 9 erfüllt sind.
Für den Fall, dass in Schritt S21 bestimmt worden ist, dass eine Möglichkeit einer Kollision mit dem Tier 20 besteht (JA in Schritt S21), geht der Fluss zum nächsten Schritt S22 weiter.
Wenn darüber hinaus in Schritt S21 Gleichung 8 und/oder Gleichung 9 nicht erfüllt ist, wird bestimmt, dass keine Möglichkeit einer Kollision mit dem Tier 20 besteht (NEIN in Schritt S21), und der Warnbestimmungsprozess wird beendet.

Vs = (Zv(N-a) - Zv(0))/ΔT Gl. 7

Zv(0)/Vs ≤ T Gl. 8

|Yv(0)| ≤ H Gl. 9
Hier ist Zv(0) der jüngste Abstandserfassungswert (v ist beigefügt, um anzuzeigen, dass dies Daten nach der Kompensation unter Verwendung der angenähert geraden Linie LMV sind, während die Z-Koordinate ein Wert ist, der mit jenem vor der Kompensation identisch ist), und Zv(N-1) ist der erfasste Abstandswert vor der Zeit ΔT. Ferner ist T eine zulässige Zeit und zeigt an, dass die Möglichkeit einer Kollision zur Zeit T vor der vorhergesagten Kollisionszeit bestimmt ist, und beträgt z. B. etwa 2 bis 5 Sekunden. Darüber hinaus ist H eine vorbestimmte Höhe, die einen Bereich der Y-Richtung definiert, die die Höhenrichtung ist, und ist z. B. auf etwa das Doppelte der Höhe des Fahrzeugs 10 gesetzt.
Wenn der Kollisionsbestimmungsprozess abgeschlossen ist, wird dann bestimmt, ob das Objekt innerhalb der Annäherungsbestimmungszone liegt oder nicht (Schritt S22). Zum Beispiel ist in Fig. 13 die Zone, die mit den Infrarotkameras 2R und 2L überwacht werden kann, mit der Fläche AR0 in der mit der dicken durchgehenden Linie bezeichneten Umschreibungsdreieck bezeichnet, und die Zonen AR1, AR2 und AR3 in der Zone AR0, die dem Fahrzeug 10 näher sind als Z1 = Vs × T, dienen als die Warnzonen.
Hier ist AR1 die Zone entsprechend dem Bereich, dem die Zulässigkeit β (z. B. 50 bis 100 cm) an beiden Seite der Breite α des Fahrzeugs 10 hinzu addiert worden ist, oder anders gesagt, die Zone mit einer Breite (α/2 + β) an beiden Seiten der Achse am Mittelteil in der Breitenrichtung des Fahrzeugs 10. Wenn das Objekt weiterhin so bleibt wie es ist, ist die Möglichkeit einer Kollision extrem hoch. Somit werden diese Zonen Annäherungsbestimmungszonen genannt. Die Zonen AR2 und AR3 sind Zonen (in Querrichtung außerhalb der Annäherungsbestimmungszone), in denen der Absolutwert der X-Koordinate größer ist als die Annäherungsbestimmungszone, wobei eine unten beschriebene Invasionskollisionsbestimmung um das Objekt innerhalb dieser Zone durchgeführt wird, und daher wird dies die invasive oder Invasionsbestimmungszone genannt. Ferner haben diese Zonen eine vorbestimmte Höhe in der Y-Richtung, wie in der obigen Gleichung 9 gezeigt.
Die Antwort im obigen Schritt S1 wird positiv (JA), falls ein Objekt entweder in der Annäherungsbestimmungszone AR1 oder den Invasionsbestimmungszonen AR2 und AR3 vorhanden ist.
Dann wird in Schritt S22 bestimmt, ob sich das Objekt in der Annäherungsbestimmungszone AR1 befindet oder nicht, und falls bestimmt wird, dass sich das Objekt in der Annäherungsbestimmungszone AR1 befindet, (JA in Schritt S22) geht der Fluss direkt zu Schritt S24 weiter. Falls hingegen bestimmt wird, dass sich das Objekt nicht in der Annäherungsbestimmungszone AR1 befindet (NEIN in Schritt S22), wird ein Invasionskollisionsbestimmungsprozess ausgeführt (Schritt S23).
Genauer gesagt, der Invasionskollisionsbestimmungsprozess in Schritt S23 unterscheidet, ob die Differenz zwischen xc(0), das die jüngste x-Koordinate in dem Bild ist (der Buchstabe c ist, wie später erläutert, hinzugefügt, um anzuzeigen, dass dies eine Koordinate ist, an der die Kompensation ausgeführt worden ist, die die Mittelposition des Bilds mit dem realen Raumursprungspunkt O in Übereinstimmung bringt) und cx(N-1), das die x-Koordinate vor der Zeit ΔT ist, der folgenden Gleichung 10 genügt, und falls diese erfüllt ist, wird bestimmt, dass die Möglichkeit einer Kollision hoch ist.
Falls ferner, wie in Fig. 14 gezeigt, sich ein Tier in einer Richtung bewegt, die einen Winkel von angenähert 90° in Bezug auf die Fortbewegungsrichtung des Fahrzeugs 10 hat, wird, wenn Xv(N-1)/Zv(N-1) = Xv(0)/Zr(0), oder anders gesagt, wenn das Verhältnis der Geschwindigkeit Vp und der relativen Geschwindigkeit Vs des Tiers (Vp/Vs) Xr(N-1)/Zr(N-1) ist, die Peilung 8d, mit der man das Tier 20 von dem Fahrzeug 10 aus sieht, konstant, und die Möglichkeit einer Kollision wird hoch. Gleichung 10 bestimmt diese Möglichkeit unter Berücksichtigung der Breite α des Fahrzeugs 10.
Falls in Schritt S23 bestimmt worden ist, dass die Möglichkeit einer Kollision hoch ist (JA in Schritt S23), geht der Fluss zu Schritt S24 weiter. Falls hingegen bestimmt worden ist, dass die Möglichkeit einer Kollision niedrig ist (NEIN in Schritt S23), wird der Warnbestimmungsprozess abgeschlossen.
In Schritt S24 wird bestimmt, ob ein Warnausgabebestimmungsprozess, d. h. die Ausgabe einer Warnung, ausgeführt werden soll oder nicht (Schritt S24).
Der Warnausgabebestimmungsprozess bestimmt, ob der Fahrer des Fahrzeugs 10 eine Bremsbetätigung ausführt oder nicht, aus der Ausgabe BR des Bremssensors 5.
Falls der Fahrer des Fahrzeugs 10 eine Bremsbetätigung ausführt, wird die hierdurch erzeugte Beschleunigung Gs (positiv in der Verzögerungsrichtung) berechnet, und wenn diese Beschleunigung Gs größer als ein vorbestimmter Schwellenwert GTH ist, wird bestimmt, dass durch die Bremsbetätigung eine Kollision vermieden werden kann, und der Warnbestimmungsprozess endet. Wenn eine geeignete Bremsbetätigung ausgeführt wird, wird hierdurch keine Warnung ausgegeben, und der Fahrer wird nicht unnötig belästigt.
Wenn darüber hinaus die Beschleunigung Gs gleich oder kleiner als der vorbestimmte Schwellenwert GTH ist und darüber hinaus der Fahrer des Fahrzeugs 10 keine Bremsbetätigung ausführt, geht der Fluss unmittelbar zu den Prozessen in Schritt S25 und den folgenden weiter, wo die Formbestimmung des Objekts ausgeführt wird.
Ferner wird der vorbestimmte Schwellenwert GTH durch die folgende Gleichung 11 bestimmt. Dieser Wert entspricht dem Zustand, in dem das Fahrzeug 10 mit einem Fahrabstand gleich oder kleiner als der Abstand Zv(0) stoppt, falls die Beschleunigung Gs während der Bremsung so bleibt wie sie ist.
Bei der Formidentifikation des Objekts in Schritt S25 und folgenden, sind die folgenden Schritte enthalten: Identifizieren, ob ein Teil, das ein geradliniges Segment indiziert, in dem Bild des Objekts enthalten ist oder nicht (Schritt S25); ob ein Winkel im Bild des Objekts ein rechter Winkel ist oder nicht (Schritt S26); ob das Bild des Objekts mit der Form einer vorab registrierten künstlichen Struktur übereinstimmt oder nicht (Schritt S27); und ob eine Mehrzahl identischer Formen in dem Bild des Objekts enthalten sind oder nicht (Schritt S28).
Zuerst wird identifiziert, ob ein Teil, das ein geradliniges Segment indiziert, in dem Bild des Objekts enthalten ist oder nicht (Schritt S25).
In Schritt S25 wird, falls kein geradliniges Segment indizierendes Teil in dem Bild des Objekts enthalten ist (NEIN in Schritt S25), identifiziert, ob ein Winkel in dem Bild des Objekts ein rechter Winkel ist oder nicht (Schritt S26).
In Schritt S26 wird, falls ein Winkel in dem Bild des Objekts kein rechter Winkel ist (NEIN in Schritt S26) identifiziert, ob das Bild des Objekts mit der Form einer vorab registrierten künstlichen Struktur übereinstimmt oder nicht (Schritt S27).
In Schritt S27 wird, falls das Bild des Objekts nicht mit der Form der vorab registrierten künstlichen Struktur übereinstimmt (NEIN in Schritt S27) identifiziert, ob eine Mehrzahl identischer Formen in dem Bild des Objekts enthalten sind oder nicht (Schritt S28).
Zusätzlich ist in Schritt S28, falls eine Mehrzahl identischer Formen in dem Bild des Objekts nicht enthalten ist (NEIN in Schritt S28), die Möglichkeit, dass das Objekt ein Fußgänger oder ein Tier ist, hoch, und somit wird eine stimmliche Warnung durch den Lautsprecher 3 ausgegeben, und gleichzeitig wird die Bildanzeigevorrichtung 7 z. B. das von der Infrarotkamera 2R erhaltene Bild angezeigt, und das sich annähernde Objekt wird auf der Anzeige hervorgehoben (z. B. dadurch hervorgehoben, dass es von einem Rahmen umgeben wird) (Schritt S29).
Falls hingegen in Schritt S25 ein ein geradliniges Segment indizierendes Teil in dem Bild des Objekts enthalten ist (JA in Schritt S25), oder falls in Schritt S26 ein Winkel in dem Bild des Objekts ein rechter Winkel ist (JA in Schritt S26), oder falls in Schritt S27 das Bild des Objekts mit der Form einer vorher registrierten künstlichen Struktur übereinstimmt (JA in Schritt S27), oder falls ferner in Schritt S28 eine Mehrzahl identischer Formen in dem Bild des Objekts enthalten sind (JA in Schritt S28), wird das Objekt als künstliche Struktur behandelt, und das in Schritt S7 von Fig. 3 extrahierte Objekt wird eliminiert (Schritt S30). Es wird keine Warnung ausgegeben, und der Warnbestimmungsprozess wird abgeschlossen.
Nun wird ein Verfahren zur Identifizierung einer Form des Objekts in Fig. 12, wie oben beschrieben, und insbesondere der Suchprozess für die geradlinigen Segmente und die rechtwinkligen Segmente in Schritt S25, Schritt S26, Schritt S28 und Schritt S30 anhand der Figuren erläutert.
Fig. 15, Fig. 16, Fig. 17 und Fig. 23 sind Flussdiagramme, die im weiteren Detail den Prozess der Schritte S25, S26, S28 und einen Teil des Prozesses von Schritt S30 zeigen.
Bei der Suche nach einem geradlinigen Segment beginnt die Bildprozessoreinheit 1 mit der Erfassung vertikaler Liniensegmente (Identifizierung vertikaler Liniensegmente). Fig. 15 ist ein Flussdiagramm, dass die Identifizierung der vertikalen, geradlinigen Segmente zeigt.
Daher werden zuerst, um nach vertikalen geradlinigen Segmenten zu suchen, das Bild des Objekts und das rechte gerade Liniensegment- Bildmuster, das ein Referenzbild zur Ausführung der Korrelationsberechnung ist, ausgewählt (Schritt S31). In Abhängigkeit von dem Abstand zwischen dem Fahrzeug 10 und dem Objekt, der in Schritt S13 des Flussdiagramms von Fig. 3 gefunden ist, wird die Mustergröße des Referenzbilds so bestimmt, dass sie proportional zur Größe des Bilds des realen Raums ist, das auf das Anzeigebild projiziert wird (Schritt S32).
Hier erfolgt die Bestimmung der Mustergröße des Referenzbilds wie folgt. Insbesondere, falls der Abstand zwischen dem Fahrzeug 10 und dem Objekt mittels der obigen Gleichung 2 berechnet wird als z = L[m], wird das Objekt mit einer Höhe A[m] und Breite B[m] an einer Position mit Abstand L[m] im realen Raum mit einer Größe gleich a × b[Pixel] auf dem Anzeigeschirm projeziert.

a = f × A/L Gl. 12

b = f × B/L Gl. 13
Daher wird, wie in Fig. 18A gezeigt, aus dem rechten geradlinigen Segment-Bildmuster, das vorab vorbereitet ist, z. B. das a × b[Pixel]- gerade Liniensegment-Muster extrahiert. Das rechte gerade Liniensegment-Extraktionsmuster "Pat_Line_R" dient als Referenzmuster. Ähnlich ist in Fig. 18B das a × b[Pixel] linke geradlinige Segment- Extraktionsmuster "Pat_Line_L" gezeigt, das aus dem vorab vorbereiteten linken gerade Liniensegment-Bildmuster extrahiert ist.
Wenn die Referenzgröße für die Korrelationsberechnung herausgefunden ist, wird dann die Suchzone in der Nähe des Objekts gesetzt (Schritt S33).
Hier erfolgt das Setzen der Suchzone wie folgt. Wie insbesondere in Fig. 19 gezeigt, wird der Umriss (das binäre Objektbild 100), das der binären Extraktion unterzogen worden ist, den Umriss des Objekts 101 nicht notwendigerweise korrekt repräsentieren. Daher werden in Bezug auf die Mitte 102 des Umschreibungsvierecks des binären Objektbilds (OBJ) 100 die Breite und Höhe der Suchfläche auf eine Höhe und eine Breite gesetzt, die durch jeweilige obere, untere, linke und rechte a[Pixel]- Bereiche definiert ist, und der Suchbereich 103 für die Korrelationsberechnung umfasst dieser a × a[Pixel]-Bereiche.
Dann wird aus innerhalb der Suchzone 103 in der Nähe des Objekts ein Abschnitt (OBJ_Pat) 104, der eine hohe Korrelation mit dem rechten gerade Liniensegment-Extraktionsmuster "Pat_Line_R" hat, durch die Korrelationsberechnung herausgefunden (Schritt S34).
Zusätzlich wird identifiziert, ob ein Teil, das eine hohe Korrelation zu dem rechten geradlinigen Segment-Extraktionsmuster "Pat_Line_R" hat, vorhanden ist oder nicht (Schritt S35).
In Schritt S35 wird für den Fall, dass ein Teil, das eine hohe Korrelation mit dem rechten gerade Liniensegment-Extraktionsmuster "Pat_Line_R" hat, vorhanden ist (JA in Schritt S35), um zu bestimmen, ob das Teil mit der hohen Korrelation und das Objekt 101 identische physische Körper sind oder nicht, der Abstand von OBJ_Pat 104 genauso berechnet wie die Berechnung des Abstands des Objekts durch die obige Gleichung 2 (Schritt S36).
Ferner für den Fall, dass der tatsächliche Abstand zwischen dem Fahrzeug 10 und dem Objekt 101 gleich dem Abstand zwischen dem Fahrzeug 10 und dem OBJ_Pat 104 mit hoher Korrelation ist, können das Objekt 101 und OBJ_Pat 104 als identische physische Körper identifiziert werden. Somit kann, durch Vergleich der berechneten Parallaxe Δd und Δd_P, anstatt Abstände zu vergleichen, identifiziert werden, ob das Objekt 101 und OBJ_Pat 104 identische physische Körper sind oder nicht (Schritt S37). Insbesondere wird mittels der folgenden Gleichung 14 bestimmt, ob der Parallaxenfehler kleiner als ein zulässiger Wert TH ist oder nicht.

|Δd-Δd_P| < TH Gl. 14
Falls im Schritt S37 identifiziert wird, dass das Objekt 101 und das OBJ_Pat 104 identische physische Körper sind (JA in Schritt S37) wird bestimmt, dass ein vertikales geradliniges Segment im Objekt 101 vorhanden ist (Schritt S38), wobei ein vertikales geradliniges Segment als künstliche Hauptstraßenstruktur behandelt wird (Schritt S39), und wird die vertikale gerade Linie-Bestimmung abgeschlossen.
Falls hingegen in Schritt S35 ein Teil, das eine hohe Korrelation mit dem rechten gerade Liniensegment-Extraktionsmuster "Pat_Line_R" hat, nicht vorhanden ist (NEIN in Schritt S35), oder falls im Schritt S37 das Objekt 101 und das OBJ_Pat 104 nicht als identische physische Körper identifiziert werden (NEIN in Schritt S37), geht der Fluss zu Schritt S40 weiter, und es wird identifiziert, ob das bei der Korrelationsberechnung verwendete Referenzmuster ein linkes geradliniges Segment-Bildmuster ist oder nicht (Schritt S40).
Falls in Schritt S40 das bei der Korrelationsberechnung verwendete Referenzmuster nicht ein linkes geradliniges Segment-Bildmuster ist (NEIN in Schritt S40), wird das zuvor vorbereitete linke gerade Liniensegment-Bildmuster gewählt (Schritt S41), und der Fluss kehrt zu Schritt S32 zurück.
Zusätzlich wird in den oben beschriebenen Schritten S32 und S33 der gleiche Vorgang an dem linken geradlinigen Segment-Bildmuster durchgeführt wie er an dem rechten geradlinigen Segment-Bildmuster ausgeführt wurde. Das a × 8[Pixel] linke gerade Liniensegment- Extraktionsmuster "Pat_Line_L", das von dem in Fig. 18 gezeigten linken gerade Liniensegment-Bildmuster extrahiert ist, dient als das Referenzmuster. Ferner wird in Schritt S34, von innerhalb des Suchbereichs 103 in der Nähe des Objekts, das Teil (OBJ_Pat), das eine hohe Korrelation mit dem linken gerade Liniensegment-Extraktionsmuster "Pat_Line_L" hat, zur Verwendung bei der Korrelationsberechnung gesucht.
Als Ergebnis der Korrelationsberechnung unter Verwendung des linken gerade Liniensegment-Extraktionsmusters, werden die oben beschriebenen Vorgänge von Schritt S35 bis Schritt S39 ausgeführt. Wenn ein vertikales geradliniges Segment als im Objekt 101 befindlich identifiziert wird, wird das Objekt als künstliche Straßenstruktur behandelt, und die vertikale gerade Liniensegment-Bestimmung wird abgeschlossen.
Zusätzlich wird, als Ergebnis der Korrelationsberechnung unter Verwendung des linken gerade Liniensegment-Extraktionsmusters, wenn der Fluss wieder zur Bestimmung von Schritt S40 fortschreitet, die Suche des vertikalen gerade Liniensegments durch sowohl das rechte gerade Liniensegment-Extraktionsmuster als auch das linke gerade Liniensegment-Extraktionsmuster bereits abgeschlossen ist (JA in Schritt S40), kein vertikales geradliniges Segment als vorhanden identifiziert (Schritt S42), und der Fluss geht zu der horizontalen geradlinigen Segment-Identifizierung weiter.
Ferner liegt bei der oben beschriebenen vertikalen geradlinigen Segment- Identifizierung der Grund dafür, dass eine Korrelationsberechnung unter Verwendung sowohl des rechten geradlinigen Segment-Extraktionsmuster als auch des linken geradlinigen Segment-Extraktionsmusters ausgeführt wird, und der Abstand zwischen dem Fahrzeug 10 und den jeweiligen Teilen mit hohen Korrelationen mit dem Abstand zwischen dem Objekt und dem Fahrzeug 10 verglichen wird, darin, weil für den Fall, dass eine Mehrzahl von Objekten überlappen und als ein Objekt erkannt werden, die Möglichkeit besteht, dass die rechten oder linken geradlinigen Segmente der Objekte, die bei der vertikalen geradlinigen Segment- Identifizierung erfasst werden, keine Teile des Objekts sind, das der Kollisionsbestimmung unterliegt. Daher wird der Abstand zwischen dem Objekt und dem Fahrzeug 10 mit dem Abstand zwischen dem erfassten Objekt und dem rechten oder linken geradlinigen Segment des Fahrzeugs 10 verglichen, und es wird identifiziert, ob beide identische physische Körper sind.
Nun wird die horizontale gerade Liniensegment-Bestimmung anhand des in Fig. 16 gezeigten Flussdiagramms erläutert.
Bei der horizontalen geradlinigen Segment-Bestimmung wird zuerst, um nach einem horizontalen geradlinigen Segment zu suchen, ein Oberrandgeradliniges Segment-Muster, dass das Referenzbild zur Ausführung der Korrelationsberechnung am Bild des Objekts ist, gewählt (Schritt S51). In Abhängigkeit von dem Abstand zwischen dem Fahrzeug 10 und dem Objekt, der in Schritt S13 im Flussdiagramm von Fig. 3 gefunden ist, wird die Mustergröße des Referenzbilds so bestimmt, dass sie der Größe des Bilds in dem realen Raum, das auf den Anzeigeschirm projeziert wird, proportional ist (Schritt S52).
Hier erfolgt die Bestimmung der Mustergröße des Referenzbilds genauso wie bei der oben beschriebenen vertikalen geradlinigen Segment- Identifizierung. Das heißt, falls der Abstand zwischen dem Fahrzeug 10 und dem Objekt durch die obige Gleichung 2 als z = K[m] berechnet wird, wird das Objekt mit der Höhe B[m] und der Breite A[m], das sich an einer Position mit dem Abstand L[m] im realen Raum befindet, mit einer b × a[Pixel]-Größe auf dem Anzeigeschirm projeziert.

b = f × B/L Gl. 15

a = f × A/L Gl. 16
Daher wird, wie z. B. in Fig. 20A gezeigt, das b × a[Pixel] gerade Liniensegment-Muster von dem Oberrand-gerade Liniensegment- Bildmuster extrahiert, das zuvor vorbereitet wurde, und das Oberrandgerade Liniensegment-Extraktionsmuster "Pat_Line_U" dient als Referenzmuster. Ähnlich ist das b × a[Pixel]-Unterrand-gerade Liniensegment-Extraktionsmuster "Pat_Line_D", das von dem zuvor vorbereiteten Unterrand-gerade Liniensegment-Bildmuster extrahiert ist, in Fig. 20B gezeigt.
Wenn die Referenzmustergröße für die Korrelationsberechnung gefunden worden ist, wird dann die Suchzone in der Nähe zu dem Objekt gesetzt (Schritt S53).
Ferner erfolgt auch das Setzen der Suchzone ähnlich der oben beschriebenen vertikalen geradlinigen Segment-Identifizierung. Das heißt, in Bezug auf die Mitte des Umschreibungsvierecks des binären Objektbilds (OBJ), sind die Breite und Höhe der Suchfläche auf eine Höhe und Breite gesetzt, die durch die jeweiligen oberen, unteren, linken und rechten a[Pixel]-Bereich definiert ist, und der Suchbereich 103 für die Korrelationsberechnung weist vier dieser a × a[Pixel]-Bereiche auf.
Dann wird, aus innerhalb des Suchbereichs in der Nähe zu dem Objekt, unter Verwendung der Korrelationsberechnung ein Teil (OBJ_Pat) mit hoher Korrelation zu dem Oberrand-gerade Liniensegment- Extraktionsmuster "Pat_Line_U" gesucht (Schritt S54).
Zusätzlich wird identifiziert, ob ein Teil mit hoher Korrelation zu dem Oberrand-gerade Liniensegment-Extraktionsmuster "Pat_Line_U" vorhanden ist oder nicht (Schritt S55).
Falls in Schritt S55 ein Teil mit hoher Korrelation zu dem Oberrandgerade Liniensegment-Extraktionsmuster "Pat_Line_U" vorhanden ist (JA in Schritt S55), wird identifiziert, ob ein horizontales geradliniges Segment in dem Objekt vorhanden ist (Schritt S56). Das Vorhandensein eines horizontalen geradlinigen Segments bedeutet, dass das Objekt als künstliche (Haupt)-Straßenstruktur zu behandeln ist (Schritt S57), und die Bestimmung des horizontalen geradlinigen Segments wird abgeschlossen.
Falls hingegen in Schritt S55 ein Teil mit hoher Korrelation zu dem Oberrand-gerade Liniensegment-Extraktionsmuster "Pat_Line_U" nicht vorhanden ist (NEIN in Schritt S55), wird identifiziert, ob das bei der Korrelationsberechnung verwendete Referenzmuster ein Unterrand-gerade Liniensegment-Bildmuster ist oder nicht (Schritt S58).
Falls in Schritt S58 das bei der Korrelationsberechnung verwendete Referenzmuster nicht das Unterrand-gerade Liniensegment-Bildmuster ist (NEIN in Schritt S58), wird ein vorher vorbereitetes Unterrand-gerade Liniensegment-Bildmuster gewählt (Schritt S59) und der Fluss kehrt zu Schritt S52 zurück.
Darüber hinaus werden in den obigen Schritten S52 und S53 die gleichen Vorgänge, die an dem Oberrand-gerade Liniensegment- Bildmuster ausgeführt wurden, an dem Unterrand-gerade Liniensegment- Bildmuster ausgeführt, und das b × a[Pixel]-Unterrand-gerade Liniensegment-Extraktionsmuster "Pat_Line_D", das von dem in Fig. 20B gezeigten Unterrand-gerade Liniensegment-Bildmuster extrahiert ist, dient als das Referenzmuster. Ferner wird in Schritt S54 das Teil (OBJ_Pat) mit hoher Korrelation zu dem Unterrand-gerade Liniensegment- Extraktionsmuster "Pat_Line_D" unter Verwendung der Korrelationsberechnung aus innerhalb des Suchbereichs in der Nähe zu dem Objekt herausgefunden.
Als Ergebnis der Korrelationsberechnung unter Verwendung des Unterrand-gerade Liniensegment-Extraktionsmusters, werden die Vorgänge der oben beschriebenen Schritte S55 bis S57 ausgeführt. Wenn identifiziert wird, dass ein horizontales geradliniges Segment in dem Bild vorhanden ist, wird das Objekt als künstliche Struktur behandelt, und die horizontale gerade Liniensegment-Identifizierung wird abgeschlossen.
Darüber hinaus werden, als Ergebnis der Korrelationsberechnung unter Verwendung des Unterrand-gerade Liniensegment-Extraktionsmusters, wenn der Fluss wieder zur Identifizierung von Schritt S58 fortschreitet, weil die Suche nach horizontalen geradlinigen Segmenten unter Verwendung sowohl des Oberrand-gerade Liniensegment- Extraktionsmusters als auch des Unterrand-gerade Liniensegment- Extraktionsmusters bereits abgeschlossen wurden (JA in Schritt S58), keine horizontalen geradlinigen Segmente als vorhanden identifiziert (Schritt S60), und der Fluss geht zur Rechtwinkelsegment-Identifizierung weiter.
Ferner liegt bei der oben beschriebenen horizontalen geradlinigen Segment-Identifizierung der Grund für das Finden des Abstands zwischen den jeweiligen Teilen mit hoher Korrelation und dem Fahrzeug 10 nach Ausführung der Korrelationsberechnung unter Verwendung sowohl des Oberrand-gerade Liniensegment-Extraktionsmuster als auch des Unterrand-gerade Liniensegment-Extraktionsmusters darin, dass weil auf der Basis des Prinzips binärer bzw. stereoskopischer Sicht mittels der linken und rechten Kameras, der Abstand des horizontalen geradlinigen Segments nicht berechnet werden kann. Anders als im Falle der vertikalen geradlinigen Segment-Identifizierung wird daher bei der horizontalen gerade Linien-Identifizierung die Identifizierung auf der Basis nur der Korrelation des geraden Linienmusters ausgeführt.
Nachfolgend wird die Rechtwinkelsegment-Bestimmung anhand des in Fig. 17 gezeigten Flussdiagramms erläutert.
Bei der Rechtwinkelsegment-Bestimmung werden zuerst, um nach einen rechtwinkligen Segment zu suchen, das Bild des Objekts und ein oberes rechtes Rechtwinkelsegment-Bildmuster, das ein Referenzbild zur Ausführung der Korrelationsberechnung ist, ausgewählt (Schritt S71). In Abhängigkeit von dem Abstand zwischen dem Fahrzeug 10 und dem Objekt, der in Schritt S13 des Flussdiagramms von Fig. 3 gefunden ist, wird die Mustergröße des Referenzbilds so bestimmt, dass sie proportional zur Größe des Bilds im realen Raum ist, der auf den Anzeigeschirm projeziert wird (Schritt S72).
Hierbei erfolgt die Bestimmung der Mustergröße des Referenzbilds genauso wie die vertikale gerade Liniensegment-Identifizierung und die horizontale gerade Liniensegment-Identifizierung. Insbesondere falls der Abstand zwischen dem Fahrzeug 10 und dem Objekt mittels der obigen Gleichung 2 als z = L[m] berechnet wird, wird das Objekt mit einer Höhe A[m] und Breite A[m] an einer Position mit Abstand L[m] im realen Raum mit einer a × a[Pixel]-Größe auf dem Anzeigeschirm projeziert.

a = f × A/L Gl. 17
Daher wird, wie in Fig. 21A gezeigt, von dem zuvor vorbereiteten oberen Rechtwinkelsegment-Bildmuster, z. B. das a × a[Pixel] Rechtwinkelsegment-Muster extrahiert, und das obere rechte Rechtwinkelsegment-Extraktionsmuster "Pat_Corner_R" dient als Referenzmuster. Ähnlich ist ein a × a[Pixel] oberes linkes Rechtwinkelsegment-Extraktionsmuster "Pat_Corner_L", das aus dem zuvor vorbereiteten oberen linken Rechtwinkelsegment-Bildmuster extrahiert ist, in Fig. 21 B gezeigt.
Wenn die Referenzgröße für die Korrelationsberechnung gefunden worden ist, wird dann die Suchzone in der Nähe zu dem Objekt gesetzt (Schritt S73).
Ferner wird auch das Setzen der Suchzone ähnlich ausgeführt wie die vertikale gerade Liniensegment-Identifizierung und die horizontale gerade Liniensegment-Identifizierung, die oben beschrieben sind. Das heißt, an der Mitte des Umschreibungsvierecks eines binären Objektbilds (OBJ), werden die Breite und Höhe jeweils auf einen a[Pixel]-Bereich für die Breite und die Ober- und Unterseite des binären Objektbilds gesetzt, und dies dient als Suchbereich für die Korrelationsberechnung.
Dann wird, aus innerhalb des Suchbereichs in der Nähe zu dem Objekt, unter Verwendung der Korrelationsberechnung ein Teil (OBJ_Pat) mit hoher Korrelation zu dem oberen rechten Rechtwinkelsegment- Extraktionsmuster "Pat_Corner_R" gesucht (Schritt S74).
Darüber hinaus wird bestimmt, ob ein Teil mit hoher Korrelation zu dem oberen rechten Rechtwinkelsegment-Extraktionsmuster "Pat_Corner_R" vorhanden ist oder nicht (Schritt S75).
Falls in Schritt S75 ein Teil mit hoher Korrelation zu dem oberen rechten Rechtwinkel-Segment-Extraktionsmuster "Pat_Corner_R" vorhanden ist (JA in Schritt S75), wird der Abstand des OBJ_Pat ähnlich der Abstandsberechnung des Objekts mittels der obigen Gleichung 2 berechnet, um zu identifizieren, ob das Teil mit hoher Korrelation und das Objekt identische physische Körper sind oder nicht (Schritt S76).
Falls ferner der tatsächliche Abstand zwischen dem Fahrzeug 10 und dem Objekt gleich dem Abstand zwischen dem Fahrzeug und dem Teil OBJ_Pat mit hoher Korrelation ist, und das Objekt und OBJ_Pat als identische physische Körper identifiziert werden, kann somit durch Vergleichen der erfassten Parallaxe Δd und Δd_P, anstatt die Abstände zu vergleichen, identifiziert werden, ob das Objekt und OBJ_Pat identische physische Körper sind oder nicht (Schritt S77). Insbesondere wird unter Verwendung der obigen Gleichung 14 identifiziert, ob der Parallaxenfehler kleiner als ein zulässiger Wert TH ist oder nicht.
Falls in Schritt S77 das Objekt und OBJ_Pat als identische physische Körper identifiziert werden (JA in Schritt S77), wird ein rechtwinkliges Segment in dem Objekt als vorhanden identifiziert (Schritt S78), wobei ein rechtwinkliges Segment als künstliche (Haupt)-Straßenstruktur behandelt wird (Schritt S79), und die Rechtwinkelsegment-Identifikation abgeschlossen wird.
Falls hingegen in Schritt S75 ein Teil mit hoher Korrelation zu dem oberen rechten Rechtwinkelsegment-Extraktionsmuster "Pat_Corner_R" nicht vorhanden ist (NEIN in Schritt S75), oder falls in Schritt S77 das Objekt und OBJ_Pat nicht als identische physische Körper identifiziert werden (NEIN in Schritt S77), geht der Fluss zu Schritt S80 weiter, und es wird identifiziert, ob das bei der Korrelationsberechnung verwendete Referenzmuster ein oberes linkes Rechtwinkelsegment-Bildmuster ist oder nicht (Schritt S80).
Falls in Schritt S80 das bei der Korrelationsberechnung verwendete Referenzmuster nicht das obere linke Rechtwinkelsegment-Bildmuster ist (NEIN in Schritt S80), wird das vorher vorbereitete obere linke Rechtwinkelsegment-Bildmuster ausgewählt (Schritt S81) und der Fluss geht zu Schritt S72 weiter.
Zusätzlich wird in den oben beschriebenen Schritten S72 und S73 derselbe Vorgang, der für das obere rechte Rechtwinkelsegment- Bildmuster ausgeführt wurde, für das obere linke Rechtwinkelsegment- Bildmuster ausgeführt, und ein a × a[Pixel]-oberes rechtes Rechtwinkelsegment-Extraktionsmuster "Pat_Corner_L", das von dem in Fig. 21 B gezeigten oberen linken Rechtwinkelsegment-Bildmuster extrahiert ist, dient als das Referenzmuster. Ferner wird in S74 das Teil mit hoher Korrelation zu dem oberen linken Rechtwinkelsegment- Extraktionsmuster "Pat_Corner_L" zur Verwendung bei der Korrelationsberechnung aus innerhalb der Suchzone in der Nähe zu dem Objekt gesucht.
Als Ergebnis der Korrelationsberechnung unter Verwendung des oberen linken Rechtwinkelsegment-Extraktionsmusters werden die Vorgänge von Schritt S75 bis S79 ausgeführt, und wenn ein rechtwinkliges Segment als in dem Objekt vorhanden identifiziert wird, wird das Objekt 101 als künstliche Straßenstruktur behandelt, und die Rechtwinkelsegment- Identifizierung wird abgeschlossen.
Als Ergebnis der Korrelationsberechnung unter Verwendung des oberen linken Rechtwinkelsegment-Extraktionsmusters ist, wenn der Fluss wieder zur Identifikation von Schritt S80 fortschreitet, die Suche nach rechtwinkligen Segmenten unter Verwendung des oberen rechten Rechtwinkelsegment-Extraktionsmusters als auch des oberen linken Rechtwinkelsegment-Extraktionsmusters bereits abgeschlossen worden (JA in Schritt S80). Somit wird kein rechtwinkliges Segment als vorhanden identifiziert (Schritt S82).
Daher wird bestimmt, dass das Objekt keine künstliche Straßenstruktur ist (Schritt S83), wird die Rechtwinkelsegment-Bestimmung abgeschlossen und wird der Prozess in Schritt S27 zur Bestimmung der Form des Objekts in Fig. 12, wie oben beschrieben, ausgeführt.
Ferner ist bei der oben beschriebenen Rechtwinkelsegment-Identifizierung der Grund dafür, dass die Korrelationsberechnung sowohl unter Verwendung des oberen rechten Rechtwinkelsegment-Extraktionsmusters als auch des oberen linken Rechtwinkelsegment-Extraktionsmusters ausgeführt wird und dass der Abstand zwischen den Teilen mit jeweiligen hohen Korrelationen und dem Fahrzeug 10 mit dem Abstand zwischen dem Objekt und dem Fahrzeug 10 verglichen wird, der gleiche wie im Fall der vertikalen gerade Liniensegment-Identifizierung.
Nun wird die Bestimmung identischer Formen anhand der Figuren erläutert.
Wie in Fig. 22 gezeigt, ist die Identifizierung identischer Formen ein Prozess, in dem eine Straßenstruktur 50 (z. B. eine obere und eine untere runde Linse, die in einem Verkehrssignal bzw. einer Ampel angeordnet sind), die aus einer Mehrzahl physischer Körper mit identischer Form strukturiert sind, unter den von den Infrarotkameras erhaltenen Infrarotbildern gesucht wird.
Das in Fig. 23 gezeigte Flussdiagramm wird zur Erläuterung herangezogen. Zuerst werden, um nach identischen Formen zu suchen, das Bild des Objekts und ein Objektmuster "Pat", das ein Referenzbild zur Ausführung der Korrelationsberechung ist, gesetzt (Schritt S91).
Hier ist das Objektmuster "Pat" das Referenzbild, das die Zone um eine Größe größer setzt als das binäre Objektbild (OBJ) 200, wie in Fig. 24B gezeigt, falls z. B. das Teil der Linse in der Straßenstruktur 50, das Wärme abstrahlt, als das binäre Objektbild (OBJ) 200 extrahiert wird, wie in Fig. 24A gezeigt.
Wenn das Objektmuster für die Korrelationsberechnung gefunden worden ist, wird dann die Suchzone in der Nähe zu dem Objekt gesetzt (Schritt S 92).
Hier wird die Suchzone wie folgt gesetzt. Wie insbesondere in Fig. 24A gezeigt, wird der Bereich der Suchzone so gesetzt, dass eine obere und eine untere a[Pixel]-Höhe über und unter dem binären Objektbild 200 vorhanden ist und eine linke und rechte b/2[Pixel]-Breite rechts und links in Bezug auf die Mitte des binären Objektbilds 200 vorhanden ist. Dies dient als der jeweilige obere Suchbereich 202 und untere Suchbereich 203 für die Korrelationsberechnung.
Dann wird ein Teil (OBJ_Pat) mit hoher Korrelation zu dem Objektmuster "Pat" für die Korrelationsberechnung aus innerhalb des oberen Suchbereichs 202 und des unteren Suchbereichs 203 in der Nähe zu dem Objekt gesucht (Schritt S93).
Zusätzlich wird identifiziert, ob ein Teil mit hoher Korrelation zu dem Objektmuster "Pat" vorhanden ist (Schritt S94).
In Schritt S94 wird für den Fall, dass ein Teil mit hoher Korrelation zu dem Objektmuster "Pat" vorhanden ist (JA in Schritt S94) eine mit dem Objekt identische Form als vorhanden identifiziert (Schritt S95), wobei eine identische Form als künstliche Straßenstruktur behandelt wird (Schritt S96), und die Formidentitäts-Bestimmung wird abgeschlossen. Ferner wird in Beispiel von Fig. 22 aus der Mitte des Infrarotbilds eine Straßenstruktur (Verkehrssignal) mit einer Mehrzahl (2) identischer Objekte (runder Linsen) erfasst.
Falls hingegen in Schritt S94 ein Teil mit hoher Korrelation zu dem Objektmuster "Pat" nicht vorhanden ist (NEIN in Schritt S94), wird keine mit dem Objekt identische Form als vorhanden identifiziert (Schritt S97), wobei keine identische Form als künstliche Hauptstraßenstruktur behandelt wird (Schritt S98), und die identische Formidentifizierung wird abgeschlossen.
Ferner wurde bei der oben beschriebenen Formidentitäts-Bestimmung das Setzen der Suchzone, in der nach dem Objektmuster gesucht wurde, in der vertikalen Richtung des binären Objektbilds (OBJ) 200 gesetzt, wobei aber, weil die physischen Körper mit identischer Form auch von links nach rechts angeordnet sein können, nach Suche in einer vertikalen Richtung, die Suchzone auch von links nach rechts gesetzt werden kann, und nach einem Objektmuster gesucht werden kann.
Zusätzlich umfasst in der vorliegenden Ausführung die Bildprozessoreinheit 1 eine Objektextraktionsvorrichtung, eine künstliche Sruktur-Identifizierungsvorrichtung und eine Referenzbilddimensions- Veränderungsvorrichtung. Genauer gesagt entsprechen S1 bis S7 in Fig. 3 der Objektextraktionsvorrichtung, S25 bis S28 in Fig. 12 entsprechen der künstlichen Strukturidentifikationsvorrichtung, und S30 in Fig. 12 entspricht der künstlichen Struktureliminationsvorrichtung. Ferner entsprechen S32 in Fig. 15, S52 in Fig. 16 und S72 in Fig. 17 den Referenzbilddimensions-Veränderungsvorrichtungen.
Ferner wurde in der oben beschriebenen Ausführung Infrarotkameras 2R und 2L als fotografische Vorrichtung benutzt, wobei aber auch eine Fernsehkamera, die nur normales sichtbares Licht erfassen kann, wie sie in der japanischen ungeprüften Patentanmeldung Erstveröffentlichung Nr. Hei 2-26490 offenbart ist, verwendet werden kann. Jedoch kann mittels einer Infrarotkamera der Extraktionsprozess von Tieren oder anderen fahrenden Fahrzeugen o. dgl. verkürzt werden, und dies kann mit einem relativ niedrigen Rechenkapazitätswert der Berechnungsvorrichtung realisiert werden. Darüber hinaus wurde in der oben beschriebenen Ausführung das Beispiel der Überwachung der Vorderseite des Fahrzeugs beschrieben, wobei aber auch die Rückseite des Fahrzeugs oder eine andere Richtung überwacht werden kann.
Die Erfindung betrifft eine Fahrzeugzonen-Überwachungsvorrichtung, die künstliche Strukturen auf der Basis von Formidentifikationen unter Verwendung eines Referenzbilds aus einem Infrarotbild eliminiert, das von einer an dem Fahrzeug vorgesehenen Fotografiervorrichtung aufgenommen worden ist, und verbleibende Objekte als sich bewegende physische Körper, wie etwa Fußgänger und Tiere erfasst. Die Fahrzeugzonen-Überwachungsvorrichtung, die die in der Nähe des Fahrzeugs befindlichen physischen Körper aus Infrarotbildern erfasst, die von an dem Fahrzeug vorgesehenen Infrarotkameras 2R und 2L aufgenommen worden sind, umfasst eine Objektextrahiervorrichtung, die Infrarotstrahlung abgebende Objektbilder aus dem Infrarotbild extrahiert, sowie eine künstliche Struktur-Identifiziervorrichtung, die identifiziert, ob ein Objekt eine künstliche Struktur ist oder nicht, indem sie das von der Objektbild-Extrahiervorrichtung extrahierte Objektbild mit einem Referenzbild vergleicht, das ein geradliniges Muster oder ein rechtwinkliges Muster aufweist.

Claims

1. Fahrzeugzonen-Überwachungsvorrichtung, die einen in der Nähe des Fahrzeugs befindlichen physischen Körper aus von einer Fotografiervorrichtung (2R, 2L) aufgenommenen Infrarotbildern erfasst, umfassend:
eine Objektextrahiervorrichtung (S1 bis S7), die ein Infrarotstrahlung abgebendes Objekt aus den Infrarotbildern erfasst; und
eine künstliche-Struktur-Identifiziervorrichtung (S25 bis S28), die ein Bild eines Objekts, das durch die Objekt- Extrahiervorrichtung (S1 bis S7) extrahiert ist, mit einem Referenzbild eines Elements vergleicht, das eine künstliche Struktur definiert, und identifiziert, ob das Objekt eine künstliche Struktur ist oder nicht.

2. Fahrzeugzonen-Überwachungsvorrichtung nach Anspruch 1, gekennzeichnet durch eine künstliche-Struktur-Eleminiervorrichtung (S30), die Objekte, die von der künstliche-Struktur-Identifiziervorrichtung (S25 bis S28) als künstliche Strukturen identifiziert worden sind, von den Objekten, die von der Objektextrahiervorrichtung (S1 bis S7) extrahiert worden sind, eliminiert.

3. Fahrzeugzonen-Überwachungsvorrichtung nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet,
dass das Referenzbild ein Bild enthält, das ein geradliniges Segment repräsentiert; und
die künstliche-Struktur-Identifiziervorrichtung (S25 bis S28) Objekte, die ein geradliniges Segment enthalten, als künstliche Struktur identifiziert.

4. Fahrzeugzonen-Überwachungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die künstliche-Struktur-Identifiziervorrichtung (S25 bis S28) eine Referenzbilddimensions-Veränderungsvorrichtung (S32, S52, S72) aufweist, die die Größe des Referenzbilds so verändert, dass sie proportional zum Abstand zwischen dem Fahrzeug und dem Objekt ist.