DE10251880B4

DE10251880B4 - Bilderkennungsvorrichtung

Info

Publication number: DE10251880B4
Application number: DE10251880A
Authority: DE
Inventors: Nobuharu Wako Nagaoka; Takayuki Wako Tsuji; Hiroshi Wako Hattori; Kouzou Wako Simamura; Masahito Wako Watanabe
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-11-09
Filing date: 2002-11-07
Publication date: 2009-01-08
Anticipated expiration: 2022-11-08
Also published as: US7158664B2; US20030091228A1; US20070053584A1; JP2003150938A; JP3739693B2; US7474765B2; DE10251880A1

Abstract

Bilderkennungsvorrichtung, die Parallaxen (dn_L, dn_R) eines Zielobjekts (20; 56, 57) auf der Basis von Bildern, die jeweils von zwei Bildaufnahmevorrichtungen (2R, 2L) erhalten sind, misst und den Abstand (Zv) zu dem Zielobjekt (20; 56, 57) auf der Basis der Parallaxen (dn_L, dn_R) errechnet, umfassend:
eine Bildbestimmungsvorrichtung (S26 bis S30), die Bestimmungsbereiche (L_b, R_b; 52, 53; 58, 59) setzt, die eine das Zielobjekt (20; 56, 57) einzuschließende Höhe (Y) haben, und jeweilige linke und rechte Ränder des Zielobjekts (20; 56, 57) enthalten, und die bestimmt, ob das Zielobjekt (20; 56, 57) aus zwei überlappenden unterschiedlichen Objekten (56, 57) gebildet ist, indem sie die Parallaxen (dn_L, dn_R) der jeweiligen Bestimmungsbereiche (L_b, R_b; 52, 53; 58, 59) misst und vergleicht, dadurch gekennzeichnet, dass die Bildbestimmungsvorrichtung (S26 bis S30) aus der Differenz der Parallaxen (dn_L, dn_R) der linken und rechten Ränder der das Zielobjekt (20; 56, 57) einschließenden Bestimmungsbereiche auf eine...

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bilderkennungsvorrichtung zum Berechnen des Abstands zu einem Zielobjekt auf der Basis eines binokularen stereoskopischen Bilds, das mittels zweier Bildaufnahmevorrichtungen erhalten wird.
Beschreibung der relevanten Technik
Um herkömmlich den Fahrer eines Fahrzeugs über ein auf seinem Weg befindliches Hindernis, wie etwa einen Fußgänger, in Kenntnis zu setzen, werden Vorrichtungen, in denen Bilder, die von einer oder einer Mehrzahl von an der Fahrzeugfront angebrachten Kameras aufgenommen werden, an einer Position angezeigt, die vom Fahrersitz aus sichtbar ist, um die Vorwärtssicht des Fahrers zu ergänzen, und es sind bereits Vorrichtungen bekannt, die Hindernisse, die das Fahrzeug kontaktieren könnten, auf der Basis der durch die Kameras aufgenommenen Bilder erfassen und bewirken, dass das Fahrzeug automatische Vermeidungsoperationen durchführt. Das dem Fahrer angezeigte Bild wird an einer Bildanzeigevorrichtung angezeigt, wie etwa einem NAVIDisplay, das in der Konsole des Fahrzeugs angeordnet ist, einem HUD (Head Up Display), das Information an einer Information an der Frontscheibe anzeigt, die die Vorwärtssicht des Fahrers nicht behindert, oder einem Messanzeigeintegrierten Display, das mit einer Messanzeige integriert ist, die den Fahrzustand des Automobils numerisch anzeigt. Ferner werden die automatischen Vermeidungsoperationen des Fahrzeugs ausgeführt, indem eine Vielzahl von Aktuatoren automatisch gesteuert werden, die vorgesehen sind, um jeden Abschnitt des Fahrzeugs zu betreiben.
In der JP 06-266828 A ist ein Beispiel dieses Typs von Vorrichtung offenbart, in der ein Bild der Umgebung des in der Nähe des Fahrzeugs aufgenommen wird und Hindernisse, die das Fahrzeug kontaktieren könnten, aus dem aufgenommenen Bild erfasst werden. In dieser Vorrichtung werden die von zwei Kameras aufgenommenen Bilder verarbeitet, und es wird Information über die Abstandsverteilung über das Gesamtbild hinweg erhalten, und indem dann dreidimensionale Positionsinformation der Zielobjekte entsprechend der Abstandsverteilungsinformation berechnet wird, werden dann die Form der Straße und Hindernisse, wie etwa Seitenwände, leicht und akkurat erfasst. Demzufolge ist es möglich, das Vorhandensein einer Mehrzahl von Hindernissen individuell zu erkennen, und entweder den Fahrer des Fahrzeugs zu warnen oder das Fahrzeug automatische Vermeidungsoperationen mit einem hohen Grad an Zuverlässigkeit ausführen zu lassen.
Jedoch haben die herkömmlichen Vorrichtungen, wie sie oben beschrieben sind, ein Problem darin, dass dann, wenn die Abstandsverteilung über das Gesamtbild hinweg bestimmt wird, weil das Gesamtbild in Bereiche einer gewissen Größe unterteilt ist und die Abstandsverteilung für jeden Bereich berechnet wird, die Größe des Bereichs relativ zur Größe des Zielobjekts fest ist und daher die Verarbeitungseffizienz schlecht ist.
In anderen Worten, wenn das aufgenommene Bild des Zielobjekts einen großen Anteil des Gesamtbilds belegt, ist die Effizienz der Verarbeitung schlecht, weil nur ein einziger Abstand zu dem Zielobjekt erhalten werden braucht, wenn das Zielobjekt mehr als notwendig aufgeteilt wird und die Abstandsverteilung für jeden Bereich bestimmt wird, und es ist beträchtliche Zeit für die Berechnung der gesamten Abstandsverteilung erforderlich, um den Abstand zu dem Zielobjekt zu berechnen.
In der US 5,369,590 A , auf der der Oberbegriff des Anspruchs 1 beruht, werden für eine Vielzahl von Bildausschnitten Entfernungen berechnet, und die Ausschnitte mit annähernd gleichen Werten als zu einem bestimmten Fahrzeug gehörend ausgewählt. Eine vergleichbare Vorgehensweise ist auch aus US 5,410,346 A entnehmbar, welcher ebenfalls die Annahme zugrunde liegt, dass benachbarte Bildbereiche, für die der gleiche Entfernungswert ermittelt wurde, vermutlich zum selben Objekt gehören, bzw. dass aus unterschiedlichen Entfernungen benachbarter Bereich auf eine „Überlappung" von Objekten geschlossen werden kann.
Im Zusammenhang mit der Abstandsmessung zwischen Fahrzeugen ist das Problem bekannt, dass sich mehrere Fahrzeuge im Blickfeld der Bildaufnahmevorrichtungen befinden, und dass sich diese Fahrzeuge zudem auch teilweise gegenseitig verdecken können. Es ist bekannt, dass dies letztlich dazu führen kann, dass sich innerhalb eines betrachteten Bildausschnittes nicht nur ein Fahrzeug sondern mehrere Fahrzeuge befinden – siehe z. B. US 5,369,590 A , US 5,410,346 A , US 5,929,784 A und DE 692 11 217 T2 .
Zur Entscheidung darüber, ob sich innerhalb eines Bildausschnittes mehrere unterschiedliche Fahrzeuge befinden bzw. ob zwei untersuchte Bildausschnitte dem selben Fahrzeug zuzuordnen sind, werden auch hier die jeweiligen Entfernungen verglichen – siehe z. B. US 5,410,346 A und DE 692 11 217 T2 .
Die Vorgehensweise, auf Basis von gemessenen Entfernungswerten Bildausschnitte zu vereinigen oder aufzusplitten, ist z. B. aus DE 100 29 866 A1 und US 6,125,191 A entnehmbar.
ZUSAMMENFASSUNG DER ERFINDUNG
Im Hinblick auf die obigen Umstände ist es Aufgabe der vorliegenden Erfindung, eine Bilderkennungsvorrichtung anzugeben, die, während die Größe eines Zielobjekts in einem durch die Kameras aufgenommenen Bild berücksichtigt wird, das Vorhandensein einer Überlappung unterschiedlicher Objekte in dem Bild unter Verwendung der Parallaxe des Bilds bestimmt und, wenn Objekte überlappen, die Abstände zu den jeweiligen Objekten unabhängig berechnet.
Um die oben beschriebenen Probleme zu lösen, wird eine Bilderkennungsvorrichtung gemäß Anspruch 1 angegeben.
Die Bilderkennungsvorrichtung misst die Parallaxe eines Zielobjekts auf der Basis von Bildern, die jeweils durch zwei Bildaufnahmevorrichtungen erhalten sind, und berechnet den Abstand zu dem Zielobjekt auf der Basis der Parallaxe, wobei sie eine Bildbestimmungsvorrichtung (z. B. Schritt S26 bis Schritt S30 in der Ausführung der Erfindung) aufweist, die Bestimmungsbereiche setzt, die eine ausreichende Höhe für den Einschluss des Zielobjekts haben und die unabhängig jeweilige linke und rechte Ränder des Zielobjekts enthalten, und bestimmt, ob unterschiedliche Objekte überlappen, indem sie die Parallaxen die jeweiligen Bestimmungsbereiche misst und vergleicht.
Unter Verwendung der Bildbestimmungsvorrichtung setzt die Bilderkennungsvorrichtung einen Bereich für jedes Zielobjekt, unter Berücksichtigung der unterschiedlichen Höhen der aufgenommenen Objekte, sodass sie den linken oder rechten Rand des Zielobjekts einschließen, und erhält, durch Vergleich der Parallaxen dieser Bereiche, Vergleichsergebnisse, die angeben, ob die Parallaxen der linken und rechten Ränder übereinstimmen oder differieren. Demzufolge kann eine Bestimmung durchgeführt werden, ob der linke Abschnitt oder der rechte Abschnitt eines Zielobjekts Abschnitte desselben Objekts sind oder Abschnitte unterschiedlicher Objekte sind, was die Bestimmung des Vorhandenseins überlappender Objekte gestattet.
Weil demzufolge der Bereich, der zur Bestimmung der Parallaxen verwendet wird, in Abhängigkeit von der Größe jedes aufgenommenen Zielobjekts gesetzt wird, können die Parallaxen immer effizient bestimmt werden, unabhängig von der Größe des aufgenommenen Zielobjekts, entsprechend dem Abstand zwischen dem Fahrzeug und dem Zielobjekt.
In der vorgenannten Bilderkennungsvorrichtung enthält die Bildbestimmungsvorrichtung eine Bildtrennvorrichtung (z. B. Schritt S30 in der Ausführung der Erfindung), die in solchen Fällen, wo die Überlappung unterschiedlicher Objekte erkannt wird, Abstandsbestimmungspunkte in den Bestimmungsbereichen auf die Ränder der Bestimmungsbereiche setzt und den Abstand zu jedem der jeweiligen Objekte unabhängig berechnet.
Wenn durch die Bildbestimmungsvorrichtung ein Zielobjekt als ein solches erkannt wird, das eine Mehrzahl verschiedener überlappender Objekte repräsentiert, kann die Bilderkennungsvorrichtung den Abstand zu den jeweiligen Objekten berechnen, indem sie die jeweiligen linken und rechten Ränder des Zielobjekts als die Abstandsbestimmungspunkte verwendet, um hierdurch die Objekte zu trennen und aufzunehmen.
Demzufolge können Situationen, in denen der Abstand zu dem Zielobjekt nicht berechnet werden kann, weil das Vorhandensein des Bilds unterschiedliche Objekte in einem Überlappungszustand bewirkt, dass die Parallaxen des Zielobjekts an unterschiedlichen Orten unterschiedlich sind, verhindert werden, und es wird möglich, den Abstand zu jedem unterschiedlichen Objekt akkurat zu bestimmen.
Die Bilderkennungsvorrichtung kann eine Bildvorhersagevorrichtung (z. B. Schritt S21 in der Ausführung der Erfindung) aufweisen, die die Überlappung unterschiedlicher Objekte vorhersagt, wenn ein das Zielobjekt umgebender Bereich größer als eine vorbestimmte Größe ist, oder ein Verhältnis einer Länge in der vertikalen Richtung zu einer Länge in der horizontalen Richtung des das Zielobjekt umgebenden Bereichs kleiner als ein vorbestimmter Wert ist.
Vor der Bestimmung, ob unterschiedliche Objekte überlappen, unter Verwendung der Bildbestimmungsvorrichtung, kann die Bilderkennungsvorrichtung unter Verwendung der Bildvorhersagevorrichtung auch eine Vorhersage treffen, ob das Zielobjekt unterschiedliche überlappende Objekte aufweist oder nicht, unter Verwendung der Größe des das Zielobjekt umgebenden Bereichs oder des Verhältnisses der Länge in der vertikalen Richtung zu der Länge in der horizontalen Richtung des das Zielobjekt umgebenden Bereichs, und kann dann eine Bestimmung unter Verwendung der Bildbestimmungsvorrichtung nur dann durchführen, wenn vorhergesagt wird, dass das Zielobjekt unterschiedliche überlappende Objekte aufweist (nur wenn die Möglichkeit hoch ist).
Weil demzufolge die Berechnungen der Bildbestimmungsvorrichtung nur dann ausgeführt werden, wenn eine hohe Möglichkeit besteht, dass das Zielobjekt unterschiedliche überlappende Objekte aufweist, kann die Verarbeitungslast der Bilderkennungsvorrichtung reduziert werden.
In der Bilderkennungsvorrichtung kann die Bildbestimmungsvorrichtung Rechenbereiche setzen, die die jeweiligen Bestimmungsbereiche an der Peripherie jedes Bestimmungsbereichs enthalten, und die Parallaxen berechnen, indem sie eine Korrelationsberechnung zwischen den Rechenbereichen entsprechend jeweiligen Bildern, die durch die zwei Aufnahmevorrichtungen erhalten sind, durchführt.
In der Bilderkennungsvorrichtung kann die Bildbestimmungsvorrichtung bestimmen, dass unterschiedliche Objekte überlappen, wenn ein Absolutwert einer Differenz zwischen der Parallaxe des Bestimmungsbereichs, der den vorgenannten linken Rand enthält, und der Parallaxe des Bestimmungsbereichs, der den vorgenannten rechten Rand enthält, größer als ein vorbestimmter Wert ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das die Struktur einer Bilderkennungsvorrichtung gemäß einer Ausführung der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das Montagepositionen von Infrarotkameras, einem Sensor und einer Anzeige und dgl. an einem Fahrzeug zeigt.
3 ist ein Flussdiagramm, das den Gesamtbetrieb der Bilderkennungsvorrichtung gemäß derselben Ausführung zeigt.
4A ist ein Diagramm, das ein von einer Infrarotkamera erhaltenes Graustufenbild zeigt.
4B ist ein Diagramm, das ein Binärbild des von der Infrarotkamera erhaltenen Graustufenbilds zeigt.
5A bis 5C sind Diagramme, die den Umwandlungsprozess in Lauflängendaten und die Kennung zeigt.
6A und 6B sind Diagramme, die die zeitliche Verfolgung eines Zielobjekts zeigen.
7 ist ein Diagramm, das die gesamte Drehwinkelkompensation eines Zielbilds zeigt.
8A ist ein Diagramm, das einen Suchbereich zeigt, der in einem Suchbild in dem rechten Bild gesetzt ist.
8B ist ein Diagramm, das den in dem linken Bild gesetzten Suchbereich zeigt.
9 ist ein Diagramm, das einen an dem Suchbereich ausgeführten Korrelationsrechenprozess zeigt.
10 ist ein Diagramm, das die Positionsverschiebung eines Zielobjekts in einem Bild zeigt, die während der Drehung des Fahrzeuges auftritt.
11 ist ein Diagramm, das einen Fall zeigt, in dem eine Kollision leicht auftreten könnte.
12 ist ein Diagramm, das die Bereichsunterteilung vor einem Fahrzeug zeigt.
13 ist ein Flussdiagramm, das den Betrieb eines Parallaxen-Rechenprozesses in derselben Ausführung zeigt.
14 ist ein Diagramm, das das rechte Bild und das linke Bild während des Parallaxen-Berechnungsprozesses derselben Ausführung zeigt.
DETAILBESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
Die Ausführungen der vorliegenden Erfindung werden nachfolgend in Bezug auf die Zeichnungen beschrieben.
1 ist ein Blockdiagramm, das die Struktur einer Bilderkennungsvorrichtung gemäß einer Ausführung der vorliegenden Erfindung zeigt.
In 1 ist die Bezugszahl 1 eine Bildverarbeitungseinheit, die eine CPU (zentrale Prozessoreinheit) aufweist, die die Bilderkennungsvorrichtung dieser Ausführung steuert, mit der verbunden sind zwei Infrarotkameras 2R und 2L, die lange Infrarotstrahlung erfassen können, ein Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, ein Fahrzeuggeschwindigkeitssensor 4, der die Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs erfasst, sowie ein Bremssensor 5, der die Betätigung der Bremsen erfasst. In dieser Konfiguration erfasst die Bildverarbeitungseinheit 1 ein sich bewegendes Objekt, wie etwa einen Fußgänger oder ein Tier, vor dem Fahrzeug auf der Basis eines Infrarotbilds der Nähe des Fahrzeugs und von Signalen, die den Fahrzustand des Fahrzeugs angeben, und gibt eine Warnung aus, wenn bestimmt wird, dass die Möglichkeit einer Kollision hoch ist.
Ferner sind mit der Bildverarbeitungseinheit 1 auch verbunden ein Lautsprecher 6 zur Ausgabe einer Warnung durch Sprache sowie eine Bildanzeigevorrichtung 7, die z. B. ein Display-integriertes Messgerät enthält, das ein integriertes Messgerät zum numerischen Anzeigen des Fahrzustands des Fahrzeugs aufweist, ein NAVIDisplay, das in der Konsole des Fahrzeugs angebracht ist, oder ein HUD (head up display) 7a (siehe 2), das Information an einer Position an der Frontscheibe an einer Position anzeigt, die die Vorwärtssicht des Fahrzeugs nicht beeinträchtigt, die das von den Infrarotkameras 2R und 2L aufgenommene Bild anzeigt und es dem Fahrer des Fahrzeugs erlaubt, Objekte zu erkennen, die eine Kollisionsgefahr darstellen.
Ferner umfasst die Bildverarbeitungseinheit 1 eine A/D-Wandlerschaltung, die analoge Eingangssignale in digitale Signale umwandelt, einen Bildspeicher, der das digitalisierte Bildsignal speichert, eine CPU (zentrale Prozessoreinheit), die verschiedene Operationsprozesse ausführt, ein RAM (Speicher mit wahlfreiem Zugriff), das von der CPU zum Speichern von zu verarbeitenden Daten verwendet wird, ein ROM (Nur-Lese-Speicher) zum Speichern von Tabellen, Kennfeldern, von der CPU auszuführenden Programmen und dgl., sowie eine Ausgabeschaltung, die ein Treibersignal für den Lautsprecher 6 und ein Anzeigesignal für das HUD 7a oder dgl. ausgibt. Die Bildverarbeitungseinheit ist so strukturiert, dass die Ausgangssignale der Infrarotkameras 2R und 2L, des Gierratensensors 3, des Fahrzeuggeschwindigkeitssensors 4 und der Bremssensoren 5 in digitale Signale umgewandelt und dann in die CPU eingegeben werden.
Ferner sind, wie in 2 gezeigt, die Infrarotkameras 2R und 2L an der Vorderseite des Fahrzeugs 10 an angenähert symmetrischen Positionen relativ zur Querrichtungsmitte des Fahrzeugs 10 angebracht, wobei die optischen Achsen der zwei Infrarotkameras 2R und 2L zueinander parallel sind und beide Kameras in gleichen Höhen über der Straßenoberfläche befestigt sind. Ein Kennzeichen der Infrarotkameras 2R und 2L ist, dass der Ausgangssignalpegel höher wird (die Helligkeit zunimmt), wenn die Temperatur des Zielobjekts zunimmt.
Ferner ist das HUD 7a derart angebracht, dass der Anzeigeschirm an einer Position an der Frontscheibe des Fahrzeugs 10 angezeigt wird, die die Vorwärtssicht des Fahrers nicht beeinträchtigt.
Nachfolgend wird der Betrieb der vorliegenden Ausführung in Bezug auf die Zeichnungen beschrieben.
3 ist ein Flussdiagramm, das die Prozesssequenz in der Bildverarbeitungseinheit 1 zeigt, die in der Bilderkennungsvorrichtung gemäß der vorliegenden Ausführung vorgesehen ist.
Zuerst erfasst die Bildverarbeitungseinheit 1 das Infrarotbild, welches das Ausgangssignal der Infrarotkameras 2R und 2L ist (Schritt S1), führt daran eine A/D-Wandlung durch (Schritt S2) und speichert das Graustufenbild in dem Bildspeicher (Schritt S3). Hier wird das rechte Bild von der Infrarotkamera 2R erhalten und wird das linke Bild von der Infrarotkamera 2L erhalten. Weil ferner die Horizontalposition desselben Zielobjekts auf dem Anzeigeschirm aus der Horizontalverschiebung in dem rechten Bild und dem linken Bild angezeigt wird, kann der Abstand zu dem Zielobjekt unter Verwendung dieser Verschiebung (Parallaxe) berechnet werden.
Als Nächstes wird das von der Infrarotkamera 2R erhaltene rechte Bild als das Referenzbild betrachtet, und an diesem Bildsignal wird ein Binärisierungsprozess ausgeführt. In diesem Binärisierungsprozess wird einem Bereich, der heller als ein Helligkeitsschwellenwert ITH ist, eine "1" (weiß) zugeordnet und einem dunkleren Bereich eine "0" (schwarz) zugeordnet (Schritt S4).
4A zeigt ein Graustufenbild, das von der Infrarotkamera 2R erhalten ist, und durch Ausführung eines Binärisierungsprozesses an diesem Bild wird das in 4B gezeigte Bild erhalten. In 4B werden Objekte innerhalb der Rahmen P1 bis P4 als die Zielobjekte betrachtet und auf dem Anzeigeschirm als weiß angezeigt (nachfolgend als "sehr helle Bereiche" bezeichnet).
Sobald die binären Bilddaten von den Infrarotkameras erhalten sind, wird ein Prozess ausgeführt, in dem die binären Bilddaten in Lauflängendaten umgewandelt werden (Schritt S5).
In 5A ist ein Diagramm, das diesen Prozess beschreibt, und in diesem Diagramm sind die Bereiche, die aufgrund des Binärisierungsprozesses weiß geworden sind, als die Linien L1 bis L8 in Pixeleinheiten gezeigt. Die Linien L1 bis L8 haben alle eine Breite von 1 Pixel in der y-Richtung, und, obwohl sie tatsächlich ohne Zwischenraum in der y-Richtung angeordnet sind, sind sie zur leichteren Beschreibung getrennt worden. Ferner haben die Linien L1 bis L8 in der x-Richtung jeweils eine Länge von 2 Pixeln, 2 Pixeln, 3 Pixeln, 8 Pixeln, 7 Pixeln, 8 Pixeln, 8 Pixeln und 8 Pixeln. Die Lauflängendaten enthalten Koordinaten vom Startpunkt jeder der Linien (dem äußerst linken Punkt jeder Linie) und die Länge (Anzahl von Pixeln) von dem Startpunkt zu dem Endpunkt (dem äußerst rechten Punkt jeder Linie) der Linien L1 bis L8. Z. B. enthält die Linie L3 die 3 Pixel (x3, y5), (x4, y5) und (x5, y5), und somit wird (x3, y5, 3) die Lauflängendaten.
Als Nächstes wird die Kennung der Zielobjekte auf der Basis der in Lauflängendaten umgewandelten Bilddaten (Schritt S6), der Prozess, in dem die Zielobjekte extrahiert werden, durchgeführt (Schritt S7). In anderen Worten werden, wie in 5B gezeigt, von den Linien L1 bis L8, die in Lauflängendaten umgewandelt worden sind, die Linien L1 bis L3, die in der y-Richtung überlappende Abschnitte haben, als ein Zielobjekt 1 betrachtet, und die Linien L1 bis L8 werden als ein Zielobjekt 2 betrachtet, und die Zielobjektkennungen 1 und 2 werden an die Lauflängendaten angehängt. Durch Ausführung dieses Prozesses werden z. B. die in 4B gezeigten sehr hellen Bereiche als jeweilige Zielobjekte 1 bis 4 erkannt.
Sobald die Extraktion der Zielobjekte abgeschlossen ist, wie in 5C gezeigt, werden der Schwerpunkt G, die Oberflächenausdehnung S und das Aspektverhältnis ASPECT des mit den unterbrochenen Linien dargestellten umschriebenen Vierecks für jedes der extrahierten Zielobjekte berechnet (Schritt S8).
Hier wird die Oberflächenausdehnung S berechnet, indem die Längen der Lauflängendaten für dasselbe Zielobjekt mittels einer folgenden Formel (1) addiert werden. Wenn die Lauflängendaten des Zielobjekts A gleich (x[i], y[i], run[i], A)(i = 0, 1, 2, ..., N – 1) sind, dann
Ferner werden die Koordinaten (xc, yc) des Schwerpunkts G des Zielobjekts A mittels der folgenden Formeln (2) und (3) berechnet, die die Länge der Lauflängendaten berücksichtigen.
Zusätzlich wird das Aspektverhältnis ASPECT als das Verhältnis Dy/Dx der in 5C gezeigten Werte Dy und Dx berechnet.
Wie in den Formeln (1), (2) und (3) gezeigt, werden die Lauflängendaten ausgedrückt als Anzahl von Pixeln (Anzahl von Koordinaten) run[i] und demzufolge muss 1 subtrahiert werden, um die tatsächliche Länge zu erhalten. Ferner kann die Position des Schwerpunkts G durch die Position des Schwerpunkts des umschriebenen Vierecks ersetzt werden.
Sobald der Schwerpunkt, die Oberflächenausdehnung und das Aspektverhältnis des umschriebenen Vierecks des Zielobjekts berechnet worden sind, wird die Zeitverfolgung des Zielobjekts, oder in anderen Worten die Erkennung desselben Zielobjekts in jedem Abtastzyklus, durchgeführt (Schritt S9). In der Zeitverfolgung wird die Zeit, zu der eine Zeit t, die ein analoger Wert ist, in einem Abtastzyklus digitalisiert wird, k genannt, und wenn die Zielobjekte A und B zur Zeit k extrahiert werden, wie in 6A gezeigt, wird die Bestimmung der Identifikation der Zielobjekte C und D, die zur Zeit k + 1 extrahiert worden sind, mit den Zielobjekten A und B durchgeführt. Insbesondere, wenn die folgenden Bedingungen der Identifikationsbestimmung 1) bis 3) erfüllt sind, wird bestimmt, dass die Zielobjekte A und B die gleichen sind wie die Zielobjekte C und D, und die Kennungen der Zielobjekte C und D werden geändert, sodass sie jeweils die Zielobjekte A und B zeigen. Im Ergebnis wird eine Zeitverfolgung durchgeführt.

1) Wenn die Koordinaten der Position des Schwerpunkts des Objekts i (= A, B) in dem Bild zur Zeit k jeweils gleich (xi(k), yi(k)) sind, und die Koordinaten der Position des Schwerpunkts des Objekts j (= C, D) in dem Bild zur Zeit k + 1 gleich (xj(k + 1), yj(k + 1) sind, dann gilt |xj(k + 1) – xi(k)| < Δx|yj(k + 1) – yi(k)| < Δy, wobei Δx und Δy die zulässigen Werte des Bewegungsbetrags in dem Bild in der x-Richtung bzw. in der y-Richtung bezeichnen.
2) Wenn die Oberflächenausdehnung des Objekts i (= A, B) in dem Bild zur Zeit k gleich Si(k) und die Oberflächenausdehnung des Objekts j (= C, D) in dem Bild zur Zeit (k + 1) gleich Sj(k + 1) ist, dann gilt Sj(k + 1)/Si(k) < 1 ± ΔS, wobei ΔS den zulässigen Bereich der Variation in der Oberflächenausdehnung bezeichnet.
3) Wenn das Aspektverhältnis des umschriebenen Vierecks des Objekts i (= A, B) zur Zeit k gleich ASPECT i(k) ist und das Aspektverhältnis des umschriebenen Vierecks des Objekts j (= C, D) zur Zeit (k + 1) gleich ASPECT j(k + 1) ist, dann gilt ASPECT j(k + 1)/ASPECT i(k) < 1 ± ΔASPECT, worin ΔASPECT den zulässigen Bereich der Variation in dem Aspektverhältnis bezeichnet.

Wenn man z. B. 6A mit 6B vergleicht, werden die Zielobjekte C und D jeweils als die Zielbobjekte A und B erkannt, obwohl die Größen jedes der Zielobjekte in dem Bild in 6B größer sind, weil das Zielobjekt A und das Zielobjekt C die gleichen Anforderungen für die oben beschriebene Identifikationsbestimmung erfüllen und auch das Zielobjekt B und das Zielobjekt D die oben beschriebenen Anforderungen zur Identifikationsbestimmung erfüllen. Auf diese Weise werden Positionskoordinaten (des Schwerpunkts) jedes der erkannten Zielobjekte in dem Speicher als Zeitserienpositionsdaten gespeichert, die im späteren Rechenprozess zu verwenden sind.
Der oben beschriebene Prozess der Schritte S4 bis S9 wird an einem binären Referenzbild ausgeführt (in dieser Ausführung dem rechten Bild).
Als Nächstes werden die Fahrzeuggeschwindigkeit VCAR, die von dem Fahrzeuggeschwindigkeitssensor 4 erfasst wird, und die Gierrate YR, die von dem Gierratensensor 3 erfasst wird, gelesen, und wird, wie in 7 gezeigt, der Drehwinkel θr des Fahrzeugs C berechnet, indem eine zeitliche Integration der Gierrate YR durchgeführt wird (Schritt S10).
Andererseits wird ein Prozess, der den Abstand z zwischen dem Zielobjekt und dem Fahrzeug 10 berechnet, in den Schritten S11 bis S13, parallel zu den Prozessen der Schritte S9 und S10, ausgeführt. Weil diese Berechnungen eine längere Zeit benötigen als Schritt S9 und Schritt S10, werden sie mit einem längeren Zyklus als Schritt S9 und S10 ausgeführt (z. B. mit einem Zyklus, der etwa drei Mal so lang ist wie der Ausführungszyklus der Schritt S1 bis S10).
Zuerst wird, durch Auswahl eines der Zielobjekte, das durch das binäre Bild des Referenzbilds (des rechten Bilds) verfolgt wird, ein Suchbild R1 (hier wird der gesamte Bereich, der von dem umschriebenen Viereck umgeben ist, als das Suchbild betrachtet) aus dem rechten Bild extrahiert (Schritt S11), wie in 8A gezeigt.
Als Nächstes wird ein Suchbereich gesetzt, um ein Bild (unten als das "entsprechende Bild" bezeichnet) in dem linken Bild, das dem Suchbereich entspricht, zu suchen, und das entsprechende Bild wird durch Ausführung einer Korrelationsberechnung ausgeführt (Schritt S12). Insbesondere wird, wie in 8B gezeigt, der Suchbereich R2 in dem linken Bild gemäß jedem der Scheitelkoordinaten des Suchbilds R1 gesetzt, und der Helligkeitsdifferenz-Gesamtwert C(a, b), der den Korrelationsgrad mit dem Suchbild R1 in dem Suchbereich R2 angibt, wird durch die unten gezeigte Formel (4) berechnet, und der Bereich, in dem dieser Gesamtwert C(a, b) am kleinsten ist, wird als das entsprechende Bild extrahiert. Diese Korrelationsberechnung wird unter Verwendung des Graustufenbilds, anstatt des Binärbilds, durchgeführt.
Wenn ferner frühere Positionsdaten für dasselbe Zielobjekt vorhanden sind, wird ein Bereich R2a (der in 8B durch die unterbrochenen Linien angegeben ist), der kleiner ist als der Suchbereich R2, auf der Basis dieser Positionsdaten als der Suchbereich gesetzt.
Hier ist IR(m, n) der Helligkeitswert an der Position der Koordinaten (m, n) in dem in 9 gezeigten Suchbereich R1, und IL(a + m – M, b + n – N) ist der Helligkeitswert an der Position der Koordinaten (m, n) in einem lokalen Bereich R3 derselben Form wie der Suchbereich R1, unter Verwendung der Koordinaten (a, b) in dem Suchbereich als Basispunkt. Die Position des entsprechenden Bilds wird definiert durch die Änderung der Koordinaten (a, b) des Basispunkts und Herausfinden der Position, an der der Gesamtwert C(a, b) der Helligkeitsdifferenz minimiert ist.
Weil das Suchbild R1 innerhalb des Referenzbilds (des rechten Bilds) extrahiert wird und das entsprechende Bild R4, das dem Zielobjekt entspricht, innerhalb der linken Bilds durch den Prozess in Schritt S12 extrahiert wird, werden als Nächstes die Schwerpunktposition des Suchbilds R1, die Schwerpunktposition des entsprechenden Bilds R4 und die Parallaxe Δd (als Anzahl von Pixeln) bestimmt und wird der Abstand z zwischen dem Fahrzeug 10 und dem Zielobjekt durch Anwendung einer unten gezeigten Formel (5) berechnet (Schritt S13).
Hier ist B die Basislinienlänge, d. h. der Abstand in horizontaler Richtung zwischen der Mittelposition des Bildaufnahmeelements der Infrarotkamera 2R und der Mittelposition des Bildaufnahmeelements der Infrarotkamera 2L (der Abstand zwischen den optischen Achsen der beiden Infrarotkameras); F ist die Brennweite der Linsen der Infrarotkameras 2R und 2L; und p ist die Pixeltrennung in den Bildelementen der Infrarotkameras 2R und 2L.
Nachfolgend wird ein Verfahren zur Berechnung des Abstands zu dem Zielobjekt im Detail beschrieben.
Sobald die Berechnung des Drehwinkels θr in Schritt S10 und die Berechnung des Abstands zu dem Zielobjekt in Schritt S13 abgeschlossen sind, werden die Koordinaten (x, y) in dem Bild und der durch die Formel (5) berechnete Abstand z auf eine unten gezeigte Formel (6) angewendet und in reale Raumkoordinaten (X, Y, Z) umgewandelt (Schritt S14).
Hier sind, wie in 2 gezeigt, die realen Raumkoordinaten (X, Y, Z) festgelegt, wie in der Figur gezeigt, wobei die Position des Mittelpunkts zwischen den Montagepositionen der Infrarotkameras 2R und 2L (den Positionen, an denen sie an dem Fahrzeug 10 befestigt sind) als der Ursprung O betrachtet werden, und die Koordinaten in dem Bild als x in der horizontalen Richtung und y in der vertikalen Richtung definiert werden, wobei die Mitte des Bilds als der Ursprung dient.
Hier sind (xc, yc) die Koordinaten (x, y) des rechten Bilds, die in Koordinaten in einem virtuellen Bild umgewandelt worden sind, worin der reale Raumursprung O und die Mitte des Bilds auf der Basis der relativen Positionsbeziehung zwischen der Montageposition der Infrarotkamera 2R und dem realen Raumursprung O in Übereinstimmung gebracht worden sind. Ferner ist f das Verhältnis zwischen der Brennweite F und der Pixeltrennung p.
Sobald die realen Raumkoordinaten erhalten sind, wird ferner eine Drehwinkelkompensation durchgeführt, um die Positionsverschiebung in dem Bild, die durch die Drehung des Fahrzeugs 10 verursacht wird, zu kompensieren (Schritt S15).
Wenn z. B., wie in 7 gezeigt, das Fahrzeug 10 um einen Drehwinkel θr während des Intervalls von Zeit k zur Zeit (k + 1) nach links schwenkt, dann tritt eine Verschiebung in der x-Richtung um einen Betrag äquivalent Δx, wie in 10 gezeigt, in dem von der Kamera erhaltenen Bild auf, und die Drehwinkelkompensation ist ein Prozess zum Kompensieren dieser Verschiebung. Insbesondere werden die realen Raumkoordinaten (X, Y, Z) auf eine folgende Formel (7) angewendet, und die kompensierten Koordinaten (Xr, Yr, Zr) werden berechnet. Die berechneten realen Raumpositionsdaten (Xr, Yr, Zr) werden in dem Speicher gespeichert, in Zuordnung zu jedem Zielobjekt. In der folgenden Beschreibung sind die Koordinaten nach der Drehwinkelkompensation als (X, Y, Z) gezeigt.
Sobald die Drehwinkelkomponensation für die realen Raumkoordinaten abgeschlossen worden ist, wird als Nächstes eine geeignete gerade Linie LMV, die dem relativen Bewegungsvektor des Zielobjekts und des Fahrzeugs 10 entspricht, aus N Elementen von realen Raumkoordinaten (z. B. N = 10) nach der Drehwinkelkompensation berechnet, die für dasselbe Objekt während der Überwachungsperiode ΔT erhalten wurden, d. h. aus den Zeitseriendaten (Schritt S16).
Insbesondere, wenn der Richtungsvektor L, der die Richtung der angenähert geraden Linie LMV angibt, gleich (1x, 1y, 1z) ist, wobei (|L| = 1), dann wird die durch die folgende Formel (8) gezeigte gerade Linie bestimmt.
Hier ist u ein Parameter, der einen beliebigen Wert einnimmt, und Xav, Yav und Zav sind Durchschnittswerte der X-Koordinate, Y-Koordinate bzw. Z-Koordinate der realen Raumpositionsdaten-Sequenz.
Wenn der Parameter u entfernt wird, wird die Formel (8) zur Formel (8a). (X – Xav)/1x = (Y – Yav)/1y = (Z – Zav)/1z (8a)
Wenn ferner z. B. P(0), P(1), P(2), ..., P(N – 2), P(N – 1) die Zeitseriendaten nach der Drehwinkelkompensation bezeichnen, dann geht die angenähert gerade Linie LMV durch die Durchschnittspositionskoordinaten Pav = (Xav, Yav, Zav) der Zeitseriendaten hindurch und findet sich als gerade Linie, wobei der Durchschnittswert des Quadrats des Abstands von jedem der Datenpunkte minimal ist.
Hier bezeichnen die numerischen Werte innerhalb der zu P hinzugefügten Klammern, die die Koordinaten jedes der Datenpunkte bezeichnen, an, dass, je größer der Wert ist, desto älter die Daten sind. Z. B. gibt P(0) die jüngsten Positionskoordinaten an, P(1) gibt die Positionskoordinaten von einem Abtastzyklus zurück an, und P(2) gibt die Positionskoordinaten von zwei Abtastzyklen zurück an.
Wenn als Nächstes die jüngsten Positionskoordinaten P(0) = (X(0), Y(0), Z(0)) sind, werden die Positionskoordinatenn P(N – 1) = (X(N – 1), Y(N – 1), Z(N – 1)) der Abtastung von (N – 1) Abtastungen zuvor (Zeit ΔT zuvor) auf eine Position auf der angenähert geraden Linie LMV kompensiert. Insbesondere werden die Positionskoordinaten nach der Kompensation Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(n – 1)) erhalten, indem die Z-Koordinaten Z(0), Z(N – 1) auf die obige Formel (8a) angewendet werden, d. h. unter Verwendung der folgenden Formel (9).
Ein relativer Bewegungsvektor wird als Vektor erhalten, der von den Positionskoordinaten Pv(N – 1), die in Formel (9) berechnet sind, zu Pv(0) weist.
Indem man auf diese Weise den relativen Bewegungsvektor bestimmt, indem man eine angenähert gerade Linie berechnet, die die relative Ortskurve des Zielobjekts relativ zu dem Fahrzeug annähert, 10 auf der Basis einer Mehrzahl (N Elementen) von Daten innerhalb der Überwachungsperiode ΔT, kann der Einfluss von Positionserfassungsfehlern reduziert werden, und es ist möglich, die Möglichkeit einer Kollision mit dem Zielobjekt akkurater vorherzusagen.
Ferner, sobald der relative Bewegungsvektor in Schritt S16 bestimmt ist, wird als Nächstes ein Warnbestimmungsprozess ausgeführt, der die Möglichkeit einer Kollision mit dem erfassten Zielobjekt bestimmt (Schritt S17).
Der Warnbestimmungsprozess (Schritt S17) ist ein Prozess, der unter Verwendung irgend eines Kollisionsbestimmungsprozesses, eines Prozesses zur Bestimmung, ob sich ein Zielobjekt in einem Annäherungsbestimmungsbereich befindet oder nicht, oder eines Intrusions-Kollisionsbestimmungsprozesses, von denen jeder unten beschrieben ist, die Möglichkeit einer Kollision des Fahrzeugs 10 mit dem erfassten Zielobjekt bestimmt. Die folgende Beschreibung verwendet ein in 11 gezeigtes Beispiel, in dem sich ein Tier 20 dem Weg des Fahrzeugs mit einer Geschwindigkeit Vp aus einem angenäherten 90° Winkel relativ zur Vorwärtsbewegungsrichtung des Fahrzeugs 10 annähert.
<Kollisionsbestimmungsprozess>
Zuerst berechnet die Bildverarbeitungseinheit 1 die relative Geschwindigkeit in der Z-Richtung Vs mittels einer unten gezeigten Formel (10) und der Tatsache, dass sich das Tier 20 während einer Zeit ΔT von einem Abstand Zv(N – 1) auf einen Abstand Zv(0) angenähert hat, und führt einen Kollisionsbestimmungsprozess aus. In dem Kollisionsbestimmungsprozess wird eine Kollision als wahrscheinlich gewertet, wenn die folgenden Formeln (11) und (12) richtig sind. Vs = (Zv(N – 1) – Zv(0))/ΔT (10) Zv(0)/Vs ≤ T (11) |Yv(0)| ≤ H (12)
Hier ist Zv(0) der jüngste Abstandserfassungswert (die Kennung v ist beigefügt, um anzuzeigen, dass dies Daten nach der Kompensation mittels der angenähert geraden Linie LMV sind, während die Z-Koordinate ein Wert ist, der mit dem vor der Kompensation identisch ist), und Zv(N – 1) ist der Abstandserfassungswert zur Zeit ΔT davor. Ferner ist T eine Grenzzeit, die angibt, dass die Möglichkeit einer Kollision zur Zeit T vor der vorhergesagten Kollisionszeit bestimmt ist, und demzufolge wird T z. B. auf einen Wert von angenähert 2 bis 5 Sekunden gesetzt. Ferner ist H eine vorbestimmte Höhe, die den Bereich der Y-Richtung definiert, d. h. die Höhenrichtung, und ist z. B. auf etwa das Doppelte der Höhe des Fahrzeugs 10 gesetzt.
<Prozess zur Bestimmung, ob sich ein Zielobjekt in einem Annäherungsbestimmungsbereich befindet oder nicht>
Hier wird eine Bestimmung vorgenommen, ob ein Zielobjekt innerhalb des Annäherungsbestimmungsbereichs liegt oder nicht. Z. B. ist in 12 der Bereich, der durch die Infrarotkameras 2L und 2R überwacht wird, durch einen äußeren dreieckigen Bereich ARO bezeichnet, der durch die dicke durchgehende Linie bezeichnet ist, und die Bereiche AR1, AR2 und AR3 innerhalb des Bereichs ARO, die innerhalb eines Abstands von Z1 = Vs × T von dem Fahrzeug liegen, dienen als die Warnbestimmungsbereiche.
Hier ist AR1 ein Bereich, der einem Bereich entspricht, der durch Addieren eines Rands von β (z. B. angenähert 50 bis 100 cm) zu beiden Seiten der Breite α des Fahrzeugs 10 erzeugt ist, oder in anderen Worten, einen Bereich mit einer Breite von (a/2 + β) an beiden Seiten einer Mittelachse, die in der Breitenrichtung des Fahrzeugs 10 längs der Mitte angeordnet ist, und wenn das Zielobjekt in diesem Bereich verbleibt, ist die Möglichkeit einer Kollision extrem hoch, und demzufolge wird dieser Bereich ein Annäherungsbestimmungsbereich genannt. Die Bereiche AR2 und AR3 sind Bereiche (an der Außenseite des Annäherungsbestimmungsbereichs in einer Querrichtung), in dem der Absolutwert der X-Koordinate größer ist als der Annäherungsbestimmungsbereich, und weil eine Intrusions-Kollisionsbestimmung, die unten beschrieben ist, an den Zielobjekten innerhalb dieser Bereiche durchgeführt wird, werden sie Intrusions-Bestimmungsbereiche genannt. Diese Bereiche haben eine vorbestimmte Höhe H in der Y-Richtung, wie in der obigen Formel (12) gezeigt.
<Intrusions-Kollisionsbestimmungsprozess>
Insbesondere wird in einem Intrusions-Kollisionsbestimmungsprozess eine Bestimmung vorgenommen, ob die Differenz zwischen xc(0) (wie oben beschrieben, ist der Buchstabe c beigefügt, um anzugeben, dass dies eine Koordinate ist, an dem eine Kompensation durchgeführt worden ist, um die Mittelposition des Bilds mit dem realen Raumursprung O, in Flucht zu bringen), das die jüngste X-Koordinate auf dem Bild ist, und xc(N – 1), das die x-Koordinate eine Zeit ΔT davor ist, einer unten gezeigten Formel (13) genügt. Wenn die Formel erfüllt ist, wird bestimmt, dass die Möglichkeit einer Kollision hoch ist.
Wenn, wie in 11 gezeigt, in dem Fall eines Tiers 20, das sich dem Weg des Fahrzeugs von einem angenäherten 90° Winkel relativ zur Vorwärtsbewegungsrichtung des Fahrzeugs 10 annähert, Xv(N – 1)/Zv(N – 1) = Xv(0)/Zr(0) ist, oder in anderen Worten, wenn das Verhältnis der Geschwindigkeit Vp des Tiers zur relativen Geschwindigkeit Vs des Fahrzeugs Vp/Vs = Xr(N – 1)/Zr(N – 1) ist, wird der Azimuthwinkel θd, mit dem das Tier 20 vom Fahrzeug aus gesehen wird, konstant, und die Möglichkeit einer Kollision ist hoch. Die Formel (13) bestimmt diese Möglichkeit, während sie die Breite α des Fahrzeugs 10 berücksichtigt.
Wenn in dem Warnbestimmungsprozess (Schritt S17) in allen des Kollisionsbestimmungsprozesses, des Prozesses zur Bestimmung, ob sich ein Zielobjekt dem Annäherungsbestimmungsbereich annähert oder nicht, und des Intrusions-Kollisionsbestimmungsprozesses, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Zielobjekt vorliegt (NEIN in Schritt S17), die Bestimmung durchgeführt wird, dann kehrt der Prozess zu Schritt S1 zurück, und der oben beschriebene Prozess wird wiederholt.
Wenn ferner in dem Warnbestimmungsprozess (Schritt S17) durch irgendeinen des Kollisionsbestimmungsprozesses, des Prozesses zur Bestimmung, ob sich ein Zielobjekt in dem Annäherungsbestimmungsbereich befindet oder nicht, oder dem Intrusionskollisions-Bestimmungsprozess, dass eine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Zielobjekt vorliegt (JA in Schritt S17), eine Bestimmung erfolgt, dann geht der Prozess zu dem Warnausgabebestimmungsprozess von Schritt S18 weiter.
In Schritt S18 wird ein Warnausgabebestimmungsprozess durchgeführt, d. h. ein Prozess zur Bestimmung, ob eine Warnung ausgegeben wird oder nicht (Schritt S18).
In dem Warnausgabebestimmungsprozess wird, auf der Basis der Ausgabe BR des Bremssensors 5, eine Bestimmung vorgenommen, ob der Fahrer des Fahrzeugs 10 eine Bremsbetätigung durchführt oder nicht.
Wenn der Fahrer des Fahrzeugs 10 eine Bremsbetätigung durchführt, wird die hierdurch erzeugte Beschleunigung Gs (positiv in der Verzögerungsrichtung) berechnet, und wenn diese Beschleunigung Gs größer als ein vorbestimmter Schwellenwert GTH ist, wird bestimmt, dass durch die Bremsbetätigung eine Kollision vermieden werden kann, wird der Warnausgabebestimmungsprozess abgeschlossen (NEIN in Schritt S18), kehrt der Prozess zu Schritt S1 zurück und wird der oben beschriebene Prozess wiederholt.
Wenn demzufolge eine geeignete Bremsbetätigung durchgeführt worden ist, wird keine Warnung ausgegeben, und der Fahrer wird keiner übermäßigen Beunruhigung ausgesetzt.
Wenn ferner die Beschleunigung Gs gleich oder kleiner als der vorbestimmte Schwellenwert GTH ist, oder der Fahrer des Fahrzeugs 10 keine Bremsbetätigung durchgeführt hat, dann geht der Fluss sofort zu dem Prozess in Schritt S19 weiter (JA in Schritt S18). Weil die Möglichkeit eines Kontakts mit dem Zielobjekt hoch ist, wird über den Lautsprecher 6 eine sprachliche Warnung ausgegeben (Schritt S19), und es wird ein z. B. durch die Infrarotkamera 2R erhaltenes Bild an die Bildanzeigevorrichtung 7 ausgegeben und wird das sich annähernde Zielobjekt dem Fahrer des Fahrzeugs 10 als aufleuchtendes Bild angezeigt (Schritt S20).
Der vorbestimmte Schwellenwert GTH wird durch die unten gezeigte Formel (14) bestimmt. Dies ist der Wert entsprechend dem Zustand, in dem das Fahrzeug 10 an einer Fahrwegstrecke gleich oder kleiner als dem Abstand Zv(0) stoppt, wenn die Beschleunigung Gs ohne Änderung während der Bremsbetätigung beibehalten wird.
Als Nächstes wird der Parallaxenberechnungsprozess in Schritt 13 im in 3 gezeigten Flussdiagramm in Bezug auf das in 13 gezeigte Flussdiagramm und die Zeichnungen in 14 beschrieben.
13 ist ein Flussdiagramm, das den Betrieb des Parallaxenberechnungsprozesses zeigt.
Zuerst bestimmt in 13 die Bildverarbeitungseinheit 1 für ein Zielobjekt, wie etwa das im rechten Bild in 14 gezeigte Zielobjekt 50, ob entweder die Breite X eines umschriebenen Vierecks 51 des Zielobjekts 50 kleiner als ein vorbestimmter Wert A ist, oder ob das Verhältnis der Länge in der vertikalen Richtung (Höhe Y) zur Länge in der Querrichtung (Breite X) des umschriebenen Vierecks 51 größer als ein vorbestimmter Wert B ist (Schritt S21), d. h. ob
die Breite X des umschriebenen Vierecks 51 < A ist, oder
(Höhe Y des umschriebenen Vierecks 51/Breite X des umschriebenen Vierecks 51) > B.
Wenn in Schritt S21 die Breite X des umschriebenen Vierecks 51 kleiner als der vorbestimmte Wert A ist, oder wenn das Verhältnis der Länge in der vertikalen Richtung (Höhe Y) zur Länge in der Querrichtung (Breite X) des umschriebenen Vierecks 51 größer als der vorbestimmte Wert B ist (JA in Schritt S21) ist, dann führt die Bildverarbeitungseinheit 1 eine Korrelationsberechnung an dem Graustufenbild aus, unter Verwendung des gesamten umschriebenen Vierecks 51 des Zielobjekts 50 in dem rechten Bild und dem linken Bild (Schritt S22).
Als Nächstes wird in der Bildverarbeitungseinheit 1 auf der Basis der Ergebnisse der in Schritt S21 ausgeführten Korrelationsberechnung eine Bestimmung durchgeführt, ob ein hoher Korrelationsgrad zwischen dem Zielobjekt 50 in dem rechten Bild und dem Zielobjekt 50 in dem linken Bild vorhanden ist oder nicht (Schritt S23).
Wenn in Schritt S23 ein geringer Korrelationsgrad zwischen dem Zielobjekt 50 in dem rechten Bild und dem Zielobjekt 50 in dem linken Bild vorhanden ist (NEIN in Schritt S23), wird dieses Zielobjekt als ein zu erfassendes Objekt eliminiert (Schritt S24).
Wenn ferner in Schritt S23 ein hoher Korrelationsgrad zwischen dem Zielobjekt 50 in dem rechten Bild und dem Zielobjekt 50 in dem linken Bild vorhanden ist (JA in Schritt S23), wird der Abstand zu dem Zielobjekt mittels der obigen Formel (5) berechnet (Schritt S25).
Wenn andererseits in Schritt S21 die Breite X des umschriebenen Vierecks 51 gleich oder größer als der vorbestimmte Wert ist, und das Verhältnis der Länge in der vertikalen Richtung (Höhe Y) zur Länge in der Querrichtung (Breite X) des umschriebenen Vierecks 51 gleich oder kleiner als der vorbestimmte Wert B ist (NEIN in Schritt S21), dann vorhersagt die Bildverarbeitungseinheit 1 die Wahrscheinlichkeit einer Überlappung des Zielobjekts, und wird, wie im rechten Bild in 14 gezeigt, das Zielobjekt in zwei Bereiche aufgeteilt, nämlich einen Teilbereich L_b52 und einen Teilbereich R_b53, die die jeweiligen linken und rechten Ränder des Zielobjekts enthalten (Schritt S26). Hier sind die Breiten des Teilbereichs L_b52 und des Teilbereichs R_b53 auf Breiten gleich dem vorbestimmten Wert A von den jeweiligen linken und rechten Rändern her gesetzt, und die Höhen sind auf die Höhe Y des umschriebenen Vierecks 51 vor der Aufteilung gesetzt.
Als Nächstes werden, wie im rechten Bild in 14 gezeigt, Korrelationsberechnungsblöcke 54 und 55 um die Peripherie der Teilbereiche L_b52 bzw. R_b53 gesetzt, und dann werden, wie im linken Bild in 14 gezeigt, Korrelationsberechnungen mit Korrelationsberechnungsblöcken 60 und 61 ausgeführt, die um die Zielobjekte 56 und 57 in dem linken Bild gesetzt sind, die dem Zielobjekt 50 in dem rechten Bild entsprechen, und werden die Parallaxe dn_L und bzw. die Parallaxe dn_R berechnet (Schritt S27). Sobald die jeweiligen Parallaxen dn_L und dn_R gefunden sind, wird eine Bestimmung in der Bildverarbeitungseinheit vorgenommen, ob der Absolutwert der Differenz zwischen der Parallaxe dn_L und der Parallaxe dn_R in den berechneten Parallaxenbeträgen (dn_L, dn_R) kleiner als ein vorbestimmter Wert TH ist oder nicht (Schritt S28), d. h. ob die Formel |dn_L – dn_R| < TH gilt.
Wenn in Schritt S28 der Absolutwert der Differenz zwischen der Parallaxe dn_L und der Parallaxe dn_R kleiner als der vorbestimmte Wert TH ist (JA in Schritt S28), dann kann eine Bestimmung durchgeführt werden, dass die linken und rechten Ränder des Zielobjekts die gleiche Parallaxe haben und dass ein Zustand, in dem unterschiedliche Objekte überlappen, nicht aufgetreten ist. Demzufolge wird, anstatt der Aufteilung des Zielobjekts und dann Durchführung der Erkennung, die Zielobjektparallaxe berechnet als dn = (d_L + dD_R)/2, und der Prozess geht zu Schritt S25 weiter, und der Abstand zu dem Zielobjekt wird mittels der obigen Formel (5) berechnet (Schritt S25).
Wenn ferner in Schritt S28 der absolutwert der Differenz zwischen Parallaxe dn_L und der Parallaxe dn_R gleich oder größer als der vorbestimmte Wert TH ist (NEIN in Schritt S28), dann kann eine Bestimmung durchgeführt werden, dass die Parallaxen der linken und rechten Ränder des Zielobjekts unterschiedlich sind und dass das Zielobjekt aus zwei unterschiedlichen Objekten besteht, die überlappen. Demzufolge wird das Zielobjekt in zwei Zielobjekte 56 und 57 von Lb und Rb zur Erkennung aufgeteilt. Hierbei werden, wie im rechten Bild und im linken Bild in 14 gezeigt, die Schwerpunkte der jeweiligen Zielobjekte (ein Linker-Rand-Zielobjekt-Schwerpunkt 62 und ein Rechter-Rand-Zielobjekt-Schwerpunkt 63) auf die Ränder der Teilbereiche L_b 52, 58 und die Teilbereiche R_b 53, 59 in der Querrichtung gesetzt, und werden auf die gleiche Höhe wie der Zielobjekt-Schwerpunkt 64 vor der Aufteilung in der Höhenrichtung gesetzt (Schritt S30).
Der Prozess geht dann zu Schritt S25 weiter, und der Abstand zu jedem der jeweiligen Zielobjekte wird mittels der obigen Formel (5) berechnet (Schritt S25).
Im oben beschriebenen Schritt S30 können von den einander überlappenden Objekten jene, die unnötig sind, als zu erfassende Zielobjekte eliminiert werden.
Ferner wurde die obige Ausführung anhand eines Falls beschrieben, in dem eine Bestimmung vorgenommen wurde, ob ein Zielobjekt aus unterschiedlichen überlappenden Objekten besteht, und im Falle einer Überlappung wurde das Zielobjekt in zwei Zielobjekte zur Erkennung aufgeteilt. Jedoch ist es für ein einziges Zielobjekt, das in der Abstandsrichtung lang ist, auch möglich, durch das gleiche Verfahren die Differenz in der Parallaxe zu bestimmen, die durch Differenzen in der Position des Zielobjekts hervorgerufen werden, die auftreten, weil das Objekt in der Abstandsrichtung lang ist, und dann die Position des Zielobjekts akkurat zu schätzen.
Zusätzlich hat die oben beschriebene Ausführung ein Beispiel verwendet, in dem die Front des Fahrzeugs überwacht wurde, wobei jedoch auch jede andere Richtung, wie etwa die Rückseite des Fahrzeugs, überwacht werden kann.
Ferner ist die vorliegende Erfindung nicht auf die oben beschriebene Ausführung beschränkt und es sind viele Varianten möglich. Z. B. wurden in der oben beschriebenen Ausführung Infrarotkameras als die Bildaufnahmevorrichtungen zum Erhalt von Bildern des Zielobjekts verwendet, wobei es aber auch möglich ist, eine Videokamera zu verwenden, die nur sichtbares Standardlicht erfassen kann, wie z. B. in der japanischen ungeprüften Patentanmeldung, Erstveröffentlichung Nr. Hei 9-226490 offenbart. Weil es jedoch möglich ist, den Extraktionsprozess von Tieren oder bewegenden Fahrzeugen mittels Infrarotkameras zu vereinfachen, kann die vorliegende Erfindung unter Verwendung einer Computereinheit mit einer vergleichsweise geringen Rechenkapazität realisiert werden.
Ferner enthält in der vorliegenden Ausführung die Bildverarbeitungseinheit 1 eine Extraktionsbereichsetzvorrichtung, eine Suchbereichsetzvorrichtung, eine Objekterkennungsvorrichtung und eine Parallaxenberechnungsvorrichtung. Insbesondere entspricht Schritt S21 in 13 einer Bildvorhersagevorrichtung und entsprechen die Schritte S26 bis S30 einer Bildbestimmungsvorrichtung. Zusätzlich entspricht Schritt S30 einer Bildtrennvorrichtung.
Wie oben beschrieben, kann in einer Bilderkennungsvorrichtung der vorliegenden Ausführung auch dann, wenn zwei unterschiedliche überlappende Objekte durch binäre Verarbeitung als ein einziges Zielobjekt extrahiert werden, der Abstand zu jeweiligen Rändern aus der Parallaxe der linken und rechten Ränder des Zielobjekts errechnet werden.
Demzufolge ist es möglich, auf der Basis der Differenz in den Abständen zu den linken und rechten Rändern zu bestimmen, dass unterschiedliche Objekte innerhalb des Zielobjekts überlappen, und dann die Position des Zielobjekts auf der Basis der Position der Randpunkte der jeweiligen Zielobjekte (Objekte) und des Abstands zu den Randpunkten der jeweiligen Zielobjekte akkurat zu schätzen. Ferner ist es unter Verwendung desselben Verfahrens auch möglich, die Position von nicht nur überlappenden Objekten, sondern auch von solchen Zielobjekten, die in der Abstandsrichtung lang sind, durch Messen der Positionen der linken und rechten Ränder akkurat zu berechnen.
Es wird eine Bilderkennungsvorrichtung angegeben, die, unter Berücksichtigung der Größe eines Zielobjekts auf einem von einer Kamera aufgenommenen Bild, aus der zugeordneten Parallaxe bestimmt, ob unterschiedliche Objekte in dem Bild überlappen, und dann im Falle der Überlappung die Abstände zu den jeweiligen Objekten unabhängig berechnet. Eine Bildverarbeitungseinheit bestimmt die Größe eines umschriebenen Vierecks dies Zielobjekts und sagt die Überlappung der zwei unterschiedlichen Objekte vorher (S21). Als Nächstes wird das Zielobjekt in zwei Teilbereiche L_b und R_b aufgeteilt, die die jeweiligen linken und rechten Ränder des Zielobjekts enthalten (S26), und durch Ausführung einer Korrelationsberechnung zwischen dem linken Bild und dem rechten Bild, die von der Stereokamera aufgenommen sind, für jeden der Teilbereiche, können die Parallaxen der jeweiligen Teilbereiche L_b und R_b bestimmt werden (S27). Wenn dann der Absolutwert der Differenz zwischen den Parallaxen der jeweiligen Teilbereiche L_b und R_b größer als ein vorbestimmter Wert ist, wird eine Bestimmung durchgeführt, dass unterschiedliche Objekte innerhalb des Zielobjekts überlappen, und das Zielobjekt wird zur Erkennung aufgeteilt, und der Abstand zu den jeweiligen Objekten wird unabhängig berechnet (S28 bis S29).

Claims

Bilderkennungsvorrichtung, die Parallaxen (dn_L, dn_R) eines Zielobjekts (20; 56, 57) auf der Basis von Bildern, die jeweils von zwei Bildaufnahmevorrichtungen (2R, 2L) erhalten sind, misst und den Abstand (Zv) zu dem Zielobjekt (20; 56, 57) auf der Basis der Parallaxen (dn_L, dn_R) errechnet, umfassend: eine Bildbestimmungsvorrichtung (S26 bis S30), die Bestimmungsbereiche (L_b, R_b; 52, 53; 58, 59) setzt, die eine das Zielobjekt (20; 56, 57) einzuschließende Höhe (Y) haben, und jeweilige linke und rechte Ränder des Zielobjekts (20; 56, 57) enthalten, und die bestimmt, ob das Zielobjekt (20; 56, 57) aus zwei überlappenden unterschiedlichen Objekten (56, 57) gebildet ist, indem sie die Parallaxen (dn_L, dn_R) der jeweiligen Bestimmungsbereiche (L_b, R_b; 52, 53; 58, 59) misst und vergleicht, dadurch gekennzeichnet, dass die Bildbestimmungsvorrichtung (S26 bis S30) aus der Differenz der Parallaxen (dn_L, dn_R) der linken und rechten Ränder der das Zielobjekt (20; 56, 57) einschließenden Bestimmungsbereiche auf eine Überlappung zweier unterschiedlicher Objekte (56, 57) schließt, Abstandsbestimmungspunkte (62, 63) auf die linken und rechten Ränder der Bestimmungsbereiche (L_b, R_b; 52, 53; 58, 59) setzt und an diesen Abstandsbestimmungspunkten (62, 63) den Abstand (Zv) zu jedem der jeweiligen Objekte (56, 57) unabhängig berechnet.
Bilderkennungsvorrichtung nach Anspruch 1, gekennzeichnet durch eine Bildvorhersagevorrichtung (21), die die Überlappung unterschiedlicher Objekte (56, 57) vorhersagt, wenn ein beide unterschiedliche Objekte (56, 57) einschließender Rahmen (51) eine vorbestimmte Größe (A) überschreitet, oder ein Verhältnis einer vertikalen Länge (Y) zu einer horizontalen Länge (X) des das Zielobjekt (20; 56, 57) einschließenden Rahmens (51) kleiner als ein vorbestimmter Wert (B) ist.
Bilderkennungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bildbestimmungsvorrichtung (S26 bis S30) die Bestimmungsbereiche (L_b, R_b, 52, 53; 58, 59) umgebende Berechnungsbereiche (60, 61) setzt und die Parallaxen (dn_L, dn_R) berechnet, indem sie eine Korrelationsberechnung zwischen den Berechnungsbereichen (60, 61), die den jeweiligen durch die zwei Bildaufnahmevorrichtungen (2L, 2R) erhaltenen Bildern entsprechen, durchführt.
Bilderkennungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bildbestimmungsvorrichtung (S26 bis S30) bestimmt, dass die unterschiedlichen Objekte (56, 57) überlappen, wenn ein Absolutwert einer Differenz zwischen der Parallaxe (dn_L) des den linken Rand enthaltenden Bestimmungsbereichs (52, 58) und der Parallaxe (dn_R) des den rechten Rand enthaltenden Bestimmungsbereichs (53, 59) größer als ein vorbestimmter Wert (TH) ist.