HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine Bilderkennungsvorrichtung zum
Berechnen des Abstands zu einem Zielobjekt auf der Basis eines
binokularen stereoskopischen Bilds, das mittels zweier
Bildaufnahmevorrichtungen erhalten wird.
Beschreibung der relevanten Technik
-
Um herkömmlich den Fahrer eines Fahrzeugs über ein auf seinem Weg
befindliches Hindernis, wie etwa einen Fußgänger, in Kenntnis zu setzen,
werden Vorrichtungen, in denen Bilder, die von einer oder einer Mehrzahl
von an der Fahrzeugfront angebrachten Kameras aufgenommen werden, an
einer Position angezeigt, die vom Fahrersitz aus sichtbar ist, um die
Vorwärtssicht des Fahrers zu ergänzen, und es sind bereits Vorrichtungen
bekannt, die Hindernisse, die das Fahrzeug kontaktieren könnten, auf der
Basis der durch die Kameras aufgenommenen Bilder erfassen und
bewirken, dass das Fahrzeug automatische Vermeidungsoperationen
durchführt. Das dem Fahrer angezeigte Bild wird an einer
Bildanzeigevorrichtung angezeigt, wie etwa einem NAVIDisplay, das in der
Konsole des Fahrzeugs angeordnet ist, einem HUD (Head Up Display), das
Information an einer Information an der Frontscheibe anzeigt, die die
Vorwärtssicht des Fahrers nicht behindert, oder einem
Messanzeigeintegrierten Display, das mit einer Messanzeige integriert ist, die den
Fahrzustand des Automobils numerisch anzeigt. Ferner werden die
automatischen Vermeidungsoperationen des Fahrzeugs ausgeführt, indem
eine Vielzahl von Aktuatoren automatisch gesteuert werden, die
vorgesehen sind, um jeden Abschnitt des Fahrzeugs zu betreiben.
-
In der japanischen ungeprüften Patentanmeldung, Erstveröffentlichung Nr.
Hei 6-266828 ist ein Beispiel dieses Typs von Vorrichtung offenbart, in der
ein Bild der Umgebung des in der Nähe des Fahrzeugs aufgenommen wird
und Hindernisse, die das Fahrzeug kontaktieren könnten, aus dem
aufgenommenen Bild erfasst werden. In dieser Vorrichtung werden die von
zwei Kameras aufgenommenen Bilder verarbeitet, und es wird Information
über die Abstandsverteilung über das Gesamtbild hinweg erhalten, und
indem dann dreidimensionale Positionsinformation der Zielobjekte
entsprechend der Abstandsverteilungsinformation berechnet wird, werden
dann die Form der Straße und Hindernisse, wie etwa Seitenwände, leicht
und akkurat erfasst. Demzufolge ist es möglich, das Vorhandensein einer
Mehrzahl von Hindernissen individuell zu erkennen, und entweder den
Fahrer des Fahrzeugs zu warnen oder das Fahrzeug automatische
Vermeidungsoperationen mit einem hohen Grad an Zuverlässigkeit
ausführen zu lassen.
-
Jedoch haben die herkömmlichen Vorrichtungen, wie sie oben beschrieben
sind, ein Problem darin, dass dann, wenn die Abstandsverteilung über das
Gesamtbild hinweg bestimmt wird, weil das Gesamtbild in Bereiche einer
gewissen Größe unterteilt ist und die Abstandsverteilung für jeden Bereich
berechnet wird, die Größe des Bereichs relativ zur Größe des Zielobjekts
fest ist und daher die Verarbeitungseffizienz schlecht ist.
-
In anderen Worten, wenn das aufgenommene Bild des Zielobjekts einen
großen Anteil des Gesamtbilds belegt, ist die Effizienz der Verarbeitung
schlecht, weil nur ein einziger Abstand zu dem Zielobjekt erhalten werden
braucht, wenn das Zielobjekt mehr als notwendig aufgeteilt wird und die
Abstandsverteilung für jeden Bereich bestimmt wird, und es ist
beträchtliche Zeit für die Berechnung der gesamten Abstandsverteilung
erforderlich, um den Abstand zu dem Zielobjekt zu berechnen.
ZUSAMMENFASSUNG DER ERFINDUNG
-
Im Hinblick auf die obigen Umstände ist es Aufgabe der vorliegenden
Erfindung, eine Bilderkennungsvorrichtung anzugeben, während die Größe
eines Zielobjekts in einem durch die Kameras aufgenommenen Bild
berücksichtigt wird, die das Vorhandensein einer Überlappung
unterschiedlicher Objekte in dem Bild unter Verwendung der Parallaxe des
Bilds bestimmt und, wenn Objekte überlappen, die Abstände zu den
jeweiligen Objekten unabhängig berechnet.
-
Um die oben beschriebenen Probleme zu lösen, ist eine
Bilderkennungsvorrichtung gemäß der vorliegenden Erfindung eine solche
Bilderkennungsvorrichtung, die die Parallaxe eines Zielobjekts auf der Basis
von Bildern, die jeweils durch zwei Bildaufnahmevorrichtungen erhalten
sind, misst und den Abstand zu dem Zielobjekt auf der Basis der Parallaxe
berechnet, wobei sie eine Bildbestimmungsvorrichtung (z. B. Schritt S26 bis
Schritt S30 in der Ausführung der Erfindung) aufweist, die
Bestimmungsbereiche setzt, die eine ausreichende Höhe für den Einschluss
des Zielobjekts haben und die unabhängig jeweilige linke und rechte Ränder
des Zielobjekts enthalten, und bestimmt, ob unterschiedliche Objekte
überlappen, indem sie die Parallaxen die jeweiligen Bestimmungsbereiche
misst und vergleicht.
-
Unter Verwendung der Bildbestimmungsvorrichtung setzt die
Bilderkennungsvorrichtung einen Bereich für jedes Zielobjekt, unter
Berücksichtigung der unterschiedlichen Höhen der aufgenommenen
Objekte, sodass sie den linken oder rechten Rand des Zielobjekts
einschließen, und erhält, durch Vergleich der Parallaxen dieser Bereiche,
Vergleichsergebnisse, die angeben, ob die Parallaxen der linken und
rechten Ränder übereinstimmen oder differieren. Demzufolge kann eine
Bestimmung durchgeführt werden, ob der linke Abschnitt oder der rechte
Abschnitt eines Zielobjekts Abschnitte desselben Objekts sind oder
Abschnitte unterschiedlicher Objekte sind, was die Bestimmung des
Vorhandenseins überlappender Objekte gestattet.
-
Weil demzufolge der Bereich, der zur Bestimmung der Parallaxen verwendet
wird, in Abhängigkeit von der Größe jedes aufgenommenen Zielobjekts
gesetzt wird, können die Parallaxen immer effizient bestimmt werden,
unabhängig von der Größe des aufgenommenen Zielobjekts, entsprechend
dem Abstand zwischen dem Fahrzeug und dem Zielobjekt.
-
In der vorgenannten Bilderkennungsvorrichtung kann die
Bildbestimmungsvorrichtung eine Bildtrennvorrichtung (z. B. Schritt S30 in
der Ausführung der Erfindung) enthalten, die in solchen Fällen, wo die
Überlappung unterschiedlicher Objekte erkannt wird,
Abstandsbestimmungspunkte in den Bestimmungsbereichen auf die Ränder
der Bestimmungsbereiche setzt und den Abstand zu jedem der jeweiligen
Objekte unabhängig berechnet.
-
Wenn durch die Bildbestimmungsvorrichtung ein Zielobjekt als ein solches
erkannt wird, das eine Mehrzahl verschiedener überlappender Objekte
repräsentiert, kann die Bilderkennungsvorrichtung den Abstand zu den
jeweiligen Objekten berechnen, indem sie die jeweiligen linken und rechten
Ränder des Zielobjekts als die Abstandsbestimmungspunkte verwendet, um
hierdurch die Objekte zu trennen und aufzunehmen.
-
Demzufolge können Situationen, in denen der Abstand zu dem Zielobjekt
nicht berechnet werden kann, weil das Vorhandensein des Bilds
unterschiedliche Objekte in einem Überlappungszustand bewirkt, dass die
Parallaxen des Zielobjekts an unterschiedlichen Orten unterschiedlich sind,
verhindert werden, und es wird möglich, den Abstand zu jedem
unterschiedlichen Objekt akkurat zu bestimmen.
-
Die Bilderkennungsvorrichtung kann eine Bildvorhersagevorrichtung (z. B.
Schritt S21 in der Ausführung der Erfindung) aufweisen, die die
Überlappung unterschiedlicher Objekte vorhersagt, wenn ein das Zielobjekt
umgebender Bereich größer als eine vorbestimmte Größe ist, oder ein
Verhältnis einer Länge in der vertikalen Richtung zu einer Länge in der
horizontalen Richtung des das Zielobjekt umgebenden Bereichs kleiner als
ein vorbestimmter Wert ist.
-
Vor der Bestimmung, ob unterschiedliche Objekte überlappen, unter
Verwendung der Bildbestimmungsvorrichtung, kann die
Bilderkennungsvorrichtung unter Verwendung der
Bildvorhersagevorrichtung auch eine Vorhersage treffen, ob das Zielobjekt
unterschiedliche überlappende Objekte aufweist oder nicht, unter
Verwendung der Größe des das Zielobjekt umgebenden Bereichs oder des
Verhältnisses der Länge in der vertikalen Richtung zu der Länge in der
horizontalen Richtung des das Zielobjekt umgebenden Bereichs, und kann
dann eine Bestimmung unter Verwendung der Bildbestimmungsvorrichtung
nur dann durchführen, wenn vorhergesagt wird, dass das Zielobjekt
unterschiedliche überlappende Objekte aufweist (nur wenn die Möglichkeit
hoch ist).
-
Weil demzufolge die Berechnungen der Bildbestimmungsvorrichtung nur
dann ausgeführt werden, wenn eine hohe Möglichkeit besteht, dass das
Zielobjekt unterschiedliche überlappende Objekte aufweist, kann die
Verarbeitungslast der Bilderkennungsvorrichtung reduziert werden.
-
In der Bilderkennungsvorrichtung kann die Bildbestimmungsvorrichtung
Rechenbereiche setzen, die die jeweiligen Bestimmungsbereiche an der
Peripherie jedes Bestimmungsbereichs enthalten, und die Parallaxen
berechnen, indem sie eine Korrelationsberechnung zwischen den
Rechenbereichen entsprechend jeweiligen Bildern, die durch die zwei
Aufnahmevorrichtungen erhalten sind, durchführt.
-
In der Bilderkennungsvorrichtung kann die Bildbestimmungsvorrichtung
bestimmen, dass unterschiedliche Objekte überlappen, wenn ein
Absolutwert einer Differenz zwischen der Parallaxe des
Bestimmungsbereichs, der den vorgenannten linken Rand enthält, und der
Parallaxe des Bestimmungsbereichs, der den vorgenannten rechten Rand
enthält, größer als ein vorbestimmter Wert ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Fig. 1 ist ein Blockdiagramm, das die Struktur einer
Bilderkennungsvorrichtung gemäß einer Ausführung der vorliegenden
Erfindung zeigt.
-
Fig. 2 ist ein Diagramm, das Montagepositionen von Infrarotkameras,
einem Sensor und einer Anzeige und dgl. an einem Fahrzeug zeigt.
-
Fig. 3 ist ein Flussdiagramm, das den Gesamtbetrieb der
Bilderkennungsvorrichtung gemäß derselben Ausführung zeigt.
-
Fig. 4A ist ein Diagramm, das ein von einer Infrarotkamera erhaltenes
Graustufenbild zeigt.
-
Fig. 4B ist ein Diagramm, das ein Binärbild des von der Infrarotkamera
erhaltenen Graustufenbilds zeigt.
-
Fig. 5A bis 5C sind Diagramme, die den Umwandlungsprozess in
Lauflängendaten und die Kennung zeigt.
-
Fig. 6A und Fig. 6B sind Diagramme, die die zeitliche Verfolgung eines
Zielobjekts zeigen.
-
Fig. 7 ist ein Diagramm, das die gesamte Drehwinkelkompensation eines
Zielbilds zeigt.
-
Fig. 8A ist ein Diagramm, das einen Suchbereich zeigt, der in einem
Suchbild in dem rechten Bild gesetzt ist.
-
Fig. 8B ist ein Diagramm, das den in dem linken Bild gesetzten
Suchbereich zeigt.
-
Fig. 9 ist ein Diagramm, das einen an dem Suchbereich ausgeführten
Korrelationsrechenprozess zeigt.
-
Fig. 10 ist ein Diagramm, das die Positionsverschiebung eines Zielobjekts
in einem Bild zeigt, die während der Drehung des Fahrzeuges auftritt.
-
Fig. 11 ist ein Diagramm, das einen Fall zeigt, in dem eine Kollision leicht
auftreten könnte.
-
Fig. 12 ist ein Diagramm, das die Bereichsunterteilung vor einem Fahrzeug
zeigt.
-
Fig. 13 ist ein Flussdiagramm, das den Betrieb eines Parallaxen-
Rechenprozesses in derselben Ausführung zeigt.
-
Fig. 14 ist ein Diagramm, das das rechte Bild und das linke Bild während
des Parallaxen-Berechnungsprozesses derselben Ausführung zeigt.
DETAILBESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
-
Die Ausführungen der vorliegenden Erfindung werden nachfolgend in Bezug
auf die Zeichnungen beschrieben.
-
Fig. 1 ist ein Blockdiagramm, das die Struktur einer
Bilderkennungsvorrichtung gemäß einer Ausführung der vorliegenden
Erfindung zeigt.
-
In Fig. 1 ist die Bezugszahl 1 eine Bildverarbeitungseinheit, die eine CPU
(zentrale Prozessoreinheit) aufweist, die die Bilderkennungsvorrichtung
dieser Ausführung steuert, mit der verbunden sind zwei Infrarotkameras 2R
und 2L, die lange Infrarotstrahlung erfassen können, ein Gierratensensor 3,
der die Gierrate des Fahrzeugs erfasst, ein Fahrzeuggeschwindigkeitssensor
4, der die Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs
erfasst, sowie ein Bremssensor 5, der die Betätigung der Bremsen erfasst.
In dieser Konfiguration erfasst die Bildverarbeitungseinheit 1 ein sich
bewegendes Objekt, wie etwa einen Fußgänger oder ein Tier, vor dem
Fahrzeug auf der Basis eines Infrarotbilds der Nähe des Fahrzeugs und von
Signalen, die den Fahrzustand des Fahrzeugs angeben, und gibt eine
Warnung aus, wenn bestimmt wird, dass die Möglichkeit einer Kollision
hoch ist.
-
Ferner sind mit der Bildverarbeitungseinheit 1 auch verbunden ein
Lautsprecher 6 zur Ausgabe einer Warnung durch Sprache sowie eine
Bildanzeigevorrichtung 7, die z. B. ein Display-integriertes Messgerät
enthält, das ein integriertes Messgerät zum numerischen Anzeigen des
Fahrzustands des Fahrzeugs aufweist, ein NAVIDisplay, das in der Konsole
des Fahrzeugs angebracht ist, oder ein HUD (head up display) 7a (siehe
Fig. 2), das Information an einer Position an der Frontscheibe an einer
Position anzeigt, die die Vorwärtssicht des Fahrzeugs nicht beeinträchtigt,
die das von den Infrarotkameras 2R und 2L aufgenommene Bild anzeigt
und es dem Fahrer des Fahrzeugs erlaubt, Objekte zu erkennen, die eine
Kollisionsgefahr darstellen.
-
Ferner umfasst die Bildverarbeitungseinheit 1 eine A/D-Wandlerschaltung,
die analoge Eingangssignale in digitale Signale umwandelt, einen
Bildspeicher, der das digitalisierte Bildsignal speichert, eine CPU (zentrale
Prozessoreinheit), die verschiedene Operationsprozesse ausführt, ein RAM
(Speicher mit wahlfreiem Zugriff), das von der CPU zum Speichern von zu
verarbeitenden Daten verwendet wird, ein ROM (Nur-Lese-Speicher) zum
Speichern von Tabellen, Kennfeldern, von der CPU auszuführenden
Programmen und dgl., sowie eine Ausgabeschaltung, die ein Treibersignal
für den Lautsprecher 6 und ein Anzeigesignal für das HUD 7a oder dgl.
ausgibt. Die Bildverarbeitungseinheit ist so strukturiert, dass die
Ausgangssignale der Infrarotkameras 2R und 2L, des Gierratensensors 3,
des Fahrzeuggeschwindigkeitssensors 4 und der Bremssensoren 5 in
digitale Signale umgewandelt und dann in die CPU eingegeben werden.
-
Ferner sind, wie in Fig. 2 gezeigt, die Infrarotkameras 2R und 2L an der
Vorderseite des Fahrzeugs 10 an angenähert symmetrischen Positionen
relativ zur Querrichtungsmitte des Fahrzeugs 10 angebracht, wobei die
optischen Achsen der zwei Infrarotkameras 2R und 2L zueinander parallel
sind und beide Kameras in gleichen Höhen über der Straßenoberfläche
befestigt sind. Ein Kennzeichen der Infrarotkameras 2R und 2L ist, dass der
Ausgangssignalpegel höher wird (die Helligkeit zunimmt), wenn die
Temperatur des Zielobjekts zunimmt.
-
Ferner ist das HUD 7a derart angebracht, dass der Anzeigeschirm an einer
Position an der Frontscheibe des Fahrzeugs 10 angezeigt wird, die die
Vorwärtssicht des Fahrers nicht beeinträchtigt.
-
Nachfolgend wird der Betrieb der vorliegenden Ausführung in Bezug auf die
Zeichnungen beschrieben.
-
Fig. 3 ist ein Flussdiagramm, das die Prozesssequenz in der
Bildverarbeitungseinheit 1 zeigt, die in der Bilderkennungsvorrichtung
gemäß der vorliegenden Ausführung vorgesehen ist.
-
Zuerst erfasst die Bildverarbeitungseinheit 1 das Infrarotbild, welches das
Ausgangssignal der Infrarotkameras 2R und 2L ist (Schritt S1), führt daran
eine A/D-Wandlung durch (Schritt S2) und speichert das Graustufenbild in
dem Bildspeicher (Schritt S3). Hier wird das rechte Bild von der
Infrarotkamera 2R erhalten und wird das linke Bild von der Infrarotkamera
2L erhalten. Weil ferner die Horizontalposition desselben Zielobjekts auf
dem Anzeigeschirm aus der Horizontalverschiebung in dem rechten Bild
und dem linken Bild angezeigt wird, kann der Abstand zu dem Zielobjekt
unter Verwendung dieser Verschiebung (Parallaxe) berechnet werden.
-
Als Nächstes wird das von der Infrarotkamera 2R erhaltene rechte Bild als
das Referenzbild betrachtet, und an diesem Bildsignal wird ein
Binärisierungsprozess ausgeführt. In diesem Binärisierungsprozess wird
einem Bereich, der heller als ein Helligkeitsschwellenwert ITH ist, eine "1"
(weiß) zugeordnet und einem dunkleren Bereich eine "0" (schwarz)
zugeordnet (Schritt S4).
-
Fig. 4A zeigt ein Graustufenbild, das von der Infrarotkamera 2R erhalten
ist, und durch Ausführung eines Binärisierungsprozesses an diesem Bild
wird das in Fig. 4B gezeigte Bild erhalten. In Fig. 4B werden Objekte
innerhalb der Rahmen P1 bis P4 als die Zielobjekte betrachtet und auf dem
Anzeigeschirm als weiß angezeigt (nachfolgend als "sehr helle Bereiche"
bezeichnet).
-
Sobald die binären Bilddaten von den Infrarotkameras erhalten sind, wird
ein Prozess ausgeführt, in dem die binären Bilddaten in Lauflängendaten
umgewandelt werden (Schritt S5).
-
In Fig. 5A ist ein Diagramm, das diesen Prozess beschreibt, und in diesem
Diagramm sind die Bereiche, die aufgrund des Binärisierungsprozesses weiß
geworden sind, als die Linien L1 bis L8 in Pixeleinheiten gezeigt. Die Linien
L1 bis L8 haben alle eine Breite von 1 Pixel in der y-Richtung, und, obwohl
sie tatsächlich ohne Zwischenraum in der y-Richtung angeordnet sind, sind
sie zur leichteren Beschreibung getrennt worden. Ferner haben die Linien
L1 bis L8 in der x-Richtung jeweils eine Länge von 2 Pixeln, 2 Pixeln, 3
Pixeln, 8 Pixeln, 7 Pixeln, 8 Pixeln, 8 Pixeln und 8 Pixeln. Die
Lauflängendaten enthalten Koordinaten vom Startpunkt jeder der Linien
(dem äußerst linken Punkt jeder Linie) und die Länge (Anzahl von Pixeln)
von dem Startpunkt zu dem Endpunkt (dem äußerst rechten Punkt jeder
Linie) der Linien L1 bis L8. Z. B. enthält die Linie L3 die 3 Pixel (x3, y5),
(x4, y5) und (x5, y5), und somit wird (x3, y5,3) die Lauflängendaten.
-
Als Nächstes wird die Kennung der Zielobjekte auf der Basis der in
Lauflängendaten umgewandelten Bilddaten (Schritt S6), der Prozess, in
dem die Zielobjekte extrahiert werden, durchgeführt (Schritt S7). In
anderen Worten werden, wie in Fig. 5B gezeigt, von den Linien L1 bis L8,
die in Lauflängendaten umgewandelt worden sind, die Linien L1 bis L3, die
in der y-Richtung überlappende Abschnitte haben, als ein Zielobjekt 1
betrachtet, und die Linien L1 bis L8 werden als ein Zielobjekt 2 betrachtet,
und die Zielobjektkennungen 1 und 2 werden an die Lauflängendaten
angehängt. Durch Ausführung dieses Prozesses werden z. B. die in Fig. 4B
gezeigten sehr hellen Bereiche als jeweilige Zielobjekte 1 bis 4 erkannt.
-
Sobald die Extraktion der Zielobjekte abgeschlossen ist, wie in Fig. 5C
gezeigt, werden der Schwerpunkt G, die Oberflächenausdehnung S und
das Aspektverhältnis ASPECT des mit den unterbrochenen Linien
dargestellten umschriebenen Vierecks für jedes der extrahierten Zielobjekte
berechnet (Schritt S8).
-
Hier wird die Oberflächenausdehnung S berechnet, indem die Längen der
Lauflängendaten für dasselbe Zielobjekt mittels einer folgenden Formel (1)
addiert werden. Wenn die Lauflängendaten des Zielobjekts A gleich (x[i],
y[i], run[i], A)(i = 0, 1, 2, . . ., N-1) sind, dann
-
Ferner werden die Koordinaten (xc, yc) des Schwerpunkts G des
Zielobjekts A mittels der folgenden Formeln (2) und (3) berechnet, die die
Länge der Lauflängendaten berücksichtigen.
-
Zusätzlich wird das Aspektverhältnis ASPECT als das Verhältnis Dy/Dx der
in Fig. 5C gezeigten Werte Dy und Dx berechnet.
-
Wie in den Formeln (1), (2) und (3) gezeigt, werden die Lauflängendaten
ausgedrückt als Anzahl von Pixeln (Anzahl von Koordinaten) run[i] und
demzufolge muss 1 subtrahiert werden, um die tatsächliche Länge zu
erhalten. Ferner kann die Position des Schwerpunkts G durch die Position
des Schwerpunkts des umschriebenen Vierecks ersetzt werden.
-
Sobald der Schwerpunkt, die Oberflächenausdehnung und das
Aspektverhältnis des umschriebenen Vierecks des Zielobjekts berechnet
worden sind, wird die Zeitverfolgung des Zielobjekts, oder in anderen
Worten die Erkennung desselben Zielobjekts in jedem Abtastzyklus,
durchgeführt (Schritt S9). In der Zeitverfolgung wird die Zeit, zu der eine
Zeit t, die ein analoger Wert ist, in einem Abtastzyklus digitalisiert wird, k
genannt, und wenn die Zielobjekte A und B zur Zeit k extrahiert werden,
wie in Fig. 6A gezeigt, wird die Bestimmung der Identifikation der
Zielobjekte C und D, die zur Zeit k + 1 extrahiert worden sind, mit den
Zielobjekten A und B durchgeführt. Insbesondere, wenn die folgenden
Bedingungen der Identifikationsbestimmung 1) bis 3) erfüllt sind, wird
bestimmt, dass die Zielobjekte A und B die gleichen sind wie die Zielobjekte
C und D, und die Kennungen der Zielobjekte C und D werden geändert,
sodass sie jeweils die Zielobjekte A und B zeigen. Im Ergebnis wird eine
Zeitverfolgung durchgeführt.
- 1. Wenn die Koordinaten der Position des Schwerpunkts des Objekts i
(= A, B) in dem Bild zur Zeit k jeweils gleich (xi(k), yi(k)) sind, und die
Koordinaten der Position des Schwerpunkts des Objekts j (= C, D) in dem
Bild zur Zeit k + 1 gleich (xj(k + 1), yj(k + 1) sind, dann gilt |xj(k + 1) -
xi(k)| < Δx|yj(k + 1) - yi(k)| < Δy, wobei Δx und Δy die zulässigen Werte
des Bewegungsbetrags in dem Bild in der x-Richtung bzw. in der y-
Richtung bezeichnen.
- 2. Wenn die Oberflächenausdehnung des Objekts i (= A, B) in dem Bild
zur Zeit k gleich Si(k) und die Oberflächenausdehnung des Objekts j (= C,
D) in dem Bild zur Zeit (k + 1) gleich Sj(k+ 1) ist, dann gilt Sj(k + 1)/Si(k) <
1 ± ΔS, wobei ΔS den zulässigen Bereich der Variation in der
Oberflächenausdehnung bezeichnet.
- 3. Wenn das Aspektverhältnis des umschriebenen Vierecks des Objekts
i (= A, B) zur Zeit k gleich ASPECT i(k) ist und das Aspektverhältnis des
umschriebenen Vierecks des Objekts j (= C, D) zur Zeit (k + 1) gleich
ASPECT j(k + 1) ist, dann gilt ASPECT j(k + 1)/ASPECT i(k) < 1 ±
ΔASPECT, worin ΔASPECT den zulässigen Bereich der Variation in dem
Aspektverhältnis bezeichnet.
-
Wenn man z. B. Fig. 6A mit Fig. 6B vergleicht, werden die Zielobjekte C
und D jeweils als die Zielbobjekte A und B erkannt, obwohl die Größen
jedes der Zielobjekte in dem Bild in Fig. 6B größer sind, weil das Zielobjekt
A und das Zielobjekt C die gleichen Anforderungen für die oben
beschriebene Identifikationsbestimmung erfüllen und auch das Zielobjekt B
und das Zielobjekt D die oben beschriebenen Anforderungen zur
Identifikationsbestimmung erfüllen. Auf diese Weise werden
Positionskoordinaten (des Schwerpunkts) jedes der erkannten Zielobjekte in
dem Speicher als Zeitserienpositionsdaten gespeichert, die im späteren
Rechenprozess zu verwenden sind.
-
Der oben beschriebene Prozess der Schritte 54 bis 59 wird an einem
binären Referenzbild ausgeführt (in dieser Ausführung dem rechten Bild).
-
Als Nächstes werden die Fahrzeuggeschwindigkeit VCAR, die von dem
Fahrzeuggeschwindigkeitssensor 4 erfasst wird, und die Gierrate YR, die
von dem Gierratensensor 3 erfasst wird, gelesen, und wird, wie in Fig. 7
gezeigt, der Drehwinkel θr des Fahrzeugs C berechnet, indem eine zeitliche
Integration der Gierrate YR durchgeführt wird (Schritt S10).
-
Andererseits wird ein Prozess, der den Abstand z zwischen dem Zielobjekt
und dem Fahrzeug 10 berechnet, in den Schritten S11 bis S13, parallel zu
den Prozessen der Schritte S9 und S10, ausgeführt. Weil diese
Berechnungen eine längere Zeit benötigen als Schritt S9 und Schritt S10,
werden sie mit einem längeren Zyklus als Schritt S9 und S10 ausgeführt
(z. B. mit einem Zyklus, der etwa drei Mal so lang ist wie der
Ausführungszyklus der Schritt S1 bis S10).
-
Zuerst wird, durch Auswahl eines der Zielobjekte, das durch das binäre Bild
des Referenzbilds (des rechten Bilds) verfolgt wird, ein Suchbild R1 (hier
wird der gesamte Bereich, der von dem umschriebenen Viereck umgeben
ist, als das Suchbild betrachtet) aus dem rechten Bild extrahiert (Schritt
S11), wie in Fig. 8A gezeigt.
-
Als Nächstes wird ein Suchbereich gesetzt, um ein Bild (unten als das
"entsprechende Bild" bezeichnet) in dem linken Bild, das dem Suchbereich
entspricht, zu suchen, und das entsprechende Bild wird durch Ausführung
einer Korrelationsberechnung ausgeführt (Schritt S12). Insbesondere wird,
wie in Fig. 8B gezeigt, der Suchbereich R2 in dem linken Bild gemäß
jedem der Scheitelkoordinaten des Suchbilds R1 gesetzt, und der
Helligkeitsdifferenz-Gesamtwert C (a, b), der den Korrelationsgrad mit dem
Suchbild R1 in dem Suchbereich R2 angibt, wird durch die unten gezeigte
Formel (4) berechnet, und der Bereich, in dem dieser Gesamtwert C (a, b)
am kleinsten ist, wird als das entsprechende Bild extrahiert. Diese
Korrelationsberechnung wird unter Verwendung des Graustufenbilds,
anstatt des Binärbilds, durchgeführt.
-
Wenn ferner frühere Positionsdaten für dasselbe Zielobjekt vorhanden sind,
wird ein Bereich R2a (der in Fig. 8B durch die unterbrochenen Linien
angegeben ist), der kleiner ist als der Suchbereich R2, auf der Basis dieser
Positionsdaten als der Suchbereich gesetzt.
-
Hier ist IR(m, n) der Helligkeitswert an der Position der Koordinaten (m, n)
in dem in Fig. 9 gezeigten Suchbereich R1, und IL (a + m - M, b + n - N) ist
der Helligkeitswert an der Position der Koordinaten (m, n) in einem lokalen
Bereich R3 derselben Form wie der Suchbereich R1, unter Verwendung der
Koordinaten (a, b) in dem Suchbereich als Basispunkt. Die Position des
entsprechenden Bilds wird definiert durch die Änderung der Koordinaten (a,
b) des Basispunkts und Herausfinden der Position, an der der Gesamtwert
C (a, b) der Helligkeitsdifferenz minimiert ist.
-
Weil das Suchbild R1 innerhalb des Referenzbilds (des rechten Bilds)
extrahiert wird und das entsprechende Bild R4, das dem Zielobjekt
entspricht, innerhalb der linken Bilds durch den Prozess in Schritt S12
extrahiert wird, werden als Nächstes die Schwerpunktposition des
Suchbilds R1, die Schwerpunktposition des entsprechenden Bilds R4 und
die Parallaxe Δd (als Anzahl von Pixeln) bestimmt und wird der Abstand z
zwischen dem Fahrzeug 10 und dem Zielobjekt durch Anwendung einer
unten gezeigten Formel (5) berechnet (Schritt S13).
-
Hier ist B die Basislinienlänge, d. h. der Abstand in horizontaler Richtung
zwischen der Mittelposition des Bildaufnahmeelements der Infrarotkamera
2R und der Mittelposition des Bildaufnahmeelements der Infrarotkamera 2L
(der Abstand zwischen den optischen Achsen der beiden Infrarotkameras);
F ist die Brennweite der Linsen der Infrarotkameras 2R und 2L; und p ist
die Pixeltrennung in den Bildelementen der Infrarotkameras 2R und 2L.
-
Nachfolgend wird ein Verfahren zur Berechnung des Abstands zu dem
Zielobjekt im Detail beschrieben.
-
Sobald die Berechnung des Drehwinkels θr in Schritt S10 und die
Berechnung des Abstands zu dem Zielobjekt in Schritt S13 abgeschlossen
sind, werden die Koordinaten (x, y) in dem Bild und der durch die Formel
(5) berechnete Abstand z auf eine unten gezeigte Formel (6) angewendet
und in reale Raumkoordinaten (X, Y, Z) umgewandelt (Schritt S14).
-
Hier sind, wie in Fig. 2 gezeigt, die realen Raumkoordinaten (X, Y, Z)
festgelegt, wie in der Figur gezeigt, wobei die Position des Mittelpunkts
zwischen den Montagepositionen der Infrarotkameras 2R und 2L (den
Positionen, an denen sie an dem Fahrzeug 10 befestigt sind) als der
Ursprung O betrachtet werden, und die Koordinaten in dem Bild als x in der
horizontalen Richtung und y in der vertikalen Richtung definiert werden,
wobei die Mitte des Bilds als der Ursprung dient.
-
Hier sind (xc, yc) die Koordinaten (x, y) des rechten Bilds, die in
Koordinaten in einem virtuellen Bild umgewandelt worden sind, worin der
reale Raumursprung O und die Mitte des Bilds auf der Basis der relativen
Positionsbeziehung zwischen der Montageposition der Infrarotkamera 2R
und dem realen Raumursprung O in Übereinstimmung gebracht worden
sind. Ferner ist f das Verhältnis zwischen der Brennweite F und der
Pixeltrennung p.
-
Sobald die realen Raumkoordinaten erhalten sind, wird ferner eine
Drehwinkelkompensation durchgeführt, um die Positionsverschiebung in
dem Bild, die durch die Drehung des Fahrzeugs 10 verursacht wird, zu
kompensieren (Schritt S15).
-
Wenn z. B., wie in Fig. 7 gezeigt, das Fahrzeug 10 um einen Drehwinkel θr
während des Intervalls von Zeit k zur Zeit (k + 1) nach links schwenkt, dann
tritt eine Verschiebung in der x-Richtung um einen Betrag äquivalent Δx,
wie in Fig. 10 gezeigt, in dem von der Kamera erhaltenen Bild auf, und die
Drehwinkelkompensation ist ein Prozess zum Kompensieren dieser
Verschiebung. Insbesondere werden die realen Raumkoordinaten (X, Y, Z)
auf eine folgende Formel (7) angewendet, und die kompensierten
Koordinaten (Xr, Yr, Zr) werden berechnet. Die berechneten realen
Raumpositionsdaten (Xr, Yr, Zr) werden in dem Speicher gespeichert, in
Zuordnung zu jedem Zielobjekt. In der folgenden Beschreibung sind die
Koordinaten nach der Drehwinkelkompensation als (X, Y, Z) gezeigt.
-
Sobald die Drehwinkelkomponensation für die realen Raumkoordinaten
abgeschlossen worden ist, wird als Nächstes eine geeignete gerade Linie
LMV, die dem relativen Bewegungsvektor des Zielobjekts und des
Fahrzeugs 10 entspricht, aus N Elementen von realen Raumkoordinaten
(z. B. N = 10) nach der Drehwinkelkompensation berechnet, die für
dasselbe Objekt während der Überwachungsperiode ΔT erhalten wurden,
d. h. aus den Zeitseriendaten (Schritt S16).
-
Insbesondere, wenn der Richtungsvektor L, der die Richtung der
angenähert geraden Linie LMV angibt, gleich (1x, 1y, 1z) ist, wobei
(|L| = 1), dann wird die durch die folgende Formel (8) gezeigte gerade Linie
bestimmt.
-
Hier ist u ein Parameter, der einen beliebigen Wert einnimmt, und Xav, Yav
und Zav sind Durchschnittswerte der X-Koordinate, Y-Koordinate bzw. Z-
Koordinate der realen Raumpositionsdaten-Sequenz.
-
Wenn der Parameter u entfernt wird, wird die Formel (8) zur Formel (8a).
(X-Xav)/1x = (Y-Yav)/1y = (Z-Zav)/1z . . . (8a)
-
Wenn ferner z. B. P(0), P(1), P(2), . . ., P(N-2), P(N-1) die Zeitseriendaten
nach der Drehwinkelkompensation bezeichnen, dann geht die angenähert
gerade Linie LMV durch die Durchschnittspositionskoordinaten Pav = (Xav,
Yav, Zav) der Zeitseriendaten hindurch und findet sich als gerade Linie,
wobei der Durchschnittswert des Quadrats des Abstands von jedem der
Datenpunkte minimal ist.
-
Hier bezeichnen die numerischen Werte innerhalb der zu P hinzugefügten
Klammern, die die Koordinaten jedes der Datenpunkte bezeichnen, an,
dass, je größer der Wert ist, desto älter die Daten sind. Z. B. gibt P(0) die
jüngsten Positionskoordinaten an, P(1) gibt die Positionskoordinaten von
einem Abtastzyklus zurück an, und P(2) gibt die Positionskoordinaten von
zwei Abtastzyklen zurück an.
-
Wenn als Nächstes die jüngsten Positionskoordinaten P(0) = (X(0), Y(0),
Z(0)) sind, werden die Positionskoordinatenn P(N-1) = (X(N-1), Y(N-1),
Z(N-1)) der Abtastung von (N-1) Abtastungen zuvor (Zeit ΔT zuvor) auf
eine Position auf der angenähert geraden Linie LMV kompensiert.
Insbesondere werden die Positionskoordinaten nach der Kompensation
Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N-1) = (Xv(N-1), Yv(N-1), Zv(n-1))
erhalten, indem die Z-Koordinaten Z(0), Z(N-1) auf die obige Formel (8a)
angewendet werden, d. h. unter Verwendung der folgenden Formel (9).
-
Ein relativer Bewegungsvektor wird als Vektor erhalten, der von den
Positionskoordinaten Pv(N-1), die in Formel (9) berechnet sind, zu Pv(0)
weist.
-
Indem man auf diese Weise den relativen Bewegungsvektor bestimmt,
indem man eine angenähert gerade Linie berechnet, die die relative
Ortskurve des Zielobjekts relativ zu dem Fahrzeug 10 annähert, auf der
Basis einer Mehrzahl (N Elementen) von Daten innerhalb der
Überwachungsperiode ΔT, kann der Einfluss von
Positionserfassungsfehlern reduziert werden, und es ist möglich, die
Möglichkeit einer Kollision mit dem Zielobjekt akkurater vorherzusagen.
-
Ferner, sobald der relative Bewegungsvektor in Schritt S16 bestimmt ist,
wird als Nächstes ein Warnbestimmungsprozess ausgeführt, der die
Möglichkeit einer Kollision mit dem erfassten Zielobjekt bestimmt (Schritt
S17).
-
Der Warnbestimmungsprozess (Schritt S17) ist ein Prozess, der unter
Verwendung irgend eines Kollisionsbestimmungsprozesses, eines Prozesses
zur Bestimmung, ob sich ein Zielobjekt in einem
Annäherungsbestimmungsbereich befindet oder nicht, oder eines
Intrusions-Kollisionsbestimmungsprozesses, von denen jeder unten
beschrieben ist, die Möglichkeit einer Kollision des Fahrzeugs 10 mit dem
erfassten Zielobjekt bestimmt. Die folgende Beschreibung verwendet ein in
Fig. 11 gezeigtes Beispiel, in dem sich ein Tier 20 dem Weg des
Fahrzeugs mit einer Geschwindigkeit Vp aus einem angenäherten 90°-
Winkel relativ zur Vorwärtsbewegungsrichtung des Fahrzeugs 10 annähert.
Kollisionsbestimmungsprozess
-
Zuerst berechnet die Bildverarbeitungseinheit 1 die relative Geschwindigkeit
in der Z-Richtung Vs mittels einer unten gezeigten Formel (10) und der
Tatsache, dass sich das Tier 20 während einer Zeit ΔT von einem Abstand
Zv(N-1) auf einen Abstand Zv(0) angenähert hat, und führt einen
Kollisionsbestimmungsprozess aus. In dem Kollisionsbestimmungsprozess
wird eine Kollision als wahrscheinlich gewertet, wenn die folgenden
Formeln (11) und (12) richtig sind.
Vs = (Zv(N-1)-Zv(0))/ΔT (10)
Zv(0)/Vs ≤ T (11)
|Yv(0)| ≤ H (12)
-
Hier ist Zv(0) der jüngste Abstandserfassungswert (die Kennung v ist
beigefügt, um anzuzeigen, dass dies Daten nach der Kompensation mittels
der angenähert geraden Linie LMV sind, während die Z-Koordinate ein Wert
ist, der mit dem vor der Kompensation identisch ist), und Zv(N-1) ist der
Abstandserfassungswert zur Zeit ΔT davor. Ferner ist T eine Grenzzeit, die
angibt, dass die Möglichkeit einer Kollision zur Zeit T vor der
vorhergesagten Kollisionszeit bestimmt ist, und demzufolge wird T z. B. auf
einen Wert von angenähert 2 bis 5 Sekunden gesetzt. Ferner ist H eine
vorbestimmte Höhe, die den Bereich der Y-Richtung definiert, d. h. die
Höhenrichtung, und ist z. B. auf etwa das Doppelte der Höhe des Fahrzeugs
10 gesetzt.
Prozess zur Bestimmung, ob sich ein Zielobjekt in einem
Annäherungsbestimmungsbereich befindet oder nicht
-
Hier wird eine Bestimmung vorgenommen, ob ein Zielobjekt innerhalb des
Annäherungsbestimmungsbereichs liegt oder nicht. Z. B. ist in Fig. 12 der
Bereich, der durch die Infrarotkameras 2L und 2R überwacht wird, durch
einen äußeren dreieckigen Bereich AR0 bezeichnet, der durch die dicke
durchgehende Linie bezeichnet ist, und die Bereiche AR1, AR2 und AR3
innerhalb des Bereichs AR0, die innerhalb eines Abstands von Z1 = Vs ×
T von dem Fahrzeug liegen, dienen als die Warnbestimmungsbereiche.
-
Hier ist AR1 ein Bereich, der einem Bereich entspricht, der durch Addieren
eines Rands von β (z. B. angenähert 50 bis 100 cm) zu beiden Seiten der
Breite α des Fahrzeugs 10 erzeugt ist, oder in anderen Worten, einen
Bereich mit einer Breite von (a/2 + β) an beiden Seiten einer Mittelachse, die
in der Breitenrichtung des Fahrzeugs 10 längs der Mitte angeordnet ist, und
wenn das Zielobjekt in diesem Bereich verbleibt, ist die Möglichkeit einer
Kollision extrem hoch, und demzufolge wird dieser Bereich ein
Annäherungsbestimmungsbereich genannt. Die Bereiche AR2 und AR3 sind
Bereiche (an der Außenseite des Annäherungsbestimmungsbereichs in einer
Querrichtung), in dem der Absolutwert der X-Koordinate größer ist als der
Annäherungsbestimmungsbereich, und weil eine Intrusions-
Kollisionsbestimmung, die unten beschrieben ist, an den Zielobjekten
innerhalb dieser Bereiche durchgeführt wird, werden sie Intrusions-
Bestimmungsbereiche genannt. Diese Bereiche haben eine vorbestimmte
Höhe H in der Y-Richtung, wie in der obigen Formel (12) gezeigt.
Intrusions-Kollisionsbestimmungsprozess
-
Insbesondere wird in einem Intrusions-Kollisionsbestimmungsprozess eine
Bestimmung vorgenommen, ob die Differenz zwischen xc(0) (wie oben
beschrieben, ist der Buchstabe c beigefügt, um anzugeben, dass dies eine
Koordinate ist, an dem eine Kompensation durchgeführt worden ist, um die
Mittelposition des Bilds mit dem realen Raumursprung O in Flucht zu
bringen), das die jüngste X-Koordinate auf dem Bild ist, und xc(N-1), das
die x-Koordinate eine Zeit ΔT davor ist, einer unten gezeigten Formel (13)
genügt. Wenn die Formel erfüllt ist, wird bestimmt, dass die Möglichkeit
einer Kollision hoch ist.
-
Wenn, wie in Fig. 11 gezeigt, in dem Fall eines Tiers 20, das sich dem
Weg des Fahrzeugs von einem angenäherten 90° Winkel relativ zur
Vorwärtsbewegungsrichtung des Fahrzeugs 10 annähert, Xv(N-1)/Zv(N-1)
= Xv(0)/Zr(0) ist, oder in anderen Worten, wenn das Verhältnis der
Geschwindigkeit Vp des Tiers zur relativen Geschwindigkeit Vs des
Fahrzeugs Vp/Vs = Xr(N-1)/Zr(N-1) ist, wird der Azimuthwinkel θd, mit
dem das Tier 20 vom Fahrzeug aus gesehen wird, konstant, und die
Möglichkeit einer Kollision ist hoch. Die Formel (13) bestimmt diese
Möglichkeit, während sie die Breite a des Fahrzeugs 10 berücksichtigt.
-
Wenn in dem Warnbestimmungsprozess (Schritt S17) in allen des
Kollisionsbestimmungsprozesses, des Prozesses zur Bestimmung, ob sich
ein Zielobjekt dem Annäherungsbestimmungsbereich annähert oder nicht,
und des Intrusions-Kollisionsbestimmungsprozesses, dass keine Möglichkeit
einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Zielobjekt
vorliegt (NEIN in Schritt S17), die Bestimmung durchgeführt wird, dann
kehrt der Prozess zu Schritt S1 zurück, und der oben beschriebene Prozess
wird wiederholt.
-
Wenn ferner in dem Warnbestimmungsprozess (Schritt S17) durch
irgendeinen des Kollisionsbestimmungsprozesses, des Prozesses zur
Bestimmung, ob sich ein Zielobjekt in dem
Annäherungsbestimmungsbereich befindet oder nicht, oder dem
Intrusionskollisions-Bestimmungsprozess, dass eine Möglichkeit einer
Kollision zwischen dem Fahrzeug 10 und dem erfassten Zielobjekt vorliegt
(JA in Schritt S17), eine Bestimmung erfolgt, dann geht der Prozess zu
dem Warnausgabebestimmungsprozess von Schritt S18 weiter.
-
In Schritt S18 wird ein Warnausgabebestimmungsprozess durchgeführt,
d. h. ein Prozess zur Bestimmung, ob eine Warnung ausgegeben wird oder
nicht (Schritt S18).
-
In dem Warnausgabebestimmungsprozess wird, auf der Basis der Ausgabe
BR des Bremssensors 5, eine Bestimmung vorgenommen, ob der Fahrer des
Fahrzeugs 10 eine Bremsbetätigung durchführt oder nicht.
-
Wenn der Fahrer des Fahrzeugs 10 eine Bremsbetätigung durchführt, wird
die hierdurch erzeugte Beschleunigung Gs (positiv in der
Verzögerungsrichtung) berechnet, und wenn diese Beschleunigung Gs
größer als ein vorbestimmter Schwellenwert GTH ist, wird bestimmt, dass
durch die Bremsbetätigung eine Kollision vermieden werden kann, wird der
Warnausgabebestimmungsprozess abgeschlossen (NEIN in Schritt S18),
kehrt der Prozess zu Schritt S1 zurück und wird der oben beschriebene
Prozess wiederholt.
-
Wenn demzufolge eine geeignete Bremsbetätigung durchgeführt worden
ist, wird keine Warnung ausgegeben, und der Fahrer wird keiner
übermäßigen Beunruhigung ausgesetzt.
-
Wenn ferner die Beschleunigung Gs gleich oder kleiner als der
vorbestimmte Schwellenwert GTH ist, oder der Fahrer des Fahrzeugs 10
keine Bremsbetätigung durchgeführt hat, dann geht der Fluss sofort zu dem
Prozess in Schritt S19 weiter (JA in Schritt S18). Weil die Möglichkeit
eines Kontakts mit dem Zielobjekt hoch ist, wird über den Lautsprecher 6
eine sprachliche Warnung ausgegeben (Schritt S19), und es wird ein z. B.
durch die Infrarotkamera 2R erhaltenes Bild an die Bildanzeigevorrichtung
7 ausgegeben und wird das sich annähernde Zielobjekt dem Fahrer des
Fahrzeugs 10 als aufleuchtendes Bild angezeigt (Schritt S20).
-
Der vorbestimmte Schwellenwert GTH wird durch die unten gezeigte
Formel (14) bestimmt. Dies ist der Wert entsprechend dem Zustand, in dem
das Fahrzeug 10 an einer Fahrwegstrecke gleich oder kleiner als dem
Abstand Zv(0) stoppt, wenn die Beschleunigung Gs ohne Änderung
während der Bremsbetätigung beibehalten wird.
-
Als Nächstes wird der Parallaxenberechnungsprozess in Schritt 13 im in
Fig. 3 gezeigten Flussdiagramm in Bezug auf das in Fig. 13 gezeigte
Flussdiagramm und die Zeichnungen in Fig. 14 beschrieben.
-
Fig. 13 ist ein Flussdiagramm, das den Betrieb des
Parallaxenberechnungsprozesses zeigt.
-
Zuerst bestimmt in Fig. 13 die Bildverarbeitungseinheit 1 für ein
Zielobjekt, wie etwa das im rechten Bild in Fig. 14 gezeigte Zielobjekt 50,
ob entweder die Breite X eines umschriebenen Vierecks 51 des Zielobjekts
50 kleiner als ein vorbestimmter Wert A ist, oder ob das Verhältnis der
Länge in der vertikalen Richtung (Höhe Y) zur Länge in der Querrichtung
(Breite X) des umschriebenen Vierecks 51 größer als ein vorbestimmter
Wert B ist (Schritt S21), d. h. ob
die Breite X des umschriebenen Vierecks 51 < A ist, oder
(Höhe Y des umschriebenen Vierecks 51/Breite X des umschriebenen
Vierecks 51) > B.
-
Wenn in Schritt S21 die Breite X des umschriebenen Vierecks 51 kleiner
als der vorbestimmte Wert A ist, oder wenn das Verhältnis der Länge in der
vertikalen Richtung (Höhe Y) zur Länge in der Querrichtung (Breite X) des
umschriebenen Vierecks 51 größer als der vorbestimmte Wert B ist (JA in
Schritt S21) ist, dann führt die Bildverarbeitungseinheit 1 eine
Korrelationsberechnung an dem Graustufenbild aus, unter Verwendung des
gesamten umschriebenen Vierecks 51 des Zielobjekts 50 in dem rechten
Bild und dem linken Bild (Schritt S22).
-
Als Nächstes wird in der Bildverarbeitungseinheit 1 auf der Basis der
Ergebnisse der in Schritt S21 ausgeführten Korrelationsberechnung eine
Bestimmung durchgeführt, ob ein hoher Korrelationsgrad zwischen dem
Zielobjekt 50 in dem rechten Bild und dem Zielobjekt 50 in dem linken Bild
vorhanden ist oder nicht (Schritt S23).
-
Wenn in Schritt S23 ein geringer Korrelationsgrad zwischen dem Zielobjekt
50 in dem rechten Bild und dem Zielobjekt 50 in dem linken Bild vorhanden
ist (NEIN in Schritt S23), wird dieses Zielobjekt als ein zu erfassendes
Objekt eliminiert (Schritt S24).
-
Wenn ferner in Schritt S23 ein hoher Korrelationsgrad zwischen dem
Zielobjekt 50 in dem rechten Bild und dem Zielobjekt 50 in dem linken Bild
vorhanden ist (JA in Schritt S23), wird der Abstand zu dem Zielobjekt
mittels der obigen Formel (5) berechnet (Schritt S25).
-
Wenn andererseits in Schritt S21 die Breite X des umschriebenen Vierecks
51 gleich oder größer als der vorbestimmte Wert ist, und das Verhältnis der
Länge in der vertikalen Richtung (Höhe Y) zur Länge in der Querrichtung
(Breite X) des umschriebenen Vierecks 51 gleich oder kleiner als der
vorbestimmte Wert B ist (NEIN in Schritt S21), dann vorhersagt die
Bildverarbeitungseinheit 1 die Wahrscheinlichkeit einer Überlappung des
Zielobjekts, und wird, wie im rechten Bild in Fig. 14 gezeigt, das
Zielobjekt in zwei Bereiche aufgeteilt, nämlich einen Teilbereich L_b52 und
einen Teilbereich R_b53, die die jeweiligen linken und rechten Ränder des
Zielobjekts enthalten (Schritt S26). Hier sind die Breiten des Teilbereichs
L_b52 und des Teilbereichs R_b53 auf Breiten gleich dem vorbestimmten
Wert A von den jeweiligen linken und rechten Rändern her gesetzt, und die
Höhen sind auf die Höhe Y des umschriebenen Vierecks 51 vor der
Aufteilung gesetzt.
-
Als Nächstes werden, wie im rechten Bild in Fig. 14 gezeigt,
Korrelationsberechnungsblöcke 54 und 55 um die Peripherie der
Teilbereiche L_b52 bzw. R_b53 gesetzt, und dann werden, wie im linken
Bild in Fig. 14 gezeigt, Korrelationsberechnungen mit
Korrelationsberechnungsblöcken 60 und 61 ausgeführt, die um die
Zielobjekte 56 und 57 in dem linken Bild gesetzt sind, die dem Zielobjekt
50 in dem rechten Bild entsprechen, und werden die Parallaxe dn_L und
bzw. die Parallaxe dn_R berechnet (Schritt S27). Sobald die jeweiligen
Parallaxen dn_L und dn_R gefunden sind, wird eine Bestimmung in der
Bildverarbeitungseinheit vorgenommen, ob der Absolutwert der Differenz
zwischen der Parallaxe dn_L und der Parallaxe dn_R in den berechneten
Parallaxenbeträgen (dn_L, dn_R) kleiner als ein vorbestimmter Wert TH ist
oder nicht (Schritt S28), d. h. ob die Formel |dn_L - dn_R| < TH gilt.
-
Wenn in Schritt S28 der Absolutwert der Differenz zwischen der Parallaxe
dn_L und der Parallaxe dn_R kleiner als der vorbestimmte Wert TH ist (JA
in Schritt S28), dann kann eine Bestimmung durchgeführt werden, dass die
linken und rechten Ränder des Zielobjekts die gleiche Parallaxe haben und
dass ein Zustand, in dem unterschiedliche Objekte überlappen, nicht
aufgetreten ist. Demzufolge wird, anstatt der Aufteilung des Zielobjekts
und dann Durchführung der Erkennung, die Zielobjektparallaxe berechnet
als dn = (d_L + dD_R)/2, und der Prozess geht zu Schritt S25 weiter, und
der Abstand zu dem Zielobjekt wird mittels der obigen Formel (5) berechnet
(Schritt S25).
-
Wenn ferner in Schritt S28 der Absolutwert der Differenz zwischen
Parallaxe dn_L und der Parallaxe dn_R gleich oder größer als der
vorbestimmte Wert TH ist (NEIN in Schritt S28), dann kann eine
Bestimmung durchgeführt werden, dass die Parallaxen der linken und
rechten Ränder des Zielobjekts unterschiedlich sind und dass das Zielobjekt
aus zwei unterschiedlichen Objekten besteht, die überlappen. Demzufolge
wird das Zielobjekt in zwei Zielobjekte 56 und 57 von Lb und Rb zur
Erkennung aufgeteilt. Hierbei werden, wie im rechten Bild und im linken
Bild in Fig. 14 gezeigt, die Schwerpunkte der jeweiligen Zielobjekte (ein
Linker-Rand-Zielobjekt-Schwerpunkt 62 und ein Rechter-Rand-Zielobjekt-
Schwerpunkt 63) auf die Ränder der Teilbereiche L_b 52, 58 und die
Teilbereiche R_b 53, 59 in der Querrichtung gesetzt, und werden auf die
gleiche Höhe wie der Zielobjekt-Schwerpunkt 64 vor der Aufteilung in der
Höhenrichtung gesetzt (Schritt S30).
-
Der Prozess geht dann zu Schritt S25 weiter, und der Abstand zu jedem
der jeweiligen Zielobjekte wird mittels der obigen Formel (5) berechnet
(Schritt S25).
-
Im oben beschriebenen Schritt S30 können von den einander
überlappenden Objekten jene, die unnötig sind, als zu erfassende
Zielobjekte eliminiert werden.
-
Ferner wurde die obige Ausführung anhand eines Falls beschrieben, in dem
eine Bestimmung vorgenommen wurde, ob ein Zielobjekt aus
unterschiedlichen überlappenden Objekten besteht, und im Falle einer
Überlappung wurde das Zielobjekt in zwei Zielobjekte zur Erkennung
aufgeteilt. Jedoch ist es für ein einziges Zielobjekt, das in der
Abstandsrichtung lang ist, auch möglich, durch das gleiche Verfahren die
Differenz in der Parallaxe zu bestimmen, die durch Differenzen in der
Position des Zielobjekts hervorgerufen werden, die auftreten, weil das
Objekt in der Abstandsrichtung lang ist, und dann die Position des
Zielobjekts akkurat zu schätzen.
-
Zusätzlich hat die oben beschriebene Ausführung ein Beispiel verwendet, in
dem die Front des Fahrzeugs überwacht wurde, wobei jedoch auch jede
andere Richtung, wie etwa die Rückseite des Fahrzeugs, überwacht
werden kann.
-
Ferner ist die vorliegende Erfindung nicht auf die oben beschriebene
Ausführung beschränkt und es sind viele Varianten möglich. Z. B. wurden
in der oben beschriebenen Ausführung Infrarotkameras als die
Bildaufnahmevorrichtungen zum Erhalt von Bildern des Zielobjekts
verwendet, wobei es aber auch möglich ist, eine Videokamera zu
verwenden, die nur sichtbares Standardlicht erfassen kann, wie z. B. in der
japanischen ungeprüften Patentanmeldung, Erstveröffentlichung Nr. Hei 9-
226490 offenbart. Weil es jedoch möglich ist, den Extraktionsprozess von
Tieren oder bewegenden Fahrzeugen mittels Infrarotkameras zu
vereinfachen, kann die vorliegende Erfindung unter Verwendung einer
Computereinheit mit einer vergleichsweise geringen Rechenkapazität
realisiert werden.
-
Ferner enthält in der vorliegenden Ausführung die Bildverarbeitungseinheit
1 eine Extraktionsbereichsetzvorrichtung, eine Suchbereichsetzvorrichtung,
eine Objekterkennungsvorrichtung und eine
Parallaxenberechnungsvorrichtung. Insbesondere entspricht Schritt S21 in
Fig. 13 einer Bildvorhersagevorrichtung und entsprechen die Schritte S26
bis S30 einer Bildbestimmungsvorrichtung. Zusätzlich entspricht Schritt
S30 einer Bildtrennvorrichtung.
-
Wie oben beschrieben, kann in einer Bilderkennungsvorrichtung der
vorliegenden Ausführung auch dann, wenn zwei unterschiedliche
überlappende Objekte durch binäre Verarbeitung als ein einziges Zielobjekt
extrahiert werden, der Abstand zu jeweiligen Rändern aus der Parallaxe der
linken und rechten Ränder des Zielobjekts errechnet werden.
-
Demzufolge ist es möglich, auf der Basis der Differenz in den Abständen zu
den linken und rechten Rändern zu bestimmen, dass unterschiedliche
Objekte innerhalb des Zielobjekts überlappen, und dann die Position des
Zielobjekts auf der Basis der Position der Randpunkte der jeweiligen
Zielobjekte (Objekte) und des Abstands zu den Randpunkten der jeweiligen
Zielobjekte akkurat zu schätzen. Ferner ist es unter Verwendung desselben
Verfahrens auch möglich, die Position von nicht nur überlappenden
Objekten, sondern auch von solchen Zielobjekten, die in der
Abstandsrichtung lang sind, durch Messen der Positionen der linken und
rechten Ränder akkurat zu berechnen.
-
Es wird eine Bilderkennungsvorrichtung angegeben, die, unter
Berücksichtigung der Größe eines Zielobjekts auf einem von einer Kamera
aufgenommenen Bild, aus der zugeordneten Parallaxe bestimmt, ob
unterschiedliche Objekte in dem Bild überlappen, und dann im Falle der
Überlappung die Abstände zu den jeweiligen Objekten unabhängig
berechnet. Eine Bildverarbeitungseinheit bestimmt die Größe eines
umschriebenen Vierecks dies Zielobjekts und sagt die Überlappung der zwei
unterschiedlichen Objekte vorher (S21). Als Nächstes wird das Zielobjekt in
zwei Teilbereiche L_b und R_b aufgeteilt, die die jeweiligen linken und
rechten Ränder des Zielobjekts enthalten (S26), und durch Ausführung
einer Korrelationsberechnung zwischen dem linken Bild und dem rechten
Bild, die von der Stereokamera aufgenommen sind, für jeden der
Teilbereiche, können die Parallaxen der jeweiligen Teilbereiche L_b und R_b
bestimmt werden (S27). Wenn dann der Absolutwert der Differenz
zwischen den Parallaxen der jeweiligen Teilbereiche L_b und R_b größer als
ein vorbestimmter Wert ist, wird eine Bestimmung durchgeführt, dass
unterschiedliche Objekte innerhalb des Zielobjekts überlappen, und das
Zielobjekt wird zur Erkennung aufgeteilt, und der Abstand zu den jeweiligen
Objekten wird unabhängig berechnet (S28 bis S29).