DE10033599B4

DE10033599B4 - Positionserfassungsvorrichtung

Info

Publication number: DE10033599B4
Application number: DE10033599A
Authority: DE
Inventors: Nobuharu Wako Nagaoka; Takayuki Wako Tsuji; Masahito Wko Watanabe; Hiroshi Wako Hattori
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-07-13
Filing date: 2000-07-11
Publication date: 2004-08-19
Anticipated expiration: 2020-07-12
Also published as: US6531959B1; DE10033599A1

Abstract

Eine Positionserfassungsvorrichtung für ein Fahrzeug erfaßt die Position eines Objekts in einem Realraum-Koordinatensystem. Aus einem durch Kameras (1R, 1L) erhaltenen Bild wird eine Mehrzahl von Objekten extrahiert. Auf der Basis von Verlagerungsbeträgen der Position der Mehrzahl von Objekten in deren Höhenrichtung wird ein Nick-abhängiger Korrekturbetrag berechnet. Positionen der Mehrzahl von Objekten werden auf der Basis des Nick-abhängigen Korrekturbetrags korrigiert.

Description

Die Erfindung betrifft eine Positionserfassungsvorrichtung zum Erfassen der Position eines Objekts auf der Basis eines Bilds, welches von einer an einem Fahrzeug angebrachten Bildaufnahmevorrichtung erhalten wird.
Herkömmlich wurde ein Fahrzeugumgebungs-Überwachungssystem vorgeschlagen, welches die Position eines Objekts aus einem Bild erfaßt, das von einer an einem Fahrzeug angebrachten Bildaufnahmevorrichtung aufgenommen ist, und die Möglichkeit einer Kollision zwischen dem Objekt und dem Kraftfahrzeug bestimmt. Da bei diesem System die Bildaufnahmevorrichtung an dem Kraftfahrzeug angebracht ist, welches sich bewegt oder fährt, bewirkt eine Nick-Bewegung des Fahrzeugs, daß in dem Bild, das von der an dem Fahrzeug befestigten Bildaufnahmevorrichtung erhalten wird, ein optisches Fließen (nachfolgend als "Nick-Fließen" bezeichnet) auftritt bzw. das Bild verschwimmt. Das Nick-Fließen wird nicht durch eine Bewegung eines Objekts (oder die Fahrbewegung des Fahrzeugs) verursacht. Wenn daher die Position des Objekts aus dem Bild erfaßt wird, das von der Bildaufnahmevorrichtung aufgenommen ist, wird eine Abweichung einer erfaßten Position des Objekts von der richtigen Position desselben groß, solange nicht die nachteiligen Effekte des Nick-Fließens auf die Positionserfassung beseitigt sind.

Eine mögliche Lösung zu diesem Problem ist, daß ein Fahrzeughöhensensor an dem Fahrzeug angeordnet wird, um eine Höhe des Fahrzeugs (Fahrzeughöhe) von der Straßenfläche zu erfassen, und die erfaßte Position des Objekts auf der Basis der von dem Sensor erfaßten Fahrzeughöhe korrigiert wird. Jedoch erfordert diese Lösung das Vorsehen eines Fahrzeughöhensensors, was zu einer komplizierten Konstruktion des Gesamtsystems führt.

Aus der JP 07 120 258 A ist eine Positionserfassungsvorrichtung nach dem Oberbegriff von Anspruch 1 bekannt. Dort wird der Abstand zum Objekt aus dem Höhenwinkel des Objektbilds und der vorhandenen Länge eines auf die Straße aufgetragenen weißen Linienabschnitts berechnet.

Aus der US 5,850,254 A ist eine nickabhängige Korrektur auf der Basis von Verlangerungsbeträgen extrahierter Positionen von Fahrzeugmarkierungen zwischen zwei aufeinander folgenden Abtastzeiten bekannt.

Aufgabe der Erfindung ist es daher, eine Positionserfassungsvorrichtung für ein Fahrzeug anzugeben, die die nachteiligen Effekte der Nick-Bewegung des Fahrzeugs auf die Erfassung der Position eines Objekts beseitigen kann und mit einer einfachen Konstruktion auskommt, um hierdurch eine genaue Positionserfassung zu ermöglichen.

Zur Lösung der obigen Aufgabe wird erfindungsgemäß vorgeschlagen, dass das Berechnungsmittel einen Nick-abhängigen Korrekturbetrag auf der Basis von Verlagerungsbeträgen der Positionen einer Mehrzahl von beliebig extrahierten Objekten in der Höhenrichtung berechnet und dass das Korrekturmittel die Positionen der Mehrzahl von Objekten auf der Basis des Nick-abhängigen Korrekturbetrags korrigiert.

Bei dieser Positionserfassungsvorrichtung werden mehrere beliebige Objekte aus einem vom Bildaufnahmemittel erhaltenen Bild extrahiert, und ein Nick-abhängiger Korrekturbetrag wird auf der Basis von Positions-Verlagerungsbeträgen der mehreren Objekte in der Höhenrichtung berechnet. Positionen der mehreren Objekte werden auf der Basis des Nick-abhängigen Korrekturbetrags korrigiert. Auch wenn durch eine Nick-Bewegung des Fahrzeugs die Verlagerungen von Objekten in dem Bild in Höhenrichtung verursacht werden, können die nachteiligen Effekte der Verlagerung durch eine einfache Konstruktion beseitigt werden, ohne einen Fahrzeughöhensensor o.dgl. zu benötigen, um hierdurch eine genaue Positionserfassung zu gewährleisten.

Bevorzugt berechnet das Korrekturbetrag-Berechnungsmittel einen Durchschnittswert der Positions-Verlagerungsbeträge der Mehrzahl von Objekten als den Nick-abhängigen Korrekturbetrag.

Bevorzugt führt das Korrekturmittel die Korrektur durch, wenn der Durchschnittswert größer als ein vorbestimmter Schwellenwert ist.

Wenn bei dieser Ausführung der Durchschnittswert der Positions-Verlagerungsbeträge einer Mehrzahl von Objekten groß ist, wird angenommen, daß die Positions-Verlagerungsbeträge, die durch andere Faktoren (z.B. Fahrbewegung des Fahrzeugs oder Bewegung der Objekte in dem realen Raum) als der Nick-Bewegung verursacht werden, sehr klein sind im Vergleich zu Positions-Verlagerungsbeträgen, die durch die Nick-Bewegung verursacht werden. Daher ermöglicht diese Konstruktion der bevorzugten Ausführung den Erhalt eines effektiven Nick-abhängigen Korrekturbetrags mittels einer einfachen Konstruktion.

Die obigen und andere Ziele, Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen ersichtlich.
1 ist ein Blockdiagramm der Anordnung eines Fahrzeugumgebung-Überwachungssystems, das eine Positionserfassungsvorrichtung nach einer Ausführung der Erfindung enthält;
2 ist ein Diagramm von Abschnitten eines Fahrzeugs, an dem in 1 gezeigte Infrarotkameras angebracht sind;
3 ist ein Flußdiagramm eines Positionserfassungsprozesses zum Erfassen der Position eines extrahierten Objekts;
4 ist ein Flußdiagramm von Details eines in einem Schritt in 3 ausgeführten Nick-abhängigen Korrekturprozesses;
5A und 5B sind Diagramme, die jeweils Halbton-Abschnitte als schraffierte Flächen zeigen, die zur Erläuterung von Grauskalenbildern dienen, die von den Infrarotkameras erhalten werden, worin:
5A zeigt ein rechtes Bild, welches von einer rechten Infrarotkamera erhalten wird;
5B zeigt ein linkes Bild, das von einer linken Infrarotkamera erhalten wird;
6 ist ein Diagramm, das eine schwarzen Fläche als schraffierte Fläche zeigt, zur Erläuterung eines durch Binärisierung eines Grauskalabilds gebildeten Bildes;
7A bis 7C sind Diagramme zur Erläuterung eines Prozesses zum Wandeln binärisierter Bilddaten in Lauflängendaten und Kennzeichnung von Objekten zu deren Identifizierung;
8A und 8B sind Diagramme zur Erläuterung, wie Objekte in Zeitintervallen verfolgt werden;
9 ist ein Diagramm zur Erläuterung der Nick-abhängigen Korrektur;
10A und 10B sind Diagramme zur Erläuterung eines Verfahrens zur Parallaxenberechnung;
11 ist ein Diagramm zur Erläuterung eines Verfahrens zur Abstandsberechnung zwischen dem Fahrzeug und dem Objekt auf der Basis der Parallaxe; und
12A und 12B sind Diagramme zur Erläuterung eines Koordinatensystems, welches in dieser Ausführung verwendet wird.
Die Erfindung wird im Detail in einer Ausführung anhand der Zeichnungen beschrieben.
1 zeigt die Anordnung eines Fahrzeugumgebungs-Überwachungssystems, welches eine Positionserfassungsvorrichtung nach der Ausführung der Erfindung enthält, mit zwei rechten und linken Infrarotkameras 1R, 1L, die ferne Infrarotstrahlen erfassen können, einem Gierratensensor 5 zum Erfassen einer Gierrate des Fahrzeugs, einem Fahrgeschwindigkeitssensor 6 zum Erfassen einer Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) VCAR des Fahrzeugs, einem Bremssensor 7 zum Erfassen eines Betätigungsbetrags einer nicht gezeigten Bremse, einer Bildbearbeitungseinheit 2 zum Erfassen eines Objekts, wie etwa eines Tiers o.dgl., vor dem Fahrzeug auf der Basis von Bilddaten, die von den obigen Kameras 1R, 1L enthalten sind, und zum warnen des Fahrers, wenn eine hohe Kollisionsmöglichkeit des Fahrzeugs mit dem Objekt besteht, einem Lautsprecher 3 zum Erzeugen eines Stimmalarms zum Warnen des Fahrers, und einer head-up-Anzeige (nachfolgend als "HUD" bezeichnet) 4 zum Anzeigen eines von der Kamera 1R oder 1L erhaltenen Bilds, so daß der Fahrer das Objekt mit der hohen Kollisionsmöglichkeit mit dem Fahrzeug erkennt.
Wie in 2 gezeigt, sind die Kameras 1R, 1L an einem vorderen Abschnitt des Kraftfahrzeugs 10 an symmetrischen Stellen in Bezug auf die Längsmittelachse des Fahrzeugs 10 angeordnet, und sind starr an dem Fahrzeug befestigt, so daß die optischen Achsen der zwei Kameras 1R, 1L parallel zueinander sind und gleiche Höhen von der Straßenfläche haben. Die Infrarotkameras 1R, 1L haben eine solche Charakteristik, daß der Ausgangssignalpegel (die Luminanz eines Bilds des Objekts) zunimmt, wenn die Temperatur eines Objekts höher wird.
Die Bildbearbeitungseinheit 2 enthält eine A/D-Wandlerschaltung zum Wandeln von Eingangsanalogsignalen in Digitalsignale, einen Bildspeicher zum Speichern digitalisierter Bildsignale, eine CPU (zentrale Prozessoreinheit) zur Durchführung von Rechenoperationen, ein RAM (Speicher mit wahlfreiem Zugriff), das von der CPU benutzt wird, um in den Rechenoperationen zu bearbeitende Daten zu speichern, ein RAM 5 (Nur-Lesespeicher), welches von der CPU auszuführende Programme, Tabellen und Kennfelder speichert, sowie eine Ausgabeschaltung zur Ausgabe von Treibersignalen an den Lautsprecher 3, Anzeigensignalen an das HUD 4 u.dgl. Ausgangssignale von den Kameras 1R, 1L und der Sensoren 5 bis 7 werden in Digitalsignale gewandelt und in die CPU eingegeben.
Wie in 2 gezeigt, ist das HUD 4 derart angeordnet, daß sein Schirm 4a bzw. Bild in einer Windschutzscheibe vor dem Fahrer angezeigt wird.
3 ist ein Flußdiagramm eines Positionserfassungsprozesses, der von der Bildbearbeitungseinheit 2 ausgeführt wird. Zuerst werden Ausgangssignale von den Kameras 1R, 1L einer A/D-Wandlung durch die A/D-Wandlerschaltung unterzogen, und die resultierende Digitaldaten werden in dem Bildspeicher gespeichert (Schritte S11, S12, S13). Die in dem Bildspeicher gespeicherten Bilddaten sind Daten von Grauskalenbildern, die Luminanz (Bildleuchtdichte)-Information enthalten. 5A und 5B sind Diagramme zur Erläuterung von Grauskalenbildern, die von den jeweiligen Kameras 1R, 1L erhalten werden (ein rechtes Bild von der Kamera 1R und ein linkes Bild von der Kamera 1L). Die schraffierten Flächen stellen Halbton(Grau)-Flächen im rechten und linken Bild dar, während die von dicken durchgehenden Linien umgegebenen Flächen solche mit hohem Luminanzwert (mit hoher Temperatur) darstellen, die Flächen (nachfolgend als "Hochluminanzflächen" bezeichnet) von erfaßten Objekten sind, die auf dem Schirm weiß dargestellt werden. Im rechten Bild und im linken Bild wird ein identisches Objekt als Bilder an jeweiligen Stellen, die voneinander horizontal versetzt sind, dargestellt, so daß es möglich ist, einen Abstand von dem Fahrzeug 10 zu dem Objekt auf der Basis der Verlagerung (Parallaxe) zu berechnen.
In Schritt S14 in 3 wird das rechte Bild auf ein Referenzbild gesetzt, und die das Referenzbild darstellenden digitalen Bilddaten werden derart binärisiert (in 1-Bitdaten gewandelt), daß eine Fläche mit einem Luminanzwert, der gleich oder höher als ein experimentell bestimmter Luminanzschwellenwert ITH ist, auf "1" (weiß) gesetzt wird, und daß eine Fläche mit einem geringeren Luminanzwert als dem Schwellenwert ITH auf "O" (schwarz) gesetzt wird. 6 zeigt ein Bild, das durch Binärisierung des Bilds von 5A erhalten ist. In der Figur stellt die schraffierte Fläche eine schwarze Fläche dar, während die von dicken durchgehenden Linien umgebenen Flächen (Hochluminanzflächen) jeweilige weiße Flächen darstellen.
Im folgenden Schritt S15 werden die binärisierten Bilddaten in Lauflängendaten codiert. 7A ist ein Diagramm zur Erläuterung des Codierungsprozesses. In der Figur sind durch die obige Binärisierung auf weiß gesetzte Flächen durch die Linien L1 bis L8 repräsentiert, die jeweilige Pixellinien bezeichnen. Obwohl die Linien L1 bis L8 jeweils eine Breite von einem Pixel in der y-Richtung haben und tatsächlich nebeneinander ohne Lücken in der y-Richtung angeordnet sind, sind sie der klaren Beschreibung wegen als voneinander getrennte separate Linien gezeigt. Ferner haben die Linien L1 bis L8 jeweilige Längen von zwei Pixeln, zwei Pixeln, drei Pixeln, acht Pixeln, sieben Pixeln, acht Pixeln, acht Pixeln und acht Pixeln in der x-Richtung. Die Lauflängendaten repräsentieren jede der Linien L1 bis L8 durch die Koordinaten des Anfangspunkts (Punkt am linken Ende) der Linie und der Länge (Anzahl der Pixel) der Linie vom Anfangspunkt zum Endpunkt (Punkt am rechten Ende) derselben. Beispielsweise ist die Linie L3 aus drei Pixeln (x3, y5), (x4, y5) und (x5, y5) gebildet und wird durch die Lauflängendaten (x3, y5, 3) repräsentiert.
In den Schritten S16 und S17 wird ein Objekt durch Kennzeichnung desselben extrahiert, wie in 7B gezeigt. Das heißt, von den Linien L1 bis L8, die in Lauflängendaten codiert werden, werden die Linien L1 bis L3, die in der y-Richtung überlappen, als Objekt 1 betrachtet, und die Linien L4 bis L8, die in der y-Richtung überlappen, werden als Objekt 2 betrachtet, wobei den Lauflängendaten Objektkennungen 1 und 2 hinzugefügt werden. Dieser Prozeß ermöglicht, daß z.B. die Hochluminanzflächen, die in 6 erscheinen, als jeweilige Objekte 1 bis 4 erfaßt werden können.
In Schritt S18 werden, wie in 7C gezeigt, der Schwerpunkt G eines extrahierten Objekts (Bild eines Objekts), die Fläche S des extrahierten Objekts und das Aspektverhältnis ASPECT eines das extrahierte Objekt umschreibenden Rechtecks, mit unterbrochenen Linien eingezeichnet, berechnet. Die Fläche S wird durch Integrieren der Längen der Lauflängendaten eines identischen Objekts berechnet. Die Koordinaten des Schwerpunkts G werden als die x-Koordinate einer Linie, die die Fläche S entlang der y-Richtung in gleiche Hälften teilt, und als die y-Koordinate eine Linie, die die Fläche S entlang der x-Richtung in zwei gleiche Hälften teilt, berechnet. Das Aspektverhältnis ASPECT wird als das Verhältnis Dy/Dx von Dy zu Dx berechnet, wie in 7C ersichtlich. Anzumerken ist, daß anstelle des Schwerpunkts G des extrahierten Objekts auch die Position eines Schwerpunkts des umschreibenden Rechtecks verwendet werden kann.
In Schritt S19 werden Objekte mit Zeitintervallen verfolgt, d.h. es erfolgt eine Identifizierung oder Erkennung identischer Objekte immer dann, wenn jeweils eine Abtastwiederholperiode abgelaufen ist. Wenn man z.B. eine Zeit, die durch Diskretisierung der Zeit t als Analogbetrag durch eine Abtastwiederholperiode erhalten ist, mit k bezeichnet, werden Objekte 1 und 2, die zur Zeit k extrahiert sind, wie in 8A gezeigt, und Objekte 3 und 4, die zur Zeit (k + 1) extrahiert sind, wie in 8B gezeigt, auf ihre Identität geprüft. Insbesondere wird bestimmt, daß die Objekte 3 und 4 mit den jeweiligen Objekten 1 und 2 identisch sind, wenn die folgenden Identifizierungsbedingungen 1 bis 3 erfüllt sind, und die Objekte 3 und 4 werden als Objekte 1 und 2 gekennzeichnet, um hierdurch die Objekte mit Zeitintervallen zu verfolgen:

(1) Wenn man z.B. die Positionskoordinaten des Schwerpunkts der Objekte i (= 1, 2) in einem Bild zur Zeit k mit (xi(k), yi(k)) bezeichnet und die Positionskoordinaten des Schwerpunkts von Objekten j (= 3, 4) in einem Bild zur Zeit (k + 1) mit (xj(k + 1), yj(k + 1)) bezeichnet, sind die folgenden Bedingungen erfüllt: xj(k + 1) – xi(k) < ΔxM, und yj(k + 1) – yi(k) < ΔyM wobei ΔxM und ΔyM maximal zulässige Werte für die jeweiligen Verlagerungsbeträge in dem Bild in der x-Richtung und der y-Richtung bezeichnen. Anzumerken ist, daß der maximal zulässige Wert ΔyM in der y-Richtung im Hinblick auf den durch die Nick-Bewegung des Fahrzeugs 10 verursachten Verlagerungsbetrag in dem Bild gesetzt wird.
(2) Wenn man z.B. die Flächen der Objekte i (= 1, 2) in dem Bild zur Zeit k mit Si(k) bezeichnet und die Flächen der Objekte j (= 3, 4) in dem Bild zur Zeit (k + 1) mit Sj(k + 1) bezeichnet, ist die folgende Bedingung erfüllt: Sj(k + 1)/ Si(k) < 1 ± ΔS wobei ΔS einen maximal zulässigen Wert für eine Änderung in der Fläche bezeichnet.
(3) Wenn man z.B. die Aspektverhältnisse der die Objekte umschreibenden Rechtecke i (= 1, 2) zur Zeit k mit ASPECT i(k) bezeichnet und die Aspektverhältnisse der die Objekte umschreibenden Rechtecke j (= 3, 4) zur Zeit (k + 1) mit ASPECT j(k + 1) bezeichnet, ist die folgende Bedingung erfüllt: ASPECT j(k + 1)/ASPECT i(k) < 1 ± ΔASPECT wobei ΔASPECT den maximal zulässigen Wert für eine Änderung in dem Aspektverhältnis bezeichnet.

Wenn man die 8A mit der 8B vergleicht, nimmt die Größe jedes Objekts in 8B zu, wobei aber die Objekte 1 und 3 die obigen Identifizierungsbedingungen erfüllen und die Objekte 2 und 4 die obigen Identifizierungsbedingungen erfüllen. Daher können die Objekte 3 und 4 mit den jeweiligen Objekten 1 und 2 identifiziert werden. Die Positionskoordinaten (des Schwerpunkts) jedes somit identifizierten Objekts werden in dem Speicher als Zeitserienwerte von Positionsdaten gespeichert und zur Durchführung nachfolgender Rechenoperationen benutzt.
In Schritt S20 in 3 wird ein Nick-abhängiger Korrekturprozeß ausgeführt, wie in 4 gezeigt, um die Position eines Objekts auf dem Bild zu korrigieren, wenn durch die Nick-Bewegung des Fahrzeugs 10 ein optisches Fließen in dem Bild auftritt.
9 illustriert die Beziehung zwischen Verlagerungsvektoren VM1 bis VM3 von Objekten auf dem Bild, einen Nick-Vektor Vp, der das durch die Nick-Bewegung des Fahrzeugs verursachte optische Fließen repräsentiert, sowie Verlagerungsvektoren VM1p bis VM3p der Objekte unter der Annahme, daß keine Nick-Bewegung aufgetreten ist. In dieser Figur bezeichnen OBJOLDi und OBJNOWi jeweils die vorhergehende Position (Position einer Abtastzeit zuvor) und die gegenwärtige Position jedes der Objekte i (= 1, 2, 3).
In Schritt S41 von 4 wird der durch die Nickbewegung des Fahrzeugs verursachte Verlagerungsbetrag entlang der Y-Achse auf dem Bild (nachfolgend als "das Nick-Fließen" bezeichnet) durch die folgende Gleichung 1 berechnet:
wobei yiNOW und yiOLD die gegenwärtige y-Koordinate eines Objektschwerpunkts i (i = 1 bis N) und die vorhergehende y-Koordinate (eine Abtastzeit zuvor) desselben repräsentiert, und N die Anzahl der extrahierten Objekte repräsentiert. Das Nick-Fließen Δyp der Gleichung (1) wird als Verlagerungsbetrag Δy der y-Koordinate berechnet, der eine durch die folgende Gleichung (2) ausgedrückte Auswertfunktion E minimiert, und das Nick-Fließen Δyp entspricht einem Durchschnittswert von Verlagerungsbeträgen entlang der y-Achse von N-Objekten auf dem Bild pro Zeiteinheit (in der vorliegenden Ausführung pro einer Abtastperiode). Der Verlagerungsbetrag entlang der y-Achse auf dem Bild, der durch das Fahren des Fahrzeugs 10 oder die Bewegung des Objekts verursacht ist (der Verlagerungsbetrag entlang der y-Achse unter der Annahme, daß keine Nick-Bewegung aufgetreten ist), ist sehr klein im Vergleich zu dem durch Nick-Bewegung des Fahrzeugs verursachten Verlagerungsbetrag. Daher ist das durch die Nick-Bewegung (den Nick-Vektor Vp) verursachte optische Fließen nicht von der Position des Bilds abhängig und kann gleichermaßen für alle Objekte angenähert werden. Daher wird in der vorliegenden Ausführung das Nick-Fließen Δyp als der Verlagerungs betrag Δy entlang der y-Achse definiert, der die Auswertungsfunktion E der Gleichung (2) minimiert:
Dann wird in Schritt S42 bestimmt, ob der Absolutwert des Nick-Fließens Δyp größer als ein vorbestimmter Schwellenwert ΔyTH ist oder nicht. Wenn |Δyp| > ΔyTH wird bestimmt, daß das Nick-Fließen des Fahrzeugs 1 groß ist. In Schritt S43 wird das Nick-Fließen Δyp zur y-Koordinate yiNOW des Objekts i (i = 1 bis N) addiert, um hierdurch die Nick-abhängige Korrektur der erfaßten Positionen auszuführen. Der vorbestimmte Schwellenwert ΔyTH wird experimentell auf einen geeigneten Wert gesetzt.
Wie oben beschrieben, ist die Verlagerung in der y-Richtung auf dem Bild, die durch das Fahren des Fahrzeugs 10 oder die Bewegung des Objekts verursacht wird (Verlagerung in der y-Richtung, wenn keine Nick-Bewegung auftritt) sehr klein im Vergleich zur durch die Nick-Bewegung verursachten Verlagerung. Daher wird, wenn der Absolutwert des Nick-Fließens Δyp gemäß Berechnung durch Gleichung (1) größer ist als der vorbestimmte Schwellenwert ΔyTH, der Wert Δyp als der durch Nick-Bewegung des Fahrzeugs verursachte gesamte Verlagerungsbetrag betrachtet, und die y-Koordinate der erfaßten Position jedes Objekts wird auf der Basis des Werts Δyp korrigiert. Die Positionen OBJNOWip (i = 1, 2, 3), die in 9 angegeben sind, entsprechen den korrigierten Positionen der Objekte.
Wenn andererseits |Δyp| ≤ ΔyTH, wird bestimmt, daß der Einfluß der Nick-Bewegung vernachlässigbar ist und das Programm geht sofort zu Schritt S44 weiter, ohne die Korrektur der y-Koordinaten auszuführen.
In Schritt S44 wird der gegenwärtige Wert yiNOW der y-Koordinate jedes Objekts auf den vorhergehenden Wert yiOLD gesetzt, wonach das Programm endet. Bei diesem Schritt werden die im gegenwärtigen Prozess erhaltenen gegenwärtigen Werte als die unmittelbar vorhergehenden Werte der Bearbeitung einer Abtastzeitperiode später benutzt.
Bei dem Prozeß von 4 wird der Verlagerungsbetrag Δyp in der y-Richtung (d.h. in der Höhenrichtung) aufgrund der Nick-Bewegung des Fahrzeugs 10 auf der Basis des Bilds berechnet, das von der Kamera 1R per se erhalten wird, und die y-Koordinate jedes Objekts wird auf der Basis dieses Betrags korrigiert. Dies ermöglicht eine Realisierung der Nick-abhängigen Korrektur der erfaßten Positionen durch eine einfache Konstruktion der Vorrichtung, und im Ergebnis kann die Position jedes Objekts in den Koordinaten des realen Raums genauer erfaßt werden, wie im Detail nachfolgend beschrieben.
Anzumerken ist, daß die Schritte S14 bis S20 in Flußdiagramm von 3 an das binärisierte Referenzbild ausgeführt werden (in der vorliegenden Ausführung in dem rechten Bild).
In Schritt S31 in 3 wird, wie in 10 gezeigt, bestimmt, daß ein Objektbild R2 im linken Bild einem Objektbild R1, im rechten Bild entspricht, und dann werden ein Abstand dR zwischen der Mittellinie LCTR des rechten Bilds in der x-Richtung und einem Schwerpunkt des Objektbilds R1, sowie ein Abstand dL zwischen der Mittellinie LCTR des linken Bilds in der x-Richtung und einem Schwerpunkt des Objektbilds R2 berechnet. Die somit berechneten Werte werden folgender Gleichung (3) unterzogen, um einen Abstand z von dem Fahrzeug 10 zu dem Objekt zu berechnen. Der Schritt S31 dauert länger als die Prozesse der Schritte S19 und 20, und daher wird er mit einer längeren Wiederholperiode ausgeführt als jener der Prozesse der Schritte S19 und 20 (angenähert dreimal so lang wie eine Wiederholperiode der Ausführung der Prozesse von Schritt S11 bis Schritt S20).
wobei B die Länge einer Grundlinie bezeichnet, d.h. einen horizontalen Abstand (in der x-Richtung) zwischen der Mittelposition eines Bildelements 11R der Kamera 1R und der Mittelposition eines Bildelements 11L der Kamera 1L (der Abstand zwischen den optischen Achsen der jeweiligen Kameras), wie in 11 gezeigt; F bezeichnet die Brennweite der Linse 12R, 12L; p bezeichnet ein Abstandintervall zwischen Pixeln in den Bildelementen 11R, 11L; und Δd (= dR + dL) bezeichnet den Parallaxenbetrag. Ferner bezeichnet fein Verhältnis der Brennweite F zum Abstandsintervall p.
Im Schritt S21 werden, die Koordinaten (x, y) in dem Bild und der durch Gleichung (3) berechnete Abstand z den folgenden Gleichungen (4) zur Umwandlung in Realraum-Koordinaten (X, Y, Z) unterzogen. Hier ist das Koordinatensystem der Realraum-Koordinaten (X, Y, Z) (Realraum-Koordinatensystem) so definiert, wie in 12A gezeigt, wobei die Position eines Mittelpunkts (eine Festposition an dem Kraftfahrzeug 10) von der Montageposition der Kameras 1R, 1L auf einen Ursprung O des Realraum-Koordinatensystems gesetzt ist, und wobei Koordinaten in einem Koordinatensystem eines Bilds (imaginäres Bild, siehe unten) entsprechend dem realen Koordinatensystem so definiert sind, wie in 12B gezeigt, wobei die Mitte des Bilds auf den Ursprung des Koordinatensystems entsprechend dem Realraum-Koordinatensystems gesetzt ist, wobei die Horizontalrichtung als die x-Richtung definiert ist und wobei die Vertikalrichtung als die y-Richtung definiert ist.
f= F/P
In diesen Gleichungen sind (xc, yc) erhalten durch Wandeln der Koordinaten (x, y) im Koordinatensystem des rechten Bilds in Koordinaten im Koordinatensystem des imaginären Bilds, wobei dessen Mitte mit dem Ursprung O der Realraum-Koordinate in Übereinstimmung gebracht wird, und zwar auf der Basis der relativen Beziehung der Montageposition der Kamera 1R und des Ursprungs O des Realraum-Koordinatensystems. Ferner repräsentiert fein Verhältnis zwischen der Brennweite F und dem Pixel-zu-Pixel-Abstandsintervall p.
Wie oben beschrieben, wird nach der vorliegenden Ausführung das Nick-Fließen Δyp, welches die Verlagerung in der y-Richtung angibt, d.h. in Höhenrichtung des Fahrzeugs 10, aufgrund der Nick-Bewegung des Fahrzeugs 10 aus dem von der Kamera 1R erhaltenen Bilddaten berechnet, und die y-Koordinate jedes Objekts wird auf der Basis des Nick-Fließens Δyp korrigiert. Somit ist es möglich, genaue Daten von Positionen von Objekten zu erhalten, indem der Einfluß der Nick-Bewegung des Fahrzeugs 10 aufgehoben wird.
Die Bildbearbeitungseinheit 2 bestimmt die Kollisionmöglichkeit zwischen dem Objekt und dem Fahrzeug 10 auf der Basis von Information der Position eines Objekts in dem realen Raum, wie im Prozeß von 3 berechnet, und warnt den Fahrer, wie die Möglichkeit hoch ist, über den Lautsprecher 3 und das HUD 4.
In der vorliegenden Ausführung bildet die Bildbearbeitungseinheit 2 die Positionserfassungsvorrichtung. Insbesondere entsprechen die Schritte S16 bis S19 in 3 und Schritt S41 in 4 dem Korrekturbetrag-Berechnungsmittel, und die Schritte S42 und S43 in 4 entsprechen dem Korrekturmittel.
Obwohl in der obigen Ausführung der Durchschnittswert der Verlagerungsbeträge in den y-Koordinaten aller extrahierter Objekte auf das Nick-Fließen Δyp gesetzt wird, ist dies nicht einschränkend, sondern es kann auch das Nick-Fließen Δyp aus den Verlagerungsbeträgen in den y-Koordinaten einiger (jedoch zumindest zweier) extrahierter Objekte berechnet werden.
Obwohl ferner in der vorliegenden Ausführung Infrarotkameras als Bildaufnahmekameras benützt werden, ist dies nicht einschränkend, sondern es können auch Fernsehkamers benützt werden, die nur normale sichtbare Strahlen erfassen können, wie in der japanischen Patent-Offenlegungsschrift (Kokai) Nr. 9-226490 offenbart. Durch Infrarotkameras kann jedoch der Extrahierungsprozeß zum Extrahieren eines Tieres oder eines fahrenden Fahrzeugs vereinfacht werden, und das System kann mit einer relativ leistungsschwachen Recheneinheit realisiert werden.
Eine Positionserfassungsvorrichtung für ein Fahrzeug erfaßt die Position eines Objekts in einem Realraum-Koordinatensystem. Aus einem durch Kameras (1R, 1L) erhaltenen Bild wird eine Mehrzahl von Objekten extrahiert. Auf der Basis von Verlagerungsbeträgen der Position der Mehrzahl von Objekten in deren Höhenrichtung wird ein Nick-abhängiger Korrekturbetrag berechnet. Positionen der Mehrzahl von Objekten werden auf der Basis des Nick-abhängigen Korrekturbetrags korrigiert.

Claims

Positionserfassungsvorrichtung für ein Fahrzeug, die eine Position eines Objekts in einem Realraum-Koordinatensystem erfasst, wobei die Positionserfassungsvorrichtung umfasst: – ein an dem Kraftfahrzeug (10) angebrachtes Bildaufmahmemittel (1R, 1L); – ein Berechnungsmittel (S16 bis S19, S41) zum Extrahieren einer Mehrzahl von Objekten in der Fahrzeugumgebung aus einem vom Bildaufnahmemittel aufgenommenen Bild und – ein Korrekturmittel (S42, S43) zum nickabhängigen Korrigieren von Positionen der Mehrzahl von Objekten, dadurch gekennzeichnet, dass das Berechnungsmittel (S16 bis S19, S41) einen nickabhängigen Korrekturbetrag (Δyp) auf der Basis von Verlagerungsbeträgen der Positionen einer Mehrzahl von extrahierten Objekten in der Höhenrichtung (y) zwischen zwei aufeinander folgenden Abtastzeiten (k, k+1) berechnet und dass das Korrekturmittel (S42, S43) die Positionen der Mehrzahl von, Objekten auf der Basis des nickabhängigen Korrekturbetrags (Δyp) korrigiert.
Positionserfassungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Berechnungmittel (S16 bis S19, S41) einen Durchschnittswert der Verlagerungsbeträge der Position der Mehrzahl von Objekten als den nickabhängigen Korrekturbetrag (Δyp) berechnet.
Positionserfassungsvorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Korrekturmittel (S42, S43) die Korrektur ausführt, wenn der Durchschnittswert größer als ein vorbestimmter Schwellenwert (ΔyTH) ist.