DE4130010C2

DE4130010C2 - Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes

Info

Publication number: DE4130010C2
Application number: DE4130010A
Authority: DE
Inventors: Shoichi Tanaka
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-09-10
Filing date: 1991-09-10
Publication date: 1996-04-04
Anticipated expiration: 2011-09-11
Also published as: FR2666649A1; FR2666649B1; JPH04120413A; DE4130010A1; US5139327A

Description

Die Erfindung betrifft eine Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes.

Einige typische Beispiele von Vorrichtungen zur Abstandsmessung sind aus den japanischen Patentveröffentlichungen 63-38085 B2 und 63-46363 B2 bekannt. Wie in Fig. 3 der Zeichnungen dargestellt ist, besitzen die in diesen Druckschriften offenbarten Vorrichtungen zur Messung des Abstandes R eines Gegenstandes 121 ein Paar von ersten und zweiten parallelen optischen Systemen mit zwei konvexen Linsen 102, 103, die in horizontaler Richtung in einem vorgegebenen gegenseitigen Abstand L angeordnet sind. Ein Paar von separaten Bildsensoren 103, 104 ist jeweils in den Brennpunkten der Linsen 101, 102 angeordnet, so daß die Bildsensoren zu den zugeordneten Linsen jeweils einen Abstand aufweisen, welcher der Brennweite "f" der Linsen 101, 102 entspricht. Hierdurch werden Bildsignale erzeugt, die einem Signalprozessor 120 als gemeinsamer Signalverarbeitungseinrichtung zugeleitet werden. Der Signalprozessor 120 verschiebt die von den Bildsensoren 103, 104 erhaltenen Bildsignale fortlaufend und überlagert sie elektrisch übereinander, so daß der Abstand R zwischen den Linsen 101, 102 und dem Gegenstand 121 nach der Lehre der Triangulation nach folgender Formel berechnet werden kann:

R = (f × L)/d,

worin d ein Verschiebeabstand ist, um den die Bildsignale bewegt werden, um einen guten Abgleich zu erzielen.

Auch bei den Vorrichtungen nach der prioritätsälteren, jedoch nachveröffentlichten Druckschrift DE 40 06 989 A1 wird eine Abstandmessung nach dem Prinzip der Triangulation durchgeführt.

Ähnlich verhält es sich auch bei einer Abstandsmeßvorrichtung nach der Druckschrift GB 22 02 104 A, bei welcher zur Bildung von Meßsignalen zwei parallel gerichtete synchronisierte Videokameras vorgesehen werden. Die Abstandmessung erfolgt unter Verwendung einer Signalverarbeitungseinrichtung mit Speichern sowie von Fensterbildungsmitteln, wobei vorübergehend Fenster von rechteckiger Form gebildet werden.

Ferner ist aus der US-Patentschrift 49 31 937 eine Abstandsmeßvorrichtung bekannt, bei welcher aus einem Fenster, im dem das Heck eines voraus fahrenden Fahrzeuges erscheint, horizontale Linien aus dem Bild des Fahrzeughecks extrahiert werden.

Wie insbesondere in der japanischen Patentveröffentlichung 60-33352 B2 beschrieben wird, muß bei bekannten Vorrichtungen zur Beobachtung von voraus fahrenden Fahrzeugen und zur Messung von deren Abstand in einem nachfolgenden Fahrzeug auf einem dort installierten Bildschirm ein Beobachtungstor oder -fenster, welches das Beobachtungsziel umfaßt, während des Beobachtungsvorganges laufend eingestellt werden.

Dies erfordert ständige Aufmerksamkeit des Fahrers oder eines Beifahrers im nachfolgenden Fahrzeug, was störend ist und die Sicherheit der Fahrweise beeinträchtigen kann. Trotzdem kann sich das Bild des voraus fahrenden Fahrzeuges bei Änderung der Fahrtrichtung aus einem Erfassungsfenster in unerwünschter Weise hinausbewegen. Hinzu kommt, daß bei der Beobachtung des vorausfahrenden Fahrzeuges auf einem Bildschirm im nachfolgenden Fahrzeug mit dem Bild des vorausfahrenden Fahrzeuges auch ein Teil von dessen Umfeld als Hintergrundinformation zwangsläufig miterfaßt wird, was häufig störend wirkt, zumal sich die Hintergrundinformation entsprechend der Fahrstrecke meist laufend ändert.

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes zu schaffen, bei welcher das zu beobachtende Fahrzeug nach einer ersten Grobeinstellung von Erfassungsmitteln unabhängig von etwaigen Fahrtrichtungsänderungen in einem vorbestimmten Bereich eines Bildfensters verbleibt und trotz geringer Beanspruchung des Bedieners der Vorrichtung bei der laufenden Beobachtung des Fahrzeuges dessen Abstand zufriedenstellend bestimmt werden kann.

Erfindungsgemäß wird diese Aufgabe mit den Merkmalen des Patentanspruchs 1 gelöst.

Die erfindungsgemäße Vorrichtung weist insbesondere den Vorteil auf, daß nach einer Grobeinstellung eines Fahrzeug- Beobachtungsfensters auf einem Bildschirm der Vorrichtung die genaue Lage und die Abmessungen des Fensters vorzugsweise automatisch so eingestellt werden können, daß das Bild des beobachteten Fahrzeuges fortwährend in der Mitte des Fensters erscheint und der Abstand des Fahrzeuges fortlaufend während der Beobachtung desselben genau gemessen werden kann.

Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.

Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand von Fig. 1 und 2 der Zeichnungen näher beschrieben. In den Zeichnungen zeigen, jeweils in schematischer Darstellung,

Fig. 1 ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes,

Fig. 2(a) bis 2(e) Ansichten zur Erläuterung der Wirkungsweise der Vorrichtung nach Fig. 1 bei der Fahrzeugbeobachtung und

Fig. 3 ein Blockdiagramm einer üblichen Vorrichtung zur Beobachtung eines Fahrzeuges und zur Messung seines Abstandes.

Fig. 1 zeigt schematisch den Aufbau einer erfindungsgemäßen Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes. Die dargestellte Vorrichtung umfaßt ein Paar von ersten und zweiten optischen Systemen mit zwei konvexen Linsen 1, 2, deren optische Achsen parallel zueinander verlaufen und die in horizontaler Richtung einen vorgegebenen gegenseitigen Abstand L aufweisen. Den Linsen 1, 2 jeweils zugeordnet ist ein Paar von voneinander getrennten ersten und zweiten (bzw. linken und rechten) Bildsensoren 3, 4, die horizontal nebeneinander an den Brennpunkten der Linsen 1 bzw. 2 jeweils in einem Abstand "f" von diesen Linsen angeordnet sind, wobei "f" die Brennweite einer jeden dieser beiden Linsen 1, 2 darstellt. Die Bildsensoren 3, 4 erzeugen jeweils Bildsignale in analoger Form, die ihrerseits ein zweidimensionales Bild zu einem Paar entsprechender erster und zweiter Speicher 5, 6 weiterleiten. Ein dritter Speicher 7 speichert Bilder, die auf ihn über eine Hauptleitung von dem ersten Speicher 5 übertragen worden sind.

Mit dem ersten bis dritten Speicher 5 bis 7 bzw. einer durch diese gebildeten Speichereinrichtung sind ein als Signalverarbeitungseinrichtung wirkender Bildprozessor 9 und eine in Form eines Mikrocomputers ausgebildete Steuereinrichtung 8 verbunden. Die Signalverarbeitungseinrichtung 9 dient zur Verarbeitung der Bilddaten, die in den Speichern 5 bis 7 gespeichert sind, entsprechend der Steuerung durch die Steuereinrichtung 8.

Eine Anzeigeeinrichtung 10 mit einem Bildschirm ist mit dem Bildprozessor 9 und dem Mikrocomputer 8 verbunden, um ein Bild eines voraus fahrenden Fahrzeuges darzustellen, das durch den Bildprozessor 9 unter der Steuerung durch den Mikrocomputer 8 gebildet worden ist. Eine Fensterbildungseinrichtung 11 zum Bilden eines Fensters zum Beobachten des erzeugten Bildes ist mit dem Mikrocomputer 8 verbunden und dient zur Beobachtung des Bildes auf dem Bildschirm der Anzeigeeinrichtung 10.

Es wird nun die Wirkungsweise der oben beschriebenen Vorrichtung anhand von Fig. 2(a) bis 2(e) näher beschrieben.

Als erstes wird ein Bild eines Gegenstandes in Form eines vorausfahrenden und zu beobachtenden Fahrzeuges 13 durch die Bildsensoren 3, 4 erfaßt. Entsprechende Signale werden in den ersten Speicher 5 und den zweiten Speicher 6 eingegeben. Das so eingegebene Bild des vorausfahrenden Fahrzeuges 13 wird dann von den Speichern 6, 7 zur Anzeigeeinrichtung 10 übertragen, wo es auf dem Bildschirm einer Kathodenstrahlröhre (CRT) der Ahzeigeeinrichtung angezeigt wird.

Bei dieser Gelegenheit betätigt der Bediener der Vorrichtung, beispielsweise der Fahrer eines dem beobachteten Fahrzeug 13 nachfolgenden Fahrzeuges, das die oben beschriebene Vorrichtung enthält, die Fensterbildungseinrichtung 11 zum Bilden eines Beobachtungsfensters, um den Ort und die Größe des Bildbeobachtungsfensters anzuzeigen oder einzugeben, das auf dem Bildschirm gebildet werden soll. Der Mikrocomputer 8 liest diese Instruktionen und bewirkt, daß das eingegebene Fenster auf dem Bildschirm gebildet wird, während die entsprechenden Adressen in den Speichern 5, 6 bestimmt werden.

Es soll nun angenommen werden, daß der Bediener der Vorrichtung, beispielsweise der Fahrer des nachfolgenden Fahrzeuges, ein geeignetes Bildbeobachtungsfenster auf dem Bildschirm der Anzeigeeinrichtung 10 mit Hilfe der Fensterbildungseinrichtung 11 zu einem Zeitpunkt t_o einstellt, so daß der Mikrocomputer 8 den Abstand des vorausfahrenden Fahrzeuges 13 bestimmt.

Das durch die oben beschriebene Betätigung der Fensterbildungseinrichtung 11 gebildete, in Fig. 2(a) dargestellte Fenster 15 ist von rechteckiger Form und hat eine vorbestimmte Größe. Dieses Fenster 15 wird grob aus dem ersten oder linken Bild erzeugt, das durch den ersten oder linken Bildsensor 3 erfaßt wird und eine untere linke Ecke an einer Stelle p, q und eine rechte obere Ecke an einer Stelle p+r, q+s in einem Koordinatensystem für die Bildelemente aufweist. Der Mikrocomputer 8 speichert das so gebildete Fenster 15 im ersten Speicher 5 durch Einspeicherung der obengenannten Koordinatenstellen an den entsprechenden Adressen im ersten Speicher 5.

Danach wird ein rechteckiger Bereich derselben Größe, wie sie das im ersten Speicher 5 gespeicherte Fenster 15 aufweist, laufend aus den zweiten oder rechten Bildern, die durch den zweiten oder rechten Bildsensor 6 gebildet werden, in einem Suchbereich 17 herausgeschnitten oder diesem Suchbereich anderweitig entnommen, der sich in der Form eines sich waagrecht erstreckenden Bandes mit einer senkrechten Höhe von der Zeile p bis zur Zeile p+r erstreckt, wie dies durch Schraffur in Fig. 2(b) dargestellt ist. Dies dient dazu, in diesem Suchbereich 17 ein Bild 18 des voraus fahrenden Fahrzeuges 13 mit dem im ersten Speicher 5 gespeicherten Bild 16 dieses Fahrzeuges im Fenster 15 zu vergleichen. Werden die Bildsignale für die ersten oder linken Bilder, die durch den ersten oder linken Bildsensor 5 entstehen, mit S_i,j und die Bildsignale der zweiten oder rechten Bilder, die durch den zweiten oder rechten Bildsensor 6 entstehen, mit SI_i,j bezeichnet, wird die Gesamtsumme S_k der absoluten Werte der Unterschiede (S_i,j-SI_i,j) zwischen den Bildsignalen der entsprechenden Bildpunkte i, j der ersten und zweiten Bilder 16, 18 durch den Bildprozessor 9 nach folgender Gleichung berechnet:

worin k eine positive ganze Zahl ist, die sich der Reihe nach von Null unterscheidet.

Danach werden die im ersten Speicher 5 gespeicherten Bildsignale in den dritten Speicher 7 übertragen.

Wie in Fig. 2(c) dargestellt ist, werden zu einem Zeitpunkt t₁, der um eine vorbestimmte Zeitspanne nach dem oben erwähnten Zeitpunkt t_o liegt, erneut Bildsignale aus dem ersten und dem zweiten Speicher 5, 6 ausgelesen. Zu diesem Zeitpunkt t₁ speichert der dritte Speicher 7 das Bild 16, wie es durch den ersten Bildsensor 3 zum Zeitpunkt t_o erfaßt worden ist. Hingegen speichert nun der Speicher 5 ein Bild 16′, das vom ersten oder linken Bildsensor 3 zum Zeitpunkt t₁ erfaßt worden ist. Deshalb kann der Ort des Fahrzeuges 13, das dem die obige Vorrichtung enthaltenden Fahrzeug zum Zeitpunkt t₁ voraus fährt, bestimmt werden durch Suchen im ersten Speicher 5 nach einem Bild, das dem Bild 16 des vorausfahrenden Fahrzeuges 13 zum Zeitpunkt t_o am meisten ähnlich ist, wobei das Fenster im dritten Speicher 7 als Bezug genommen wird.

Werden die Bildsignale der Bildelemente innerhalb des Fensters 15 zum Zeitpunkt t_o durch S_{i, j} dargestellt, wobei i den Bereich von p bis p+r und j den Bereich von q bis q+s durchlaufen, und werden ferner die Bildsignale der entsprechenden Bildelemente des jeweiligen ersten oder linken Bildes zum Zeitpunkt t₁ durch SII_i,j dargestellt, dann wird die Gesamtsumme S_k,l der Unterschiede zwischen den absoluten Werten der Bildsignale S_i,j zum Zeitpunkt t_o und der Bildsignale SII_i,j zum Zeitpunkt t₁ durch folgende Gleichung ausgedrückt:

Der Bildprozessor 9 berechnet die obige Gleichung (2), wobei die Werte für k und l schrittweise zunehmen. Ein dem Bild 16′ folgendes Fenster wird dann durch diejenigen speziellen Werte von k und l eingestellt, bei denen die Gesamtsumme S_k,l ein Minimum ist. Das bedeutet, daß das Fenster so eingestellt wird, daß die linke untere Ecke des Fensters am Punkt p+k, q+l und die obere rechte Ecke des Fensters am Punkt p+k+r, q+l+s des Koordinatensystems liegen, so daß die Positionen der Bildelemente innerhalb des entsprechend diesen Werten eingestellten Fensters durch die Positionen i, j repräsentiert werden, wobei i Werte von p+k bis p+k+r und j Werte von q+l bis g+l+s durchlaufen.

Ist der Gegenstand, dessen Entfernung gemessen werden soll, ein Fahrzeug, so weist sein Profil bzw. sein Heck im allgemeinen viele waagrechte Linien auf, die aus den von den Bildsensoren 3, 4 empfangenen Bildern extrahiert werden können, um auf diese Weise die Stellung des Fensters genau zu korrigieren oder einzustellen und so eine hohe Genauigkeit beim Beobachten des vorausfahrenden Fahrzeuges und bei der Bestimmung von dessen Abstand bzw. des Abstandes zu ihm zu erreichen. Zu diesem Zweck werden unter Verwendung eines provisorischen Fensters, wie es gemäß der obigen Beschreibung eingestellt worden ist, die Unterschiede zwischen Bildsignalen vertikal benachbarter Bildpunkte innerhalb des provisorischen Fensters über die horizontale Länge des provisorischen Fensters aufaddiert, um horizontale Linien im provisorischen Fenster zu extrahieren. Dadurch kann ein neues Fenster definiert werden, das vertikal dadurch bestimmt wird, daß die Summe der Differenzen ein Maximum wird.

Beispielsweise wird eine Gesamtsumme S_a von Unterschieden zwischen Bildsignalen S_{n, a} und S_{n, a-1} von vertikal benachbarten Bildpunkten innerhalb der oberen Hälfte des provisorischen Fensters und die Gesamtsumme S_b von Unterschieden zwischen den Bildsignalen S_{n, b} und S_{n, b-1} innerhalb der unteren Hälfte des provisorischen Fensters nach folgenden Gleichungen berechnet:

worin: q + l + s/2 < a < q + l + s, und

worin: g + l < b < q + l + s/2.

Zusätzlich wird derjenige Wert von a ermittelt, bei dem S_a für die obere Hälfte des provisorischen Fensters ein Maximum wird, und derjenige Wert von b ermittelt, bei dem S_b für die untere Hälfte des provisorischen Fensters ein Maximum wird. Wie in Fig. 2(d) dargestellt ist, werden dann die vertikale Höhe sI und die horizontale Länge rI eines neuen Fensters wie folgt bestimmt:

sI = a - b + o ,
rI = r + (sI - s) ,

wobei o eine Versetzung darstellt. Wie Fig. 2(e) zeigt, hat das hierdurch bestimmte neue Fenster eine linke untere Ecke am Punkt p+k, b-o/2 und eine rechte obere Ecke am Punkt p+k+rI, a+o/2. Auf diese Weise kann das neue Fenster verläßlich so bestimmt werden, daß es in seiner Mitte ein Bild des Fahrzeuges mit vielen horizontalen Linien enthält.

Durch Einstellen des Fensters in der oben beschriebenen Weise zu einem Zeitpunkt t₁ kann der Abstand des vorausfahrenden Fahrzeuges 13 bzw. der Abstand zu diesem Fahrzeug auf der Grundlage der ersten und zweiten (oder linken und rechten) Bilder gemessen werden. Durch Wiederholung des oben beschriebenen Vorganges zu nachfolgenden Zeitpunkten kann der Abstand des voraus fahrenden Fahrzeuges bzw. der Abstand zu diesem Fahrzeug laufend gemessen werden, während man ihm mit einem Fahrzeug, das die beschriebene Vorrichtung enthält, beobachtend folgt.

Obwohl bei der oben beschriebenen Ausführungsform der erfindungsgemäßen Vorrichtung die ein Systempaar bildenden ersten und zweiten Systeme 1, 3 und 2, 4 in einem vorbestimmten Abstand horizontal nebeneinander angeordnet sind, können sie auch in anderer Weise zueinander angeordnet sein. Zum Beispiel können sie in vorbestimmtem Abstand vertikal übereinander angeordnet sein, wobei die Basislinie, welche die Mittelpunkte der ersten und zweiten optischen Systeme 1, 3 und 2, 4 miteinander verbindet, d. h. die Strecke, die senkrecht zwischen den optischen Achsen der beiden Systeme liegt, auf der Horizontalen senkrecht steht. Sie können auch längs einer schräg verlaufenden Basislinie angeordnet sein, wobei die Basislinie mit der Horizontalen einen beliebigen Winkel bilden kann.

Anstelle eines Paares von voneinander getrennten Bildsensoren 3, 4 kann auch ein einziger Bildsensor verwendet werden, dessen Abbildungsbereich in zwei Teilbereiche unterteilt ist.

Claims

1. Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes, umfassend

(a) eine Sensoreinrichtung (1, 3; 2, 4) zur laufenden Erzeugung erster und zweiter, das Fahrzeug und seine Umgebung enthaltender Bilder aus unterschiedlichen Aufnahmepositionen,
(b) eine Fensterbildungseinrichtung (11) zur Bildung eines Fensters (15) veränderbarer Größe, in welchem ein das Fahrzeug enthaltender Teil des jeweils ersten Bildes wiedergegeben wird,
(c) eine Speichereinrichtung (5, 6, 7) zum Speichern der ersten und zweiten Bilder sowie des im Fenster (15) wiedergegebenen Fahrzeugbildes,
(d) eine Signalverarbeitungseinrichtung (9), die aus den laufend gebildeten ersten Bildern jeweils ein neues Fahrzeugbild ermittelt, das dem in der Speichereinrichtung (5, 6, 7) gespeicherten Fahrzeugbild am meisten ähnlich ist, und ein provisorisches Fenster bildet, welches das neue Fahrzeugbild umfaßt, und
(e) eine Steuereinrichtung (8), die durch Einstellung des provisorischen Fensters ein neues Fenster bildet derart, daß das darin wiedergegebene Fahrzeugbild die relativ größte Anzahl von aus dem Bild im provisorischen Fenster extrahierten horizontalen Linien enthält, und den Fahrzeugabstand aus dem Maß der Relativverschiebung zwischen dem jeweils ersten Bild und dem jeweils zweiten Bild bestimmt.

2. Vorrichtung nach Anspruch 1, bei welcher die Signalverarbeitungseinrichtung (9) das neue Fahrzeugbild aus dem Minimum der Gesamtsumme S_k,l der absoluten Werte der Unterschiede zwischen den in der Speichereinrichtung (5, 6, 7) zu einem vorhergehenden Zeitpunkt t_o gespeicherten Bildsignalen S_i,j des Fahrzeugbildes und den entsprechenden Bildsignalen SII_i,j in dem ersten Bild zum jeweils aktuellen Zeitpunkt t₁ bestimmt.

3. Vorrichtung nach Anspruch 2, bei welcher die Gesamtsumme S_k,l durch folgende bestimmt wird: wobei S_i,j ein Bildsignal des Fahrzeugbildes im Fenster an der Position i, j zum Zeitpunkt t_o und SII_i,j das entsprechende Bildsignal an der Position i, j im ersten Bild zum Zeitpunkt t₁ darstellen und wobei die horizontalen Bildpunkte i sich von p zu p+r und die vertikalen Bildpunkte j sich von g zu q+s ändern.

4. Vorrichtung nach Anspruch 3, bei welcher die Signalverarbeitungseinrichtung (9) das provisorische Fenster von rechteckiger Form so einstellt, daß die linke untere Ecke des Fensters an einem Punkt p+k, q+l und die obere rechte Ecke dieses Fensters an einem Punkt p+k+r, q+l+s liegen, wobei die Werte k und l durch das Minimum der Gesamtsumme S_k,l bestimmt sind.

5. Vorrichtung nach einem der vorangehenden Ansprüche, bei welcher die Steuereinrichtung (8) zum Extrahieren der horizontalen Linien im provisorischen Fenster die Differenzen zwischen vertikal benachbarten Bildsignalen innerhalb des provisorischen Fensters über die Länge des provisorischen Fensters aufaddiert und das neue Fenster auf der Basis einer vertikalen Position bildet, in der die Summe der Differenzen einen Höchstwert annimmt.

6. Vorrichtung nach Anspruch 5, bei welcher die Steuereinrichtung (8) eine Gesamtsumme S_a der Differenzen zwischen vertikal benachbarten Bildsignalen S_{n, a} und S_{n, a-1} innerhalb einer oberen Hälfte des provisorischen Fensters und eine Gesamtsumme S_b der Differenzen zwischen vertikal benachbarten Bildsignalen S_{n, b} und S_{n, b-1} innerhalb einer unteren Hälfte des provisorischen Fensters nach folgenden Gleichungen bestimmt: worin: q + l + s/2 < a < q + 1 + s, und worin: q + l < b < g + l + s/2,und bei welcher die Steuereinrichtung (8) auf der Grundlage des Unterschiedes zwischen einem Wert a, welcher S_a maximiert, und einem Wert b, welcher S_b maximiert, die vertikale Höhe sI und die horizontale Länge rI des neuen Fensters wie folgt bestimmt:sI = a - b + o und
rI = r + (sI - s) ,wobei
o eine Versetzung des neuen Fensters gegenüber dem provisorischen Fenster ausdrückt und
die linke untere Ecke und die rechte obere Ecke des neuen Fensters an Punkten p+k, b-o/2 bzw. p+k+rI, a+o/2 liegen.