DE19937632A1 - Vorrichtung und Verfahren zur Entfernungsmessung - Google Patents

Abstract

Beschrieben wird eine Entfernungsmeßvorrichtung mit einem Bildsensorpaar, von dem jeder Bildsensor eine Gruppe von Lichtsensoren aufweist, wobei jeder Bildsensor Lichtintensitätsdaten ausgibt, die der von den einzelnen Lichtsensoren empfangenen Lichtintensität entsprechen, und die Lichtsensor-Gruppe jedes Bildsensors in mehrere Lichtsensor-Teilgruppen entsprechend jeweils einer von mehreren Meßrichtungen unterteilt ist. Ein Paar Speichereinrichtungen ist zur Speicherung der Lichtintensitätsdaten vorgesehen. Eine Entfernungsmeßeinrichtung empfängt von den Speichereinrichtungen für jede der Meßrichtungen ein Datensatzpaar, welches die Lichtintensitätsdaten von dem der jeweiligen Meßrichtung entsprechenden Paar Lichtsensor-Teilgruppen repräsentiert, unterteilt jeden Datensatz in eine jeweilige Gruppe von Teildatensätzen und ermittelt die Korrelation zwischen Paaren von Teildatensätzen, um nacheinander die Entfernung in den einzelnen Meßrichtungen auf der Basis der Differenz zwischen ersten und zweiten Extraktionspositionen in einem jeweiligen Datensatzpaar zu erfassen. Die Entfernungsmeßeinrichtung berechnet die Korrelationen und erfaßt die Entfernung in einer jeweiligen Meßrichtung, wenn alle Lichtintensitätsdaten des der jeweiligen Meßrichtung entsprechenden Paares Lichtsensor-Teilgruppen von dem Bildsensorpaar ausgegeben wurden.

Description

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zur Messung der Entfernung zu einem Objekt, etwa einem vorausfahrenden Automobil, zum Zwecke der Verhinde­ rung einer Kollision zwischen Automobilen.

Auf dem Gebiet der Autofokuskameras ist es üblich, daß zwei Bildsensoren zwei Bilder eines Objekts aufnehmen, um die Entfernung zu dem Objekt auf der Grundlage der optischen Parallaxe der beiden Bilder des Objekts genau zu ermitteln. Die Kamera mißt typischerweise die Entfernung zu einem Objekt, das sich vor ihrem Sucher befindet. Die JP 3-141311 A offenbart aber auch eine neue Technik zur Messung der Entfernung zu einem Objekt, das in Richtung eines vorbe­ stimmten Winkels gegenüber der Vorderfläche der Kamera angeordnet ist. Diese Technik soll kurz unter Bezugnahme auf Fig. 5 beschrieben werden.

Zwei Linsen 11 und 12 sind im Abstand einer Basislänge b angeordnet und dienen der Messung der Entfernung d zu einem Objekt 1, das sich in Richtung eines Winkels θ gegenüber dem Lot auf die die Mittelpunkte der beiden Linsen verbindenden Linie in deren Mittelpunkt befindet. Zwei Bildsensoren 21 und 22, die jeweils eine Vielzahl von Lichtsensoren aufweisen, sind im Abstand der Brennweite f von einer jeweiligen der beiden Linsen 11 und 12 so angeordnet, daß mittels der Linsen 11 und 12 Abbildungen I1 bzw. I2 des Objekts 1 über verschiedene optische Wege L1 bzw. L2 auf den Bildsensoren 21 und 22 ausgebildet werden.

Wenn sich ein Objekt 1 im Unendlichen befindet, werden die Bilder I1 und I2 an Referenzpositio­ nen P1 und P2 ausgebildet derart, daß die den Mittelpunkt einer Linse mit der zugehörigen dieser Referenzpositionen P1 und P2 verbindende Linie mit dem den Mittelpunkt der Linse schneidenden Lot auf die Empfangsfläche des zugehörigen Bildsensors den Winkel θ einschließt. Wenn sich das Objekt 1 jedoch in einem endlichen Abstand d von den Linsen befindet, werden die Bilder I1 und I2 an Positionen ausgebildet, die gegenüber den Referenzpositionen P1 und P2 um σ1 bzw. σ2 versetzt sind. Mit σ = σ1 + σ2 ergibt sich dann die Entfernung d zu dem Objekt 1 nach dem Prinzip der Triangulation unabhängig von dem Winkel A zu:

d = bf/σ (1)

In dieser Gleichung (1) sind die Basislänge b und die Brennweite f Konstanten, so daß die Entfernung d dadurch bestimmt werden kann, daß die dem Winkel θ entsprechende Summe σ des Versatzes des Bildes I1 gegenüber der Referenzposition P1 sowie des Versatzes des Bildes I2 gegenüber der Referenzposition P2 gemessen wird. Anstelle der Entfernung d wird σ als Maß für die Entfernung oder auch Entfernungsindex verwendet. Legt man den Scheitel des Winkels θ, der die Richtung des Objekts 1 gegenüber dem Lot auf die Verbindungslinie der Mittelpunkte der beiden Linsen angibt, in die Mitte dieser Verbindungslinie, wie dies in Fig. 5 dargestellt ist, ergibt sich σ1 = σ2.

Unter den Bildsensoren 21 und 22 in Fig. 5 sind Bilddatensätze D1 und D2 dargestellt, die die Intensität des von den einzelnen Lichtsensoren empfangenen Lichts repräsentieren und je 8 Bit- Daten umfassen. Man kann sich die mehreren hundert Lichtsensoren jedes Bildsensors als in Teilgruppen von je 20 bis 30 Lichtsensoren unterteilt vorstellen, wobei die Teilgruppen einander vorzugsweise überlappen und jeweils um einen oder mehrere Lichtsensoren gegeneinander versetzt sind. Jede Lichtsensor-Teilgruppe definiert einen jeweiligen Gesichtsfeldausschnitt und jeder Gesichtsfeldausschnitt eine jeweilige Meßrichtung. Zur Ermittlung des Entfernungsindex σ der Entfernung zu dem Objekt 1, das in Richtung (Meßrichtung) des Winkels θ liegt, wird den Bilddatensätzen D1 und D2 ein jeweiliger Fensterdatensatz DP1 bzw. DP2 entsprechend einem zur Erfassung des Objekts 1 geeigneten Gesichtsfeldausschnitt entnommen. D. h., es werden die Lichtintensitätsdaten von den Lichtsensoren derjenigen Teilgruppe entnommen, die den jeweiligen Gesichtsfeldausschnitt definiert. Weiterhin wird aus jedem Fensterdatensatz DP1 und DP2 eine Gruppe von Teildatensätzen d1 bzw. d2 so entnommen, daß jeder Teildatensatz einer Gruppe gegenüber dem vorangehenden (benachbarten) um einen Datenwert (d. h. eine Einheit) der Lichtintensitätsdaten versetzt ist. Verschiedene Teildatensätze, jeweils einer aus jeder Gruppe, werden nacheinander zu Paaren Ck (k = 0 bis km) kombiniert, und für jedes Paar Teildatensätze, d. h. für jede Kombination, wird die Korrelation zwischen den beiden Teildatensätzen ermittelt.

Wenn die gegeneinander verschobenen oder versetzten Teildatensätze d1, d2 beider Gruppen mit den Lichtintensitätsdaten, die die Bilder I1 und I2 repräsentieren, nacheinander extrahiert werden und die Korrelation ermittelt wird, läßt sich der Kombinationsindex k desjenigen Paares Teildatensätze finden, dessen Teildatensätze eine maximale Korrelation aufweisen. Daraus kann dann der Entfernungsindex σ durch sehr einfache Additionen und Subtraktionen berechnet werden, die den Index k und die Extraktionspositionen der gefundenen Teildatensätze in den Fensterdatensätzen DP1 und DP2 relativ zu den dem Winkel θ entsprechenden Referenzpositio­ nen P1 und P2 verwenden. Die Autofokuskamera kann die Position ihres Objektivs entsprechend dem auf obige Weise gewonnenen Entfernungsindex σ einstellen, um auf ein Objekt 1 zu fokussieren, das sich in Richtung des speziellen Winkels θ vor dem Sucher befindet.

Der Stand der Technik ist somit in der Lage, einen Winkel θ vorzugeben, um die Entfernung zu einem Objekt zu messen, das sich in der Richtung des Winkels θ befindet. Er ist indes nicht in der Lage, ein Objekt (beispielsweise ein Automobil) zu finden, das sich in einer unbekannten Richtung befindet. Mit der bekannten Entfernungsmessung können daher weder Kollisionen zwischen Automobilen und dergleichen verhindert werden, noch kann die Winkelrichtung eines Objekts oder die Entfernung zu ihm ermittelt werden. Zur Verhinderung von Kollisionen muß es möglich sein, ein unbekanntes Objekt zu erfassen, ohne daß der Fahrer es identifizieren müßte. Da ferner im Gesichtsfeld oder Erfassungsbereich der Bildsensoren 21 und 22 verschiedene Arten von Hintergrund, Straßen oder andere Automobile vorhanden sind, muß es zur genauen Erfassung der Entfernung zu einem Objekt möglich sein, dieses Objekt (das vorausfahrende Fahrzeug) zu finden und es so gut wie möglich von dergleichen anderen Objekten oder Störungen zu unterscheiden.

Zur zuverlässigen Verhinderung von Kollisionen muß das Objekt außerdem möglichst schnell erfaßt werden.

Die JP 8-171922 A offenbart eine Technik zur Erreichung dieser Ziele. Diese Technik wird nachfolgend anhand der Zeichnungen beschrieben.

Fig. 6 zeigt eine schematische Darstellung eines Verfahrens zur Einstellung des Gesichtsfeldaus­ schnitts oder Fensters, das zur Erfassung eines Objekts dient, und zeigt die Relation zwischen einer Bildsensoranordnung 20 und einem vorausfahrenden Automobil 1. Eine optische Anordnung enthält Linsen 11 und 12, die in Fig. 6 innerhalb eines Kreises vergrößert dargestellt sind. Die Bildsensoranordnung 20 umfaßt die Bildsensoren 21 und 22, die als kleine Module an der Vorderseite des Automobils montiert sind, das links in der Figur dargestellt ist. Die Bildsensoren 21 und 22 sind in nahezu vertikaler Richtung angeordnet, so daß ihr Gesichtsfeld nahezu vertikal ist. Das zu erfassende Objekt 1 vor den Bildsensoren ist ein vorausfahrendes Fahrzeug. U und L in Fig. 6 stellen die obere bzw. die untere Grenze des Gesichtsfeldes der Bildsensoranordnung dar. Eines mehrerer Gesichtsfeldausschnitte, die zur Erfassung eines Objekts innerhalb des durch U und L begrenzten vertikalen Gesichtsfeldes jedes der Bildsensoren 21 und 22 eingestellt sind, ist durch einen Seh- oder Öffnungswinkel ϕ in der optischen Einrichtung 10 und die zugehörige Meßrichtung (als Winkel θ bezogen auf die Horizontalrichtung definiert) in Fig. 6 veranschaulicht. In Fig. 6 kennzeichnet h die Horizontalrichtung.

Fig. 7 ist eine schematische Darstellung eines Beispiels des Aufbaus verschiedener Einrichtungen zusammen mit der optischen Einrichtung zur Ausbildung von Bildern auf der Bildsensoranordnung 20. Die optische Einrichtung 10 und die Bildsensoranordnung 20, die im oberen Teil von Fig. 7 dargestellt sind, liegen in der Darstellung horizontal nebeneinander, obwohl sie in der Praxis, wie in Fig. 6 gezeigt, vertikal angeordnet sind. Die Bildsensoren 21 und 22 in der Bildsensoranordnung 20 empfangen Licht über die zugeordnete Linse 11 bzw. 12 der optischen Einrichtung 10. Das analoge Lichtmeßsignal, das sequentiell von den einzelnen Lichtsensoren gewonnen wird, wird mittels ein Verstärkers 23 verstärkt und mittels eines AD-Umsetzers 24 in digitale Daten umgesetzt. Die digitalen Daten werden vorübergehend in einem Speicher 25 gespeichert und dann als Bilddatensätze D1 und D2 in eine Entfernungsmeßeinrichtung 70 eingelesen, die nachfolgend beschrieben wird.

Die Entfernungsmeßeinrichtung 70 besteht idealerweise aus Hardware bzw. einer elektronischen Schaltung, um die Geschwindigkeit der Entfernungsmessung in den jeweiligen Richtungen mehrerer Gesichtsfeldausschnitte zu erhöhen. Bei dem Beispiel von Fig. 7 umfaßt die Entfer­ nungsmeßeinrichtung 70 eine integrierte Schaltung, beispielsweise ein Gate-Array, das durch Integration eines Speichers 71, der die Bilddatensätze D1 und D2 speichert, und einer Vielzahl von Entfernungs-Meßschaltungen 72, die parallel arbeiten, gebildet ist. Die Meßschaltungen 72 messen die Entfernung in der Richtung (Meßrichtung) eines jeweiligen Gesichtsfeldausschnitts nach dem anhand von Fig. 5 beschriebenen Verfahren. Das heißt, die Fensterdatensätze DP1 und DP2 werden als paarweise von den Bilddatensätzen D1 und D2 extrahiert, und die Teildatensätze d1 und d2 beider Gruppen von werden sequentiell von den Fensterdatensätzen extrahiert, um die Korrelation zwischen jedem jeweiliger Paare von Teildatensätzen zu ermitteln. Die Entfernung in jeder Meßrichtung wird dann, normalerweise in Form des Entfernungsindex σ, berechnet, und zwar auf der Grundlage des Versatzes der Extraktionspositionen der Teildatensätze desjenigen Paares, bei dem sich die maximale Korrelation ergibt, in den Fensterdatensätzen DP1 und DP2.

Um mit diesem Verfahren die besten Ergebnisse zu erzielen, sollten sich zumindest benachbarte der einzelnen Gesichtsfeldausschnitte des vertikalen Gesichtsfeldes überlappen. Günstigerweise wird die Größe, d. h. der Öffnungswinkel (ϕ in Fig. 6) der einzelnen Gesichtsfeldausschnitte relativ klein gewählt, so daß sich eine große Anzahl von Gesichtsfeldausschnitten ergibt, die einander in großem Ausmaß überlappen. Beispielsweise werden Gesichtsfeldausschnitte je mit einer Größe entsprechend 20 bis 30 Lichtsensoren so eingestellt, daß jeder Gesichtsfeldausschnitt gegenüber dem benachbarten Gesichtsfeldausschnitt um einen Lichtsensor bzw., bezogen auf die Daten­ sätze, einen Datenwert versetzt ist. Zur Berechnung des Entfernungsindex σ schneidet jede Meßschaltung 72 aus den Bilddatensätzen D1 und D2 im Speicher 71 die Fensterdatensätze DP1 und DP2 bzw. die Gruppen von Teildatensätzen d1 und d2 entsprechend dem jeweiligen Gesichtsfeldausschnitt (Fenster) aus und liest die einzelnen Datenwerte entweder sequentiell oder parallel ein. In der Figur ist die Verbindung zwischen dem Speicher 71 und den Meßschaltungen 72 allerdings vereinfacht dargestellt, indem diese einfach durch dünne Leitungen verbunden sind.

Eine Objekterkennungseinrichtung 80 erfaßt ein Objekt 1 anhand der Ergebnisse, die mittels der Entfernungsmeßeinrichtung 70 gewonnen werden, d. h. aus einer Vielzahl von Entfernungsindizes σ, die bei dem dargestellten Beispiel von den Meßschaltungen 72 errechnet werden. Die Objekterkennungseinrichtung 80 ist vorzugsweise in Form einer vorab in einem kleinen Prozessor 90 installierten Software implementiert, wie in der Figur dargestellt, und die Entfernungsindizes σ werden aus der Entfernungsmeßeinrichtung 70 in einen Speicher 91 gelesen, um dort gespeichert zu werden, bevor sie an die Objekterkennungseinrichtung übertragen werden. Die Objekterken­ nungseinrichtung 80 entscheidet nur dann, daß tatsächlich ein Objekt im Bereich der einzelnen Meßrichtungen vorhanden ist, wenn die Entfernungsmeßeinrichtung 70 wiederholt bzw. kontinuierlich einen kleineren Wert als denjenigen ergibt, der zu erwarten wäre, wenn kein Objekt in dieser Richtung vorhanden ist, wenn also beispielsweise der Entfernungswert kleiner als die Entfernung D auf der Straße entsprechend der Meßrichtung θ ist, wie dies in Fig. 6 gezeigt ist.

Für die Entfernungsmessung wird die Korrelation zwischen den jeweiligen Paaren der Teildaten­ sätze d1 und d2 beider Gruppen, die aus den Bilddatensätzen D1 und D2 extrahiert wurden, vorteilhafterweise als die Summe der Absolutwerte der Differenzen zwischen den einander entsprechenden Datenwerten in den beiden Teildatensätzen eines jeweiligen Paares berechnet. Beim Übergang von einer Meßrichtung zur nächsten, wird die Korrelation zwischen einem jeweiligen Paar Teildatensätze einfach dadurch ermittelt, daß zu dem für die vorherige Meßrich­ tung ermitteltem Korrelationswert der Absolutwert (bzw. die Absolutwerte) der Differenz(en) zwischen denjenigen einander entsprechenden Datenwerten hinzuaddiert wird (werden), die zum Gesichtsfeldausschnitt der neuen Meßrichtung, nicht aber zu dem der vorherigen Meßrichtung gehören, während entsprechend der Absolutwert (bzw. die Absolutwerte) der Differenz(en) zwischen denjenigen einander entsprechenden Datenwerten subtrahiert wird (werden), die zum Gesichtsfeldausschnitt der vorherigen, nicht aber zu dem der neuen Meßrichtung gehören. Dies wird nachfolgend anhand von Fig. 8 beschrieben.

Fig. 8(a) zeigt wie ein erstes Paar Fensterdatensätze DP1 und DP2 entsprechend einem ersten Gesichtsfeldausschnitt (einer ersten Meßrichtung) und ein zweites Paar Fensterdatensätze DP1' und DP2' entsprechend einem zweiten Gesichtsfeldausschnitt (einer zweiten Meßrichtung) von den Bilddatensätzen D1 und D2 extrahiert werden und wie jeweils ein Paar Teildatensätze von Gruppen d1 und d2, deren Korrelationswert zu berechnen ist, von jedem der Fensterdatensatz­ paare extrahiert wird. Die beiden Paare Fensterdatensätze DP1, DP2 und DP1', DP2' in der Figur entsprechen zwei benachbarten Gesichtsfeldausschnitten und sind gegeneinander beispielsweise um einen Lichtsensor bzw. einen Datenwert verschoben. Die Korrelationsberechnung wird unter Berücksichtigung der Tatsache vereinfacht, daß die schraffierten Teile der beiden Teildatensätze der Gruppe d1 sowie diejenigen der Gruppe d2 bei der Berechnung denselben Korrelationswert ergeben.

Fig. 8(b) zeigt den wesentlichen Teil eines Beispiels einer Schaltung zur Ausführung dieser vereinfachten Berechnung. Der Bilddatensatz D1 oder D2, der im oberen Teil dieser Figur gezeigt ist, zeigt die Positionen, von denen die beiden Teildatensätze jeweils der Gruppe d1 und der Gruppe d2 extrahiert werden. Unten rechts zeigt die Figur den wesentlichen Teil zweier Meß­ schaltungen 72, während eine gemeinsame Rechenschaltung 73 links von diesen Meßschaltun­ gen dargestellt ist. Die gemeinsame Rechenschaltung 73 liest einen gemeinsamen Abschnitt, um die Summe (Σ) der Absolutwerte der Differenzen zwischen den sich entsprechenden Datenwerten zu berechnen. Der kleine Kreis am rechten Eingang zur Schaltung 73 bedeutet, daß die Differenz durch Addition der Komplemente der jeweiligen Eingangsdaten ermittelt wird. Der dargestellte Teil der Meßschaltungen 72 setzt sich aus Additionsschaltungen zusammen. Additionsschaltun­ gen 72a und 72b mit einem kleinen Kreis an einem der Eingänge dienen tatsächlich der Subtrak­ tion, da sie Differenzen durch Addition der Komplemente der Datenwerte in schon oben beschrie­ bener Weise ermitteln, während eine Additionsschaltung 72C ohne kleinen Kreis lediglich für Additionen verwendet wird.

Bei den beiden Meßschaltungen 72, die in Fig. 8(b) gezeigt sind, berechnet die linke Meßschal­ tung einen Korrelationswert für das obere Paar Teildatensätze, während die rechte Meßschaltung den Korrelationswert für das untere Paar Teildatensätze berechnet. Die Additionsschaltung 72a der linken Meßschaltung 72 empfängt die einem jeweiligen Lichtsensor entsprechenden Daten­ werte neben dem linken Ende des jeweiligen gemeinsamen (schraffierten) Abschnitts des oberen Paares Teildatensätze d1 und d2, um den Absolutwert der Differenz dieser beiden Datenwerte zu ermitteln. Die Additionsschaltung 72c addiert diesen Absolutwert zum Ergebnis der von der gemeinsamen Rechenschaltung 73 ausgeführten Berechnung, um so den Korrelationswert für das obere Paar Teildatensätze zu erhalten. Der von der linken Meßschaltung 72 berechnete Korrela­ tionswert und das Ergebnis der von der Additionsschaltung 72a durchgeführten Subtraktion werden der Additionsschaltung 72b in der rechten Meßschaltung 72 zum Erhalt der Differenz zwischen dem Korrelationswert und dem Subtraktionsergebnis geliefert. Die zusätzliche Addi­ tionsschaltung 72a in der rechten Meßschaltung 72 empfängt die einem jeweiligen Lichtsensor entsprechenden Datenwerte neben dem rechten Ende des jeweiligen gemeinsamen (schraffierten) Abschnitts, um den Absolutwert der Differenz dieser beiden Datenwerte zu ermitteln. Die Additionsschaltung 72c dieser rechten Meßschaltung 72 addiert diesen Absolutwert zum Ergebnis der Subtraktion, die von der Additionsschaltung 72b ausgeführt wurde, um den Korrelationswert für das untere Paar Teildatensätze zu erhalten.

Wie man der obigen Beschreibung leicht entnimmt, können Schaltungen gleich der rechten Meßschaltung 72 wiederholt neben letzterer angeordnet werden, um den Korrelationswert für die k-te Kombination Ck der Teildatensätze zu berechnen, die von den Fensterdatensätzen DP1 und DP2 in Fig. 8(a) für sequentiell verschobene Meßrichtungen extrahiert werden. Natürlich kann der Korrelationswert für andere Kombinationen von Teildatensatzpaaren berechnet werden. Gemäß Fig. 8 kann eine einfache Kombination von Additionsschaltungen verwendet werden, um eine Entfernungs-Meßschaltung 72 zur Berechnung des Korrelationswerts aufzubauen.

Bei dem oben beschriebenen Verfahren müssen alle von den Bildsensoren übertragenen Daten in Speicherelementen als Lichtintensitätsdaten zu Meßzwecken gespeichert werden. Da ein Bildsensor mehrere hundert Pixel oder mehr in einer Reihe, d. h. in eindimensionaler Anordnung aufweist, erfordert dieses Verfahren eine große Anzahl von Speicherelementen bzw. einen großen Speicher, was die Größe der Schaltung erhöht. Außerdem erfolgt, wenn die Lichtintensitätsdaten aller Bildsensoren vorübergehend in den Speicherelementen gespeichert werden, die Entfer­ nungsmessung, nachdem alle Lichtintensitätsdaten von den Bildsensoren ausgegeben wurden. Folglich ergibt sich eine lange Antwortszeit.

Wenn die Schaltungen zur Entfernungsberechnung parallel angeordnet werden, um die Antworts­ zeit zu verringern, nimmt das Ausmaß dieser Schaltungen zu.

Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung und ein Verfahren zur Entfernungs­ messung zu schaffen, die eine kurze Antwortszeit aufweisen, ohne den Umfang oder die Anzahl der Schaltungen zu erhöhen.

Diese Aufgabe wird erfindungsgemäß durch eine Vorrichtung gemäß Patentanspruch 1 und ein Verfahren gemäß Patentanspruch 6 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.

Die Teilgruppe oder Anzahl von Pixeln, die zur Messung der Entfernung in einer von mehreren Meßrichtungen benötigt wird, entspricht etwa einem Zehntel aller Pixel (Lichtsensoren) eines Bildsensors. Für die Ermittlung der Entfernung in einer Meßrichtung bedarf es daher nicht der Lichtintensitätsdaten aller Pixel. Nachdem vielmehr die von den Bildsensoren ausgegebenen Lichtintensitätsdaten für die Fensterdatensätze entsprechend einer Meßrichtung (d. h. eines Gesichtsfeldausschnittes) gesammelt wurden, wird die Entfernung in dieser Meßrichtung ermittelt. Da die Entfernung parallel mit der Übertragung von Lichtintensitätsdaten von den Bildsensoren ermittelt wird, sind die Entfernungen in allen Meßrichtungen nahezu gleichzeitig mit dem Abschluß der Ausgabe von Lichtintensitätsdaten bestimmt.

Da Lichtintensitätsdaten nacheinander von einem Ende eines jeweiligen Bildsensors zum anderen Ende ausgegeben werden, ändert sich die Meßrichtung innerhalb des Gesichtsfeldes. Die Menge an Lichtintensitätsdaten, die für eine Meßrichtung erforderlich ist, ist konstant. Nachdem somit die Entfernungsmessung in einer Meßrichtung beendet ist, gibt es unnötige Lichtintensitätsdaten, die für die Entfernungsmessung in den nachfolgenden Meßrichtungen nicht mehr gebraucht werden. Anders als beim Stand der Technik brauchen daher nicht alle Lichtintensitätsdaten von den Bildsensoren gespeichert zu werden. Die Menge erforderlicher neuer Lichtintensitätsdaten ist die gleiche wie die der nicht mehr benötigten Lichtintensitätsdaten, so daß die Speichereinrich­ tung lediglich eine Speicherkapazität entsprechend der Anzahl an Datenwerten benötigt, die zur Messung der Entfernung in einer Meßrichtung erforderlich sind. Bevor Lichtintensitätsdaten, die zur Ermittlung der Entfernung in einer Meßrichtung benötigt werden, von der Bildsensoranord­ nung ausgegeben werden, wird die Entfernung in der vorangehend benachbarten Meßrichtung ermittelt. Folglich braucht lediglich eine Entfernungs-Meßschaltung vorgesehen zu werden.

Eine große Anzahl an Meßrichtungen wird vorzugsweise so vorgegeben, daß die zugehörigen Gesichtsfeldausschnitte jeweils gegenüber angrenzenden um einen Lichtsensor versetzt sind.

Der Korrelationswert zwischen den beiden Teildatensätzen jedes Paares, die von den Fensterda­ tensätzen extrahiert werden, wird vorteilhaft als Summe der Absolutwerte zweier einander entsprechender Datenwerte der beiden Teildatensätze berechnet und wird dadurch ermittelt, daß die Differenz zwischen den Korrelationswerten zum Korrelationswert entsprechend der vorange­ hend benachbarten Meßrichtung hinzuaddiert bzw. von ihm subtrahiert wird.

Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit den beiliegenden Zeichnungen. Es zeigen:

Fig. 1 schematisch eine Vorrichtung zur Entfernungsberechnung gemäß einem Ausführungs­ beispiel der Erfindung,

Fig. 2 den Aufbau einer bekannten Vorrichtung zur Entfernungsberechnung,

Fig. 3 Übergänge der Meßrichtung und der Lichtintensitätsdaten, die bei der vorliegenden Erfindung verwendet werden,

Fig. 4 ein Flußdiagramm der vorliegenden Erfindung,

Fig. 5 schematisch eine Darstellung zur Erläuterung eines bekannten Verfahrens zur Entfer­ nungsmessung,

Fig. 6 schematisch eine Darstellung des Zusammenhangs zwischen einer Bildsensoranord­ nung und einem vorausfahrenden Automobil gemäß dem Stand der Technik, zur Erläu­ terung eines Verfahrens zur Einstellung eines Gesichtsfeldes bzw. Meßfeldes zur Erfas­ sung eines Objekts,

Fig. 7 eine schematische Darstellung einer bekannten Einrichtung in Verbindung mit einer optischen Einrichtung zur Ausbildung eines Bildes auf der Bildsensoranordnung, und

Fig. 8 einen vorteilhaften Aspekt einer herkömmlichen Entfernungsmeßeinrichtung, wobei Fig. 8(a) schematisch den Zusammenhang zwischen einem Bilddatensatz, einem Fenster­ datensatz und Teildatensätzen zeigt, während Fig. 8(b) ein Schaltbild ist, das den Auf­ bau eines wesentlichen Teils einer Entfernungs-Meßschaltung in Verbindung mit den gruppierten Teildatensätzen zeigt.

Fig. 1 ist eine schematische Darstellung des Aufbaus einer Entfernungsmeßvorrichtung gemäß einem Ausführungsbeispiel der Erfindung. Zum Vergleich zeigt Fig. 2 schematisch den Aufbau einer herkömmlichen Entfernungsmeßvorrichtung, bei der in einer Speichereinrichtung zunächst alle Lichtintensitätsdaten innerhalb des gesamten Gesichtsfeldes gespeichert werden und erst dann die Entfernung ermittelt wird.

In der Darstellung umfaßt eine Bildsensoranordnung 20 zwei lineare Bildsensoren 21, 22 zur sequentiellen Ausgabe von Lichtintensitätsdaten von einem Ende des jeweiligen Bildsensors zum anderen. Beispielsweise kann ein CCD-Zeilensensor verwendet werden (CCD = ladungsgekop­ pelte Einrichtung). Der übrige Aufbau gleicht dem von Fig. 7, und ein analoges Lichtmeßsignal, das sequentiell von den einzelnen Sensoren erhalten wird, wird mittels eines Verstärkers verstärkt, mittels eines AD-Umsetzers in digitale Daten umgesetzt und vor der Ausgabe als Lichtintensitätsdaten vorübergehend in einem Speicher gespeichert.

In Fig. 2(A) und 2(B) sind aus einer Vielzahl von Meßrichtungen zur einfacheren Erläuterung drei ausgewählt, nämlich (a), (b) und (c), und die Fensterdatensatzpaare, die für die jeweiligen Meßrichtungen erforderlich sind, sind mit a1-a2; b1-b2 bzw. c1-c2 bezeichnet.

Bei einem Entfernungsmeßverfahren unter Verwendung der Meßvorrichtung mit dem in den Fig. 1 und 2 gezeigten Aufbau berechnet eine Entfernungsmeßeinrichtung 70 den Korrela­ tionswert der Teildatensätze jeweiliger Teildatensatzpaare, die von den Fensterdatensätzen (a), (b) und (c) extrahiert werden, als Summe der Absolutwerte der Differenzen zwischen einander entsprechenden Datenwerten, und bestimmt den Korrelationswert in jeder Meßrichtung dadurch, daß die Differenz zwischen Korrelationswerten zum Korrelationswert der benachbarten Meßrich­ tung addiert oder von diesem subtrahiert wird. Dies wird nachstehend näher erläutert.

Die Anordnung von Fig. 2 umfaßt eine Speichereinrichtung 71 zur vorübergehenden Speicherung aller Lichtintensitätsdaten innerhalb eines gesamten Gesichtsfeldes, die von der Bildsensoranord­ nung 20 ausgegeben werden. In Fig. 2(A) erfassen unter Verwendung der gespeicherten Lichtintensitätsdaten mehrere Entfernungs-Meßschaltungen 72, von denen eine für jeweils eine der Meßrichtungen vorgesehen ist, gleichzeitig die Entfernung in den Meßrichtungen. In Fig. 2(b) verwendet eine einzige Entfernungs-Meßschaltung 72 die gespeicherten Lichtintensitätsdaten zur Erfassung der Entfernung in einer jeweiligen der verschiedenen Meßrichtungen durch Verschieben der Meßrichtung in der Zeichnung nach links ausgehend von der Meßrichtung (a) und endend mit der Meßrichtung (c) (verschoben wird genau genommen die Stelle, von der die Fensterdatensätze aus der Speichereinrichtung 71 entnommen werden). In Fig. 2(A) ist die Entfernungsmeßzeit kurz, aber die Entfernungs-Meßschaltung und damit die Vorrichtung insgesamt ist groß. In Fig. 2(B) ist die Vorrichtung kleiner, dagegen aber die Entfernungsmeßzeit größer.

In Fig. 1 hat die Speichereinrichtung 71 eine Speicherkapazität, wie sie zur Erfassung der Entfernung in einer Meßrichtung erforderlich ist. Außerdem ist nur eine Entfernungs-Meßschal­ tung 72 vorgesehen.

Lichtintensitätsdaten werden sequentiell von der Bildsensoranordnung 20 ausgegeben und in der Speichereinrichtung 71 gespeichert. Sobald die Entfernungsmeßeinrichtung 70 alle Lichtintensi­ tätsdaten der beiden Fensterdatensätze für die Ausgangs-Meßrichtung erhalten hat, ermittelt die Meßschaltung 72 die Entfernung in dieser Meßrichtung. Die letzten Datenwerte, die von der Bildsensoranordnung 20 für dieses Fensterdatensatzpaar ausgegeben werden, können in der Speichereinrichtung vor oder nach dieser Ermittlung der Entfernung gespeichert werden. Nach Abschluß der Entfernungsmessung in der anfänglichen Meßrichtung sind in der Speichereinrich­ tung 71 die Daten des Gesichtsfeldausschnitts entsprechend der anfänglichen Meßrichtung gespeichert. Wenn dann die nächsten Lichtintensitätsdaten zur Speicherung in der Speicherein­ richtung 71 erhalten werden, werden die bereits gespeicherten in der Speichereinrichtung verschoben. Somit gehen so viele der ursprünglich gespeicherten Datenwerte verloren wie neue hinzukommen. Sobald die Daten für die beiden Fensterdatensätze, die für die nächste Meßrich­ tung erforderlich sind, erhalten wurden, wird die Entfernung in dieser Meßrichtung berechnet. Durch Wiederholen dieser Vorgänge wird die Entfernung nacheinander in allen Meßrichtungen ermittelt. Das Ermitteln der Entfernungen auf diese Weise reduziert wesentlich die Größe der Speichereinrichtung 71 und damit der Vorrichtung insgesamt.

Wenn die Meßschaltung 72 die Entfernungsmessung ausführt, bevor die Bildsensoranordnung 20 die Lichtintensitätsdaten ausgibt, die zur Ermittlung der Entfernung in der nächsten Meßrichtung benötigt werden, wird die Verarbeitungszeit verringert. Gemäß diesem Ausführungsbeispiel ist die Entfernungsermittlung in einer Meßrichtung beendet, bevor diejenige in der nächsten Meßrichtung beginnt. Somit kann eine einzige Entfernungs-Meßschaltung 72 die Entfernungen in allen Meßrichtungen ermitteln.

Dieses Ausführungsbeispiel wird nachfolgend unter Bezugnahme auf die Fig. 3 und 4 weiter erläutert. Fig. 3 zeigt den Übergang von einer Meßrichtung θ_s zur nächsten Meßrichtung θ_s+1 und den entsprechenden Übergang der Sensordaten, die gemäß der Erfindung verwendet werden. Unter Beschränkung auf eine eindimensionale Bildsensorzeile zeigt diese Figur das Fensterdaten­ satzpaar DP1 und DP2 für die Meßrichtung θ_s und das Fensterdatensatzpaar DP1' und DP2' für die Meßrichtung θ_s+1 sowie die entsprechenden Teildatensätze. Die Anzahl an Lichtsensoren bzw. Pixeln in einer Zeile ist m, und die ausgegebenen Lichtintensitäts-Datenwerte sind der Reihe nach von 0 bis m-1 durchnumeriert. d1 und d2 bezeichnen die Gruppen der Teildatensätze, aus denen in erläuterter Weise Paare gebildet werden, für die ein Korrelationswert berechnet wird. n ist die Anzahl von Datenwerten jedes der Teildatensätze in den beiden Gruppen d1 und d2. n wird willkürlich so festgelegt, daß nicht mehrere Objekte mit einem Teildatensatz erfaßt sind. km/2 bezeichnet die Anzahl an Lichtsensoren (Pixeln), um die in einer jeweiligen Gruppe d1, d2 die am weitesten auseinander liegenden Teildatensätze gegeneinander versetzt sind. Diese Zahl wird willkürlich gemäß dem zu erfassenden Entfernungsbereich bestimmt. n + km/2 bezeichnet die Anzahl von Datenwerten (die Länge eines Fensterdatensatzes), die zur Erfassung der Entfernung in einer Meßrichtung erforderlich sind. C bezeichnet einen Korrelationswert und θ_s bezeichnet die Meßrichtung, in der die Entfernung zuerst gemessen wird.

Fig. 4 ist ein Flußdiagramm der Entfernungsmessung gemäß dieser Erfindung. Bei diesem Beispiel wird von einer Meßrichtung zur nächsten durch Verschieben der Fensterdatensätze um je einen Lichtsensor übergegangen.

In Fig. 4 werden im Schritt S101 alle Variablen auf Null gesetzt. Als nächstes wird im Schritt S102 auf die Ausgabe eines Lichtintensitäts-Datenwerts von der Bildsensoranordnung 20 gewartet, genau genommen eines Datenwerts D1(i) vom Bildsensor 21 und eines entsprechenden Datenwerts D2(i) vom Bildsensor 22. Die Fensterdatensätze DP1 und DP2 in Fig. 3 wurden mit Null initialisiert. Schritt S103 prüft, ob km/2 oder mehr Datenwertpaare D1(i) und D2(i) ausgege­ ben wurden. Falls nicht, werden im Schritt 106 die Daten in der Speichereinrichtung weiterge­ schoben und die neuen Datenwerte D1(i) bzw. D2(i) am Ende der Fensterdatensätze DP1 bzw. DP2 angehängt. Bezogen auf die Darstellung in Fig. 3 werden für die Meßrichtung θ_s die Datenwerte am linken Ende des jeweiligen Fensterdatensatzes DP1 bzw. DP2 eingegeben und mit jeder neuen Eingabe nach rechts geschoben. Im Schritt S107 wird die Variable i inkrementiert, und der Ablauf kehrt zum Schritt S102 zur Wiederholung der beschriebenen Abläufe zurück.

Solange von beiden Bildsensoren noch nicht jeweils km/2 Datenwerte ausgegeben wurden, sind die Datenwerte in den Teildatensätzen d1(0) und d2(km/2) noch null. Sobald jedoch jeweils km/2 Datenwerte ausgegeben wurden, wird mit der Korrelationsberechnung im Schritt 104 begonnen. Bei der Berechnung der Korrelationswerte im Schritt S104 werden die Kombinationen C0 bis Ckm nacheinander extrahiert, während die Teildatensätze in beiden Gruppen sequentiell verschoben werden und die Korrelation zwischen den Gruppen von Teildatensätzen d1 und d2 für jede Kombination berechnet wird. Im Schritt S105 wird festgestellt, ob i kleiner als n+km/2 ist. Falls ja, werden die Datenwerte D1(i) und D2(i) im Schritt S106 gespeichert und i im Schritt S107 inkrementiert. Die Abläufe kehren dann durch Wiederholung der beschriebenen Vorgänge zum Schritt S102 zurück. Wenn i = n+km/2 wird, berechnet Schritt S8 die Entfernung. Nach der Berechnung werden wieder die Datenwerte D1(i) und D2(i) im Schritt S106 gespeichert und im Schritt S107 i inkrementiert, wonach der Ablauf wieder zum Schritt S102 zurückkehrt, wo auf die Ausgabe der nächsten Datenwerte gewartet wird. Bei der anfänglichen Meßrichtung θ_s ist in der Gleichung zur Berechnung von C0, die im Schritt S104 in Fig. 4 angegeben ist, der letztere, mit einem Minuszeichen versehene Absolutwert null, so daß sich gemäß der oben angegebenen Rechnung für die anfänglichen Korrelationswerte C0 und C1 folgendes ergibt:

Bei jedem Übergang zu einer neuen Meßrichtung kommen aufgrund des Versatzes zwischen den Fensterdatensätzen DP1 und DP1' bzw. desjenigen zwischen den Fensterdatensätzen DP2 und DP2' Datenwerte hinzu während andere wegfallen. Wenn die Datenwerte, die zur Ermittlung der Entfernung in der nächsten Meßrichtung (θ_s+1) erforderlich sind, ausgegeben werden, kann somit im Schritt S104 der Korrelationswert leicht durch Hinzuaddieren des Absolutwerts der Differenz neu hinzugekommener Datenwerte und Subtraktion des Absolutwerts der Differenz wegfallender Datenwerte bestimmt werden. Nachdem der Korrelationswert ermittelt wurde, wird im Schritt S108 die Entfernung berechnet, wonach im Schritt S106 die Datenwerte in der Speichereinrich­ tung weitergeschoben werden, wobei für die neue Meßrichtung (θ_s+1) (und die dann folgenden Meßrichtungen) nicht mehr erforderliche Datenwerte verloren gehen. Dann werden die für die neue Meßrichtung (θ_s+1) neu hinzugekommenen Datenwerte gespeichert. Im Schritt S107 wird dann i inkrementiert, wonach der Ablauf zum Schritt S102 zurückkehrt und auf die Ausgabe der nächsten Datenwerte wartet. Diese Schritte werden wiederholt, um die Entfernungen in allen Meßrichtungen in Echtzeit zu ermitteln.

Die nächsten Lichtintensitäts-Datenwerte werden von der Bildsensoranordnung 20 ausgegeben, nachdem die Entfernungsberechnung abgeschlossen wurde. Alternativ kann die Schaltung so ausgelegt werden, daß die Entfernungsberechnung abgeschlossen wird, bevor die nächsten Lichtintensitätsdaten an die Entfernungsmeßeinrichtung 70 abgegeben werden.

Die vorliegende Erfindung erlaubt es, die Anzahl von Speicherelementen, die zur Berechnung der Entfernungen in einer großen Anzahl von Meßrichtungen erforderlich sind, zu verringern, und damit die Größe der Vorrichtung insgesamt zu verringern. Die Entfernung wird gleichzeitig mit der Ausgabe von Lichtintensitätsdaten in Echtzeit berechnet, was es ermöglicht, die Verarbeitungs­ zeit zu verringern. Bei der Auslegung eines speziell hierfür vorgesehenen Gate-Arrays oder eines ASIC, wird zu einer Zeit immer nur eine Entfernungsmeßschaltung benötigt, weshalb die Größe der Vorrichtung insgesamt deutlich verringert werden kann.

Claims (7)

1. Entfernungsmeßvorrichtung, umfassend
eine Bildsensoranordnung (20) mit einem Bildsensorpaar, von dem jeder Bildsensor (21, 22) in linearer Anordnung eine Gruppe von Lichtsensoren aufweist, die zur Aufnahme eines Bildes in jeder von mehreren Meßrichtungen (θ_s, θ_s+1) innerhalb eines Gesichtsfeldes in Teilgrup­ pen unterteilt sind, wobei jeder Bildsensor nacheinander ausgehend von einem Ende der Lichtsen­ sor-Gruppe zum anderen Ende Lichtintensitätsdaten ausgibt, die der von den einzelnen Lichtsen­ soren empfangenen Lichtintensität entsprechen, und jede Lichtsensor-Teilgruppe eine vorbe­ stimmte Anzahl an Lichtsensoren enthält,
ein Paar Speichereinrichtungen (71) zur Speicherung der Lichtintensitätsdaten, die se­ quentiell von einem jeweiligen der Bildsensoren ausgegeben werden, und
eine Entfernungsmeßeinrichtung (72), die beschaffen ist,

• 1. sequentiell von den Speichereinrichtungen (71) für jede der Meßrichtungen (θ_s, θ_s+1) ein Datensatzpaar (DP1, DP2, DP1', DP2') zu empfangen, welches die Lichtintensitätsdaten von dem der jeweiligen Meßrichtung entsprechenden Paar Lichtsensor-Teilgruppen repräsentiert,
• 2. jeden Datensatz (DP1, DP2, DP2, DP1', DP2') in eine jeweilige Gruppe (d1, d2) von Teildatensätzen (d1(0)-d1(km/2), d2(0)-d2(km/2)) zu unterteilen, und
• 3. die Korrelation zwischen den beiden Teildatensätzen, einen von jeder Gruppe (d1, d2), von Teildatensatzpaaren zu berechnen, um nacheinander die Entfernung in den einzelnen Meßrichtungen (θ_s, θ_s+1) auf der Basis der Differenz zwischen ersten und zweiten Extraktionsposi­ tionen in einem jeweiligen Datensatzpaar (DP1, DP2) zu erfassen, wobei die ersten Extraktions­ positionen diejenigen der beiden Teildatensätze desjenigen Teildatensatzpaares sind, das die höchste Korrelation aller Teildatensatzpaare in einem jeweiligen Datensatzpaar (DP1, DP2) ergibt, und die zweiten Extraktionspositionen die Extraktionspositionen (P1, P2) der beiden Teildaten­ sätze desjenigen Teildatensatzpaares sind, das die höchste Korrelation ergibt, wenn die gemes­ sene Entfernung in der jeweiligen Meßrichtung unendlich ist,

dadurch gekennzeichnet, daß die Entfernungsmeßeinrichtung beschaffen ist, die Korrela­ tionen zu berechnen und die Entfernung in einer jeweiligen Meßrichtung zu erfassen, wenn alle Lichtintensitätsdaten des der jeweiligen Meßrichtung (θ_s, θ_s+1) entsprechenden Paares Lichtsen­ sor-Teilgruppen von dem Bildsensorpaar ausgegeben wurden.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Speicherkapazität jeder der Datenspeichereinrichtungen (71) der Menge an Lichtintensitätsdaten, die für eine Meßrichtung anfallen, entspricht.

3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Entfernungs­ meßeinrichtung (72) eine einzige Entfernungsmeßschaltung für mehrere Meßrichtungen aufweist.

4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß in jedem Bildsensor (21, 22) jede Lichtsensor-Teilgruppe eine benachbarte Lichtsensor- Teilgruppe überlappt.

5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß in jedem Bildsensor (21, 22) jede Lichtsensor-Teilgruppe gegenüber benachbarten Lichtsensor-Teilgruppen um einen Lichtsensor verschoben ist.

6. Verfahren zur Berechnung einer Entfernung in einer Vorrichtung gemäß Anspruch 3, dadurch gekennzeichnet, daß die Korrelation zwischen den beiden Teildatensätzen jedes Teildatensatzpaares als Summe der Absolutwerte von Paaren einander entsprechender Daten in den beiden Teildatensätzen berechnet wird und durch Addition und Subtraktion der Differenz zwischen Korrelationswerten zum Korrelationswert bzw. vom Korrelationswert entsprechend der vorausgehend benachbarten Meßrichtung bestimmt wird.

7. Verfahren nach Anspruch 6 zur Berechnung der Entfernung in einer Vorrichtung gemäß Anspruch 5, dadurch gekennzeichnet, daß die Entfernungsermittlung auf der Basis der Lichtintensitätsdaten einer jeweiligen Lichtsensor-Teilgruppe in jedem der Bildsensoren (21, 22) entsprechend einer Meßrichtung abgeschlossen ist, bevor die Lichtintensitätsdaten entsprechend dem Lichtsensor des der nächst benachbarten Meßrichtung zugeordneten benachbarten Lichtsen­ sor-Teilgruppe, der nicht in der jeweiligen Lichtsensor-Teilgruppe enthalten ist, in der Speicherein­ richtung (71) gespeichert wird.