DE4015959C2 - Verfahren und Anordnung zur Erkennung von Hindernissen - Google Patents

Description

Die Erfindung geht aus von einem Verfahren nach der Gattung des Hauptanspruchs.

Neben anderen Verfahren zur Erkennung von Hindernissen vor einem fahrenden Fahrzeug wurde bereits die stereoskopische Aufnahme mit Hilfe zweier Videokameras vorgeschlagen, deren Videosignale mittels Bild-Kartierung verarbeitet werden (Ekkes Schulze, Kai Storjohann: "Kartierung - ein Strukturprinzip visueller Informationsverarbeitung" c't 1988, Heft 11, Seiten 70 und 72). Dabei werden die für eine Bild-Kartierung erforderlichen Funktionen von einem Mikroprozessor wahrgenommen, wozu jedoch ein erheblicher Rechenaufwand erforderlich ist.

Aus der EP 0 360 880 A1 ist ferner ein Verfahren zum Segmentieren dreidimensionaler Szenen bekannt, bei dem von zwei gegeneinander geneigten Kameras ein Bild des Fahrwegs eines unbemannten Fahrzeugs aufgenommen wird und das Bild der einen Kamera hierbei auf das Bild der anderen Kamera projiziert wird. Die Erfassung und Transformation erfolgt praktisch kontinuierlich und wird dadurch vereinfacht, daß zwischen abgetasteten Pixeln jeweils nicht abgetastete Pixel liegen. Aus der EP 290 633 ist ein Verfahren zum Erkennen von Änderungen im Fahrraum eines unbemannten Fahrzeuges bekannt, bei dem eine Kamera eine Rasterprojektion auf den Fahrraum des Fahrzeugs erfaßt und durch die Aufnahme und Auswertung von Bildfolgen des Fahrraumes das Fahrzeug gesteuert wird.

Änderungen im Fahrraum eines Transportsystems über und vor dem Fahrzeug befindlichen Raum aufgenommenen Bildfolgen erfaßt.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Anordnung nach der Gattung des Hauptanspruchs derart auszubilden, daß der Rechenaufwand wesentlich vermindert wird. Dabei soll ferner der Schaltungsaufwand möglichst gering sein.

Das erfindungsgemäße Verfahren mit den kennzeichnenden Merkmalen des Hauptanspruchs hat den Vorteil, daß die zu einer perspektiven Kartierung erforderlichen Operationen in einfacher Weise durch wenige Schaltungen durchgeführt werden, so daß Bildsignale entstehen, die lediglich das aus der Bewegungsebene herausragende Hindernis darstellen.

Diese Bildsignale können an sich in einfacher Weise z. B. durch Schwellwertschaltungen und Spitzenwertgleichrichter ausgewertet werden. Vorzugsweise wird man jedoch einen Rechner vorsehen, der eine wesentlich komplexere Auswertung vornehmen kann. So kann von dem Rechner beispielsweise die zeitliche Veränderung, die Größe und/oder die Form der von den Bildsignalen dargestellten Hindernisse verwertet werden.

Das erfindungsgemäße Verfahren kann durchaus derart ausgeführt werden, daß die gesamte Signalverarbeitung der von den Videokameras erzeugten Videosignale für beide Kameras gleich ist, so daß beide Videosignale bis zu einer Überdeckung der Bilder der in der Bewegungsebene befindlichen Gegenstände zeitlich verschoben werden.

Eine Weiterbildung der Erfindung befaßt sich jedoch damit, daß lediglich die Videosignale einer Videokamera entsprechend verzögert werden. Dazu wird lediglich im Zusammenhang mit einer der Videokameras eine steuerbare Verzögerungseinrichtung benötigt.

Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im Hauptanspruch angegebenen Erfindung möglich.

Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 zwei auf ein Fahrzeug montierte Videokameras,

Fig. 2 schematische Darstellungen der Bilder der linken und der rechten Videokamera,

Fig. 3 die geometrischen Verhältnisse bei der Abbildung der Bewegungsebene auf den Bildsensor der Videokamera,

Fig. 4 schematische Darstellungen verschiedener Bilder zur Erläuterung der Kartierung ohne ein Hindernis und

Fig. 5 mit einem Hindernis,

Fig. 6 die geometrischen Verhältnisse zur Berechnung des Versatzes,

Fig. 7 ein Blockschaltbild eines ersten Ausführungsbeispiels,

Fig. 8 ein Blockschaltbild eines zweiten Ausführungsbeispiels,

Fig. 9 ein Blockschaltbild eines dritten Ausführungsbeispiels,

Fig. 10 schematisch die Bildung eines Subpixels und

Fig. 11 die Transformation eines Bildes einer gekippten Videokamera.

Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen.

Fig. 1 zeigt zwei Videokameras 1, 2, die auf ein lediglich angedeutetes Fahrzeug 3 montiert und auf die Fahrbahn vor dem Fahrzeug gerichtet sind. Die von der Fahrbahn gebildete Ebene 4 wird im folgenden Bewegungsebene genannt. Die optischen Achsen der Videokameras 1, 2 sind parallel ausgerichtet, wobei die obere Begrenzung O des Gesichtsfeldes parallel zur Bewegungsebene 4 liegt. Während Fig. 1a eine Ansicht von oben darstellt, ist Fig. 1b eine Seitenansicht. Die Linie U stellt den unteren Rand des Gesichtsfeldes der Videokameras dar bzw. die kürzeste Entfernung vor dem Fahrzeug, in welcher die Bewegungsebene 4 von den Videokameras 1, 2 aufgenommen wird. Es sei angenommen, daß sich auf der Bewegungsebene ein gerader Strich 5 befindet, der unterhalb der Videokamera 2 in Bewegungsrichtung verläuft.

Fig. 2 stellt das Bild B1 der linken Videokamera und das Bild B2 der rechten Videokamera dar. Durch den Abstand der Videokameras bedingt, erscheint der Strich 5 im Bild B1 schräg, im Gegensatz zur Darstellung des Strichs 5 im Bild B2.

Dadurch, daß die obere Begrenzung der Videokameras ins Unendliche gerichtet ist, ergibt sich, daß beide Abbildungen des Strichs am oberen Bildrand in der Mitte liegen. Die Abbildung des Strichs 5 am unteren Bildrand ist entsprechend des Kameraabstandes gesetzt. Die Größe dieses Versatzes ist bei vorgegebenen geometrischen Verhältnissen von der zu den optischen Achsen senkrechten Entfernung zwischen dem einzelnen Punkt der Bewegungsebene und den Projektionszentren der Videokameras sowie von der dadurch bestimmten effektiven Brennweite abhängig.

Dieser Zusammenhang wird im folgenden unter Bezugnahme auf Fig. 3 näher erläutert. Dabei zeigt Fig. 3a eine Ansicht von oben und Fig. 3b eine Seitenansicht. Die lichtempfindliche Fläche der Videokamera liegt in der Ebene 7. Aus dem Strahlensatz ergibt sich folgende Gleichung:

V (B . f_eff)/g (1)

mit
V = Versatz,
B = Basisweite der Videokameras,
f = Brennweite und
g = Gegenstandsweite.

Gleichung 1 besagt, daß mit zunehmender Entfernung des Punktes G auf dem Strich 5 der Versatz V geringer wird. Im Unendlichen erfolgt kein Versatz mehr. Für jede Zeile des linken Kamerabildes existiert ein definierter Versatz gegenüber der korrespondierenden Zeile des Bildes der rechten Videokamera. Wird ein Punkt aus der Bewegungsebene im rechten Bild auf die Zeile m und die Spalte n eines Bildes abgebildet, dann wird dieser Punkt im Bild der linken Videokamera ebenfalls auf die Zeile m, aber auf die Spalte n + dn abgebildet. Dabei ist dn eine Funktion von m und charakteristisch für die Bewegungsebene, d. h. nur für Punkte dieser Bewegungsebene gültig.

Fig. 4 verdeutlicht diese Zusammenhänge anhand von skizzierten Kamerabildern. Die Darstellung des Strichs 5 im linken Bild B1 zeigt einen Versatz von dn(m). Dieser Versatz wird durch eine entsprechende zeitliche Verschiebung der Videosignale kompensiert, so daß ein transformiertes Bild B1' mit der Abb. 5' des Strichs entsteht. Wird dieses von dem rechten Bild B2 subtrahiert, so entsteht das Differenzbild B2 - B1'. Da die Abbildungen des Strichs 5 bzw. 5' in den Bildern B1' und B2 gleich sind, bleibt ein schwarzes Bild übrig.

Lediglich in einem Randbereich 6 entsteht kein auswertbares Videosignal, da durch die Transformation des linken Bildes B1 mittels einer zeilenweisen Verschiebung keine Videosignalanteile für diesen Bereich vorliegen. Der entsprechende Bereich der Bewegungsebene liegt außerhalb des Blickfeldes der linken Videokamera 1. Bei einer späteren Auswertung des Differnzbildes muß daher dieser Bereich unberücksichtigt bleiben.

Der erläuterte Zusammenhang zwischen Versatz und vertikaler Lage gilt jedoch nur für Gegenstände in der Bewegungsebene. Befindet sich ein Hindernis außerhalb der Bewegungsebene, erfolgt hierfür keine Auslöschung der Abbildung im Differenzbild. Ist dabei die Entfernung aller Punkte des Hindernisses von den Videokameras konstant, ist auch der Versatz für das gesamte Hindernis konstant, nämlich so groß wie der Versatz derjenigen Zeile, in welcher der Fußpunkt des Hindernisses abgebildet wird.

Bei einem rechteckigen vor den Videokameras stehenden Hindernis ergeben sich beispielsweise die in Fig. 5 dargestellten Bilder. Zur Verdeutlichung der Bewegungsebene ist diese in Fig. 5 durch ein Strichraster dargestellt. Das Differenzbild B2 - B1' zeigt die sich nach der Transformation nicht überdeckenden Teile des Hindernisses als weiße Flächen.

Die das Differenzbild darstellenden Videosignale können im einfachsten Fall durch eine Schwellwertschaltung beispielsweise derart ausgewertet werden, daß bei Überschreiten eines Schwellwertes ein Warnsignal oder ein Bremsvorgang ausgelöst wird. Eine derart einfache Auswertung ist umso eher möglich, je einfacher die optischen Verhältnisse sind. Dieses ist beispielsweise bei einem Flurförderfahrzeug der Fall, das sich auf einer ebenen Fläche bewegt, auf welcher Hindernisse auftreten können, die eine ausreichende Größe und einen ausreichenden Kontrast gegenüber der Fläche aufweisen. Für komplexere Verhältnisse sind Auswerteverfahren mit Hilfe eines Rechners bekannt, bei denen beispielsweise auch die Lage des Hindernisses in bezug auf das Fahrzeug und die relative Bewegung des Hindernisses berücksichtigt wird. Die Auswertung an sich ist jedoch nicht Gegenstand der vorliegenden Erfindung.

Mit Hilfe der erfindungsgemäßen Anordnung wird in einfacher Weise eine perspektive Kartierung vorgenommen. Zur Berechnung des Versatzes in jeweils einer Zeile wird im folgenden auf Fig. 6 hingewiesen. Dabei ist wie in Fig. 3 mit 7 die lichtempfindliche Fläche der Videokamera bezeichnet und die Bildweite gegenüber den tatsächlichen Verhältnissen erheblich vergrößert dargestellt. t ist die vertikale Auslenkung auf der lichtempfindlichen Fläche 7 bei der Abbildung eines Punktes auf der Bewegungsebene 4 der den Abstand x vom Objektiv der Videokamera aufweist. Für die Bildmitte gilt t = 0, für den unteren Rand t = T. Der Zusammenhang dieser Größen errechnet sich wie folgt:

Durch Einsetzen von Gleichung (3) und Gleichung (1) erhält man für den Versatz dn(t):

Aus den Gleichungen (5) bzw. (6) kann ein lineares Gleichungssystem hergeleitet werden, das die zwei Konstanten A und B bestimmt. Hierzu sind lediglich zwei Paßpunkte im Bild erforderlich. Jeder Punkt liefert einen Wert für die vertikale Auslenkung t (entsprechend der Zeile) und den horizontalen Versatz dn(t). Da diese Punkte jeweils in der gleichen Zeile des linken und rechten Bildes vorzufinden sind, können sie beispielsweise über eine Korrelationsfunktion auf der Zeile automatisch bestimmt werden. Eine Verbesserung der Genauigkeit für die Parameter A und B kann durch Erhöhung der Paßpunktzahl und Lösung des überbestimmten Gleichungssystems (Regressionsanalyse) erreicht werden.

Bei dem in Fig. 7 dargestellten Ausführungsbeispiel werden die Videokameras 1, 2 von einem Taktgeber 21 mit horizontalfrequenten und vertikalfrequenten Synchronsignalen H, V versorgt. Die Ausgangssignale der Videokameras 1, 2 werden je einem Analog/Digital-Wandler 22, 23 zugeführt, dem ein Abtasttakt P zugeführt wird, so daß pro Bildelement (Pixel) jeweils ein Digitalwert vom Analog/Digital-Wandler ausgegeben wird.

Den Analog/Digital-Wandlern 22, 23 ist je eine steuerbare Verzögerungseinrichtung 24, 25 nachgeschaltet, mit welchen die digitalen Videosignale nicht oder um ein steuerbares ganzzahliges Vielfaches einer Zeilenperiode verzögert werden können. Hierdurch kann eine Kompensation einer eventuellen Fehlausrichtung der Videokameras 1, 2 in vertikaler Richtung durchgeführt werden. Die Verzögerungseinrichtungen sind vorzugsweise Schieberegister, denen die Taktsignale H und P zugeführt werden. Für die digitalen Videosignale der Videokamera 1 ist eine weitere Verzögerungseinrichtung 26 vorgesehen, die im wesentlichen von einem FIFO-Speicher gebildet wird. In diesen werden die Ausgangssignale der Verzögerungseinrichtung 24 mit dem Takt P eingeschrieben. Das Auslesen erfolgt mit einer Verzögerung, die dem Versatz dn(m) entspricht. Der Übersichtlichkeit halber sind in den Fig. Verzögerungen, die zum Ausgleich von Signallaufzeiten vorgenommen werden und bis zu einigen Bildelementperioden betragen, nicht dargestellt.

Zur Steuerung des Auslesevorgangs aus der Verzögerungseinrichtung 26 ist in einem Schreib/Lese-Speicher 27 die Funktion dn(m) abgelegt. Als Adresse wird die jeweilige Zeilennummer zugeführt, die von einem Zeilenzähler 28 erzeugt wird, der jeweils zu Beginn eines Bildes mit Hilfe des Synchronimpulses V zurückgesetzt und mit den Synchronimpulsen H inkrementiert wird. An einem Datenausgang des Schreib/Lese-Speichers 27 steht der Versatz, der der jeweiligen Zeile zugeordnet ist, zur Verfügung. Ein Bildelementzähler 28 wird mit dem Synchronsignal H zurückgesetzt und mit dem Takt P inkrementiert. Erreicht der Zählerstand den Wert des Versatzes, wird dieses mit Hilfe eines Komparators 30 festgestellt und der Auslesevorgang aus dem FIFO-Speicher der Verzögerungseinrichtung 26 gestartet.

Damit steht ein Videosignal V1' zur Verfügung, welches das transformierte Bild B1' (Fig. 4) darstellt. Zusammen mit dem Videosignal V2 wird es den Eingängen einer Recheneinheit (ALU) 31 zugeführt.

Die Recheneinheit 31 dient in erster Linie dazu, die Videosignale V2 und V1' voneinander zu subtrahieren, um die Signale des Differenzbildes zu erhalten. Käufliche Recheneinheiten umfassen jedoch auch noch weitere Funktionen, wie beispielsweise Addition oder die Weiterleitung eines der Eingangssignale. Diese Funktionen können über einen weiteren Eingang der Recheneinheit 31 angewählt werden, der mit dem Ausgang eines Registers 32 verbunden ist. Dadurch ist es möglich, außer dem Betrieb zur Erkennung von Hindernissen andere Betriebsarten zum Test und zur Justierung der erfindungsgemäßen Anordnung anzuwählen.

Das von der Recheneinheit 31 ausgegebene Differenzsignal wird anschließend bewertet. Dazu dient eine Wertetabelle (Look-up table) 33, die in einem Speicher abgelegt ist. Ein wesentlicher Aspekt dieser Bewertung ist die Unterdrückung von Differenzsignalen, die unterhalb einer vorgegebenen Schwelle liegen (Coring), da diese meistens durch Rauschanteile gebildet werden. Ferner wird mit der Bewertung eine Betragsbildung vorgenommen, da es im Normalfall für eine spätere Auswertung unerheblich ist, ob das Differenzsignal negativ oder positiv ist.

Für die weitere Auswertung ist der Ausgang der Bewertungsschaltung 33 über einen Bildbus 34 und eine geeignete Schnittstelle 35 mit einem Rechner 36 verbunden. Über den Datenbus 37 des Rechners 36 können in den Schreib/Lese-Speicher 23 und in den Speicher der Bewertungsschaltung 33 geeignete Daten eingeschrieben werden. So ist beispielsweise der Versatz des Videosignals V1' von der Neigung des Fahrzeugs abhängig. Dazu ist an den Rechner 36 ein Neigungssensor 38 angeschlossen, aus dessen Ausgangssignalen der Rechner 36 eine geeignete Funktion des Versatzes errechnet und in den Speicher 27 einschreibt.

In ähnlicher Weise kann die Wertetabelle in der Bewertungsschaltung 33 an verschiedene Umstände, beispielsweise an die Signalqualität, angepaßt werden.

Die Speicher 27 und der Speicher in der Bewertungsschaltung 33 können auch durch programmierbare Nur-Lese-Speicher realisiert werden, wobei gegebenenfalls zur Auswahl von verschiedenen Versatzfunktionen und Bewertungsfunktionen zusätzliche Binärstellen der Adressen dienen.

Bei dem Ausführungsbeispiel gemäß Fig. 7 erfolgt die Transformation durch eine steuerbare Verzögerung der Videosignale der Videokamera 1. Auch ein vertikaler Abgleich erfolgt mit Hilfe von Verzögerungen der Videosignale. Es ist im Rahmen der Erfindung jedoch möglich, die gleichen Funktionen durch eine entsprechende zeitliche Verschiebung der den Videokameras zugeführten Synchron- und Taktsignale durchzuführen. Ein Abgleich in vertikaler Richtung kann dadurch erfolgen, daß der vertikalfrequente Synchronimpuls V der einen Videokamera gegenüber demjenigen der anderen Videokamera um jeweils eine Zeilenperiode bzw. ein Vielfaches davon verschoben wird. Der horizontale Versatz kann dadurch erfolgen, daß beispielsweise der horizontalfrequente Synchronimpuls H der Videokamera 1 dem Versatz entsprechend verschoben wird.

Bekanntlich entsteht durch die digitale Verarbeitung von Videosignalen nicht nur eine amplitudenmäßige, sondern auch eine zeitliche Quantisierung (Bildelemente in horizontaler Richtung). Entsprechend wird auch der Versatz bei der Anordnung nach Fig. 7 nur als ganze Anzahl von Elementen berücksichtigt - selbst wenn der berechnete Versatz einen unganzzahligen Wert aufweist. Eine Verbesserung in dieser Hinsicht ist bei dem Ausführungsbeispiel nach Fig. 8 vorgesehen. Dabei ist dem FIFO-Speicher 26 ein Register 41 nachgeschaltet, welches das Videosignal V1' um jeweils eine Periode des Taktsignals P verzögert, so daß am Ausgang und am Eingang des Registers 41 jeweils gleichzeitig die Werte zweier benachbarter Bildelemente anliegen.

Der Speicher 42, in welchem der von der Zeile abhängige Versatz gespeichert ist, enthält die einzelnen Werte des Versatzes mit einer größeren Genauigkeit. Dabei werden diejenigen Binärstellen, die auch bei der Anordnung nach Fig. 7 verwertet wurden, ebenfalls dem Komparator 30 zugeführt, während die geringwertigeren Binärstellen zur Erzeugung eines sogenannten Subpixels herangezogen werden. Dieses Subpixel ist ein gedachtes Bildelement, dessen Lage zwischen zwei benachbarten Bildelementen liegt.

Da ein derartiges Bildelement aufgrund der zeitlichen Quantisierung an sich nicht besteht, erfolgt eine Interpolation der Werte zweier benachbarter Bildelemente. Dazu werden die geringerwertigen Binärstellen des Versatzes, die den nach Abzug der ganzen Zahl von Bildelementen verbleibenden Bruchteil darstellen, einem ersten Multiplizierer 43 und über eine Schaltung 44 zur Bildung des Komplements einem zweiten Multiplizierer 45 zugeführt. Somit werden die beiden benachbarten Bildelemente entsprechend der Lage des gedachten Subpixels gewichtet und in einem Addierer 46 addiert.

In einer weiteren Schaltung 47 wird die Summe normiert und von dort mit dem Takt P in den einen Eingang der Recheneinheit 31 ausgegeben. Die Normierung erfolgt durch Rechts-shiften der Summe um diejenige Anzahl von Binärstellen, welche den obengenannten Bruchteil darstellen. Dieses ist deshalb erforderlich, weil diese Binärstellen bei der Multiplikation und bei der Komplementbildung als Ganzzahlen behandelt werden. Im Falle von vier Nachkommastellen wird die Normierung durch eine Division durch 16 erzielt. Die übrigen Funktionsgruppen der Anordnung nach Fig. 8 entsprechen denjenigen der Anordnung nach Fig. 7.

Bei den Anordnungen nach Fig. 7 und Fig. 8 wird davon ausgegangen, daß die Ausrichtung der beiden Videokameras 1, 2 bezüglich ihrer Höhe um einige Zeilen abweichen kann. Es ist jedoch eine exakte Ausrichtung bezüglich der Drehung des Bildes erforderlich. Um jedoch auch in dieser Hinsicht bei den Videokameras und deren Befestigung einen gewissen Toleranzbereich zulassen zu können, ermöglicht die Anordnung nach Fig. 9 außer einer waagerechten Verschiebung eine geringfügige Drehung beim Transformationsvorgang. Dazu wird nicht nur eine Zeile - wie in der Verzögerungseinrichtung 26 der Anordnung nach Fig. 7 - sondern eine Mehrzahl von Zeilen zu Zwecken der Transformation gespeichert. Dadurch kann bei einer Verdrehung der Videokameras gegeneinander beim Auslesen der transformierten Videosignale von einer Zeile auf eine andere übergegangen werden.

Bei dem Ausführungsbeispiel nach Fig. 9 ist ein Wechsel zwischen 16 Zeilen vorgesehen, wozu in dem Schreib/Lese-Speicher 51 jeweils 16 aufeinander folgende Zeilen abgelegt sind. Die Verzögerungseinrichtung 25 ist ebenfalls für 16 Zeilen ausgelegt, damit jeweils eine durch Transformation entstandene Zeile gleichzeitig mit der zu vergleichenden Zeile der Videokamera 2 zur Verfügung steht.

Zum Einschreiben und zum Auslesen ist je ein Adressenrechner 52, 53 vorgesehen, die mit Synchronimpulsen H und dem Taktsignal P versorgt werden. Zusätzlich wird dem Lese-Adressenrechner 53 noch der ganzzahlige Teil des Versatzes aus dem Schreib/Lese-Speicher 42 zugeführt. Da auch hier ein Übergang zwischen Bildelementen der einen und der nächsten Zeile nicht sprunghaft erfolgen soll, ist eine Erzeugung von Subpixeln zusätzlich zur horizontalen Richtung auch in vertikaler Richtung vorgesehen. Aus dem Schreib/Lese-Speicher 51 werden deshalb gleichzeitig die Werte von vier Bildelementen ausgelesen und Multiplizierern 54, 55, 56, 57 zugeführt. Um das gleichzeitige Auslesen zu ermöglichen, sind im Schreib/Lese-Speicher 51 mehrere Dual-Port-RAMs angeordnet, die mindestens zum Auslesen verschieden voneinander adressiert werden können. Ähnlich wie bei der Anordnung nach Fig. 8 werden die geringwertigeren Binärstellen der Adressen als Faktoren für die Bewertung der Bildelemente in einem Koeffizientenrechner 60 herangezogen. In einem Addierer 58 entsteht dann der gewünschte gewichtete Mittelwert, der in der Schaltung 59 normiert wird, was analog zu Fig. 8 erfolgt. Dabei wird jedoch die doppelte Anzahl von Binärstellen unterdrückt, da zuvor je eine Multiplikation in horizontaler und vertikaler Richtung erfolgt.

Fig. 10 zeigt ein Beispiel für die Verschiebung eines Subpixels um eine gebrochene Zeilen- und Spaltenzahl. Die Bildelemente sind dazu als Kreise dargestellt. Die im Speicher 42 abgelegte Transformationsfunktion ergibt, daß ein Versatz um 2,75 Zeilen und 18,625 Spalten erfolgen soll. Ein Bildelement, das mit einem Bildelement in Zeile 6 und Spalte 26 des Bildes B2 der anderen Videokamera verglichen werden soll, müßte demnach aus der "Zeile 3,25" und der "Spalte 7,375" versetzt werden. Da im Videosignal ein solches Bildelement nicht vorhanden ist, wird es durch eine Interpolation (gewichtete Mittelwertbildung) gewonnen.

Die Berücksichtigung der Winkellage bei der Transformation, wie sie bei der Anordnung nach Fig. 9 erfolgt, ist in Fig. 11 anhand von Bildern dargestellt. B1 ist das Bild der linken Videokamera 1 (Fig. 1), die gegenüber der rechten Videokamera leicht nach rechts gekippt ist. Eine zur optischen Achse der linken Videokamera senkrechte Linie 61 auf der Bewegungsebene erscheint daher nach rechts ansteigend. Auf dem Bild B2 der rechten Videokamera ist die Abb. 62 der gleichen Linie waagerecht. Durch die Transformation soll nun die Linie 61 mit der Linie 62 zur Deckung gebracht werden - voraussetzungsgemäß stellen die beiden wiedergegebenen Linien eine Linie in der Bewegungsebene dar.

In einem Speicher (entsprechend 51 in Fig. 9) werden so viele Zeilen zwischengespeichert, wie es wegen der Schräglage erforderlich ist. Der jeweils gespeicherte Teil 63 des Bildes verschiebt sich entsprechend der Vertikalablenkung über das Bild. Zur Bildung der transformierten Zeile 61' werden aus den zwischengespeicherten Zeilen Bildelemente entnommen bzw. durch Interpolation gebildet, was in Fig. 11 durch Pfeile angedeutet ist.

Claims (9)

1. Verfahren zur Erkennung von Hindernissen, die außerhalb einer Bewegungsebene eines Fahrzeugs liegen, wobei zwei im Abstand angeordnete und auf die Bewegungsebene gerichtete Videokameras, Videosignale erzeugen, die sich auf gleiche Punkte der Bewegungsebene beziehen, wobei beide Videosignale gleichzeitig einer Vergleichsschaltung (31) zugeführt werden, dadurch gekennzeichnet, daß die Videokameras (1, 2) parallel auf die Bewegungsebene gerichtet sind und daß eine Transformation des Bildes der einen Videokamera (1) auf das Bild der anderen Videokamera (2) durch eine Verzögerung der Videosignale einer Videokamera mit einer für jede Bildzeile vorgebbaren Verzögerungszeit der Videosignale erfolgt, wobei die Verzögerungszeit aus einem Speicher (27) abgerufen wird und auf dem perspektivischen Versatz der beiden Bilder beruht, wobei dieser Versatz aus den Werten mindestens zweier Paßpunkte ermittelt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für verschiedene Ausrichtungen des Fahrzeugs (3) in bezug auf die Bewegungsebene (4) verschiedene Verzögerungszeiten für die einzelnen Zeilen im Speicher (27, 42) abgelegt werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß für eine von Zeile zu Zeile veränderliche Verzögerung die horizontalfrequenten und/oder vertikalfrequenten Synchronimpulse einer der Videokameras gegenüber der anderen Videokamera phasenverschoben werden.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Verzögerungszeit ein ganzzahliges Vielfaches einer Zeilenperiode betragen kann.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Ausgangssignal der Vergleichsschaltung (31) über eine Tabelle (33) zur Bewertung der Signalamplituden einem Rechner (36) zugeführt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei einer Verzögerungszeit, welche nicht einer ganzen Anzahl von Bildelementen entspricht, eine Interpolation von Werten benachbarter Bildelemente erfolgt.

7. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß ein Ausgang einer ersten Videokamera (2) über einen ersten Analog/Digital-Wandler (23) mit einem Eingang der Vergleichsschaltung (31) verbunden ist, daß ein Ausgang der zweiten Videokamera (1) über einen zweiten Analog/Digital-Wandler (22) und über eine steuerbare Verzögerungseinrichtung (26, 51) an einen weiteren Eingang der Vergleichsschaltung (31) angeschlossen ist und daß die steuerbare Verzögerungseinrichtung (26, 51) in Abhängigkeit von gespeicherten, sich jeweils auf eine Zeile beziehenden Verzögerungszeiten steuerbar ist, wobei das mit der Vergleichsschaltung (31) erzeugte Bild weiter auswertbar ist.

8. Anordnung nach Anspruch 7, dadurch gekennzeichnet, daß die steuerbare Verzögerungseinrichtung (51) Speicher für die Werte von Bildelementen mehrerer Zeilen umfaßt, und das Mittel (53) zum Auslesen der Werte der Bildelemente einer transformierten Zeile vorgesehen sind, wobei die Werte der Bildelemente der transformierten Zeile derart aus den gespeicherten Werten ermittelbar sind, daß zusätzlich zum zeilenabhängigen Versatz eine Bilddrehung möglich ist.

9. Anordnung nach einem der Ansprüche 7 bis 8, dadurch gekennzeichnet, daß die Vergleichsschaltung (31) im wesentlichen eine Subtraktionsschaltung ist.