DE4015959A1 - Anordnung zur erkennung von hindernissen - Google Patents

Anordnung zur erkennung von hindernissen

Info

Publication number
DE4015959A1
DE4015959A1 DE4015959A DE4015959A DE4015959A1 DE 4015959 A1 DE4015959 A1 DE 4015959A1 DE 4015959 A DE4015959 A DE 4015959A DE 4015959 A DE4015959 A DE 4015959A DE 4015959 A1 DE4015959 A1 DE 4015959A1
Authority
DE
Germany
Prior art keywords
line
video
arrangement according
video cameras
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE4015959A
Other languages
English (en)
Other versions
DE4015959C2 (de
Inventor
Uwe Dipl Ing Vogel
Juergen Dipl Ing Hoetzel
Werner Dipl Ing Brune
Rudolf Dipl Phys Sadowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE4015959A priority Critical patent/DE4015959C2/de
Publication of DE4015959A1 publication Critical patent/DE4015959A1/de
Application granted granted Critical
Publication of DE4015959C2 publication Critical patent/DE4015959C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

Die Erfindung geht aus von einer Anordnung nach der Gattung des Hauptanspruchs.
Neben anderen Verfahren zur Erkennung von Hindernissen vor einem fahrenden Fahrzeug wurde bereits die stereoskopische Aufnahme mit Hilfe zweier Videokameras vorgeschlagen, deren Videosignale mittels Bild-Kartierung verarbeitet werden (Ekkes Schulze, Kai Storjohann: "Kartierung - ein Strukturprinzip visueller Informationsverarbeitung" c′t 1988, Heft 11, Seiten 70 und 72). Dabei werden die für eine Bild-Kartierung erforderlichen Funktionen von einem Mikroprozessor wahrgenommen, wozu jedoch ein erheblicher Rechenaufwand erforderlich ist.
Aufgabe der vorliegenden Erfindung ist es, eine Anordnung nach der Gattung des Hauptanspruchs derart auszubilden, daß der Rechenaufwand wesentlich vermindert wird. Dabei soll ferner der Schaltungsaufwand möglichst gering sein.
Die erfindungsgemäße Anordnung mit den kennzeichnenden Merkmalen des Hauptanspruchs hat den Vorteil, daß die zu einer perspektiven Kartierung erforderlichen Operationen in einfacher Weise durch wenige Schaltungen durchgeführt werden, so daß Bildsignale entstehen, die lediglich das aus der Bewegungsebene herausragende Hindernis darstellen.
Diese Bildsignale können an sich in einfacher Weise z. B. durch Schwellwertschaltungen und Spitzenwertgleichrichter ausgewertet werden. Vorzugsweise wird man jedoch einen Rechner vorsehen, der eine wesentlich komplexere Auswertung vornehmen kann. So kann von dem Rechner beispielsweise die zeitliche Veränderung, die Größe und/oder die Form der von den Bildsignalen dargestellten Hindernisse verwertet werden.
Die erfindungsgemäße Anordnung kann durchaus derart ausgeführt sein, daß die gesamte Signalverarbeitung der von den Videokameras erzeugten Videosignale für beide Kameras gleich ist, so daß beide Videosignale bis zu einer Überdeckung der Bilder der in der Bewegungsebene befindlichen Gegenstände zeitlich verschoben werden.
Eine Weiterbildung der Erfindung befaßt sich jedoch damit, daß lediglich die Videosignale einer Videokamera entsprechend verzögert werden. Dazu wird lediglich im Zusammenhang mit einer der Videokameras eine steuerbare Verzögerungseinrichtung benötigt.
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im Hauptanspruch angegebenen Erfindung möglich.
Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 zwei auf ein Fahrzeug montierte Videokameras,
Fig. 2 schematische Darstellungen der Bilder der linken und der rechten Videokamera,
Fig. 3 die geometrischen Verhältnisse bei der Abbildung der Bewegungsebene auf den Bildsensor der Videokamera,
Fig. 4 schematische Darstellungen verschiedener Bilder zur Erläuterung der Kartierung ohne ein Hindernis und
Fig. 5 mit einem Hindernis,
Fig. 6 die geometrischen Verhältnisse zur Berechnung des Versatzes,
Fig. 7 ein Blockschaltbild eines ersten Ausführungsbeispiels,
Fig. 8 ein Blockschaltbild eines zweiten Ausführungsbeispiels,
Fig. 9 ein Blockschaltbild eines dritten Ausführungsbeispiels,
Fig. 10 schematisch die Bildung eines Subpixels und
Fig. 11 die Transformation eines Bildes einer gekippten Videokamera.
Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen.
Fig. 1 zeigt zwei Videokameras 1, 2, die auf ein lediglich angedeutetes Fahrzeug 3 montiert und auf die Fahrbahn vor dem Fahrzeug gerichtet sind. Die von der Fahrbahn gebildete Ebene 4 wird im folgenden Bewegungsebene genannt. Die optischen Achsen der Videokameras 1, 2 sind parallel ausgerichtet, wobei die obere Begrenzung O des Gesichtsfeldes parallel zur Bewegungsebene 4 liegt. Während Fig. 1a eine Ansicht von oben darstellt, ist Fig. 1b eine Seitenansicht. Die Linie U stellt den unteren Rand des Gesichtsfeldes der Videokameras dar bzw. die kürzeste Entfernung vor dem Fahrzeug, in welcher die Bewegungsebene 4 von den Videokameras 1, 2 aufgenommen wird. Es sei angenommen, daß sich auf der Bewegungsebene ein gerader Strich 5 befindet, der unterhalb der Videokamera 2 in Bewegungsrichtung verläuft.
Fig. 2 stellt das Bild B1 der linken Videokamera und das Bild B2 der rechten Videokamera dar. Durch den Abstand der Videokameras bedingt, erscheint der Strich 5 im Bild B1 schräg, im Gegensatz zur Darstellung des Strichs 5 im Bild B2.
Dadurch, daß die obere Begrenzung der Videokameras ins Unendliche gerichtet ist, ergibt sich, daß beide Abbildungen des Strichs am oberen Bildrand in der Mitte liegen. Die Abbildung des Strichs 5 am unteren Bildrand ist entsprechend des Kameraabstandes gesetzt. Die Größe dieses Versatzes ist bei vorgegebenen geometrischen Verhältnissen von der zu den optischen Achsen senkrechten Entfernung zwischen dem einzelnen Punkt der Bewegungsebene und den Projektionszentren der Videokameras sowie von der dadurch bestimmten effektiven Brennweite abhängig.
Dieser Zusammenhang wird im folgenden unter Bezugnahme auf Fig. 3 näher erläutert. Dabei zeigt Fig. 3a eine Ansicht von oben und Fig. 3b eine Seitenansicht. Die lichtempfindliche Fläche der Videokamera liegt in der Ebene 7. Aus dem Strahlensatz ergibt sich folgende Gleichung:
V = (B · feff)/g (1)
mit
V =Versatz,
B = Basisweite der Videokameras,
f = Brennweite und
g = Gegenstandsweite.
Gleichung (1) besagt, daß mit zunehmender Entfernung des Punktes G auf dem Strich 5 der Versatz V geringer wird. Im Unendlichen erfolgt kein Versatz mehr. Für jede Zeile des linken Kamerabildes existiert ein definierter Versatz gegenüber der korrespondierenden Zeile des Bildes der rechten Videokamera. Wird ein Punkt aus der Bewegungsebene im rechten Bild auf die Zeile m und die Spalte n eines Bildes abgebildet, dann wird dieser Punkt im Bild der linken Videokamera ebenfalls auf die Zeile m, aber auf die Spalte n+dn abgebildet. Dabei ist dn eine Funktion von m und charakteristisch für die Bewegungsebene, d. h. nur für Punkte dieser Bewegungsebene gültig.
Fig. 4 verdeutlicht diese Zusammenhänge anhand von skizzierten Kamerabildern. Die Darstellung des Strichs 5 im linken Bild B1 zeigt einen Versatz von dn(m) . Dieser Versatz wird durch eine entsprechende zeitliche Verschiebung der Videosignale kompensiert, so daß ein transformiertes Bild B1′ mit der Abbildung 5′ des Strichs entsteht. Wird dieses von dem rechten Bild B2 subtrahiert, so entsteht das Differenzbild B2-B1′. Da die Abbildungen des Strichs 5 bzw. 5′ in den Bildern B1′ und B2 gleich sind, bleibt ein schwarzes Bild übrig.
Lediglich in einem Randbereich 6 entsteht kein auswertbares Videosignal, da durch die Transformation des linken Bildes B1 mittels einer zeilenweisen Verschiebung keine Videosignalanteile für diesen Bereich vorliegen. Der entsprechende Bereich der Bewegungsebene liegt außerhalb des Blickfeldes der linken Videokamera 1. Bei einer späteren Auswertung des Differenzbildes muß daher dieser Bereich unberücksichtigt bleiben.
Der erläuterte Zusammenhang zwischen Versatz und vertikaler Lage gilt jedoch nur für Gegenstände in der Bewegungsebene. Befindet sich ein Hindernis außerhalb der Bewegungsebene, erfolgt hierfür keine Auslöschung der Abbildung im Differenzbild. Ist dabei die Entfernung aller Punkte des Hindernisses von den Videokameras konstant, ist auch der Versatz für das gesamte Hindernis konstant, nämlich so groß wie der Versatz derjenigen Zeile, in welcher der Fußpunkt des Hindernisses abgebildet wird.
Bei einem rechteckigen vor den Videokameras stehenden Hindernis ergeben sich beispielsweise die in Fig. 5 dargestellten Bilder. Zur Verdeutlichung der Bewegungsebene ist diese in Fig. 5 durch ein Strichraster dargestellt. Das Differenzbild B2-B1′ zeigt die sich nach der Transformation nicht überdeckenden Teile des Hindernisses als weiße Flächen.
Die das Differenzbild darstellenden Videosignale können im einfachsten Fall durch eine Schwellwertschaltung beispielsweise derart ausgewertet werden, daß bei Überschreiten eines Schwellwertes ein Warnsignal oder ein Bremsvorgang ausgelöst wird. Eine derart einfache Auswertung ist umso eher möglich, je einfacher die optischen Verhältnisse sind. Dieses ist beispielsweise bei einem Flurförderfahrzeug der Fall, das sich auf einer ebenen Fläche bewegt, auf welcher Hindernisse auftreten können, die eine ausreichende Größe und einen ausreichenden Kontrast gegenüber der Fläche aufweisen. Für komplexere Verhältnisse sind Auswerteverfahren mit Hilfe eines Rechners bekannt, bei denen beispielsweise auch die Lage des Hindernisses in bezug auf das Fahrzeug und die relative Bewegung des Hindernisses berücksichtigt wird. Die Auswertung an sich ist jedoch nicht Gegenstand der vorliegenden Erfindung.
Mit Hilfe der erfindungsgemäßen Anordnung wird in einfacher Weise eine perspektive Kartierung vorgenommen. Zur Berechnung des Versatzes in jeweils einer Zeile wird im folgenden auf Fig. 6 hingewiesen. Dabei ist wie in Fig. 3 mit 7 die lichtempfindliche Fläche der Videokamera bezeichnet und die Bildweite gegenüber den tatsächlichen Verhältnissen erheblich vergrößert dargestellt. t ist die vertikale Auslenkung auf der lichtempfindlichen Fläche 7 bei der Abbildung eines Punktes auf der Bewegungsebene 4 der den Abstand x vom Objektiv der Videokamera aufweist. Für die Bildmitte gilt t = 0, für den unteren Rand t = T. Der Zusammenhang dieser Größen errechnet sich wie folgt:
Durch Einsetzen von Gleichung (3) und Gleichung (1) erhält man für den Versatz dn(t):
Aus den Gleichungen (5) bzw. (6) kann ein lineares Gleichungssystem hergeleitet werden, das die zwei Konstanten A und B bestimmt. Hierzu sind lediglich zwei Paßpunkte im Bild erforderlich. Jeder Punkt liefert einen Wert für die vertikale Auslenkung t (entsprechend der Zeile) und den horizontalen Versatz dn(t). Da diese Punkte jeweils in der gleichen Zeile des linken und rechten Bildes vorzufinden sind, können sie beispielsweise über eine Korrelationsfunktion auf der Zeile automatisch bestimmt werden. Eine Verbesserung der Genauigkeit für die Parameter A und B kann durch Erhöhung der Paßpunktzahl und Lösung des überbestimmten Gleichungssystems (Regressionsanalyse) erreicht werden.
Bei dem in Fig. 7 dargestellten Ausführungsbeispiel werden die Videokameras 1, 2 von einem Taktgeber 21 mit horizontalfrequenten und vertikalfrequenten Synchronsignalen H, V versorgt. Die Ausgangssignale der Videokameras 1, 2 werden je einem Analog/Digital-Wandler 22, 23 zugeführt, dem ein Abtasttakt P zugeführt wird, so daß pro Bildelement (Pixel) jeweils ein Digitalwert vom Analog/Digital-Wandler ausgegeben wird.
Den Analog/Digital-Wandlern 22, 23 ist je eine steuerbare Verzögerungseinrichtung 24, 25 nachgeschaltet, mit welchen die digitalen Videosignale nicht oder um ein steuerbares ganzzahliges Vielfaches einer Zeilenperiode verzögert werden können. Hierdurch kann eine Kompensation einer eventuellen Fehlausrichtung der Videokameras 1, 2 in vertikaler Richtung durchgeführt werden. Die Verzögerungseinrichtungen sind vorzugsweise Schieberegister, denen die Taktsignale H und P zugeführt werden. Für die digitalen Videosignale der Videokamera 1 ist eine weitere Verzögerungseinrichtung 26 vorgesehen, die im wesentlichen von einem FIFO-Speicher gebildet wird. In diesen werden die Ausgangssignale der Verzögerungseinrichtung 24 mit dem Takt P eingeschrieben. Das Auslesen erfolgt mit einer Verzögerung, die dem Versatz dn(m) entspricht. Der Übersichtlichkeit halber sind in den Figuren Verzögerungen, die zum Ausgleich von Signallaufzeiten vorgenommen werden und bis zu einigen Bildelementperioden betragen, nicht dargestellt.
Zur Steuerung des Auslesevorgangs aus der Verzögerungseinrichtung 26 ist in einem Schreib/Lese-Speicher 27 die Funktion dn(m) abgelegt. Als Adresse wird die jeweilige Zeilennummer zugeführt, die von einem Zeilenzähler 28 erzeugt wird, der jeweils zu Beginn eines Bildes mit Hilfe des Synchronimpulses V zurückgesetzt und mit den Synchronimpulsen H inkrementiert wird. An einem Datenausgang des Schreib/Lese-Speichers 27 steht der Versatz, der der jeweiligen Zeile zugeordnet ist, zur Verfügung. Ein Bildelementzähler 28 wird mit dem Synchronsignal H zurückgesetzt und mit dem Takt P inkrementiert. Erreicht der Zählerstand den Wert des Versatzes, wird dieses mit Hilfe eines Komparators 30 festgestellt und der Auslesevorgang aus dem FIFO-Speicher der Verzögerungseinrichtung 26 gestartet.
Damit steht ein Videosignal V1′ zur Verfügung, welches das transformierte Bild B1′ (Fig. 4) darstellt. Zusammen mit dem Videosignal V2 wird es den Eingängen einer Recheneinheit (ALU) 31 zugeführt.
Die Recheneinheit 31 dient in erster Linie dazu, die Videosignale V2 und V1′ voneinander zu subtrahieren, um die Signale des Differenzbildes zu erhalten. Käufliche Recheneinheiten umfassen jedoch auch noch weitere Funktionen, wie beispielsweise Addition oder die Weiterleitung eines der Eingangssignale. Diese Funktionen können über einen weiteren Eingang der Recheneinheit 31 angewählt werden, der mit dem Ausgang eines Registers 32 verbunden ist. Dadurch ist es möglich, außer dem Betrieb zur Erkennung von Hindernissen andere Betriebsarten zum Test und zur Justierung der erfindungsgemäßen Anordnung anzuwählen.
Das von der Recheneinheit 31 ausgegebene Differenzsignal wird anschließend bewertet. Dazu dient eine Wertetabelle (Look-up table) 33, die in einem Speicher abgelegt ist. Ein wesentlicher Aspekt dieser Bewertung ist die Unterdrückung von Differenzsignalen, die unterhalb einer vorgegebenen Schwelle liegen (Coring), da diese meistens durch Rauschanteile gebildet werden. Ferner wird mit der Bewertung eine Betragsbildung vorgenommen, da es im Normalfall für eine spätere Auswertung unerheblich ist, ob das Differenzsignal negativ oder positiv ist.
Für die weitere Auswertung ist der Ausgang der Bewertungsschaltung 33 über einen Bildbus 34 und eine geeignete Schnittstelle 35 mit einem Rechner 36 verbunden. Über den Datenbus 37 des Rechners 36 können in den Schreib/Lese-Speicher 23 und in den Speicher der Bewertungsschaltung 33 geeignete Daten eingeschrieben werden. So ist beispielsweise der Versatz des Videosignals V1′ von der Neigung des Fahrzeugs abhängig. Dazu ist an den Rechner 36 ein Neigungssensor 38 angeschlossen, aus dessen Ausgangssignalen der Rechner 36 eine geeignete Funktion des Versatzes errechnet und in den Speicher 27 einschreibt.
In ähnlicher Weise kann die Wertetabelle in der Bewertungsschaltung 33 an verschiedene Umstände, beispielsweise an die Signalqualität, angepaßt werden.
Die Speicher 27 und der Speicher in der Bewertungsschaltung 33 können auch durch programmierbare Nur-Lese-Speicher realisiert werden, wobei gegebenenfalls zur Auswahl von verschiedenen Versatzfunktionen und Bewertungsfunktionen zusätzliche Binärstellen der Adressen dienen.
Bei dem Ausführungsbeispiel gemäß Fig. 7 erfolgt die Transformation durch eine steuerbare Verzögerung der Videosignale der Videokamera 1. Auch ein vertikaler Abgleich erfolgt mit Hilfe von Verzögerungen der Videosignale. Es ist im Rahmen der Erfindung jedoch möglich, die gleichen Funktionen durch eine entsprechende zeitliche Verschiebung der den Videokameras zugeführten Synchron- und Taktsignale durchzuführen. Ein Abgleich in vertikaler Richtung kann dadurch erfolgen, daß der vertikalfrequente Synchronimpuls V der einen Videokamera gegenüber demjenigen der anderen Videokamera um jeweils eine Zeilenperiode bzw. ein Vielfaches davon verschoben wird. Der horizontale Versatz kann dadurch erfolgen, daß beispielsweise der horizontalfrequente Synchronimpuls H der Videokamera 1 dem Versatz entsprechend verschoben wird.
Bekanntlich entsteht durch die digitale Verarbeitung von Videosignalen nicht nur eine amplitudenmäßige, sondern auch eine zeitliche Quantisierung (Bildelemente in horizontaler Richtung). Entsprechend wird auch der Versatz bei der Anordnung nach Fig. 7 nur als ganze Anzahl von Elementen berücksichtigt - selbst wenn der berechnete Versatz einen unganzzahligen Wert aufweist. Eine Verbesserung in dieser Hinsicht ist bei dem Ausführungsbeispiel nach Fig. 8 vorgesehen. Dabei ist dem FIFO-Speicher 26 ein Register 41 nachgeschaltet, welches das Videosignal V1′ um jeweils eine Periode des Taktsignals P verzögert, so daß am Ausgang und am Eingang des Registers 41 jeweils gleichzeitig die Werte zweier benachbarter Bildelemente anliegen.
Der Speicher 42, in welchem der von der Zeile abhängige Versatz gespeichert ist, enthält die einzelnen Werte des Versatzes mit einer größeren Genauigkeit. Dabei werden diejenigen Binärstellen, die auch bei der Anordnung nach Fig. 7 verwertet wurden, ebenfalls dem Komparator 30 zugeführt, während die geringwertigeren Binärstellen zur Erzeugung eines sogenannten Subpixels herangezogen werden. Dieses Subpixel ist ein gedachtes Bildelement, dessen Lage zwischen zwei benachbarten Bildelementen liegt.
Da ein derartiges Bildelement aufgrund der zeitlichen Quantisierung an sich nicht besteht, erfolgt eine Interpolation der Werte zweier benachbarter Bildelemente. Dazu werden die geringerwertigen Binärstellen des Versatzes, die den nach Abzug der ganzen Zahl von Bildelementen verbleibenden Bruchteil darstellen, einem ersten Multiplizierer 43 und über eine Schaltung 44 zur Bildung des Komplements einem zweiten Multiplizierer 45 zugeführt. Somit werden die beiden benachbarten Bildelemente entsprechend der Lage des gedachten Subpixels gewichtet und in einem Addierer 46 addiert.
In einer weiteren Schaltung 47 wird die Summe normiert und von dort mit dem Takt P in den einen Eingang der Recheneinheit 31 ausgegeben. Die Normierung erfolgt durch Rechtsshiften der Summe um diejenige Anzahl von Binärstellen, welche den obengenannten Bruchteil darstellen. Dieses ist deshalb erforderlich, weil diese Binärstellen bei der Multiplikation und bei der Komplementbildung als Ganzzahlen behandelt werden. Im Falle von vier Nachkommastellen wird die Normierung durch eine Division durch 16 erzielt. Die übrigen Funktionsgruppen der Anordnung nach Fig. 8 entsprechen denjenigen der Anordnung nach Fig. 7.
Bei den Anordnungen nach Fig. 7 und Fig. 8 wird davon ausgegangen, daß die Ausrichtung der beiden Videokameras 1, 2 bezüglich ihrer Höhe um einige Zeilen abweichen kann. Es ist jedoch eine exakte Ausrichtung bezüglich der Drehung des Bildes erforderlich. Um jedoch auch in dieser Hinsicht bei den Videokameras und deren Befestigung einen gewissen Toleranzbereich zulassen zu können, ermöglicht die Anordnung nach Fig. 9 außer einer waagerechten Verschiebung eine geringfügige Drehung beim Transformationsvorgang. Dazu wird nicht nur eine Zeile - wie in der Verzögerungseinrichtung 26 der Anordnung nach Fig. 7 - sondern eine Mehrzahl von Zeilen zu Zwecken der Transformation gespeichert. Dadurch kann bei einer Verdrehung der Videokameras gegeneinander beim Auslesen der transformierten Videosignale von einer Zeile auf eine andere übergegangen werden.
Bei dem Ausführungsbeispiel nach Fig. 9 ist ein Wechsel zwischen 16 Zeilen vorgesehen, wozu in dem Schreib/Lese-Speicher 51 jeweils 16 aufeinander folgende Zeilen abgelegt sind. Die Verzögerungseinrichtung 25 ist ebenfalls für 16 Zeilen ausgelegt, damit jeweils eine durch Transformation entstandene Zeile gleichzeitig mit der zu vergleichenden Zeile der Videokamera 2 zur Verfügung steht.
Zum Einschreiben und zum Auslesen ist je ein Adressenrechner 52, 53 vorgesehen, die mit Synchronimpulsen H und dem Taktsignal P versorgt werden. Zusätzlich wird dem Lese-Adressenrechner 53 noch der ganzzahlige Teil des Versatzes aus dem Schreib/Lese-Speicher 42 zugeführt. Da auch hier ein Übergang zwischen Bildelementen der einen und der nächsten Zeile nicht sprunghaft erfolgen soll, ist eine Erzeugung von Subpixeln zusätzlich zur horizontalen Richtung auch in vertikaler Richtung vorgesehen. Aus dem Schreib/Lese-Speicher 51 werden deshalb gleichzeitig die Werte von vier Bildelementen ausgelesen und Multiplizierern 54, 55, 56, 57 zugeführt. Um das gleichzeitige Auslesen zu ermöglichen, sind im Schreib/Lese-Speicher 51 mehrere Dual-Port-RAMs angeordnet, die mindestens zum Auslesen verschieden voneinander adressiert werden können. Ähnlich wie bei der Anordnung nach Fig. 8 werden die geringwertigeren Binärstellen der Adressen als Faktoren für die Bewertung der Bildelemente in einem Koeffizientenrechner 60 herangezogen. In einem Addierer 58 entsteht dann der gewünschte gewichtete Mittelwert, der in der Schaltung 59 normiert wird, was analog zu Fig. 8 erfolgt. Dabei wird jedoch die doppelte Anzahl von Binärstellen unterdrückt, da zuvor je eine Multiplikation in horizontaler und vertikaler Richtung erfolgt.
Fig. 10 zeigt ein Beispiel für die Verschiebung eines Subpixels um eine gebrochene Zeilen- und Spaltenzahl. Die Bildelemente sind dazu als Kreise dargestellt. Die im Speicher 42 abgelegte Transformationsfunktion ergibt, daß ein Versatz um 2,75 Zeilen und 18,625 Spalten erfolgen soll. Ein Bildelement, das mit einem Bildelement in Zeile 6 und Spalte 26 des Bildes B2 der anderen Videokamera verglichen werden soll, müßte demnach aus der "Zeile 3,25" und der "Spalte 7,375" versetzt werden. Da im Videosignal ein solches Bildelement nicht vorhanden ist, wird es durch eine Interpolation (gewichtete Mittelwertbildung) gewonnen.
Die Berücksichtigung der Winkellage bei der Transformation, wie sie bei der Anordnung nach Fig. 9 erfolgt, ist in Fig. 11 anhand von Bildern dargestellt. B1 ist das Bild der linken Videokamera 1 (Fig. 1), die gegenüber der rechten Videokamera leicht nach rechts gekippt ist. Eine zur optischen Achse der linken Videokamera senkrechte Linie 61 auf der Bewegungsebene erscheint daher nach rechts ansteigend. Auf dem Bild B2 der rechten Videokamera ist die Abbildung 62 der gleichen Linie waagerecht. Durch die Transformation soll nun die Linie 61 mit der Linie 62 zur Deckung gebracht werden - voraussetzungsgemäß stellen die beiden wiedergegebenen Linien eine Linie in der Bewegungsebene dar.
In einem Speicher (entsprechend 51 in Fig. 9) werden so viele Zeilen zwischengespeichert, wie es wegen der Schräglage erforderlich ist. Der jeweils gespeicherte Teil 63 des Bildes verschiebt sich entsprechend der Vertikalablenkung über das Bild. Zur Bildung der transformierten Zeile 61′ werden aus den zwischengespeicherten Zeilen Bildelemente entnommen bzw. durch Interpolation gebildet, was in Fig. 11 durch Pfeile angedeutet ist.

Claims (11)

1. Anordnung zur Erkennung von Hindernissen, die außerhalb einer Bewegungsebene eines Fahrzeugs liegen, wobei Videosignale, die von zwei im Abstand angeordneten und auf die Bewegungsebene gerichteten Videokameras erzeugt werden, mittels Bild-Kartierung verarbeitet werden, dadurch gekennzeichnet, daß die Videosignale der Videokameras (1, 2) durch von Zeile zu Zeile veränderliche Verzögerungszeiten zeitlich derart aneinander angepaßt werden, daß Videosignale, die gleiche Punkte der Bewegungsebene (4) darstellen, jedoch von verschiedenen Videokameras (1, 2) erzeugt sind, gleichzeitig einer Vergleichsschaltung (31) zugeführt werden.
2. Anordnung nach Anspruch 1, dadurch gekennzeichnet, daß die Verzögerungszeiten für die einzelnen Zeilen des Bildes entsprechend dem Blickwinkel der Videokameras (1, 2) auf die Bewegungsebene (4) und entsprechend dem Abstand zwischen den Videokameras (1, 2) in einem Speicher (27, 42) abgelegt sind.
3. Anordnung nach Anspruch 2, dadurch gekennzeichnet, daß für verschiedene Ausrichtungen des Fahrzeugs (3) in bezug auf die Bewegungsebene (4) verschiedene Verzögerungszeiten für die einzelnen Zeilen im Speicher (27, 42) abgelegt sind.
4. Anordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein Ausgang einer ersten Videokamera (2) über einen ersten Analog/Digital-Wandler (23) mit einem Eingang der Vergleichsschaltung (31) verbunden ist, daß ein Ausgang der zweiten Videokamera (1) über einen zweiten Analog/Digital-Wandler (22) und über eine steuerbare Verzögerungseinrichtung (26, 51) an einen weiteren Eingang der Vergleichsschaltung (31) angeschlossen ist und daß die steuerbare Verzögerungseinrichtung (26, 51) in Abhängigkeit von gespeicherten sich jeweils auf eine Zeile beziehenden Verzögerungszeiten gesteuert wird.
5. Anordnung nach Anspruch 4, dadurch gekennzeichnet, daß die steuerbare Verzögerungseinrichtung (51) Speicher für die Werte von Bildelementen mehrerer Zeilen umfaßt und daß Mittel (53) zum Auslesen der Werte der Bildelemente einer transformierten Zeile vorgesehen sind, wobei die Werte der Bildelemente der transformierten Zeile derart aus den gespeicherten Werten gewonnen werden, daß zusätzlich zum zeilenabhängigen Versatz eine Bilddrehung möglich ist.
6. Anordnung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß zu Zwecken der von Zeile zu Zeile veränderlichen Verzögerung die horizontalfrequenten Synchronimpulse einer der Videokameras gegenüber der anderen Videokamera phasenverschoben werden.
7. Anordnung nach Anspruch 4, dadurch gekennzeichnet, daß die Videosignale der ersten und der zweiten Videokamera (1, 2) jeweils einer einstellbaren Verzögerung unterworfen sind, wobei die Verzögerungszeit für jedes Videosignal unabhängig voneinander 0 oder ein ganzzahliges Vielfaches einer Zeilenperiode tragen kann.
8. Anordnung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die vertikalfrequenten Synchronimpulse einer der Videokameras gegenüber der anderen Videokamera um eine oder mehrere Zeilenperioden phasenverschiebbar sind.
9. Anordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Vergleichsschaltung (31) im wesentlichen eine Subtraktionsschaltung ist.
10. Anordnung nach Anspruch 9, dadurch gekennzeichnet, daß das Ausgangssignal der Vergleichsschaltung (31) über eine Tabelle (33) zur Bewertung der Signalamplituden einem Rechner (36) zugeführt wird.
11. Anordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei einer Verzögerungszeit, welche nicht einer ganzen Anzahl von Bildelementen entspricht, eine Interpolation von Werten benachbarter Bildelemente erfolgt.
DE4015959A 1990-05-18 1990-05-18 Verfahren und Anordnung zur Erkennung von Hindernissen Expired - Fee Related DE4015959C2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE4015959A DE4015959C2 (de) 1990-05-18 1990-05-18 Verfahren und Anordnung zur Erkennung von Hindernissen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE4015959A DE4015959C2 (de) 1990-05-18 1990-05-18 Verfahren und Anordnung zur Erkennung von Hindernissen

Publications (2)

Publication Number Publication Date
DE4015959A1 true DE4015959A1 (de) 1991-11-21
DE4015959C2 DE4015959C2 (de) 2000-05-25

Family

ID=6406671

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4015959A Expired - Fee Related DE4015959C2 (de) 1990-05-18 1990-05-18 Verfahren und Anordnung zur Erkennung von Hindernissen

Country Status (1)

Country Link
DE (1) DE4015959C2 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1175104A2 (de) * 2000-07-19 2002-01-23 Pohang University of Science and Technology Foundation System zur Ungleichheitsmessung von stereoskopischen Bildern
DE19630194B4 (de) * 1996-07-26 2006-06-01 Robert Bosch Gmbh Verfahren zur Detektion von Objekten
DE102007009225B3 (de) * 2007-02-26 2008-07-03 Sick Ag Bearbeitungsmaschine
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0290633A1 (de) * 1987-05-09 1988-11-17 Carl Schenck Ag Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges
EP0360880A1 (de) * 1988-09-24 1990-04-04 Carl Schenck Ag Verfahren zum segmentieren dreidimensionaler Szenen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0290633A1 (de) * 1987-05-09 1988-11-17 Carl Schenck Ag Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges
EP0360880A1 (de) * 1988-09-24 1990-04-04 Carl Schenck Ag Verfahren zum segmentieren dreidimensionaler Szenen

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
DE19630194B4 (de) * 1996-07-26 2006-06-01 Robert Bosch Gmbh Verfahren zur Detektion von Objekten
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
EP1175104A3 (de) * 2000-07-19 2002-04-17 Pohang University of Science and Technology Foundation System zur Ungleichheitsmessung von stereoskopischen Bildern
US6862035B2 (en) 2000-07-19 2005-03-01 Ohang University Of Science And Technology Foundation System for matching stereo image in real time
EP1175104A2 (de) * 2000-07-19 2002-01-23 Pohang University of Science and Technology Foundation System zur Ungleichheitsmessung von stereoskopischen Bildern
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
DE102007009225B3 (de) * 2007-02-26 2008-07-03 Sick Ag Bearbeitungsmaschine

Also Published As

Publication number Publication date
DE4015959C2 (de) 2000-05-25

Similar Documents

Publication Publication Date Title
DE69113375T2 (de) Hochgeschwindigkeits-Videokamera.
EP0095660B1 (de) Stereophotogrammetrisches Aufnahme- und Auswerteverfahren
DE3114643C2 (de)
DE69027633T2 (de) Automatische Fahrzeugführung entlang Führungslinien
DE4130010C2 (de) Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes
DE2926654C2 (de) Fahrtsimulator
DE3629984C2 (de)
DE102008046398A1 (de) Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt
DE4411179A1 (de) Bildeinfangvorrichtung
DE4015959C2 (de) Verfahren und Anordnung zur Erkennung von Hindernissen
DE3515037A1 (de) Bildsignalverarbeitungsvorrichtung
DE3524505C2 (de)
DE69029507T2 (de) Bildeinstellungs- und Konturkorrekturschaltung und Verfahren für Festkörperkamera
DE69531181T2 (de) MPEG2-verarbeitendes Steuergerät für halbpixel Bewegungskompensation
DE3533379A1 (de) Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene
DE4437385A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
DE1774672A1 (de) Zeichenerkennungsvorrichtung
DE3438449C2 (de)
DE2836500C3 (de) Anordnung zum Einblenden von Graphiken in ein auf dem Bildschirm eines Sichtgerätes dargestelltes Bild
DE3855077T2 (de) Setzbildapparat
DE19545919A1 (de) NTSC-PAL-Umsetzer
EP0213683B1 (de) Verfahren und Anordnung zur Erzeugung von Zwischenbildsignalen aus Referenzbildsignalen mit verringerter Bildfrequenz
DE68916965T2 (de) Produktion von digitalen video-effekten.
DE3382596T2 (de) Dreidimensionale entfernungsmessvorrichtung.
DE112019002126T5 (de) Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee