DE4015959A1 - Anordnung zur erkennung von hindernissen - Google Patents
Anordnung zur erkennung von hindernissenInfo
- Publication number
- DE4015959A1 DE4015959A1 DE4015959A DE4015959A DE4015959A1 DE 4015959 A1 DE4015959 A1 DE 4015959A1 DE 4015959 A DE4015959 A DE 4015959A DE 4015959 A DE4015959 A DE 4015959A DE 4015959 A1 DE4015959 A1 DE 4015959A1
- Authority
- DE
- Germany
- Prior art keywords
- line
- video
- arrangement according
- video cameras
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Die Erfindung geht aus von einer Anordnung nach der Gattung
des Hauptanspruchs.
Neben anderen Verfahren zur Erkennung von Hindernissen vor
einem fahrenden Fahrzeug wurde bereits die stereoskopische
Aufnahme mit Hilfe zweier Videokameras vorgeschlagen, deren
Videosignale mittels Bild-Kartierung verarbeitet werden
(Ekkes Schulze, Kai Storjohann: "Kartierung - ein
Strukturprinzip visueller Informationsverarbeitung" c′t
1988, Heft 11, Seiten 70 und 72). Dabei werden die für eine
Bild-Kartierung erforderlichen Funktionen von einem
Mikroprozessor wahrgenommen, wozu jedoch ein erheblicher
Rechenaufwand erforderlich ist.
Aufgabe der vorliegenden Erfindung ist es, eine Anordnung
nach der Gattung des Hauptanspruchs derart auszubilden, daß
der Rechenaufwand wesentlich vermindert wird. Dabei soll
ferner der Schaltungsaufwand möglichst gering sein.
Die erfindungsgemäße Anordnung mit den kennzeichnenden
Merkmalen des Hauptanspruchs hat den Vorteil, daß die zu
einer perspektiven Kartierung erforderlichen Operationen in
einfacher Weise durch wenige Schaltungen durchgeführt
werden, so daß Bildsignale entstehen, die lediglich das aus
der Bewegungsebene herausragende Hindernis darstellen.
Diese Bildsignale können an sich in einfacher Weise z. B.
durch Schwellwertschaltungen und Spitzenwertgleichrichter
ausgewertet werden. Vorzugsweise wird man jedoch einen
Rechner vorsehen, der eine wesentlich komplexere Auswertung
vornehmen kann. So kann von dem Rechner beispielsweise die
zeitliche Veränderung, die Größe und/oder die Form der von
den Bildsignalen dargestellten Hindernisse verwertet werden.
Die erfindungsgemäße Anordnung kann durchaus derart
ausgeführt sein, daß die gesamte Signalverarbeitung der von
den Videokameras erzeugten Videosignale für beide Kameras
gleich ist, so daß beide Videosignale bis zu einer
Überdeckung der Bilder der in der Bewegungsebene
befindlichen Gegenstände zeitlich verschoben werden.
Eine Weiterbildung der Erfindung befaßt sich jedoch damit,
daß lediglich die Videosignale einer Videokamera
entsprechend verzögert werden. Dazu wird lediglich im
Zusammenhang mit einer der Videokameras eine steuerbare
Verzögerungseinrichtung benötigt.
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind
vorteilhafte Weiterbildungen und Verbesserungen der im
Hauptanspruch angegebenen Erfindung möglich.
Ausführungsbeispiele der Erfindung sind in der Zeichnung
anhand mehrerer Figuren dargestellt und in der nachfolgenden
Beschreibung näher erläutert. Es zeigt:
Fig. 1 zwei auf ein Fahrzeug montierte Videokameras,
Fig. 2 schematische Darstellungen der Bilder der linken und
der rechten Videokamera,
Fig. 3 die geometrischen Verhältnisse bei der Abbildung der
Bewegungsebene auf den Bildsensor der Videokamera,
Fig. 4 schematische Darstellungen verschiedener Bilder zur
Erläuterung der Kartierung ohne ein Hindernis und
Fig. 5 mit einem Hindernis,
Fig. 6 die geometrischen Verhältnisse zur Berechnung des
Versatzes,
Fig. 7 ein Blockschaltbild eines ersten
Ausführungsbeispiels,
Fig. 8 ein Blockschaltbild eines zweiten
Ausführungsbeispiels,
Fig. 9 ein Blockschaltbild eines dritten
Ausführungsbeispiels,
Fig. 10 schematisch die Bildung eines Subpixels und
Fig. 11 die Transformation eines Bildes einer gekippten
Videokamera.
Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen
versehen.
Fig. 1 zeigt zwei Videokameras 1, 2, die auf ein lediglich
angedeutetes Fahrzeug 3 montiert und auf die Fahrbahn vor
dem Fahrzeug gerichtet sind. Die von der Fahrbahn gebildete
Ebene 4 wird im folgenden Bewegungsebene genannt. Die
optischen Achsen der Videokameras 1, 2 sind parallel
ausgerichtet, wobei die obere Begrenzung O des
Gesichtsfeldes parallel zur Bewegungsebene 4 liegt. Während
Fig. 1a eine Ansicht von oben darstellt, ist Fig. 1b eine
Seitenansicht. Die Linie U stellt den unteren Rand des
Gesichtsfeldes der Videokameras dar bzw. die kürzeste
Entfernung vor dem Fahrzeug, in welcher die Bewegungsebene 4
von den Videokameras 1, 2 aufgenommen wird. Es sei
angenommen, daß sich auf der Bewegungsebene ein gerader
Strich 5 befindet, der unterhalb der Videokamera 2 in
Bewegungsrichtung verläuft.
Fig. 2 stellt das Bild B1 der linken Videokamera und das
Bild B2 der rechten Videokamera dar. Durch den Abstand der
Videokameras bedingt, erscheint der Strich 5 im Bild B1
schräg, im Gegensatz zur Darstellung des Strichs 5 im Bild
B2.
Dadurch, daß die obere Begrenzung der Videokameras ins
Unendliche gerichtet ist, ergibt sich, daß beide Abbildungen
des Strichs am oberen Bildrand in der Mitte liegen. Die
Abbildung des Strichs 5 am unteren Bildrand ist entsprechend
des Kameraabstandes gesetzt. Die Größe dieses Versatzes ist
bei vorgegebenen geometrischen Verhältnissen von der zu den
optischen Achsen senkrechten Entfernung zwischen dem
einzelnen Punkt der Bewegungsebene und den
Projektionszentren der Videokameras sowie von der dadurch
bestimmten effektiven Brennweite abhängig.
Dieser Zusammenhang wird im folgenden unter Bezugnahme auf
Fig. 3 näher erläutert. Dabei zeigt Fig. 3a eine Ansicht von
oben und Fig. 3b eine Seitenansicht. Die lichtempfindliche
Fläche der Videokamera liegt in der Ebene 7. Aus dem
Strahlensatz ergibt sich folgende Gleichung:
V = (B · feff)/g (1)
mit
V =Versatz,
B = Basisweite der Videokameras,
f = Brennweite und
g = Gegenstandsweite.
V =Versatz,
B = Basisweite der Videokameras,
f = Brennweite und
g = Gegenstandsweite.
Gleichung (1) besagt, daß mit zunehmender Entfernung des
Punktes G auf dem Strich 5 der Versatz V geringer wird. Im
Unendlichen erfolgt kein Versatz mehr. Für jede Zeile des
linken Kamerabildes existiert ein definierter Versatz
gegenüber der korrespondierenden Zeile des Bildes der
rechten Videokamera. Wird ein Punkt aus der Bewegungsebene
im rechten Bild auf die Zeile m und die Spalte n eines
Bildes abgebildet, dann wird dieser Punkt im Bild der linken
Videokamera ebenfalls auf die Zeile m, aber auf die Spalte
n+dn abgebildet. Dabei ist dn eine Funktion von m und
charakteristisch für die Bewegungsebene, d. h. nur für
Punkte dieser Bewegungsebene gültig.
Fig. 4 verdeutlicht diese Zusammenhänge anhand von
skizzierten Kamerabildern. Die Darstellung des Strichs 5 im
linken Bild B1 zeigt einen Versatz von dn(m) . Dieser Versatz
wird durch eine entsprechende zeitliche Verschiebung der
Videosignale kompensiert, so daß ein transformiertes Bild
B1′ mit der Abbildung 5′ des Strichs entsteht. Wird dieses
von dem rechten Bild B2 subtrahiert, so entsteht das
Differenzbild B2-B1′. Da die Abbildungen des Strichs 5 bzw.
5′ in den Bildern B1′ und B2 gleich sind, bleibt ein
schwarzes Bild übrig.
Lediglich in einem Randbereich 6 entsteht kein auswertbares
Videosignal, da durch die Transformation des linken Bildes
B1 mittels einer zeilenweisen Verschiebung keine
Videosignalanteile für diesen Bereich vorliegen. Der
entsprechende Bereich der Bewegungsebene liegt außerhalb des
Blickfeldes der linken Videokamera 1. Bei einer späteren
Auswertung des Differenzbildes muß daher dieser Bereich
unberücksichtigt bleiben.
Der erläuterte Zusammenhang zwischen Versatz und vertikaler
Lage gilt jedoch nur für Gegenstände in der Bewegungsebene.
Befindet sich ein Hindernis außerhalb der Bewegungsebene,
erfolgt hierfür keine Auslöschung der Abbildung im
Differenzbild. Ist dabei die Entfernung aller Punkte des
Hindernisses von den Videokameras konstant, ist auch der
Versatz für das gesamte Hindernis konstant, nämlich so groß
wie der Versatz derjenigen Zeile, in welcher der Fußpunkt
des Hindernisses abgebildet wird.
Bei einem rechteckigen vor den Videokameras stehenden
Hindernis ergeben sich beispielsweise die in Fig. 5
dargestellten Bilder. Zur Verdeutlichung der Bewegungsebene
ist diese in Fig. 5 durch ein Strichraster dargestellt. Das
Differenzbild B2-B1′ zeigt die sich nach der Transformation
nicht überdeckenden Teile des Hindernisses als weiße
Flächen.
Die das Differenzbild darstellenden Videosignale können im
einfachsten Fall durch eine Schwellwertschaltung
beispielsweise derart ausgewertet werden, daß bei
Überschreiten eines Schwellwertes ein Warnsignal oder ein
Bremsvorgang ausgelöst wird. Eine derart einfache Auswertung
ist umso eher möglich, je einfacher die optischen
Verhältnisse sind. Dieses ist beispielsweise bei einem
Flurförderfahrzeug der Fall, das sich auf einer ebenen
Fläche bewegt, auf welcher Hindernisse auftreten können, die
eine ausreichende Größe und einen ausreichenden Kontrast
gegenüber der Fläche aufweisen. Für komplexere Verhältnisse
sind Auswerteverfahren mit Hilfe eines Rechners bekannt, bei
denen beispielsweise auch die Lage des Hindernisses in bezug
auf das Fahrzeug und die relative Bewegung des Hindernisses
berücksichtigt wird. Die Auswertung an sich ist jedoch nicht
Gegenstand der vorliegenden Erfindung.
Mit Hilfe der erfindungsgemäßen Anordnung wird in einfacher
Weise eine perspektive Kartierung vorgenommen. Zur
Berechnung des Versatzes in jeweils einer Zeile wird im
folgenden auf Fig. 6 hingewiesen. Dabei ist wie in Fig. 3
mit 7 die lichtempfindliche Fläche der Videokamera
bezeichnet und die Bildweite gegenüber den tatsächlichen
Verhältnissen erheblich vergrößert dargestellt. t ist die
vertikale Auslenkung auf der lichtempfindlichen Fläche 7 bei
der Abbildung eines Punktes auf der Bewegungsebene 4 der den
Abstand x vom Objektiv der Videokamera aufweist. Für die
Bildmitte gilt t = 0, für den unteren Rand t = T. Der
Zusammenhang dieser Größen errechnet sich wie folgt:
Durch Einsetzen von Gleichung (3) und Gleichung (1) erhält
man für den Versatz dn(t):
Aus den Gleichungen (5) bzw. (6) kann ein lineares
Gleichungssystem hergeleitet werden, das die zwei Konstanten
A und B bestimmt. Hierzu sind lediglich zwei Paßpunkte im
Bild erforderlich. Jeder Punkt liefert einen Wert für die
vertikale Auslenkung t (entsprechend der Zeile) und den
horizontalen Versatz dn(t). Da diese Punkte jeweils in der
gleichen Zeile des linken und rechten Bildes vorzufinden
sind, können sie beispielsweise über eine
Korrelationsfunktion auf der Zeile automatisch bestimmt
werden. Eine Verbesserung der Genauigkeit für die Parameter
A und B kann durch Erhöhung der Paßpunktzahl und Lösung des
überbestimmten Gleichungssystems (Regressionsanalyse)
erreicht werden.
Bei dem in Fig. 7 dargestellten Ausführungsbeispiel werden
die Videokameras 1, 2 von einem Taktgeber 21 mit
horizontalfrequenten und vertikalfrequenten Synchronsignalen
H, V versorgt. Die Ausgangssignale der Videokameras 1, 2
werden je einem Analog/Digital-Wandler 22, 23 zugeführt, dem
ein Abtasttakt P zugeführt wird, so daß pro Bildelement
(Pixel) jeweils ein Digitalwert vom Analog/Digital-Wandler
ausgegeben wird.
Den Analog/Digital-Wandlern 22, 23 ist je eine steuerbare
Verzögerungseinrichtung 24, 25 nachgeschaltet, mit welchen
die digitalen Videosignale nicht oder um ein steuerbares
ganzzahliges Vielfaches einer Zeilenperiode verzögert werden
können. Hierdurch kann eine Kompensation einer eventuellen
Fehlausrichtung der Videokameras 1, 2 in vertikaler Richtung
durchgeführt werden. Die Verzögerungseinrichtungen sind
vorzugsweise Schieberegister, denen die Taktsignale H und P
zugeführt werden. Für die digitalen Videosignale der
Videokamera 1 ist eine weitere Verzögerungseinrichtung 26
vorgesehen, die im wesentlichen von einem FIFO-Speicher
gebildet wird. In diesen werden die Ausgangssignale der
Verzögerungseinrichtung 24 mit dem Takt P eingeschrieben.
Das Auslesen erfolgt mit einer Verzögerung, die dem Versatz
dn(m) entspricht. Der Übersichtlichkeit halber sind in den
Figuren Verzögerungen, die zum Ausgleich von
Signallaufzeiten vorgenommen werden und bis zu einigen
Bildelementperioden betragen, nicht dargestellt.
Zur Steuerung des Auslesevorgangs aus der
Verzögerungseinrichtung 26 ist in einem
Schreib/Lese-Speicher 27 die Funktion dn(m) abgelegt. Als
Adresse wird die jeweilige Zeilennummer zugeführt, die von
einem Zeilenzähler 28 erzeugt wird, der jeweils zu Beginn
eines Bildes mit Hilfe des Synchronimpulses V zurückgesetzt
und mit den Synchronimpulsen H inkrementiert wird. An einem
Datenausgang des Schreib/Lese-Speichers 27 steht der
Versatz, der der jeweiligen Zeile zugeordnet ist, zur
Verfügung. Ein Bildelementzähler 28 wird mit dem
Synchronsignal H zurückgesetzt und mit dem Takt P
inkrementiert. Erreicht der Zählerstand den Wert des
Versatzes, wird dieses mit Hilfe eines Komparators 30
festgestellt und der Auslesevorgang aus dem FIFO-Speicher
der Verzögerungseinrichtung 26 gestartet.
Damit steht ein Videosignal V1′ zur Verfügung, welches das
transformierte Bild B1′ (Fig. 4) darstellt. Zusammen mit dem
Videosignal V2 wird es den Eingängen einer Recheneinheit
(ALU) 31 zugeführt.
Die Recheneinheit 31 dient in erster Linie dazu, die
Videosignale V2 und V1′ voneinander zu subtrahieren, um die
Signale des Differenzbildes zu erhalten. Käufliche
Recheneinheiten umfassen jedoch auch noch weitere
Funktionen, wie beispielsweise Addition oder die
Weiterleitung eines der Eingangssignale. Diese Funktionen
können über einen weiteren Eingang der Recheneinheit 31
angewählt werden, der mit dem Ausgang eines Registers 32
verbunden ist. Dadurch ist es möglich, außer dem Betrieb zur
Erkennung von Hindernissen andere Betriebsarten zum Test und
zur Justierung der erfindungsgemäßen Anordnung anzuwählen.
Das von der Recheneinheit 31 ausgegebene Differenzsignal
wird anschließend bewertet. Dazu dient eine Wertetabelle
(Look-up table) 33, die in einem Speicher abgelegt ist. Ein
wesentlicher Aspekt dieser Bewertung ist die Unterdrückung
von Differenzsignalen, die unterhalb einer vorgegebenen
Schwelle liegen (Coring), da diese meistens durch
Rauschanteile gebildet werden. Ferner wird mit der Bewertung
eine Betragsbildung vorgenommen, da es im Normalfall für
eine spätere Auswertung unerheblich ist, ob das
Differenzsignal negativ oder positiv ist.
Für die weitere Auswertung ist der Ausgang der
Bewertungsschaltung 33 über einen Bildbus 34 und eine
geeignete Schnittstelle 35 mit einem Rechner 36 verbunden.
Über den Datenbus 37 des Rechners 36 können in den
Schreib/Lese-Speicher 23 und in den Speicher der
Bewertungsschaltung 33 geeignete Daten eingeschrieben
werden. So ist beispielsweise der Versatz des Videosignals
V1′ von der Neigung des Fahrzeugs abhängig. Dazu ist an den
Rechner 36 ein Neigungssensor 38 angeschlossen, aus dessen
Ausgangssignalen der Rechner 36 eine geeignete Funktion des
Versatzes errechnet und in den Speicher 27 einschreibt.
In ähnlicher Weise kann die Wertetabelle in der
Bewertungsschaltung 33 an verschiedene Umstände,
beispielsweise an die Signalqualität, angepaßt werden.
Die Speicher 27 und der Speicher in der Bewertungsschaltung
33 können auch durch programmierbare Nur-Lese-Speicher
realisiert werden, wobei gegebenenfalls zur Auswahl von
verschiedenen Versatzfunktionen und Bewertungsfunktionen
zusätzliche Binärstellen der Adressen dienen.
Bei dem Ausführungsbeispiel gemäß Fig. 7 erfolgt die
Transformation durch eine steuerbare Verzögerung der
Videosignale der Videokamera 1. Auch ein vertikaler Abgleich
erfolgt mit Hilfe von Verzögerungen der Videosignale. Es ist
im Rahmen der Erfindung jedoch möglich, die gleichen
Funktionen durch eine entsprechende zeitliche Verschiebung
der den Videokameras zugeführten Synchron- und Taktsignale
durchzuführen. Ein Abgleich in vertikaler Richtung kann
dadurch erfolgen, daß der vertikalfrequente Synchronimpuls V
der einen Videokamera gegenüber demjenigen der anderen
Videokamera um jeweils eine Zeilenperiode bzw. ein
Vielfaches davon verschoben wird. Der horizontale Versatz
kann dadurch erfolgen, daß beispielsweise der
horizontalfrequente Synchronimpuls H der Videokamera 1 dem
Versatz entsprechend verschoben wird.
Bekanntlich entsteht durch die digitale Verarbeitung von
Videosignalen nicht nur eine amplitudenmäßige, sondern auch
eine zeitliche Quantisierung (Bildelemente in horizontaler
Richtung). Entsprechend wird auch der Versatz bei der
Anordnung nach Fig. 7 nur als ganze Anzahl von Elementen
berücksichtigt - selbst wenn der berechnete Versatz einen
unganzzahligen Wert aufweist. Eine Verbesserung in dieser
Hinsicht ist bei dem Ausführungsbeispiel nach Fig. 8
vorgesehen. Dabei ist dem FIFO-Speicher 26 ein Register 41
nachgeschaltet, welches das Videosignal V1′ um jeweils eine
Periode des Taktsignals P verzögert, so daß am Ausgang und
am Eingang des Registers 41 jeweils gleichzeitig die Werte
zweier benachbarter Bildelemente anliegen.
Der Speicher 42, in welchem der von der Zeile abhängige
Versatz gespeichert ist, enthält die einzelnen Werte des
Versatzes mit einer größeren Genauigkeit. Dabei werden
diejenigen Binärstellen, die auch bei der Anordnung nach
Fig. 7 verwertet wurden, ebenfalls dem Komparator 30
zugeführt, während die geringwertigeren Binärstellen zur
Erzeugung eines sogenannten Subpixels herangezogen werden.
Dieses Subpixel ist ein gedachtes Bildelement, dessen Lage
zwischen zwei benachbarten Bildelementen liegt.
Da ein derartiges Bildelement aufgrund der zeitlichen
Quantisierung an sich nicht besteht, erfolgt eine
Interpolation der Werte zweier benachbarter Bildelemente.
Dazu werden die geringerwertigen Binärstellen des Versatzes,
die den nach Abzug der ganzen Zahl von Bildelementen
verbleibenden Bruchteil darstellen, einem ersten
Multiplizierer 43 und über eine Schaltung 44 zur Bildung des
Komplements einem zweiten Multiplizierer 45 zugeführt. Somit
werden die beiden benachbarten Bildelemente entsprechend der
Lage des gedachten Subpixels gewichtet und in einem Addierer
46 addiert.
In einer weiteren Schaltung 47 wird die Summe normiert und
von dort mit dem Takt P in den einen Eingang der
Recheneinheit 31 ausgegeben. Die Normierung erfolgt durch
Rechtsshiften der Summe um diejenige Anzahl von
Binärstellen, welche den obengenannten Bruchteil darstellen.
Dieses ist deshalb erforderlich, weil diese Binärstellen bei
der Multiplikation und bei der Komplementbildung als
Ganzzahlen behandelt werden. Im Falle von vier
Nachkommastellen wird die Normierung durch eine Division
durch 16 erzielt. Die übrigen Funktionsgruppen der Anordnung
nach Fig. 8 entsprechen denjenigen der Anordnung nach
Fig. 7.
Bei den Anordnungen nach Fig. 7 und Fig. 8 wird davon
ausgegangen, daß die Ausrichtung der beiden Videokameras 1,
2 bezüglich ihrer Höhe um einige Zeilen abweichen kann. Es
ist jedoch eine exakte Ausrichtung bezüglich der Drehung des
Bildes erforderlich. Um jedoch auch in dieser Hinsicht bei
den Videokameras und deren Befestigung einen gewissen
Toleranzbereich zulassen zu können, ermöglicht die Anordnung
nach Fig. 9 außer einer waagerechten Verschiebung eine
geringfügige Drehung beim Transformationsvorgang. Dazu wird
nicht nur eine Zeile - wie in der Verzögerungseinrichtung 26
der Anordnung nach Fig. 7 - sondern eine Mehrzahl von Zeilen
zu Zwecken der Transformation gespeichert. Dadurch kann bei
einer Verdrehung der Videokameras gegeneinander beim
Auslesen der transformierten Videosignale von einer Zeile
auf eine andere übergegangen werden.
Bei dem Ausführungsbeispiel nach Fig. 9 ist ein Wechsel
zwischen 16 Zeilen vorgesehen, wozu in dem
Schreib/Lese-Speicher 51 jeweils 16 aufeinander folgende
Zeilen abgelegt sind. Die Verzögerungseinrichtung 25 ist
ebenfalls für 16 Zeilen ausgelegt, damit jeweils eine durch
Transformation entstandene Zeile gleichzeitig mit der zu
vergleichenden Zeile der Videokamera 2 zur Verfügung steht.
Zum Einschreiben und zum Auslesen ist je ein Adressenrechner
52, 53 vorgesehen, die mit Synchronimpulsen H und dem
Taktsignal P versorgt werden. Zusätzlich wird dem
Lese-Adressenrechner 53 noch der ganzzahlige Teil des
Versatzes aus dem Schreib/Lese-Speicher 42 zugeführt. Da
auch hier ein Übergang zwischen Bildelementen der einen und
der nächsten Zeile nicht sprunghaft erfolgen soll, ist eine
Erzeugung von Subpixeln zusätzlich zur horizontalen Richtung
auch in vertikaler Richtung vorgesehen. Aus dem
Schreib/Lese-Speicher 51 werden deshalb gleichzeitig die
Werte von vier Bildelementen ausgelesen und Multiplizierern
54, 55, 56, 57 zugeführt. Um das gleichzeitige Auslesen zu
ermöglichen, sind im Schreib/Lese-Speicher 51 mehrere
Dual-Port-RAMs angeordnet, die mindestens zum Auslesen
verschieden voneinander adressiert werden können. Ähnlich
wie bei der Anordnung nach Fig. 8 werden die
geringwertigeren Binärstellen der Adressen als Faktoren für
die Bewertung der Bildelemente in einem Koeffizientenrechner
60 herangezogen. In einem Addierer 58 entsteht dann der
gewünschte gewichtete Mittelwert, der in der Schaltung 59
normiert wird, was analog zu Fig. 8 erfolgt. Dabei wird
jedoch die doppelte Anzahl von Binärstellen unterdrückt, da
zuvor je eine Multiplikation in horizontaler und vertikaler
Richtung erfolgt.
Fig. 10 zeigt ein Beispiel für die Verschiebung eines
Subpixels um eine gebrochene Zeilen- und Spaltenzahl. Die
Bildelemente sind dazu als Kreise dargestellt. Die im
Speicher 42 abgelegte Transformationsfunktion ergibt, daß
ein Versatz um 2,75 Zeilen und 18,625 Spalten erfolgen soll.
Ein Bildelement, das mit einem Bildelement in Zeile 6 und
Spalte 26 des Bildes B2 der anderen Videokamera verglichen
werden soll, müßte demnach aus der "Zeile 3,25" und der
"Spalte 7,375" versetzt werden. Da im Videosignal ein
solches Bildelement nicht vorhanden ist, wird es durch eine
Interpolation (gewichtete Mittelwertbildung) gewonnen.
Die Berücksichtigung der Winkellage bei der Transformation,
wie sie bei der Anordnung nach Fig. 9 erfolgt, ist in Fig.
11 anhand von Bildern dargestellt. B1 ist das Bild der
linken Videokamera 1 (Fig. 1), die gegenüber der rechten
Videokamera leicht nach rechts gekippt ist. Eine zur
optischen Achse der linken Videokamera senkrechte Linie 61
auf der Bewegungsebene erscheint daher nach rechts
ansteigend. Auf dem Bild B2 der rechten Videokamera ist die
Abbildung 62 der gleichen Linie waagerecht. Durch die
Transformation soll nun die Linie 61 mit der Linie 62 zur
Deckung gebracht werden - voraussetzungsgemäß stellen die
beiden wiedergegebenen Linien eine Linie in der
Bewegungsebene dar.
In einem Speicher (entsprechend 51 in Fig. 9) werden so
viele Zeilen zwischengespeichert, wie es wegen der
Schräglage erforderlich ist. Der jeweils gespeicherte Teil
63 des Bildes verschiebt sich entsprechend der
Vertikalablenkung über das Bild. Zur Bildung der
transformierten Zeile 61′ werden aus den
zwischengespeicherten Zeilen Bildelemente entnommen bzw.
durch Interpolation gebildet, was in Fig. 11 durch Pfeile
angedeutet ist.
Claims (11)
1. Anordnung zur Erkennung von Hindernissen, die außerhalb
einer Bewegungsebene eines Fahrzeugs liegen, wobei
Videosignale, die von zwei im Abstand angeordneten und auf
die Bewegungsebene gerichteten Videokameras erzeugt werden,
mittels Bild-Kartierung verarbeitet werden, dadurch
gekennzeichnet, daß die Videosignale der Videokameras (1, 2)
durch von Zeile zu Zeile veränderliche Verzögerungszeiten
zeitlich derart aneinander angepaßt werden, daß
Videosignale, die gleiche Punkte der Bewegungsebene (4)
darstellen, jedoch von verschiedenen Videokameras (1, 2)
erzeugt sind, gleichzeitig einer Vergleichsschaltung (31)
zugeführt werden.
2. Anordnung nach Anspruch 1, dadurch gekennzeichnet, daß
die Verzögerungszeiten für die einzelnen Zeilen des Bildes
entsprechend dem Blickwinkel der Videokameras (1, 2) auf die
Bewegungsebene (4) und entsprechend dem Abstand zwischen den
Videokameras (1, 2) in einem Speicher (27, 42) abgelegt
sind.
3. Anordnung nach Anspruch 2, dadurch gekennzeichnet, daß
für verschiedene Ausrichtungen des Fahrzeugs (3) in bezug
auf die Bewegungsebene (4) verschiedene Verzögerungszeiten
für die einzelnen Zeilen im Speicher (27, 42) abgelegt sind.
4. Anordnung nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß ein Ausgang einer ersten
Videokamera (2) über einen ersten Analog/Digital-Wandler
(23) mit einem Eingang der Vergleichsschaltung (31)
verbunden ist, daß ein Ausgang der zweiten Videokamera (1)
über einen zweiten Analog/Digital-Wandler (22) und über eine
steuerbare Verzögerungseinrichtung (26, 51) an einen
weiteren Eingang der Vergleichsschaltung (31) angeschlossen
ist und daß die steuerbare Verzögerungseinrichtung (26, 51)
in Abhängigkeit von gespeicherten sich jeweils auf eine
Zeile beziehenden Verzögerungszeiten gesteuert wird.
5. Anordnung nach Anspruch 4, dadurch gekennzeichnet, daß
die steuerbare Verzögerungseinrichtung (51) Speicher für die
Werte von Bildelementen mehrerer Zeilen umfaßt und daß
Mittel (53) zum Auslesen der Werte der Bildelemente einer
transformierten Zeile vorgesehen sind, wobei die Werte der
Bildelemente der transformierten Zeile derart aus den
gespeicherten Werten gewonnen werden, daß zusätzlich zum
zeilenabhängigen Versatz eine Bilddrehung möglich ist.
6. Anordnung nach einem der Ansprüche 1 bis 3, dadurch
gekennzeichnet, daß zu Zwecken der von Zeile zu Zeile
veränderlichen Verzögerung die horizontalfrequenten
Synchronimpulse einer der Videokameras gegenüber der anderen
Videokamera phasenverschoben werden.
7. Anordnung nach Anspruch 4, dadurch gekennzeichnet, daß
die Videosignale der ersten und der zweiten Videokamera (1,
2) jeweils einer einstellbaren Verzögerung unterworfen sind,
wobei die Verzögerungszeit für jedes Videosignal unabhängig
voneinander 0 oder ein ganzzahliges Vielfaches einer
Zeilenperiode tragen kann.
8. Anordnung nach einem der Ansprüche 1 bis 6, dadurch
gekennzeichnet, daß die vertikalfrequenten Synchronimpulse
einer der Videokameras gegenüber der anderen Videokamera um
eine oder mehrere Zeilenperioden phasenverschiebbar sind.
9. Anordnung nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß die Vergleichsschaltung (31) im
wesentlichen eine Subtraktionsschaltung ist.
10. Anordnung nach Anspruch 9, dadurch gekennzeichnet, daß
das Ausgangssignal der Vergleichsschaltung (31) über eine
Tabelle (33) zur Bewertung der Signalamplituden einem
Rechner (36) zugeführt wird.
11. Anordnung nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß bei einer Verzögerungszeit,
welche nicht einer ganzen Anzahl von Bildelementen
entspricht, eine Interpolation von Werten benachbarter
Bildelemente erfolgt.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4015959A DE4015959C2 (de) | 1990-05-18 | 1990-05-18 | Verfahren und Anordnung zur Erkennung von Hindernissen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4015959A DE4015959C2 (de) | 1990-05-18 | 1990-05-18 | Verfahren und Anordnung zur Erkennung von Hindernissen |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4015959A1 true DE4015959A1 (de) | 1991-11-21 |
DE4015959C2 DE4015959C2 (de) | 2000-05-25 |
Family
ID=6406671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4015959A Expired - Fee Related DE4015959C2 (de) | 1990-05-18 | 1990-05-18 | Verfahren und Anordnung zur Erkennung von Hindernissen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE4015959C2 (de) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1175104A2 (de) * | 2000-07-19 | 2002-01-23 | Pohang University of Science and Technology Foundation | System zur Ungleichheitsmessung von stereoskopischen Bildern |
DE19630194B4 (de) * | 1996-07-26 | 2006-06-01 | Robert Bosch Gmbh | Verfahren zur Detektion von Objekten |
DE102007009225B3 (de) * | 2007-02-26 | 2008-07-03 | Sick Ag | Bearbeitungsmaschine |
US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0290633A1 (de) * | 1987-05-09 | 1988-11-17 | Carl Schenck Ag | Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges |
EP0360880A1 (de) * | 1988-09-24 | 1990-04-04 | Carl Schenck Ag | Verfahren zum segmentieren dreidimensionaler Szenen |
-
1990
- 1990-05-18 DE DE4015959A patent/DE4015959C2/de not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0290633A1 (de) * | 1987-05-09 | 1988-11-17 | Carl Schenck Ag | Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges |
EP0360880A1 (de) * | 1988-09-24 | 1990-04-04 | Carl Schenck Ag | Verfahren zum segmentieren dreidimensionaler Szenen |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
DE19630194B4 (de) * | 1996-07-26 | 2006-06-01 | Robert Bosch Gmbh | Verfahren zur Detektion von Objekten |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
EP1175104A3 (de) * | 2000-07-19 | 2002-04-17 | Pohang University of Science and Technology Foundation | System zur Ungleichheitsmessung von stereoskopischen Bildern |
US6862035B2 (en) | 2000-07-19 | 2005-03-01 | Ohang University Of Science And Technology Foundation | System for matching stereo image in real time |
EP1175104A2 (de) * | 2000-07-19 | 2002-01-23 | Pohang University of Science and Technology Foundation | System zur Ungleichheitsmessung von stereoskopischen Bildern |
US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
DE102007009225B3 (de) * | 2007-02-26 | 2008-07-03 | Sick Ag | Bearbeitungsmaschine |
Also Published As
Publication number | Publication date |
---|---|
DE4015959C2 (de) | 2000-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69113375T2 (de) | Hochgeschwindigkeits-Videokamera. | |
EP0095660B1 (de) | Stereophotogrammetrisches Aufnahme- und Auswerteverfahren | |
DE3114643C2 (de) | ||
DE69027633T2 (de) | Automatische Fahrzeugführung entlang Führungslinien | |
DE4130010C2 (de) | Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes | |
DE2926654C2 (de) | Fahrtsimulator | |
DE3629984C2 (de) | ||
DE102008046398A1 (de) | Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt | |
DE4411179A1 (de) | Bildeinfangvorrichtung | |
DE4015959C2 (de) | Verfahren und Anordnung zur Erkennung von Hindernissen | |
DE3515037A1 (de) | Bildsignalverarbeitungsvorrichtung | |
DE3524505C2 (de) | ||
DE69029507T2 (de) | Bildeinstellungs- und Konturkorrekturschaltung und Verfahren für Festkörperkamera | |
DE69531181T2 (de) | MPEG2-verarbeitendes Steuergerät für halbpixel Bewegungskompensation | |
DE3533379A1 (de) | Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene | |
DE4437385A1 (de) | Verfahren und Vorrichtung zur Bildkorrektur | |
DE1774672A1 (de) | Zeichenerkennungsvorrichtung | |
DE3438449C2 (de) | ||
DE2836500C3 (de) | Anordnung zum Einblenden von Graphiken in ein auf dem Bildschirm eines Sichtgerätes dargestelltes Bild | |
DE3855077T2 (de) | Setzbildapparat | |
DE19545919A1 (de) | NTSC-PAL-Umsetzer | |
EP0213683B1 (de) | Verfahren und Anordnung zur Erzeugung von Zwischenbildsignalen aus Referenzbildsignalen mit verringerter Bildfrequenz | |
DE68916965T2 (de) | Produktion von digitalen video-effekten. | |
DE3382596T2 (de) | Dreidimensionale entfernungsmessvorrichtung. | |
DE112019002126T5 (de) | Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |