DE10063756A1 - Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung - Google Patents
Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer BilderzeugungsvorrichtungInfo
- Publication number
- DE10063756A1 DE10063756A1 DE10063756A DE10063756A DE10063756A1 DE 10063756 A1 DE10063756 A1 DE 10063756A1 DE 10063756 A DE10063756 A DE 10063756A DE 10063756 A DE10063756 A DE 10063756A DE 10063756 A1 DE10063756 A1 DE 10063756A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- points
- angles
- misalignment
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Kompensieren einer Dejustage von zumindest einer ersten Bilderzeugungsvorrichtung, die von einem Trägerobjekt, insbesondere einem Fahrzeug, angeordnet ist. DOLLAR A Erfindungsgemäß ist vorgesehen, dass das Verfahren die folgenden Schritte umfasst: a) Erzeugen eines ersten Bildes mit der ersten Bilderzeugungsvorrichtung und Speichern des ersten Bildes; b) Erfassen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien an dem ersten Bild; c) Vergleichen der ersten Aufpunkte und/oder der ersten Winkel mit zweiten Aufpunkten und/oder zweiten Winkeln von zweiten Kanten und/oder zweiten Linien in einem zweiten Bild, um zu beurteilen, ob eine Dejustage der ersten Bilderzeugungsvorrichtung vorliegt; und d) Bestimmen von Korrekturparametern aus den ersten Aufpunkten und/oder den ersten Winkeln und den zweiten Aufpunkten und/oder zweiten Winkeln, falls eine Dejustage der ersten Bilderzeugungsvorrichtung vorliegt, um mit Hilfe der Korrekturparameter gegebenenfalls die Dejustage zu kompensieren. DOLLAR A Ferner betrifft die vorliegende Erfindung eine Kompensationsvorrichtung zum Kompensieren einer Dejustage von zumindest einer ersten Bilderzeugungsvorrichtung.
Description
Die Erfindung betrifft ein Verfahren zum Kompensieren
einer Dejustage von zumindest einer ersten Bilderzeu
gungsvorrichtung, die an einem Trägerobjekt, insbesondere
einem Fahrzeug, angeordnet ist. Weiterhin betrifft die
Erfindung eine Kompensationsvorrichtung zum Kompensieren
einer Dejustage von zumindest einer ersten Bilderzeu
gungsvorrichtung, die an einem ersten Trägerobjekt,
insbesondere einem Fahrzeug, angeordnet ist.
Beispielsweise auf dem Gebiet der Kraftfahrzeugtechnik
ist es erwünscht, den Fahrer von möglichst vielen Stör
einflüssen zu entlasten und ihn bei der Führung des
Fahrzeugs zu unterstützen, so dass nicht nur der Fahrkom
fort verbessert, sondern auch die Sicherheit erhöht
werden kann. Zu diesem Zweck wurde bereits vorgeschlagen,
Systeme zum Erkennen von Fahrbahnrandmarkierungen und zum
Erkennen von Objekten auf und neben der Fahrspur einzu
setzen. Die Fahrbahnrandmarkierungen beziehungsweise die
Objekte werden dabei über Bilderzeugungsvorrichtungen
erfasst, die insbesondere durch Videokameras gebildet
sein können. In diesem Zusammenhang können Systeme einge
setzt werden, die eine einzige Videokamera umfassen, oder
Systeme, die zwei oder mehr Videokameras umfassen. Je
nach Art des Systems können über die durch die Bilderzeu
gungsvorrichtung gewonnenen Informationen beispielsweise
aktive Lenk- beziehungsweise Brems- und Antriebseingriffe
vorgenommen werden, um den Fahrer zu unterstützen. Auch
die Verwirklichung von geeigneten Warnfunktionen ist
möglich, wenn durch eine entsprechende Auswertung der
über die Bilderzeugungsvorrichtung gewonnen Informationen
Gefahrensituationen rechtzeitig festgestellt werden
können. Weiterhin sind Systeme denkbar, bei denen die
über die Bilderzeugungsvorrichtung gewonnen Informationen
beispielsweise für eine kursabhängige Lichtsteuerung oder
die Überwachung des rückwärtigen Fahrraums verwendet
werden. Unabhängig von der speziellen Ausführungsform des
jeweiligen Systems ist es dabei erforderlich, dass genaue
Informationen über die Einbauposition der Bilderzeugungs
vorrichtung relativ zum Fahrzeug vorliegen. Beispielswei
se wenn die Position eines vorausfahrenden Fahrzeugs im
Verhältnis zum eigenen Fahrzeug bestimmt werden soll,
müssen genaue Informationen über die Ausrichtung des
Koordinatensystems der Bilderzeugungsvorrichtung zum
Koordinatensystem des eigenen Fahrzeugs vorliegen. Unter
Informationen über die Ausrichtung des Koordinatensystems
der Bilderzeugungsvorrichtung ist in diesem Zusammenhang
beispielsweise die Information darüber zu verstehen, ob
die Bilderzeugungsvorrichtung genau in die Fahrtrichtung
des Fahrzeugs blickt, oder ob beispielsweise Abweichungen
im Bereich von wenigen zehntel Grad oder mehr vorhanden
sind. Beim Einbau der Bilderzeugungsvorrichtung oder der
Bilderzeugungsvorrichtungen kann über eine Kalibrierung
die genaue Einbauposition erfasst werden, die beispiels
weise die Höhe über der Strasse, den Querversatz zur
Fahrzeugmitte, die Entfernung von der Hinterachse, den
Nickwinkel, den Gierwinkel und den Wankwinkel umfassen
kann. Solange die jeweilige Einbauposition als konstant
angenommen wird, können anhand dieser Daten alle weiteren
Berechnungen vorgenommen werden.
Problematisch ist in diesem Zusammenhang, dass die Ein
bauposition der Bilderzeugungsvorrichtung, bereits auf
grund von kleinsten Verformungen von beispielsweise der
Kamerahalterung oder des umliegenden Materials, in der
Praxis nicht konstant ist. Bereits kleinste Verformungen
der Kamerahalterung beziehungsweise des umliegenden
Materials, die beispielsweise durch Temperaturveränderun
gen oder die Materialalterung hervorgerufen werden kön
nen, führen zu signifikanten Verschiebungen und/oder
Verdrehungen der Bilderzeugungsvorrichtung oder der
Bilderzeugungsvorrichtungen. Derartige Verschiebungen
und/oder Verdrehungen werden nachfolgend als Dejustage
bezeichnet, wobei sich eine derartige Dejustage bei
spielsweise nachteilig auf die Ergebnisse der Berechnun
gen und damit auf die Qualität von Videosystemen aus
wirkt.
Dadurch, dass das erfindungsgemäße Verfahren die folgen
den Schritte umfasst:
- a) Erzeugen eines ersten Bildes mit der ersten Bilder zeugungsvorrichtung und Speichern des ersten Bildes,
- b) Erfassen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien in dem ersten Bild,
- c) Vergleichen der ersten Aufpunkte und/oder der ersten Winkel mit zweiten Aufpunkten und/oder zweiten Win keln von zweiten Kanten und/oder zweiten Linien in einem zweiten Bild, um zu beurteilen, ob eine De justage der ersten Bilderzeugungsvorrichtung vor liegt, und
- d) Bestimmen von Korrekturparametern aus den ersten Aufpunkten und/oder den ersten Winkeln und den zwei ten Aufpunkten und/oder den zweiten Winkeln, falls eine Dejustage der ersten Bilderzeugungsvorrichtung vorliegt, um mit Hilfe der Korrekturparameter gege benenfalls die Dejustage zu kompensieren,
kann eine eventuelle Dejustage selbstständig und zuver
lässig erkannt und kompensiert werden, ohne dass separate
Kalibriereinrichtungen erforderlich sind. Bei Fahrzeugen
können dadurch beispielsweise Werkstattaufenthalte ver
mieden werden. Um eine ständige Überwachung und Kompensa
tion zu gewährleisten, wird das erfindungsgemäße Verfah
ren vorzugsweise zyklisch während des Betriebs durchge
führt. Da es sich jedoch bei der zu überwachenden De
justage um ein Langzeitproblem handelt, ist eine relativ
niedrige Überwachungsfrequenz ausreichend. Im Zusammen
hang mit der Kraftfahrzeugtechnik ist es daher beispielsweise
möglich, dass die zur Durchführung des erfindungs
gemäßen Verfahrens erforderliche Rechenleistung von
ohnehin im Fahrzeug vorhandenen Hardwarekomponenten zur
Verfügung gestellt wird. Gegebenenfalls können zusätzli
che Speicherkapazitäten vorgesehen werden, um das erste
Bild und/oder das zweite Bild zu speichern.
Bei einer ersten Ausführungsform des erfindungsgemäßen
Verfahrens ist vorgesehen, dass das Erfassen von ersten
Aufpunkten und/oder ersten Winkeln von ersten Kanten
und/oder ersten Linien in dem ersten Bild die folgenden
Teilschritte in der genannten Reihenfolge umfasst: Anwen
den eines Kanten- und/oder Linienextraktionsverfahrens;
Anwenden eines Binearisierungsverfahrens; Durchführen
einer Bildinvertierung; Anwenden eines Kanten- und/oder
Liniendetektionsverfahrens; und Bestimmen der ersten
Aufpunkte und/oder der ersten Winkel. Dem Fachmann auf
dem Gebiet der digitalen Bildverarbeitung sind verschie
dene Verfahren zur Durchführung der genannten Teilschrit
te bekannt, und prinzipiell können alle geeigneten Ver
fahren eingesetzt werden, so lange sie die Bestimmung der
ersten Aufpunkte und/oder der ersten Winkel ermöglichen.
Bei einer zweiten Ausführungsform des erfindungsgemäßen
Verfahrens ist vorgesehen, dass das Erfassen von ersten
Aufpunkten und/oder ersten Winkeln von ersten Kanten
und/oder ersten Linien in dem ersten Bild die folgenden
Teilschritte in der genannten Reihenfolgen umfasst:
Anwenden eines Binearisierungsverfahrens; Anwenden eines
Kanten- und/oder Linienextraktionsverfahrens; Durchführen
einer Invertierung; Anwenden eines Kanten- und/oder
Liniendetektionsverfahrens; und Bestimmen der ersten
Aufpunkte und/oder der ersten Winkel. Bezüglich der
zweiten Ausführungsform des erfindungsgemäßen Verfahrens
wird auf die Ausführungen zur ersten Ausführungsform des
erfindungsgemäßen Verfahrens verwiesen, die sinngemäß
gelten. Weiterhin werden die Ergebnisse der ersten und
der zweiten Ausführungsform des erfindungsgemäßen Verfah
rens später im Abschnitt "Beschreibung der Ausführungs
beispiele" gegenübergestellt.
Bei dem erfindungsgemäßen Verfahren kann weiterhin vorge
sehen sein, dass die zweiten Aufpunkte und/oder die
zweiten Winkel zweite Kanten und/oder zweite Linien
festlegen, die in dem zweiten Bild gefunden werden, und
dass das zweite Bild von einer zweiten Bilder
zeugungsvorrichtung erzeugt wird, die ebenfalls an dem
Trägerobjekt angeordnet ist, beispielsweise an einem
Fahrzeug. Wenn die erste Bilderzeugungsvorrichtung und
die zweite Bilderzeugungsvorrichtung jeweils durch eine
Videokamera gebildet sind, die prinzipiell die gleiche
Blickrichtung aufweisen, jedoch mit einem Abstand zuein
ander angeordnet sind (Stereokameras), kann auf diese
Weise eine eventuelle Dejustage zwischen den beiden
Kameras erkannt und kompensiert werden.
Insbesondere zu diesem Zweck ist bei dem erfindungsgemä
ßen Verfahren vorzugsweise vorgesehen, dass die zweiten
Aufpunkte und/oder die zweiten Winkel wie die ersten
Aufpunkte und/oder die ersten Winkel bestimmt werden. In
diesem Zusammenhang ist es beispielsweise möglich, dass
entsprechenden Softwareprozeduren nacheinander die Bild
daten des ersten Bildes und die Bilddaten des zweiten
Bildes zugeführt werden.
Um eine eventuelle Dejustage zwischen der ersten Bilder
zeugungsvorrichtung und einer zweiten Bilderzeugungsvor
richtung beziehungsweise einer ersten Kamera und einer
zweiten Kamera mit Hilfe der Korrekturparameter kompen
sieren zu können, werden beim Verfahrensschritt d) auch
dann Korrekturparameter aus den ersten Aufpunkten
und/oder den ersten Winkeln und den zweiten Aufpunkten
und/oder den zweiten Winkeln bestimmt, wenn eine Dejusta
ge der zweiten Bilderzeugungsvorrichtung vorliegt.
Obwohl prinzipiell auch andere Bilderzeugungsvorrichtun
gen eingesetzt werden können, wird für das erfindungsge
mäße Verfahren bevorzugt, dass die erste Bilderzeugungs
vorrichtung und/oder die zweite Bilderzeugungsvorrichtung
jeweils durch eine Videokamera gebildet sind, wie dies
bereits erwähnt wurde.
Um eine eventuelle Dejustage zwischen zwei Bildverarbei
tungsvorrichtungen erkennen und gegebenenfalls kompensie
ren zu können, wird bei dem erfindungsgemäßen Verfahren
bevorzugt, dass die erste Bilderzeugungsvorrichtung und
die zweite Bilderzeugungsvorrichtung eine Stereo-
Videokamera bilden, und dass das erste Bild und das
zweite Bild gleichzeitig erzeugt wird. Diese Vorgehens
weise ergibt eine hohe Unempfindlichkeit gegenüber Stö
rungen des ersten und/oder des zweiten Bildes, die bei
spielsweise durch Erschütterungen, Regentropfen, Spritz
wasser, beschlagene oder verunreinigte Scheiben und
dergleichen hervorgerufen werden, da hinsichtlich des
ersten Bildes und des zweiten Bildes eine Merkmalsextrak
tion durchgeführt wird. Das heißt, dass wenn aufgrund der
erwähnten Störungen kein Pixel des ersten Bildes in dem
zweiten Bild wiederzufinden ist, dennoch zuverlässige
Ergebnisse erzielt werden.
Unabhängig davon, ob eine Bilderzeugungsvorrichtung
vorgesehen ist oder ob zwei oder mehrere Bilderzeugungs
vorrichtungen vorgesehen sind, wird bevorzugt, dass das
erfindungsgemäße Verfahren (auch) derart durchgeführt
wird, dass das zweite Bild ein zu einem früheren Zeit
punkt von der ersten Bilderzeugungsvorrichtung erzeugtes
Bild ist, und dass die ersten Kanten und/oder die ersten
Linien und die zweiten Kanten und/oder die zweiten Linien
Kanten und/oder Linien des Trägerobjekt umfassen. Diese
Vorgehensweise dient dazu, jede einzelne Bilderzeugungs
vorrichtung hinsichtlich des Trägerobjekts auf eine
eventuelle Dejustage zu überwachen und gegebenenfalls zu
kompensieren. Wenn das Trägerobjekt ein Kraftfahrzeug ist
und die Blickrichtung der Bilderzeugungsvorrichtung in
Fahrtrichtung verläuft, können die Kanten und/oder Linien
des Fahrzeugs beispielsweise die Vorderkante der Motor
haube umfassen. In diesem Zusammenhang kann es vorteil
haft sein, wenn zusätzlich oder alternativ nach festste
henden Formen, beispielsweise der Form der Motorhaube
gesucht wird. Anstelle von für Kanten verwendeten Gera
dengleichungen kann dann eine Gleichung oder ein Parame
tersatz für die Kontur der feststehenden Form, beispiels
weise der Motorhaube, verwendet werden.
Bei dem erfindungsgemäße Verfahren kann vorgesehen sein,
dass bei dem Kanten- und/oder Linienextraktionsverfahren
eine Sobeloperator-Filterung eingesetzt wird. Die dem
Fachmann an sich bekannte Sobeloperator-Filterung ergibt,
dass sich die in dem Bild enthaltenen Kanten und Linien
als helle Linien auf dunklem Hintergrund abzeichnen.
Ebenso kann bei dem erfindungsgemäßen Verfahren vorgese
hen sein, dass bei den Kanten- und/oder Linienextrakti
onsverfahren eine Roberts-Edge-Filterung eingesetzt wird.
Mit dieser dem Fachmann ebenfalls an sich bekannten
Roberts-Edge-Filterung werden ähnlich Ergebnisse wie bei
der Sobeloperator-Filterung erzielt.
Als Binearisierungsverfahren kann beispielsweise ein
Schwellenwertverfahren eingesetzt werden. Wenn das ent
sprechende Bild in Form von Grauwerten vorliegt, können
beispielsweise die Häufigkeiten der einzelnen Grauwerte
zur Bestimmung des durchschnittlichen Grauwerts ausgewer
tet werden, wobei dieser durchschnittliche Grauwert dann
den Schwellenwert bilden kann.
Ebenso kann bei dem erfindungsgemäßen Verfahren vorgese
hen sein, dass bei dem Binearisierungsverfahren, bezüg
lich einem Grauwerthistogramm des ersten Bildes und des
zweiten Bildes, die Minima zwischen zwei jeweiligen
Maxima erfasst werden. Diese Vorgehensweise bietet sich
an, weil die zu untersuchenden Bilder systembedingt eine
sehr ähnliche Charakteristik aufweisen und ihr jeweiliges
Grauwerthistogramm einer bimodalen Verteilung entspricht.
Das erfindungsgemäß Verfahren sieht vorzugsweise weiter
hin vor, dass bei dem Kanten- und/oder Liniendetektions
verfahren eine Hough-Transformation eingesetzt wird.
Durch die Hough-Transformation wird die genaue Position
und Lage aller signifikanten Kanten und/oder Linien in
den Bildern bestimmt. Durch die Transformation der in
kartesischen Koordinaten gegebenen Kantenpunkte [xi, yi]
in einen zweidimensionalen Parameterraum [a, ϕ], über die
Transformationsgleichung:
xi.cos(ϕ) + yi.sin(ϕ) = a,
wird durch einfache Suche lokaler Maxima im Parameterraum
eine Bestimmung von kolinearen Punkten im zu untersuchen
den Bild möglich. Durch die entsprechende Rücktransforma
tion erhält man sowohl Aufpunkte als auch Winkel der
Ursprungslotrechten auf jede signifikante Kante bezie
hungsweise Linie im Ursprungsbild.
Dadurch, dass die erfindungsgemäße Kompensationsvorrich
tung aufweist:
- - Aufpunkt- und/oder Winkelerfassungsmittel zum Erfas sen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien in einem ersten Bild, das von der ersten Bilderzeugungsvor richtung erzeugt wurde,
- - Vergleichsmittel zum Vergleichen der ersten Aufpunk te und/oder der ersten Winkel mit zweiten Aufpunkten und/oder zweiten Winkeln in einem zweiten Bild, um zu beurteilen, ob eine Dejustage der ersten Bilder zeugungsvorrichtung vorliegt, und
- - Korrekturparameterbestimmungsmittel zum Bestimmen von Korrekturparametern aus den ersten Aufpunkten und/oder den ersten Winkeln und den zweiten Aufpunkten und/oder den zweiten Winkeln, falls eine De justage der ersten Bilderzeugungsvorrichtung vor liegt, um mit Hilfe der Korrekturparameter gegebe nenfalls die Dejustage zu kompensieren,
ergeben sich ähnliche Vorteile wie bei dem erfindungsge
mäßen Verfahren. Das heißt insbesondere, dass eine even
tuelle Dejustage selbstständig und zuverlässig erkannt
und kompensiert werden kann, ohne dass separate Kalib
riereinrichtungen erforderlich sind. Sofern die Trägerob
jekte durch Fahrzeuge gebildet sind, können dadurch
beispielsweise Werkstattaufenthalte vermieden werden. Im
Übrigen wird auf die entsprechenden Ausführungen zum
erfindungsgemäßen Verfahren verwiesen.
Bei der erfindungsgemäßen Vorrichtung ist vorzugsweise
vorgesehen, dass die Aufpunkt- und/oder Winkelerfassungs
mittel Kanten- und/oder Linienextraktionsmittel, Bineari
sierungsmittel und Invertierungsmittel aufweisen. Ebenso
wie alle anderen hier erwähnten Mittel können auch diese
Mittel durch geeignete Hard- und Software verwirklicht
werden. Beispielsweise im Bereich der Fahrzeugtechnik
kann in vielen Fällen ohnehin vorhandene Hardware zumin
dest teilweise verwendet werden, so dass sich die Gesamt
kosten im Rahmen halten. Ähnlich wie bei dem erfindungs
gemäßen Verfahren kann auch bei der erfindungsgemäße
Vorrichtung vorgesehen sein, dass die zweiten Aufpunkte
und/oder die zweiten Winkel zweite Kanten und/oder zweite
Linien festlegen, die in dem zweiten Bild gefunden wer
den, und dass das zweite Bild von einer zweiten Bilder
zeugungsvorrichtung erzeugt wird, die ebenfalls an dem
Trägerobjekt angeordnet ist, insbesondere an einem Fahrzeug.
Diese Vorgehensweise dient dazu, eine eventuelle
gegenseitige Dejustage der ersten Bilderzeugungsvorrich
tung und der zweiten Bilderzeugungsvorrichtung zu erken
nen und gegebenenfalls zu kompensieren. Dadurch wird
jedoch nicht ausgeschlossen, dass für jede vorhandene
Bilderzeugungsvorrichtung als zweites Bild auch ein von
der entsprechenden Bilderzeugungsvorrichtung früher
erzeugtes Bild verwendet wird, um eine eventuelle De
justage der entsprechenden Bilderzeugungsvorrichtung
bezüglich dem Trägerobjekt zu erkennen und gegebenenfalls
zu kompensieren. Um den erforderlichen Hardwareaufwand so
gering wie möglich zu halten, bietet es sich an, eine
eventuelle gegenseitige Dejustierung der ersten Bilder
zeugungsvorrichtung und der zweiten Bilderzeugungsvor
richtung zu einem anderen Zeitpunkt zu überwachen, als
eine Dejustierung hinsichtlich der einzelnen Bilderzeu
gungsvorrichtungen und dem Trägerobjekt.
Mit der erfindungsgemäßen Vorrichtung werden die zweiten
Aufpunkte und/oder die zweiten Winkel vorzugsweise nach
dem gleichen Prinzip wie die ersten Aufpunkte und/oder
die ersten Winkel bestimmt. Durch diese Maßnahme kann der
erforderliche Hard- und Softwareaufwand weiterhin einge
schränkt werden.
Bei der erfindungsgemäßen Vorrichtung kann weiterhin
vorgesehen sein, dass die Korrekturparameter Bestimmungs
mittel aus den ersten Aufpunkten und/oder den ersten
Winkeln und den zweiten Aufpunkten und/oder den zweiten
Winkeln auch dann Korrekturparameter bestimmen, wenn eine
Dejustage der zweiten Bilderzeugungsvorrichtung vorliegt,
um diese Dejustage mit Hilfe der Korrekturparameter
gegebenenfalls zu kompensieren. In diesem Zusammenhang
kann eine Mittelwertbildung über alle Verschiebungswerte
durchgeführt werden. Dadurch lässt sich auf eine eventu
ell abweichende Ausrichtung der ersten Bilderzeugungsvor
richtung und der zweiten Bilderzeugungsvorrichtung rück
schließen. Bestimmen lässt sich sowohl eine Veränderung
durch Rotation als auch durch Translation. Die erwähnte
Mittelwertbildung hat weiterhin den Vorteil, dass Mess
fehler und Messungenauigkeiten, die beispielsweise durch
Kamerarauschen verursacht werden können, weitestgehend
eliminiert werden. Das Gütemaß der Messung ergibt sich in
diesem Fall über die Standartabweichung der Dejustagewer
te. Die eigentliche Kompensation im Falle einer Dejustage
kann beispielsweise durch das Abspeichern neuer, relati
ver Koordinaten zwischen der ersten Bilderzeugungsvor
richtung und der zweiten Bilderzeugungsvorrichtung erfol
gen. Weichen die neu errechneten Differenzwerte bezie
hungsweise die Mittelungen über mehrere Messungen, von
den zuvor gespeicherten ab, so können die neu errechneten
Werte als neue Referenzwerte abgespeichert werden, wo
durch sich die erwünschte Kompensation ergibt.
Ähnlich wie bei dem erfindungsgemäßen Verfahren ist die
erste Bilderzeugungsvorrichtung und/oder die zweite
Bilderzeugungsvorrichtung vorzugsweise jeweils durch eine
Videokamera gebildet, insbesondere eine Graustufenkamera.
Um eine eventuelle gegenseitige Dejustage der ersten
Bilderzeugungsvorrichtung und der zweiten Bilderzeugungs
vorrichtung zu erkennen und gegebenenfalls zu kompensie
ren, wird für die erfindungsgemäße Vorrichtung bevorzugt,
insbesondere wenn die erste Bilderzeugungsvorrichtung und
die zweite Bilderzeugungsvorrichtung eine Stereo-
Videokamera bilden, dass das erste Bild und das zweite
Bild gleichzeitig erzeugt wird.
Alternativ oder zusätzlich kann die erfindungsgemäße
Vorrichtung derart ausgestaltet sein, dass das zweite
Bild ein zu einem früheren Zeitpunkt von der ersten
Bilderzeugungsvorrichtung erzeugtes Bild ist, und dass
die zweiten Kanten und/oder die zweiten Linien Kanten
und/oder Linien des Trägerobjekts umfassen. In diesem
Zusammenhang wird darauf hingewiesen, dass, wenn mehrere
Bilderzeugungsvorrichtungen vorhanden sind, zur Überwa
chung einer eventuellen Dejustage bezüglich einer einzel
nen Bilderzeugungsvorrichtung und dem Trägerobjekt, jede
gerade überwachte Bilderzeugungsvorrichtung als erste
Bilderzeugungsvorrichtung aufzufassen ist.
Die bei der erfindungsgemäße Vorrichtung vorgesehenen
Kanten- und/oder Linienextraktionsmittel können eine
Sobeloperator-Filterung durchführen, wobei auf die ent
sprechenden Ausführungen im Zusammenhang mit dem erfin
dungsgemäßen Verfahren verwiesen wird.
Gleiches gilt für den Fall, dass die Kanten- und/oder
Linienextraktionsmittel eine Roberts-Edge-Filterung
durchführen.
Binearisierungsmittel können Schwellenwertvergleiche
durchführen, wie dies im Zusammenhang mit dem erfindungs
gemäßen Verfahren bereits erläutert wurde.
Analog zum erfindungsgemäßen Verfahren können die Binea
risierungsmittel, bezüglich einem Grauwerthistogramm des
ersten Bildes und des zweiten Bildes, auch die Minima
zwischen zwei jeweiligen Maximal erfassen.
Bei der erfindungsgemäßen Vorrichtung kann weiterhin
vorgesehen sein, dass die Kanten- und/oder Liniendetekti
onsmittel eine Hough-Transformation durchführen, wobei
auch diesbezüglich auf die entsprechenden Ausführungen im
Zusammenhang mit dem erfindungsgemäßen Verfahren verwie
sen wird.
Es zeigen:
Fig. 1 ein von einer ersten Bilderzeugungsvorrichtung
erzeugtes erstes Bild;
Fig. 2 eine von einer zweiten Bilderzeugungsvorrich
tung erzeugtes zweites Bild;
Fig. 3 das Bild von Fig. 1 nach einer Kanten- und
Linienextraktion durch eine Sobeloperator-
Filterung;
Fig. 4 das Bild von Fig. 2 nach einer Kanten- und
Linienextraktion durch eine Sobeloperator-
Filterung;
Fig. 5 das Bild von Fig. 3 nach einer Binearisierung
durch Schwellenwertvergleich und anschließender
Invertierung;
Fig. 6 das Bild von Fig. 4 nach einer Binearisierung
durch Schwellenwertvergleich und anschließender
Invertierung;
Fig. 7 eine typische Grauwertverteilung eines ersten
beziehungsweise zweiten Bildes mit eingezeich
netem Schwellenwert;
Fig. 8 das Bild von Fig. 1 nach einer Binearisierung;
Fig. 9 das Bild von Fig. 2 nach einer Binearisierung;
Fig. 10 das Bild von Fig. 8 nach einer Kanten- und
Linienextraktion durch Roberts-Edge-Filterung
und anschließender Invertierung;
Fig. 11 das Bild von Fig. 9 nach einer Kanten- und
Linienextraktion durch Roberts-Edge-Filterung
und anschließender Invertierung;
Fig. 12 die Lage von erfassten Kanten beziehungsweise
Linien für das Bild von Fig. 1;
Fig. 13 ein Beispiel für die Beschreibung von Aufpunk
ten einer einzelnen Linie; und
Fig. 14 den Bildbereich nach einer Transformation in
einem zweidimensionalen Parameterraum.
Zunächst wird eine Ausführungsform des erfindungsgemäßen
Verfahrens erläutert, mit dem eine gegenseitige Dejustage
von einer ersten Bilderzeugungsvorrichtung und einer
zweiten Bilderzeugungsvorrichtung erkannt und gegebenen
falls kompensiert werden kann.
Bei dieser Ausführungsform ist die erste Bilderzeugungs
vorrichtung durch eine erste Videokamera gebildet, und
die zweite Bilderzeugungsvorrichtung ist durch eine
zweite Videokamera gebildet. Die erste Videokamera und
die zweite Videokamera bilden gemeinsam eine Stereo-
Videokamera. Die erste Videokamera ist auf der linken
Fahrzeughälfte im Bereich der Windschutzscheibe angeord
net, während die zweite Videokamera auf der rechten
Fahrzeughälfte im Bereich der Windschutzscheibe angeord
net ist. Die Blickrichtung der ersten und der zweiten
Videokamera erstreckt sich dabei in Fahrtrichtung.
In Fig. 1 ist eine fotographische Darstellung eines
ersten Bildes gezeigt, das von der erste Videokamera
erzeugt wurde und in Fig. 2 ist eine fotografische
Darstellung eines zweiten Bildes gezeigt, das zum glei
chen Zeitpunkt wie das erste Bild von der zweiten Video
kamera erzeugt wurde. Das erste und das zweite Bild wird
bei dieser Ausführungsform zumindest bis zum Abschluss
der Auswertung in digitaler Form gespeichert, im darge
stellten Fall in Form von Grauwerten. Sowohl im ersten
Bild als auch im zweiten Bild sind neben der Fahrbahn und
deren Markierungsstreifen hauptsächlich zwei vorausfahrende
Fahrzeuge zu erkennen. Im unteren Bereich des
ersten Bildes und des zweiten Bildes sind darüber hinaus
die Konturen der Motorhaube des Fahrzeugs zu erkennen,
dass das Trägerobjekt bildet.
Der nächste Schritt besteht darin, erste Aufpunkte und
erste Winkel von ersten Kanten und ersten Linien in dem
ersten Bild und zweite Aufpunkte und zweite Winkel von
zweiten Kanten und zweiten Linien in dem zweiten Bild zu
erfassen. Zur Durchführung dieses Schrittes existieren
verschiedene Möglichkeiten, von denen nachfolgend zwei
näher erläutert werden.
Die Fig. 3 bis 6 betreffen eine erste Möglichkeit, um
die Aufpunkte und die Winkel zu erfassen. Die Fig. 3
und 4 zeigen das erste Bild von Fig. 1 und das zweite
Bild von Fig. 2 nach der Anwendung eines Kanten- und
Linienextraktionsverfahrens, bei dem eine Sobeloperator-
Filterung eingesetzt wurde. Ein Vergleich der Fig. 1
und 2 mit den Fig. 3 und 4 zeigt, dass durch das
Kanten- und Linienextraktionsverfahren die in dem ersten
beziehungsweise dem zweiten Bild enthaltenden Kanten und
Linien als helle Linien auf dunklem Hintergrund hervorge
hoben werden.
Die Fig. 5 und 6 zeigen die Bilder gemäß den Fig. 3
und 4 nach der Anwendung eines Binearisierungsverfahrens
und einer anschließenden Invertierung der Bilder. Als
Binearisierungsverfahren wurde im in den Fig. 5 und 6
dargestellten Fall ein Schwellenwertvergleichsverfahren
eingesetzt. Wie dies den Fig. 5 und 6 zu entnehmen
ist, werden die in dem ersten und zweiten Bild enthaltenen
Kanten und Linien als schwarze Kanten und Linien auf
weißem Hintergrund abgebildet. Die digitale Form der
Bilder gemäß den Fig. 5 und 6 bildet die Grundlage für
die Anwendung eines Kanten- und Liniendetektionsverfah
rens. Die Kanten- und Liniendetektion erfolgt im darge
stellten Fall mit Hilfe der Hough-Transformation. Durch
diese Hough-Transformation wird die genaue Position und
Lage aller signifikanten Kanten und Linien in den Bildern
bestimmt. Bezogen auf die Darstellungen in den Fig. 13
und 14 werden durch die Hough-Transformation die Kanten
punkte [xi, yi] in einen zweidimensionalen Parameterraum
[a, ϕ] transformiert, der für die in Fig. 13 gezeigte
Linie in Fig. 14 dargestellt ist. Nach Anwendung der
Transformationsgleichung:
xi.cos(ϕ) + yi.sin(ϕ) = a,
kann durch eine einfache Suche lokaler Maxima im Parame
terraum eine Bestimmung von kolinearen Punkten im zu
untersuchenden Bild durchgeführt werden. Das Bestimmen
der ersten Aufpunkte und der ersten Winkel sowie der
zweiten Aufpunkte und der zweiten Winkel erfolgt durch
eine entsprechende Rücktransformation, wodurch man die
Aufpunkte und die Winkel der Ursprungslotrechten auf jede
signifikante Linie im Ursprungsbild erhält.
Es folgt eine Beschreibung einer zweiten Möglichkeit zur
Bestimmung der ersten Winkel und der ersten Aufpunkte
beziehungsweise der zweiten Winkel und der zweiten
Rufpunkte.
Ausgehend von dem in Fig. 1 dargestellten ersten Bild
und dem in Fig. 2 dargestellten zweiten Bild, ist es
ebenfalls möglich, zunächst ein Binearisierungsverfahren
mit einer anschließenden Bildinvertierung durchzuführen.
Da die zu untersuchenden Bilder systembedingt eine sehr
ähnliche Charakteristik aufweisen und ihr Grau
werthistogramm einer bimodalen Verteilung entspricht,
kann zur Binearisierung eine einfache Detektion des
Minimums zwischen den beiden Maxima eingesetzt werden.
Ebenso ist es möglich, Schwellenwertvergleiche durchzu
führen, nachdem ein geeigneter Schwellenwert beispiels
weise auf den mittleren Grauwert festgelegt wird, wie
dies ihn Fig. 7 dargestellt ist. Bei der Darstellung
gemäß Fig. 7 sind auf der x-Achse die unterschiedlichen
Grauwerte aufgetragen, die im dargestellten Fall eine
Intensität von 0 bis 255 aufweisen können. Auf der y-
Achse ist die Häufigkeit aufgetragen, mit der die ver
schiedenen Grauwerte in den zu untersuchenden Bildern
auftreten. Für die Darstellung von Fig. 7 liegt der
mittlere Grauwert bei einer Intensität von ungefähr 116.
Diese Intensität bildet den Schwellenwert S.
In den Fig. 8 und 9 ist das erste Bild von Fig. 1 und
das zweite Bild von Fig. 2 nach der Anwendung dieses
Binearisierungsverfahrens dargestellt. Wie dies den
Fig. 8 und 9 zu entnehmen ist, werden ursprünglich
hellere Flächen als weiße Flächen abgebildet, während
ursprünglich dunklere Flächen als schwarze Flächen abge
bildet werden.
In den Fig. 10 und 11 sind die Bilder gemäß den
Fig. 8 und 9 nach der Anwendung eines Kanten- und Linienextraktionsverfahrens
und einer anschließenden Bildinver
tierung dargestellt. Im in den Fig. 10 und 11 darge
stellten Fall wurde die Kanten- und Linienextraktion mit
Hilfe der Roberts-Edge-Filterung durchgeführt, durch die
die in den Bildern gemäß den Fig. 8 und 9 enthaltenen
Kanten und Linien als helle Linien auf dunklem Grund
abgebildet werden.
Nach der Bildinvertierung kann ein Kanten- und Liniende
tektionsverfahren, beispielsweise die bereits erläuterte
Hough-Transformation, durchgeführt werden, um die ersten
Aufpunkte und die ersten Winkel sowie die zweiten Auf
punkte und die zweiten Winkel zu bestimmen.
Fig. 12 zeigt zur Veranschaulichung den ermittelten
Verlauf verschiedener Geraden auf Kanten beziehungsweise
Linien, die wie vorstehend beschrieben detektiert wurden.
Unabhängig davon, wie die jeweiligen Aufpunkte und Winkel
bestimmt wurden, kann nun eine Dejustagebestimmung durch
Vergleich von Aufpunkten und Winkeln der in dem ersten
Bild und in dem zweiten Bild gefundenen Kanten und Linien
durchgeführt werden. Durch Mittelwertbildung aller Ver
schiebungswerte lässt sich auf eine eventuell abweichende
gegenseitige Ausrichtung der beiden Kameras rückschlie
ßen. Dabei lässt sich sowohl eine Veränderung durch
Rotation als auch eine Veränderung durch Translation
bestimmen. Ein weiterer Vorteil, der sich durch die
Mittelung ergibt, besteht darin, dass Messfehler und
Messungenauigkeiten, die beispielsweise durch Kamerarau
schen verursacht werden können, weitestgehend eliminiert
werden. Das Gütemaß der Messung ergibt sich dann über die
Standartabweichung der Dejustagewerte.
Die Bestimmung von Korrekturparametern aus den ersten
Aufpunkten und den ersten Winkeln sowie den zweiten
Aufpunkten und den zweiten Winkeln kann durch Bestimmen
der relativen Koordinaten zwischen beiden Kameras erfol
gen. Diese neuen, relativen Koordinaten werden vorzugs
weise abgespeichert. Weichen die neu errechneten Diffe
renzwerte, beziehungsweise die Mittelungen über mehrere
Messungen, von den zuvor gespeicherten Werten ab, so
können die neu errechneten Werte als neue Referenzwerte
abgespeichert werden.
Vorstehend wurde anhand der Figuren eine Ausführungsform
des erfindungsgemäßen Verfahrens, das beispielsweise
durch die erfindungsgemäße Vorrichtung durchgeführt
werden kann, erläutert, bei der eine eventuelle gegensei
tige Dejustage von zwei Bilderzeugungsvorrichtungen
erkannt und gegebenenfalls kompensiert wird.
Die vorliegenden Erfindung ist jedoch auch dazu geeignet,
eine eventuelle Dejustage einer Bilderzeugungsvorrichtung
bezüglich dem Trägerobjekt, beispielsweise einem Fahr
zeug, zu erkennen und gegebenenfalls zu kompensieren. In
diesem Fall wird sowohl das erste als auch das zweite
Bild von ein und derselben Bilderzeugungsvorrichtung
erzeugt, aber zu unterschiedlichen Zeitpunkten. Bezüglich
dem Wortlaut der zugehörigen Ansprüche ist das zweite
Bild in diesem Fall das ältere Bild, das als Referenzbild
verwendet wird. Da sich das erste und das zweite Bild in
diesem Fall mit hoher Wahrscheinlichkeit stark voneinander
unterscheiden, müssen in diesem Fall sowohl das erste
Bild als auch das zweite Bild Kanten und Linien des
Trägerobjekts umfassen, die in jedem Fall Bestandteil der
Bilder sind. Wenn das Trägerobjekt beispielsweise durch
ein Fahrzeug gebildet ist, können diese Kanten und Linien
des Trägerobjekts beispielsweise Kanten und Linien der
Motorhaube sein, die sich immer im unteren Bereich des
Bildes abzeichnen, wie dies beispielsweise auch in den
Bildern der Fig. 1 und 2 zu erkennen ist. In einigen
Fällen kann es diesbezüglich vorteilhaft sein, wenn
anstelle von Geradengleichungen zur Transformation eine
Gleichung oder ein Parametersatz für die Kontur der
Motorhaube eingesetzt werden. Vom Prinzip her läuft das
erfindungsgemäße Verfahren bei der Kompensation einer
Dejustage einer Bilderzeugungsvorrichtung bezüglich einem
Trägerobjekt genauso ab, wie bei der Kompensation einer
gegenseitigen Dejustage von zwei Bilderzeugungsvorrich
tungen, die ausführlich erläutert wurde. Um Speicherplatz
zu sparen oder aus anderen Gründen, kann es bezüglich dem
zweiten, älteren Bild in einigen Fällen vorteilhaft sein,
nur die Aufpunkte und/oder die Winkel der Kanten bezie
hungsweise Linien des Trägerobjekts zu speichern, die für
die spätere Dejustageüberwachung verwendet werden. Auch
eine derartige Ausführungsform fällt in den Schutzbereich
der entsprechenden Ansprüche.
Sofern zwei Bilderzeugungsvorrichtungen vorgesehen sind,
kann es vorteilhaft sein, wenn zunächst eine eventuelle
Dejustage, einer Bilderzeugungsvorrichtung bezüglich dem
Trägerobjekt kompensiert wird, und wenn anschließend eine
eventuelle gegenseitige Dejustage der Bilderzeugungsvorrichtungen
über die andere Bilderzeugungsvorrichtung
kompensiert wird.
Wenn das Trägerobjekt durch ein Fahrzeug gebildet ist,
kann die Dejustage-Erkennung und -Kompensation während
des regulären Betriebs des Fahrzeugs durchgeführt werden,
das heißt, es ist kein Serviceaufenthalt in einer Werk
statt oder in einer anderen speziellen Test-
/Kalibierungsumgebung erforderlich. Die Kompensation kann
ohne Veränderungen an den Bilderzeugungsvorrichtungen
oder den übrigen System durchgeführt werden. Durch eine
fortlaufende Überprüfung auf eine eventuelle Dejustage
lassen sich in einfacher Weise Daten extrahieren, die bei
einer zu großen Dejustage dazu führen, dass das System
abgeschaltet wird. Insgesamt ist das Verfahren robust
gegen Fehlmessungen, da sowohl innerhalb einer Messung
ein Gütemaß extrahiert werden kann, beispielsweise die
Standartabweichung von Verschiebungen und/oder Verdrehun
gen, als auch über den gesamten Überwachungszeitraum,
beispielsweise über den Verlauf der Kamerapositionen. Die
erfindungsgemäße Vorrichtung kann in vorteilhafter Weise
zur Durchführung des erfindungsgemäßen Verfahrens verwen
det werden.
Die vorhergehende Beschreibung der Ausführungsbeispiele
gemäß der vorliegenden Erfindung dient nur zu illustrati
ven Zwecken und nicht zum Zwecke der Beschränkung der
Erfindung. Im Rahmen der Erfindung sind verschiedene
Änderungen und Modifikationen möglich, ohne den Umfang
der Erfindung sowie ihre Äquivalente zu verlassen.
Claims (27)
1. Verfahren zum Kompensieren einer Dejustage von zumin
dest einer ersten Bilderzeugungsvorrichtung, die an einem
Trägerobjekt, insbesondere einem Fahrzeug, angeordnet
ist, dadurch gekennzeichnet, dass es die folgenden
Schritte umfasst:
- a) Erzeugen eines ersten Bildes mit der ersten Bilder zeugungsvorrichtung und Speichern des ersten Bildes,
- b) Erfassen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien in dem ersten Bild,
- c) Vergleichen der ersten Aufpunkte und/oder der ersten Winkel mit zweiten Aufpunkten und/oder zweiten Win keln von zweiten Kanten und/oder zweiten Linien in einem zweiten Bild, um zu beurteilen, ob eine De justage der ersten Bilderzeugungsvorrichtung vor liegt, und
- d) Bestimmen von Korrekturparametern aus den ersten Aufpunkten und/oder den ersten Winkeln und den zwei ten Aufpunkten und/oder den zweiten Winkeln, falls eine Dejustage der ersten Bilderzeugungsvorrichtung vorliegt, um mit Hilfe der Korrekturparameter gege benenfalls die Dejustage zu kompensieren.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
dass Schritt b) die folgenden Teilschritte in der genann
ten Reihenfolge umfasst:
- - Anwenden eines Kanten- und/oder Linienextraktions verfahrens,
- - Anwenden eines Binearisierungsverfahrens,
- - Durchführen einer Bildinvertierung,
- - Anwenden eines Kanten- und/oder Liniendetektionsver fahrens, und
- - Bestimmen der ersten Aufpunkte und/oder der ersten Winkel.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
dass Schritt b) die folgenden Teilschritte in der genann
ten Reihenfolge umfasst:
- - Anwenden eines Binearisierungsverfahrens,
- - Anwenden eines Kanten- und/oder Linienextraktions verfahrens,
- - Durchführen einer Invertierung,
- - Anwenden eines Kanten- und/oder Liniendetektionsver fahrens, und
- - Bestimmen der ersten Aufpunkte und/oder der ersten Winkel.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die zweiten Aufpunkte
und/oder die zweiten Winkel zweite Kanten und/oder zweite
Linien festlegen, die in dem zweiten Bild gefunden wer
den, und dass das zweite Bild von einer zweiten Bilder
zeugungsvorrichtung erzeugt wird, die ebenfalls an dem
Trägerobjekt angeordnet ist.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die zweiten Aufpunkte
und/oder die zweiten Winkel wie die ersten Aufpunkte
und/oder die ersten Winkel bestimmt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei Schritt d) auch dann
Korrekturparameter aus den ersten Aufpunkten und/oder den
ersten Winkeln und den zweiten Aufpunkten und/oder den
zweiten Winkeln bestimmt werden, wenn eine Dejustage der
zweiten Bilderzeugungsvorrichtung vorliegt, um diese
Dejustage mit Hilfe der Korrekturparameter gegebenenfalls
zu kompensieren.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die erste Bilderzeugungsvor
richtung und/oder die zweite Bilderzeugungsvorrichtung
jeweils durch eine Videokamera gebildet sind.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die erste Bilderzeugungsvor
richtung und die zweite Bilderzeugungsvorrichtung eine
Stereo-Videokamera bilden, und dass das erste Bild und
das zweite Bild gleichzeitig erzeugt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass das zweite Bild ein zu einem
früheren Zeitpunkt von der ersten Bilderzeugungsvorrich
tung erzeugtes Bild ist, und dass die ersten Kanten
und/oder die ersten Linien und die zweiten Kanten
und/oder die zweiten Linien Kanten und/oder Linien des
Trägerobjekts umfassen.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei dem Kanten- und/oder
Linienextraktionsverfahren eine Sobeloperator-Filterung
eingesetzt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei dem Kanten- und/oder
Linienextraktionsverfahren eine Roberts-Edge-Filterung
eingesetzt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei dem Binearisierungsver
fahren ein Schwellenwertverfahren eingesetzt wird.
13. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei dem Binearisierungsver
fahren, bezüglich einem Grauwerthistogramm des ersten
Bildes und des zweiten Bildes, die Minima zwischen zwei
jeweiligen Maxima erfasst werden.
14. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei dem Kanten- und/oder
Liniendetektionsverfahren eine Hough-Transformation
eingesetzt wird.
15. Kompensationsvorrichtung zum Kompensieren einer
Dejustage von zumindest einer ersten Bilderzeugungsvor
richtung, die an einem ersten Trägerobjekt, insbesondere
einem Fahrzeug, angeordnet ist, dadurch gekennzeichnet,
dass die Kompensationsvorrichtung aufweist:
Aufpunkt- und/oder Winkelerfassungsmittel zum Erfas sen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien in einem ersten Bild, das von der ersten Bilderzeugungsvor richtung erzeugt wurde,
Vergleichsmittel zum Vergleichen der ersten Aufpunk te und/oder der ersten Winkel mit zweiten Aufpunkten und/oder zweiten Winkeln in einem zweiten Bild, um zu beurteilen, ob eine Dejustage der ersten Bilder zeugungsvorrichtung vorliegt, und
Korrekturparameterbestimmungsmittel zum Bestimmen von Korrekturparametern aus den ersten Aufpunkten und/oder den ersten Winkeln und den zweiten Aufpunk ten und/oder den zweiten Winkeln, falls eine De justage der ersten Bilderzeugungsvorrichtung vorliegt, um mit Hilfe der Korrekturparameter gegebe nenfalls die Dejustage zu kompensieren.
Aufpunkt- und/oder Winkelerfassungsmittel zum Erfas sen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien in einem ersten Bild, das von der ersten Bilderzeugungsvor richtung erzeugt wurde,
Vergleichsmittel zum Vergleichen der ersten Aufpunk te und/oder der ersten Winkel mit zweiten Aufpunkten und/oder zweiten Winkeln in einem zweiten Bild, um zu beurteilen, ob eine Dejustage der ersten Bilder zeugungsvorrichtung vorliegt, und
Korrekturparameterbestimmungsmittel zum Bestimmen von Korrekturparametern aus den ersten Aufpunkten und/oder den ersten Winkeln und den zweiten Aufpunk ten und/oder den zweiten Winkeln, falls eine De justage der ersten Bilderzeugungsvorrichtung vorliegt, um mit Hilfe der Korrekturparameter gegebe nenfalls die Dejustage zu kompensieren.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet,
dass die Aufpunkt- und/oder Winkelerfassungsmittel Kan
ten- und/oder Linienextraktionsmittel, Binearisierungs
mittel und Invertierungsmittel aufweisen.
17. Vorrichtung nach einem der Ansprüche 15 bis 16,
dadurch gekennzeichnet, dass die zweiten Aufpunkte
und/oder die zweiten Winkel zweite Kanten und/oder zweite
Linien festlegen, die in dem zweiten Bild gefunden wer
den, und dass das zweite Bild von einer zweiten Bilder
zeugungsvorrichtung erzeugt wird, die ebenfalls an dem
Trägerobjekt angeordnet ist.
18. Vorrichtung nach einem der Ansprüche 15 bis 17,
dadurch gekennzeichnet, dass die zweiten Aufpunkte
und/oder die zweiten Winkel nach dem gleichen Prinzip wie
die ersten Aufpunkte und/oder die ersten Winkel bestimmt
werden.
19. Vorrichtung nach einem der Ansprüche 15 bis 18,
dadurch gekennzeichnet, dass die Korrekturparameterbe
stimmungsmittel aus den ersten Aufpunkten und/oder den
ersten Winkeln und den zweiten Aufpunkten und/oder den
zweiten Winkeln auch dann Korrekturparameter bestimmen,
wenn eine Dejustage der zweiten Bilderzeugungsvorrichtung
vorliegt, um diese Dejustage mit Hilfe der Korrekturpara
meter gegebenenfalls zu kompensieren.
20. Vorrichtung nach einem der Ansprüche 15 bis 19,
dadurch gekennzeichnet, dass die erste Bilderzeugungsvor
richtung und/oder die zweite Bilderzeugungsvorrichtung
jeweils durch eine Videokamera gebildet sind.
21. Vorrichtung nach einem der Ansprüche 15 bis 20,
dadurch gekennzeichnet, dass die erste Bilderzeugungsvor
richtung und die zweite Bilderzeugungsvorrichtung eine
Stereo-Videokamera bilden, und dass das erste Bild und
das zweite Bild gleichzeitig erzeugt wird.
22. Vorrichtung nach einem der Ansprüche 15 bis 21,
dadurch gekennzeichnet, dass das zweite Bild ein zu einem
früheren Zeitpunkt von der ersten Bilderzeugungsvorrich
tung erzeugtes Bild ist, und dass die zweiten Kanten
und/oder die zweiten Linien Kanten und/oder Linien des
Trägerobjekts umfassen.
23. Vorrichtung nach einem der Ansprüche 15 bis 22,
dadurch gekennzeichnet, dass die Kanten- und/oder Linien
extraktionsmittel eine Sobeloperator-Filterung durchfüh
ren.
24. Vorrichtung nach einem der Ansprüche 15 bis 23,
dadurch gekennzeichnet, dass die Kanten- und/oder Linien
extraktionsmittel eine Roberts-Edge-Filterung durchfüh
ren.
25. Vorrichtung nach einem der Ansprüche 15 bis 24,
dadurch gekennzeichnet, dass die Binearisierungsmittel
Schwellenwertvergleiche durchführen.
26. Vorrichtung nach einem der Ansprüche 15 bis 25,
dadurch gekennzeichnet, dass die Binearisierungsmittel,
bezüglich einem Grauwerthistogramm des ersten Bildes und
des zweiten Bildes, die Minima zwischen zwei jeweiligen
Maxima erfassen.
27. Vorrichtung nach einem der Ansprüche 15 bis 26,
dadurch gekennzeichnet, dass die Kanten- und/oder
Liniendetektionsmittel eine Hough-Transformation
durchführen.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10063756A DE10063756A1 (de) | 2000-12-21 | 2000-12-21 | Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung |
EP01271605A EP1352363B1 (de) | 2000-12-21 | 2001-10-24 | Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung |
PCT/DE2001/004042 WO2002050770A1 (de) | 2000-12-21 | 2001-10-24 | Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung |
DE50111876T DE50111876D1 (de) | 2000-12-21 | 2001-10-24 | Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10063756A DE10063756A1 (de) | 2000-12-21 | 2000-12-21 | Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10063756A1 true DE10063756A1 (de) | 2002-07-04 |
Family
ID=7668109
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10063756A Withdrawn DE10063756A1 (de) | 2000-12-21 | 2000-12-21 | Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung |
DE50111876T Expired - Lifetime DE50111876D1 (de) | 2000-12-21 | 2001-10-24 | Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE50111876T Expired - Lifetime DE50111876D1 (de) | 2000-12-21 | 2001-10-24 | Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1352363B1 (de) |
DE (2) | DE10063756A1 (de) |
WO (1) | WO2002050770A1 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10238935A1 (de) * | 2002-08-24 | 2004-03-18 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Befestigung und Ausrichtung eines Sensors |
DE102004062275A1 (de) * | 2004-12-23 | 2006-07-13 | Aglaia Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera |
DE102008026876A1 (de) * | 2008-06-05 | 2009-12-10 | Hella Kgaa Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
DE102008059551A1 (de) * | 2008-11-28 | 2010-06-02 | Hella Kgaa Hueck & Co. | Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2858509B1 (fr) | 2003-07-28 | 2005-10-14 | Citilog | Procede pour calibrer au moins deux cameras video l'une par rapport a l'autre pour prise de vues steroscopiques et dispositif permettant de mettre en oeuvre le procede |
DE102004048400A1 (de) | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren für die Erfassung einer optischen Struktur |
DE102008004370A1 (de) * | 2008-01-15 | 2009-07-16 | Robert Bosch Gmbh | Bildjustageverfahren für ein Videobild |
KR101215563B1 (ko) * | 2012-10-24 | 2013-01-21 | 주식회사 세코닉스 | 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법 |
DE102013021616A1 (de) * | 2013-12-19 | 2015-06-25 | Audi Ag | Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera |
JP6201148B2 (ja) * | 2013-12-20 | 2017-09-27 | パナソニックIpマネジメント株式会社 | キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2203877A (en) * | 1986-09-18 | 1988-10-26 | Violet Frances Leavers | Shape parametrisation |
JP3209828B2 (ja) * | 1993-05-25 | 2001-09-17 | 松下電器産業株式会社 | 車間距離計測装置とステレオ画像取り込み装置 |
US6084989A (en) * | 1996-11-15 | 2000-07-04 | Lockheed Martin Corporation | System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system |
-
2000
- 2000-12-21 DE DE10063756A patent/DE10063756A1/de not_active Withdrawn
-
2001
- 2001-10-24 WO PCT/DE2001/004042 patent/WO2002050770A1/de active IP Right Grant
- 2001-10-24 DE DE50111876T patent/DE50111876D1/de not_active Expired - Lifetime
- 2001-10-24 EP EP01271605A patent/EP1352363B1/de not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10238935A1 (de) * | 2002-08-24 | 2004-03-18 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Befestigung und Ausrichtung eines Sensors |
DE102004062275A1 (de) * | 2004-12-23 | 2006-07-13 | Aglaia Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera |
US8300886B2 (en) | 2004-12-23 | 2012-10-30 | Hella Kgaa Hueck & Co. | Method and device for determining a calibrating parameter of a stereo camera |
US8855370B2 (en) | 2004-12-23 | 2014-10-07 | Hella Kgaa Hueck & Co. | Method and device for determining a calibration parameter of a stereo camera |
DE102008026876A1 (de) * | 2008-06-05 | 2009-12-10 | Hella Kgaa Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
DE102008059551A1 (de) * | 2008-11-28 | 2010-06-02 | Hella Kgaa Hueck & Co. | Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern |
DE102008059551B4 (de) | 2008-11-28 | 2021-08-12 | Car.Software Estonia As | Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern |
Also Published As
Publication number | Publication date |
---|---|
DE50111876D1 (de) | 2007-02-22 |
WO2002050770A1 (de) | 2002-06-27 |
EP1352363A1 (de) | 2003-10-15 |
EP1352363B1 (de) | 2007-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016212405B4 (de) | Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem | |
DE10081029B4 (de) | Bildbearbeitung zur Vorbereitung einer Texturnalyse | |
DE69012868T2 (de) | Apparat für das Messen dreidimensionaler gekrümmter Formen. | |
DE102013209415B4 (de) | Dynamische Hinweisüberlagerung mit Bildbeschneidung | |
DE102017218366A1 (de) | Verfahren und system zur fussgängererfassung in einem fahrzeug | |
DE102004050149A1 (de) | Verfahren zur Bestimmung von Deichsel- und Trailerwinkel | |
DE112018000107T5 (de) | Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren | |
DE102016206493A1 (de) | Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug | |
DE102014209137A1 (de) | Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs | |
DE102019110428A1 (de) | Sensorkalibrierung | |
DE102012209316A1 (de) | Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems | |
DE102018204451A1 (de) | Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems | |
DE10063756A1 (de) | Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung | |
DE102011050660B4 (de) | Verfahren zur Ausrichtung und Verfahren zur Kontrolle der Ausrichtung eines Verkehrsüberwachungsgerätes zu einem Fahrbahnrand | |
DE102020127278B4 (de) | Around-View-Synthese-System und -Verfahren | |
DE102021201525A1 (de) | Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers | |
DE102015204213A1 (de) | Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung | |
DE102006007550A1 (de) | Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug | |
DE102019208507A1 (de) | Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen | |
DE102010009620B4 (de) | Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld | |
DE102014219428A1 (de) | Selbstkalibrierung eines Stereokamerasystems im Auto | |
DE102014219418B4 (de) | Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem | |
DE102014206677A1 (de) | Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges | |
DE112021003430T5 (de) | Bildverarbeitungsvorrichtung | |
DE102017109751A1 (de) | Verfahren zur Überlappung von Bildern |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8139 | Disposal/non-payment of the annual fee |