-
Stand der
Technik
-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibrierung
wenigstens eines Bildsensorsystems, das sich an und/oder in und/oder auf
einem Kraftfahrzeug befindet, mittels wenigstens eines Kalibrierobjektes.
-
In
Kraftfahrzeugen ist an den Einsatz von Bildsensorsystemen zur Erfassung
des Fahrzeugumfeldes gedacht. Insbesondere ist die Verwendung der Bildsensorsysterne
in Fahrerassistenzsystemen geplant. Beispielsweise ist es möglich, Bildsensorsysteme
zur automatischen Abstandsregelung des Kraftfahrzeuges zu einem
vorausfahrenden Fahrzeug einzusetzen.
-
Zur
Vergrößerung des
Bilderfassungsbereiches ist der Einsatz von mehreren Bildsensorsystemen
im Kraftfahrzeug geplant, wobei sich deren Erfassungsbereiche auch
zumindest teilweise überlappen
können.
Insbesondere ist der Einsatz von Stereokameras vorgesehen, die aus
zwei Bildsensorsystemen bestehen, welche im wesentlichen dieselbe Szene
aufnehmen.
-
Verfahren
und Vorrichtungen zur Kalibrierung von Bildsensorsystemen in Kraftfahrzeugen
mittels eines Kalibrierobjektes sind bekannt.
-
Aus
der nachveröffentlichten
deutschen Offenlegungsschrift
DE 102 29 336 A1 ist beispielsweise eine
Vorrichtung und ein Verfahren zur Kalibrierung eines Bildsensorsystems
mittels eines Kalibrierobjektes und eines Lagebezugsensors bekannt.
-
EP 1 120 746 A2 beschreibt
ein Verfahren zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
mittels eines Kalibrierobjektes. Dabei wird das Kalibrierobjekt
mit dem Kraftfahrzeug verbunden und über eine mechanische Verstellvorrichtung
bezüglich
des Kraftfahrzeuges ausgerichtet. Die Kalibrierung erfolgt dabei
bezüglich
der Längsachse des
Kraftfahrzeuges. Die Längsachse
ist durch symmetrische Merkmale am Kraftfahrzeug, insbesondere der
Karosserie, konstruierbar. Aufgrund von Fertigungstoleranzen stimmt
diese Längsachse
nicht mit der geometrischen Fahrachse überein, die durch die Winkelhalbierende
des Gesamtvorspurwinkels der Hinterachse definiert ist. Die Abweichungen
zwischen der Längsachse
und der geometrische Fahrachse sind für ein messendes Bildsensorsystem,
insbesondere bei dessen Verwendung in Fahrerassistenzsystemen in
Kraftfahrzeugen, nicht vernachlässigbar,
da die geometrische Fahrachse die Fahrtrichtung bei Geradeausfahrt
festlegt, unabhängig
von der Lage der Längsachse.
-
Aus
der deutschen Offenlegungsschrift
DE 199 62 997 A1 ist ein Verfahren zur Kalibrierung
eines Sensorsystems bekannt, mit dem eine Erfassung und Auswertung
von Objekten im Kursverlauf eines Fahrzeuges durchgeführt wird.
Die deutsche Offenlegungsschrift
DE 199 11 017 A1 offenbart ein Verfahren
zur Justierung eines Abstandssensors eines Kraftfahrzeuges bezogen
auf die geometrische Fahrachse. Ferner ist aus der deutschen Patentschrift
DE 198 57 871 C1 eine
Vorrichtung zum Justieren eines Abstands-Radarsensors an einem Kraftfahrzeug
bekannt.
-
Vorteile der Erfindung
-
Durch
die Bestimmung der Ausrichtung wenigstens eines Bildsensorsystems
bezüglich
der geometrischen Fahrachse des Kraftfahrzeuges erhöht sich
die Messgenauigkeit des Bildsensorsystems in vorteilhafter Weise.
Zwischen der geometrischen Fahrachse und der Längsachse sind Abweichungen vorhanden,
die bei einem messenden Bildsensorsystem, insbesondere beim Einsatz
in Fahrerassistenzsystemen, zu Messfehlern führen können und deshalb nicht vernachlässigbar
sind.
-
In
besonders vorteilhafter Weise ermöglicht das nachfolgend beschriebene
Verfahren und die Vorrichtung die direkte Bestimmung der Ausrichtung des
wenigstens einen Bildsensorsystems bezüglich der geometrischen Fahrachse
des Kraftfahrzeuges aus wenigstens zwei Bildinformationen des wenigstens
einen Kalibrierobjektes, wobei das Kraftfahrzeug wenigstens zwei
unterschiedliche Positionen bezüglich
des Kalibrierobjektes einnimmt. In vorteilhafter Weise ist es insbesondere
ausreichend nur die Bildinformationen zur Bestimmung der Ausrichtung des
wenigstens einen Bildsensorsystems bezüglich der geometrischen Fahrachse
des Kraftfahrzeuges zu verwenden.
-
In
vorteilhafter Weise werden die in den wenigstens zwei erzeugten
Bildinformationen enthaltenen Informationen über die geometrische Fahrachse des
Kraftfahrzeuges verwendet. Damit ermöglicht das nachfolgend beschriebene
Verfahren und die Vorrichtung die Kalibrierung des wenigstens einen Bildsensorsystems
insbesondere unabhängig
von der Verwendung weiterer Sensoren, da alle notwendigen Informationen
zur Bestimmung der Ausrichtung des wenigstens einen Bildsensorsystems
bezüglich
der geometrischen Fahrachse des Kraftfahrzeuges in den Bildinformationen
enthalten sind. Dies reduziert den Aufwand an technischen Vorrichtungen und
führt damit
zu niedrigen Kosten bei der Kalibrierung des wenigstens einen Bildsensorsystems.
-
In
vorteilhafter Weise erfolgt die Kalibrierung des wenigstens einen
Bildsensorsystems durch Bestimmung der Ausrichtung des Bildsensorsystems bezüglich der
geometrischen Fahrachse unter realen Fahrbedingungen. Dies ermöglicht die
Kalibrierung entsprechend dem späteren
Einsatz des Bildsensorsystems. Dies erhöht in vorteilhafter Weise die
Genauigkeit der Kalibrierung, insbesondere der Kalibrierung bezüglich der
geometrischen Fahrachse.
-
Besonders
vorteilhaft ist, wenn das Bildsensorsystem wenigstens eine dritte
Bildinformation des Kalibrierobjektes erzeugt, wobei das Kraftfahrzeug wenigstens
eine dritte Position bezüglich
des Kalibrierobjektes einnimmt. Nimmt das Bildsensorsystem des Kraftfahrzeuges
mehr als zwei Positionen ein, kann die geometrische Fahrachse aus Überbestimmungen
gemittelt bestimmt werden. Die Erzeugung der Bildinformationen an
den Positionen erfolgt dabei bei sehendem Kraftfahrzeug, bei gleichmäßig bewegtem
Kraftfahrzeug, bei gleichmäßig beschleunigtem
Kraftfahrzeug oder bei nicht gleichmäßig beschleunigtem Kraftfahrzeug.
In vorteilhafter Weise ist dabei aus den Fahrzeugbewegungskoordinaten und/oder
aus der Änderung
der Aufnahmerichtung des Bildsensorsystems eine Lenkbewegung während der
Messung erkennbar. Die Auswertung von Bildinformationen von drei
oder mehr Positionen erlaubt in vorteilhafter Weise die Rekonstruktion
der Fahrkurve bzw. der Kreisbahn der Bewegung des Kraftfahrzeuges.
Es kann dann in vorteilhafter Weise unterschieden werden, ob eine
erfolgte Lenkbewegung bei der Auswertung der Bildinformationen korrigierbar
ist oder bei unsteten Lenkbewegungen nicht korrigierbar ist und
eine Wiederholungsmessung zu fordern ist. Dabei ist es vorteilhaft,
zusätzlich
die Informationen eines Lenkwinkelsensors und/oder eines Radsensors
und/oder anderer Sensoren zur Korrektur oder Entscheidung über eine
Wiederholungsmessung zu verwenden. Die Verwendung dieser zusätzlichen
Sensoren führt
zu einer Erhöhung
der statistischen Genauigkeit der Kalibrierung des Bildsensorsystems,
weil Fehlmessungen sicher erkannt werden. In vorteilhafter Weise
ist es weiter insbesondere möglich,
die Fahrbahnebene aus den gemessenen Bildinformationen selbst zu
rekonstruieren. Voraussetzung hierfür ist, dass das Kraftfahrzeug
wenigstens eine weitere Position auf der Fahrbahnebene einnimmt,
also dass Bildinformationen an wenigstens drei unterschiedlichen
Positionen zur Auswertung verwendet werden. Bei Verwendung von Bildinformationen
von drei unterschiedlichen Positionen ist es dabei erforderlich,
dass die dritte Position nicht auf einer Geraden zu den zwei anderen
Positionen liegt.
-
Vorteilhaft
ist, dass das Bildsensorsystem an einer Position wenigstens zwei
Bildinformation des Kalibrierobjektes, vorzugsweise in Form wenigstens eines
Bilddatensatzes, erzeugt. Nimmt das Bildsensorsystem des Kraftfahrzeuges
im Stand an einer Position mehr als ein Bild auf, so wird in vorteilhafter Weise
die Genauigkeit gesteigert, indem die Messungen der im Bild identifizierten
Bezugmerkmale oder die daraus ermittelte Aufnahmeposition des Bildsensorsystems
gemittelt werden.
-
Vorteilhaft
ist ferner, dass die Lage des Kalibrierobjektes bezüglich der
Fahrbahnebene bei der Auswertung der Bildinformationen berücksichtigt wird.
Insbesondere für
Anwendungen von Bildsensorsystemen im Bereich von videounterstützten Fahrerassistenzsystemen
ist es vorteilhaft zur Kalibrierung des Bildsensorsystems die Fahrbahnebene
in den Messraum einzubeziehen, indem die Lage der Fahrbahnebene
zu wenigstens einer Koordinate wenigstens eines Bezugmerkmals bekannt
ist. Dies ermöglicht
in vorteilhafter Weise, dass Richtungskomponenten der geometrischen
Fahrachse und der Aufnahmerichtung, also insbesondere die optische
Achse des Bildsensorsystems, definiert zueinander in Bezug gebracht
werden. Dies ermöglicht
in besonders vorteilhafter Weise die Bestimmung von weiteren Daten,
insbesondere des Abstandes des Bildsensorsystems zur Fahrbahn, also
die Einbauhöhe
des Bildsensorsystems über
der Fahrbahn, und/oder des Nickwinkels des Bildsensorsystems und/oder
des Wankwinkels des Bildsensorsystems bezogen auf die Fahrbahnebene.
-
Besonders
vorteilhaft ist, wenn die Bewegung des Kraftfahrzeuges entlang der
geometrischen Fahrachse erfolgt, also insbesondere, wenn sich das Fahrzeug
mit geradeaus eingestelltem Lenkrad bewegt. Bei dieser Variante
des nachfolgend beschriebenen Verfahrens und der Vorrichtung ist
es ausreichend, an nur zwei Positionen die erzeugten Bildinformationen
zur Auswertung zu verwenden. Dies ermöglicht eine schnelle und kostengünstige Durchführung der
Kalibrierung des wenigstens einen Bildsensorsystems.
-
Vorteilhaft
ist, dass das Kalibrierobjekt und/oder die Fahrbahnebene nivelliert
ist. Ist die Fahrbahnebene parallel zu den Potentialflächen des Erdschwerefeldes,
also nivelliert, dann kann in vorteilhafter Weise ein Kalibrierobjekt,
beispielsweise eine Trägereinheit
mit Bezugmerkmalen, in den Messraum eingebracht werden, wobei dessen
Ausrichtung zur Vertikalen beispielsweise über ein dem Erdschwerefeld
folgendem Kalibrierpendel und/oder eine Libelle bestimmt wird. Durch
die Verwendung eines Kalibrierpendels und/oder einer Libelle wird
die Genauigkeit der Kalibrierung in vorteilhafter Weise erhöht, weil
eine präzise
Ausrichtung des Kalibrierobjektes bezüglich der Fahrbahnebene erreicht
wird. Dies gilt insbesondere dann, wenn die Lage des Kalibrierobjektes
bezüglich
der Fahrbahnebene bei der Auswertung der Bildinformationen berücksichtigt wird.
-
In
besonders vorteilhafter Weise ermöglicht das nachfolgend beschriebene
Verfahren und die Vorrichtung die Bestimmung der Ausrichtung wenigstens
zweier Bildsensorsysteme zueinander, wobei die wenigstens zwei Bildsensorsysteme
im wesentlichen dieselbe Szene aufnehmen. Insbesondere ermöglicht das
nachfolgend beschriebene Verfahren und die Vorrichtung in vorteilhafter
Weise die Kalibrierung wenigstens eines Stereokamerasystems bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges.
-
In
vorteilhafter Weise ist das Kalibrierobjekt als frei gestaltbare
Trägereinheit
mit Bezugmerkmalen ausgeführt.
Die Bezugmerkmale ergeben sich aus der Struktur der Trägereinheit
oder sind speziell angebracht. Hierdurch wird ein einfacher Aufbau
mit zuverlässig
erfassbaren Bezugmerkmalen erzielt. Für die zuverlässige Erfassung
der Bezugmerkmale sind weiterhin die Maßnahmen vorteilhaft, dass die Bezugmerkmale
eine geometrisch bekannte Form aufweisen und/oder dass die Bezugmerkmale
einen guten Kontrast zu ihrer Umgebung aufweisen und/oder dass die
Bezugmerkmale aktiv leuchtend sind und/oder dass retroreflektierende
Marken ausgebildet sind.
-
Weitere
Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit
Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
-
Zeichnung
-
Die
Erfindung wird nachstehend anhand der in der Zeichnung dargestellten
Ausführungsformen näher erläutert.
-
Es
zeigen:
-
1 eine
Zeichnung zur Erläuterung
der Definition der geometrischen Fahrachse, der Fahrzeuglängsmittelebene
und der Längsachse
eines Kraftfahrzeuges,
-
2 eine Übersichtszeichnung
eines ersten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems in einem Kraftfahrzeug,
-
3 eine Übersichtszeichnung
eines zweiten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems in einem Kraftfahrzeug,
-
4 ein
Blockdiagramm der Vorrichtung zur Kalibrierung eines Bildsensorsystems,
-
5 ein
Ablaufdiagramm zur Bestimmung der Kalibrierdaten,
-
6 ein
Kalibrierobjekt.
-
Beschreibung
von Ausführungsbeispielen
-
1 zeigt
eine Zeichnung zur Erläuterung der
Definition der geometrischen Fahrachse 18, der Fahrzeuglängsmittelebene 20 und
der Längsachse 22 eines
Kraftfahrzeuges 10. Dargestellt ist ein Kraftfahrzeug 10 mit
den zwei gelenkten Vorderrädern 12 der
Vorderachse und den zwei ungelenkten Hinterrädern 14 der Hinterachse.
Die Vorderachse und die Hinterachse sind jeweils eine Radachse.
Die geometrische Fahrachse 18 ist definiert als die Winkelhalbierende
des Gesamtvorspurwinkels 24 der Hinterachse, wobei der
Gesamtvorspurwinkel 24 durch die Spur 16 der beiden
Hinterräder 14 der
Hinterachse festgelegt ist. Die geometrische Fahrachse 18 ist
parallel zur Fahrbahnebene. Die Fahrbahnebene ist in 1 nicht
eingezeichnet.
-
Demgegenüber ist
die Fahrzeuglängsmittelebene 20 eine
Ebene. die senkrecht zur Fahrbahnebene steht und durch die Mitte
der Spurweite der Vorder- und Hinterachse geht. Die Längsachse 22 ist durch
symmetrische Merkmale am Kraftfahrzeug 10, insbesondere
der Karosserie, konstruierbar. Die Längsachse 22 ist parallel
zur Fahrbahnebene. Aufgrund von Fertigungstoleranzen stimmen die
geometrische Fahrachse 18, die Fahrzeuglängsmittelebene 20 und
die Längsachse 22 im
allgemeinen nicht überein.
Die geometrische Fahrachse 18 legt die Fahrtrichtung bei
Geradeausfahrt des Kraftfahrzeuges 10 fest. Die Fahrtrichtung
bei Geradeausfahrt ist damit unabhängig von der Längsachse 22 des
Kraftfahrzeuges 12 und damit auch unabhängig von der Ausrichtung der
Karosserie bezüglich
des Fahrwerks.
-
2 zeigt
eine Übersichtszeichnung
eines ersten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems 38,
das sich in einem Kraftfahrzeug 10 befindet, wobei die
Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt
wird. In diesem Ausführungsbeispiel
ist das Bildsensorsystem 38 im Kraftfahrzeug 10 hinter
der Windschutzscheibe im Bereich des Innenrückspiegels angebracht. Der
Erfassungsbereich 48 des Bildsensorsystems 38 ist
in Vorwärtsfahrtrichtung des
Kraftfahrzeuges 10 ausgerichtet. Das Bildsensorsystem 38 ist
ein Videosensor, der beispielsweise entweder als CCD- oder CMOS-Kamera
ausgeführt ist.
Das Kraftfahrzeug 10 befindet sich auf der Fahrbahnebene 54 beispielsweise
in einer Kraftfahrzeugwerkstatt oder in der Produktionshalle eines
Kraftfahrzeugherstellers. Die Auswerteeinheit 50 wertet Bildinformationen
des Bildsensorsystems 38 aus. 2 zeigt
einen Messraum mit wenigstens drei geometrischen Bezugmerkmale 90,
die das Kalibrierobjekt 36 bilden. Die gegenseitige, räumliche
Lage der Bezugmerkmale 90 ist der Auswerteeinheit 50 bekannt.
Die Bezugmerkmale 90 sind fix im Messraum. In diesem Ausführungsbeispiel
weist der Messraum als Kalibrierobjekt 36 eine frei gestaltbare
Trägereinheit
mit Bezugmerkmalen 90 auf. Die Bezugmerkmale 90 ergeben
sich in diesem Ausführungsbeispiel aus
der Struktur der Trägereinheit 36 und/oder
die Bezugmerkmale 90 sind speziell an der Trägereinheit 36 angebracht.
Das Bildsensorsystem 38 nimmt aus wenigstens zwei beliebigen
Positionen 40, 42 mit ausreichend großer Entfernung
wenigstens je eine Bildinformation, vorzugsweise als Bild in wenigstens einem
Bilddatensatz, des Kalibrierobjektes 36 bzw. des Messraumes
auf. Die Positionen 40, 42 des Kraftfahrzeuges 10 werden
durch Fortbewegung des Kraftfahrzeuges 10 mit den eigenen
Rädern
eingenommen. Die Entfernung des Bildsensorsystems 38 zum
Kalibrierobjekt 36 kann dabei beispielsweise zwischen einem
Meter und 20 Meter betragen, wobei vorzugsweise Entfernungen zwischen
zwei Meter und fünf
Meter geeignet sind. Zur Kalibrierung des Bildsensorsystems 38 wird
aus den erzeugten Bildinformationen die Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt.
-
3 zeigt
eine Übersichtszeichnung
eines zweiten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems 38,
das sich in einem Kraftfahrzeug 10 befindet, wobei die
Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt
wird. Wie im Ausführungsbeispiel
nach 2 ist in diesem Ausführungsbeispiel das Bildsensorsystem 38 auch
im Kraftfahrzeug 10 hinter der Windschutzscheibe im Bereich
des Innenrückspiegels
angebracht. Der Erfassungsbereich 48 des Bildsensorsystems 38 ist
in Vorwärtsfahrtrichtung
des Kraftfahrzeuges 10 ausgerichtet. Das Bildsensorsystem 38 ist ein
Videosensor, der beispielsweise entweder als CCD- oder CMOS-Kamera ausgeführt ist.
Das Kraftfahrzeug 10 befindet sich auf der Fahrbahnebene 54 beispielsweise
in einer Kraftfahrzeugwerkstatt oder in der Produktionshalle eines
Kraftfahrzeugherstellers. Die Auswerteeinheit 50 wertet
Bildinformationen des Bildsensorsystems 38 aus. In diesem
Ausführungsbeispiel
wird die Fahrbahnebene 54 in den Messraum zur Kalibrierung
des Bildsensorsystems 38 einbezogen, indem die Lage der
Fahrbahnebene 54 zu wenigstens einer Komponente von wenigstens einem
Bezugmerkmal 90 im Messraum bzw. Bezugmerkmalsraum bekannt
ist. Dadurch werden Richtungskomponenten der geometrischen Fahrachse und
der Aufnahmerichtung des Bildsensorsystems 38 definiert
zueinander in Bezug gebracht. 3 zeigt,
dass die Koordinatenachsen X, Y, Z des Bezugmerkmalsraumes so definiert
sind, dass die Fahrbahnebene 54 mit der X-Y-Ebene und die
geometrische Fahrachse in etwa mit der X-Achse zusammenfallen. In
diesem Ausführungsbeispiel
wird als Kalibrierobjekt 36 eine ebene Trägereinheit
mit Bezugmerkmalen 90 verwendet, wobei die Ebene der Trägereinheit 36 senkrecht
zur Fahrbahnebene 54 und annähernd senkrecht zur geometrischen
Fahrachse des Kraftfahrzeuges 10 ausgerichtet ist. Das
Bildsensorsystem 38 nimmt aus wenigstens zwei beliebigen Positionen 40, 42 mit
ausreichend großer
Entfernung wenigstens je eine Bildinformation, vorzugsweise als Bild
in wenigstens einem Bilddatensatz, der Trägereinheit 36 bzw.
des Messraumes auf. Die Positionen 40, 42 des
Kraftfahrzeuges 10 werden durch Fortbewegung des Kraftfahrzeuges 10 mit
den eigenen Rädern
eingenommen. Die Entfernung des Bildsensorsystems 38 zum
Kalibrierobjekt 36 kann dabei beispielsweise zwischen einem
Meter und 20 Meter betragen, wobei vorzugsweise Entfernungen zwischen zwei
Meter und fünf
Meter geeignet sind. Zur Kalibrierung des Bildsensorsystems 38 wird
aus den erzeugten Bildinformationen die Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt.
Insbesondere lässt
sich der Gierwinkel des Bildsensorsystems aus der Projektion der
geometrischen Fahrachse und der Aufnahmerichtung des Bildsensorsystems 38 in die
X-Y-Ebene bestimmen.
Als weitere Parameter der Kalibrierdaten werden die Einbauhöhe des Bildsensorsystems 38 über der
Fahrbahnebene 54 und/oder der Nickwinkel des Bildsensorsystems 38 bezogen
auf die Fahrbahnebene 54 und/oder der Wankwinkel des Bildsensorsystems 38 bezogen
auf die Fahrbahnebene 54 bestimmt. In diesem Ausführungsbeispiel
die Lage der Fahrbahnebene 54 im Koordinatensystem der
Bezugsmerkmale 90 bekannt. Beispielsweise ist die Lage
der Fahrbahnebene 54 entweder konstruktiv definiert und
damit bekannt oder die Lage wird mittels eines unabhängigen Messsystems
zusätzlich
messtechnisch erfasst oder die Lage der Fahrbahnebene 54 wird
aus den Bildinformationen selbst rekonstruiert. Die Rekonstruktion aus
den Bildinformationen wird so durchgeführt, dass das Kraftfahrzeug 10 wenigstens
eine weitere Position auf der Fahrbahnebene 54 einnimmt,
die nicht auf einer Geraden zu den zwei Positionen 40, 42 liegt.
Alternativ oder zusätzlich
ist die Fahrbahnebene 54 parallel zu den Potentialflächen des
Erdschwerefeldes, also nivelliert, und die Ausrichtung der Trägereinheit 36 zur
Vertikalen wird über
ein dem Erdschwerefeld folgenden Kalibrierpendel und/oder eine Libelle
bestimmt.
-
4 zeigt
ein Blockdiagramm der Vorrichtung zur Kalibrierung eines Bildsensorsystems 38 nach
einem der vorhergehenden Ausführungsbeispiele,
insbesondere zur Verarbeitung und Auswertung der Bildinformationen,
bestehend aus dem Bildsensorsystem 38 selbst, einer Auswerteeinheit 50 und
wenigstens einem, vorzugsweise nachfolgenden, System 52,
beispielsweise einer Speichereinheit. Die von dem Bildsensorsystem 38 aufgenommenen
wenigstens zwei Bilder, werden vorzugsweise in Form von Bilddatensätzen über die
Signalleitung 49 an die Auswerteeinheit 50 elektrisch
und/oder optisch übertragen.
Alternativ ist eine Übertragung
der Bilddatensätze
per Funk möglich.
Die Auswerteeinheit 50 kann dabei separat von dem Bildsensorsystem 38 positioniert
sein, sich also insbesondere im Kraftfahrzeug oder auch außerhalb
befinden, oder die Auswerteeinheit 50 befindet sich direkt
in dem Bildsensorsystem 38. Die Auswerteeinheit 50 umfasst
wenigstens einen Mikroprozessor und besteht aus mehreren in 5 dargestellten
Modulen, die als Programme des wenigstens einen Mikroprozessors ausgestaltet
sind. Die Auswerteeinheit 50 ermittelt aus den Bildinformationen
wenigstens einen Parameter der Kalibrierdaten, insbesondere den
Gierwinkel und/oder den Nickwinkel und/oder den Wankwinkel und/oder
wenigstens einen Parameter der dreidimensionalen Einbauposition
des Bildsensorsystems 38 im Kraftfahrzeug. Der Gierwinkel
ist hierbei als die horizontale Winkelabweichung der optischen Achse bzw.
der Normalen der Bildebene des Bildsensorsystems 38 von
der geometrischen Fahrachse definiert. Unter dem Nickwinkel versteht
man die vertikale Winkelabweichung der optischen Achse bzw. der
Normalen der Bildebene des Bildsensorsystems 38 von der geometrischen
Fahrachse. Unter dem Wankwinkel versteht man die Verdrehung des
Bildsensorsystems 38 um die optisch Achse bezüglich der
Fahrbahnebene. Die Parameter der Kalibrierdaten werden über die Signalleitung 51 an
wenigstens ein, vorzugsweise nachfolgendes, System 52,
beispielsweise eine Speichereinheit 52, elektrisch und/oder
optisch übertragen.
Alternativ ist eine Übertragung
per Funk möglich.
Das System 52 kann dabei separat von dem Bildsensorsystem 38 positioniert
sein oder das System 52 befindet sich direkt in dem Bildsensorsystem 38.
Daneben können
die Parameter der Kalibrierdaten entweder dazu verwendet werden,
das Bildsensorsystem 38 mechanisch zu justieren und/oder
die Kalibrierdaten werden verwendet, um nachfolgende Anwendungen,
die im Betrieb des Bildsensorsystems 38 Bilddaten verarbeiten,
softwaremäßig, also
algorithmisch, zu manipulieren. Dies gewährleistet eine für den Anwendungszweck
dienliche Abbildung und/oder Messwerterfassung durch das Bildsensorsystem 38.
-
5 zeigt
ein Ablaufdiagramm zur Bestimmung wenigstens eines Parameters der
Kalibrierdaten 86 nach einem der vorhergehenden Ausführungsbeispiele.
Die Bildsensorsignale 70 der Signalleitung 49 nach 4,
die Bildinformationen des Kalibrierobjektes in Form von Bilddatensätzen enthalten,
werden dem Modul 72 zur Vorverarbeitung zugeführt. Dieses
Modul 72 dient zur Bildung der vorverarbeiteten Bildinformationen 74.
Als Vorverarbeitung wird insbesondere eine Kontrastverbesserung und/oder
eine Veränderung
der Bildhelligkeit und/oder eine Bildverbesserung durch Filterung
vorgenommen. Die vorverarbeiteten Bildinformationen 74 werden
dem Modul 76 zur Identifizierung von Merkmalen zugeführt. Dieses
Modul 76 dient insbesondere zur Suche und Identifizierung
der Bezugmerkmale. Diese signifikanten Merkmale im Bild werden mit
bekannten Verfahren der Bildverarbeitung ermittelt. Als Verfahren
werden insbesondere entweder Verfahren mit vorgegebenen Grauwertschwellen und/oder
Kantenverfahren und/oder Konturverfolgungsverfahren verwendet. Die
im Modul 76 ermittelten Daten 78 werden an das
Modul 80 zur Bestimmung der 2D-Position (zweidimensionale
Position) der Bezugmerkmale zugeführt. Dabei wird insbesondere
entweder eine pixelgenaue oder subpixelgenaue Bestimmung der 2D-Position
durchgeführt.
Als Verfahren werden insbesondere Schwerpunktoperatoren, beispielsweise
Grauwertsummen und/oder Mittelbildung, und/oder Strukturoperatoren,
beispielsweise Kreisrand oder Ellipsenrand, und/oder eine Mustergrauwertmatrix
verwendet. Bei dem Verfahren mit einer Mustergrauwertmatrix handelt
es sich um ein Template Matching (Musteranpassung), bei dem eine
künstlich
definierte Grauwertmatrix eines Merkmals bestmöglich über das abgebildete Bezugmerkmal
platziert wird und damit die 2D-Position ermittelt wird. Die ermittelte
2D-Position der Bezugmerkmale, also die Bildkoordinaten der Bezugmerkmale,
werden als Daten 82 zum Modul 84 zur Berechnung wenigstens
eines Parameters der Kalibrierdaten 86 zugeleitet. Als
Parameter der Kalibrierdaten 86 zur Kalibrierung eines
Bildsensorsystems in einem Kraftfahrzeug wird grundsätzlich zwischen
intrinsischen und extrinsischen Kalibrierdaten unterschieden. Intrinsische
Kalibrierdaten sind insbesondere der Kamerahauptpunkt und/oder die
Kamerakonstante und/oder wenigstens ein Verzeichnungsparameter.
Unter den extrinsischen Kalibrierdaten werden sechs Parameter unterschieden.
Die drei Translationsparameter beschreiben die Einbauposition des
Bildsensorsystems bezüglich
des Kraftfahrzeuges. Neben den drei Translationsparametern unterscheidet
man die drei Rotationswinkel Gierwinkel, Nickwinkel und Wankwinkel.
Zur Bestimmung des wenigstens einen Parameters der Kalibrierdaten 86 werden
in Modul 84 bekannte numerische, photogrammetrische Verfahren
verwendet. Bevorzugt wird die Direkte Lineare Transformation (DLT)
verwendet. Alternativ ist auch das Verfahren des räumlichen Rückwärtsschnitt
einsetzbar. Mit dem Ansatz der DLT gelingt es, wenigstens einen
Parameter der Kalibrierdaten 86 ohne Näherungswerte in einem linearen Gleichungssystem
zu bestimmen. Das Verfahren basiert auf projektiven Beziehungen
zwischen Objektraum und Bildraum, die um eine Affintransformation der
Bildkoordinaten erweitert werden. Mit dem Verfahren des räumlichen
Rückwärtsschnitts
liegt eine nicht-lineare Lösung
aufgestellter Kollinearitätsgleichungen
vor, die Näherungswerte
der gesuchten Parameter der Kalibrierdaten benötigt. Die Lösung erfolgt iterativ nach
der Methode der kleinsten Fehlerquadrate in einer Ausgleichsrechnung.
Dazu werden aus den Kollinearitätsgleichungen
Verbesserungsgleichungen der Beobachtungen abgeleitet. Als Beobachtungen
gelten hier die Bildkoordinaten der im Bild gemessenen Bezugmerkmale.
Das Aufstellen und Auflösen
der sogenannten Normalgleichungen erfolgt iterativ, bis die gesuchten
Parameter der Kalibrierdaten 86 sich nicht mehr nennenswert ändern.
-
6 zeigt
ein Kalibrierobjekt 36, das insbesondere in einem der vorhergehenden
Ausführungsbeispiele
verwendet wird. Das Kalibrierobjekt 36 in 6 ist
als ebene Trägereinheit
ausgeführt.
Beispielhaft sind in 6 neun Bezugmerkmale 90 eingezeichnet.
Für die
zuverlässige
Erfassung der Bezugmerkmale 90 weisen diese eine geometrisch
bekannte Form auf und/oder haben die Bezugmerkmale 90 einen
guten Kontrast zur Umgebung und/oder sind die Bezugmerkmale 90 aktiv
leuchtend und/oder sind die Bezugmerkmale 90 als retroreflektierende Marken
ausgebildet. Die Bezugmerkmale 90 sind so gestaltet, dass
eine einfache automatische Erfassung in den Bildern des wenigstens
einen Bildsensorsystems möglich
ist. Die in 6 dargestellten Bezugmerkmale 90 sind
kreisförmig
und vorzugsweise optisch diffus reflektierend. Die Bezugmerkmale 90 besitzen
einen Durchmesser, der in Abhängigkeit
von dem Abbildungsmaßstab
des wenigstens einen Bildsensorsystems und der Aufnahmeeinrichtung
gewählt
ist. Die Bezugmerkmale 90 werden automatisch dadurch unterschieden,
dass wenigstens ein Bezugmerkmal 90 eine von wenigstens
einem Bildsensorsystem erfassbare Kodierung trägt und/oder die Bezugmerkmale 90 in
Gruppen mit definierter Geometrie angeordnet sind. Mit der Maßnahme,
dass zur Beleuchtung der Bezugmerkmale wenigstens eine Lichtquelle
eingesetzt wird, ist die Erfassbarkeit der Bezugmerkmale 90 begünstigt.
Insbesondere wenigstens eine Lichtquelle in der Nähe des Objektivs
des Bildsensorsystems begünstigt
die Erfassbarkeit der retroreflektierenden Bezugmerkmale 90.
In einer Variante wird durch die Lichtquelle Licht im Spektrum des
Infrarots ausgesendet. Damit wird eine Beeinträchtigung der Lichtverhältnisse
für Personen
am Messort vermieden. Sind die Bezugmerkmale 90 zusätzlich zu
der in 6 dargestellten ebenen, flächenhaften Anordnung bezüglich des
wenigstens einen Bildsensorsystems auch räumlich versetzt auf dem Kalibrierobjekt 36 angeordnet,
so ist die Auswertung gegenüber
einer ebenen Anordnung der Bezugmerkmale 90 vereinfacht
und die Messergebnisse sind zuverlässiger.
-
In
einer Variante der vorherstehenden Ausführungsbeispiele weist der Messraum
mehr als drei Bezugmerkmale auf und das Kraftfahrzeug nimmt wenigstens
zwei Positionen ein, so dass die Bezugmerkmale von dem wenigstens
einen Bildsensorsystem aus unterschiedlichen Perspektiven aufgenommen
werden. Damit wird die Kenntnis der gegenseitigen, räumlichen
Lage der Bezugmerkmale nicht benötigt,
da sie im Rahmen der Auswertung ebenfalls bestimmt werden können.
-
Eine
weitere Variante des beschriebenen Verfahrens und der Vorrichtung
ist dann gegeben, wenn der Messraum mehr als drei Bezugmerkmale aufweist,
das Kraftfahrzeug wenigstens zwei Positionen zur Erfassung des im
Messraum fixierten Kalibrierobjektes einnimmt und zusätzlich wenigstens
eine weitere Bildinformation aus unterschiedlicher Perspektive zur
Auswertung verwendet wird. Dabei ändert nicht das Kraftfahrzeug
seine Position, sondern die Fixierung des Kalibrierobjektes bzw.
der Trägereinheit
wird aufgehoben. Das Kalibrierobjekt wird in seiner Lage und/oder
Ausrichtung so verändert,
dass das Kalibrierobjekt dem wenigstens einen Bildsensorsystem aus
einer anderen Perspektive zur Aufnahme dargeboten wird. Dabei kann
die gegenseitige räumliche
Lage der Bezugmerkmale bekannt oder unbekannt sein.
-
Weist
das Kalibrierobjekt im Messraum mehr als drei Bezugmerkmale auf,
so werden in einer Variante der vorstehend beschriebenen Ausführungsbeispiele
intrinsische Parameter der Kalibrierdaten mitbestimmt. Durch die
Bezugmerkmale kann zusätzlich ein
die optische Abbildung verzeichnender Einfluss mitbestimmt werden,
der zum Beispiel durch eine Windschutzscheibe zwischen dem Bildsensorsystem und
dem Objekt hervorgerufen wird.
-
Die
Bestimmung der geometrischen Fahrachse des Kraftfahrzeuges erfolgt
unter realen Fahrbedingungen. In den vorhergehenden Ausführungsbeispielen
erfolgt die Erzeugung der Bildinformation, also die Bildaufnahme,
im Stand. Durch die Bildaufnahme im Stand wird die Zuverlässigkeit
der Messergebnisse unterstützt.
Alternativ ist es möglich
die Bildaufnahme insbesondere bei unbeschleunigter und/oder bei
beschleunigter Fahrt durchzuführen.
-
Das
vorstehend beschriebene Verfahren und die Vorrichtung sind ebenfalls
dazu geeignet gleichzeitig mehr als ein Bildsensorsystem zu kalibrieren. Insbesondere
kann während
der Auswertung direkt die gegenseitige Zuordnung von zwei oder mehr Bildsensorsystemen
hergestellt werden, die aus zumindest zwei unterschiedlichen Perspektiven
Objekte erfassen, um sie aus den Bildern dreidimensional zu rekonstruieren.
Insbesondere ist das vorstehend beschriebene Verfahren und die Vorrichtung
zur Kalibrierung von Stereokameras geeignet, die aus zwei Bildsensorsystemen
bestehen, die im wesentlichen dieselbe Szene aufnehmen. Dabei wird
entweder für jedes
Bildsensorsystem getrennt die Ausrichtung des Bildsensorsystems
bezüglich
der geometrischen Fahrachse des Kraftfahrzeuges bestimmt und daraus die
Ausrichtung der Bildsensorsysteme zueinander ermittelt oder die
Bestimmung der gegenseitigen Zuordnung der Bildsensorsysteme und
die Ausrichtung der Stereokamera bezüglich der geometrischen Fahrachse
des Kraftfahrzeuges erfolgt gemeinsam in einem Auswerteschritt.
-
Neben
der Ausrichtung des wenigstens einen Bildsensorsystems in Fahrrichtung
des Kraftfahrzeuges nach einem der vorhergehenden Ausführungsbeispiele
ist das Verfahren und die Vorrichtung zur Kalibrierung eines Bildsensorsystems
geeignet, das eine davon abweichende Ausrichtung aufweist. Insbesondere
ist die Kalibrierung von wenigstens einem Bildsensorsystem möglich, das
in die rückwärtige Fahrtrichtung
des Kraftfahrzeuges ausgerichtet ist. Außerdem ist das Verfahren und
die Vorrichtung zur Kalibrierung wenigstens eines Bildsensorsystems
geeignet, das sich auf und/oder an einem Kraftfahrzeug befindet.
-
In
einer weiteren Variante des vorstehend beschriebenen Verfahrens
und der Vorrichtung nimmt das Kraftfahrzeug mehr als zwei Positionen ein.
Die geometrische Fahrachse wird aus Überbestimmungen gemittelt.
Aus den Fahrzeugbewegungskoordinaten ist insbesondere eine Lenkbewegung
während
der Messung erkennbar. Die Auswertung von Bildinformationen von
drei oder mehr Positionen ermöglicht
die Rekonstruktion der Fahrkurve bzw. der Kreisbahn der Bewegung
des Kraftfahrzeuges. Dabei wird unterschieden, ob eine Lenkbewegung
beispielsweise bei entsprechend großem Lenkradius bei der Auswertung
der Bildinformationen korrigierbar ist oder bei unsteten Lenkbewegungen
nicht korrigierbar ist und eine Wiederholungsmessung zu fordern
ist. Dabei werden insbesondere die Informationen eines Lenkwinkelsensors
und/oder eines Radsensors und/oder anderer Sensoren zur Korrektur oder
Entscheidung über
eine Wiederholungsmessung verwendet.
-
Für die vorhergehenden
Ausführungsbeispiele
wird die Genauigkeit des Verfahrens zur Kalibrierung wenigstens
eines Bildsensorsystems gesteigert, wenn das Bildsensorsystem in
wenigstens einer Position des Kraftfahrzeuges zum Kalibrierobjekt
wenigstens zwei Bilder aufnimmt. Dies wird dadurch erreicht, indem
die Messungen der im Bild identifizierten Bezugmerkmale und des
wenigstens einen Parameters der Kalibrierdaten, insbesondere der
Gierwinkel und/oder der Nickwinkel und/oder der Wankwinkel, des
Bildsensorsystems gemittelt werden.
-
In
einer weiteren Variante werden wenigstens zwei Kalibrierobjekte
zur Durchführung
des Verfahrens zur Kalibrierung wenigstens eines Bildsensorsystems
nach einem der vorhergehenden Ausführungsbeispiele verwendet.