-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren
und eine Vorrichtung zur Kalibrierung wenigstens eines Bildsensorsystems,
das sich an und/oder in und/oder auf einem Kraftfahrzeug befindet,
mittels wenigstens eines Kalibrierobjektes.
-
In Kraftfahrzeugen ist an deri Einsatz
von Bildsensorsystemen zur Erfassung des Fahrzeugumfeldes gedacht.
Insbesondere ist die Verwendung der Bildsensorsysterne in Fahrerassistenzsystemen
geplant. Beispielsweise ist es möglich,
Bildsensorsysteme zur automatischen Abstandsregelung des Kraftfahrzeuges
zu einem vorausfahrenden Fahrzeug einzusetzen.
-
Zur Vergrößerung des Bilderfassungsbereiches
ist der Einsatz von mehreren Bildsensorsystemen im Kraftfahrzeug
geplant, wobei sich deren Erfassungsbereiche auch zumindest teilweise überlappen
können.
Insbesondere ist der Einsatz von Stereokameras vorgesehen. die aus
zwei Bildsensorsystemen bestehen, welche im wesentlichen dieselbe Szene
aufnehmen.
-
Verfahren und Vorrichtungen zur Kalibrierung
von Bildsensorsystemen in Kraftfahrzeugen mittels eines Kalibrierobjektes
sind bekannt.
-
Aus der nicht vorveröffentlichten
deutschen Patentanmeldung mit dem Aktenzeichen 10229336.8 vom 29.6.02
ist beispielsweise eine Vorrichtung und ein Verfahren zur Kalibrierung
eines Bildsensorsystems mittels eines Kalibrierobjektes und eines
Lagebezugsensors bekannt.
-
EP 1 120 746 A2 beschreibt ein Verfahren zur
Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug mittels
eines Kalibrierobjektes. Dabei wird das Kalibrierobjekt mit dem
Kraftfahrzeug verbunden und über
eine mechanische Verstellvorrichtung bezüglich des Kraftfahrzeuges ausgerichtet.
Die Kalibrierung erfolgt dabei bezüglich der Längsachse des Kraftfahrzeuges.
Die Längsachse
ist durch symmetrische Merkmale am Kraftfahrzeug, insbesondere der
Karosserie, konstruierbar. Aufgrund von Fertigungstoleranzen stimmt
diese Längsachse
nicht mit der geometrischen Fahrachse überein, die durch die Winkelhalbierende
des Gesamtvorspurwinkels der Hinterachse definiert ist. Die Abweichungen
zwischen der Längsachse
und der geometrische Fahrachse sind für ein messendes Bildsensorsystem,
insbesondere bei dessen Verwendung in Fahrerassistenzsystemen in
Kraftfahrzeugen, nicht vernachlässigbar,
da die geometrische Fahrachse die Fahrtrichtung bei Geradeausfahrt
festlegt, unabhängig
von der Lage der Längsachse.
-
Hinweise zur Bestimmung der Ausrichtung eines
Bildsensorsystems bezüglich
der geometrischen Fahrachse des Kraftfahrzeuges zur Kalibrierung
eines Bildsensorsystems fehlen in der
EP 1 120 746 A2 .
-
Vorteile der
Erfindung
-
Durch die Bestimmung der Ausrichtung
wenigstens eines Bildsensorsystems bezüglich der geometrischen Fahrachse
des Kraftfahrzeuges erhöht sich
die Messgenauigkeit des Bildsensorsystems in vorteilhafter Weise.
Zwischen der geometrischen Fahrachse und der Längsachse sind Abweichungen vorhanden,
die bei einem messenden Bildsensorsystem, insbesondere beim Einsatz
in Fahrerassistenzsystemen, zu Messfehlern führen können und deshalb nicht vernachlässigbar
sind.
-
In besonders vorteilhafter Weise
ermöglicht das
nachfolgend beschriebene Verfahren und die Vorrichtung die direkte
Bestimmung der Ausrichtung des wenigstens einen Bildsensorsystems
bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges aus wenigstens zwei Bildinformationen
des wenigstens einen Kalibrierobjektes, wobei das Kraftfahrzeug
wenigstens zwei unterschiedliche Positionen bezüglich des Kalibrierobjektes
einnimmt. In vorteilhafter Weise ist es insbesondere ausreichend
nur die Bildinformationen zur Bestimmung der Ausrichtung des wenigstens
einen Bildsensorsystems bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges zu verwenden.
-
In vorteilhafter Weise werden die
in den wenigstens zwei erzeugten Bildinformationen enthaltenen Informationen über die
geometrische Fahrachse des Kraftfahrzeuges verwendet. Damit ermöglicht das
nachfolgend beschriebene Verfahren und die Vorrichtung die Kalibrierung
des wenigstens einen Bildsensorsystems insbesondere unabhängig von der
Verwendung weiterer Sensoren, da alle notwendigen Informationen
zur Bestimmung der Ausrichtung des wenigstens einen Bildsensorsystems
bezüglich
der geometrischen Fahrachse des Kraftfahrzeuges in den Bildinformationen
enthalten sind. Dies reduziert den Aufwand an technischen Vorrichtungen und
führt damit
zu niedrigen Kosten bei der Kalibrierung des wenigstens einen Bildsensorsystems.
-
In vorteilhafter Weise erfolgt die
Kalibrierung des wenigstens einen Bildsensorsystems durch Bestimmung
der Ausrichtung des Bildsensorsystems bezüglich der geometrischen Fahrachse
unter realen Fahrbedingungen. Dies ermöglicht die Kalibrierung entsprechend
dem späteren
Einsatz des Bildsensorsystems. Dies erhöht in vorteilhafter Weise die
Genauigkeit der Kalibrierung, insbesondere der Kalibrierung bezüglich der
geometrischen Fahrachse.
-
Besonders vorteilhaft ist, wenn das
Bildsensorsystem wenigstens eine dritte Bildinformation des Kalibrierobjektes
erzeugt, wobei das Kraftfahrzeug wenigstens eine dritte Position
bezüglich
des Kalibrierobjektes einnimmt. Nimmt das Bildsensorsystem des Kraftfahrzeuges
mehr als zwei Positionen ein, kann die geometrische Fahrachse aus Überbestimmungen
Bemittelt bestimmt werden. Die Erzeugung der Bildinformationen an
den Positionen erfolgt dabei bei sehendem Kraftfahrzeug, bei gleichmäßig bewegtem
Kraftfahrzeug, bei gleichmäßig beschleunigtem
Kraftfahrzeug oder bei nicht gleichmäßig beschleunigtem Kraftfahrzeug.
In vorteilhafter Weise ist dabei aus den Fahrzeugbewegungskoordinaten und/oder
aus der Änderung
der Aufnahmerichtung des Bildsensorsystems eine Lenkbewegung während der
Messung erkennbar. Die Auswertung von Bildinformationen von drei
oder mehr Positionen erlaubt in vorteilhafter Weise die Rekonstruktion
der Fahrkurve bzw. der Kreisbahn der Bewegung des Kraftfahrzeuges.
Es kann dann in vorteilhafter Weise unterschieden werden, ob eine
erfolgte Lenkbewegung bei der Auswertung der Bildinformationen korrigierbar
ist oder bei unsteten Lenkbewegungen nicht korrigierbar ist und
eine Wiederholungsmessung zu fordern ist. Dabei ist es vorteilhaft,
zusätzlich
die Informationen eines Lenkwinkelsensors und/oder eines Radsensors
und/oder anderer Sensoren zur Korrektur oder Entscheidung über eine
Wiederholungsmessung zu verwenden. Die Verwendung dieser zusätzlichen
Sensoren führt
zu einer Erhöhung
der statistischen Genauigkeit der Kalibrierung des Bildsensorsystems,
weil Fehlmessungen sicher erkannt werden. In vorteilhafter Weise
ist es weiter insbesondere möglich,
die Fahrbahnebene aus den gemessenen Bildinformationen selbst zu
rekonstruieren. Voraussetzung hierfür ist, dass das Kraftfahrzeug
wenigstens eine weitere Position auf der Fahrbahnebene einnimmt,
also dass Bildinformationen an wenigstens drei unterschiedlichen
Positionen zur Auswertung verwendet werden. Bei Verwendung von Bildinformationen
von drei unterschiedlichen Positionen ist es dabei erforderlich,
dass die dritte Position nicht auf einer Geraden zu den zwei anderen
Positionen liegt.
-
Vorteilhaft ist, dass das Bildsensorsystem
an einer Position wenigstens zwei Bildinformation des Kalibrierobjektes,
vorzugsweise in Form wenigstens eines Bilddatensatzes, erzeugt.
Nimmt das Bildsensorsystem des Kraftfahrzeuges im Stand an einer
Position mehr als ein Bild auf, so wird in vorteilhafter Weise die
Genauigkeit gesteigert, indem die Messungen der im Bild identifizierten
Bezugmerkmale oder die daraus ermittelte Aufnahmeposition des Bildsensorsystems
gemittelt werden.
-
Vorteilhaft ist ferner, dass die
Lage des Kalibrierobjektes bezüglich
der Fahrbahnebene bei der Auswertung der Bildinformationen berücksichtigt wird.
Insbesondere für
Anwendungen von Bildsensorsystemen im Bereich von videounterstützten Fahrerassistenzsystemen
ist es vorteilhaft zur Kalibrierung des Bildsensorsystems die Fahrbahnebene
in den Messraum einzubeziehen, indem die Lage der Fahrbahnebene
zu wenigstens einer Koordinate wenigstens eines Bezugmerkmals bekannt
ist. Dies ermöglicht
in vorteilhafter Weise, dass Richtungskomponenten der geometrischen
Fahrachse und der Aufnahmerichtung, also insbesondere die optische
Achse des Bildsensorsystems, definiert zueinander in Bezug gebracht
werden. Dies ermöglicht
in besonders vorteilhafter Weise die Bestimmung von weiteren Daten,
insbesondere des Abstandes des Bildsensorsystems zur Fahrbahn, also
die Einbauhöhe
des Bildsensorsystems über
der Fahrbahn, und/oder des Nickwinkels des Bildsensorsystems und/oder
des Wankwinkels des Bildsensorsystems bezogen auf die Fahrbahnebene.
-
Besonders vorteilhaft ist, wenn die
Bewegung des Kraftfahrzeuges entlang der geometrischen Fahrachse
erfolgt, also insbesondere, wenn sich das Fahrzeug mit geradeaus
eingestelltem Lenkrad bewegt. Bei dieser Variante des nachfolgend
beschriebenen Verfahrens und der Vorrichtung ist es ausreichend,
an nur zwei Positionen die erzeugten Bildinformationen zur Auswertung
zu verwenden. Dies ermöglicht
eine schnelle und kostengünstige
Durchführung
der Kalibrierung des wenigstens einen Bildsensorsystems.
-
Vorteilhaft ist, dass das Kalibrierobjekt und/oder
die Fahrbahnebene nivelliert ist. Ist die Fahrbahnebene parallel
zu den Potentialflächen
des Erdschwerefeldes, also nivelliert, dann kann in vorteilhafter
Weise ein Kalibrierobjekt, beispielsweise eine Trägereinheit
mit Bezugmerkmalen, in den Messraum eingebracht werden, wobei dessen
Ausrichtung zur Vertikalen beispielsweise über ein dem Erdschwerefeld
folgendem Kalibrierpendel und/oder eine Libelle bestimmt wird. Durch
die Verwendung eines Kalibrierpendels und/oder einer Libelle wird
die Genauigkeit der Kalibrierung in vorteilhafter Weise erhöht, weil
eine präzise
Ausrichtung des Kalibrierobjektes bezüglich der Fahrbahnebene erreicht
wird. Dies gilt insbesondere dann, wenn die Lage des Kalibrierobjektes
bezüglich
der Fahrbahnebene bei der Auswertung der Bildinformationen berücksichtigt wird.
-
In besonders vorteilhafter Weise
ermöglicht das
nachfolgend beschriebene Verfahren und die Vorrichtung die Bestimmung
der Ausrichtung wenigstens zweier Bildsensorsysteme zueinander,
wobei die wenigstens zwei Bildsensorsysteme im wesentlichen dieselbe
Szene aufnehmen. Insbesondere ermöglicht das nachfolgend beschriebene
Verfahren und die Vorrichtung in vorteilhafter Weise die Kalibrierung
wenigstens eines Stereokamerasystems bezüglich der geometrischen Fahrachse
des Kraftfahrzeuges.
-
In vorteilhafter Weise ist das Kalibrierobjekt als
frei gestaltbare Trägereinheit
mit Bezugmerkmalen ausgeführt.
Die Bezugmerkmale ergeben sich aus der Struktur der Trägereinheit
oder sind speziell angebracht. Hierdurch wird ein einfacher Aufbau
mit zuverlässig
erfassbaren Bezugmerkmalen erzielt. Für die zuverlässige Erfassung
der Bezugmerkmale sind weiterhin die Maßnahmen vorteilhaft, dass die Bezugmerkmale
eine geometrisch bekannte Form aufweisen und/oder dass die Bezugmerkmale
einen guten Kontrast zu ihrer Umgebung aufweisen und/oder dass die
Bezugmerkmale aktiv leuchtend sind und/oder dass retroreflektierende
Marken ausgebildet sind.
-
Weitere Vorteile ergeben sich aus
der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug
auf die Figuren und aus den abhängigen Patentansprüchen.
-
Zeichnung
-
Die Erfindung wird nachstehend anhand
der in der Zeichnung dargestellten Ausführungsformen näher erläutert.
-
Es zeigen:
-
1 eine
Zeichnung zur Erläuterung
der Definition der geometrischen Fahrachse, der Fahrzeuglängsmittelebene
und der Längsachse
eines Kraftfahrzeuges,
-
2 eine Übersichtszeichnung
eines ersten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems in einem Kraftfahrzeug,
-
3 eine Übersichtszeichnung
eines zweiten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems in einem Kraftfahrzeug,
-
4 ein
Blockdiagramm der Vorrichtung zur Kalibrierung eines Bildsensorsystems,
-
5 ein
Ablaufdiagramm zur Bestimmung der Kalibrierdaten,
-
6 ein
Kalibrierobjekt.
-
Beschreibung
von Ausführungsbeispielen
-
1 zeigt
eine Zeichnung zur Erläuterung der
Definition der geometrischen Fahrachse 18, der Fahrzeuglängsmittelebene 20 und
der Längsachse 22 eines
Kraftfahrzeuges 10. Dargestellt ist ein Kraftfahrzeug 10 mit
den zwei gelenkten Vorderrädern 12 der
Vorderachse und den zwei ungelenkten Hinterrädern 14 der Hinterachse.
Die Vorderachse und die Hinterachse sind jeweils eine Radachse.
Die geometrische Fahrachse 18 ist definiert als die Winkelhalbierende
des Gesamtvorspurwinkels 24 der Hinterachse, wobei der
Gesamtvorspurwinkel 24 durch die Spur 16 der beiden
Hinterräder 14 der
Hinterachse festgelegt ist. Die geometrische Fahrachse 18 ist
parallel zur Fahrbahnebene. Die Fahrbahnebene ist in 1 nicht eingezeichnet. Demgegenüber ist
die Fahrzeuglängsmittelebene 20 eine
Ebene. die senkrecht zur Fahrbahnebene steht und durch die Mitte der
Spurweite der Vorder- und Hinterachse geht. Die Längsachse 22 ist
durch symmetrische Merkmale am Kraftfahrzeug 10, insbesondere
der Karosserie, konstruierbar. Die Längsachse 22 ist parallel
zur Fahrbahnebene. Aufgrund von Fertigungstoleranzen stimmen die
geometrische Fahrachse 18, die Fahrzeuglängsmittelebene 20 und
die Längsachse 22 im allgemeinen
nicht überein.
Die geometrische Fahrachse 18 legt die Fahrtrichtung bei
Geradeausfahrt des Kraftfahrzeuges 10 fest. Die Fahrtrichtung
bei Geradeausfahrt ist damit unabhängig von der Längsachse 22 des
Kraftfahrzeuges 12 und damit auch unabhängig von der Ausrichtung der
Karosserie bezüglich
des Fahrwerks.
-
2 zeigt
eine Übersichtszeichnung
eines ersten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems 38,
das sich in einem Kraftfahrzeug 10 befindet, wobei die
Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt
wird. In diesem Ausführungsbeispiel
ist das Bildsensorsystem 38 im Kraftfahrzeug 10 hinter
der Windschutzscheibe im Bereich des Innenrückspiegels angebracht. Der
Erfassungsbereich 48 des Bildsensorsystems 38 ist
in Vorwärtsfahrtrichtung des
Kraftfahrzeuges 10 ausgerichtet. Das Bildsensorsystem 38 ist
ein Videosensor, der beispielsweise entweder als CCD- oder CMOS-Kamera
ausgeführt ist.
Das Kraftfahrzeug 10 befindet sich auf der Fahrbahnebene 54 beispielsweise
in einer Kraftfahrzeugwerkstatt oder in der Produktionshalle eines
Kraftfahrzeugherstellers. Die Auswerteeinheit 50 wertet Bildinformationen
des Bildsensorsystems 38 aus. 2 zeigt einen Messraum mit wenigstens
drei geometrischen Bezugmerkmale 90, die das Kalibrierobjekt 36 bilden.
Die gegenseitige, räumliche
Lage der Bezugmerkmale 90 ist der Auswerteeinheit 50 bekannt.
Die Bezugmerkmale 90 sind fix im Messraum. In diesem Ausführungsbeispiel
weist der Messraum als Kalibrierobjekt 36 eine frei gestaltbare
Trägereinheit
mit Bezugmerkmalen 90 auf. Die Bezugmerkmale 90 ergeben
sich in diesem Ausführungsbeispiel aus
der Struktur der Trägereinheit 36 und/oder
die Bezugmerkmale 90 sind speziell an der Trägereinheit 36 angebracht.
Das Bildsensorsystem 38 nimmt aus wenigstens zwei beliebigen
Positionen 40, 42 mit ausreichend großer Entfernung
wenigstens je eine Bildinformation, vorzugsweise als Bild in wenigstens einem
Bilddatensatz, des Kalibrierobjektes 36 bzw. des Messraumes
auf. Die Positionen 40, 42 des Kraftfahrzeuges 10 werden
durch Fortbewegung des Kraftfahrzeuges 10 mit den eigenen
Rädern
eingenommen. Die Entfernung des Bildsensorsystems 38 zum
Kalibrierobjekt 36 kann dabei beispielsweise zwischen einem
Meter und 20 Meter betragen, wobei vorzugsweise Entfernungen zwischen
zwei Meter und fünf
Meter geeignet sind. Zur Kalibrierung des Bildsensorsystems 38 wird
aus den erzeugten Bildinformationen die Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt.
-
3 zeigt
eine Übersichtszeichnung
eines zweiten Ausführungsbeispiels
zur Kalibrierung wenigstens eines Bildsensorsystems 38,
das sich in einem Kraftfahrzeug 10 befindet, wobei die
Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt
wird. Wie im Ausführungsbeispiel
nach 2 ist in diesem
Ausführungsbeispiel
das Bildsensorsystem 38 auch im Kraftfahrzeug 10 hinter
der Windschutzscheibe im Bereich des Innenrückspiegels angebracht. Der
Erfassungsbereich 48 des Bildsensorsystems 38 ist
in Vorwärtsfahrtrichtung
des Kraftfahrzeuges 10 ausgerichtet. Das Bildsensorsystem 38 ist ein
Videosensor, der beispielsweise entweder als CCD- oder CMOS-Kamera ausgeführt ist.
Das Kraftfahrzeug 10 befindet sich auf der Fahrbahnebene 54 beispielsweise
in einer Kraftfahrzeugwerkstatt oder in der Produktionshalle eines
Kraftfahrzeugherstellers. Die Auswerteeinheit 50 wertet
Bildinformationen des Bildsensorsystems 38 aus. In diesem
Ausführungsbeispiel
wird die Fahrbahnebene 54 in den Messraum zur Kalibrierung
des Bildsensorsystems 38 einbezogen, indem die Lage der
Fahrbahnebene 54 zu wenigstens einer Komponente von wenigstens einem
Bezugmerkmal 90 im Messraum bzw. Bezugmerkmalsraum bekannt
ist. Dadurch werden Richtungskomponenten der geometrischen Fahrachse und
der Aufnahmerichtung des Bildsensorsystems 38 definiert
zueinander in Bezug gebracht. 3 zeigt,
dass die Koordinatenachsen X, Y, Z des Bezugmerkmalsraumes so definiert
sind, dass die Fahrbahnebene 54 mit der X-Y-Ebene und die
geometrische Fahrachse in etwa mit der X-Achse zusammenfallen. In
diesem Ausführungsbeispiel
wird als Kalibrierobjekt 36 eine ebene Trägereinheit
mit Bezugmerkmalen 90 verwendet, wobei die Ebene der Trägereinheit 36 senkrecht
zur Fahrbahnebene 54 und annähernd senkrecht zur geometrischen
Fahrachse des Kraftfahrzeuges 10 ausgerichtet ist. Das
Bildsensorsystem 38 nimmt aus wenigstens zwei beliebigen Positionen 40, 42 mit
ausreichend großer
Entfernung wenigstens je eine Bildinformation, vorzugsweise als Bild
in wenigstens einem Bilddatensatz, der Trägereinheit 36 bzw.
des Messraumes auf. Die Positionen 40, 42 des
Kraftfahrzeuges 10 werden durch Fortbewegung des Kraftfahrzeuges 10 mit
den eigenen Rädern
eingenommen. Die Entfernung des Bildsensorsystems 38 zum
Kalibrierobjekt 36 kann dabei beispielsweise zwischen einem
Meter und 20 Meter betragen, wobei vorzugsweise Entfernungen zwischen zwei
Meter und fünf
Meter geeignet sind. Zur Kalibrierung des Bildsensorsystems 38 wird
aus den erzeugten Bildinformationen die Ausrichtung des Bildsensorsystems 38 bezüglich der
geometrischen Fahrachse des Kraftfahrzeuges 10 bestimmt.
Insbesondere lässt
sich der Gierwinkel des Bildsensorsystems aus der Projektion der
geometrischen Fahrachse und der Aufnahmerichtung des Bildsensorsystems 38 in die
X-Y-Ebene bestimmen.
Als weitere Parameter der Kalibrierdaten werden die Einbauhöhe des Bildsensorsystems 38 über der
Fahrbahnebene 54 und/oder der Nickwinkel des Bildsensorsystems 38 bezogen
auf die Fahrbahnebene 54 und/oder der Wankwinkel des Bildsensorsystems 38 bezogen
auf die Fahrbahnebene 54 bestimmt. In diesem Ausführungsbeispiel
die Lage der Fahrbahnebene 54 im Koordinatensystem der
Bezugsmerkmale 90 bekannt. Beispielsweise ist die Lage
der Fahrbahnebene 54 entweder konstruktiv definiert und
damit bekannt oder die Lage wird mittels eines unabhängigen Messsystems
zusätzlich
messtechnisch erfasst oder die Lage der Fahrbahnebene 54 wird
aus den Bildinformationen selbst rekonstruiert. Die Rekonstruktion aus
den Bildinformationen wird so durchgeführt, dass das Kraftfahrzeug 10 wenigstens
eine weitere Position auf der Fahrbahnebene 54 einnimmt,
die nicht auf einer Geraden zu den zwei Positionen 40, 42 liegt.
Alternativ oder zusätzlich
ist die Fahrbahnebene 54 parallel zu den Potentialflächen des
Erdschwerefeldes, also nivelliert, und die Ausrichtung der Trägereinheit 36 zur
Vertikalen wird über
ein dem Erdschwerefeld folgenden Kalibrierpendel und/oder eine Libelle
bestimmt.
-
4 zeigt
ein Blockdiagramm der Vorrichtung zur Kalibrierung eines Bildsensorsystems 38 nach
einem der vorhergehenden Ausführungsbeispiele,
insbesondere zur Verarbeitung und Auswertung der Bildinformationen,
bestehend aus dem Bildsensorsystem 38 selbst, einer Auswerteeinheit 50 und
wenigstens einem, vorzugsweise nachfolgenden, System 52,
beispielsweise einer Speichereinheit. Die von dem Bildsensorsystem 38 aufgenommenen
wenigstens zwei Bilder, werden vorzugsweise in Form von Bilddatensätzen über die
Signalleitung 49 an die Auswerteeinheit 50 elektrisch
und/oder optisch übertragen.
Alternativ ist eine Übertragung
der Bilddatensätze
per Funk möglich.
Die Auswerteeinheit 50 kann dabei separat von dem Bildsensorsystem 38 positioniert
sein, sich also insbesondere im Kraftfahrzeug oder auch außerhalb
befinden, oder die Auswerteeinheit 50 befindet sich direkt
in dem Bildsensorsystem 38. Die Auswerteeinheit 50 umfasst
wenigstens einen Mikroprozessor und besteht aus mehreren in 5 dargestellten Modulen,
die als Programme des wenigstens einen Mikroprozessors ausgestaltet
sind. Die Auswerteeinheit 50 ermittelt aus den Bildinformationen
wenigstens einen Parameter der Kalibrierdaten, insbesondere den
Gierwinkel und/oder den Nickwinkel und/oder den Wankwinkel und/oder
wenigstens einen Parameter der dreidimensionalen Einbauposition
des Bildsensorsystems 38 im Kraftfahrzeug. Der Gierwinkel
ist hierbei als die horizontale Winkelabweichung der optischen Achse bzw.
der Normalen der Bildebene des Bildsensorsystems 38 von
der geometrischen Fahrachse definiert. Unter dein Nickwinkel versteht
man die vertikale Winkelabweichung der optischen Achse bzw. der
Normalen der Bildebene des Bildsensorsystems 38 von der geometrischen
Fahrachse. Unter dem Wankwinkel versteht man die Verdrehung des
Bildsensorsystems 38 um die optisch Achse bezüglich der
Fahrbahnebene. Die Parameter der Kalibrierdaten werden über die Signalleitung 51 an
wenigstens ein, vorzugsweise nachfolgendes, System 52,
beispielsweise eine Speichereinheit 52 , elektrisch und/oder
optisch übertragen.
Alternativ ist eine Übertragung
per Funk möglich.
Das System 52 kann dabei separat von dem Bildsensorsystem 38 positioniert
sein oder das System 52 befindet sich direkt in dem Bildsensorsystem 38.
Daneben können
die Parameter der Kalibrierdaten entweder dazu verwendet werden,
das Bildsensorsystem 38 mechanisch zu justieren und/oder
die Kalibrierdaten werden verwendet, um nachfolgende Anwendungen,
die im Betrieb des Bildsensorsystems 38 Bilddaten verarbeiten,
softwaremäßig, also
algorithmisch, zu manipulieren. Dies gewährleistet eine für den Anwendungszweck
dienliche Abbildung und/oder Messwerterfassung durch das Bildsensorsystem 38.
-
5 zeigt
ein Ablaufdiagramm zur Bestimmung wenigstens eines Parameters der
Kalibrierdaten 86 nach einem der vorhergehenden Ausführungsbeispiele.
Die Bildsensorsignale 70 der Signalleitung 49 nach 4, die Bildinformationen
des Kalibrierobjektes in Form von Bilddatensätzen enthalten, werden dem
Modul 72 zur Vorverarbeitung zugeführt. Dieses Modul 72 dient
zur Bildung der vorverarbeiteten Bildinformationen 74.
Als Vorverarbeitung wird insbesondere eine Kontrastverbesserung und/oder
eine Veränderung
der Bildhelligkeit und/oder eine Bildverbesserung durch Filterung
vorgenommen. Die vorverarbeiteten Bildinformationen 74 werden
dem Modul 76 zur Identifizierung von Merkmalen zugeführt. Dieses
Modul 76 dient insbesondere zur Suche und Identifizierung
der Bezugmerkmale. Diese signifikanten Merkmale im Bild werden mit
bekannten Verfahren der Bildverarbeitung ermittelt. Als Verfahren
werden insbesondere entweder Verfahren mit vorgegebenen Grauwertschwellen und/oder
Kantenverfahren und/oder Konturverfolgungsverfahren verwendet. Die
im Modul 76 ermittelten Daten 78 werden an das
Modul 80 zur Bestimmung der 2D-Position (zweidimensionale
Position) der Bezugmerkmale zugeführt. Dabei wird insbesondere
entweder eine pixelgenaue oder subpixelgenaue Bestimmung der 2D-Position
durchgeführt.
Als Verfahren werden insbesondere Schwerpunktoperatoren. beispielsweise
Grauwertsummen und/oder Mittelbildung, und/oder Strukturoperatoren,
beispielsweise Kreisrand oder Ellipsenrand, und/oder eine Mustergrauwertmatrix
verwendet. Bei dem Verfahren mit einer Mustergrauwertmatrix handelt
es sich um ein Template Matching (Musteranpassung), bei dem eine
künstlich
definierte Grauwertmatrix eines Merkmals bestmöglich über das abgebildete Bezugmerkmal
platziert wird und damit die 2D-Position ermittelt wird. Die ermittelte
2D-Position der Bezugmerkmale, also die Bildkoordinaten der Bezugmerkmale,
werden als Daten 82 zum Modul 84 zur Berechnung wenigstens
eines Parameters der Kalibrierdaten 86 zugeleitet. Als
Parameter der Kalibrierdaten 86 zur Kalibrierung eines
Bildsensorsystems in einem Kraftfahrzeug wird grundsätzlich zwischen
intrinsischen und extrinsischen Kalibrierdaten unterschieden. Intrinsische
Kalibrierdaten sind insbesondere der Kamerahauptpunkt und/oder die
Kamerakonstante und/oder wenigstens ein Verzeichnungsparameter.
Unter den extrinsischen Kalibrierdaten werden sechs Parameter unterschieden.
Die drei Translationsparameter beschreiben die Einbauposition des
Bildsensorsystems bezüglich
des Kraftfahrzeuges. Neben den drei Translationsparametern unterscheidet
man die drei Rotationswinkel Gierwinkel, Nickwinkel und Wankwinkel.
Zur Bestimmung des wenigstens einen Parameters der Kalibrierdaten 86 werden
in Modul 84 bekannte numerische, photogrammetrische Verfahren
verwendet. Bevorzugt wird die Direkte Lineare Transformation (DLT)
verwendet. Alternativ ist auch das Verfahren des räumlichen Rückwärtsschnitt
einsetzbar. Mit dem Ansatz der DLT gelingt es, wenigstens einen
Parameter der Kalibrierdaten 86 ohne Näherungswerte in einem linearen Gleichungssystem
zu bestimmen. Das Verfahren basiert auf projektiven Beziehungen
zwischen Objektraum und Bildraum, die um eine Affintransformation der
Bildkoordinaten erweitert werden. Mit dem Verfahren des räumlichen
Rückwärtsschnitts
liegt eine nicht-lineare Lösung
aufgestellter Kollinearitätsgleichungen
vor, die Näherungswerte
der gesuchten Parameter der Kalibrierdaten benötigt. Die Lösung erfolgt iterativ nach
der Methode der kleinsten Fehlerquadrate in einer Ausgleichsrechnung.
Dazu werden aus den Kollinearitätsgleichungen
Verbesserungsgleichungen der Beobachtungen abgeleitet. Als Beobachtungen
gelten hier die Bildkoordinaten der im Bild gemessenen Bezugmerkmale.
Das Aufstellen und Auflösen
der sogenannten Normalgleichungen erfolgt iterativ, bis die gesuchten
Parameter der Kalibrierdaten 86 sich nicht mehr nennenswert ändern.
-
6 zeigt
ein Kalibrierobjekt 36, das insbesondere in einem der vorhergehenden
Ausführungsbeispiele
verwendet wird. Das Kalibrierobjekt 36 in 6 ist als ebene Trägereinheit ausgeführt. Beispielhaft
sind in 6 neun Bezugmerkmale 90 eingezeichnet.
Für die
zuverlässige
Erfassung der Bezugmerkmale 90 weisen diese eine geometrisch
bekannte Form auf und/oder haben die Bezugmerkmale 90 einen
guten Kontrast zur Umgebung und/oder sind die Bezugmerkmale 90 aktiv
leuchtend und/oder sind die Bezugmerkmale 90 als retroreflektierende Marken
ausgebildet. Die Bezugmerkmale 90 sind so gestaltet, dass
eine einfache automatische Erfassung in den Bildern des wenigstens
einen Bildsensorsystems möglich
ist. Die in 6 dargestellten
Bezugmerkmale 90 sind kreisförmig und vorzugsweise optisch
diffus reflektierend. Die Bezugmerkmale 90 besitzen einen
Durchmesser, der in Abhängigkeit
von dem Abbildungsmaßstab
des wenigstens einen Bildsensorsystems und der Aufnahmeeinrichtung
gewählt
ist. Die Bezugmerkmale 90 werden automatisch dadurch unterschieden,
dass wenigstens ein Bezugmerkmal 90 eine von wenigstens
einem Bildsensorsystem erfassbare Kodierung trägt und/oder die Bezugmerkmale 90 in
Gruppen mit definierter Geometrie angeordnet sind. Mit der Maßnahme,
dass zur Beleuchtung der Bezugmerkmale wenigstens eine Lichtquelle
eingesetzt wird, ist die Erfassbarkeit der Bezugmerkmale 90 begünstigt.
Insbesondere wenigstens eine Lichtquelle in der Nähe des Objektivs
des Bildsensorsystems begünstigt
die Erfassbarkeit der retroreflektierenden Bezugmerkmale 90.
In einer Variante wird durch die Lichtquelle Licht im Spektrum des
Infrarots ausgesendet. Damit wird eine Beeinträchtigung der Lichtverhältnisse
für Personen
am Messort vermieden. Sind die Bezugmerkmale 90 zusätzlich zu
der in 6 dargestellten ebenen,
flächenhaften
Anordnung bezüglich
des wenigstens einen Bildsensorsystems auch räumlich versetzt auf dem Kalibrierobjekt 36 angeordnet,
so ist die Auswertung gegenüber
einer ebenen Anordnung der Bezugmerkmale 90 vereinfacht
und die Messergebnisse sind zuverlässiger.
-
In einer Variante der vorherstehenden
Ausführungsbeispiele
weist der Messraum mehr als drei Bezugmerkmale auf und das Kraftfahrzeug
nimmt wenigstens zwei Positionen ein, so dass die Bezugmerkmale
von dem wenigstens einen Bildsensorsystem aus unterschiedlichen
Perspektiven aufgenommen werden. Damit wird die Kenntnis der gegenseitigen,
räumlichen
Lage der Bezugmerkmale nicht benötigt,
da sie im Rahmen der Auswertung ebenfalls bestimmt werden können.
-
Eine weitere Variante des beschriebenen Verfahrens
und der Vorrichtung ist dann gegeben, wenn der Messraum mehr als
drei Bezugmerkmale aufweist, das Kraftfahrzeug wenigstens zwei Positionen
zur Erfassung des im Messraum fixierten Kalibrierobjektes einnimmt
und zusätzlich
wenigstens eine weitere Bildinformation aus unterschiedlicher Perspektive
zur Auswertung verwendet wird. Dabei ändert nicht das Kraftfahrzeug
seine Position, sondern die Fixierung des Kalibrierobjektes bzw.
der Trägereinheit
wird aufgehoben. Das Kalibrierobjekt wird in seiner Lage und/oder
Ausrichtung so verändert,
dass das Kalibrierobjekt dem wenigstens einen Bildsensorsystem aus
einer anderen Perspektive zur Aufnahme dargeboten wird. Dabei kann
die gegenseitige räumliche
Lage der Bezugmerkmale bekannt oder unbekannt sein.
-
Weist das Kalibrierobjekt im Messraum
mehr als drei Bezugmerkmale auf, so werden in einer Variante der
vorstehend beschriebenen Ausführungsbeispiele
intrinsische Parameter der Kalibrierdaten mitbestimmt. Durch die
Bezugmerkmale kann zusätzlich ein
die optische Abbildung verzeichnender Einfluss mitbestimmt werden,
der zum Beispiel durch eine Windschutzscheibe zwischen dem Bildsensorsystem und
dein Objekt hervorgerufen wird.
-
Die Bestimmung der geometrischen
Fahrachse des Kraftfahrzeuges erfolgt unter realen Fahrbedingungen.
In den vorhergehenden Ausführungsbeispielen
erfolgt die Erzeugung der Bildinformation, also die Bildaufnahme,
im Stand. Durch die Bildaufnahme im Stand wird die Zuverlässigkeit
der Messergebnisse unterstützt.
Alternativ ist es möglich
die Bildaufnahme insbesondere bei unbeschleunigter und/oder bei
beschleunigter Fahrt durchzuführen.
-
Das vorstehend beschriebene Verfahren
und die Vorrichtung sind ebenfalls dazu geeignet gleichzeitig mehr
als ein Bildsensorsystem zu kalibrieren. Insbesondere kann während der
Auswertung direkt die gegenseitige Zuordnung von zwei oder mehr Bildsensorsystemen
hergestellt werden, die aus zumindest zwei unterschiedlichen Perspektiven
Objekte erfassen, um sie aus den Bildern dreidimensional zu rekonstruieren.
Insbesondere ist das vorstehend beschriebene Verfahren und die Vorrichtung
zur Kalibrierung von Stereokameras geeignet, die aus zwei Bildsensorsystemen
bestehen, die im wesentlichen dieselbe Szene aufnehmen. Dabei wird
entweder für jedes
Bildsensorsystem getrennt die Ausrichtung des Bildsensorsystems
bezüglich
der geometrischen Fahrachse des Kraftfahrzeuges bestimmt und daraus die
Ausrichtung der Bildsensorsysteme zueinander ermittelt oder die
Bestimmung der gegenseitigen Zuordnung der Bildsensorsysteme und
die Ausrichtung der Stereokamera bezüglich der geometrischen Fahrachse
des Kraftfahrzeuges erfolgt gemeinsam in einem Auswerteschritt.
-
Neben der Ausrichtung des wenigstens
einen Bildsensorsystems in Fahrrichtung des Kraftfahrzeuges nach
einem der vorhergehenden Ausführungsbeispiele
ist das Verfahren und die Vorrichtung zur Kalibrierung eines Bildsensorsystems
geeignet, das eine davon abweichende Ausrichtung aufweist. Insbesondere
ist die Kalibrierung von wenigstens einem Bildsensorsystem möglich. das
in die rückwärtige Fahrtrichtung
des Kraftfahrzeuges ausgerichtet ist. Außerdem ist das Verfahren und
die Vorrichtung zur Kalibrierung wenigstens eines Bildsensorsystems
geeignet. das sich auf und/oder an einem Kraftfahrzeug befindet.
-
In einer weiteren Variante des vorstehend beschriebenen
Verfahrens und der Vorrichtung nimmt das Kraftfahrzeug mehr als
zwei Positionen ein. Die geometrische Fahrachse wird aus Überbestimmungen
gemittelt. Aus den Fahrzeugbewegungskoordinaten ist insbesondere
eine Lenkbewegung während
der Messung erkennbar. Die Auswertung von Bildinformationen von
drei oder mehr Positionen ermöglicht
die Rekonstruktion der Fahrkurve bzw. der Kreisbahn der Bewegung
des Kraftfahrzeuges. Dabei wird unterschieden, ob eine Lenkbewegung
beispielsweise bei entsprechend großem Lenkradius bei der Auswertung
der Bildinformationen korrigierbar ist oder bei unsteten Lenkbewegungen
nicht korrigierbar ist und eine Wiederholungsmessung zu fordern
ist. Dabei werden insbesondere die Informationen eines Lenkwinkelsensors
und/oder eines Radsensors und/oder anderer Sensoren zur Korrektur oder
Entscheidung über
eine Wiederholungsmessung verwendet.
-
Für
die vorhergehenden Ausführungsbeispiele
wird die Genauigkeit des Verfahrens zur Kalibrierung wenigstens
eines Bildsensorsystems gesteigert, wenn das Bildsensorsystem in
wenigstens einer Position des Kraftfahrzeuges zum Kalibrierobjekt
wenigstens zwei Bilder aufnimmt. Dies wird dadurch erreicht, indem
die Messungen der im Bild identifizierten Bezugmerkmale und des
wenigstens einen Parameters der Kalibrierdaten. insbesondere der
Gierwinkel und/oder der Nickwinkel und/oder der Wankwinkel, des
Bildsensorsystems Bemittelt werden.
-
In einer weiteren Variante werden
wenigstens zwei Kalibrierobjekte zur Durchführung des Verfahrens zur Kalibrierung
wenigstens eines Bildsensorsystems nach einem der vorhergehenden
Ausführungsbeispiele
verwendet.