DE102006044615A1 - Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen - Google Patents

Abstract

Es sind bereits Kamerakalibrierverfahren bekannt, wobei in aufwändiger Weise speziell ausgeführte Kalibrierkörper, deren Geometrie genau bekannt ist, eingesetzt werden. Dabei stellen die Kalibrierkörper aufgrund ihrer bekannten Geometrie ein Messnormal für die Kalibrierung dar. Es wird ein Verfahren zur Kalibrierung von Bilderfassungseinrichtungen bei Fahrzeugen bereitgestellt. Dabei findet eine Erfassung von Bildinformation aus der Fahrzeugumgebung mittels einer Bilderfassungseinrichtung statt, womit mehrere in der Umgebung des Fahrzeugs befindliche Objekte lokalisiert werden. Anhand lokalisierter Objekte wird die Lage der wenigstens einen Bilderfassungseinrichtung in Bezug auf das Fahrzeug und/oder wenigstens eine weitere dem Fahrzeug zugeordnete Bilderfassungseinrichtung bestimmt, wobei die geometrische Beziehung der in den Bildinformationen lokalisierten Objekte zueinander ausgewertet wird. Hierdurch wird eine einfache und zuverlässige Kalibrierung möglich.

Description

• Die Erfindung betrifft ein Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen.
• Moderne Fahrzeuge umfassen Kameras zur Erfassung von Umgebungsinformationen, welche mittels einer Rechnereinheit ausgewertet werden, um den Fahrer bei seiner Fahrtätigkeit zu unterstützen. Beispielsweise werden Kameras in Verbindung mit Fahrerassistenzsystemen zur Kollisionsvermeidung, bei Stop-and-Go-Assistenten oder bei Nachtsichtsystemen eingesetzt. Im Rahmen einer zuverlässigen Auswertung ist dabei die Kenntnis der genauen räumlichen Lage der jeweiligen Kamera zum Fahrzeug oder beim Einsatz mehrerer Kameras deren genaue räumliche Lage zueinander erforderlich. Aufgrund von konstruktions- und/oder montagebedingten Toleranzen beim Kameraeinbau muss daher eine Kamerakalibrierung durchgeführt werden, wobei die Position und/oder Orientierung der jeweiligen Kamera(s) möglichst genau bestimmt werden. Bei den aus dem Stand der Technik bekannten Kamerakalibrierverfahren werden zu diesem Zweck meist speziell ausgeführte Kalibrierkörper, deren Geometrie genau bekannt ist und welche in Bildaufnahmen eine gute Erkennbarkeit erlauben, herangezogen. Dabei stellen die Kalibrierkörper aufgrund ihrer bekannten Geometrie ein Messnormal für die Kalibrierung dar. Je nach Art der verwendeten Kamera und der Größe des Kalibrierkörpers werden bei der Kamerakalibrierung ein oder mehrere Bildaufnahmen ausgewertet. Die Auswahl der zur Kalibrierung von Kameras im Fahrzeug verwendeten Kalibrierungsverfahren hängt dabei auch wesentlich vom verwendeten Kameratyp ab. Für eine erfolgreiche Kalibrierung einer Kamera im Fahrzeug muss dabei der ungefähre Einbauort der Kamera bekannt sein. Die Kalibrierung erfolgt vorzugsweise automatisch, ohne spezielle Hilfsmittel und ohne spezielle Fachkenntnisse über die Kamerakalibrierung.
• In der DE 102004062275 A1 werden ein Verfahren und eine Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera gezeigt. Bei der Ermittlung eines Kalibrierparameters wird dabei die Relativbewegung der Stereokamera und eines weiteren Objekts zueinander analysiert. Die Stereokamera wird bei bekanntem Nick- und Wankwinkel automatisch sehr genau kalibriert, wobei auch eine on-the-fly Kalibrierung des Stereokamerasystems während der Fahrt mit einem Fahrzeug, in welches die Stereokamera integriert ist, möglich ist.
• DE 102005000650 A1 beschreibt eine Vorrichtung zur Erfassung visueller Daten in einem Kraftfahrzeug. Hierbei ist eine Kamera mit dazugehöriger Optik im Innenrückspiegel des Kraftfahrzeugs angeordnet. Für die Kamera ist neben einer mechanischen Kalibrierungsmöglichkeit auch eine softwaregesteuerte Kalibrierung vorgesehen. Bei der softwaregesteuerten Kalibrierung wird der optisch aktive Bereich in Abhängigkeit von einem Kalibriermuster auf dem Kamerachip ausgewählt. Als Kalibriermuster wird dabei ein an der Wand befestigtes Poster vorgeschlagen. Daneben wird für die Kamerakalibrierung auch eine statisch ausgewertete Bildszene vorgeschlagen, insbesondere eine längere Fahrt auf einer Straße mit durchgehenden Linien oder regelmäßig wiederkehrenden Objekten sowie ein erkannter Fluchtpunkt und daraus abgeleitete Fluchttrajektorien der erkannten Linien oder Objekte.
• Der Erfindung liegt die Aufgabe zu Grunde, ein weiteres Verfahren zur Kalibrierung von Bilderfassungseinrichtungen bei Fahrzeugen bereitzustellen, womit eine einfache und zuverlässige Kalibrierung möglich ist.
• Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
• Gemäß der Erfindung wird ein Verfahren zur Kalibrierung von Bilderfassungseinrichtungen bei Fahrzeugen bereitgestellt. Im Rahmen des Verfahrens findet eine Erfassung von Bildinformation aus der Fahrzeugumgebung mittels wenigstens einer dem Fahrzeug zugeordneten Bilderfassungseinrichtung statt, wobei anhand der erfassten Bildinformation mehrere in der Umgebung des Fahrzeugs befindliche Objekte lokalisiert werden. Anhand der lokalisierten Objekte wird sodann die Lage der wenigstens einen Bilderfassungseinrichtung in Bezug auf das Fahrzeug und/oder wenigstens eine weitere dem Fahrzeug zugeordnete Bilderfassungseinrichtung bestimmt. In einer erfinderischen Weise werden dabei geometrische Beziehungen der in den Bildinformationen lokalisierten Objekte zueinander ausgewertet. Durch eine Auswertung der geometrischen Beziehungen lokalisierter Objekte zueinander wird eine einfache und zuverlässige Kalibrierung erst möglich. Hierbei ist lediglich die Lokalisierung der für die Kalibrierung heranzuziehenden Objekte innerhalb der Bilddaten erforderlich. Das Verfahren basiert dabei auf einer einfachen Verarbeitungsmethode, welche schnell ist und sich für Echtzeitanwendungen eignet, da hierbei neben den lokalisierten Objekten keine zusätzlichen Größen, wie z.B. Fluchtpunkte, Fluchttrajektorien oder andere geometrische Größen zur Beschreibung von Objektbeziehungen in aufwendiger Weise aus den Bilddaten abgeleitet werden müssen. Das erfindungsgemäße Verfahren zeichnet sich somit durch seinen geringen Verarbeitungsaufwand und seine Schnelligkeit, wobei die Kalibrierung mit einer hohen Genauigkeit durchgeführt wird.
• In einer besonders gewinnbringenden Weise der Erfindung werden Vorgabewerte bei der Auswertung der geometrischen Beziehungen lokalisierter Objekte berücksichtigt. Bei einem Vorgabewert handelt es sich hierbei insbesondere um einen Wert bzw. eine Größe oder einen Parameter, womit ein oder mehrere in der Umgebung eines Fahrzeugs üblicherweise vorkommende(s) Objekt(e) oder Objektbeziehungen beschrieben werden. Falls ein Objekt in der Fahrzeugumgebung erkannt wird, findet eine Zuordnung des erkannten Objekts mit einem dieser Art von Objekt zuzuordnenden Vorgabewert statt. Aufgrund der Kenntnis des Objekts und der Zuordnung zu einem Vorgabewert wird sodann in vorteilhafter Weise eine Kalibrierung der Bilderfassungseinrichtung durchgeführt, wobei im Rahmen der Kalibrierung neben der Lokalisierung des/der Objekt(e) keine weiteren Auswertungen anhand der Bildinformationen benötigt werden. Beispielsweise handelt es sich bei derartigen Objekten um Objekte, welche der Verkehrsinfrastruktur zuzuordnen sind (z.B. Verkehrsschilder, Leitpfosten, Laternenmasten, Bordsteine etc.) und welche eine genormte Größe aufweisen oder in bestimmten Abständen zueinander angeordnet sind. Neben Objekten der Verkehrsinfrastruktur können zu diesem Zweck darüber hinaus auch beliebige andere Objekte aus der Fahrzeugumgebung herangezogen werden.
• In einer weiteren gewinnbringenden Weise der Erfindung handelt es sich bei einem Vorgabewert um einen in einer Speichereinheit hinterlegten Wert. Dabei werden zu beliebigen Objekten, welche in der Fahrzeugumgebung vorkommen können, Vorgabewerte abgespeichert. Zu einem Objekt können auch mehrere Vorgabewerte abgespeichert sein. Beispiele für Vorgabewerte sind: Objekthöhe, -breite, -tiefe, -abstände, Oberflächenbeschaffenheit usw., welche die Objekte beschreiben. Dabei findet die Zuordnung von Vorgabewerten zu Objekten vorzugsweise automatisch statt. Sobald innerhalb der Bilddaten ein Objekt lokalisiert wird, findet auch eine eindeutige Objektidentifikation statt. Bei der Objektidentifikation kommen hauptsächlich Mustererkennungsalgorithmen und/oder Klassifikationsverfahren zum Einsatz. Aufgrund der Zuordnung von normierten Vorgabewerten zu Objekten, sind die exakten Objektgrößen oder Objektabstände bekannt und eine genaue Kalibrierung kann ohne weitere aufwendige Bildauswertungen durchgeführt werden.
• Auch besteht im Zusammenhang mit der Erfindung in einer vorteilhaften Weise die Möglichkeit, dass Vorgabewerte durch einen Benutzer eingegeben werden. Im Falle einer teilautomatischen Auswertung werden dem Fahrer in Bezug auf lokalisierte Objekte vom System Vorgabewerte zur Zuordnung vorgeschlagen. Bei den Vorgabewerten handelt es sich dabei einerseits um Objektvorschläge, wie z.B. Bordstein, Laternenmast usw. und andererseits um solche Vorgabewerte, welche das jeweilige Objekt in seinen Abmaßen und/oder Eigenschaften spezifiziert, wie z.B. die Straßenbreite als Abstand zwischen den Bordsteinen. Der Fahrer hat dabei die Möglichkeit die vom System vorgeschlagenen Vorgabewerte zu korrigieren und/oder zu bestätigen. Auch hat der Fahrer in diesem Zusammenhang die Möglichkeit selbst Vorgabewerte in das System einzugeben, welche sodann mittels des erfindungsgemäßen Verfahrens verarbeitet werden. Darüber hinaus ist es im Zusammenhang mit der Erfindung vorgesehen, dass die Kalibrierung vollautomatisch ohne Eingaben durch den Fahrer durchgeführt wird.
• Weiterhin ist es von Vorteil, falls es sich bei einem Vorgabewert um einen fahrzeugexternen Vorgabewert handelt. Fahrzeugexterne Vorgabewerte werden dabei mittels einer geeigneten Kommunikationsverbindung z.B. per Funk oder optisch in das Fahrzeug übermittelt. Eine Übermittlung von fahrzeugexternen Vorgabewerten ist beispielsweise dann von Vorteil, falls die Kalibrierung wiederholt am selben Ort ausgeführt wird, z.B. mit mehreren Fahrzeugen am Bandende einer Fahrzeugfertigungsstraße oder in der Werkstatt. Die Vorgabewerte sind in diesem Zusammenhang beispielsweise in einem Bedienrechner hinterlegt und werden mittels der Kommunikationsverbindung von Fahrzeug zu Fahrzeug übermittelt.
• Bei einem Vorgabewert kann es sich auch um eine metrische Größe handeln. Mittels der metrischen Größe wird beispielsweise die Objekthöhe, -breite, -tiefe oder der Abstand zwischen Objekten beschrieben. Aufgrund des Vorgabewerts ist die Objektgröße bekannt und durch zusätzliche Auswertung wenigstens einer Bildaufnahme, welche das Objekt enthält, kann in vorteilhafter Weise auf den Abstand zwischen dem Objekt und dem Fahrzeug geschlossen werden.
• Weiterhin handelt es sich bei einem Vorgabewert um einen Parameter, welcher Eigenschaften der Fahrzeugumgebung beschreibt. Mittels des Parameters werden hauptsächlich solche Eigenschaften angegeben, welche deren Aufbau näher beschreiben. Beispielsweise wird dabei angegeben, dass Bordsteine und Straßen parallel zueinander sind und Laternenmasten senkrecht dazu stehen und ebenfalls parallel zueinander sind. Diese Information wird sodann bei der Auswertung lokalisierter Objekte mit einbezogen.
• Besonders vorteilhaft ist es, falls bei der Auswertung geometrischer Beziehungen lokalisierter Objekte ein virtueller 3-dimensionaler Körper gebildet wird. Aufgrund der Information über erkannte Objekte und/oder objektbezogener Vorgabewerte bzw. Parameter ist eine besonders erfolgreiche Kalibrierung möglich, indem aus diesen Informationen ein virtueller 3-dimensionaler Körper mit bekannten bzw. genormten Abmessungen gebildet wird. Eine Referenzmessung mittels eines Kalibrierkörpers wird hierbei nicht benötigt. Beispielsweise wird ein virtueller 3-dimensionaler Körper aus Laternenmasten, Bordsteinen und dazugehörigen Vorgabewerten, wie z.B. der Straßenbreite, gebildet.
• Auch kann die Auswertung in vorteilhafter Weise über eine Sequenz erfasster Bilder erfolgen. Neben einer Auswertung einer statischen Bildszene ist es im Zusammenhang mit der Erfindung auch möglich, dass mehrere Bildaufnahmen zum Kalibrieren der Bilderfassungseinrichtung herangezogen werden. Hierbei werden zusätzlich Odometriedaten des Fahrzeugs berücksichtigt, um die zwischen zwei Bildaufnahmen zurückgelegte Wegstrecke zu ermitteln. Damit lässt sich sodann in einer vorteilhaften Weise das Kalibrierungsergebnis weiter verbessern.
• Bei der Auswertung werden ein oder mehrere Objekt(e) in jeweils unterschiedlichen Ansichten berücksichtigt. In Abhängigkeit der zu ermittelnden Kameraparameter bzw. der Parameter der Bilderfassungseinrichtung kann es erforderlich sein, dass der Kalibrierkörper, welcher im Rahmen dieser Erfindung durch die lokalisierten Objekte gebildet wird, in unterschiedlichen Orientierungen und/oder unterschiedlichen Positionen gesehen werden muss. Durch die Auswertung unterschiedlicher Ansichten wird in vorteilhafter Weise eine genaue Kalibrierung möglich. Üblicherweise wird dazu der Kalibrierkörper bewegt. In der vorliegenden Erfindung wird die Bewegung des Fahrzeugs vorzugsweise durch die beim Produktions- oder Wartungsprozess nötige Bewegung ausgenutzt, um diese unterschiedlichen Ansichten zu erhalten.
• Vorteilhaft ist es auch, falls bei der Auswertung die Eigenbewegung des Fahrzeugs und/oder der Bilderfassungseinrichtung berücksichtigt wird. Hierzu gehören beispielsweise auch Nick-, Gier- und Wankbewegungen des Fahrzeugs. So kann beispielsweise die Nickbewegung des Fahrzeugs beim Anhalten genutzt werden, um Aufnahmen einer Bildszene zu erhalten, welche um die Fahrzeugquerachse gedreht sind. Die mittels der Bilderfassungseinrichtung aufgezeichneten Bilder werden dabei beispielsweise von einem Steuergerät des Fahrzeugs oder einem Zusatzgerät, beispielsweise einem Werkstatt-Laptop ausgewertet.

Claims (11)

1. Verfahren zur Kalibrierung von Bilderfassungseinrichtungen bei Fahrzeugen, wobei eine Erfassung von Bildinformation aus der Fahrzeugumgebung mittels wenigstens einer dem Fahrzeug zugeordneten Bilderfassungseinrichtung stattfindet, wobei anhand der erfassten Bildinformation mehrere in der Umgebung des Fahrzeugs befindliche Objekte lokalisiert werden und wobei anhand der lokalisierten Objekte die Lage der wenigstens einen Bilderfassungseinrichtung in Bezug auf das Fahrzeug und/oder wenigstens eine weitere dem Fahrzeug zugeordnete Bilderfassungseinrichtung bestimmt wird, dadurch gekennzeichnet, dass geometrische Beziehungen der in den Bildinformationen lokalisierten Objekte zueinander ausgewertet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Vorgabewerte bei der Auswertung der geometrischen Beziehungen lokalisierter Objekte berücksichtigt werden.
3. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei einem Vorgabewert um einen in einer Speichereinheit hinterlegten Wert handelt.
4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass Vorgabewerte durch einen Benutzer eingegeben und/oder korrigiert werden.
5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei einem Vorgabewert um einen fahrzeugexternen Vorgabewert handelt.
6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei einem Vorgabewert um eine metrische Größe handelt.
7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei einem Vorgabewert um einen Parameter handelt, welcher Eigenschaften der Fahrzeugumgebung beschreibt.
8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Auswertung geometrischer Beziehungen lokalisierter Objekte ein virtueller 3-dimensionaler Körper gebildet wird.
9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswertung über eine Sequenz erfasster Bilder erfolgt.
10. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Auswertung ein oder mehrere Objekt(e) in jeweils unterschiedlichen Ansichten berücksichtigt werden.
11. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Auswertung die Eigenbewegung des Fahrzeugs und/oder der Bilderfassungseinrichtung berücksichtigt wird.