-
Die Erfindung betrifft eine Verfahren zum Kalibrieren einer Kameraeinrichtung eines Fahrzeugs, mit einem Erzeugen einer Referenz-Draufsicht auf eine Umgebung des Fahrzeugs aus Bilddaten einer Referenz-Kamera der Kameraeinrichtung und mit einem Erzeugen einer weiteren Draufsicht auf die Umgebung aus Bilddaten einer weiteren Kamera der Kameraeinrichtung, wobei die Bilddaten der weiteren Kamera in einem vorgegebenen zeitlichen Abstand nach den Bilddaten der Referenz-Kamera aufgenommen werden. Die Erfindung betrifft auch eine Kameraeinrichtung für ein Fahrzeug, mit einer Referenz-Kamera und einer weiteren Kamera zum Aufnehmen jeweiliger Bilddaten, und mit einer Recheneinheit, die ausgebildet ist, aus Bilddaten der Referenz-Kamera eine Referenz-Draufsicht auf eine Umgebung der Kamera zu erzeugen und aus Bilddaten der weiteren Kamera eine weitere Draufsicht auf die Umgebung der Kameraeinrichtung zu erzeugen, wobei die Bilddaten der weiteren Kamera in einem vorgebbaren zeitlichen Abstand nach den Bilddaten der Referenz-Kamera aufgenommen sind.
-
Vorliegend ist das Interesse auf Kalibrierungsverfahren, insbesondere auf extrinsische und zielobjektlose Selbstkalibrierungsverfahren, für Kameras eines Kraftfahrzeugs gerichtet. Die Kameras sind so ausgelegt, dass sie den dreidimensionalen Umgebungsbereich des Kraftfahrzeugs in einem zweidimensionalen Bild oder Abbild, beispielsweise einer Draufsicht, darstellen. Daher wird gewöhnlich ein Kameramodell bereitgestellt, um die 3D-Weltkoordinaten des Umgebungsbereichs auf 2D-Pixelkoordinaten des Bildes abzubilden. Das Kameramodell hängt gewöhnlich von intrinsischen Kameraparametern, wie der Brennweite, dem Bildsensorformat und dem Bildmittelpunkt, und extrinsischen Kameraparametern, wie der Orientierung und der Position der Kamera in Fahrzeughochrichtung, der Höhe der Kamera, die auch als (Position und Orientierung umfassende) Lage der Kamera bezeichnet werden, ab, wobei die extrinsischen Parameter im Allgemeinen durch Vorgabe festgelegt sind. Als weitere extrinsische Parameter spielen gerade bei der Verwendung mehrerer Kameras auch die jeweiligen Positionen der Kameras in einer Fahrzeuglängsrichtung und in einer Querrichtung eine Rolle, um beispielsweise aus den Bildern der unterschiedlichen Kameras eine kohärente Abbildung der Umgebung erhalten zu können.
-
Diese extrinsischen Parameter können die realen und aktuellen extrinsischen Parameter der Kamera nicht darstellen, beispielsweise aufgrund von mechanischen Toleranzen im Fahrzeugherstellungsprozess, aufgrund einer Airmatic-Aufhängung oder aufgrund von Beladungsänderungen im Fahrzeug wie z. B. der Anzahl von Fahrgästen oder des Gewichts in einem Kofferraum des Fahrzeugs. Gerade für eine Kamera, die nachträglich an dem Fahrzeug angebracht oder mit diesem gekoppelt wird, beispielsweise eine Kamera eines Anhängers des Fahrzeugs, ist auch die Position in Fahrzeuglängs- und Querrichtung im Allgemeinen unbekannt.
-
Diese fehlerhaften extrinsischen Parameter können eine negative Auswirkung auf den Wiedergabeprozess oder die Bildsynthese haben. Folglich ist es erforderlich, die Kamera zu kalibrieren, um zuverlässige Bilder zu erhalten, die zum Beispiel einem Fahrerassistenzsystem des Kraftfahrzeugs bereitgestellt werden können. Das Fahrerassistenzsystem kann dann beispielsweise Objekte oder Hindernisse für das Kraftfahrzeug im Umgebungsbereich des Kraftfahrzeugs mittels der Bilder zuverlässig erkennen.
-
Die meisten zielobjektlosen Online-Kalibrierungsverfahren für an Fahrzeugen montierte Kameras, die aus dem Stand der Technik bekannt sind, beruhen auf der Anwesenheit von Merkmalen, die auf einer Straßenoberfläche oder in der Umgebung über eine Sequenz von Abbildern oder Einzelbildern von einer oder mehreren fahrzeugseitigen Kameras verfolgt werden können. Typischerweise werden Linienmarkierungen als Merkmale und/oder in einer Sequenz von Einzelbildern Trajektorien der Merkmale verwendet. Die bekannten Verfahren erfordern gewöhnlich Wendemanöver des Fahrzeugs zusätzlich zu einer geraden Bewegung, um die vollständige Orientierung der Kamera in drei Freiheitsgraden (DOF) wiederzugewinnen, sowie die Odometrie des Fahrzeugs als zusätzliche Eingabe, um die Kalibrierung zu lösen.
-
Der Nachteil besteht darin, dass diese Verfahren nicht genügend Informationen für eine 6-DOF-Kalibrierung von Kameras, also für die drei rotatorischen und die drei translatorischen Freiheitsgrade, bereitstellen. Die bekannten Methoden zum Kalibrieren einer Kameraeinrichtung in einem Fahrzeug, welche basierend auf Draufsichten auf einer Umgebung, typischerweise Bodenansichten einer Straße, auf welcher das Fahrzeug sich bewegt, basieren, beziehen sich im Allgemeinen auf die vier extrinsischen Parameter oder Kalibrationsparameter der drei Rotationsachsen und der Fahrzeughochrichtung (Höhe).
-
Derartige Verfahren sind beispielsweise in der
US 2009 290 032 A1 , der
WO 2012/139 636 A1 und der
WO 12 139 660 A1 beschrieben. Derartige Ansätze sind für Kameras, welche an einem Kraftfahrzeug werkseitig installiert werden, ausreichend, da die Position jeweiliger Kameras der Kameraeinrichtung in der Fahrzeugquer- und Fahrzeuglängsrichtung genau aus Konstruktionszeichnungen, beispielsweise eine CAD-(Computer Aided Design) Zeichnungen, ermittelt werden können.
-
Es gibt jedoch auch Kameras, welche noch nicht werksmäßig an dem Fahrzeug installiert sind. Beispielsweise stoßen die bekannten Ansätze an ihre Grenzen, wenn eine Kamera der Kameraeinrichtung an einem Anhänger befestigt wird. Typischerweise werden derartige Kameras für einen Anhänger separat von dem Anhänger nach dessen Auslieferung gekauft und an diesem angebracht. Dabei haben Anhänger naturgemäß unterschiedliche Größen und Formen. Daher werden im Allgemeinen in einem Installationshandbuch genaue Anweisungen gegeben, in welcher Höhe und auf welcher seitlichen Position, also in welchem Abstand relativ zu einer zentralen Fahrzeug- oder Anhängerlängsachse die jeweiligen Kameras installiert werden sollen. In jedem Fall muss dabei eine Kamera an einem Heck des Anhängers installiert werden. Da Anhänger unterschiedliche Längen aufweisen muss die Kamera bezüglich ihres Abstands in der Fahrzeuglängsrichtung kalibriert werden, so dass die longitudinale Position, also der Abstand der Kamera von dem Zugfahrzeug und damit zumindest einer weiteren Kamera der Kameraeinrichtung, bekannt ist. Selbst genaue Anweisungen in einem Installationshandbuch reichen jedoch nicht aus, da die Kameras üblicherweise vom Endverbraucher installiert werden, wodurch sich große individuelle Schwankungen in den jeweiligen Positionen ergeben. Daher sind auch genaue CAD-Zeichnungen keine verlässliche Hilfe.
-
Es ergibt sich die Aufgabe, eine Kameraeinrichtung bezüglich einer Position einer Kamera der Kameraeinrichtung automatisiert zu kalibrieren, insbesondere für das Kalibrieren erforderliche Benutzereingaben auf das Allernötigste zu reduzieren.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und der Figur.
-
Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Kameraeinrichtung eines Fahrzeugs. Das Fahrzeug kann dabei ein Kraftfahrzeug oder ein Gespann mit einem Kraftfahrzeug als Zugfahrzeug und einem Anhänger oder ein Anhänger sein. Unter dem Kalibrieren der Kameraeinrichtung kann hier ein Kalibrieren zumindest einer Kamera der Kameraeinrichtung verstanden werden. Das Kalibrieren der Kamera wiederum kann als Kalibrieren der Position (und/oder der Orientierung) der Kamera verstanden werden, einem Bereitstellen einer Information über Position (und/oder Ausrichtung) der Kamera, welche es ermöglicht, von der Kamera aufgenommene Bilddaten gemeinsam mit den Bilddaten anderer kalibrierter Kameras in ein kameraeinrichtungsinternes globales Bezugssystem einzuordnen, um so zu einem konsistenten Gesamt-Bilddatensatz oder Gesamt-Ansicht aus den Bilddatensätzen oder Ansichten mehrerer Kameras gelangen zu können. Eine Ansicht kann hier beispielsweise eine Draufsicht sein.
-
Ein erster Verfahrensschritt ist dabei ein Erzeugen zumindest einer Referenz-Draufsicht („top view“) auf eine Umgebung des Fahrzeugs aus Bilddaten einer Referenz-Kamera der Kameraeinrichtung. Bei der Referenz-Kamera kann es sich dabei um eine bereits kalibrierte Kamera handeln, deren sechs extrinsische Parameter bereits bekannt und in der Kameraeinrichtung hinterlegt sind. Die Referenz-Kamera kann insbesondere an dem Zugfahrzeug des Gespanns angeordnet sein, wenn das Fahrzeug ein Gespann ist. Ein weiterer Verfahrensschritt ist ein Erzeugen zumindest einer weiteren Draufsicht auf die Umgebung aus Bilddaten einer weiteren Kamera der Kameraeinrichtung.
-
Vor dem Erzeugen der Draufsichten kann ein Kalibrieren oder eine Kalibration der anderen vier extrinsischen Parameter der Referenz-Kamera und/oder der weiteren Kamera erfolgen, also eine Höhenkorrektur (Kalibration in Bezug auf die Position der Kamera in Fahrzeughochachse) und eine Rotationskorrektur (Kalibration in Bezug auf die Orientierung der Kamer in den drei Rotationsachsen). Insbesondere kann auch eine Kalibration der Referenz-Kamera in den weiteren zwei extrinsischen Parametern erfolgen, also eine Längskorrektur (Kalibration in Bezug auf die Position der Kamera in Fahrzeuglängsachse) und eine Querkorrektur (Kalibration in Bezug auf die Position der Kamera in Fahrzeugquerachse). Das Kalibrieren kann beispielsweise durch die bekannte Bewegungsnachverfolgungskalibration (Motion Tracking Calibration, MTC) erfolgt sein. Die MTC-Methode basiert auf den Bewegungsvektoren, welche sich in einer Draufsicht, also aus einer Vogelperspektive auf eine Umgebung der Kamera beziehungsweise des Fahrzeugs berechnen lassen, um eine Rotations- und Höhenkorrektur für eine Kamera durchzuführen.
-
Falls das Fahrzeug ein Gespann ist, kann die weitere Kamera dabei insbesondere an einem Anhänger des Gespanns angeordnet sein. Dabei werden die Bilddaten der weiteren Kamera zumindest teilweise oder sämtlich in einem vorgegebenen zeitlichen Abstand, der größer/gleich Null ist, bevorzugt größer Null ist, nach den Bilddaten der Referenz-Kamera aufgenommen. Die Bilddaten der weiteren Kamera werden also bevorzugt mit einer zeitlichen Verzögerung aufgenommen. Dabei ist die Perspektive der beiden Kameras auf die Umgebung verschieden, insbesondere disjunkt. Damit werden bei einem gleichzeitigen Aufnehmen von Bilddaten durch die beiden Kameras jeweils bei einer disjunkten Perspektive ausschließlich Bereiche der Umgebung aufgenommen oder abgebildet, welche nicht von der jeweils anderen Kamera abgebildet werden. Bei lediglich verschiedenen, aber nicht disjunkt verschiedenen Perspektiven kann hier auch eine teilweise Überlappung vorliegen.
-
Wichtig ist hier ein räumliches Korrelieren der Referenz-Draufsicht und der weiteren Draufsicht anhand eines Bildvergleichs von Referenz-Draufsicht und weiterer Draufsicht durch eine Recheneinheit der Kameraeinrichtung. Unter einem räumlichen Korrelieren kann hier ein Finden übereinstimmender Bildteile in den unterschiedlichen Draufsichten verstanden werden, beispielsweise unter Berechnung einer Kreuzkorrelation. Ist der vorgegebene zeitliche Abstand größer Null, so werden nur Draufsichten, die auf zu unterschiedlichen Zeitpunkten aufgenommenen Bilddaten basieren, korreliert. Ein weiterer Verfahrensschritt ist dabei ein Berechnen eines Versatzes der weiteren Draufsicht relativ zu der Referenz-Draufsicht in einer Fahrzeuglängsrichtung und/oder einer Fahrzeugquerrichtung des Fahrzeugs, insbesondere des Anhängers, durch die Recheneinheit in Abhängigkeit eines Ergebnisses des Korrelierens. Schließlich erfolgt hier ein automatisches Kalibrieren der weiteren Kamera relativ zu der Referenz-Kamera anhand des berechneten Versatzes durch die Recheneinheit. Der berechnete Versatz kann so die Lage der Perspektive der weiteren Kamera relativ zu der Referenz-Kamera repräsentieren.
-
Das hat den Vorteil, dass nun durch einen Algorithmus automatisch alle sechs extrinsischen Parameter, die drei Rotationsfreiheitsgrade und die drei Translationsfreiheitsgrade, der weiteren Kamera, beispielsweise einer an einem Anhänger angebrachten Kamera kalibriert werden können. Das vorgeschlagene Verfahren für die zwei bisher nicht automatisch kalibrierbaren Translationsfreiheitsgrade kann hier problemlos mit dem bekannten Verfahren zum Kalibrieren der Höhe und der drei Rotationsfreiheitsgrade verwendet werden. Überdies ergibt sich hier aus der dank der Kalibration bekannten Position der weiteren Kamera an dem Anhänger relativ zu einer Referenz-Kamera an dem Zugfahrzeug wie weiter unten noch genauer ausgeführt, die Möglichkeit die Länge eines Anhängers zu berechnen. Diese Information kann dann weiteren Einrichtungen in dem Kraftfahrzeug beziehungsweise Zugfahrzeug bereitgestellt werden, beispielsweise einer Parkassistenzeinrichtung.
-
Der Erfindung liegt dabei die Erkenntnis zugrunde, dass der Effekt einer Abweichung einer Position einer Kamera in Fahrzeuglängsrichtung und/oder Fahrzeugquerrichtung sich nur minimal auf die Bewegungsvektoren auswirken, welche üblicherweise in den bekannten Methoden zur Kalibration, beispielsweise den Bewegungsverfolgungskalibrationen, genutzt werden, da ein Fehler in Fahrzeuglängsrichtung und/oder Fahrzeugquerrichtung nur zu einem Verschieben der Draufsicht führt. Daher wird ein Bewegungsvektor in aufeinanderfolgenden Einzelbildern, sogenannten Frames, durch die Verschiebung, den Versatz der Draufsicht nicht verändert.
-
Damit das räumliche Korrelieren einfacher durchzuführen ist, sollten die verwendeten Kameras in Höhe und Rotationsfreiheitsgraden vor dem Erzeugen der Draufsichten kalibriert sein. Sind die verwendeten Kameras in ihrer Höhe nicht kalibriert, insbesondere nicht aneinander angeglichen, sind die unterschiedlichen Draufsichten relativ zueinander unterschiedlich stark vergrößert, was das räumliche Korrelieren erschwert. Sind die Rotationsfreiheitsgrade nicht kalibriert, insbesondere aneinander angeglichen, so führt dies zu Verzerrungen in den jeweiligen Draufsichten, welche das räumliche Korrelieren nochmals erschweren.
-
In einer vorteilhaften Ausführungsform ist vorgesehen, dass mehrere Referenz-Draufsichten und/oder mehrere weitere Draufsichten erzeugt und zwischengespeichert werden und das Korrelieren der Draufsichten paarweise für die eine Referenz-Draufsicht und eine weitere Draufsicht durchgeführt wird. Dabei wird jeweils ein Paar von Draufsichten mit einem Qualitätskriterium bewertet wird und der Versatz in Abhängigkeit eines Ergebnisses des Korrelierens des Paars der Draufsichten mit dem besten Wert für das Qualitätskriterium berechnet. Es kann somit der Versatz basierend auf der Referenz-Draufsicht und der weiteren Draufsicht mit der höchsten Korrelation, also basierend auf den Draufsichten, die am besten zueinander passen, berechnet werden. Basierend auf den ausgewählten Draufsichten und dem jeweils diesen zugeordneten zeitlichen Abstand, kann sodann im Rahmen des Berechnens des Versatzes auch die Strecke berechnet werden, welche das Fahrzeug zwischen den beiden Draufsichten zurückgelegt hat. Werden so gleiche Bildteile oder Merkmale in den unterschiedlichen Draufsichten erkannt, so kann aus der Relativposition der Bildteile in der jeweiligen Draufsicht und der zurückgelegten Strecke der räumliche Abstand der Draufsichten und damit der Kameras berechnet werden.
-
Das hat den Vorteil, dass für eine erfolgreiche Kalibration keinerlei Annahmen über die Position der weiteren Kamera getroffen werden müssen, insbesondere kann eine Anhängerlänge unbekannt sein. Sind derartige Informationen dennoch vorhanden, so kann in der beschriebenen Ausführungsform die Genauigkeit des Verfahrens erhöht werden.
-
In einer weiteren vorteilhaften Ausführungsform werden die Verfahrensschritte des Erzeugens der Referenz-Draufsicht, des Erzeugens der weiteren Draufsicht, des räumlichen Korrelierens und des Berechnens des Versatzes wiederholt durchgeführt. Dabei können die genannten Verfahrensschritte wiederholt mit ein und derselben Referenz-Kamera durchgeführt werden, oder aber mit zumindest einer (also einer oder mehreren) weiteren Referenz-Kamera der Kameraeinrichtung. Beispielsweise können so als Referenz-Kameras mehrere Kameras des Zugfahrzeugs benutzt werden und als weitere Kamera jeweils eine Kamera, welche an dem Anhänger angeordnet ist. Selbstverständlich können so nacheinander auch mehrere Kameras des Anhängers kalibriert werden, wobei dann insbesondere auch eine kalibrierte Kamera des Anhängers als Referenz-Kamera verwendet werden kann. Das automatische Kalibrieren wird dabei anhand einer Vielzahl berechneter Versatze durchgeführt, insbesondere anhand eines aus den berechneten Versatzen gemittelten Versatzes.
-
Das hat den Vorteil, dass ein Rauschen, welches in einer dynamischen Umgebung wie sie bei einem sich bewegenden Fahrzeug gegeben ist auftritt, ausgefiltert werden kann. Auch können über die Verwendung unterschiedlicher Referenz-Kameras gegebenenfalls kamerabedingte Verfälschungen kompensiert werden und das Verfahren in Genauigkeit und Geschwindigkeit gesteigert werden.
-
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass der zeitliche Abstand in Abhängigkeit eines minimalen und/oder maximalen erwarteten Abstands der weiteren Kamera von der Referenz-Kamera, beispielsweise einer vorgebbaren Mindest- und/oder Maximal-Anhängerlänge, und einer Fahrgeschwindigkeit des Fahrzeugs vorgegeben wird. Insbesondere kann der zeitliche Abstand auch in Abhängigkeit einer Abtastrate für die Bilddaten vorgegeben werden. Der zeitliche Abstand kann insbesondere auch in Abhängigkeit von Odometriedaten des Fahrzeugs, bevorzugt des Zugfahrzeugs, vorgegeben werden.
-
Dies hat den Vorteil, dass die erzeugten Draufsichten bereits implizit vorausgewählt sind, so dass nach einem Erscheinen eines spezifischen Bildmerkmals in der Referenz-Draufsicht bereits bekannt ist, wann in etwa dieses Bildmerkmal in der weiteren Draufsicht erscheint. Anhand der Fahrgeschwindigkeit und/oder von Odometriedaten und/oder der Zeit, welches das spezifische Bildmerkmal, beispielsweise eine Straßenmarkierung auf der Straßenoberfläche benötigt, um nach der Referenz-Draufsicht in der weiteren Draufsicht zu erscheinen, kann die Recheneinheit die Position der weiteren Kamera relativ zu der Referenz-Kamera berechnen und somit die Position der weiteren Kamera und beispielsweise die Länge des Anhängers bestimmen.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass der Bildvergleich bereichsweise mit einem Bereichs-Abgleich-Algorithmus, einem sogenannten Block-Matching-Algorithmus, durchgeführt wird. Insbesondere kann dies mit Berechnung der Summe der absoluten Unterschiede und/oder der Berechnung der Summe der quadrierten absoluten Unterschiede in den jeweiligen Bereichen der Draufsichten erfolgen. Die Unterschiede können sich dabei beispielsweise auf Grauwerte von Pixeln oder sonstige Pixel-Eigenschaften der Draufsichten beziehen.
-
Das hat den Vorteil, dass übereinstimmende Bildbereiche besonders leicht identifiziert werden können, so dass das räumliche Korrelieren der Draufsichten besonders einfach und schnell durchgeführt werden kann.
-
In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass der Versatz in der Fahrzeug-Querrichtung als proportional zu einem Pixel-zu-Millimeter-Verhältnis (pixel to millimeters ratio) der weiteren Draufsicht berechnet wird. Das Pixel-zu-Millimeter-Verhältnis ist beispielsweise aus Höhe und Auflösung der jeweiligen Kamera berechenbar. Bevorzugt ist dabei das Pixel-zu-Millimeter-Verhältnis der weiteren Draufsicht identisch mit dem Pixel-zu-Millimeter-Verhältnis der Referenz-Draufsicht. So kann beispielsweise bei einem identischen Pixel-zu-Millimeter-Verhältnis der beiden Draufsichten und einem Korrelieren beispielsweise des fünften Pixels in Fahrzeugquerrichtung ausgehend von einer die Position der Referenz-Kamera bestimmenden Referenzpixel mit dem siebten Pixel in der weiteren Draufsicht, gezählt von einem die Position der weiteren Kamera repräsentierenden Referenzpixels, der Versatz aus der Differenz der beiden Pixel, also vorliegend zwei Pixel modifiziert mit dem Pixel-zu-Millimeter-Verhältnis berechnet werden. Damit erhält man den Versatz der weiteren Kamera in Fahrzeugquerrichtung relativ zu der Referenz-Kamera in einem absoluten Bezugssystem.
-
Der Versatz in der Fahrzeuglängsrichtung wird dabei als proportional zu einem Pixel-zu-Millimeter-Verhältnis der weiteren Draufsicht zuzüglich der im zeitlichen Abstand durch das Fahrzeug zurückgelegten Strecke berechnet. Beispielsweise ist die zurückgelegte Strecke aus über den CAN-Bus abrufbaren Informationen, wie der Fahrzeuggeschwindigkeit und dem zeitlichen Abstand ermittelbar. Bei mehreren Draufsichten wird hier der zeitliche Abstand für die für das Berechnen des Versatzes benutzten Draufsichten genutzt. So kann beispielsweise bei einem identischen Pixel-zu-Millimeter-Verhältnis der beiden Draufsichten und einem Korrelieren beispielsweise des fünften Pixels in Fahrzeuglängsrichtung ausgehend von einer die Position der Referenz-Kamera bestimmenden Referenzpixel mit dem siebten Pixel in der weiteren Draufsicht, gezählt von einem die Position der weiteren Kamera repräsentierenden Referenzpixels, der Versatz aus der Differenz der beiden Pixel, also vorliegend zwei Pixel modifiziert mit dem Pixel-zu-Millimeter-Verhältnis zuzüglich der zurückgelegten Strecke von beispielsweise 1500mm berechnet werden.
-
Das hat den Vorteil, dass der Versatz schnell, einfach und zuverlässig als Absolutwert berechnet werden kann. Dieser Absolutwert eignet sich besonders gut für die Kalibration der Kamera, da der Versatz so in einem globalen Bezugssystem berechnet ist.
-
In einer besonders bevorzugten Ausführungsform ist vorgesehen, dass das Fahrzeug einen Anhänger umfasst, insbesondere ein Gespann ist, und die weitere Kamera an dem Anhänger angeordnet ist. Insbesondere kann dabei die Referenz-Kamera an dem Zugfahrzeug des Gespanns angeordnet sein. Unter diesen Umständen ist das beschriebene Verfahren besonders vorteilhaft, da hier alternative Methoden zur Konfiguration der Kamera in Fahrzeuglängs- beziehungsweise Fahrzeugquerrichtung nicht bekannt sind.
-
Dabei kann vorgesehen sein, dass die Recheneinheit aus einer bekannten Position der Referenz-Kamera und einer nach dem Kalibrieren der weiteren Kamera bekannten Position der weiteren Kamera eine Information über eine Länge des Anhängers berechnet und diese Information bereitstellt.
-
Das hat den Vorteil, dass die Länge des Anhängers besonders genau, nämlich bis auf Millimeter, berechnet werden kann, so dass weitere Einrichtungen des Fahrzeugs, welche auf die bereitgestellte Information zurückgreifen, automatisch ohne Zutun eines Benutzers beispielsweise bei einem Rangieren im Rahmen einer Parkassistenz die korrekte Länge des Anhängers berücksichtigen können. Dabei ist vorteilhafter Weise keine zusätzliche Hardware erforderlich.
-
Die Erfindung betrifft auch eine Kameraeinrichtung für ein Fahrzeug, mit einer Referenz-Kamera und einer weiteren Kamera zum Aufnehmen jeweiliger Bilddaten, einer Recheneinheit, die ausgebildet ist, aus den Bilddaten der Referenz-Kamera eine Referenz-Draufsicht auf eine Umgebung der Kameraeinrichtung und damit bei bestimmungsgemäßem Gebrauch der Kameraeinrichtung auch auf eine Umgebung des Fahrzeugs zu erzeugen und aus den Bilddaten der weiteren Kamera eine weitere Draufsicht auf die Umgebung zu erzeugen, wobei die Bilddaten der weiteren Kamera in einem vorgebbaren zeitlichen Abstand nach den Bilddaten der Referenz-Kamera aufgenommen sind.
-
Wichtig ist hier, dass die Recheneinheit ausgebildet ist, die Referenz-Draufsicht und die weitere Draufsicht anhand eines Bildvergleichs von Referenz-Draufsicht und weiterer Draufsicht räumlich zu korrelieren, in Abhängigkeit eines Ergebnisses des Korrelierens einen Versatz der weiteren Draufsicht relativ zu der Referenz-Draufsicht zu berechnen und anhand des berechneten Versatzes die weitere Kamera relativ zu der Referenz-Kamera automatisch zu Kalibrieren. Bei bestimmungsgemäßen Gebrauch der Kameraeinrichtung ist der berechnete Versatz dabei ein Versatz in einer Fahrzeuglängsrichtung und/oder in einer Fahrzeugquerrichtung.
-
Vorteile und vorteilhafte Ausführungsformen der Kameraeinrichtungen entsprechend dabei Vorteilen und vorteilhaften Ausführungsformen des Verfahrens zum Kalibrieren der Kameraeinrichtung. Die Erfindung betrifft auch ein Fahrzeug mit einer Kamera mit einer solchen Kameraeinrichtung.
-
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand einer schematischen Zeichnung näher erläutert.
-
Dabei zeigt die einzige Fig. ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Kameraeinrichtung, anhand derer das Verfahren zum Kalibrieren beispielhaft erläutert wird
-
Ein Fahrzeug 1, welches vorliegend als Gespann mit einem Kraftfahrzeug 2 als Zugfahrzeug und einem Anhänger 3 ausgebildet ist, umfasst hier eine Kameraeinrichtung 4. Die Kameraeinrichtung 4 ist mit zumindest einer, vorliegend vier Referenz-Kameras 5a-5d ausgestattet, welche zum Aufnehmen jeweiliger Bilddaten geeignet sind. Aus den Bilddaten der jeweiligen Referenz-Kameras 5a-5d sind dabei durch eine Recheneinrichtung 6 jeweilige Referenz-Draufsichten 7a-7d auf eine Umgebung 10 des Fahrzeugs 1 erzeugbar. Die Kameraeinrichtung 4 weist auch eine weitere Kamera 8a zum Aufnehmen entsprechender Bilddaten auf. Die weitere Kamera 8a ist dabei vorliegend an einem Heck des Anhängers 3 angeordnet. Die Recheneinheit 6 ist dabei ausgebildet, auch aus den Bilddaten der zumindest einen weiteren Kamera 8a eine weitere Draufsicht 9a auf eine Umgebung 10 des Fahrzeugs 1 beziehungsweise der Kameraeinrichtung 4 zu erzeugen. Dabei sind die Bilddaten der weiteren Kamera 8a in einem vorgebbaren zeitlichen Abstand Δt nach den Bilddaten der Referenz-Kameras 5a-5d aufgenommen, der im gezeigten Beispiel größer Null ist.
-
Die Recheneinheit 6 ist ausgebildet, zumindest eine der Referenzdraufsichten 7a-7d und die weiteren Draufsicht 9a anhand eines Bildvergleichs der entsprechenden Referenzdraufsicht und der weiteren Draufsicht 9a räumlich zu korrelieren sowie in Abhängigkeit eines Ergebnisses des Korrelierens einen Versatz dx in Fahrzeuglängsrichtung x und/oder einen Versatz dy in einer Fahrzeugquerrichtung y zu berechnen und anhand des berechneten Versatzes dx, dy die weitere Kamera 8a relativ zu zumindest einer der Referenzkameras 5a-5d, beispielsweise zu der heckseitigen Referenz-Kamera 5c automatisch zu kalibrieren.
-
Als Referenz-Kamera 5a-5d kann hier also für das Kalibrieren beispielsweise die heckseitige Kamera 5c oder auch die frontseitige Kamera 7a oder eine der beiden Seitenkameras 5b, 5d genutzt werden. Es können auch mehrere oder sämtliche der Referenz-Kameras 5a bis 5d genutzt werden, um einen Fehler bei der Kalibration zu verringern. Im Folgenden soll nun eine beispielhafte Ausführungsform eines Verfahrens zum Kalibrieren der Kameraeinrichtung 4 anhand der heckseitigen Referenz-Kamera 5c als gewählte Referenz-Kamera 5a-5d beschrieben werden.
-
Es wird nun also zunächst die Referenz-Draufsicht 7c auf die Umgebung 10 des Fahrzeugs 1 aus den Bilddaten der Referenzkamera 5c erzeugt. Im gezeigten Beispiel ist in der Referenzdraufsicht, die aus Bilddaten, die zu einem Zeitpunkt t1 aufgenommen wurden, erzeugt ist, ein spezifisches Merkmal 11 repräsentiert, vorliegend ein Kreuz auf einem Boden der Umgebung 10. Da sich das Fahrzeug 1 mit einer von Null verschiedenen Geschwindigkeit v in der x-Richtung fortbewegt, ist dieses Merkmal 11 im gezeigten Beispiel zu einem späteren Zeitpunkt t2 = t1 + Δt als Merkmal 11' in der weiteren Draufsicht 9a aus dem zum Zeitpunkt t2 aufgenommenen Bilddaten repräsentiert.
-
Damit die weitere Draufsicht 9a hier die geeignete Draufsicht ist und tatsächlich das Merkmal 11' repräsentiert, kann beispielsweise der vorgegebene zeitliche Abstand Δt an die Fahrgeschwindigkeit v und einen minimalen oder maximalen erwarteten Abstand der weiteren Kamera 8a von der Referenzkamera 5c und/oder an eine Abtastrate für die Bilddaten angepasst sein und/oder mehrere Referenz-Draufsichten 7c beziehungsweise mehrere weitere Draufsichten 9a erzeugt werden, aus welchen das geeignete Paar aus Referenz-Draufsicht 7c und weiterer Draufsicht 9a ausgewählt wird. In diesem Fall werden die Draufsichten 7c, 9a paarweise korreliert und jedes Paar mit einem Qualitätskriterium bewertet, so dass ein Versatz dx, dy der weiteren Draufsicht 9a relativ zu der Referenz-Draufsicht 7c in Abhängigkeit des Korrelierens des Paars der Draufsichten mit dem besten Wert für das Qualitätskriterium berechnet wird. Wird nur die Referenz-Draufsicht 7c und die weitere Draufsicht 9a genutzt, so werden diese anhand eines Bildvergleiches durch die Recheneinheit 6 räumlich korreliert und dann in Abhängigkeit eines Ergebnisses dieses Korrelierens der Versatz dx, dy der weiteren Draufsicht 9a zu der Referenzdraufsicht 7c berechnet.
-
Beispielsweise kann der Versatz in der Fahrzeugquerrichtung y als proportional zu einem Pixel-zu-Millimeter-Verhältnis r der Draufsichten 7c und 9a berechnet werden: Beispielhaft ist dies in der Fig. dargestellt, in welcher dem Merkmal 11 beziehungsweise 11' ein Pixel i = 70 beziehungsweise i = 50, also jeweils ausgehend von einem Zentralpixel das siebte beziehungsweise fünfte Pixel zugeordnet ist. Der Versatz dy ergibt sich damit zu dy = (i-i') *r = 20*r.
-
Entsprechend wird der Versatz in der Fahrzeuglängsrichtung x als proportional zu dem Pixel-zu-Millimeter-Verhältnis r zuzüglich der im zeitlichen Abstand Δt der durch das Fahrzeug 1 zurückgelegten Strecke berechnet. Im gezeigten Beispiel wird hier wieder ein Pixel dem Merkmal 11 beziehungsweise 11' zugeordnet. Dieses Pixel j beziehungsweise j' ist vorliegend das fünfzigste beziehungsweise siebzigste Pixel in der x-Richtung. Entsprechend ist der Versatz dx im gezeigten Beispiel gegeben durch dx = v *Δt + (j-j') *r = v * Δt + 20 * r. Zu einer relativen Verschiebung des Merkmals 11 beziehungsweise 11' innerhalb der Draufsicht 7c beziehungsweise 9a kommt so die in dem zeitlichen Abstand Δt durch das Fahrzeug zurückgelegte Strecke.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2009290032 A1 [0007]
- WO 2012/139636 A1 [0007]
- WO 12139660 A1 [0007]
