-
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs.
-
Die Erfindung betrifft weiterhin ein Verfahren zur Justierung einer Kamera.
-
In Fahrzeugen findet eine Vielzahl von Fahrerassistenzfunktionen Anwendung. Diese Funktionen basieren auf Umgebungsmerkmalen, welche von einer Vielzahl von Sensoren in einer Fahrzeugumgebung erfasst werden. Diese Sensoren sind beispielsweise Kamerasysteme im Bereich einer Frontscheibe und Seitenspiegeln eines Fahrzeugs, Ultraschallsensoren und Radarsysteme. Dabei ermöglichen mittels der Sensoren erfasste Daten eine dreidimensionale Rekonstruktion der Fahrzeugumgebung. Dies ermöglicht eine entsprechende Lokalisierung des Fahrzeugs in der Fahrzeugumgebung, um so zuvor eingespeicherte Trajektorien einzufahren. Auch ermöglichen die mittels der Sensoren erfassten Daten eine panoptische Klassifikation von Objekten im dreidimensionalen Raum, beispielsweise eine Klassifikation von ungeschützten Verkehrsteilnehmern, auch als Vulnerable Road Users bezeichnet, oder weiteren Fahrzeugen in der Fahrzeugumgebung. Damit derartige Informationen in Relation zu einem Fahrzeugursprung verarbeitet werden können, ist es erforderlich, eine Position des jeweiligen Sensors in Relation zum Fahrzeugursprung zu bestimmen. Hierzu werden eine Kalibrierung und Justierung des Sensors in einem Produktionsprozess des Fahrzeugs und online während eines Betriebs des Fahrzeugs durchgeführt. In einer Kalibrierung während eines Produktionsprozesses werden beispielsweise Schachbretttafeln als Kalibriermuster verwendet und Kamerasysteme werden anhand entsprechender Homographien kalibriert. Im Rahmen einer Onlinekalibrierung werden unterschiedliche Techniken verwendet. So kann beispielsweise eine orthogonale Anordnung der Fahrzeugumgebung genutzt werden, um eine Position eines Kamerasystems zu bestimmen. Ebenso ist es möglich, Objekte mit einer definierten standardisierten Größe, wie zum Beispiel Kennzeichen oder Verkehrsschilder, mit einer Kamera zu erfassen und dann anhand einer bekannten Dimension des jeweiligen Objekts auf eine räumliche Position der Kamera zu schließen. Auch ist bekannt, im Rahmen eines assistierten Einparkvorgangs eines Fahrzeugs eine Betrachtung von Merkmalen über mehrere Kameras im Niedriggeschwindigkeitsbereich durchzuführen. Dies ermöglicht, Objekte über einen längeren Zeitraum in Abhängigkeit einer Fahrzeuggeschwindigkeit über mehrere Erfassungsbereiche der jeweiligen Kameras zu tracken und über eine Ausrichtung zwischen den Erfassungsbereichen der Kameras deren Positionen zu optimieren.
-
Beispielsweise werden in einer merkmalsgestützten Onlinekalibrierung charakteristische Merkmale, wie zum Beispiel Ecken, am Boden über ein Surround View System mit Kameras in einem Front- und Heckbereich sowie in Seitenspiegeln eines Fahrzeugs extrahiert und über die Zeit getrackt. Sind die Kameras korrekt kalibriert, ist eine stufenlose Übertragung von mittels der Kameras erfassten Merkmalen von einem Erfassungsbereich einer Kamera auf einen Erfassungsbereich einer weiteren Kamera möglich. Sind die Kameras nicht korrekt kalibriert, entstehen bei einem solchen Übergang Sprünge. Über eine entsprechende Optimierung können über eine Richtung und einen Betrag eines solchen Sprungs Kameraparameter extrahiert werden.
-
Weiterhin wird in einer Kamerakalibrierung anhand standardisierter Objekte, deren Ausdehnung im dreidimensionalen Raum bekannt ist, eine jeweilige Kameraposition optimiert, indem eine entsprechende Rückprojektion in den dreidimensionalen Raum durchgeführt wird. Derartige Objekte sind beispielsweise durch Normung in einer Straßenverkehrsordnung bekannt und umfassen Verkehrsschilder, wie zum Beispiel Verbotsschilder, Symbole auf Parkplätzen, etc.
-
Aus der
DE 10 2019 002 487 A1 ist ein Verfahren zur Überprüfung eines Umfelderfassungssensors eines Fahrzeugs bekannt, wobei das Fahrzeug in einer digitalen Karte lokalisiert wird. In der digitalen Karte werden Merkmale von hinterlegten stationären Objekten einer Umgebung des Fahrzeugs identifiziert, von denen erwartet wird, dass sie vom Umfelderfassungssensor erkannt werden. Dabei wird die digitale Karte für einen vorgegebenen Vorausschauhorizont von einer fahrzeugexternen zentralen Speichereinheit abgerufen. Die Umgebung des Fahrzeugs wird mit dem Umfelderfassungssensor erfasst und es wird auf eine Degradation des Umfelderfassungssensors geschlossen, wenn die erwartungsgemäß zu erkennenden Merkmale nicht vom Umfelderfassungssensor erkannt werden oder wenn vom Umfelderfassungssensor tatsächlich erkannte Merkmale von den erwartungsgemäß zu erkennenden Merkmalen stark abweichen.
-
Weiterhin ist aus „Jingwei Cao, Chuanxue Lied, Shixin Lied, Feng Xiao und Silun Peng: Lane Detection Algorithm for Intelligent Vehicles in Complex Road Conditions and Dynamic Environments; In: Sensors 2019, 19(14), 3166; https://doi.org/10.3390/s19143166, Received: 4 July 2019 / Revised: 15 July 2019 / Accepted: 16 July 2019 / Published: 18 July 2019“ ein Verfahren zum Kalibrieren einer an einem Fahrzeug angeordneten Kamera bekannt. Hierbei wird ein geometrisches Modell zwischen Weltkoordinaten und Bildkoordinaten erstellt und die Kalibrierung wird durch Erhalten von kameracharakteristischen Parametern durchgeführt, um eine Umwandlung einer Bildverzerrung zu realisieren.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs und ein neuartiges Verfahren zur Justierung einer Kamera anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Kalibrierung einer Kamera, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren zur Justierung einer Kamera, welches die im Anspruch 9 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem erfindungsgemäßen Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs wird eine Position des Fahrzeugs ermittelt und für die ermittelte Position wird ein digitales Oberflächenmodell in einem dreidimensionalen Raum eines vorgegebenen dreidimensionalen Koordinatensystems bereitgestellt. Mittels der zu kalibrierenden Kamera wird an der Position des Fahrzeugs ein Kamerabild einer aktuellen Fahrzeugumgebung erfasst, wobei aus dem Kamerabild Objekte und/oder Merkmale extrahiert werden. Die extrahierten Objekte und/oder Merkmale werden in den dreidimensionalen Raum des vorgegebenen dreidimensionalen Koordinatensystems projiziert und es werden Schnittpunkte zwischen den in den dreidimensionalen Raum projizierten Objekten und/oder Merkmalen mit aus dem digitalen Oberflächenmodell stammenden korrespondierenden Objekten und/oder Merkmalen ermittelt. Die ermittelten Schnittpunkte werden in einen zweidimensionalen Raum der Kamera überführt, wobei eine Ähnlichkeit zwischen den Schnittpunkten und dem ursprünglichen Kamerabild ermittelt wird und die Ähnlichkeit als Maß für die Kalibrierung verwendet wird.
-
Unter dem ursprünglichen Kamerabild wird dabei insbesondere das Kamerabild der aktuellen Fahrzeugumgebung verstanden, welches mittels der zu kalibrierenden Kamera an der Position des Fahrzeugs erfasst wurde.
-
Das vorliegende Verfahren ermöglicht aufgrund der Verwendung des digitalen Oberflächenmodells, auch als Digital Surface Model bezeichnet, eine Online-Kamerakalibrierung jeweils für eine Kameramodalität, ohne dass definierte Merkmale, beispielsweise standardisierte Objekte und/oder Merkmale wie Verkehrszeichen, bekannt sein müssen und eine Abbildung der Objekte und/oder Merkmale in mehreren Kamerasystemen präsent sein muss. Dabei ermöglicht das Verfahren eine Online-Kalibrierung von Kamerasystemen ohne die Voraussetzung einer Kombination mehrerer Sensormodalitäten. Das Verfahren baut insbesondere auf einer global verfügbaren Datenbasis hinsichtlich des digitalen Oberflächenmodells auf und zeichnet sich dadurch aus, dass keine absoluten Abhängigkeiten von vorherrschenden Wetterverhältnissen und vorherrschenden Lichtbedingungen vorausgesetzt sind. Dabei kann das Verfahren sowohl während eines Fahrbetriebs des Fahrzeugs als auch im Rahmen von assistierten Einparkvorgängen angewandt werden.
-
In einer möglichen Ausgestaltung des Verfahrens werden in iterativen Schritten die Schnittpunkte für modifizierte Ist-Kalibrierparameter der Kamera neu ermittelt, bis Ist-Kalibrierparameter ermittelt werden, für welche sich eine größere Ähnlichkeit zwischen dem ursprünglichen Kamerabild und den in den zweidimensionalen Raum der Kamera überführten Schnittpunkten ergibt. Dies ermöglicht eine besonders genaue und zuverlässige Kalibrierung der Kamera.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird basierend auf den ermittelten Schnittpunkten ein zweidimensionales Bild mit Tiefeninformationen erzeugt und die Ähnlichkeit zwischen den Schnittpunkten und dem ursprünglichen Kamerabild wird durch einen Vergleich des zweidimensionalen Bilds mit dem ursprünglichen Kamerabild ermittelt. Das zweidimensionale Bild mit Tiefeninformationen, auch als Range-Image bezeichnet, ermöglicht in besonders vorteilhafter Weise eine Projektion von dreidimensionalen Informationen, beispielsweise einer dreidimensionalen Punktewolke, auf eine zweidimensionale Ebene und somit einen Vergleich der Schnittpunkte mit dem ursprünglichen Kamerabild.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird als dreidimensionales Koordinatensystem ein Weltkoordinatensystem vorgegeben. Das Weltkoordinatensystem ermöglicht dabei als Ursprungskoordinatensystem eine Referenzierung von mit diesem verknüpften relativen Koordinatensystemen.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens werden die Schnittpunkte auf eine Silhouette der Objekte und/oder Merkmale beschränkt. Somit kann eine zu verarbeitende Datenmenge reduziert werden.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird die Ermittlung der Ähnlichkeit anhand eines Index struktureller Ähnlichkeit und/oder anhand eines Index merkmalsbezogener Ähnlichkeit durchgeführt. Beide Indexe ermöglichen eine besonders zuverlässige Ermittlung der Ähnlichkeit und sind einfach in das Verfahren integrierbar.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens werden als Kalibrierparameter der Kamera ein Translation und/oder Rotation entsprechend einem vorgegebenen Bezugspunkt, insbesondere einem Fahrzeugursprung, verwendet.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens werden als Merkmale Fahrbahnmarkierungen verwendet. Fahrbahnmarkierungen sind häufig in einer Fahrzeugumgebung zu finden und ermöglichen aufgrund ihrer Form in einfacher Weise die Ermittlung von Abweichungen einer Ausrichtung der Kamera von einer Sollausrichtung. Weiterhin eignen sich diese besonders, um Schnittpunkte zwischen den in den dreidimensionalen Raum projizierten Merkmalen mit aus dem digitalen Oberflächenmodell stammenden korrespondierenden Merkmalen zu ermitteln. Dabei lassen sich Fahrbahnmarkierungen besonders einfach und zuverlässig erfassen, beispielsweise durch eine Kantendetektion.
-
In dem erfindungsgemäßen Verfahren zur Justierung einer Kamera wird die Kamera in dem zuvor beschriebenen Verfahren kalibriert und Ist-Kalibrierparameter der Kamera werden auf Basis einer Kostenfunktion derart angepasst, dass die Ähnlichkeit zwischen den Schnittpunkten und dem ursprünglichen Kamerabild maximiert wird. Dies ermöglicht eine besonders zuverlässige und einfach durchführbare Online-Justierung der Kamera mit den bereits genannten Vorteilen der durchgeführten Online-Kalibrierung.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigen:
- 1 schematisch einen Ablauf eines Verfahrens zur Kalibrierung und Justierung einer Kamera eines Fahrzeugs mit mehreren Verfahrensschritten,
- 2 schematisch eine Visualisierung eines ersten Verfahrensschritts des Verfahrens gemäß 1,
- 3 schematisch eine Visualisierung eines zweiten Verfahrensschritts des Verfahrens gemäß 1,
- 4 schematisch eine Visualisierung eines dritten Verfahrensschritts des Verfahrens gemäß 1,
- 5 schematisch eine Visualisierung eines vierten Verfahrensschritts des Verfahrens gemäß 1,
- 6 schematisch eine Visualisierung eines fünften Verfahrensschritts des Verfahrens gemäß 1,
- 7 schematisch eine Visualisierung eines sechsten Verfahrensschritts des Verfahrens gemäß 1,
- 8 schematisch eine Visualisierung eines siebten Verfahrensschritts des Verfahrens gemäß 1,
- 9 schematisch eine Visualisierung eines achten Verfahrensschritts des Verfahrens gemäß 1 und
- 10 schematisch eine Visualisierung eines neunten Verfahrensschritts des Verfahrens gemäß 1.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur Kalibrierung und Justierung einer in 2 näher dargestellten Kamera 1 eines Fahrzeugs 2 mit mehreren Verfahrensschritten VS1 bis VS9 dargestellt. In den 2 bis 10 sind jeweils Visualisierungen der Verfahrensschritte VS1 bis VS9 dargestellt.
-
Mittels des Verfahrens wird insbesondere eine extrinsische Kalibrierung der Kamera 1 durchgeführt, wobei eine Translation (x, y, z) und eine Rotation um eine Rollachse, Nickachse und Gierachse des Fahrzeugs 2 entsprechend einem Fahrzeugursprung, beispielsweise einem Mittelpunkt einer Fahrzeughinterachse, bestimmt werden. Dabei ist eine Kopplung mit einem digitalen Oberflächenmodell vorgesehen.
-
Ein solches digitales Oberflächenmodell, auch als Digital Surface Model bezeichnet, erfasst eine Oberfläche, einschließlich natürlicher und vom Menschen geschaffener Strukturen, wie beispielsweise Vegetation und Gebäude. Es veranschaulicht reflektierende Oberflächen aller Merkmale, die sich über der Erdoberfläche erheben. Das heißt, digitale Oberflächenmodelle repräsentieren die Erdoberfläche und alle Objekte darauf. Digitale Oberflächenmodelle können dabei luft- oder satellitengestützt eingemessen werden. Im Rahmen einer luftgestützten Einmessung werden beispielsweise an Luftfahrzeugen angeordnete Lidarsensoren oder Stereokamerasysteme verwendet, um die Erdoberfläche und darauf befindliche Objekte zu erfassen. Auch ist eine Modellierung mit Radarsystemen, beispielsweise so genannten Synthetic-Aperture-Radaren, möglich. Im Rahmen der satellitengestützten Einmessung erfolgt diese auf Basis satellitengestützter Aufnahmen. Verfügbare digitale Oberflächenmodelle sind beispielsweise SRTM, JAXAs Global ALOS und ASTER Global Model.
-
In einem ersten Verfahrensschritt VS1, veranschaulicht in 2, erfolgen eine intrinsische und extrinsische Initialkalibrierung der Kamera 1 während einer Produktion des Fahrzeugs 2. Diese Kalibrierung erfolgt beispielsweise unter Verwendung von mittels weiteren zur Umgebungserfassung ausgebildeten Sensoren 3 bis 7 erfassten Daten. Die Sensoren 3 bis 7 umfassen beispielsweise Radarsensoren, Ultraschallsensoren, weitere Kameras und/oder Lidarsensoren.
-
In einem zweiten Verfahrensschritt VS2, veranschaulicht in 3, erfolgt eine Bestimmung einer Position des Fahrzeugs 2 in einem dreidimensionalen Koordinatensystem KS, beispielsweise einem Weltkoordinatensystem, zum Beispiel dem so genannten WGS-84, anhand von Daten eines globalen Positionierungssystems und/oder Daten zumindest einer intertialen Messeinheit des Fahrzeugs 2. Das dreidimensionale Koordinatensystem KS weist ein Zentrum Z als Bezugspunkt auf.
-
In einem dritten Verfahrensschritt VS3, veranschaulicht in 4, wird für die ermittelte Position des Fahrzeugs 2 ein digitales Oberflächenmodell in einem in 6 näher dargestellten dreidimensionalen Raum R des vorgegebenen dreidimensionalen Koordinatensystems KS bereitgestellt, wobei Ausschnitte A1 bis A4 des digitalen Oberflächenmodells bezogen auf die Position des Fahrzeugs 2 aus einer beispielsweise externen Quelle heruntergeladen werden. Dabei ist die Position des Fahrzeugs 2 in Relation zu dem digitalen Oberflächenmodell bekannt.
-
In einem vierten Verfahrensschritt VS4, veranschaulicht in 5, werden darauf aufbauend nun für die zu kalibrierende Kamera 1 Kamerabilder B akquiriert. Das heißt, mittels der zu kalibrierenden Kamera 1 wird an der Position des Fahrzeugs 2 zumindest ein Kamerabild B, im Folgenden auch als ursprüngliches Kamerabild B bezeichnet, einer aktuellen Fahrzeugumgebung erfasst.
-
Weiterhin werden aus dem Kamerabild B Objekte und/oder Merkmale M1 bis Mn bzw. Muster extrahiert. Im dargestellten Kamerabild B sind die Merkmale M1 bis Mn beispielsweise Fahrbahnmarkierungen. Eine Detektion der Fahrbahnmarkierungen kann insbesondere mittels Fahrspurdetektionsalgorithmen, die beispielsweise bereits Bestandteil des Fahrzeugs 2 sind, ausgeführt werden. Ein solcher Fahrspurdetektionsalgorithmus ist beispielsweise in „Jingwei Cao, Chuanxue Lied, Shixin Lied, Feng Xiao und Silun Peng: Lane Detection Algorithm for Intelligent Vehicles in Complex Road Conditions and Dynamic Environments; In: Sensors 2019, 19(14), 3166; https://doi.org/10.3390/s19143166, Received: 4 July 2019 / Revised: 15 July 2019 / Accepted: 16 July 2019 / Published: 18 July 2019“ beschrieben. Es können jedoch alternativ oder zusätzlich auch andere Merkmale M1 bis Mn bzw. Muster und/oder Objekte extrahiert werden.
-
In einem fünften Verfahrensschritt VS5, dargestellt in 6, wird ausgehend vom dreidimensionalen Koordinatensystem KS eine Rückprojektion der extrahierten Objekte und/oder Merkmale M1 bis Mn in den dreidimensionalen Raum R des vorgegebenen dreidimensionalen Koordinatensystems KS über einen durch die intrinsische Kalibrierung der Kamera 1 ermittelten Brennpunkt BP durchgeführt. Die Rückprojektion wird dabei auf die zuvor extrahierten Merkmale M1 bis Mn bzw. Muster und/oder Objekte beschränkt.
-
Das Ergebnis dieser Rückprojektion ist ein kamerabasiertes Oberflächenmodell der aktuellen Fahrzeugumgebung im dreidimensionalen Raum R des vorgegebenen dreidimensionalen Koordinatensystems KS. Eine Lage und Ausrichtung des kamerabasierten Oberflächenmodells in dem dreidimensionalen Raum R ist dabei abhängig von Kalibrierparametern der Kamera 1.
-
In einem sechsten Verfahrensschritt VS6, dargestellt in 7, werden Schnittpunkte S1 bis Sm zwischen den in den dreidimensionalen Raum R projizierten Objekten und/oder Merkmalen M1 bis Mn mit aus dem digitalen Oberflächenmodell stammenden korrespondierenden Objekten und/oder Merkmalen M1 bis Mn ermittelt. Das heißt, es werden das im vorherigen Verfahrensschritt VS5 erzeugte kamerabasierte Oberflächenmodell und das digitale Oberflächenmodell in ihrem gemeinsamen dreidimensionalen Raum R überlagert und es werden Schnittpunkte S1 bis Sm ermittelt, an denen sich Flächen der beiden Oberflächenmodelle schneiden.
-
Hierdurch wird ein Array von Schnittpunkten S1 bis Sm im dreidimensionalen Raum R gebildet. Die Schnittpunkte S1 bis Sm können beispielsweise auf eine Silhouette des jeweiligen Objekts oder Merkmals M1 bis Mn beschränkt werden.
-
In einem siebten Verfahrensschritt VS7, dargestellt in 8, werden die in dem dreidimensionalen Raum R ermittelten Schnittpunkte S1 bis Sm in einen zweidimensionalen Raum R2 der Kamera 1 überführt. Das heißt, die dreidimensionale Silhouette bzw. Punktwolke wird in ein zweidimensionales Bild B2 mit Tiefeninformationen projiziert. Ein solches zweidimensionales Bild wird auch als Range-Image bezeichnet und ermöglicht eine Projektion von dreidimensionalen Informationen, beispielsweise einer dreidimensionalen Punktewolke, auf eine zweidimensionale Ebene.
-
In einem achten Verfahrensschritt VS8, dargestellt in 9, wird das ursprüngliche Bild B der Kamera 1 mit dem zweidimensionalen Bild B2 mit Tiefeninformationen (Range-Image) verglichen. Dabei wird eine Ähnlichkeit zwischen dem ursprünglichen Bild B und dem Range-Image ermittelt, wobei die Ermittlung beispielsweise anhand eines Index struktureller Ähnlichkeit und/oder anhand eines Index merkmalsbezogener Ähnlichkeit durchgeführt wird. Dabei wird ein Maß der Ähnlichkeit zwischen dem Range-Image und dem ursprünglichen Kamerabild B als Maß für die Kalibrierung verwendet.
-
Dabei werden, wie anhand der unterschiedlichen Range-Images dargestellt, in iterativen Schritten die Schnittpunkte S1 bis Sm für modifizierte Ist-Kalibrierparameter der Kamera 1 neu ermittelt, bis Ist-Kalibrierparameter ermittelt werden, für welche sich eine größere Ähnlichkeit zwischen dem ursprünglichen Kamerabild B und den in den zweidimensionalen Raum R2 der Kamera 1 überführten Schnittpunkten S1 bis Sm, das heißt dem Range-Image, ergibt.
-
Hierzu wird in einem neunten Verfahrensschritt VS9, dargestellt in 10, eine extrinsische Position der Kamera 1, das heißt die Translation und/oder Rotation, und somit ein Erfassungsbereich E der Kamera 1 variiert und die Verfahrensschritte VS5 bis VS8 wiederholt, bis die Ähnlichkeit maximiert ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019002487 A1 [0006]
