DE102016009327A1

DE102016009327A1 - Vorrichtung und Verfahren zur Kalibrierung einer Kamera

Info

Publication number: DE102016009327A1
Application number: DE102016009327.7A
Authority: DE
Inventors: Philipp Schindler; Markus Glaser
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-07-30
Filing date: 2016-07-30
Publication date: 2017-02-02

Abstract

Die Erfindung betrifft eine Vorrichtung (1) zur Kalibrierung einer Kamera (2) eines Fahrzeugs, wobei die Kamera (2) zur Erfassung von Bildern (B) einer Fahrzeugumgebung (U) ausgebildet ist. Erfindungsgemäß ist zumindest ein Lidarsensor (4) zur Aussendung eines definierten Musters (M) in die Fahrzeugumgebung (U) in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera (2) vorgesehen, ist die Kamera (2) ausgebildet, das ausgesendete Muster (M) zu erfassen, ist die Kamera (2) mit einer Auswerteeinheit (5) gekoppelt oder umfasst diese und ist die Auswerteeinheit (5) ausgebildet, zu dem in mittels der Kamera (2) erfassten Bildern (B) enthaltenen Muster (M) Entfernungswerte zu ermitteln und anhand der Entfernungswerte die Kalibrierung der Kamera (2) durchzuführen. Die Erfindung betrifft weiterhin Verwendungen einer solchen Vorrichtung (1) und ein Verfahren zur Kalibrierung einer Kamera (2) eines Fahrzeugs.

Description

Die Erfindung betrifft eine Vorrichtung zur Kalibrierung einer Kamera eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
Die Erfindung betrifft weiterhin ein Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 4.
Ferner betrifft die Erfindung Verwendungen einer Vorrichtung zur Kalibrierung einer Kamera eines Fahrzeugs.
Aus der DE 102 26 278 A1 sind ein Gerät und ein Verfahren als Rückfahrhilfe für Fahrzeuge bekannt. Das Gerät besteht aus einer rückwärts gerichteten Fernsehkamera, einer Beleuchtungseinheit im räumlichen Abstand zur Kamera zur Beleuchtung mit einem Lichtmuster und einer Auswerteeinheit, die eine aus dem Lichtmuster abgeleitete Entfernungs- und Positionsinformation aufbereitet und die Information über Hindernisse auf einem Monitor darstellt.
Weiterhin ist aus der DE 10 2008 011 699 A1 ein Verfahren zur Bestimmung einer Eigenschaft für einen Betrieb eines Kraftfahrzeugs bekannt, wobei ein Muster von einem Scheinwerfer des Kraftfahrzeugs auf einer Fahrbahn erzeugt wird, auf welcher das Kraftfahrzeug fährt. Eine Bilderfassungsvorrichtung des Kraftfahrzeugs erfasst ein Bild, in welchem das erzeugte Muster vorhanden ist, wobei die Eigenschaft aus dem in dem Bild erfassten Muster bestimmt wird. Anhand des erzeugten Musters erfolgt eine Kalibrierung des Scheinwerfers.
Die DE 10 2010 004 165 A1 beschreibt ein Verfahren zum Kalibrieren eines Sichtsystems eines Fahrzeugs, wobei ein Muster in die Nähe des Fahrzeugs projiziert wird und das Sichtsystem unter Verwendung eines Bildes des Musters, das von dem Sichtsystem erzeugt wird, kalibriert wird. Bei der Kalibrierung wird das Bild mit einem bekannten Referenzbild verglichen. Alternativ oder zusätzlich umfasst das Sichtsystem eine erste Kamera und eine zweite Kamera, wobei bei der Kalibrierung ein von der ersten Kamera erzeugtes erstes Bild des Musters und ein von der zweiten Kamera erzeugtes zweites Bild des Musters verarbeitet werden. Das erste und das zweite Bild werden miteinander verglichen.
Ferner beschreibt die DE 10 2010 049 216 A1 ein Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera, wobei mittels der Kamera ein Bild einer Umgebung des Fahrzeugs aufgenommen und mittels einer Bildauswertung des aufgenommenen Bilds ein Objekt in der Umgebung des Fahrzeugs detektiert wird. Mittels einer am Fahrzeug angeordneten Sensoreinheit wird das Objekt in der Umgebung des Fahrzeugs detektiert und es wird mittels eines Lidarsensors der Sensoreinheit eine Entfernung zu dem Objekt ermittelt. Auch mittels Bildauswertung des aufgenommenen Bilds wird eine Entfernung zu dem Objekt ermittelt und die Kamera wird kalibriert, wenn die mittels der Sensoreinheit ermittelte Entfernung von der mittels der Bildauswertung ermittelten Entfernung abweicht.
Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Vorrichtung und ein verbessertes Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs sowie Verwendungen einer solchen Vorrichtung anzugeben.
Die Aufgabe wird hinsichtlich der Vorrichtung erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale, hinsichtlich des Verfahrens durch die im Anspruch 4 angegebenen Merkmale und hinsichtlich der Verwendungen durch die in den Ansprüchen 6 und 7 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei der Vorrichtung zur Kalibrierung einer Kamera eines Fahrzeugs ist die Kamera zur Erfassung von Bildern einer Fahrzeugumgebung ausgebildet. Erfindungsgemäß ist zumindest ein Lidarsensor zur Aussendung eines definierten Musters in die Fahrzeugumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera vorgesehen, ist die Kamera ausgebildet, das ausgesendete Muster zu erfassen, ist die Kamera mit einer Auswerteeinheit gekoppelt oder umfasst diese und ist die Auswerteeinheit ausgebildet, zu dem in mittels der Kamera erfassten Bildern enthaltenen Muster Entfernungswerte zu ermitteln und anhand der Entfernungswerte die Kalibrierung der Kamera durchzuführen.
Die Vorrichtung ermöglicht in besonders vorteilhafter Weise eine Kalibrierung der Kamera während eines Betriebs des Fahrzeugs, d. h. eine so genannte Onlinekalibrierung. Somit kann in einfacher Weise eine Genauigkeit und Zuverlässigkeit der Kamera erhöht werden. Auch ermöglicht die Vorrichtung, in Verbindung mit einer Monokamera eine Ermittlung von Entfernungen zu in einer Umgebung eines Fahrzeugs befindlichen Objekten.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 schematisch ein Blockschaltbild einer Vorrichtung zur Kalibrierung einer Kamera.
In der einzigen 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung 1 zur Kalibrierung einer Kamera 2 dargestellt.
Die Kamera 2 ist zur Erfassung von Bildern B einer Fahrzeugumgebung U ausgebildet und mit zumindest einer Fahrerassistenzvorrichtung 3 gekoppelt, welche die Bilder B für ihren Betrieb verwendet. Mittels der Fahrerassistenzvorrichtung 3 wird beispielsweise die Fahrzeugumgebung U für einen Fahrer visualisiert. Alternativ oder zusätzlich werden die Bilder B beispielsweise für automatisierte Fahrfunktionen, wie z. B. einen Abstandregeltempomaten, ein Notbremssystem und einen autonomen oder teilautonomen Betrieb des Fahrzeugs, verwendet. Ein Funktionsumfang und eine Zuverlässigkeit der Fahrerassistenzvorrichtung 3 hängen dabei maßgeblich von der Kalibrierung der Kamera 2 ab. Beispielsweise erfordern autonome Fahrfunktionen mehrere Sensoren mit möglichst hoher Genauigkeit zur gegenseitigen Plausibilisierung, wobei einer der Sensoren die Kamera 2, insbesondere eine Stereokamera oder Monokamera, ist. Die Kalibrierung der Kamera 2 ermöglicht dabei eine gute Lokalisierung von Objekten in größeren Entfernungen zum Fahrzeug.
Zur Kalibrierung der Kamera 2 umfasst die Vorrichtung 1 einen Lidarsensor 4, welcher ein definiertes Muster M in die Fahrzeugumgebung U in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera 2 aussendet. Der Lidarsensor 4 umfasst beispielsweise mehrere, in einer so genannten Pixelstruktur angeordnete Lichtquellen, welche derart angesteuert werden können, dass das definierte Muster M, insbesondere ein Kalibrier- oder Referenzmuster, in die Fahrzeugumgebung U, insbesondere auf eine Fahrbahnoberfläche, projiziert wird. Eine Wellenlänge des ausgesendeten Lichts befindet sich beispielsweise in einem Nah-Infrarot-Bereich, welcher von der Kamera 2 erfassbar ist. Somit ist das ausgesendete Muster M von der Kamera 2 erfassbar.
In alternativen Ausführungsbeispielen ist auch eine Verwendung eines Lidarsensors 4 mit einer anderen Anordnung von Lichtquellen und/oder eine Verwendung anderer Sensoren, welche auf einem ähnlichen Prinzip basieren, möglich.
Die Vorrichtung 1 umfasst weiterhin eine mit der Kamera 2 gekoppelte oder in nicht näher dargestellter Weise in die Kamera 2 integrierte Auswerteeinheit 5, welcher die Bilder B mit dem Muster M zugeführt werden. Die Auswerteeinheit 5 ist ausgebildet, zu dem in mittels der Kamera 2 erfassten Bildern B enthaltenen Muster M Entfernungswerte zu ermitteln und anhand der Entfernungswerte die Kalibrierung der Kamera 2 durchzuführen.
Um eine hochgenaue Kalibrierung sicherzustellen, ist der Lidarsensor 4 selbstkalibrierend ausgebildet, wobei die Selbstkalibrierung insbesondere auf einer Objektverfolgung basiert. Somit kann eine hohe Präzision bei der Erzeugung des Musters M sichergestellt und eine Leistungsfähigkeit der Kamera 2 und der Fahrerassistenzvorrichtung 3 signifikant erhöht werden.
Bezugszeichenliste

1: Vorrichtung
2: Kamera
3: Fahrerassistenzvorrichtung
4: Lidarsensor
5: Auswerteeinheit
B: Bild
M: Muster
U: Fahrzeugumgebung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10226278 A1 [0004]
DE 102008011699 A1 [0005]
DE 102010004165 A1 [0006]
DE 102010049216 A1 [0007]

Claims

Vorrichtung (1) zur Kalibrierung einer Kamera (2) eines Fahrzeugs, wobei die Kamera (2) zur Erfassung von Bildern (B) einer Fahrzeugumgebung (U) ausgebildet ist, dadurch gekennzeichnet, dass – zumindest ein Lidarsensor (4) zur Aussendung eines definierten Musters (M) in die Fahrzeugumgebung (U) in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera (2) vorgesehen ist, – die Kamera (2) ausgebildet ist, das ausgesendete Muster (M) zu erfassen, – die Kamera (2) mit einer Auswerteeinheit (5) gekoppelt ist oder diese umfasst und – die Auswerteeinheit (5) ausgebildet ist, zu dem in mittels der Kamera (2) erfassten Bildern (B) enthaltenen Muster (M) Entfernungswerte zu ermitteln und anhand der Entfernungswerte die Kalibrierung der Kamera (2) durchzuführen.
Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass der zumindest eine Lidarsensor (4) selbstkalibrierend ausgebildet ist.
Vorrichtung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Selbstkalibrierung auf einer Objektverfolgung basiert.
Verfahren zur Kalibrierung einer Kamera (2) eines Fahrzeugs, wobei mittels der Kamera (2) Bilder (B) einer Fahrzeugumgebung (U) erfasst werden, dadurch gekennzeichnet, dass – mittels zumindest eines Lidarsensors (4) ein definiertes Muster (M) in die Fahrzeugumgebung (U) in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera (2) ausgesendet wird, – mittels der Kamera (2) das ausgesendete Muster (M) erfasst wird und – mittels einer mit der Kamera (2) gekoppelten oder in diese integrierte Auswerteeinheit (5) zu dem in mittels der Kamera (2) erfassten Bildern (B) enthaltenen Muster (M) Entfernungswerte ermittelt werden und anhand der Entfernungswerte die Kalibrierung der Kamera (2) durchgeführt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der zumindest eine Lidarsensor (4) eine Selbstkalibrierung mittels einer Objektverfolgung durchführt.
Verwendung einer Vorrichtung (1) nach einem der Ansprüche 1 bis 3 zur Kalibrierung einer Kamera (2) einer zum autonomen oder teilautonomen Fahrbetrieb eines Fahrzeugs ausgebildeten Fahrerassistenzvorrichtung (3).
Verwendung einer Vorrichtung (1) nach einem der Ansprüche 1 bis 3 zur Bestimmung von Entfernungen zu in einer Fahrzeugumgebung (U) befindlichen Objekten unter Verwendung einer als Monokamera ausgebildeten Kamera (2).