-
Die Erfindung bezieht sich auf ein Verfahren, Steuergerät, Set und Computerprogrammprodukt zum Kalibrieren einer Kamera und ein Kalibrieren einer Fahrzeugkamera mit Nachtsichtfähigkeit.
-
Kamerakalibrierung ist aus dem Stand der Technik bekannt. Beispielsweise offenbart
DE 10 2016 008 689 A1 ein Sensorkalibriertarget und ein Verfahren zur Kalibrierung einer Sensoreinrichtung.
-
Bei den bekannten Methoden wird eine Kamera in einer Beleuchtungsszene kalibriert. Allerdings ist die Abbildung einer Optik der Kamera abhängig von der Wellenlänge der Beleuchtung. Werden mit der Kamera Objekte in Beleuchtungsszenen verschieden von der für die Kalibrierung verwendeten Beleuchtungsszene erfasst, ist die Genauigkeit dieser Erfassung bedingt durch die Welllenlängenabhängigkeit ungenauer. Dieses Problem ist beispielsweise dadurch lösbar, die Optik der Kamera dahingehend zu optimieren, dass Wellenlängen möglichst unabhängig abgebildet werden, beispielsweise durch achromatische oder apochromatische Linsensysteme. Derartige Linsensysteme sind aber aufwändig herzustellen und teuer.
-
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, Kamerakalibrierungen zu verbessern, insbesondere Komplexität der Optik oder Anforderungen an die Optik zu reduzieren.
-
Das erfindungsgemäße Verfahren zum Kalibrieren einer Kamera löst die Aufgabe dadurch, dass in einer ersten Beleuchtungsszene Kameraparameter bestimmt werden. In wenigstens einer zweiten Beleuchtungsszene werden die Kameraparameter wieder bestimmt. Damit wird eine szenenabhängige Kalibrierung der Kamera erhalten. Durch die szenenabhängige Kalibrierung wird die Kamera vorteilhafterweise genauer kalibriert, insbesondere Wellenlängen unabhängig, ohne aufwendige und teure Optiken verwenden zu müssen. Beispielsweise werden eine erste Kalibrierung bei Tageslicht und eine zweite Kalibrierung bei Nachtlicht berechnet. Damit ist die Kamera für Tag und für Nacht kalibriert. Damit werden Objekte bei Tag und bei Nacht genauer erfasst. Ist die Kamera eine Fahrzeugkamera, wird durch die genauere Erfassung der Objekte die Sicherheit beim Fahren erhöht.
-
Eine Kamera ist ein System, das nach einem bildgebenden Verfahren aus realen Objekten ein Abbild erzeugt. Beispielsweise erzeugt die Kamera nach dem bildgebenden Verfahren der Fotografie ein Abbild. Insbesondere werden Bildinformationen in elektronische Daten umgewandelt. Die Kamera ist insbesondere eine Digitalkamera umfassend einen Bildgebungssensor und ein optisches System. Die Kamera ist insbesondere für automotive Anwendungen geeignet, das heißt gegen Vibrationen, Umwelteinflüsse, beispielsweise Regen, und Temperaturschwankungen resistent ausgeführt. Beispielsweise ist die Kamera eine Fahrzeugkamera eines Fahrerassistenzsystems oder eines selbstfahrenden Fahrzeuges. Die Kamera umfasst Anbringungsmittel, um an dem Fahrzeug angebracht zu werden. Das optische System umfasst beispielsweise ein Weitwinkelobjektiv, um Winkelbereiche von 120° bis 360° zu erfassen. Alternativ umfasst das optische System ein Teleobjektiv, um Objekte im Fernbereich abzubilden.
-
Die Kamera bildet dreidimensionale Welt- oder Szenenpunkte auf Bildpunkte ab und stellt Bilddaten bereit. Basierend auf den Bilddaten werden beispielsweise Objekte vermessen oder ihre Lage im Raum bestimmt. Dafür ist es aber notwendig, Kameraparameter zu bestimmen. Kalibrierung ist die Bestimmung der Kameraparameter. Kalibrierung umfasst die Standardkalibrierung auf Basis von Kalibriermustern. Kalibrierung umfasst auch Selbstkalibrierung auf Basis von mehreren Aufnahmen einer unbekannten Szene. Kalibrierung umfasst auch Aufnahmen eines bekannten Kalibriermusters unter mehreren beliebigen Blickwinkeln. Da das Kalibriermuster bekannt ist, die Blickwinkel aber nicht, ist diese Art der Kalibrierung ein Hybrid aus Standardkalibrierung und Selbstkalibrierung. Nach einem Aspekt der Erfindung wird die Kalibrierung von einem Computer ausgeführt.
-
Kameraparameter sind interne/intrinsische und externe/extrinsische Kameraparameter. Interne/intrinsische Kameraparameter sind beispielsweise Größen des optischen Systems, zum Beispiel Brennweite oder Öffnung, oder Größen des Bildgebungssensors, zum Beispiel Anzahl, Anordnung, Form und Größe von Pixeln. Externe/extrinsische Kameraparameter beschreiben die Transformation von Weltkoordinaten in Kamerakoordinaten, beispielsweise in Form einer Rotationsmatrix und eines Translationsvektors. Die Kameraparameter können mit Hilfe von bekannten linearen und nicht linearen Algorithmen berechnet werden.
-
Beleuchtungsszene bedeutet, dass in einer Szene, die für die Kalibrierung der Kamera verwendet wird, Licht mit einer Beleuchtungsanlage, das heißt einer Lichtquelle, erzeugt wird. Eigenschaften der Beleuchtung können situationsabhängig angepasst werden, beispielsweise über Variation des Lichtstroms, der Lichtmenge, der Lichtstärke, der Beleuchtungsstärke, der Lichtausbeute oder der Leuchtdichte. In der ersten Beleuchtungsszene wird die Kalibrierung berechnet. Die Kalibrierung wird erneut in der zweiten Beleuchtungsszene berechnet. Die Wellenlänge des Lichts in der zweiten Beleuchtungsszene ist verschieden von der Wellenlänge des Lichts in der ersten Beleuchtungsszene. Für die eine Kamera werden also zwei Kalibrierungen in verschiedenen Beleuchtungsszenen berechnet.
-
Nach einem Aspekt der Erfindung werden in einer ersten Beleuchtungsszene Kameraparameter in Abhängigkeit von bekannten Koordinaten eines Kalibriermusters aus mit der Kamera erhaltenen Bildpunkten des Kalibriermusters bestimmt. In wenigstens einer zweiten Beleuchtungsszene werden die Kameraparameter in Abhängigkeit der bekannten Koordinaten des Kalibriermusters aus mit der Kamera erhaltenen Bildpunkten des Kalibriemusters bestimmt. Da die Koordinaten des Kalibriermusters bekannt sind, werden damit die Kameraparameter sehr genau bestimmt. Mit Kenntnis der Koordinaten des Kalibriermusters und der aus der Bildmessung erhaltenen Koordinaten der Bildpunkte sind die Kameraparameter berechenbar.
-
Ein Kalibriermuster umfasst ein oder mehrere Muster, wobei exakt bekannte Punkte auf den Mustern, das heißt Koordinaten des Kalibriermusters, gut zu lokalisierende Punktmerkmale im Bild erzeugen. Die Muster umfassen beispielsweise aus regelmäßig angeordnete Quadrate, Kreise oder Kreisscheiben. Die Muster liegen beispielsweise auf einem rechtwinkligen Gitter. Die Muster sind beispielsweise schwarz-weiß Muster. Die Muster sind beispielsweise auf Papier gedruckt und auf eine solide Platte aufgezogen. Alternativ sind die Muster mit Hilfe von CNC Maschinen gefräßt, zum Beispiel in Metall. Das Kalibriermuster umfasst eine Kalibrierebene oder mehrere Kalibrierebenen.
-
Bevorzugt wird das Kalibriermuster in der ersten Beleuchtungsszene mit Sonnenlicht und in der zweiten Beleuchtungsszene mit Infrarotlicht beleuchtet. Die erste Beleuchtungsszene ist also Tag. Die zweite Beleuchtungsszene ist also Nacht. Dies ist insbesondere vorteilhaft für eine Kamera mit Nachtsichtfähigkeit.
-
Im Sonnenlicht dominieren Wellenlängen im Bereich von 410nm bis 680nm. Prinzipiell ist für diese Beleuchtungsszene außer der Sonne keine künstliche Lichtquelle erforderlich. Das Infrarotlicht ist bevorzugt nahes Infrarotlicht mit einer Wellenlänge im Bereich von 800nm bis 1000nm, vorzugsweise mit einer Wellenlänge von 850nm oder 940nm. Lichtquelle für das Infrarotlicht ist beispielsweise eine Infrarotleuchtdiode.
-
Nach einem weiteren Aspekt der Erfindung wird das Verfahren von einem Computer ausgeführt.
-
Das erfindungsgemäße Steuergerät zum Kalibrieren einer Kamera umfasst wenigstens eine erste Schnittstelle zu wenigstens einer Lichtquelle. Mittels der ersten Schnittstelle werden eine erste Beleuchtungsszene und eine zweite Beleuchtungsszene für ein Kalibriermuster gesteuert. Das Steuergerät umfasst ferner eine zweite Schnittstelle. Über die zweite Schnittstelle werden Bildpunkte der Kamera des Kalibriermusters in der ersten und in der zweiten Beleuchtungsszene erhalten. Außerdem umfasst das Steuergerät eine Recheneinheit. Das Steuergerät ist so ausgeführt, dass es ein erfindungsgemäßes Verfahren ausführt.
-
Ein Steuergerät verarbeitet Eingangssignale mittels einer Recheneinheit und stellt Logik- und/oder Leistungspegel als Regel- oder Steuersignale bereit. Das Steuergerät kann Rohdaten von Sensoren aufbereiten um Eingangssignale zu erhalten. Mittels der Regel- oder Steuersignale werden die Lichtquelle und die Belichtungszeit der Kamera derart gesteuert, dass die Kamera in der ersten Beleuchtungsszene ein Bild aufnimmt und in der zweiten Beleuchtungsszene ein Bild aufnimmt. Das heißt, mit einer Lichtquelle können mehrere Beleuchtungsszenen erzeugt, insbesondere unterschiedlicher Wellenlänge. Nach einem weiteren Aspekt der Erfindung umfasst das Steuergerät eine dritte Schnittstelle zu einer weiteren Lichtquelle. Die erste Lichtquelle ist für die erste Beleuchtungsszene vorgesehen. Die zweite Lichtquelle ist für die zweite Beleuchtungsszene vorgesehen. Das Steuergerät ist signaltechnisch mit der Lichtquelle und der Kamera verbunden, kabelgebunden oder kabellos, zum Beispiel über Funktechnologie. Das Steuergerät ist insbesondere ein elektronisches Steuergerät.
-
Die Recheneinheit ist insbesondere eine programmierbare elektronische Schaltung, zum Beispiel ein Logikbaustein, beispielsweise ein FPGA-Baustein, oder ein ASIC-Baustein, oder eine CPU oder eine GPU. Die Recheneinheit berechnet die Kameraparameter.
-
Eine Schnittstelle ist ein Bauteil zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, zum Beispiel Daten, oder physikalischen Größen, zum Beispiel elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen. Beispielsweise ist die Schnittstelle eine kabelgebundene Schnittstelle oder eine WLAN Schnittstelle.
-
Das erfindungsgemäße Set zum Kalibrieren einer Kamera umfasst ein Kalibriermuster, wenigstens eine Lichtquelle und ein erfindungsgemäßes Steuergerät.
-
Das erfindungsgemäße Computerprogrammprodukt zum Kalibrieren einer Kamera umfasst Befehle. Die Befehle bewirken, dass ein erfindungsgemäßes Steuergerät ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft.
-
Die Befehle sind beispielsweise als Softwarecodeabschnitte des Computerprogrammprodukts realisiert. Die Befehle des Computerprogrammproduktes stellen eine Abfolge von Befehlen dar, durch die das Steuergerät bei geladenem Computerprogramm veranlasst wird, die Kalibrierung der Kamera zu berechnen.
-
Nach einem weiteren Aspekt der Erfindung wird eine Fahrzeugkamera mit Nachtsichtfähigkeit nach einem erfindungsgemäßen Verfahren, mit einem erfindungsgemäßen Steuergerät, einem erfindungsgemäßen Set oder einem erfindungsgemäßen Computerprogrammprodukt kalibriert.
-
Die Erfindung wird in den nachfolgenden Figuren beispielhaft erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Sets zum Kalibrieren einer Kamera und
- 2 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens.
-
Das in 1 gezeigte Set zum Kalibrieren einer Kamera 1 umfasst eine erste Lichtquelle 3, eine zweite Lichtquelle 4, ein Kalibriermuster 2 und ein Steuergerät 10. Die erste Lichtquelle 3 ist die Sonne. Die Sonne beleuchtet eine Szene mit Tageslicht. Im Tageslicht dominieren Wellenlängen im Bereich von 410nm bis 680nm. Die zweite Lichtquelle 4 ist eine Leuchtdiode oder eine Anordnung von mehreren Leuchtdioden. Die Lichtdiode beleuchtet die Szene mit Infrarotlicht mit einer Wellenlänge von 850nm. Das Kalibriermuster 2 ist ein zweidimensionales Muster. Das Kalibriermuster 2 ist ein schwarz-weißes Muster. Das Kalibriermuster 2 umfasst regelmäßig angeordnete Quadrate. Das Kalibriermuster 2 wird während der Kalibrierung gedreht, um Bildpunkte unter verschiedenen Blickwinkel zu erhalten.
-
Das Steuergerät 10 steuert die szenenabhängige Kalibrierung der Kamera 1. Das Steuergerät 10 umfasst eine erste Schnittstelle 11. Die erste Schnittstelle 11 ist eine Schnittstelle zu der zweiten Lichtquelle 4. Über die zweite Schnittstelle 11 steuert das Steuergerät 10 die zweite Lichtquelle 4, um die zweite Beleuchtungsszene zu generieren. Das Steuergerät 10 umfasst eine zweite Schnittstelle 12. Die zweite Schnittstelle 12 ist eine Schnittstelle zu der Kamera 1. Über die zweite Schnittstelle 12 erhält eine Recheneinheit 13 des Steuergeräts 10 Bildpunkte der Kamera 1 des Kalibriermusters 2 in der ersten Beleuchtungsszene und in der zweiten Beleuchtungsszene. Die Recheneinheit 13 berechnet die Kameraparameter in der ersten Beleuchtungsszene und in der zweiten Beleuchtungsszene.
-
Gemäß dem in 2 gezeigten Verfahren wird das Kalibriermuster 2 mit der ersten Lichtquelle beleuchtet. In dieser Beleuchtungsszene erzeugt die Kamera 1 ein erstes Abbild des Kalibriermusters 2. Die Recheneinheit 13 des Steuergeräts 10 berechnet ausgehend von Bildpunkten des ersten Abbildes und bekannten Koordinaten des Kalibriermusters 2 die Kameraparameter.
-
Anschließend wird das Kalibriermuster 2 mit der zweiten Lichtquelle beleuchtet. In dieser Beleuchtungsszene erzeugt die Kamera 1 ein zweites Abbild des Kalibriermusters 2. Die Recheneinheit 13 des Steuergeräts 10 berechnet ausgehend von Bildpunkten des zweiten Abbildes und bekannten Koordinaten des Kalibriermusters 2 die Kameraparameter.
-
Die Recheneinheit 13 ist ausgeführt, die Schritte des Verfahrens zu steuern.
-
Bezugszeichenliste
-
- 1
- Kamera
- 2
- Kalibriermuster
- 3
- Lichtquelle
- 4
- Lichtquelle
- 10
- Steuergerät
- 11
- erste Schnittstelle
- 12
- zweite Schnittstelle
- 13
- Recheneinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016008689 A1 [0002]
