DE102015103785A1

DE102015103785A1 - Verfahren und Vorrichtung zur Kalibration einer Kamera

Info

Publication number: DE102015103785A1
Application number: DE102015103785.8A
Authority: DE
Inventors: Harald Hoppe
Original assignee: HOCHSCHULE OFFENBURG
Current assignee: HOCHSCHULE OFFENBURG
Priority date: 2015-03-16
Filing date: 2015-03-16
Publication date: 2016-09-22
Also published as: WO2016146105A1

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibration einer Kamera (110) unter Nutzung eines Bildschirmes (120), wobei der Bildschirm (120) eine Menge von Bildpunkten (122) aufweist und die Kamera (110) eine Vielzahl von Pixeln (112) zur Darstellung des Bildes nutzt. Das Verfahren umfasst die folgenden Schritten (a) Darstellen zumindest eines Bildwertes (BW) in zumindest einem Bildpunkt (122) des Bildschirms (120) basierend auf einer Bildwertzuweisung; (b) Erfassen des zumindest einen Bildwertes (BW) durch einen Pixel (112a) der Kamera (110); und (c) Bestimmen der Position des zumindest einen Bildpunktes (122) auf dem Bildschirm (120) basierend auf dem zumindest einen erfassten Bildwert (BW) und der Bildwertzuweisung.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibration einer Kamera und insbesondere eine nicht-modellbasierte Kalibration von Kameras mit Hilfe eines Monitors.
Hintergrund
Digitalkameras nutzen in der Regel einen CCD-Sensor oder einen CMOS-Sensor, um ein Bild durch eine Vielzahl von Pixeln zu erfassen. Für viele Anwendungsgebiete ist es nicht ausreichend, lediglich ein digitales Bild zu erfassen. Vielmehr sind Informationen wünschenswert, wie beispielsweise aus welchen Richtungen die einzelnen Pixel der Kamera Licht empfangen. Um dies zu erreichen, wird eine Kalibration der Kamera genutzt, die beispielsweise einen optischen Pfad einem Pixel zuordnet. Damit wird es möglich, in einer bestimmten Bildfläche (z.B. senkrecht zu Blickrichtung) für jeden Pixel die Position eines erfassten Bildpunktes festzustellen. Somit bestimmt die Kalibration jene Punkte, die ein bestimmtes Kamerapixel betrachtet bzw. welcher Punkt der betrachteten Szene, auf welches Kamerapixel abgebildet wird. Der Einsatz von Kameras zum Zweck der industriellen oder nicht-industriellen (z. B. medizinischen) Bildverarbeitung hängt in der Regel maßgeblich davon ab, wie genau die dabei eingesetzten Kameras kalibriert werden können.
Der momentane Stand der Technik zur Kalibration von Kameras beruht auf der Grundannahme, dass sich die zu kalibrierende Kamera ausreichend genau durch ein Lochkameramodell beschreiben lässt. In diesem Modell gibt es ein eindeutiges Projektionszentrum, durch das alle Geraden verlaufen, die den einzelnen Kamerapixeln zugeordnet werden. Darüber hinaus setzen diese Modelle meist voraus, dass die reale Szene weitestgehend unverzerrt auf die Bildebene der Kamera abgebildet wird. Bestenfalls wird ein weiteres Modell zur Beschreibung radialer und tangentialer Linsenverzerrungseffekte verwendet.
Das Gesamtmodell zur Beschreibung der Abbildungseigenschaften einer Kamera beruht auf sechs extrinsischen Parametern (drei rotatorische und drei translatorische Freiheitsgrade), die zur Beschreibung der Transformation vom Weltkoordinatensystem ins Kamerakoordinatensystem dienen, und fünf intrinsischen Parametern, die zur Beschreibung der perspektivischen Projektion auf ein Projektionszentrum hin dienen. Die radiale Linsenverzerrung wird üblicherweise mit zwei bis drei Parametern, die tangentiale mit zwei Parametern beschrieben. Das Gesamtmodell umfasst somit 16 zu kalibrierende Parameter, von denen in der Regel aber nur 12 zur Anwendung kommen.
Zur Bestimmung dieser Parameter werden beispielsweise Muster, die Punkte mit bekannten 3-dimensionalen (3D) Weltkoordinaten darstellen, vor die Kamera gehalten und die dazugehörigen 2-dimensionalen (2D) Bildkoordinaten, die diese Punkte darstellen, werden bestimmt. Mittels einer Optimierung werden aus diesen Punktkorrespondenzen (3D ⇔ 2D) dann die unbekannten Parameter des Modells berechnet. Häufig werden dabei drei bis zehn Aufnahmen eines ebenen Kalibrationsmusters mit ca. 50 bis 250 eindeutig bestimmbaren Feature-Punkten verwendet.
Derartige Modelle sind beispielsweise in R.Y. Tsai: „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology using Off-the-Shelf TV Cameras and Lenses" und in Z. Zhang: "A Flexible New Technique for Camera Calibration" beschrieben. Um die Parameter dieser Modelle zu berechnen, werden wenige (meist unter 1000) Punktkorrespondenzen zwischen bekannten Weltpunkten und deren Pixelposition im Kamerabild verwendet.
Die 8 zeigt ein Kalibrationsmuster, welches zur Bestimmung der Punktkorrespondenzen genutzt wird und eine Vielzahl von schwarzen Punkten auf einer weißen Fläche darstellt. Das Kalibrationsmuster wird von der Kamera erfasst, wobei die Kamerapixel entweder einen weißen Bildschirmhintergrund oder aber einen darauf abgebildeten schwarzen Punkt erfassen. Um weiter bestimmen zu können, welcher der schwarzen Punkte erfasst wurde, sind in einem zentralen Bereich ein erster Eichpunkt 501, ein zweiter Eichpunkt 502 und ein dritter Eichpunkt 503 gezeigt. Die Eichpunkte 501 bis 503 definieren ein lokales Koordinatensystem, bezüglich dessen die Koordinaten der Mittelpunkte aller Kreise – beispielsweise durch einfaches Abzählen der schwarzen Punkte hin zu den Eichpunkten – bestimmt werden. Nachdem die Punktkorrespondenzen bestimmt wurden, werden die entsprechenden Modelle genommen, um die Parameter zu bestimmen.
Ein ähnliches Kalibrationsverfahren ist in DE 10 2011 031 215 beschrieben, wo ein dreidimensionales Objekt zur Kalibration genutzt wird, wobei ein Modell für eine Intensitätsverteilung des genutzten CCD-Chips zugrunde gelegt wird und die Kalibration die Modell-Koeffizienten bestimmt. Ein weiteres konventionelles Verfahren ist in der DE 197 27 281 C1 beschrieben, wo eine dreidimensionale Teststruktur mittels eines Hologramms erzeugt und unter Annahme einer idealisierten Kameraoptik zur Kalibrierung genutzt wird.
Die genannten konventionellen Kalibrationsverfahren beschreiben zwar durch relativ wenige Parameter (beispielsweise zehn bis sechszehn) die Abbildungseigenschaften einer Kamera, sie besitzen jedoch die folgenden Nachteile:

(a) Die verwendeten Parameter, die die radiale und tangentiale Linsenverzerrung modellieren, reichen in der Regel nicht aus, um wahre Abbildungseigenschaften des Linsensystems zu beschreiben. Insbesondere kommt es häufig in Randbereichen eines Bildes vor, dass Abweichungen zu dem idealisiert-angenommenen Linsensystem auftreten.
(b) Stark verzerrende Linsen oder Linsensysteme (beispielsweise Fischaugenobjektive) oder Kameras mit davor angebrachten optischen Filtern (wie beispielsweise reflektierende oder brechende Oberflächen) lassen sich mit den üblichen Parametern nicht oder mit anderen Modellen häufig nur unzureichend beschreiben. Eine modellhafte Beschreibung mit Parametern ist außerdem umständlich, da für jedes Gesamtsystem aus Kamera, Linsen und weiteren optischen Elementen ein eigenes Modell entwickelt werden muss.
(c) Die Anzahl von Punktkorrespondenzen, die zur Optimierung der Parameter des zugrundeliegenden Modells verwendet werden, liegt meist in einem Bereich von 100 bis 1000. Im Vergleich zur Anzahl der Pixel der zu kalibrierenden Kamera, die in einem Bereich zwischen 1 bis 5 Millionen oder noch mehr Pixeln liegen kann, ist dies häufig zu wenig.
(d) Die Aufnahme der Bilder von mehreren, zufällig gewählten Positionen eines Kalibrationsmusters garantiert keine gleichmäßige Verteilung der Punktkorrespondenzen über das gesamte Bild der Kamera. Insbesondere liegen meist wenige Punktkorrespondenzen in den Randbereichen des Bildes vor.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Kalibration einer Kamera zu schaffen, die die zuvor genannten Nachteile überwinden und eine höhere Genauigkeit und verbesserte Flexibilisierung der Kalibration von Kameras erreicht. Es sollen neue und unkonventionelle Lösungen ermöglicht werden.
Zusammenfassung
Die oben genannte Aufgabe wird durch das Verfahren zur Kalibration nach Anspruch 1 oder eine Vorrichtung nach Anspruch 15 gelöst. Die abhängigen Ansprüche geben vorteilhafte Ausführungsformen des Gegenstands des Anspruchs 1 wieder.
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Kalibration einer Kamera unter Nutzung eines Bildschirmes, wobei der Bildschirm eine Menge von Bildpunkten aufweist und die Kamera eine Vielzahl von Pixeln zur Darstellung des Bildes nutzt. Das Verfahren umfasst die folgenden Schritten: (a) Darstellen zumindest eines Bildwertes in zumindest einem Bildpunkt des Bildschirms basierend auf einer Bildwertzuweisung; (b) Erfassen des zumindest einen Bildwertes durch ein Pixel der Kamera; und (c) Bestimmen der Position des zumindest einen Bildpunktes auf dem Bildschirm basierend auf dem zumindest einen erfassten Bildwert und der Bildwertzuweisung.
Somit wird gemäß der vorliegenden Erfindung zur Kalibration der Kamera kein Modell genutzt, vielmehr werden die Pixel der Kamera einzeln kalibriert. Es versteht sich, dass die Positionsbestimmung voraussetzt, dass die Position des erfassten Bildwertes auf dem Bildschirm bekannt ist. Dies geschieht durch die Bildwertzuweisung, die festlegt, welcher Bildwert an welcher Position auf dem Bildschirm dargestellt wird. Die Bildpunkte können jedoch auch selbst aus Bildschirmpixeln aufgebaut sein, d.h. ein Bildpunkt kann aus einem oder mehreren Bildschirmpixeln bestehen.
Der Erfindungsgegenstand löst die oben genannte technische Aufgabe, indem jedes einzelne Kamerapixel unabhängig von allen anderen Pixeln (nicht modellbasiert) kalibriert wird, und zwar mit Hilfe eines Bildschirmes. Insbesondere ist es somit möglich, einen handelsüblichen Bildschirm (beispielsweise Monitor, Fernseher oder ein anderes Display), vorzugsweise mit möglichst hoher Auflösung, zu nutzen. Die einzige Voraussetzung ist, dass er in der Lage ist, ein entsprechendes Kalibrationsmuster zu erzeugen. Die vorliegende Erfindung beinhaltet somit ein neues, monitorbasiertes und parameterfreies Verfahren zur Kalibration von Kameras.
Im Gegensatz zu dem konventionellen Verfahren, die zur Kalibration ein bestimmtes Modell zugrunde legen, dessen Parameter zu bestimmen sind, wird erfindungsgemäß für jedes Pixel der Kamera bestimmt, von welchem Weltpunkt oder von welchen Weltpunkten es Lichtsignale erhält (d.h. wohin es sieht). Das Resultat der Kalibration kann beispielsweise in eine Tabelle (z.B. einen Lookup-Table) geschrieben werden, indem für jedes Kamerapixel eine Menge von Punkten gespeichert ist, die auf dieses Pixel abgebildet werden. Im einfachsten Fall handelt es sich dabei jeweils um Geraden für jedes Pixel, sofern der Kamerafokus bei der Kalibration nicht verändert wird.
Die für ein bestimmtes Pixel der Kamera definierten Schritte (a) bis (c) können parallel für alle Pixel der Kamera bzw. für einen diskreten Satz von Pixeln der Kamera durchgeführt werden. Nachdem die Kalibration von einem diskreten Satz von Pixeln durchgeführt wurde, kann beispielsweise eine Interpolation genutzt werden, um auch die dazwischenliegenden Pixel eindeutig zuzuordnen. Die Interpolation kann aber auch genutzt werden, um subpixelgenau die Zuordnung durchzuführen. Je mehr Bildkorrespondenzen Bildpunkt/Pixel der Kamera ermittelt werden, je genauer ist das Resultat, aber gleichzeitig erhöht sich damit auch der Rechenaufwand, der zur Kalibration aller Pixel erforderlich ist.
Um die Kamera nicht nur für einen einzigen Pixelpunkt zu kalibrieren, werden bei weiteren Ausführungsbeispielen auf dem Bildschirm mehrere Bildpunkte dargestellt, die eine eindeutige Zuordnung erlauben. Dies kann beispielsweise dadurch geschehen, dass der Bildwert ein Farbwert oder ein Graustufenwert eines Digitalbildes ist, der durch die Kamera erfasst wird. Wenn beispielsweise der Bildschirm eine sehr hohe Auflösung aufweist, ist es somit möglich, dass jedes Pixel der Kamera einen anderen Bildwert (z.B. einen anderen Farbwert oder einen anderen Graustufenwert) empfängt und somit genau die Richtung bestimmt werden kann, wohin das entsprechende Pixel der Kamera sieht. Dabei definiert der Bildschirm ein eindeutiges (Welt-)Koordinatensystem, das jedem Bildpunkt eine eindeutige 3D-Koordinate zuordnet. Somit beziehen sich weitere Ausführungsbeispiele auf ein Verfahren, wobei der zumindest eine Bildwert ein Farbwert oder ein Graustufenwert eines Digitalbildes und die Bildwertzuweisung jeweils benachbarten Bildpunkten des Bildschirms verschiedene Bildwerte aus einer Vielzahl von Bildwerten derart zuweist, dass in zumindest einem Teil des Bildschirmes eine eindeutige Zuweisung von Bildwerten eine Ortsbestimmung basierend auf den Bildwerten ermöglicht.
Da die Anzahl von dargestellten Graustufenwerten und Farbwerten begrenzt bzw. die Auflösungssensitivität der genutzten Kamera begrenzt ist, kann es vorteilhaft sein, dass nicht alle Punkte gleichzeitig kalibriert werden. Beispielsweise besitzen moderne Kameras mehrere Megapixel-Auflösungen. Bei einer solchen Auflösung ist es häufig schwierig, auf einem Bildschirm jeweils einen Bildpunkt mit einem anderen Bildwert darzustellen, um so eine eindeutige Zuordnung zu gewährleisten. Von daher kann die Kalibration als ein sukzessiver Prozess durchgeführt werden, in dem Bildschirmabschnitte (beispielsweise horizontale Positionen und vertikale Positionen) sukzessiv bestimmt werden. Ebenso ist es nicht erforderlich, dass beispielsweise die gesamte horizontale Ausdehnung eines Bildschirmes in einem Schritt kalibriert wird. Stattdessen können einzelne Abschnitte oder Perioden bestimmt werden, innerhalb derer eine eindeutige Zuordnung erfolgt, so dass bei Kenntnis der Position der Periode auf dem Bildschirm eine eindeutige Zuordnung der Pixelpunkte zu den Bildschirmpunkten ermöglicht wird.
Daher werden bei weiteren Ausführungsbeispielen die Schritte (a) bis (c) für eine horizontale Positionsbestimmung und für eine vertikale Positionsbestimmung unabhängig voneinander ausgeführt, wobei die benachbarten Bildpunkte entsprechend horizontal benachbarte Bildpunkte für die horizontale Positionsbestimmung oder vertikal benachbarte Bildpunkte für die vertikale Positionsbestimmung sind. Außerdem kann optional der Schritt (a) ein Darstellen zumindest einer Periode eines periodischen Musters von Bildwerten auf dem Bildschirm umfassen, wobei der Bildwert ein Bildwert aus dem periodischen Muster ist und der Schritt (b) kann weiter folgende Schritte umfassen: (b1) Ändern des Bildwertes auf einen geänderten Bildwert, der Teil des periodischen Musters von Bildwerten ist; (b2) Erfassen des geänderten Bildwertes durch die Kamera; und (b3) Ermitteln eines Unterschiedes der erfassten Bildwerte und des erfassten geänderten Bildwertes für den zumindest einen Bildpunkt. Der Schritt (c) kann dann ein Bestimmen der Position innerhalb einer Periode in einer Periodenrichtung des periodischen Musters für den zumindest einen Bildpunkt basierend auf dem ermittelten Unterschied umfassen.
Wie bereits erwähnt, kann es sinnvoll sein, zunächst horizontale und dann vertikale Pixel der Kamera zu kalibrieren (d.h. die Punktkorrespondenzen für diese Pixel zu erstellen). Daher umfassen weitere Ausführungsbeispiele ein Verfahren mit den folgenden Schritten: (d) Drehen des periodischen Musters von Bildwerten auf dem Bildschirm um einen vorbestimmten Winkel; und (e) Wiederholen der Schritte (b1) bis (b3) für das gedrehte periodisch Muster.
Sofern ein periodisches Muster genutzt wird, dessen Periodenlänge sich über den gesamten Bildschirm erstreckt (beispielsweise wenn genügend Bildwerte vorhanden sind, um alle Pixel der Kamera in der horizontalen Richtung zu kalibrieren), kann ein solches periodisches Muster benutzt werden. Jedoch ist es häufig so, dass es infolge der hohen Anzahl von Pixeln und der gewünschten Sensitivität hinsichtlich der Unterscheidbarkeit von Bildwerten von benachbarten Pixeln vorteilhaft ist, wenn mehrere Perioden auf dem Bildschirm dargestellt werden. Die Periodenlänge kann beispielsweise derart gewählt werden, dass eine eindeutige Erfassung der Bildwerte (oder der Unterschiede zwischen den Bildwerten) durch den entsprechenden Pixel möglich wird. Wenn mehrere solche Perioden genutzt werden, kann in weiteren Schritten, eine Ermittlung der Periode, in die der bestimmte Pixel schaut, erfolgen. Nach Bestimmung der Periode ist eine eindeutige Punktkorrespondenz erreicht.
Die Bestimmung der Periode kann wie folgt geschehen. Ausgehend von einem Mittelpunkt, Randpunkt oder irgendeinem anderen festen Punkt auf dem Bildschirm kann jede Periode durch einen Periodenversatz gekennzeichnet werden, wobei der Periodenversatz beispielsweise angibt, um wie viele Perioden die gerade betrachtete Periode von dem festen Punkt verschoben ist. Die Bestimmung des Periodenversatzes erfolgt gemäß weiterer Ausführungsbeispiele dadurch, dass im Schritt (a) eine Vielzahl von Perioden des periodischen Musters dargestellt werden und das Verfahren weiter folgende Schritte umfasst: (f) Darstellen eines festen Bildmusters mit einer vorgegebenen Position auf dem Bildschirm, wobei jede Periode aus der Vielzahl von Perioden einen Periodenversatz relativ zu dem festen Bildmuster aufweist; (g) Erfassen des festen Bildmusters durch zumindest einen bestimmten Pixel der Kamera; und (h) Zuordnen der vorgegebenen Position zu dem zumindest einem bestimmten Pixel; und (i) Bestimmen des Periodenversatzes der Periode, für die im Schritt (c) die Position bestimmt wurde, basierend auf der vorgegebenen Position und der im Schritt (c) bestimmten Position des zumindest einen bestimmten Pixels. Dies kann beispielsweise durch Abzählen der Perioden geschehen, die zwischen dem festen Bildmuster und der Periode (für die im Schritt (c) die Position bestimmt wurde) liegen. Die vorgegebene Position kann beispielsweise über einen Mittelpunkt des Bildmusters definiert werden.
Gemäß weiterer Ausführungsbeispiele wird das periodische Muster nur von einem Teil der Kamera erfasst und kann optional durch eine harmonische Funktion darstellbar sein. Optional kann das Verfahren dann weiter ein Verschieben des periodischen Musters auf einen anderen Teil der Kamera umfassen, wobei der Teil und der andere Teil der Kamera teilweise überlappen; und ein Anpassen umfassen. Bei dem Anpassen kann ein Vereinen einer Kalibration für den Teil der Kamera mit einer Kalibration für den anderen Teil der Kamera erfolgen, sodass eine gemeinsame Kalibration für die Vereinigung des Teils und des anderen Teils der Kamera erhalten wird.
Der Abstand des Bildschirmes und die relative Lage zur Kamera müssen aber nicht explizit gemessen werden. Stattdessen ermöglichen weitere Ausführungsbeispiele eine Bestimmung des Abstands des Bildschirmes und dessen Lage relativ zu der Kamera. Dies kann beispielsweise dadurch geschehen, dass in einem Verfahren weiter folgende Schritte ausgeführt werden: Verschieben des Bildschirmes oder der Kamera um einen Betrag, sodass das zumindest eine Pixel der Kamera eine andere Entfernung zu dem Bildschirm aufweist als vor dem Verschieben; und Wiederholen zumindest der Schritte (b) und (c), d.h. des Erfassens und des Bestimmens für den verschobenen Bildschirm. Optional können ein Teil oder alle zuvor genannten Schritte ebenfalls für die verschobene Position wiederholt werden.
Hierdurch werden zumindest 2 Punkte bestimmt, durch die eine Gerade gelegt werden kann, die dann die Kalibration für das Kamera-Pixel liefert. Optional kann jedoch der Bildschirm mehrfach verschoben werden, so dass für jedes Pixel eine Vielzahl von Positionen ermittelt wird, die sich jeweils auf unterschiedliche Entfernungen des Bildschirms beziehen. Die Anzahl kann beispielsweise an die gewünschte Kalibrationsqualität angepasst werden.
Gemäß weiterer Ausführungsbeispiele weist die Kamera einen festen Fokus auf, der während der Schritte des Erfassens fest bleibt. Optional kann die Kamera auch einen variablen Fokus aufweisen, der beim Verschieben und/oder Drehen des Bildschirmes von der Kamera geändert wird. Bei einem konstanten Fokus kann jedem Kamerapixel eine Gerade zugeordnet werden, auf der alle Punkte liegen, die auf ein bestimmtes Pixel abgebildet werden. Bei Verwendung einer Autofokus-Funktion kann jedem Pixel eine Menge von Punkten zugeordnet werden, die auf ein bestimmtes Pixel abgebildet werden, wobei diese Punkte beliebig dicht liegen können. Aber auch in diesem Fall kann jedem Pixel bei bestimmtem Fokus eine Richtung zugeordnet werden.
Sofern die relative Lage der einzelnen Bildschirmpositionen untereinander bekannt ist, kann durch ein Wiederholen der genannten Schritte erreicht werden, dass für alle Pixel der Kamera eindeutig bestimmt werden kann, wohin jedes einzelne Pixel der Kamera blickt. Jedoch ist es häufig nicht einfach bzw. mit Fehlern verbunden, die genaue relative Lage der einzelnen Bildschirmpositionen untereinander zu ermitteln (z.B. durch Messung). Eine derartige Bestimmung wird gemäß weiterer Ausführungsbeispiele durch die folgenden Schritte erreicht: Drehen des Bildschirmes um einen vorbestimmten Winkel; Widerholen zumindest der Schritte (a) bis (d) für die gedrehte Bildschirmposition; und Ermitteln der Richtung der Verschiebung des Bildschirmes basierend auf einem Vergleich zwischen dem Resultat, welches in der ungedrehten Position erhalten wurde, mit dem Resultat, welches in der gedrehten Bildschirmposition erhalten wurde. Optional können ein Teil oder alle zuvor genannten Schritte ebenfalls für die gedrehte Position wiederholt werden.
Bei dem Kalibrierungsverfahren gemäß der vorliegenden Erfindung wird somit kein statisches (ausgedrucktes) Kalibrationsmuster, wie es bei den konventionellen Verfahren genutzt wird, verwendet. Vielmehr erfolgt die Bestimmung der Punktkorrespondenzen (3D Weltpunkte – 2D Pixelpunkte) beispielsweise durch eine Abfolge von dynamischen Bildern auf einem Monitor. Wie dargelegt, ist die dynamische Abfolge von Punkten auf dem Monitor jedoch nicht zwingend erforderlich. Eine eindeutige Zuordnung von Bildpunkten und Pixelpunkten ist bereits dann möglich, wenn der Monitor ausreichend verschiedene Bildwerte darstellen kann und die Kamera in der Lage ist, jeden einzeln dargestellten Bildwert eindeutig zu erfassen. Eine solche eindeutige Zuordnung, ohne die Nutzung eines periodischen Musters, stellt jedoch hohe Anforderungen sowohl an den Monitor als auch an die Kamera. Von daher basieren vorteilhafte Ausgestaltungen der vorliegenden Erfindung insbesondere auf einer dynamischen Abfolge eines periodischen Musters, wobei die Periode so gewählt werden kann, dass lediglich eine geringe Anzahl von Bildwerten durch die Kamera eindeutig erfassbar sein muss und eine sukzessive Bestimmung der Position des Bildwertes, welcher durch ein Pixel der Kamera erfasst wird, erfolgen kann.
Eine Frontscheibe des Bildschirms/Displays kann unter Umständen eine Lichtbrechung verursachen, was zu einer Verzerrung der dahinter liegenden Pixelpositionen führen kann, die berücksichtigt und im Endergebnis herausgerechnet werden sollte. Daher umfasst bei weiteren Ausführungsbeispielen der Bildschirm eine Frontscheibe und das Verfahren umfasst weiter ein Korrigieren von Verzerrungen, die durch die Frontscheibe verursacht werden.
Ausführungsbeispiele umfassen auch ein Speichermedium mit einem darauf gespeicherten Computerprogramm, welches ausgebildet ist, um eine Steuervorrichtung zu veranlassen, ein zuvor beschriebenes Verfahren auszuführen, wenn es auf einem Prozessor (Verarbeitungseinheit) läuft. Das Speichermedium kann ein maschinenlesbares Medium sein, das Mechanismus zum Speichern oder Übertragen von Daten in einer von einer Maschine (z.B. einem Computer) lesbaren Form beinhalten.
Weitere Ausführungsbeispiele beziehen sich ebenfalls auf eine Verwendung eines Displays zum Kalibrieren einer Kamera. Ebenso umfassen Ausführungsbeispiele eine Vorrichtung zur Kalibration einer Kamera, die eine Vielzahl von Pixeln zur Darstellung des Bildes nutzt, und zwar unter Nutzung eines Bildschirmes, wobei der Bildschirm eine Menge von Bildpunkten aufweist. Die Vorrichtung umfasst die folgenden Merkmale: ein Ausgabemodul, das ausgebildet ist, um den Bildschirm anzusteuern, sodass der Bildschirm zumindest einen Bildwert in zumindest einem Bildpunkt basierend auf einer Bildwertzuweisung darstellt; ein Eingabemodul, das ausgebildet ist, um zumindest einen durch die Kamera erfassten Bildwert einzugeben; und ein Verarbeitungsmodul, das ausgebildet ist, um die Position des zumindest einen Bildpunktes basierend auf dem zumindest einen erfassten Bildwert und der Bildwertzuweisung zu bestimmen.
Die Vorrichtung kann beispielsweise ein Steuermodul mit einem Prozessor sein, auf welchem das Computerprogramm läuft.
Kurzbeschreibung der Figuren
Die Erfindung wird anhand der in den 1 bis 7 dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigen:
1 ein Flussdiagramm für ein Verfahren zur Kalibration einer Kamera;
2 eine schematische Darstellung der Zuordnung von Bildschirmpunkten auf Kamerapixel;
3 eine beispielhafte Änderung von Bildwerten eines Bildschirmpunktes mit der Zeit;
4 eine beispielhafte Verteilung von Bildwerten auf benachbarten Bildschirmpunkten und deren zeitliche Änderung;
5 ein periodisches Kalibrationsmuster;
6 ein Muster zur Ermittlung eines Phasenversatzes;
7 eine Änderung der Bildschirmposition zur Ermittlung eines optischen Pfades; und
8 ein konventionelles Kalibrationsmuster.
Detaillierte Figurenbeschreibung
1 zeigt ein Verfahren zur Kalibration einer Kamera unter Nutzung eines Bildschirmes, wobei der Bildschirm eine Menge von Bildpunkten aufweist und die Kamera eine Vielzahl von Pixeln zur Darstellung des Bildes nutzt. Das Verfahren umfasst folgende Schritte: Darstellen S110 zumindest eines Bildwertes in zumindest einem Bildpunkt des Bildschirms basierend auf einer Bildwertzuweisung; Erfassen S120 des zumindest einen Bildwertes durch einen Pixel der Kamera; und Bestimmen S130 der Position des zumindest einen Bildpunktes auf dem Bildschirm basierend auf dem zumindest einen erfassten Bildwert und der Bildwertzuweisung.
2 zeigt eine Darstellung mit weiteren Details zur Kalibration der Kamera 110 unter Nutzung des Bildschirmes 120 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Kamera 110 weist eine Bildebene 113 auf, in der eine Vielzahl von Kamerapixeln 112 angeordnet sind. Beispielsweise können die Kamerapixel 112 Arrayförmig auf der Bildebene 113 angeordnet sein, wobei eine erste Menge von Kamerapixeln 112 entlang der horizontalen Linie und eine zweite Menge entlang der vertikalen Linie angeordnet sein können.
Das Koordinatensystem kann bei der vorliegenden Erfindung durch die (erste) Bildschirmposition definiert werden. Wie die Kamera zum Bildschirm ausgerichtet ist, spielt im Allgemeinen keine Rolle. Das Koordinatensystem kann aber auch anders gewählt werden. Beispielsweise kann die Kamera 110 entlang der z-Richtung von dem Bildschirm 120 beabstandet sein, wobei der Bildschirm 120 und/oder die Bildebene 113 innerhalb der Kamera 110 sich in der x, y-Ebene erstrecken können. Beispielsweise kann die x-Richtung die horizontale Richtung und die y-Richtung die vertikale Richtung der aufgenommenen Szene darstellen. Bei anderen Ausführungsbeispielen kann jedoch das Koordinatensystem jedoch noch anders gewählt sein.
Die Kamera 110 kann weiter ein Optik 114 aufweisen, durch die Lichtsignale 118 von dem Bildschirm 120 hindurch laufen, um anschließend auf die Bildebene 113 der Kamera 110 projiziert zu werden. Der Bildschirm 120 kann in eine Vielzahl von Bildpunkten 122 unterteilt werden, die beispielsweise derart definiert werden können, dass jedes Kamerapixel 112 Lichtsignale von einem Bildpunkt 122 des Bildschirms 120 empfängt. Wenn der Bildschirm ebenfalls Pixel aufweist, kann jeder Bildpunkt ein oder mehrere Bildschirmpixel umfassen. Der Bildschirm kann beispielsweise ein Monitor oder Display eines Computers, ein Fernseher oder eine anderes Projektionsgerät sein, auf welchen beispielsweise bewegliche Bilder darstellbar sind. Die Anzahl der Bildpunkte 122 auf dem Bildschirm braucht nicht mit der Anzahl der Kamerapixel 112 korreliert zu sein. So kann beispielsweise die Anzahl von Bildpunkten 122 auf dem Bildschirm 120 geringer sein als die Auflösung der Kamera 110 (Anzahl der Kamerapixel 112). Es ist jedoch ebenfalls möglich, dass ein entsprechend hoch auflösender Bildschirm 120 genutzt wird, der genauso viele (oder mehr) Bildschirmpunkte 122 aufweist wie die Anzahl von Kamerapixeln 112. Für eine hohe Qualität der Kalibration ist es vorteilhaft, wenn der Bildschirm 120 möglichst hochauflösend ist.
Bei der Kalibration wird eine Richtung bestimmt, aus welcher ein gegebenes Kamerapixel 112 ein Lichtsignal empfängt oder, mit anderen Worten, in welche Richtung das entsprechende Kamerapixel 112 schaut. Wenn beispielsweise das Lichtsignal entlang eines optischen Pfades 118 von einem ersten Bildpunkt 122a des Bildschirmes 120 auf ein erstes Kamerapixel 112a projiziert wird (nach dem Passieren der Optik 114), dann erfolgt bei der Kalibration des ersten Kamerapixels 112a eine Bestimmung des Ortes des ersten Bildpunktes 122a. Somit wird eine Zuordnung des Kamerapixels 112a zu der Position des ersten Bildpunktes 122a erhalten. Diese Zuordnung erfolgt nicht nur für ein erstes Kamerapixel 112a, sondern kann für jedes Kamerapixel 112 erfolgen. Die Kalibration bestimmt somit auch, dass ein zweites Kamerapixel 112b ein Lichtsignal von einem zweiten Bildpunkt 122b an einer bestimmten Position auf dem Bildschirm 120 empfängt.
Gemäß der vorliegenden Erfindung kann für jedes einzelne Kamerapixel 112 bestimmt werden, zu welchem Bildpunkt 122 dieses eine Pixel schaut. Es ist jedoch zu beachten, dass das Kamerapixel 112 selbst keine weitere Information in Bezug auf benachbarte Kamerapixel oder in Bezug auf die Ausrichtung des Bildschirmes 120 hat. Um unabhängig von allen weiteren Informationen die Position des Bildpunktes 122 bestimmen zu können, wird der entsprechender Bildwert, der durch den Bildpunkt 122 dargestellt wird, ermittelt. Wenn beispielsweise alle Bildpunkte 122 des Bildschirmes 120 einen anderen Bildwert (beispielsweise einen eigenen Grauwert oder Farbwert) darstellen und die Kamera 110 ausgebildet ist, alle dargestellten Bildwerte zu ermitteln, kann bereits durch ein einmaliges Erfassen des Bildschirmes 120 eine Kalibration sämtlicher Kamerapixel 112 erfolgen.
Dies kann unter Umständen jedoch problematisch sein. Zum einen bedarf es dazu eines Bildschirmes 120, der in der Lage ist, genauso viele Bildwerte darzustellen, wie die Kamera 110 Pixel 112 hat. Darüber hinaus ist es für eine derartige eindeutige Zuordnung erforderlich, dass die Kamera ebenfalls in der Lage ist, sämtliche dargestellten Bildwerte eindeutig zu identifizieren. Häufig ist es jedoch so, dass aufgrund realer Bedingungen eine eindeutige Identifikation des dargestellten Bildwertes nicht ohne weiteres möglich ist bzw. mit einem Fehler verbunden ist. Beispielsweise kann ein erfasster Graustufenwert sich ändern, wenn der Bildschirm näher an die Kamera gerückt ist oder weiter davon entfernt ist (die Helligkeit nimmt mit der Entfernung ab), oder andere äußere Einflüsse können dazu führen, dass eine eindeutige Identifikation des dargestellten Graustufenwertes auf dem einen Bildpunkt 122 nicht sofort möglich ist.
Diese Probleme können durch die Ausführungsbeispiele, wie sie in den 3 bis 6 dargestellt sind, vermieden werden. Dabei wird kein statisches Bild durch den Bildschirm 120 dargestellt, sondern jeder Bildpunkt 122 ändert mit der Zeit den dargestellten Bildwert BW. Die Änderung kann beispielsweise periodisch erfolgen und bei einem Durchlauf der Periode kann festgestellt werden, welcher Bildwert zum Anfang auf dem jeweiligen Bildpunkt 122 dargestellt wurde (wenn die Periode als bekannt vorausgesetzt wird).
Außerdem ist zu berücksichtigen, dass häufig die relative Position der Kamera 110 und des Bildschirmes 120 nicht bekannt sind (einschließlich deren relativen Orientierung zueinander) und dass aus der Kenntnis eines einzigen bestimmten Bildpunktes 122 der optische Pfad 118 nur dann eindeutig gegeben ist, wenn sich alle optischen Pfade in einem Punkt der Optik (oder Objektiv) 114 schneiden. Jedoch, auch wenn sich alle Pfade in einem Punkt schneiden, kennt man im Allgemeinen diesen Schnittpunkt nicht und kann keine Geraden berechnen. In einem solchen Fall könnte die Kalibration ebenfalls mit weniger Schritten erfolgen. Da diese Voraussetzungen häufig nicht zutreffen, wird die Kalibration in mehren Schritten erfolgen, was weiter unten genauer beschrieben wird (siehe 7).
3 zeigt ein Ausführungsbeispiel, bei welchem auf einem bestimmten Bildpunkt 122a mit der Zeit t verschiedene Bildwerte BW1 bis BW6 durchlaufen werden. Beispielsweise kann zu einer ersten Zeit t1 auf dem bestimmten Bildpunkt 122a ein erster Bildwert BW1 dargestellt werden. Zu einer zweiten Zeit t2 erfolgt ein Wechsel auf einen zweiten Bildwert BW2, zu einer dritten Zeit t3 erfolgt ein Wechsel auf einen dritten Bildwert BW3, usw. bis zu einer sechsten Zeit t6, wo ein Wechsel auf einen sechsten Bildwert BW6 erfolgt. Nach der sechsten Zeit t6 können die Bildwerte BW in umgekehrter Reihenfolge durchlaufen werden (z.B. wieder abnehmen), bis zur elften Zeit t11 wieder ein Wechsel auf den ersten Bildwert BW1 erfolgt.
Diese Bildwerte BW können gleichmäßig ansteigen und sich beispielsweise auf verschiedene Graustufen oder auch auf Farbwerte beziehen. Wichtig ist lediglich, dass die Bildwerte BW unterschiedlich sind, wobei es vorteilhaft ist, wenn die Wechsel zwischen den Bildwerten BW stark genug sind, sodass die Kamera 110 den Wechsel feststellen kann. Aus der Erfassung sämtlicher Bildwerte BW innerhalb der einen Periode von der ersten Zeit t1 bis zur elften Zeit t11 kann ermittelt werden, welcher Bildwert BW zum Anfangszeitpunkt auf dem entsprechenden Bildpunkt dargestellt wurde.
4 zeigt weitere Details einer derartigen Bestimmung des Bildwertes BW an den entsprechenden Bildpunkten 122 des Bildschirmes 120. Dabei sind horizontal die Bildpunkte 122 des Bildschirmes 120 dargestellt. In diesem Beispiel sind es 80 Bildpunkte. Diese 80 Bildpunkte können sich beispielsweise auf die horizontalen Bildpunkte des Bildschirmes 120 oder auf die vertikalen Bildpunkte oder auf eine beliebige andere Richtung beziehen. Diese 80 Bildpunkte sind beispielhaft in 8 Perioden p unterteilt, wobei jede Periode 10 Bildwerte zeigt.
In der 4 ist die Zeit vertikal dargestellt, so dass die 80 Bildpunkte bei einer ersten Zeit t1 das Bild 1 zeigen und zu einer zehnten Zeit t10 das Bild 10 zeigen. Jede Periode p zeigt 10 Bildwerte, angefangen im Bild 1 mit dem ersten Bildwert BW1 (weiß), dem zweiten Bildwert BW2 bis zum sechsten Bildwert BW6 (schwarz) und danach fallend vom fünften Bildwert BW5 bis wieder der erste Bildwert BW1 erreicht ist. Das Muster ist ähnlich zu dem in der 3 gezeigten Muster. Es kann jedoch bei anderen Ausführungsbeispielen anders sein.
Wenn beispielsweise ein bestimmter Bildpunkt 122a herausgegriffen wird, so zeigt dieser eine Bildpunkt 122a zu der ersten Zeit t1 den fünften Bildwert BW5. Zu Zeit t2 wechselt der Bildwert an dem Bildpunkt 122a von dem Bildwert BW5 auf den sechsten Bildwert BW6 (schwarz), zu Zeit t3 auf den fünften Bildwert BW5. Zu siebten Zeit t7 wird der erste Bildwert BW1 (weiß) dargestellt und zur zehnten Zeit t10 wird der vierte Bildwert BW4 dargestellt. Somit wird entlang der Zeitrichtung (vertikal nach unten) für jeden der Bildpunkte 122 die Periode mit der Periodenbreite 10 einmal durchlaufen. Aufgrund der Kenntnis dieser bestimmten Periode ist es möglich, festzustellen, welcher Bildwert zur Anfangszeit t1 auf dem entsprechenden Bildpunkt dargestellt wurde.
Da das Muster an Bildwerten zur Anfangszeit t1 (Periodenlänge) und die Anzahl der Perioden p auf dem Bildschirm 120 (beispielsweise in horizontaler Richtung) bekannt ist, ist es möglich, die Position jedes Bildpunktes 122 innerhalb einer Periode subpixelgenau zu bestimmen. Hierbei ist zu berücksichtigen, dass der erste Bildwert BW1 und der sechste Bildwert BW6 in jeder gezeigten Periode genau einmal vorkommt. Durch eine Bestimmung des Maximums (z.B. BW6) und des Minimums (BW1) in jeder Periode kann daher ermittelt werden, welcher Bildwert zum Anfangszeitpunkt t1 dargestellt wurde. Würde man aber nur das Minimum und Maximum bestimmen, könnte man die Zuordnung nur pixelgenau machen. Tatsächlich kann eine (Co-)Sinuskurve durch alle aufgenommenen Bildwerte gelegt und deren Verschiebung subpixelgenau bestimmt werden. Vorteilhafterweise gehen somit in die Auswertung nicht nur das Minimum und Maximum, sondern alle Bildwerte ein.
Die gezeigten sechs Bildwerte können sich beispielsweise auf Graustufen beziehen, wobei beispielsweise ein 8-Bit-Graustufenmuster darstellbar ist (d.h. ein Umfang von 256 Bildwerten von 0 (schwarze Farbe) bis zu 255 (weiße Farbe) hat).
5 zeigt ein Ausführungsbeispiel für das zuvor genannte periodische Muster. Es wurden wiederum Graustufenwerte zur Darstellung genutzt. Es können jedoch ebenso (andere) Farbwerte genutzt werden. In dem gezeigten Ausführungsbeispiel verläuft die Periodizität entlang der vertikalen Richtung, wobei in diesem Beispiel mehr als acht Perioden dargestellt sind. In weiteren Ausführungsbeispielen kann jede beliebige Anzahl von Perioden dargestellt werden. Vorteilhafterweise kann die Anzahl von Perioden derart gewählt werden, dass der Unterschied zwischen den Bildwerten innerhalb einer Periode zu benachbarten Bildpunkten so groß ist, dass sie durch die entsprechende Kamera eindeutig feststellbar ist. Beispielsweise sollte der Unterschied zwischen benachbarten Bildwerten so groß sein, dass bei einem Durchlaufen der einzelnen Bilder wie sie in der 4 zu sehen sind, die Sprünge in den Bildwerten BW1, BW2, ... eindeutig durch die Kamera festgestellt werden können. Daher kann die Anzahl der Perioden in Abhängigkeit von der konkreten Kamera (z.B. deren Auflösungsvermögen) bzw. des Bildschirms und den äußeren Bedingungen gewählt werden.
Wie zuvor erwähnt, ist es bisher noch nicht möglich, zu bestimmen, in welcher Periode (z.B. in welcher der acht Perioden aus der 4) sich der bestimmte Bildpunkt 122a befindet. Dies kann beispielsweise durch ein Erfassen von zumindest einem weiteren Bildpunkt geschehen, für den der genaue horizontale und vertikale Periodenversatz auf dem Bildschirm bekannt ist. Die absolute Periodenlage einer Periode ist bekannt, wenn dieser eine Punkt bekannt ist. Mithilfe des bekannten Periodenmusters können aus der absoluten Periodenlage einer bestimmten Periode die Periodenversätze aller anderen Perioden relative zu der bekannten Periode bestimmt werden. Somit sind die (absoluten) Positionen aller Bildschirmpunkte bekannt.
Dies kann beispielsweise durch ein Muster (Eichmuster) geschehen, wie es in 6 zu sehen ist. Dabei wird auf dem Bildschirm 120 (vor einem Hintergrund 220) ein Muster gezeigt, welches einen bestimmten Bildwert an einem Bildpunkt 124 (Eichbildpunkt) darstellt. Optional kann anstatt eines Bildpunktes auch eine vorbestimmte Anzahl von Bildpunkten (beispielsweise benachbarte Bildpunkte) dazu genutzt werden. In dem gezeigten Ausführungsbeispiel der 6 ist der Eichbildpunkt 124 in der vierten vertikalen Periode und der sechsten horizontalen Periode gezeigt.
Wenn dieses Muster jetzt durch die Kamera 110 erfasst wird, wird nur ein Pixel oder eine fest vorgeschriebene Menge an Pixeln den Eichbildpunkt 124 erfassen. Wenn der Eichbildpunkt mehrere Pixel umfasst, kann ein Mittelpunkt 125 ermittelt werden, der dann nur einem Kamerapixel zugeordnet werden kann. Wenn dies erreicht ist, steht somit fest, dass der eine Kamerapixel, der den Eichbildpunkt 124 (oder dessen Mittelpunkt 125) erfasst hat, in Richtung der beispielshaften vierten vertikalen Periode und sechsten horizontalen Periode „schaut“ (oder dessen Mittelpunkt 125) und ist somit kalibriert. Nachdem die absolute Phasenlage (d.h. nicht nur innerhalb einer Periode) des Bildpunktes 124 mit dem einen Eichbildwert genau auf dem Bildschirm 120 erfasst wurde, ist die Phasenlage des Bildpunktes 124 bekannt. Aus der Periodizität kann auch der Phasenversatz für diese Periode, zum Beispiel ausgehend von einem Bildschirmrand eindeutig ermittelt werden. Mit dem bekannten periodischen Muster ist die Position jeder anderen Periode relativ zu der einen bekannten Periode ebenfalls bekannt. Somit ist für alle weiteren Pixel ebenfalls bekannt, in welche Periode sie bei der vorherigen Bestimmung „geschaut“ haben.
Wenn dies nicht der Fall ist, kann aus der bisherigen Zuordnung Pixel-Bildpunkt noch keine eindeutige Richtung für den Pixel bestimmt werden. Die eindeutige Bestimmung einer Geraden ist nur dann möglich, wenn zumindest zwei Punkte bestimmt werden, durch die die Gerade verläuft. Ebenso ist zu beachten, dass sämtliche Lichtstrahlen, die von dem Bildschirm 120 ausgehen und auf der Projektionsebene 113 in der Kamera 110 projiziert wurden, sich nicht notwendigerweise in einem Punkt schneiden müssen (in jeder realen Kamera ist dies nicht der Fall). Daher lässt sich die Gerade durch die Ermittlung eines einzigen Punktes noch nicht eindeutig fixieren. Vielmehr ist es erforderlich zumindest einen zweiten Punkt zu identifizieren, der sich in einem anderen Abstand zu der Kamera 110 befindet.
Dies kann durch ein Verfahren, wie es in der 7 dargestellt ist, erfolgen. Die erste (oder irgendeine andere) Position des Bildschirmes 120 definiert ein globales (Kalibrations-)Koordinatensystem. Beispielsweise so, dass der Bildschirm 120 in der x, y-Ebene liegt und die z-Richtung die Flächennormale darstellt.
In diesem Ausführungsbeispiel empfängt die Kamera 110 ein Lichtsignal 118 von einem bestimmten Bildpunkt 122a auf dem Bildschirm 120. Die Kamera 110 detektiert den dargestellten Graustufenwert (oder jeden anderen Bildwert) anhand des Durchlaufes des periodischen Musters (siehe 4 und 5). Der Periodenversatz kann durch Nutzung des Eichmusters, wie es in der 6 gezeigt ist, ermittelt werden.
Nun wird der Bildschirm 120 entlang einer Richtung z_s in eine neue Position 120i verschoben (und/oder gedreht) und die zuvor beschriebene Vorgehensweise wiederholt (siehe 4 bis 6). Die Verschiebungsrichtung z_s ist nicht notwendigerweise parallel zur z-Achse, wobei die z-Achse als die Richtung parallel zur Flächennormalen auf dem ursprünglichen Bildschirm 120 (vor dem Verschieben) definiert werden kann. Als Resultat wird für die neue Bildschirmposition 120i wiederum ein Bildschirmpunkt 122i bestimmt, der auf dem gleichen Pixel 112a in der Kamera 110 projiziert wird. Durch eine Ermittlung der x- und y-Koordinaten des neuen Bildschirmpunktes 122i ist es möglich, eine Gerade durch den Bildschirmpunkt 122 und dem Bildschirmpunkt 122i zu ziehen und somit eindeutig die Richtung oder optischen Pfad 118 zu definieren.
Optional ist es ebenfalls möglich, diese Schritte für weitere verschobene Bildschirmpositionen zu wiederholen, sodass zu jedem Pixel 112 eine Vielzahl von Positionen im 3D-Raum ermittelt werden können. Die erhaltenen Positionen können nun interpoliert bzw. durch eine Gerade angenähert werden, um so die Kalibration zu erhalten.
Wenn die Verschiebung nicht parallel zur z-Achse (z.B. Flächennormalen des Bildschirms) erfolgte, kann ein relativer Winkel des Bildschirmes zur z-Achse (d.h. die z_s-Richtung) wie folgt bestimmt werden. Zunächst wird die Gerade 118 wie zuvor beschrieben durch Messungen für zumindest zwei Entfernungen von der Kamera bestimmt. Die Genauigkeit kann weiter erhöht werden, indem wie gesagt zusätzliche Entfernungen des Bildschirmes 120i (i = 1, 2, ...) von der Kamera 110 genommen werden, um so eine möglichst genaue Bestimmung der Gerade 118 zu erreichen. Nachdem die Gerade 118 für den derart orientierten Bildschirm 120 bestimmt wurde, wird der Bildschirm 120 um einen vorbestimmten Winkel gedreht und entlang der gedrehten Achse wiederum relativ zu der Kamera 110 verschoben. Die Messung wird für ein solches gedrehtes Koordinatensystem wiederholt. Da ein gegebenes Kamerapixel 112 immer noch in die gleiche Richtung schaut und die Kamera 110 selbst nicht geändert wurde, ist es durch einen Vergleich der ersten Anordnung zur zweiten, gedrehten Anordnung möglich, die relative Lage und Orientierung des Bildschirmes 120i zu dem Koordinatensystem, welches durch die erste Bildschirmposition 120 definiert ist, zu bestimmen. Danach können alle von einem Kamerapixel gesehenen Bildpunkte 122, die von verschiedenen Bildschirmpositionen stammen, im gleichen, durch die erste (oder irgendeine andere) Bildschirmposition festgelegten Koordinatensystem dargestellt und die zugehörige Gerade 118 berechnet werden.
Das vorgestellte Verfahren kann auch wie folgt zusammengefasst werden.
Die 5 zeigt eine Momentaufnahme eines Monitorbildes zur Kalibration der Kamera 110. Die Kamera 110 wird beispielsweise derart positioniert, dass der Monitor 120 durch die Kamera 110 sichtbar ist. Auf dem Monitor 120 kann beispielsweise ein horizontales periodisches Muster (beispielsweise in Form einer Sinusfunktion) als Kalibrationsmuster angezeigt werden (siehe 7). Dieses Muster wird in äquidistanten Schritten (beispielsweise vier bis beliebig viele, vorzugsweise acht bis zehn), um insgesamt eine Periode weitergerückt. Jedes Pixel der Kamera 110, welches den Monitor 120 gerade sieht, sieht aufgrund der Verschiebung nun eine um eine bestimmte Phase verschobene Grauwertschwingung. Diese Phasenverschiebung (zwischen 0 und 2 π) lässt sich aus den aufgenommenen Grauwerten zurückberechnen. Da der Monitor 120 mehrere Grauwertperioden anzeigt, ist es abschließend lediglich erforderlich, die Phasenlage zu ermitteln. Dies kann mittels der Anzeige eines weiteren Bildes (des Eichbildes, wie es in der 6 gezeigt ist) geschehen. Dieses Eichbild umfasst eine Markierung einer bekannten Phasenlage, die beispielsweise die Mitte des Bildschirmes 120 sein kann oder auch jeden beliebigen anderen Punkt des Bildschirmes umfassen kann – sie sollte nur genau bekannt sein. Anschließend ist es möglich, benachbarte Phasen problemlos zu bestimmen. Die gezeigten Schritte können ebenfalls vertikal wiederholt werden, so dass ebenfalls eine Kalibration hinsichtlich der vertikalen Richtung möglich ist.
Aus der horizontalen und vertikalen absoluten Phasenlage ist es nun möglich, subpixelgenau das Monitorpixel 122 zu ermitteln, welches von einem bestimmten Kamerapixel 112 gesehen wurde. Die Monitor-Bildschirmposition kann dann ebenfalls in mm umgerechnet und in einem Weltkoordinatensystem W angegeben werden. Der Ursprung des Weltkoordinatensystems W kann beispielsweise im Mittelpunkt des Monitors 120 liegen, wobei die x-Achse nach rechts und die y-Achse nach unten zeigt, und die z-Achse senkrecht darauf steht, d.h. eine Flächennormale der Monitorebene ist (in der 7 nach hinten). Dies bezieht sich auf eine erste Position des Monitors 120, in der jedem Kamerapixel (n, m) eine erste Weltkoordinate x_0W(n,m) zugeordnet wird.
Weiter ist es möglich, zusätzliche Monitorpositionen zu wählen, deren Lagen im Weltkoordinatensystem W bekannt sind, oder sich aus weiteren Daten rückberechnen lassen. Eine dieser Möglichkeiten kann wie folgt skizziert werden:
Der Monitor 120 (oder gleichbedeutend die Kamera 110) wird auf einer Linearführungsschiene um einen bestimmten Betrag δ_zS beispielsweise in eine unbekannte Richtung verschoben. Die dem Monitorpixel 122 zugeordneten x- und y-Werte werden wie gehabt berechnet, wobei die z-Koordinate aber entlang der unbekannten Verschiebungsrichtung gemessen wird. Dies definiert ein neues, geschertes Koordinatensystem S mit nicht-rechtwinkliger z-Achse (siehe 7), da die Verschiebungsrichtung im Allgemeinen nicht-parallel zur z-Achse ist. Der Ursprung, die x-und y-Richtung von S stimmen mit dem Weltkoordinatensystem W überein. Für z = 0 stimmen die beiden Koordinatensysteme also überein, wobei folgende Beziehung gilt: x_0W(n,m) = x_0S(n,m).
Anschließend können weitere 3D-Punkte aufgenommen werden, die auf ein bestimmtes Pixel abgebildet werden. Man erhält somit x_iS(n,m) mit 0 ≤ i ≤ N – 1, wobei N die Anzahl der verwendeten Monitorpositionen ist. Im Falle eines festen Kamerafokus kann nun für jedes Kamerapixel (n, m) eine Regressionsgerade durch die Positionen x_iS(n,m) berechnet werden. Im Falle eines Autofokus können schlicht die Werte x_iS(n,m) selbst gespeichert werden. Die Kamera 110 ist nun im gescherten Koordinatensystem S kalibriert.
Die fehlende Transformation zwischen dem gescherten Koordinatensystem S und dem Weltkoordinatensystem W, die dazu genutzt werden kann, die Kalibration in ein rechtwinkliges Koordinatensystem zu transformieren, kann durch eine Aufnahme weiterer Monitorpositionen ermittelt werden. Diese weiteren Monitorpositionen sind nicht parallel zu den Kalibrationspositionen. Bestenfalls wird der Monitor 120 schlicht um einen bestimmten Winkel um seine vertikale Symmetrieachse gedreht und wiederum auf der Linearführungsschiene verschoben. Die unbekannte Richtung z_S kann nun aus diesen Daten bestimmt werden.
Es ist nicht zwingend erforderlich, alle Kamerapixel 112 gleichzeitig zu kalibrieren. Bei stark verzerrenden Optiken kann es sein, dass der Monitor 120 nicht das ganze Kamerabild ausfüllt. Dann werden immer nur Teilbereiche der Kamera 110 kalibriert, wobei die einzelnen Teilbereiche sich überlappen. Mittels eines sogenannten „Stitching“, also dem passgenauen Aneinanderfügen der Teilkalibrationen, kann dann wieder die Kalibration in einem gemeinsamen Koordinatensystem erreicht werden.
Im Unterschied zu den konventionellen Verfahren wird also zur Bestimmung der Abbildungseigenschaften der Kamera 110 kein statisches (ausgedrucktes) Kalibrationsmuster mehr verwendet, sondern ein handelsüblicher Bildschirm (Monitor, Fernseher) mit möglichst hoher Auflösung, der es erlaubt, beliebige Kalibrationsmuster zu erzeugen.
Weiterhin wird der Kalibration kein Modell mehr zu Grunde gelegt, dessen Parameter es zu bestimmen gilt. Es wird schlicht für jedes einzelne Pixel der Kamera 110 (ca. 1 bis 5 Millionen) bestimmt, welche Weltpunkte es sieht. Das Resultat der Kalibration ist somit ein Look-Up-Tabelle, in der für jedes Kamerapixel 112 eine Menge von Punkten gespeichert ist, die auf dieses Pixel abgebildet werden. lm einfachsten Fall handelt es sich dabei jeweils um Geraden, beispielsweise wenn der Kamera-Fokus bei der Kalibration nicht verändert wurde.
Das offenbarte Verfahren bietet insbesondere die folgenden Vorteile:

(i) Die Anzahl der Punktkorrespondenzen, die zur Bestimmung der Abbildungseigenschaften des Gesamtsystems aus Kamera, Linsen und optischen Elementen verwendet wird, ist bei diesem Verfahren deutlich größer. Beispielsweise kann es sich auf ein Vielfaches der Anzahl von Kamerapixeln, also mehrere Millionen beziehen, im Vergleich zu 100 bis 1000 bei konventionellen Verfahren, die auf einem Modell basieren. Die Zeit zur Bestimmung dieser Korrespondenzen ist dabei von vergleichbarer Größenordnung.
(ii) Jedes Pixel der Kamera wird einzeln kalibriert. Dies garantiert höchste Präzision bis in die Randbereiche des Kamerabildes und somit deutlich bessere Resultate bei der Verwendung der Kalibration in der Bildverarbeitung.
(iii) Es lassen sich auch optisch komplizierte Systeme aus Kamera, Linsen und optischen Eigenschaften (beispielsweise Spiegeln) kalibrieren. Somit entstehen neue, unkonventionelle Lösungen.

Die in der Beschreibung, den Ansprüchen und den Figuren offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der Erfindung wesentlich sein.
Bezugszeichenliste

110: Kamera
112a, b: Kamerapixel
113: Bildebene der Kamera
114: Optik
118: optischer Pfad
120: Bildschirm
120i: Bildschirm in veränderter Position
122a, b: Bildpunkte
122i: Bildpunkte auf Bildschirm in veränderter Position
124: festes Bildmuster, Eichbildpunkt
125: Mittelpunkt des Eichbildpunktes
220: Hintergrund
501..503: Eichbildpunkte eines konventionellen Musters
BW: Bildwerte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102011031215 [0008]
DE 19727281 C1 [0008]

Zitierte Nicht-Patentliteratur

R.Y. Tsai: „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology using Off-the-Shelf TV Cameras and Lenses” [0006]
Z. Zhang: “A Flexible New Technique for Camera Calibration” [0006]

Claims

Verfahren zur Kalibration einer Kamera (110) unter Nutzung eines Bildschirmes (120), wobei der Bildschirm (120) eine Menge von Bildpunkten (122) aufweist und die Kamera (110) eine Vielzahl von Pixeln (112) zur Darstellung eines Bildes nutzt, mit folgenden Schritten (a) Darstellen zumindest eines Bildwertes (BW) in zumindest einem Bildpunkt (122) des Bildschirms (120) basierend auf einer Bildwertzuweisung; (b) Erfassen des zumindest einen Bildwertes (BW) durch einen Pixel (112a) der Kamera (110); und (c) Bestimmen der Position des zumindest einen Bildpunktes (122) auf dem Bildschirm (120) basierend auf dem zumindest einen erfassten Bildwert (BW) und der Bildwertzuweisung.
Verfahren nach Anspruch 1, wobei der zumindest eine Bildwert (BW) ein Graustufenwert oder ein Farbwert eines Digitalbildes ist und die Bildwertzuweisung jeweils benachbarten Bildpunkten (122) des Bildschirms (120) verschiedene Bildwerte (BW) aus einer Vielzahl von Bildwerten (BW) derart zuweist, dass in zumindest einem Teil des Bildschirmes (120) eine eindeutige Zuweisung von Bildwerten (BW) eine Ortsbestimmung basierend auf den zugewiesenen Bildwerten (BW) ermöglicht.
Verfahren nach Anspruch 2, wobei die Schritte (a) bis (c) für eine horizontale Positionsbestimmung und für eine vertikale Positionsbestimmung unabhängig voneinander ausgeführt werden.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der Schritt (a) ein Darstellen zumindest einer Periode eines periodischen Musters von Bildwerten (BW) auf dem Bildschirm (120) umfasst, und wobei der Bildwert (BW) ein Bildwert (BW) aus dem periodischen Muster ist und der Schritt (b) weiter folgende Schritte umfasst: (b1) Ändern des Bildwertes (BW5) auf einen geänderten Bildwert (BW6), der Teil des periodischen Musters von Bildwerten (BW) ist; (b2) Erfassen des geänderten Bildwertes (BW6) durch die Kamera; und (b3) Ermitteln eines Unterschiedes zwischen dem erfassten Bildwert (BW5) und dem erfassten geänderten Bildwert (BW6) für den zumindest einen Bildpunkt (122), wobei der Schritt (c) ein Bestimmen der Position innerhalb einer Periode und somit einer Phasenlage in einer Periodenrichtung des periodischen Musters für den zumindest einen Bildpunkt (122) basierend auf dem ermittelten Unterschied umfasst.
Verfahren nach Anspruch 4, das weiter die folgenden Schritte umfasst: (d) Drehen des periodischen Musters von Bildwerten (BW) auf dem Bildschirm (120) um einen vorbestimmten Winkel; und (e) Wiederholen der Schritte (b1) bis (b3) für das gedrehte periodische Muster.
Verfahren nach Anspruch 4 oder 5, wobei im Schritt (a) eine Vielzahl von Perioden des periodischen Musters dargestellt werden und das Verfahren weiter die folgenden Schritte umfasst: (f) Darstellen eines festen Bildmusters (124) mit einer vorgegebenen Position auf dem Bildschirm (120), wobei jede Periode aus der Vielzahl von Perioden einen Periodenversatz relativ zu dem festen Bildmuster aufweist; (g) Erfassen des festen Bildmusters (124) durch zumindest einen bestimmten Pixel (112a) der Kamera (110); (h) Zuordnen der vorgegebenen Position zu dem zumindest einen bestimmten Pixel (112a); und (i) Bestimmen des Periodenversatzes der Periode, für die im Schritt (c) die Position bestimmt wird, basierend auf der vorgegebenen Position und der im Schritt (c) bestimmten Position des zumindest einen bestimmten Pixels (112a).
Verfahren nach einem der Ansprüche 4 bis 6, wobei sich das periodische Muster nur auf einen Teil der Kamera (110) erfasst wird und das Verfahren weiter ein Verschieben des periodischen Musters in einen anderen Teil der Kamera (110) umfasst, wobei der Teil und der anderen Teil der Kamera (110) teilweise überlappen; und ein Anpassen einer Kalibration für den Teil der Kamera (110) an eine Kalibration für den anderen Teil der Kamera (110) umfasst, sodass eine gemeinsame Kalibration für eine Vereinigung des Teils und des anderen Teils der Kamera (110) erhalten wird.
Verfahren nach einem der vorhergehenden Ansprüche, das weiter folgende Schritte umfasst: (j) Verschieben des Bildschirmes (120) oder der Kamera (110) in eine Richtung um einen Betrag, sodass der zumindest eine Bildpunkt (122) eine andere Entfernung zu dem Pixel (112a) der Kamera (110) aufweist als vor dem Verschieben, und (g) Wiederholen zumindest der Schritte (b) und (c) für den verschobenen Bildschirm (120i).
Verfahren nach Anspruch 8, das weiter die folgenden Schritte umfasst: Drehen des Bildschirmes (120) um einen vorbestimmten Winkel; Wiederholen der Schritte (j) bis (g) für die gedrehte Bildschirmposition; und Ermitteln der Richtung der Verschiebung des Bildschirmes (120) aus dem Schritt (j) basierend auf einem Vergleich zwischen einem Resultat, welches in der ungedrehten Position erhalten wurde, mit einem Resultat, welches in der gedrehten Bildschirmposition erhalten wurde.
Verfahren nach Anspruch 8 oder Anspruch 9, wobei die Kamera (110) während der Schritte (b), (b2), (g) des Erfassens einen festen Fokus aufweist und das Verfahren weiter ein Berechnen einer Regressionsgerade für den Pixel (112) und ein Abspeichern von Zuordnungsinformation über die Regressionsgerade und dem Pixel (112a) umfasst.
Verfahren nach Anspruch 8 oder Anspruch 9, wobei die Kamera (110) einen variablen Fokus beim Verschieben des Bildschirmes (120) relativ zu der Kamera (110) aufweist, und das Verfahren weiter ein Abspeichern einer Zuordnung bezüglich des Pixels (112) und der Positionen des zumindest einen Bildpunktes (122) für verschiedene verschobene Bildschirmpositionen (120i) umfasst.
Verfahren nach einem der Ansprüche 3 bis 11, das weiter ein Abspeichern einer Zuordnung in einer Tabelle, wobei die Zuordnung für jedes Pixel (112) aus der Vielzahl von Pixeln (112) mehrere Positionsdaten der erfassten Bildpunkte (122) in verschiedenen Entfernungen zuordnet.
Verfahren nach einem der Ansprüche 3 bis 12, wobei der Bildschirm (120) eine Frontscheibe aufweist und das Verfahren weiter ein Korrigieren von Verzerrungen, die durch die Frontscheibe verursacht werden, umfasst.
Verwendung eines Displays (120) zum Kalibrieren einer Kamera (110).
Vorrichtung zum Steuern einer Kalibration einer Kamera (110), die eine Vielzahl von Pixeln (112) zur Darstellung des Bildes nutzt, unter Nutzung eines Bildschirmes (120), wobei der Bildschirm (120) eine Menge von Bildpunkten (122) aufweist, mit folgenden Merkmalen: ein Ausgabemodul, das ausgebildet ist, um den Bildschirm (120) anzusteuern, sodass der Bildschirm (120) zumindest einen Bildwert (BW) in zumindest einem Bildpunkt (122) basierend auf einer Bildwertzuweisung darstellt; ein Eingabemodul, das ausgebildet ist, um zumindest einen durch die Kamera (110) erfassten Bildwert (BW) einzugeben; und ein Verarbeitungsmodul, das ausgebildet ist, um die Position des zumindest einen Bildpunktes (122) basierend auf dem zumindest einem erfassten Bildwert (BW) und der Bildwertzuweisung zu bestimmen.
Computerprogrammprodukt mit einem darauf gespeicherten Computerprogramm, welches ausgebildet ist, um die Vorrichtung nach Anspruch 15 zu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen, wenn es auf einem Prozessor läuft.