DE102007021107B4

DE102007021107B4 - Vorrichtung und Verfahren zum Bestimmen des Hauptpunktes eines Kamerasystems

Info

Publication number: DE102007021107B4
Application number: DE102007021107.6A
Authority: DE
Inventors: Dr. Horber Harald; Dr. Walter Michael
Original assignee: ADC Automotive Distance Control Systems GmbH
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2007-05-03
Filing date: 2007-05-03
Publication date: 2016-11-17
Anticipated expiration: 2027-05-04
Also published as: DE102007021107A1

Abstract

Vorrichtung (100) zur Bestimmung eines Hauptpunktes eines Kamerasystems (102), der ein Zentrum der optischen Abbildung auf einem Bildaufnehmer des Kamerasystems darstellt, umfassend: – eine Erfassungseinrichtung (112) zum Erfassen einer realen Position einer Kalibriermarke in Weltkoordinaten; – eine Detektiereinrichtung (114) zum Detektieren einer abgebildeten Position der Kalibriermarke in Bildkoordinaten; – eine Ermittlungseinrichtung (116) zum Ermitteln eines Kameramodells aus der abgebildeten Position unter Einbeziehung eines angenommenen Hauptpunktes; dadurch gekennzeichnet, dass die Vorrichtung ferner umfasst – eine Berechnungseinrichtung (118) zum Berechnen einer berechneten Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des Kameramodells für eine Rückprojektion der realen Position; und – eine Vergleichseinrichtung (120) zum Vergleichen der abgebildeten Position mit der berechneten Position und zum Bereitstellen eines Fehlermaßes des angenommenen Hauptpunktes abhängig von einem Vergleichsergebnis.

Description

Die Erfindung betrifft eine Vorrichtung sowie ein Verfahren zur Bestimmung des Hauptpunktes eines Kamerasystems gemäß Anspruch 1 bzw. 14.
Für Fahrerassistenzsysteme werden zunehmend Kamerasysteme verbaut, welche die Umgebung vor bzw. hinter einem Fahrzeug erfassen und möglichst genau, d. h. maßstabsgetreu abbilden sollen. Wenn eine Kamera eines Fahrerassistenzsystems zur Vermessung von Objekten in ihrer Umgebung eingesetzt wird, ist eine möglichst „verzerrungsfreie” Abbildung der Umgebung wichtig. Hierfür wird in der Regel eine Kalibrierung einer Kamera durchgeführt, insbesondere unter Einsatz eines Kameramodells bzw. Abbildungsmodells eines Kamerasystems, das in ein Steuergerät eingebaut sein kann.
Für das Kameramodell ist es erforderlich, dass Modellparameter der Kamera bekannt sind. Beispiele für solche Modellparameter sind der mechanische und optische Aufbau des Kamerasystems sowie die Position und Einbaulage in einem Fahrzeug oder einem Steuergerät. Diese Modellparameter werden in der Regel in einem Kalibriervorgang ermittelt. Bei den Modellparametern wird zwischen extrinsischen und intrinsischen Parametern unterschieden. Extrinsische Parameter sind insbesondere alle Parameter, welche die Einbaulage und Position des Kamerasystems beschreiben. Intrinsische Parameter beschreiben systeminterne Parameter des Abbildungssystems.
Der Hauptpunkt des Kamerasystems bzw. eines Steuergerätes, in welches das Kamerasystem integriert ist, ist beispielsweise ein solcher intrinsischer Parameter und stellt ein Zentrum der optischen Abbildung auf den Bildaufnehmer oder Imager einer Kamera dar. Die Position des Hauptpunktes kann bezüglich des von der Algorithmik des Kamerasystems angenommenen Zentrums ausgedrückt werden. Im Idealfall stellt der Hauptpunkt den Durchstoßpunkt der optischen Achse durch die Fläche des Bildaufnehmers dar. Real kann die Position des Hauptpunktes zusätzliche mechanische oder optische Toleranzen des Kamerasystems bzw. Steuergerätes enthalten. Bei solchen Toleranzen kann es sich um eine zusätzliche Verkippung der optischen Achse oder inhomogene Verzeichnung handeln.
In der Realität erweisen sich Kalibrierverfahren, mit denen sich intrinsische und extrinsische Parameter eines Kamerasystems bestimmen lassen, häufig als wenig robust und aufgrund einer großen Zahl an Freiheitsgraden sehr sensitiv gegenüber Messungenauigkeiten und daraus resultierenden lokalen Minima.
In der Veröffentlichung „High precision camera calibration in vision measurement”, Song, Li Mei et. al., Optics & Laser Technology 39, 2007, S. 1413–1420, ist das Erstellen eines Abbildungsmodells eines Kameramodells mittels eines Algorithmus bekannt.
Aus der DE 102 29 336 A1 ist ein Verfahren zur Kalibirierung von Bildsensorsystemen bekannt, das einen Lagebezugs-Sensor, beispielsweise einen. im Fahrzeug verbauten Radarsensor zum Ermitteln der Lage und/oder der Ausrichtung eines Kalibrierobjekts und eines Bildsensorsystems zueinander benötigt.
Die DE 10 2005 035 678 A1 beschäftigt sich mit der Ausgestaltung eines Kalibriermusters und erwähnt einen Kalibrierungsalgorithmus, ohne aber Details zu diesem Algorithmus zu erläutern.
Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte Vorrichtung sowie ein verbessertes Verfahren zur Bestimmung des Hauptpunktes eines Kamerasystems zu schaffen.
Diese Aufgabe wird durch eine Vorrichtung zur Bestimmung des Hauptpunktes eines Kamerasystems mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 14 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Ein wesentlicher Gedanke der Erfindung besteht nun darin, dass zur Bestimmung des Hauptpunktes ein spezieller Algorithmus, insbesondere ein Algorithmus zur Bestimmung von extrinsischen Parametern des Kamerasystems verwendet wird. Ein solcher für die vorliegende Erfindung geeigneter Algorithmus ist beispielsweise in ”An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”, Roger Y. Tsai, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pages 364–374 (im Folgenden kurz als Tsai bezeichnet) beschrieben. Mit Hilfe des Algorithmus kann ein Abbildungsmodell des Kamerasystems erstellt werden. Erfindungsgemäß ist es nun möglich, durch eine Anwendung einer Transformation mit dem Abbildungsmodell, eine theoretische Abbildung von Kalibriermarkierrungen mit realen Abbildungen der Kalibriermarkierrungen auf dem Bildaufnehmer oder Imagerchip einer Kamera zu vergleichen. Vorteilhafterweise können durch eine geeignete Wahl des Hauptpunktes des Abbildungsmodells die real vorliegenden Abbildungsverhältnisse optimal im Abbildungsmodell nachgebildet werden. Das Abbildungsmodell kann dabei unbekannte mechanische Toleranzen des Kamerasystems beinhalten. Der erfindungsgemäße Ansatz macht sich den Vorteil zu Nutze, dass sowohl der für die Transformation oder Rückprojektion als auch der für die Kamerakalibrierung erforderliche Algorithmus ohnehin in vielen Kamerasystemen vorhanden ist und für die Zwecke der Erfindung, insbesondere nach entsprechender Modifikation verwendet werden kann. Erfindungsgemäß führt eine Kombination beider Algorithmen zu einer Minimierung eines Fehlers des Abbildungsmodells und zur Bestimmung einer möglichst korrekten Hauptpunktlage.
Im Folgenden werden zunächst einige der in der Beschreibung verwendeten Begriffe näher erläutert.
Bei einem „angenommene Hauptpunkt” handelt es sich typischerweise nicht bereits um den korrekten Hauptpunkt des Kamerasystems, sondern um einen beispielsweise versuchsweise angesetzten Wert eines Hauptpunktes. Weicht der Wert des angenommen Hauptpunktes nicht oder nur geringfügig von dem korrekten Hauptpunkt ab, so kann er für die Erstellung des Kameramodells geeignet sein.
Bei einer „Kalibriermarke” kann es sich um ein vor dem Kamerasystem angeordnetes Kalibriermuster handeln, das geeignet ist, um das Kamerasystem zu kalibrieren und das Kameramodell zu erstellen. Zur Kalibrierung wird die Kalibriermarke von dem Kamerasystem erfasst und beispielsweise auf dem Bildaufnehmer des Kamerasystems detektiert.
Eine „reale Position” der Kalibriermarke außerhalb des Kamerasystems kann in „Weltkoordinaten” eines Weltkoordinatensystems angegeben werden. Eine „abgebildete Position” der Kalibriermarke auf den Bildaufnehmer kann in „Bildkoordinaten” eines Bildkoordinatensystems angegeben werden.
Ein wesentlicher Vorteil der erfindungsgemäßen Vorrichtung besteht darin, dass unbekannte Einflussgrößen und Toleranzen des Kamerasystems berücksichtigt werden können. Dadurch kann ein möglichst korrekter Hauptpunkt mit hoher Genauigkeit bestimmt werden. Dies ermöglicht eine optimal auf die reale Abbildung angepasste Parametrierung des Kameramodells.
Die vorliegende Erfindung betrifft nun gemäß einer Ausführungsform eine Vorrichtung zur Bestimmung eines Hauptpunktes eines Kamerasystems, der ein Zentrum der optischen Abbildung auf einem Bildaufnehmer des Kamerasystems darstellt, umfassend:

– eine Erfassungseinrichtung zum Erfassen einer realen Position einer Kalibriermarke in Weltkoordinaten;
– eine Detektiereinrichtung zum Detektieren einer abgebildeten Position der Kalibriermarke in Bildkoordinaten;
– eine Ermittlungseinrichtung zum Ermitteln eines Kameramodells aus der abgebildeten Position unter Einbeziehung eines angenommenen Hauptpunktes.

Erfindungsgemäß umfasst die Vorrichtung ferner

– eine Berechnungseinrichtung zum Berechnen einer berechneten Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des Kameramodells für eine Rückprojektion der realen Position; und
– eine Vergleichseinrichtung zum Vergleichen der abgebildeten Position mit der berechneten Position und zum Bereitstellen eines Fehlermaßes des angenommenen Hauptpunktes abhängig von einem Vergleichsergebnis.

Gemäß einer weiteren Ausführungsform der Erfindung kann die Ermittlungseinrichtung ausgebildet sein, um ein weiteres Kameramodell aus der abgebildeten Position unter Einbeziehung eines weiteren angenommenen Hauptpunktes zu ermitteln, kann die Berechnungseinrichtung ausgebildet sein, um eine weitere berechnete Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des weiteren Kameramodells zu berechnen, kann die Vergleichseinrichtung ausgebildet sein, um die abgebildete Position mit der weiteren berechneten Position zu vergleichen und ein weiteres Fehlermaß des weiteren angenommenen Hauptpunktes abhängig von einem weiteren Vergleichsergebnis bereitzustellen, und kann die Vorrichtung ferner eine Auswahleinrichtung aufweisen zum Auswählen des angenommenen oder des weiteren angenommenen Hauptpunktes als korrekten Hauptpunkt, abhängig von dem Fehlermaß und dem weiteren Fehlermaß. Auf diese Weise lässt sich aus einer Vielzahl angenommener Hauptpunkte derjenige herausfiltern, der den geringsten Fehler aufweist. Durch ein iteratives Verfahren lässt sich somit ein Hauptpunkt bestimmen, der möglichst korrekt ist, d. h. einem idealen Hauptpunkt möglichst nahe kommt.
Gemäß einer weiteren Ausführungsform der Erfindung kann die Ermittlungseinrichtung ausgebildet sein, um den weiteren angenommenen Hauptpunkt unter Einbeziehung des Fehlermaßes des angenommenen Hauptpunktes bereitzustellen. Dies ermöglicht eine iterative Bestimmung des korrekten Hauptpunktes.
Die Ermittlungseinrichtung kann ferner gemäß einer Ausführungsform einer Erfindung ausgebildet sein, um mindestens einen extrinsischen Parameter des Kamerasystems zur Ermittlung des Kameramodells zu ermitteln. Dadurch können vorteilhafterweise bereits bekannte und verwendete Algorithmen zur Bestimmung des Kameramodells eingesetzt werden. Beispielsweise handelt es sich dabei um Algorithmen, die zur Ermittlung des Kameramodells extrinsische Parameter des Kamerasystems berechnen.
Gemäß einer weiteren Ausführungsform der Erfindung kann die Ermittlungseinrichtung ausgebildet sein, um mindestens einen Lagewinkel des Kamerasystems zur Ermittlung des Kameramodells zu ermitteln. Dadurch können vorteilhafterweise bereits bekannte und verwendete Algorithmen zur Bestimmung des Kameramodells eingesetzt werden. Beispielsweise handelt es sich dabei um Algorithmen, die zur Ermittlung des Kameramodells Lagewinkel des Kamerasystems berechnen.
Weiterhin kann die Ermittlungseinrichtung gemäß einer Ausführungsform der Erfindung ausgebildet sein, um eine Translation der abgebildeten Position um den angenommenen Hauptpunkt durchzuführen, um eine verschobene Position der Kalibriermarke zu ermitteln. Eine Translation ist vorteilhaft, um mit einfachen Mitteln eine Verschiebung der in Bildkoordinaten vorliegenden abgebildeten Position durchzuführen.
In einer weiteren Ausführungsform der Erfindung kann die Ermittlungseinrichtung ausgebildet sein, um die verschobene Position mit einer Linsenverzeichnung des Kamerasystems zu entzerren. Auf diese Weise lässt sich eine Verzeichnung der Linse des Kamerasystems bei der Ermittlung des Kameramodells und des Hauptpunktes berücksichtigen.
Gemäß einer Ausführungsform kann die Berechnungseinrichtung ausgebildet sein, um eine Projektion durchzuführen, um die reale Position auf die berechnete Position zu projizieren. Eine Projektion ist vorteilhaft, um mit einfachen Mitteln eine Abbildung der in Weltkoordinaten vorliegenden realen Position auf die in Bildkoordinaten vorliegende berechnete Position durchzuführen.
Gemäß einer Ausführungsform kann die Berechnungseinrichtung ausgebildet ist, um die berechnete Position basierend auf der Gleichung x _i = R(x _w – t) + c, zu berechnen, wobei

– x _c die berechnete Position in Bildkoordinaten,
– R eine Rotationsmatrix,
– x _w die reale Position in Weltkoordinaten,
– t ein Translationsvektor, und
– c ein Hauptpunkt ist.

Gemäß einer weiteren Ausführungsform kann die Vergleichseinrichtung ausgebildet sein, um das Fehlermaß basierend auf einem Euklidischen Distanzmaß zu bestimmen.
Gemäß einer Ausführungsform kann die Vergleichseinrichtung ausgebildet sein, um das Fehlermaß g basierend auf der Gleichung
zu berechnen.
Gemäß einer Ausführungsform kann die Vergleichseinrichtung ausgebildet sein, um denjenigen angenommenen Hauptpunkt als korrekten Hauptpunkt auszuwählen, dessen Fehlermaß am geringsten ist. Auf diese Weise lässt sich ein Fehler des Hauptpunktes so klein wie möglich halten.
Die vorliegende Erfindung betrifft gemäß einer weiteren Ausführungsform eine Kamera, umfassend:

– ein Kamerasystem; und
– eine Vorrichtung zur Bestimmung eines Hauptpunktes eines Kamerasystems gemäß der Erfindung.

Die vorliegende Erfindung betrifft gemäß einer weiteren Ausführungsform ein Verfahren zur Bestimmung eines Hauptpunktes eines Kamerasystems, der ein Zentrum der optischen Abbildung auf einem Bildaufnehmer des Kamerasystems darstellt, umfassend:

– Erfassen einer realen Position einer Kalibriermarke in Weltkoordinaten;
– Detektieren einer abgebildeten Position der Kalibriermarke in Bildkoordinaten;
– Ermitteln eines Kameramodells aus der abgebildeten Position unter Einbeziehung eines angenommenen Hauptpunktes.

Erfindungsgemäß zeichnet sich das Verfahren ferner durch die folgenden Schritte aus:

– Berechnen einer berechneten Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des Kameramodells für eine Rückprojektion der realen Position; und
– Vergleichen der abgebildeten Position mit der berechneten Position und zum Bereitstellen eines Fehlermaßes des angenommenen Hauptpunktes abhängig von einem Vergleichsergebnis.

Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
Die Zeichnungen zeigen in
1 eine schematische Darstellung einer Vorrichtung zur Bestimmung eines Hauptpunktes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 eine schematische Darstellung einer Vorrichtung zur Bestimmung eines Hauptpunktes gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und
3 ein Koordinatensystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.
1 zeigt eine schematische Darstellung einer Vorrichtung 100 zur Bestimmung eines Hauptpunktes eines Kamerasystems 102. Das Kamerasystem 102 weist einen Bildaufnehmer 104 auf. Der Bildaufnehmer 104 ist ausgebildet, um ein Bild einer Kalibriermarke 106 aufzunehmen. Die Kalibriermarke 106 ist so vor dem Kamerasystem 102 angeordnet, dass sie von dem Bildaufnehmer während einer Bildaufnahme erfasst werden kann.
Eine reale Position der Kalibriermarke 106 vor dem Kamerasystem 102 ist bestimmbar und kann in Weltkoordinaten angegeben werden. Ferner ist eine abgebildete Position der aufgenommenen Kalibriermarke auf dem Bildaufnehmer 104 bestimmbar und kann in Bildkoordinaten angegeben werden.
Die Vorrichtung 100 ist ausgebildet, um die reale Position der Kalibriermarke 106 in Weltkoordinaten, die abgebildete Position der aufgenommen Kalibriermarke in Bildkoordinaten sowie mindestens einen angenommenen Hauptpunkt zu empfangen und basierend auf einer Bestimmungsvorschrift ein Fehlermaß für den angenommenen Hauptpunkt zu bestimmen. Anstatt den mindestens einen angenommenen Hauptpunkt zu empfangen, kann die Vorrichtung 100 auch ausgebildet sein, um den mindestens einen angenommenen Hauptpunkt bereitzustellen. Ferner kann die Vorrichtung 100 ausgebildet sein, um einen korrekten Hauptpunkt zu bestimmen und bereitzustellen.
Die Vorrichtung 100 weist eine Erfassungseinrichtung 112, eine Detektiereinrichtung 114, eine Ermittlungseinrichtung 116, eine Berechnungseinrichtung 118 und eine Vergleichseinrichtung 120 auf. Die Vorrichtung 100 kann ferner eine Auswahleinrichtung 122 aufweisen.
Die Erfassungseinrichtung 112 ist ausgebildet, um die reale Position der Kalibriermarke 106 in Weltkoordinaten zu erfassen und an die Berechnungseinrichtung 118 bereitzustellen. Beispielsweise kann die Erfassungseinrichtung 112 eine Eingabeeinrichtung aufweisen, in die die Weltkoordinaten der Kalibriermarke 106 eingegeben werden können. Alternativ kann die Erfassungseinrichtung 112 ausgebildet sein, um die Weltkoordinaten der Kalibriermarke 106 aktiv zu erfassen.
Die Detektiereinrichtung 114 ist ausgebildet, um die abgebildete Position der aufgenommenen Kalibriermarke auf dem Bildaufnehmer 104 in Bildkoordinaten zu detektieren und sowohl an die Ermittlungseinrichtung 116 als auch an die Vergleichseinrichtung 120 bereitzustellen. Die Detektiereinrichtung 114 kann ausgebildet sein, um die Bildkoordinaten der abgebildeten Position aktiv zu erfassen. Alternativ kann die Detektiereinrichtung 114 eine Eingabeeinrichtung oder eine Empfangseinrichtung aufweisen, über welche die Bildkoordinaten der abgebildeten Position bereitgestellt werden können.
Die Ermittlungseinrichtung 116 ist ausgebildet, um die abgebildete Position und den angenommenen Hauptpunkt zu empfangen. Die Ermittlungseinrichtung 116 ist ferner ausgebildet, um aus der abgebildeten Position unter Einbeziehung des angenommenen Hauptpunktes ein Kameramodell des Kamerasystems 102 zu ermitteln und an die Berechnungseinrichtung 118 bereitzustellen.
Die Berechnungseinrichtung 118 ist ausgebildet, um das Kameramodell und die reale Position zu empfangen. Die Berechnungseinrichtung 118 ist ferner ausgebildet, um unter Verwendung des Kameramodells aus der realen Position eine berechnete Position der Kalibriermarke in Bildkoordinaten zu berechnen. Bei einem idealen Kameramodell könnte die berechnete Position der abgebildeten Position entsprechen. Bei einem nicht idealen Kameramodell wird zwischen der berechneten Position und der abgebildeten Position ein Unterschied bestehen. Das Kameramodell ist abhängig von dem angenommenen Hauptpunkt. Ist der angenommenen Hauptpunkt fehlerhaft, so wird auch das Kameramodell fehlerhaft sein und somit ein Unterschied zwischen der berechneten Position und der abgebildeten Position bestehen. Die Berechnungseinrichtung 118 ist ferner ausgebildet, um die berechnete Position an die Vergleichseinrichtung 120 bereitzustellen.
Die Vergleichseinrichtung 120 ist ausgebildet, um die berechnete Position und die abgebildete Position zu empfangen. Die Vergleichseinrichtung 120 ist ferner ausgebildet, um die berechnete Position mit der abgebildeten Position zu vergleichen. Ein Vergleichsergebnis gibt den Unterschied zwischen der berechneten Position und der abgebildeten Position an. Das Vergleichsergebnis ist abhängig von einem Fehler des angenommenen Hauptpunktes. Somit kann aus dem Vergleichsergebnis auf ein Fehlermaß des angenommenen Hauptpunktes geschlossen werden. Die Vergleichseinrichtung 120 ist ausgebildet, um das Fehlermaß bereitzustellen.
Um einen möglichst korrekten Hauptpunkt zu bestimmen, kann es erforderlich sein, eine Mehrzahl von Fehlermaßen für eine Mehrzahl von angenommenen Hauptpunkten zu bestimmen und miteinander zu vergleichen. Dazu kann die Ermittlungseinrichtung 116 ausgebildet sein, um die Mehrzahl von angenommenen Hauptpunkten zu empfangen und für jeden der angenommenen Hauptpunkte ein zugehöriges Kameramodell zu ermitteln. Dementsprechend kann die Berechnungseinrichtung 118 ausgebildet sein, um basierend auf jedem Kameramodell aus der realen Position eine zugehörige berechnete Position zu berechnen. Die Vergleichseinrichtung 120 kann dementsprechend ausgebildet sein, um jede der berechneten Positionen mit der abgebildeten Position zu vergleichen und ein zugehöriges Fehlermaß bereitzustellen. Beispielsweise können so lange weitere angenommene Hauptpunkte untersucht werden, bis das Fehlermaß einen vorbestimmten Wert erreicht oder unterschreitet.
Die Auswahleinrichtung 122 kann ausgebildet sein, um die Mehrzahl der Fehlermaße zu empfangen. Auf Grund der Abhängigkeit der Fehlermaße von einem Fehler des zugehörigen angenommenen Hauptpunktes kann die Auswahleinrichtung 122 ausgebildet sein, um den angenommenen Hauptpunkt mit dem geringsten Fehler auszuwählen und als korrekten Hauptpunkt bereitzustellen. Beispielsweise kann die Auswahleinrichtung 122 den korrekten Hauptpunkt dadurch ermitteln, dass die Auswahleinrichtung 122 denjenigen angenommenen Hauptpunkt als korrekten Hauptpunkt auswählt, dessen zugehöriges Fehlermaß am geringsten ist. Um der Auswahleinrichtung 122 die Auswahl des korrekten Hauptpunktes zu ermöglichen, kann der Auswahleinrichtung 122 eine Information bereitgestellt werden, die der Auswahleinrichtung 122 eine Zuordnung der Fehlermaße zu den zugehörigen angenommenen Hauptpunkten ermöglicht.
Die angenommenen Hauptpunkte können der Ermittlungseinrichtung 116 zugeführt werden oder alternativ von der Ermittlungseinrichtung 116 bereitgestellt werden. Gemäß einem Ausführungsbeispiel können angenommene Hauptpunkte unter Einbeziehung von Fehlermaßen vorangegangener, angenommener Hauptpunkt bestimmt werden. Auf diese Weise können aufeinander folgende angenommene Hauptpunkte so bestimmt werden, dass sich das Fehlermaß tendenziell verringert und sich die angenommenen Hauptpunkte somit dem korrekten Hauptpunkt annähern. Somit lässt sich der korrekte Hauptpunkt durch einen Integrationsvorgang bestimmen.
Einzelne Komponenten der Vorrichtung 100 oder auch die gesamte Vorrichtung 100 können Teil des Kamerasystems 102 sein.
2 zeigt ein detailliertes Ablaufdiagramm einer Hauptpunktberechnung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
Eine schräg ausgerichtete Kamera bildet ihre Umgebung verzerrt ab. Ein Beispiel dafür ist eine Kamera, die in einem Kraftfahrzeug (Kfz) nach schräg vorne ausgerichtet ist. Die Verzerrung kann beispielsweise von der Einbaulage und den Abbildungseigenschaften der Kamera abhängen. Eine Bildverarbeitungseinheit kann genau diese Verzerrung wieder herausrechnen. Dazu kann eine Kalibrierung der Kamera erforderlich sein.
Zur Kalibrierung der Kamera kann ein Kalibriermuster in einem vorgegebenen Abstand senkrecht zur optischen Achse eines Bildaufnehmers der Kamera positioniert werden. Eine Kalibriermöglichkeit weist die Besonderheit auf, dass das Kalibriermuster derart perspektivisch verzerrt ist, wie es einer idealen Einbaulage und den Abbildungseigenschaften der Kamera entspricht. Die Verzerrung kann beispielsweise eine Abbildung von dreidimensional (3D) auf zweidimensional (2D) beinhalten. Alternativ dazu kann ein unverzerrtes Kalibriermuster nicht rechtwinklig zur optischen Achse des Bildaufnehmers, sondern in einem anderen vorgegebenen Winkel angeordnet werden.
Die erfindungsgemäße Hauptpunktbestimmung kann auf einer bekannten Kalibrierung des Kamerasystems mit einer anschließenden Verwendung von ermittelten Lagewinkeln für eine Rückprojektion von Markerpositionen bzw. Markenpositionen von Weltkoordinaten auf Bildkoordinaten bzw. Imagerkoordinaten basieren. Die Lagewinkel können während der Kalibrierung ermittelt werden. Die Kalibrierung kann beispielsweise durch eine Bestimmung von extrinsischen Parametern des Kamerasystems nach Tsai erfolgen. Eine solche Rückprojektion kann für verschiedene, angenommene Hauptpunkte berechnet und die projizierten Bildkoordinaten mit den tatsächlichen Markenpositionen auf dem Bildaufnehmer oder Imager verglichen werden. Diejenige Verschiebung, die das geringste Fehlermaß von projizierten zu tatsächlichen Bildkoordinaten aufweist, kann als realer Hauptpunkt angenommen werden.
In einem ersten Schritt kann eine Bildaufnahme des Bildaufnehmers erfolgen. Aus einer solchen Bildaufnahme, beispielsweise in Form eines Bildes mit 648×484 Pixeln, kann eine Markenextraktion erfolgen. Dieser Vorgang kann mehrmals, beispielsweise achtmal wiederholt werden, so dass eine Mittelwertbildung über die beispielsweise acht Teilbilder erfolgen kann. Nach der Auswertung der Bildaufnehmerbilder und der Berechnung der Markenpositionen im Bild können diese zwischengespeichert werden. Anschließend können die zwischengespeicherten Markenpositionen in Form von tatsächlichen Bildkoordinaten an eine Translationseinrichtung übergeben werden.
Es können nun verschiedene Hauptpunkte (HP) angenommen werden und damit die Markenpositionen im Bild verschoben werden. Diese verschobenen Markenpositionen können mit einer bekannten Linsenverzeichnung entzerrt werden. Dies kann in einer Kompensationseinrichtung erfolgen, die ausgebildet ist, um die tatsächlichen, verschobenen Bildkoordinaten der Markenpositionen zu empfangen und eine Kompensation der Verzeichnung durchzuführen. Aus den tatsächlichen, verschobenen und entzerrten Bildkoordinaten der Markenpositionen sowie den bekannten Weltkoordinaten der Marke können die Lagewinkel des Steuergerätes bzw. des Kamerasystems berechnet werden. Mit den berechneten Lagewinkeln kann ein Kameramodell erstellt werden. Anschließend können die Weltkoordinaten der Marke durch das Kameramodell auf die Bildaufnehmerebene projiziert werden.
Ein Vergleich der projizierten Markenpositionen mit den detektierten Markenpositionen im Bild des Bildaufnehmers ergibt ein quantitatives Fehlermaß. Der Vergleich kann auf den entzerrten Bildkoordinaten durchgeführt werden. Diese Berechnung kann für verschiedene Hauptpunkte durchgerechnet werden. Iterativ kann sich somit dem Minimum des Fehlers angenähert werden. Derjenige Hauptpunkt mit dem geringsten Fehler der Rückprojektion kann als der für das Steuergerät bzw. das Kamerasystem korrekte Hauptpunkt angenommen werden.
Weitere Schritte des erfindungsgemäßen Verfahrens sind der 2 zu entnehmen und werden hier nicht weiter im Detail beschrieben.
3 zeigt Koordinatensysteme, wie sie beispielsweise bei der erfindungsgemäßen Vorrichtung zur Bestimmung eines Hauptpunktes verwendet werden können. 3 zeigt zudem eine Kalibriermarke 106 und einen Bildaufnehmer 104.
Im Folgenden wird eine mathematische Beschreibung der Kamerakalibrierung beschrieben, die in der erfindungsgemäßen Vorrichtung 100 zur Bestimmung eines Hauptpunktes durchgeführt werden kann.
Bei der Bestimmung der Lagewinkel (α_x, α_y, α_z) können mehrere Kalibriermarken in Weltkoordinaten x _w = (x_w, y_w, z_w) in Bezug zu deren Abbildung in Kamerakoordinaten x _c = (x_c, y_c, z_c) gesetzt werden. Die Abbildung der Weltkoordinaten x _w auf die Kamerakoordinaten x _c lässt sich darstellen durch die Abbildungsgleichung x _c = R(x _w – t), hierbei ist R eine Rotationsmatrix, welche eine Rotation um die Lagewinkel (α_x, α_y, α_z) beinhaltet
und t ein Translationsvektor, der die Verschiebung des Ursprungs des Kamerakoordinatensystems zum Ursprung des Weltkoordinatensystems angibt t = (t_x, t_y, t_z).
Die Bildkoordinaten x _i = (x_i, y_i) ergeben sich aus den Kamerakoordinaten durch eine Translation in der Ebene x_cy_c um die Hauptpunktkoordinaten c = (c_x, c_y). Damit ergibt sich die Abbildungsgleichung für die Bildkoordinaten x _i zu x _i = R(x _w – t) + c,
Die Komponenten r_i, bzw. die Lagewinkel (α_x, α_y, α_z) lassen sich durch Aufstellen und Lösen eines linearen Gleichungssystems mit mehreren korrespondierenden Koordinatenpaaren ermitteln, wie es beispielsweise bei Tsai beschrieben ist. Grundsätzlich lassen sich beispielsweise nach Tsai alle intrinsischen und extrinsischen Parameter bestimmen.
Zur Ermittlung der Güte der Kamerakalibrierung die ermittelten Rotationsparameter r₁, r₂, ..., r₉ in die Gleichung x _i = R(x _w – t) + c , eingesetzt und aus den Weltkoordinaten ^jx_w, j = 1, ..., n des Kalibriermusters die geschätzten Bildkoordinaten ^j x * / i = (^jx * / i, ^jy * / i) ermittelt werden. Die Güte g der Kalibrierung lässt sich aus dem mittleren Fehler zwischen der beobachteten ^j x _i, und der geschätzten Bildkoordinate ^j x * / i bestimmen. Dies kann beispielsweise durch ein Euklidisches Distanzmaß
erfolgen. Dadurch lassen sich Rückprojektionsfehler bzw. ein Fehlermaß für den Hauptpunkt ermitteln.
Bezugszeichenliste

100: Vorrichtung zur Bestimmung eines Hauptpunktes
102: Kamerasystem
104: Bildaufnehmer
106: Kalibriermarke
112: Erfassungseinrichtung
114: Detektiereinrichtung
116: Ermittlungseinrichtung
118: Berechnungseinrichtung
120: Vergleichseinrichtung
122: Auswahleinrichtung

Claims

Vorrichtung (100) zur Bestimmung eines Hauptpunktes eines Kamerasystems (102), der ein Zentrum der optischen Abbildung auf einem Bildaufnehmer des Kamerasystems darstellt, umfassend: – eine Erfassungseinrichtung (112) zum Erfassen einer realen Position einer Kalibriermarke in Weltkoordinaten; – eine Detektiereinrichtung (114) zum Detektieren einer abgebildeten Position der Kalibriermarke in Bildkoordinaten; – eine Ermittlungseinrichtung (116) zum Ermitteln eines Kameramodells aus der abgebildeten Position unter Einbeziehung eines angenommenen Hauptpunktes; dadurch gekennzeichnet, dass die Vorrichtung ferner umfasst – eine Berechnungseinrichtung (118) zum Berechnen einer berechneten Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des Kameramodells für eine Rückprojektion der realen Position; und – eine Vergleichseinrichtung (120) zum Vergleichen der abgebildeten Position mit der berechneten Position und zum Bereitstellen eines Fehlermaßes des angenommenen Hauptpunktes abhängig von einem Vergleichsergebnis.
Vorrichtung gemäß Anspruch 1, dadurch gekennzeichnet, dass – die Ermittlungseinrichtung (116) ausgebildet ist, um ein weiteres Kameramodell aus der abgebildeten Position unter Einbeziehung eines weiteren angenommenen Hauptpunktes zu ermitteln; – die Berechnungseinrichtung (118) ausgebildet ist, um eine weitere berechnete Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des weiteren Kameramodells zu berechnen; – die Vergleichseinrichtung (120) ausgebildet ist, um die abgebildete Position mit der weiteren berechneten Position zu vergleichen und ein weiteres Fehlermaß des Weiteren angenommenen Hauptpunktes abhängig von einem weiteren Vergleichsergebnis bereitzustellen; und – einer Auswahleinrichtung (122) zum Auswählen des angenommenen oder des Weiteren angenommenen Hauptpunktes als korrekten Hauptpunkt, abhängig von dem Fehlermaß und dem weiteren Fehlermaß.
Vorrichtung gemäß Anspruch 2, dadurch gekennzeichnet, dass die Ermittlungseinrichtung (116) ausgebildet ist, um den weiteren angenommenen Hauptpunkt unter Einbeziehung des Fehlermaßes des angenommenen Hauptpunktes bereitzustellen.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Ermittlungseinrichtung (116) ausgebildet ist, um mindestens einen extrinsischen Parameter des Kamerasystems (102) zur Ermittlung des Kameramodells zu ermitteln.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Ermittlungseinrichtung (116) ausgebildet ist, um mindestens einen Lagewinkel des Kamerasystems (102) zur Ermittlung des Kameramodells zu ermitteln.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Ermittlungseinrichtung (116) ausgebildet ist, um eine Translation der abgebildeten Position um den angenommenen Hauptpunkt durchzuführen, um eine verschobene Position der Kalibriermarke zu ermitteln.
Vorrichtung gemäß Anspruch 6, dadurch gekennzeichnet, dass die Ermittlungseinrichtung (116) ausgebildet ist, um die verschobene Position mit einer Linsenverzeichnung des Kamerasystems (102) zu entzerren.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Berechnungseinrichtung (118) ausgebildet ist, um eine Projektion durchzuführen, um die reale Position auf die berechnete Position zu projizieren.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Berechnungseinrichtung (118) ausgebildet ist, um die berechnete Position basierend auf der Gleichung x _i = R(x _w – t) + c, zu berechnen, wobei
die berechnete Position in Bildkoordinaten, – R eine Rotationsmatrix, – x _v die reale Position in Weltkoordinaten, – t ein Translationsvektor, und – c ein Hauptpunkt ist.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Vergleichseinrichtung (120) ausgebildet ist, um das Fehlermaß basierend auf einem Euklidischen Distanzmaß zu bestimmen.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Vergleichseinrichtung (120) ausgebildet ist, um das Fehlermaß g basierend auf der Gleichung
zu berechnen.
Vorrichtung gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Auswahleinrichtung (122) ausgebildet ist, um denjenigen angenommenen Hauptpunkt als korrekten Hauptpunkt auszuwählen, dessen Fehlermaß am geringsten ist.
Kamera, umfassend: – ein Kamerasystem (102); und – eine Vorrichtung (100) gemäß einem der vorangegangenen Ansprüche.
Verfahren zur Bestimmung eines Hauptpunktes eines Kamerasystems, der ein Zentrum der optischen Abbildung auf einem Bildaufnehmer des Kamerasystems darstellt, umfassend: – Erfassen einer realen Position einer Kalibriermarke in Weltkoordinaten; – Detektieren einer abgebildeten Position der Kalibriermarke in Bildkoordinaten; – Ermitteln eines Kameramodells aus der abgebildeten Position unter Einbeziehung eines angenommenen Hauptpunktes; ferner gekennzeichnet durch die folgenden Schritte: – Berechnen einer berechneten Position der Kalibriermarke in Bildkoordinaten aus der realen Position unter Verwendung des Kameramodells für eine Rückprojektion der realen Position; und – Vergleichen der abgebildeten Position mit der berechneten Position und zum Bereitstellen eines Fehlermaßes des angenommenen Hauptpunktes abhängig von einem Vergleichsergebnis.