-
Die vorliegende Erfindung betrifft ein Verfahren und System zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs.
-
Es sind bereits Möglichkeiten zur Selbst-Kalibrierung bekannt, z.B. für (Foto- )Kameras. Auch sind bereits Verfahren im Automobilbereich bekannt, welche Kalibrierungen von Kameras z.B. für autonomes Fahren bereitstellen, wobei Kalibrierpunkte z.B. auf der Motorhaube festgelegt werden, siehe z.B. A. Broggi; M. Bertozzi; A. Fascioli: „Self-calibration of a stereo vision system for automotive applications“, Robotics and Automation, 2001. Proceedings 2001 ICRA. IEEE International Conference on, ISSN: 1050-4729. Weiterer Stand der Technik, welcher sich mit Selbst-Kalibrierung beschäftigt, ist beispielsweise in den nachfolgend genannten Veröffentlichungen zu finden. Davide Scaramuzza; Ahad Harati; Roland Siegwart: „Extrinsic Self Calibration of a Camera and a 3D Laser Range Finder from Natural Scenes“, Intelligent Robots and Systems, 2007. IROS 2007. IEEE/RSJ International Conference on, DOI: 10.1109/IROS.2007.4399276 und Á. Catalä-Prat, J. Rataj,, R. Reulke: „SELF-CALIBRATION SYSTEM FOR THE ORIENTATION OF A VEHICLE CAMERA“, ISPRS Commission V Symposium ‚Image Engineering and Vision Metrology‘, IAPRS Volume XXXVI, Part 5, Dresden 25-27 September 2006, Seiten 68-73.
-
Weiterer Stand der Technik ist in dem deutschen Patent
DE 10 2016 003 021 B4 offenbart, welches ein Verfahren zum Ermitteln von Positionsdaten zu einem in einem Kraftfahrzeug eingebauten optischen Sensor unter Verwendung eines auf einer digitalen Anzeigeeinheit angezeigten Kalibrierungsmusters beschreibt.
-
Weiterer Stand der Technik ist in der deutschen Patentanmeldung
DE 10 2013 021 616 A1 offenbart, welche ein fahrzeugfestes Referenzmuster zur Überprüfung einer Kalibrierung und/oder zur Kalibrierung einer Fahrzeugkamera aufweist.
-
Weiterer Stand der Technik ist in der deutschen Patentanmeldung
DE 10 2004 028 090 A1 offenbart, welche ebenfalls ein Verfahren zur Kalibrierung einer Sensorik zur Überwachung eines Fahrzeuginnenraums offenbart.
-
Es ist eine Aufgabe dieser Erfindung, ein Verfahren und ein System bereitzustellen, durch welches eine vereinfachte Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs bereitgestellt werden kann. Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Bereitgestellt wird ein Verfahren zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs. Hierbei ist mindestens ein vorgegebener Kalibrierungspunkt mit bekannter Position innerhalb eines zu überwachenden Bereichs innerhalb des Fahrzeugs oder außen am Fahrzeug vorhanden. Dieser wird durch den optischen Sensor erfasst, und es erfolgt basierend auf der Position des mindestens einen vorgegebenen Kalibrierungspunkts die Selbst-Kalibrierung des optischen Sensors.
-
Durch die Bereitstellung von einem oder mehreren vorgegebenen und in ihrer Position bekannten Kalibrierungspunkten, welche somit also als Referenzpunkte dienen, wird die Kalibrierung des optischen Sensors vereinfacht. Die Kalibrierungspunkte können dabei charakteristische Bezugspunkte im Fahrzeug sein, wie z.B. Fixierungspunkte oder Kanten von fest verbauten Einrichtungen im Fahrzeug wie Lenkrad, Armaturenbrett, Einbauten im Dachhimmel etc. Es können aber auch zusätzlich hinzugefügte Markierungspunkte verwendet werden, welche möglichst unsichtbar für die Insassen an definierten Stellen im Innenraum oder außen am Fahrzeug bzw. an der Fahrzeugkarosserie angebracht sind. Kalibrierungspunkte 11 können z.B. Infrarotmarker sein.
-
Die Position der Kalibrierungspunkte innerhalb des Fahrzeugs kann vorab bestimmt werden, da für jeden Fahrzeugtyp mindestens für die Montage entsprechende Modelle des Innenraums und der äußeren Hülle bekannt sind. Somit sind auch die Positionen der Kalibrierungspunkte, also mindestens die Koordinaten mit Bezug auf ein entsprechendes Koordinatensystem, bekannt.
-
Des Weiteren ist vorgesehen, dass das Bilderfassungssystem im Inneren des Fahrzeugs angeordnet ist und der zu überwachende Bereich ein Bereich des Innenraums und/oder ein Bereich außerhalb des Fahrzeugs ist. Die Überwachung des Innenraums eines Fahrzeugs wird durch die vorgegebenen Kalibrierungspunkte deutlich vereinfacht, da kein separates Mittel zur Ausrichtung bzw. zum Justieren oder Kalibrieren des optischen Sensors benötigt wird. Auch ist durch die vorgegebenen, bereits in ihrer Position bekannten Kalibrierungspunkte, welche z.B. auf der Motorhaube platziert werden können, eine deutliche Vereinfachung der Kalibrierung des optischen Sensors möglich.
-
Des Weiteren ist vorgesehen, dass eine erneute Selbst-Kalibrierung basierend auf dem mindestens einen vorgegebenen Kalibrierungspunkt erfolgt, wenn der optische Sensor bewegt wird. Durch die in ihrer Position bekannten Kalibrierungspunkte kann auch bei einer Bewegung des optischen Sensors eine Kalibrierung schnell und zuverlässig ohne Verwendung eines separaten Mittels zur Ausrichtung erfolgen. Eine Bewegung des optischen Sensors kann dadurch erfolgen, dass er an einer beweglichen Einrichtung wie dem Rückspiegel befestigt ist, welcher abhängig vom Fahrer in unterschiedliche Positionen gebracht wird. Es kann aber auch sein, dass das Bilderfassungssystem ausgetauscht oder die Einrichtung, an der sie befestigt ist, getauscht, erneuert oder in anderer Art und Weise verändert wird, so dass das Bilderfassungssystem dadurch bewegt wird. Auch kann es sein, dass das Bilderfassungssystem zufällig in seiner Position leicht verändert wird. In jedem Fall gibt es unterschiedlichste Situationen, in denen eine erneute Selbst-Kalibrierung nötig sein kann, welche durch das vorgeschlagene Verfahren ermöglicht wird.
-
Des Weiteren ist ein Bilderfassungssystem in einem Fahrzeug mit einem optischen Sensor und einer Verarbeitungseinrichtung vorgesehen, die dazu geeignet ist, das Verfahren auszuführen.
-
Des Weiteren ist ein System zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs vorgesehen. Das System weist ein Bilderfassungssystem mit dem optischen Sensor auf, wobei das Bilderfassungssystem derart innerhalb oder außen am Fahrzeug angeordnet ist, dass es einen vorgegebenen zu überwachenden Bereich erfasst. Ferner weist das System mindestens einen vorgegebenen Kalibrierungspunkt auf, der innerhalb des zu überwachenden Bereichs angeordnet ist, und dessen Position bekannt ist. Das Bilderfassungssystem ist ferner dazu eingerichtet, eine Selbst-Kalibrierung basierend auf der bekannten Position des mindestens einen vorgegebenen Kalibrierungspunkts durchzuführen.
-
Durch die Verwendung von fest positionierten Kalibrierungspunkten im Fahrzeug werden keine separaten Kalibrierungsmittel benötigt, wenn der optische Sensor neu kalibriert werden muss, z.B. da er bewegt wurde.
-
Des Weiteren ist vorgesehen, dass das Bilderfassungssystem im Inneren des Fahrzeugs angeordnet ist und der zu überwachende Bereich ein Bereich des Innenraums und/oder ein Bereich außerhalb des Fahrzeugs ist. Durch Anordnung des Bilderfassungssystems an einer geeigneten Stelle können sowohl Innen- als auch Außenbereich oder genau definierte Bereiche innerhalb oder außerhalb des Fahrzeugs überwacht werden.
-
Des Weiteren ist vorgesehen, dass das Bilderfassungssystem eine Kamera ist. Zur Erfassung von Infrarotmarker ist eine TOF-Kamera vorgesehen. Da für bestimmte Aufgaben der Überwachung bereits Kamerasysteme im Fahrzeug verbaut sind, wird in vielen Fällen keine zusätzliche Hardware benötigt. Durch die Möglichkeit, das Verfahren als Computerprogramm auszuführen, kann es auch möglich sein, lediglich ein Update der vorhandenen Software aufzuspielen, so dass dann die Kalibrierung möglich ist.
-
Des Weiteren ist vorgesehen, dass die Selbst-Kalibrierung bei Erstmontage des optischen Sensors erfolgt, und eine erneute Selbst-Kalibrierung basierend auf dem mindestens einen vorgegebenen Kalibrierungspunkt erfolgt, wenn der optische Sensor bewegt wird. Somit ist der optische Sensor immer genau eingestellt.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, anhand der Figuren der Zeichnung, die erfindungsgemäße Einzelheiten zeigt, und aus den Ansprüchen. Die einzelnen Merkmale können je einzeln für sich oder zu mehreren in beliebiger Kombination bei einer Variante der Erfindung verwirklicht sein.
-
Die möglichst exakte optische Erfassung einer Fahrzeugumgebung, z.B. eines Teils des Innenraums oder ein Teil der äußeren Umgebung, erfordert präzise Sensoren und eine möglichst schnelle Auswertung. Aber auch eine Möglichkeit zur schnellen Anpassung im Falle, dass sich Initialbedingungen ändern, z.B. dass sich eine Kamera aufgrund eines Ereignisses aus ihrer ursprünglichen Position bewegt, ist wichtig, um nachfolgende Aktionen korrekt ausführen zu können. Um die Ergebnisse eines optischen Sensors innerhalb einer Umgebung zu nutzen, müssen dessen extrinsische und intrinsische Parameter bekannt sein. Extrinsische Parameter repräsentieren die örtliche Ausrichtung und den Versatz des Bilderfassungssystems bzgl. vorgegebener Koordinaten, z.B. Weltkoordinaten oder Fahrzeugkoordinaten. Intrinsische Parameter sind die charakteristischen Eigenschaften des Bilderfassungssystems wie Auflösung, Fokus und Pixeldimensionen einer Kamera. Das gewählte Koordinatensystem ist in der Regel entweder das Welt- oder das Fahrzeugkoordinatensystem, wobei eine Umrechnung von einem in das andere System möglich ist.
-
In einem nachfolgend beschriebenen Beispiel wird angenommen, dass das Bilderfassungssystem eine Kamera, z.B. eine TOF-Kamera (Time of Flight-Kamera), im Inneren des Fahrzeugs angeordnet ist. Eine traditionelle Kalibrierung dieser Kamera erfordert es, dass ein Objekt wie z.B. ein Schachbrettmuster oder ein Kreisraster an dem Koordinatensystem des Fahrzeugs ausgerichtet wird, bezüglich dem die Kalibrierung erfolgen soll. Zusätzlich zum Prozess des Ausrichtens erfolgt eine Messung des Ursprungs des Objekts, also z.B. des Schachbrettmusters, bezüglich des Ursprungs der Fahrzeugkoordinaten. Diese Ausrichtung und der Messprozess sind vor allem dann schwierig, wenn das Bilderfassungssystem, also z.B. die Kamera, im Innenraum des Fahrzeugs angeordnet ist, da aufgrund des engen Raums selbst durch eine nur sehr kleine Ungenauigkeit der Messung größere Fehler bei der Auswertung der Überwachungsdaten resultieren kann. Ein Schachbrettmuster 10 als Objekt zum Ausrichten ist z.B. in 1 gezeigt. Hier ist deutlich zu sehen, wie umständlich und kompliziert die Verwendung von solchen Objekten zur Ausrichtung sind.
-
Bevorzugte Ausführungsformen der Erfindung werden nachfolgend anhand der beigefügten Zeichnung näher erläutert.
- 1 zeigt eine schematische Ansicht eines für eine Selbst-Kalibrierung nach dem Stand der Technik nötigen Aufbaus innerhalb eines Fahrzeugs.
- 2 zeigt eine schematische Ansicht von für eine Selbst-Kalibrierung gemäß einer Ausführung der vorliegenden Erfindung nötigen Kalibrierungspunkten.
- 3 zeigt ein Ablaufdiagramm des Verfahrens zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems gemäß einer Ausführung der vorliegenden Erfindung.
-
In den nachfolgenden Figurenbeschreibungen sind gleiche Elemente bzw. Funktionen mit gleichen Bezugszeichen versehen.
-
Sowohl in 1 als auch in der nachfolgend beschriebenen 2 ist dieselbe Ansicht gezeigt. Die Blickrichtung ist die der Bilderfassungseinrichtung, welche an einer Innenseite der Windschutzscheibe eines Fahrzeugs mit Blickrichtung zum Fahrersitz hin angeordnet ist. 1 zeigt eine Kalibrierungsmethode gemäß dem Stand der Technik, bei dem ein Schachbrett zur Kalibrierung in den zu überwachenden Raum - hier der Fahrerbereich - gebracht und nach dem Fahrzeugkoordinatensystem ausgerichtet werden muss.
-
2 hingegen zeigt eine schematische Ansicht von für eine Selbst-Kalibrierung der extrinsischen Parameter verwendeten Kalibrierungspunkten 11 gemäß einer Ausführung der vorliegenden Erfindung. Hier sind mehrere als Infrarotmarker ausgeführte Kalibrierungspunkte 11 gezeigt, wobei auch lediglich ein einzelner Kalibrierungspunkt 11 eine Selbst-Kalibrierung möglich machen würde. Als Kalibrierungspunkte 11 können unterschiedlichste Mittel wie z.B. sogenannte Marker verwendet werden. Es können aber auch bekannte Merkmale des Fahrzeugs sein, z.B. das Lenkrad 1, wie ebenfalls in 2 gezeigt. Diese dienen dann als Marker.
-
Wichtig ist, dass deren Position innerhalb des Fahrzeugkoordinatensystems bekannt ist. Der Algorithmus, welcher ausgeführt wird, um den optischen Sensor zu betreiben, erfasst die vorbestimmten Charakteristika des Fahrzeuginnenraums oder der zusätzlichen Mittel wie der Marker und nutzt diese Information, um die Kalibrierung der Kamera vorzunehmen. Da sowohl die Position der Kamera und damit des optischen Sensors, als auch die Kalibrierungspunkte 11, welche zur Kalibrierung verwendet werden sollen, bekannt ist, kann die Kalibrierung basierend auf diesen Informationen erfolgen, also z.B. auf dem relativen Abstand zwischen Marker und optischem Sensor. Je mehr Kalibrierungspunkte 11 vorhanden sind, desto genauer kann die Position bzw. die Abweichung von der vorgegebenen Position, genauer der Beobachtungsrichtung, erfolgen und desto genauer ist die nachfolgende Selbst-Kalibrierung. Durch die fest vorgegebenen Kalibrierungspunkte 11 kann auch im Falle, dass der optische Sensor aus seiner definierten Position heraus bewegt wurde, eine automatische Kalibrierung erfolgen, ohne dass zusätzliche Hardware, Informationen oder Prozesse nötig sind, oder gar das Fahren unterbrochen werden muss.
-
Durch die Möglichkeit, vorhandene und/oder zusätzliche Mittel zur Kalibrierung zu verwenden, können die Mittel im gesamten Fahrzeug, aber auch außerhalb des Fahrzeugs, angeordnet werden, so dass Kalibrierung des optischen Sensors unabhängig von der Kameraposition erfolgen kann, solange der zu überwachende Bereich innerhalb des Kamerablickfelds ist.
-
Die Kalibrierungspunkte 11 sind vorteilhaft für das menschliche Auge unsichtbar, also z.B. im Infrarotbereich. Dieser Bereich ist für die meisten bereits in Fahrzeugen verwendeten Kameras ein sichtbarer Bereich. Alternativ kann der optische Sensor getauscht oder ein zusätzlicher Sensor zum Bilderfassungssystem hinzugefügt werden, um die Marker sichtbar zu machen.
-
3 zeigt einen schematischen Ablauf des Verfahrens. Durch den optischen Sensor erfolgt in einem ersten Schritt S1 eine Erfassung mindestens eines vorgegebenen Kalibrierungspunkts 11, dessen Position bekannt ist. In einem weiteren Schritt S2 erfolgt basierend auf der Position des mindestens einen vorgegebenen Kalibrierungspunkts 11 die Selbst-Kalibrierung des optischen Sensors. Das Verfahren ist insbesondere als Computerprogramm implementiert, durch welches vorhandene und neu erfasste Daten entsprechend verarbeitet werden können und die Kalibrierung des optischen Sensors entsprechend vorgegeben wird. Die Verarbeitung erfolgt dabei vorteilhaft direkt im Bilderfassungssystem.
-
Bezugszeichenliste
-
- 1
- Lenkrad
- 10
- Schachbrett
- 11
- Kalibrierungspunkte
