DE102018108154B4 - Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem - Google Patents

Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem Download PDF

Info

Publication number
DE102018108154B4
DE102018108154B4 DE102018108154.5A DE102018108154A DE102018108154B4 DE 102018108154 B4 DE102018108154 B4 DE 102018108154B4 DE 102018108154 A DE102018108154 A DE 102018108154A DE 102018108154 B4 DE102018108154 B4 DE 102018108154B4
Authority
DE
Germany
Prior art keywords
reference surface
light
camera system
calibration device
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018108154.5A
Other languages
English (en)
Other versions
DE102018108154A1 (de
Inventor
Oliver Lottner
Marco Reuter
Stefan Spiekermeier
Sebastian MANN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PMDtechnologies AG filed Critical PMDtechnologies AG
Priority to DE102018108154.5A priority Critical patent/DE102018108154B4/de
Publication of DE102018108154A1 publication Critical patent/DE102018108154A1/de
Application granted granted Critical
Publication of DE102018108154B4 publication Critical patent/DE102018108154B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

Kalibriervorrichtung (50) zum Kalibrieren optischer Eigenschaften eines Lichtlaufzeitkamerasystems (1), mit einer bildgebenden Einheit (52), die auf einer Seite eine planare Referenzfläche (54) bereitstellt,
wobei neben dem zu kalibrierenden Lichtlaufzeitkamerasystem (1) eine 2D-Kamera (200) angeordnet ist, die derart angeordnet ist, dass ein von einer Beleuchtung (10) des Lichtlaufzeitkamerasystem (1) auf die Referenzfläche (54) projiziertes Licht und ein angrenzender Randbereich erfassbar ist,
wobei die 2D-Kamera zur Erfassung einer absoluten Lichtleistung ausgebildet ist.

Description

  • Die Erfindung betrifft eine Kalibriervorrichtung zum Kalibrieren optischer Eigenschaften eines Kamerasystems, mit einer bildgebenden Einheit, die auf einer Seite eine planare Referenzfläche bereitstellt und mit einer Kalibriereinheit zum Kalibrieren der optischen Eigenschaften des Kamerasystems aus mittels dieses Kamerasystems erstellten Abbildungen der Referenzfläche. Die Erfindung betrifft weiterhin die Verwendung einer solchen Vorrichtung zum Kalibrieren optischer Eigenschaften eines Kamerasystems und ein entsprechendes Verfahren zum Kalibrieren optischer Eigenschaften eines Kamerasystems, insbesondere eines Lichtlaufzeitkamerasystems, mittels einer bildgebenden Einheit, die auf einer Seite eine planare Referenzfläche bereitstellt, wobei die optischen Eigenschaften des Kamerasystems über Abbildungen der Referenzfläche der bildgebenden Einheit, die mittels dieses Kamerasystems erstellt sind, kalibriert werden.
  • Mit Kamerasystem sind nicht nur 2D-Kameras, sondern insbesondere auch Lichtlaufzeitkamerasysteme umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 A1 beschrieben und beispielsweise von der Firma ‚ifm electronic GmbH‘ oder ‚pmdtechnologies ag‘ als Frame-Grabber O3D bzw. als „CamBoard pico flexx“ zu beziehen sind. Ebenso sollen Kamerasysteme mit umfasst sein, die eine Entfernungsinformation durch Erfassen eines ausgesendeten strukturierten Lichts gewinnen.
  • Die Druckschrift DE 10 2011 122 335 A1 zeigt eine Kalibriervorrichtung für ein Kamerasystem, wobei diese Kalibriervorrichtung planare Prüfplatten mit Testbildern sowie eine Kalibriereinheit zum Kalibrieren der optischen Eigenschaften des Kamerasystems aus mittels dieses Kamerasystems erstellten Aufnahmen der Testbilder der Prüfplatten umfasst. Das Kamerasystem ist dabei insbesondere ein binokulares Kameramodul mit einer binokularen Bildaufnahmeeinheit. Ein solches binokulare Kameramodul wird auch als eine Art 3D-Kamera bezeichnet. Die Druckschrift beschreibt weiterhin ein entsprechendes Vorgehen zum Kalibrieren optischer Eigenschaften des Kamerasystems.
  • Aus der DE 10 2012 203 341 A1 ist ferner ein Erfassungssystem bekannt, bei dem eine 2D-Kamera mit einer 3D-Kamera kombiniert wird, wobei die Sichtfelder beider Kameras deckungsgleich sind.
  • Ferner ist aus der DE 10 2016 221 184 A1 bereits eine Kalibriervorrichtung für ein Kamerasystem mit einer planaren Referenzfläche bekannt, bei der vergleichbar zur DE 10 2011 122 335 A1 verschiedene Prüfmuster projiziert werden.
  • Die DE 11 2015 004 335 T5 beschäftigt sich mit einem Lichtlaufzeitkamerasystem mit einem Scanbeleuchter. Hierbei wird die Beleuchtungsstärke in Abhängigkeit des vom Objekt reflektieren Lichts eingestellt, wobei bei Objekten, die IR-Licht nicht besonders gut reflektieren, die Lichtleistung erhöht wird und umgekehrt.
  • Die DE 10 2016 222 334 A1 zeigt wiederum ein Verfahren zur Ermittlung von Systemparametern einer Lichtlaufzeitkamera, bei der mit mittels eines Lichtwellenleiters der Kamera Referenzlichtsignale zugeführt werden und anhand der ermittelten Amplituden und Intensitäten und deren Abweichung zu einem erwarteten Signal beispielsweise ein Amplituden-Wiggling ermittelt wird.
  • Aufgabe der Erfindung ist es, eine Kalibriervorrichtung und ein Verfahren zum Kalibrieren der optischen Eigenschaften eines Kamerasystems anzugeben, die ein möglichst einfaches Kalibrieren ermöglichen. Das Kalibrieren ermöglicht es dann die Genauigkeit eines Kamerasystems zu verbessern.
  • Die Aufgabe wird in vorteilhafter Weise durch die Kalibriervorrichtung und das Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst.
  • Bei der Kalibriervorrichtung ist erfindungsgemäß vorgesehen, dass die bildgebende Einheit zum Erstellen von Mustern auf der Referenzfläche schaltbare Lichtquellen aufweist, wobei die Referenzfläche Lichtaustrittsöffnungen für das Licht der Lichtquellen aufweist und jeder Lichtquelle zumindest eine, insbesondere genau eine, Lichtaustrittsöffnung zugeordnet ist. Die Lichtquellen sind bevorzugt LEDs (LED: Light Emitting Diodes). Auf diese Weise können schaltbare, selbstleuchtende Marker erstellt werden, die die Muster M bilden. Durch diese Maßnahme ist ein Musterwechsel (im einfachsten Fall: Muster an/Muster aus) ohne mechanischen Eingriff möglich, was eine präzise Kalibrierung ermöglicht.
  • Die Marker können prinzipiell zwei unterschiedliche Funktionen haben. Zum einen können die Marker als reine Positionsmarker genutzt werden, also zur Bestimmung der Position und Ausrichtung der Referenzfläche relativ zu der Kameraoptik des Kamerasystems. Die eigentlichen (Testbild-)Strukturen der Referenzfläche zur Kalibration können von anderen Elementen gebildet sein. Zum anderen können aber auch die durch die Marker gebildeten Muster selbst diese eigentlichen Strukturen zur Kalibration bilden.
  • Prinzipiell können die Lichtquellen abseits der Referenzfläche angeordnet sein und deren Licht -beispielsweise per Lichtwellenleiter- zu den entsprechenden Lichtaustrittsöffnungen geleitet werden. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist jedoch vorgesehen, dass die schaltbaren Lichtquellen im Bereich der Lichtaustrittsöffnungen so angeordnet sind, dass an der Seite der Referenzfläche Licht dieser Lichtquellen austreten kann.
  • Insbesondere ist vorgesehen, dass die schaltbaren Lichtquellen auf der der planaren Referenzfläche gegenüberliegenden Seite der bildgebenden Einheit angeordnet sind.
  • Gemäß einer weiteren bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die das Muster bestimmende Anordnung der Lichtaustrittsöffnungen derart ausgebildet ist, dass über eine Mustererkennung die Position einer Lichtöffnung eindeutig bestimmbar ist. Die Mustererkennung ist bevorzugt in der Kalibriereinheit implementiert.
  • Vorteilhaft ist eine Kalibriervorrichtung für ein Kamerasystem, mit einer planaren Referenzfläche, wobei die Referenzfläche mehrere Lichtaustrittsöffnungen aufweist, mit schaltbaren Lichtquellen, die im Bereich der Lichtaustrittsöffnungen derart angeordnet sind, dass an einer Oberseite der Referenzfläche Licht dieser Lichtquellen austreten kann, wobei die Anordnung der Lichtaustrittsöffnungen derart ausgebildet ist, dass über eine Mustererkennung die Position einer Lichtöffnung eindeutig bestimmbar ist.
  • Gemäß noch einer weiteren bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die Kalibriervorrichtung zumindest einen Diffusor aufweist, der an der Seite der Referenzfläche angeordnet ist. Der Diffusor ist beispielsweise als folienförmiger Diffusor, also als diffus streuende Folie, ausgebildet.
  • Weiterhin ist mit Vorteil vorgesehen, dass die Lichtaustrittsöffnung kleiner ist als der Durchmesser einer Austrittslinse der Lichtquelle. Die Größe der Marker ergibt sich unabhängig von den Maßen der Lichtquellen durch die Größe der Öffnungen.
  • Gemäß einer bevorzugten Ausgestaltung der Erfindung weist die Kalibriervorrichtung weiterhin eine Steuereinheit zum Ansteuern der Lichtquellen auf. Dabei steht die Steuereinheit bevorzugt in signaltechnischer Verbindung mit der Kalibriereinheit oder ist sogar Teil der Kalibriereinheit. Durch die Steuereinheit werden die Muster vorgegeben.
  • Bei der erfindungsgemäßen Verwendung der Kalibriervorrichtung zum Kalibrieren optischer Eigenschaften eines Kamerasystems ist vorgesehen, dass diese Kalibriervorrichtung als vorstehend beschriebene Vorrichtung ausgebildet ist.
  • Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Verwendung wird das zu kalibrierende Kamerasystem in eine eindeutige Messposition in Relation zur planaren Referenzfläche gebracht und die Messposition so gewählt, dass der Sensor des zu kalibrierenden Kamerasystems alle Lichtaustrittsöffnungen der Referenzfläche erfasst.
  • Bei dem erfindungsgemäßen Verfahren zum Kalibrieren optischer Eigenschaften eines Kamerasystems, insbesondere eines Lichtlaufzeitkamerasystems, ist vorgesehen, dass die bildgebende Einheit zum Erstellen von Mustern auf der Referenzfläche schaltbare Lichtquellen aufweist und die durch das Licht der Lichtquellen erstellten Muster zur Kalibrierung genutzt werden.
  • Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
  • Es zeigen:
    • 1 schematisch ein Lichtlaufzeitkamerasystem,
    • 2 eine modulierte Integration erzeugter Ladungsträger,
    • 3 eine Anordnung des Lichtlaufzeitkamerasystems und einer Kalibriervorrichtung gemäß einer bevorzugten Ausführungsform der Erfindung ,
    • 4 einen Ausschnitt der Referenzfläche einer bildgebenden Einheit der Kalibriervorrichtung,
    • 5 ein auf der Referenzfläche erstelltes LED-Muster und
    • 6 eine Aufnahme des Musters gemäß 5,
    • 7 eine Ausgestaltung, bei der auf einem Kameraträger neben der Lichtlaufzeitkamera eine 2D-Kamera angeordnet ist.
  • Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
  • 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem Lichtlaufzeitkamerasystem 1, wie es beispielsweise aus der DE 197 04 496 A1 bekannt ist.
  • Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Kameraoptik (Empfangsoptik) 25 und einem Lichtlaufzeitsensor 22.
  • Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
  • Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal Mo mit einer Basisphasenlage φ0 beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ0 des Modulationssignals M0 der Lichtquelle 12 um definierte Phasenlagen φvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φvar = 0°, 90°, 180°, 270° verwendet.
  • Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp1 mit der ersten Phasenlage p1 bzw. p1 = φ0 + φvar aus. Dieses Signal Sp1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(tL) mit einer zweiten Phasenlage p2 = φ0 + φvar + Δφ(tL) als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal Mo mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
  • Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
  • Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals Mo mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(tL) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M0 in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M0 + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(tL) und somit eine Entfernung d des Objekts bestimmen.
  • Die 3 zeigt eine Anordnung des bereits in 1 gezeigten Lichtlaufzeitkamerasystems 1 und einer Kalibriervorrichtung 50 zum Kalibrieren von optischen Eigenschaften des Kamerasystems 1. Diese Kalibriervorrichtung 50 umfasst eine bildgebende Einheit 52, die auf einer Seite eine planare Referenzfläche 54 bereitstellt. Diese bildgebende Einheit 52 weist zum Erstellen von Mustern M auf der Referenzfläche 54 schaltbare Lichtquellen 56 auf. Die Referenzfläche 54 weist ihrerseits (in 4 im Detail gezeigte) Lichtaustrittsöffnungen 58 für das Licht der Lichtquellen 56 auf, wobei jeder Lichtquelle 56 genau eine Lichtaustrittsöffnung 58 zugeordnet ist. Dazu sind die schaltbaren Lichtquellen 56 im Bereich der Lichtaustrittsöffnungen 58 derart angeordnet, dass an der Seite der Referenzfläche 54 Licht dieser Lichtquellen 56 austreten kann. Die Kalibriervorrichtung 50 umfasst weiterhin eine Kalibriereinheit 60 zum Kalibrieren der optischen Eigenschaften des Kamerasystems 1 aus den mittels dieses Kamerasystems 1 erstellten Abbildungen A der Referenzfläche 54. Die Kalibriereinheit 60 ist signal- bzw. datenübertragungstechnisch an das Lichtlaufzeitkamerasystem 1 angeschlossen. Schließlich weist die Kalibriervorrichtung 50 noch eine Steuereinheit 62 zum Ansteuern der Lichtquellen 56 auf. Die Steuereinheit 62 steht in signaltechnischer Verbindung mit der Kalibriereinheit 60.
  • Es ergibt sich die folgende Funktion:
    • Zum Kalibrieren optischer Eigenschaften des Kamerasystems 1 (kurz: dem Kalibrieren des Kamerasystems 1) mittels der Kalibriervorrichtung 50 wird per bildgebender Einheit 52 eine planare Referenzfläche 54 mit unterschiedlichen Mustern M bereitstellt, die über an- und abschaltbare, selbstleuchtende Marker erstellt werden. Die Muster M werden dabei von der Kalibriervorrichtung 50 vorgegeben. Zum Erstellen der Muster M weist die bildgebende Einheit 52 die schaltbaren Lichtquellen 56 und die Öffnungen 58 der Referenzfläche 54 auf. Die bildgebende Einheit 52 wird durch die Steuereinheit (das Steuergerät der bildgebenden Einheit) 62 angesteuert. Zur Kalibrierung des Kamerasystems werden diese durch das Licht der Lichtquellen 56 erstellten Muster M genutzt, indem von diesen Mustern M mittels der Kamera 20 des Kamerasystems 1 Aufnahmen A gemacht werden. Anschließend werden mittels der Kalibriereinheit 60 die optischen Eigenschaften des Kamerasystems 1 aus den Abbildungen A der Referenzfläche 54 der bildgebenden Einheit 52 kalibriert. Durch die Kalibration können Abbildungsfehler der Kameraoptik 25 korrigiert werden.
  • Das durch die Öffnungen 58 austretende Licht der Lichtquellen 56 dient als Marker für die Kalibrierung. Im gezeigten Beispiel bilden LEDs die schaltbaren Lichtquellen 56. Schaltbare LEDs als Marker lassen sich durch einfachste Algorithmen sehr robust detektieren. Eine für eine Linsenkalibration notwendige eindeutige Zuordnung kann durch unterschiedliche LED-Schaltgruppen gewährleistet werden. Die Intensitätsverteilungen der einzelnen LED-Spots im Bild ermöglichen Sub-Pixel-genaue Detektion. Ein signifikanter Vorteil entsteht für die Kalibration von 3D-Kameras, die z.B. nach dem „ToF“- oder dem „Structured Light“-Prinzip arbeiten, da durch LED-Marker die tatsächlichen 3D-Absolut-Koordinaten präzise ermittelt werden können, diese Marker dann aber nicht in einer 3D-Kalibration stören, da sie ohne mechanische Veränderung instantan entfernt werden können.
  • Eine Linsen-Kalibration erfolgt typischerweise über Marker im Bild wie z.B. schwarze Kreise, Schachbrett-Muster, oder Linien. Eine Kalibration von 3D-Kameras mit aktiver Beleuchtung wie Time-of-Flight oder Structured Light wird durch Marker in der Szene negativ beeinflusst.
  • Zur Überwindung dieser Nachteile ist erfindungsgemäß eine planare Referenzfläche vorgesehen, die von der Rückseite mit LEDs bestückt wird, die einzeln oder in Gruppen geschaltet werden können. Die LEDs können durch die Referenzfläche 54 an präzise positionierten Stellen durch die Referenzfläche 54 hindurchleuchten. Das kann durch kleine Öffnungen 58, insbesondere CNC-gebohrte Löcher, in der Referenzfläche 54 geschehen. Die Öffnungen/Löcher 58 können mit einer als Diffusor 64 agierenden Schicht geschlossen sein (beispielsweise Folie, Papier, Tapete, Farbe).
  • Eine oder mehrere Kamerasysteme 1 werden mechanisch präzise bezüglich des LED-Musters ausgerichtet. Die durch die LEDs erzeugten Bildpunkte in den Kameras 20 können durch zwei Aufnahmen (LED an/LED aus) robust und durch einfachste Algorithmen vom Hintergrund separiert werden.
  • Durch Schalten einzelner LEDs oder LED-Gruppen ist eine robuste, eindeutige Zuordnung gegenüber einem Muster mit sämtlichen Referenzpunkten vereinfacht möglich.
  • Die Projektionen der LED-Spots dürfen auch kleiner sein, als ein Pixel auflösen kann, da durch die oft vorhandene Rest-Unschärfe, die auf verschiedene Ursachen zurückgeführt werden kann, dennoch oft mehrere Pixel Licht-Intensität detektieren können. Durch Bildung eines lokalen, mit der Intensität gewichteten Mittelwertes lässt sich die LED-Projektion in der Bildebene mit einer höheren als Pixel-genauen Auflösung bestimmen (Sub-Pixel-Genauigkeit).
  • Die Farben der LEDs (sichtbar. infrarot, UV) sind beliebig mischbar. So lässt sich z.B. eine RGB-Kamera zusammen mit einer IR-Kamera kalibrieren.
  • Ein signifikanter Vorteil entsteht für die Kalibration von 3D-Kameras, die z.B. nach dem „ToF“- oder dem „Structured Light“-Prinzip arbeiten, da durch LED-Marker die tatsächlichen 3D-Absolut-Koordinaten präzise ermittelt werden können, diese Marker dann aber nicht in einer 3D-Kalibration stören, da sie ohne mechanische Veränderung instantan entfernt werden können.
  • Einen großen Einfluss auf die Datenqualität von 3D-Kameras haben Drifteffekte. Beispielsweise durch Temperaturänderungen können sich die mechanischen Geometrien, wie auch die elektrischen Eigenschaften der einzelnen Kamerakomponenten verändern. Die für die oben beschriebene Methodik benötigte starre mechanische Konstruktion ermöglicht eine präzise Kalibration dieser Drift-Effekte. Für die Datenaufnahme kann zum einen die Selbsterwärmung der Kamera genutzt werden, zum anderen ist es möglich, die Temperatur der Kameraaufnahme aktiv zu regeln.
  • 4 zeigt einen Ausschnitt der Referenzplatte der bildgebenden Einheit 52 im Bereich einer Lichtaustrittsöffnung 58 beziehungsweise LED-Position. Der Durchmesser der Lichtaustrittsöffnung 58 ist hierbei deutlich kleiner als die Abmessung bzw. Austrittslinse der Lichtquelle 56 (hier also der LED). Bei einem LED-Durchmesser von beispielsweise 5 mm ist die Bohrung der Lichtaustrittsöffnung 58 vorzugsweise kleiner 3 mm und besonders bevorzugt kleiner oder gleich 1 mm ausgeführt.
  • Oberhalb der Lichtaustrittsöffnung 58 ist ein Diffusor 64 angeordnet. Dieser folienartige Diffusor 64 ist vorzugsweise insbesondere in Dicke und/oder Streueigenschaften so ausgeführt, dass die Lichtaustrittsöffnungen 58 von Seiten der zu kalibrierenden Kamera 20 bei abgeschalteter Lichtquelle 56 nicht sichtbar sind. Vorzugsweise ist der Diffusor 64 an der Oberseite matt ausgeführt.
  • Diese Ausgestaltung hat den Vorteil, dass bei abgeschalteten (Punkt-)Muster M die Referenzfläche 54 als Abstandreferenzfläche genutzt werden kann.
  • In 5 ist ein mögliches Muster M (LED-Muster) dargestellt. Die LEDs sind auf der Referenzfläche 54 positioniert. Das Raster weist eine regelmäßige Struktur auf und ist beispielsweise mit Hilfe einer CNC-Maschine präzise gebohrt und beliebig bestückt. Im dargestellten Fall repräsentieren die schwarzen Punkte eine IR-LED. Um die Ausrichtung eines zu kalibrierenden Kamerasystems 1 zu vereinfachen, ist im Zentrum des Musters M, hier mit „x“ markiert, eine LED oder sonstige Lichtquelle 56 mit einem sichtbaren Spektrum, beispielsweise rot vorgesehen.
  • Für das Verfahren sind generell beliebige LED-Positionen nutzbar. Durch geschickte Wahl des LED-Musters M kann jedoch die für die Kalibration relevante Eins-zu-eins-Zuordnung durch Mustererkennungs-Algorithmen in einer einzigen Aufnahme erfolgen. In dem hier dargestellten Muster wird die LED-Dichte zu den Rändern hin geringer. Hierdurch wird gewährleistet, dass die projizierten LEDs in der Bildebene trotz hoher Verzeichnung separierbar bleiben.
  • 6 zeigt beispielhaft eine Aufnahme A des gemäß 5 projizierten Lichtmusters M, die durch die aufnehmende Kamera 20 verzerrt wurde. Die LED-Positionen lassen sich durch übliche Mustererkennungs-Algorithmen (von der Kalibriereinheit 60) eindeutig zuordnen, sodass hiernach Bild- und/oder Abstandsfehler korrigiert werden können.
  • 7 zeigt eine Ausgestaltung, bei der auf einem Kameraträger 80 neben der Lichtlaufzeitkamera 1 eine 2D-Kamera 200 angeordnet ist. Der Kameraträger 80 ist hierbei parallel zur Referenzfläche 54 ausgerichtet, wobei die Beleuchtung 10 der Lichtlaufzeitkamera 1 die Referenzfläche 54 bzw. den Diffusor 64 auf der Referenzfläche 54 beleuchtet. Die von der Beleuchtung 10 beleuchtete Referenzfläche 54 wird von der 2D-Kamera 200 erfasst.
  • Die Anordnung dient vorzugsweise zur Überprüfung einer Augensicherheit der Beleuchtung 10 des Lichtlaufzeitkamerasystems 1. Typischerweise werden optische Leistungen mit Hilfe einer Ulbrichtkugel gemessen und ausgewertet. Durch die erfindungsgemäße Anordnung wird die Überprüfung in Hinblick auf Augensicherheit stark vereinfacht. Statt mit Hilfe einer Ulbrichtkugel einen Raumwinkel von 360° auszumessen, wird nur der Bereich ausgewertet, in dem auch eine signifikante Lichtmenge zu erwarten ist. Typischerweise wird die Beleuchtung 10 des Lichtlaufzeitkamerasystems die Referenzfläche 54 nicht vollständig ausleuchten, sodass die 2D-Kamera 200 nicht nur den Leuchtkegel der Beleuchtung 10, sondern auch angrenzende Randbereiche erfasst. So ist sichergestellt, dass der ausgestrahlte Lichtkegel immer vollständig erfasst wird. Die 2D-Kamera 200 ist zur Erfassung der absoluten Lichtleistung selbstverständlich zu kalibrieren.
  • Zur Durchführung einer Augensicherheitsprüfung, wird die Beleuchtung 200 des Lichtlaufzeitkamerasystems 1 für eine Entfernungsmessung in Betrieb gesetzt und der auf die Referenzfläche 54 bzw. auf den Diffusor projizierte Lichtkegel bzw. Beleuchtungsbereich von der 2D-Kamera 200 erfasst. Ausgehend von der pixelweise erfassten Lichtmenge bzw. dem erfassten Grauwertbild wird überprüft, ob die abgestrahlten Leistungen augensicher sind.
  • Hiernach können die LEDs der Referenzfläche 54 eingeschaltet und die Linsenkalibration wie zuvor beschrieben durchgeführt werden. Die LEDs werden über einen Algorithmus detektiert und die Linsenparameter automatisch ermittelt. Nach der Linsenkalibration wird das LED-Pattern ausgeschaltet.
  • Da der Abstand zur Referenzebene 54 bekannt ist, kann in einem weiteren Schritt durch eine Abstandsmessung das Phasenoffset (FPPN) bestimmt werden.
  • Zudem wird bei ausgeschalteter Beleuchtung der Intensitätsoffset (FPN) gemessen. In der Box bzw. Kalibriervorrichtung 50 kann auch ein temperaturabhängiger Distanzfehler ermittelt werden. Hierzu wird die Distanz über einige Minuten kontinuierlich gemessen. Während dieser Zeit heizt sich das Modul auf und durch die gemessenen Distanzen kann das temperaturabhängige Offset bestimmt werden.
  • Für die Korrektur des Wigglings erlauben aktuelle 3D-Sensoren bzw.
  • Lichtlaufzeitkamerasysteme 1, die gemessene Phase um ein flexibles Phasenoffset zu erhöhen. Mit der verschobenen Phase verändert sich entsprechend die daraus berechnete Distanz. Mit dieser Methode kann die Wigglingkorrektur direkt in der LED Box bzw. Kalibriervorrichtung 50 durchgeführt werden. Das Modul misst dazu mehrmals die Distanz zur Referenzebene, wobei der Chip bei jeder Messung das Phasenoffset variiert. Dies erlaubt die Simulation von unterschiedlichen Distanzmessungen, aus der letztendlich die Wigglingkorrektur bestimmt werden kann. Mit diesem Schritt ist die Kalibration der Kamera abgeschlossen.
  • Der große Vorteil dieses Kalibrationskonzepts ist, dass die Kalibration komplett an einem Ort durchgeführt wird. Hierdurch werden zum einen mögliche Fehler beim Ausrichten der Kamera vermieden und zum anderen die benötigte Zeit zur Kalibration deutlich reduziert. Dies ist insbesondere für die Massenproduktion von Vorteil, da die geringere Anzahl von Messstationen die Automatisierung des Prozesses erleichtert und die geringere Kalibrationszeit den Durchsatz erhöht.
  • Bezugszeichenliste
  • 1
    Lichtlaufzeitkamerasystem
    10
    Beleuchtungsmodul
    12
    Beleuchtung
    20
    Empfänger, Lichtlaufzeitkamera
    22
    Lichtlaufzeitsensor
    25
    Kameraoptik (Lichtlaufzeitkamera)
    30
    Modulator
    35
    Phasenschieber, Beleuchtungsphasenschieber
    40
    Objekt
    50
    Kalibriervorrichtung
    52
    Einheit, bildgebend
    54
    Referenzfläche, planar
    56
    Lichtquelle
    58
    Öffnung
    60
    Kalibriereinheit
    62
    Steuereinheit
    64
    Diffusor, folienartig
    80
    Kameraträger
    200
    2D-Kamera
    φ, Δφ(tL)
    laufzeitbedingte Phasenverschiebung
    φvar
    Phasenlage
    φ0
    Basisphase
    M0
    Modulationssignal
    p1
    erste Phase
    p2
    zweite Phase
    Sp1
    Sendesignal mit erster Phase
    Sp2
    Empfangssignal mit zweiter Phase
    Ga,
    Gb Integrationsknoten
    d
    Objektdistanz
    q
    Ladung
    M
    Muster
    A
    Abbildung

Claims (13)

  1. Kalibriervorrichtung (50) zum Kalibrieren optischer Eigenschaften eines Lichtlaufzeitkamerasystems (1), mit einer bildgebenden Einheit (52), die auf einer Seite eine planare Referenzfläche (54) bereitstellt, wobei neben dem zu kalibrierenden Lichtlaufzeitkamerasystem (1) eine 2D-Kamera (200) angeordnet ist, die derart angeordnet ist, dass ein von einer Beleuchtung (10) des Lichtlaufzeitkamerasystem (1) auf die Referenzfläche (54) projiziertes Licht und ein angrenzender Randbereich erfassbar ist, wobei die 2D-Kamera zur Erfassung einer absoluten Lichtleistung ausgebildet ist.
  2. Kalibriervorrichtung nach Anspruch 1 mit einer Kalibriereinheit (60) zum Kalibrieren der optischen Eigenschaften des Kamerasystems (1) aus mittels dieses Kamerasystems (1) erstellten Abbildungen A der Referenzfläche (54), wobei die bildgebende Einheit (52) zum Erstellen von Mustern M auf der Referenzfläche (54) schaltbare Lichtquellen (56) aufweist, wobei die Referenzfläche (54) Lichtaustrittsöffnungen (58) für das Licht der Lichtquellen (56) aufweist und jeder Lichtquelle (56) zumindest eine Lichtaustrittsöffnung (58) zugeordnet ist.
  3. Kalibriervorrichtung nach Anspruch 2, bei der die schaltbaren Lichtquellen (56) im Bereich der Lichtaustrittsöffnungen (58) derart angeordnet sind, dass an der Seite der Referenzfläche (54) Licht dieser Lichtquellen (56) austreten kann.
  4. Kalibriervorrichtung nach Anspruch 2 oder 3, bei der die schaltbaren Lichtquellen (56) auf der der planaren Referenzfläche (54) gegenüberliegenden Seite der bildgebenden Einheit (52) angeordnet sind.
  5. Kalibriervorrichtung nach einem der Ansprüche 2 bis 4, bei der die das Muster M bestimmende Anordnung der Lichtaustrittsöffnungen (58) derart ausgebildet ist, dass über eine Mustererkennung die Position einer Lichtaustrittsöffnung (58) eindeutig bestimmbar ist.
  6. Kalibriervorrichtung nach einem der Ansprüche 2 bis 5, bei der die Lichtaustrittsöffnung (58) kleiner ist als der Durchmesser einer Austrittslinse der Lichtquelle (56).
  7. Kalibriervorrichtung nach einem der Ansprüche 2 bis 6, mit einer Steuereinheit (62) zum Ansteuern der Lichtquellen (56), wobei die Steuereinheit (62) in signaltechnischer Verbindung mit der Kalibriereinheit (60) steht.
  8. Kalibriervorrichtung nach einem der vorhergehenden Ansprüche, bei der an der Seite der Referenzfläche (54) zumindest ein Diffusor (64) angeordnet ist.
  9. Verwendung der Kalibriervorrichtung (50) nach einem der vorhergehenden Ansprüche zum Kalibrieren optischer Eigenschaften eines Lichtlaufzeitkamerasystems (1).
  10. Verwendung nach Anspruch 9, wobei das zu kalibrierende Lichtlaufzeitkamerasystem (1) in eine eindeutige Messposition in Relation zur planaren Referenzfläche (54) gebracht wird, und die Messposition so gewählt ist, dass der Sensor (22) des zu kalibrierenden Kamerasystems (1) alle Lichtaustrittsöffnungen (58) der Referenzfläche (54) erfasst.
  11. Verfahren zum Kalibrieren optischer Eigenschaften eines Lichtlaufzeitkamerasystems (1) in einer Kalibriervorrichtung (50) nach einem der Ansprüche 1 bis 8 mittels einer bildgebenden Einheit (52), die auf einer Seite eine planare Referenzfläche (54) bereitstellt und einer 2D-Kamera (200), die derart angeordnet ist, dass ein von einer Beleuchtung (10) des Lichtlaufzeitkamerasystems (1) auf die Referenzfläche (54) projiziertes Licht und ein angrenzender Randbereich erfasst und hieraus eine absolute optische Leistung der Beleuchtung (10) bestimmt wird.
  12. Verfahren nach Anspruch 11, bei dem in der Kalibriervorrichtung (50) die optischen Eigenschaften des Kamerasystems (1) über Abbildungen A der Referenzfläche (54) der bildgebenden Einheit (52), die mittels dieses Kamerasystems (1) erstellt sind, kalibriert werden, wobei die bildgebende Einheit (52) zum Erstellen von Mustern M auf der Referenzfläche (54) schaltbare Lichtquellen (56) aufweist und zur Kalibrierung die durch das Licht der Lichtquellen (56) erstellten Muster M genutzt werden.
  13. Verfahren nach Anspruch 11 oder 12, bei dem in der Kalibriervorrichtung (50) eine Wigglingkorrektur durchgeführt wird, indem mehrmals die Distanz zur Referenzebene gemessen und bei jeder Messung ein Phasenoffset der Lichtlaufzeitkamera (1) variiert wird.
DE102018108154.5A 2018-04-06 2018-04-06 Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem Active DE102018108154B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018108154.5A DE102018108154B4 (de) 2018-04-06 2018-04-06 Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018108154.5A DE102018108154B4 (de) 2018-04-06 2018-04-06 Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem

Publications (2)

Publication Number Publication Date
DE102018108154A1 DE102018108154A1 (de) 2019-10-10
DE102018108154B4 true DE102018108154B4 (de) 2020-03-12

Family

ID=67991382

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018108154.5A Active DE102018108154B4 (de) 2018-04-06 2018-04-06 Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem

Country Status (1)

Country Link
DE (1) DE102018108154B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021121070A1 (de) 2020-08-28 2022-03-03 Ifm Electronic Gmbh Verfahren zum Betreiben einer Lichtlaufzeitkamera

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862236B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 定焦双目相机自标定方法及系统
DE102021111417A1 (de) 2021-05-03 2022-11-03 Carl Zeiss Ag Verfahren und System zu Bestimmung der Lage eines Markers in einem 2D-Bild und dafür ausgebildeter Marker

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012203341A1 (de) * 2011-03-25 2012-09-27 Ifm Electronic Gmbh 2D3D-Beleuchtung
DE102011122335A1 (de) * 2011-09-30 2013-04-04 Samsung Electro-Mechanics Co., Ltd. Kalibriervorrichtung für ein Kameramodul
DE102016221184A1 (de) * 2015-10-30 2017-05-04 pmdtechnologies ag Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
DE102016222334A1 (de) * 2015-11-12 2017-05-18 pmdtechnologies ag Verfahren zur Ermittlung von Systemparametern eines Lichtlaufzeitkamerasystems
DE112015004335T5 (de) * 2014-12-22 2017-06-14 Google Inc. Laufzeitkamerasystem mit scanbeleuchter

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012203341A1 (de) * 2011-03-25 2012-09-27 Ifm Electronic Gmbh 2D3D-Beleuchtung
DE102011122335A1 (de) * 2011-09-30 2013-04-04 Samsung Electro-Mechanics Co., Ltd. Kalibriervorrichtung für ein Kameramodul
DE112015004335T5 (de) * 2014-12-22 2017-06-14 Google Inc. Laufzeitkamerasystem mit scanbeleuchter
DE102016221184A1 (de) * 2015-10-30 2017-05-04 pmdtechnologies ag Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
DE102016222334A1 (de) * 2015-11-12 2017-05-18 pmdtechnologies ag Verfahren zur Ermittlung von Systemparametern eines Lichtlaufzeitkamerasystems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021121070A1 (de) 2020-08-28 2022-03-03 Ifm Electronic Gmbh Verfahren zum Betreiben einer Lichtlaufzeitkamera

Also Published As

Publication number Publication date
DE102018108154A1 (de) 2019-10-10

Similar Documents

Publication Publication Date Title
DE102018108154B4 (de) Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
DE19721105C2 (de) Opto-eletronischer Sensor
DE3642051A1 (de) Verfahren zur dreidimensionalen informationsverarbeitung und vorrichtung zum erhalten einer dreidimensionalen information ueber ein objekt
DE102007031230B3 (de) Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
EP2646802A1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE19730341A1 (de) Verfahren zum Betrieb einer opto-elektronischen Sensoranordnung
DE102016221184A1 (de) Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
DE102009047303A1 (de) Einrichtung für die Kalibrierung eines Sensors
DE102015201093A1 (de) Verfahren und Gonioradiometer zur richtungsabhängigen Messung mindestens einer lichttechnischen oder radiometrischen Kenngröße einer optischen Strahlungsquelle
WO2012038349A1 (de) Verfahren zum optischen antasten einer kante in oder an einem oberlächenbereich
DE2354141A1 (de) Verfahren zum untersuchen einer oberflaeche und vorrichtung zur durchfuehrung dieses verfahrens
EP2019281A1 (de) 3D-Sensor und Verfahren zum Betrieb eines 3D-Sensors
DE112016006183T5 (de) Probenform-Messverfahren und Probenform-Messvorrichtung
DE102017116758A1 (de) Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
DE102010043723B4 (de) Lichtlaufzeitkamerasystem
EP3276412A1 (de) Objektsimulationsgerät zum prüfen eines kameraobjektivs und diagnosesystem
DE102020206006A1 (de) Verfahren zum Kalibrieren und/oder Justieren und Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
DE102019123449A1 (de) Lichtlaufzeitkamerasystem mit hohem Dynamikumfang
DE3128189A1 (de) "bildlesegeraet"
EP1211480A2 (de) Elektrooptisches Messgerät zum Feststellen der Relativlage von Körpern oder von Oberflächenbereichen solcher Körper
DE102014204686A1 (de) Verfahren und Vorrichtung zur Bildaufnahme in der Fahrzeugvermessung
DE102015205927B4 (de) Entfernungsmesssystem mit Lichtlaufzeitmessung und Triangulation
DE102017205720A1 (de) Integrierter Kalibrierkörper
DE3926633C2 (de)
DE3248382A1 (de) Verfahren und vorrichtung zum ausrichten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final