DE102017200879A1 - Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen - Google Patents

Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen Download PDF

Info

Publication number
DE102017200879A1
DE102017200879A1 DE102017200879.2A DE102017200879A DE102017200879A1 DE 102017200879 A1 DE102017200879 A1 DE 102017200879A1 DE 102017200879 A DE102017200879 A DE 102017200879A DE 102017200879 A1 DE102017200879 A1 DE 102017200879A1
Authority
DE
Germany
Prior art keywords
time
light
pixels
transit time
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017200879.2A
Other languages
English (en)
Other versions
DE102017200879B4 (de
Inventor
Thomas Kerstein
Lutz Heyne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PMDtechnologies AG filed Critical PMDtechnologies AG
Priority to PCT/EP2017/051920 priority Critical patent/WO2017134010A1/de
Publication of DE102017200879A1 publication Critical patent/DE102017200879A1/de
Application granted granted Critical
Publication of DE102017200879B4 publication Critical patent/DE102017200879B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4918Controlling received signal intensity, gain or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Verfahren zum Betreiben einer Lichtlaufzeitkamera mit einem Lichtlaufzeitsensor (22) bestehend aus mehreren Lichtlaufzeitpixeln (23), wobei die Lichtlaufzeitpixel (23) derart ausgestaltet sind, dass Ladungen synchron zu einem Modulationssignal abwechselnd in einem ersten und zweiten Integrationsknoten (Ga, Gb) gesammelt werden, bei dem eine Belichtungsregelung (500) mit den folgenden Schritten ausgeführt wird: a) Erfassen von Nutzlichtamplituden (A) einer Teilmenge der im Lichtlaufzeitsensor (22) vorhandenen Pixel (23), wobei die Pixel-Teilmenge anhand einer Selektionsmaske (IMask) selektiert wird, b) Ermittlung eines Ist-Amplitudenquantils (Aist,p) ausgehend von den im Schritt a) erfassten Nutzlichtamplituden (A) der selektierten Pixel-Teilmenge und eines vorgegebenen Quantils (p), c) Ermittlung und Ausgabe einer nachfolgenden Integrationszeit (tint,t+1) ausgehend von dem in Schritt b) ermittelten Ist-Amplitudenquantils (Aist,p), der aktuellen Integrationszeit (tint,t) und eines vorgegebenen Soll-Amplitudenquantils (Asoll,p).

Description

  • Die Erfindung betrifft ein Lichtlaufzeitkamera und ein Verfahren zum Betreiben einer solchen nach Gattung der unabhängigen Ansprüche.
  • Mit Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasystem sollen hier insbesondere Systeme umfasst sein, die Entfernungen bzw. die Lichtlaufzeit aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 A1 beschrieben und beispielsweise von der Firma 'ifm electronic GmbH’ oder 'pmdtechnologies ag' als O3D-Kamera bzw. als CamBoard zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
  • Bisher konzentrieren sich Ansätze zur Regelung der Belichtungszeit weitestgehend auf 2D-Kameras. Im 2D-Bereich ist die automatische Nachregelung der Belichtungszeit (Belichtungsautomatik) weitverbreitet und nahezu in jede Kamera integriert. Hierbei gibt es verschiedene Modi: Zum einen gibt es die Spotmessung, bei der die Belichtungsautomatik nur die Lichtwerte der Bildmitte als Berechnungsgrundlage für Blende und Verschlusszeit ermittelt. Weiter gibt es die integrale Messung, bei der die Lichtsituation des inneren Raums eines Motivs gemessen und als Durchschnitt berechnet wird. Die technisch aufwändigste Messung stellt die Mehrfeldmessung dar, bei der verschiedene Zonen im gesamten Bild gemessen werden, woraus ein Durchschnittswert errechnet wird. Die meisten modernen digitalen Spiegelreflexkameras verfügen über alle drei Modi der Belichtungsmessung, sodass die Belichtungsautomatik in unterschiedlichen Situationen bestmögliche Messwerte ermitteln kann. Derartige Belichtungsmessungen sind beispielsweise aus der DE390812 C2 oder DE3143583 C2 bekannt.
  • Aufgabe der Erfindung ist es, die Performanz und Genauigkeit der Entfernungsmessung einer Lichtlaufzeitkamera zu verbessern.
  • Die Aufgabe wird vorteilhaft durch das Verfahren und die Vorrichtung gemäß der unabhängigen Ansprüche gelöst.
  • Vorteilhaft ist ein Verfahren zum Betreiben einer Lichtlaufzeitkamera mit einem Lichtlaufzeitsensor bestehend aus mehreren Lichtlaufzeitpixeln,
    wobei die Lichtlaufzeitpixel derart ausgestaltet sind,
    dass Ladungen synchron zu einem Modulationssignal abwechselnd in einem ersten und zweiten Integrationsknoten gesammelt werden,
    bei dem eine Belichtungsregelung mit den folgenden Schritten ausgeführt wird:
    • a) Erfassen von Nutzlichtamplituden einer Pixel-Teilmenge der im Lichtlaufzeitsensor vorhandenen Pixel, wobei die Pixel-Teilmenge anhand einer Selektionsmaske selektiert wird,
    • b) Ermittlung einer Ist-Quantil-Amplitude ausgehend von den im Schritt a) erfassten Nutzlichtamplituden der selektierten Pixel-Teilmenge und eines vorgegebenen Quantils,
    • c) Ermittlung und Ausgabe einer nachfolgenden Integrationszeit ausgehend von der in Schritt b) ermittelten Ist-Quantil-Amplitude, der aktuellen Integrationszeit und einer vorgegebenen Soll-Quantil-Amplitude.
  • Dieses Vorgehen hat den Vorteil, dass für eine Entfernungsbestimmung immer eine ausreichende Anzahl von Pixeln mit einer geeigneten Nutzlichtamplitude vorliegt.
  • Bevorzugt ist die Selektionsmaske zur Durchführung des Verfahrens so ausgestaltet, dass in einem zentralen Bereich eine höhere Pixeldichte vorliegt als in den Randbereichen.
  • Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
  • Es zeigen:
  • 1 schematisch ein Lichtlaufzeitkamerasystem,
  • 2 eine modulierte Integration erzeugter Ladungsträger,
  • 3 einen Querschnitt durch einen PMD-Lichtlaufzeitsensor mit Potentialverteilung,
  • 4 einen zeitlichen Verlauf der Integrationsspannungen an einem Lichtlaufzeitpixel,
  • 5 Verläufe der Ladungsintegration abhängig von der Phasenverschiebung und -lage,
  • 6 eine Relation der Phasenverschiebung in einem IQ-Diagramm,
  • 7 eine vereinfachte Regelstruktur einer erfindungsgemäßen Belichtungsregelung,
  • 8 eine bevorzugte Selektionsmaske,
  • 9 ein Blockdiagramm einer erfindungsgemäßen Belichtungsregelung,
  • 10 eine Regelstruktur einer erfindungsgemäßen Belichtungsregelung.
  • Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
  • 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist.
  • Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
  • Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
  • Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal Mo mit einer Basisphasenlage φ0 beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ0 des Modulationssignals M0 der Lichtquelle 12 um definierte Phasenlagen φvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φvar = 0°, 90°, 180°, 270° verwendet.
  • Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp1 mit der ersten Phasenlage p1 bzw. p1 = φ0 + φvar aus. Dieses Signal Sp1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(tL) mit einer zweiten Phasenlage p2 = φ0 + φvar + Δφ(tL) als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal Mo mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
  • Ferner weist das System ein Modulationssteuergerät 27 auf, das in Abhängigkeit der vorliegenden Messaufgabe die Phasenlage φvar das Modulationssignal M0 verändert und/oder über einen Frequenzoszillator 38 die Modulationsfrequenz einstellt.
  • Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
  • Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M0 mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(tL) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M0 in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M0 + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(tL) und somit eine Entfernung d des Objekts bestimmen.
  • 3 zeigt einen Querschnitt durch einen Lichtlaufzeitpixel 23 eines Lichtlaufzeitsensors 22 insbesondere eines Photomischdetektors wie er beispielsweise aus der DE 197 04 496 C2 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates Gam, G0, Gbm angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate bzw. Integrationsknoten Ga, Gb gelenkt. Die Integrationsknoten können als Gate oder auch als Diode ausgebildet sein.
  • 3b zeigt einen Potenzialverlauf, bei dem die Ladungen q in Richtung des ersten Integrationsknoten Ga abfließen, während das Potenzial gemäß 3c die Ladung q in Richtung des zweiten Integrationsknoten Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationssignale vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.
  • In 3a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Lichtlaufzeitsensors sein kann. Die als Kapazitäten bzw. Dioden ausgebildeten Integrationsknoten Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Gates Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Integrationsknoten und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.
  • In 4 ist ein typischer zeitlicher Verlauf der an den Integrationsknoten Ga, Gb während einer Phasenmessung anliegenden Spannung Ua, Ub. Ausgehend von einer nach einem Reset an den Integrationsknoten anliegenden positiven Resetspannung UDRS fällt die Spannung aufgrund der akkumulierten Photoelektronen an beiden Integrationsknoten Ga, Gb ab. Entsprechend der Phasenverschiebung Δφ(tL) des empfangenen Signals fallen die Spannungen an den Integrationsknoten Ga, Gb unterschiedlich stark ab. Zum Ende der Integrationszeit tint wird die an den Integrationsknoten Ga, Gb anliegenden Spannung Ua, Ub ausgelesen. Die Spannungsdifferenz ΔU der beiden Spannungen Ua, Ub entspricht in bekannter Weise der Differenz Δq der an den Integrationsknoten Ga, Gb akkumulierten Ladung q. Die Integrationszeit tint ist vorzugsweise so bemessen, dass kein Integrationsknoten Ga, Gb bei einer üblichen Belichtung sein Sättigungspotential US erreicht. Für größere Signalstärken kann auch eine so genannte SBI-Schaltung zur Signalkompensation vorgesehen sein. Derartige Schaltungen sind beispielsweise aus der DE 10 2004 016 626 A1 oder DE 10 2005 056 774 A1 bekannt.
  • 5a und 5b zeigen Verläufe der normierten Ladungsdifferenz Δq = qa – qb/(qa + qb) in Abhängigkeit der Phasenverschiebung Δφ(tL) des empfangenen Lichtsignals Sp2 mit unterschiedlichen Phasenlagen. Die 5a zeigt einen Verlauf für eine unverschobene Modulationsphase M0 mit einer Phasenlage φvar = 0°.
  • Bei einem Auftreffen des Signals Sp2 ohne Phasenverschiebung also Δφ(tL) = 0°, beispielsweise, wenn das Sendesignal Sp1 direkt auf den Sensor gelenkt wird, sind die Phasen der Modulation M0 und vom empfangenen Signal Sp2 identisch, so dass alle erzeugten Ladungsträger phasensynchron am ersten Integrationsknoten Ga erfasst werden und somit ein maximales Differenzsignal mit Δq = 1 anliegt.
  • Mit zunehmender Phasenverschiebung nimmt die am ersten Integrationsknoten Ga akkumulierte Ladung ab und am zweiten Integrationsknoten Gb zu. Bei einer Phasenverschiebung von Δφ(tL) = 90° sind die Ladungsträger qa, qb an beiden Integrationsknoten Ga, Gb gleich verteilt und die Ladungsdifferenz somit Null und nach 180° Phasenverschiebung "–1". Mit weiter zunehmender Phasenverschiebung nimmt die Ladung am ersten Gate Ga wieder zu, so dass im Ergebnis die Ladungsdifferenz wieder ansteigt, um dann bei 360° bzw. 0° wieder ein Maximum zu erreichen.
  • Mathematisch handelt es sich hierbei um eine Korrelationsfunktion des empfangenen Signals Sp2 mit dem modulierenden Signal M0.
    Figure DE102017200879A1_0002
  • Bei einer Modulation mit einem Rechtecksignal ergibt sich wie bereits dargestellt als Korrelationsfunktion eine Dreiecksfunktion. Bei einer Modulation mit beispielsweise einem Sinussignal wäre das Ergebnis eine Kosinusfunktion.
  • Wie 5a zeigt, ist eine Messung der Phase mit einer Phasenlage nur bis zu einer Phasenverschiebung Δφ(tL) ≤ 180° eindeutig.
  • Zur maximalen Erfassung der Phasenverschiebung ist beispielsweise das IQ(Inphase-Quadratur) Verfahren bekannt, bei dem zwei Messungen mit um 90° verschobenen Phasenlagen durchgeführt werden, also beispielsweise mit der Phasenlage φvar = 0° und φvar = 90°. Das Ergebnis einer Messung mit der Phasenlage φvar = 90° ist in 5b dargestellt.
  • Die Beziehung dieser beiden Kurven lässt sich in bekannter Weise beispielsweise für sinusförmige Kurvenverläufe in einem IQ-Diagramm gem. 6 darstellen. In erster Näherung ist diese Darstellung ohne weiteres auch für die dargestellten Dreiecksfunktionen anwendbar.
  • Der Phasenwinkel lässt sich dann in bekannter Weise über eine arctan-Funktion bzw. arctan2-Funktion bestimmen:
    Figure DE102017200879A1_0003
  • Aufgrund des linearen Zusammenhangs zwischen Ladung und Spannung, lässt sich der Phasenwinkel ebenso über die Spannungsdifferenzen bestimmen:
    Figure DE102017200879A1_0004
  • Um beispielsweise Asymmetrien des Sensors zu kompensieren, können zusätzliche um 180° verschobene Phasenmessungen durchgeführt werden, so dass sich im Ergebnis der Phasenwinkel wie folgt bestimmen lässt.
    Figure DE102017200879A1_0005
  • Oder verkürzt formuliert:
    Figure DE102017200879A1_0006
  • Wobei die Indizes die jeweilige Phasenlage der Differenzen Di andeuten, mit D1 = ∆q(0°) usw.
  • Kerngedanke der erfindungsgemäßen dynamischen Nachregelung der Belichtungszeit bzw. Integrationszeit tint der Lichtlaufzeitkamera ist, stets ein möglichst konstantes Signal zu erhalten und insbesondere Pixelsättigung zu vermeiden. Im Gegensatz zu herkömmlichen Verfahren zur Belichtungsregelung bei 2D-Kameras bezieht sich die erfindungsgemäße Regelung auf ein Quantil der Amplitude des von der Kamera emittierten Beleuchtungssignals als Regelgröße. Durch die Wahl der Quantilsgrenze lässt sich das Regelverhalten dabei präzise steuern.
  • Um die Prozesszeit zu reduzieren ist es erfindungsgemäß ferner vorgesehen, zur Berechnung der Integrationszeit lediglich eine Teilmenge aller Pixel in der Berechnung zu berücksichtigen. Zu diesem Zweck ist eine Selektionsmaske vorgesehen, die nicht nur die Anzahl der Pixel deutlich reduziert, sondern auch einer der Applikation angepassten Gewichtung dient. So kann beispielsweise dem Bildzentrum eine stärkere Gewichtung beigemessen werden als den Randbereichen.
  • Unter regelungstechnischen Gesichtspunkten entspricht die Integrationszeit tint der Stellgröße und die Amplitude A des von der Kamera emittierten Beleuchtungssignals der Regelgröße. Die Amplitude A des Nutzsignals bestimmt sich in bekannter Weise wie folgt:
    Figure DE102017200879A1_0007
  • Wie bekannt sind Amplitude und Integrationszeit zueinander proportional: A ∝ tint (7)
  • Erfindungsgemäß ist es nun vorgesehen die Regelung der Belichtungszeit auf ein p-Quantil der Amplituden ausgewählter Pixel abzustellen. Hierbei wird aus dem Verhältnis eines vorgegebenen Soll-Amplitudenquantils Asoll,p und eines erfassten Ist-Amplitudenquantils Aist,p eine Regelgröße ermittelt. Für eine solche Regelung ist beispielsweise ein 95% Quantil (p = 0,95)) geeignet. Das Amplitudenquantil wird in jedem Frame jeweils neu berechnet.
  • Als p-Quantil bezeichnet man den Schwellenwert, der von einem definierten Anteil p der Gesamtheit aller Einträge einer Verteilung (anschaulich darstellbar in einem Histogramm) unterschritten wird. p bezeichnet hierbei die Quantilsgrenze bzw. den Unterschreitungsanteil mit einem Wertebereich von 0 → 0% und 1 → 100%.
  • Erfindungsgemäß ist es vorgesehen die Integrationszeit tint,t+1 für einen nachfolgenden Frame aus dem gewünschten Soll-Amplitudenquantil Asoll,p und dem im jeweils aktuellen Frame gemessenen Ist-Amplitudenquantil Aist,p zu bestimmen:
    Figure DE102017200879A1_0008
  • Hierbei entsprechen die Variablen den folgenden Größen:
    • • tint;t: Aktuelle Integrationszeit im Frame t
    • • tint;t+1: Integrationszeit für den jeweils nachfolgenden Frame t + 1
    • • Asoll,p: Sollwert der Amplitude beim p-Quantil, z.B. p = 0.95 für das 95%-Amplituden-Quantil
    • • Aist,p: Istwert der Amplitude beim vorgegebenen p-Quantil bspw.: p = 0.95
  • Eine entsprechende Regelschleife ist beispielhaft in 7 dargestellt. Um den Berechnungsaufwand für die Regelung der Belichtungszeit zu verringern, empfiehlt es sich, die Anzahl der Pixel für die Berechnung der Amplitudenquantile Asoll,p; Aist,p auf eine repräsentative Pixel-Teilmenge zu reduzieren anstatt alle Pixel für die Berechnung zu berücksichtigen.
  • In 8 ist exemplarisch eine erfindungsgemäße fächerförmige Selektionsmaske IMask dargestellt, bei der das Bildzentrum für die Regelung stärker berücksichtigt wird als die Bildränder. Beispielhaft wird hier ein Sensor mit einer Auflösung von 224 × 170 = 38.080 Pixel angenommen. Um die Daten für die Belichtungszeitregelung erfindungsgemäß zu reduzieren ist eine Selektionsmaske mit M = 50 Strahlen, mit jeweils einem Winkelabstand von 7,2° und einem radialen Pixelabstand von 5 Pixel (d.h. jedes fünfte Pixel auf einem Strahl wird berücksichtigt) vorgesehen. Somit ergeben sich 28 Kreise wobei die Dichte der betrachteten Pixel mit zunehmendem Radius r zu den Bildrändern hin mit 1/r hyperbolisch abnimmt. Die Selektionsmaske umfasst somit 50 × 28 = 1400 Pixel. Durch die Projektion der Maske auf die rechteckige Geometrie des Sensors verbleiben 1045 Pixel, die für die Belichtungszeitregelung verwendet werden. Dies entspricht in diesem Beispiel einer Reduzierung der Messungen auf 3 % der Pixel bzw. eine Reduzierung des Berechnungsaufwands um 97 %. Selbstverständlich sind auch andere Selektionsmasken denkbar, insbesondere kann die Dichteverteilung bzw. Gewichtung der selektierten Pixel applikationsabhängig angepasst werden.
  • Die Berechnung des Algorithmus besteht aus den folgenden Prozessschritten: Während die Maske initial nur einmal berechnet werden muss, müssen die folgenden drei Schritte für jeweils jeden Frame neu berechnet werden:
    • 1. Extraktion der zu berücksichtigenden Pixel aus dem Amplitudenbild IAmpl basierend auf der vorgestellten Selektionsmaske IMask
    • 2. Berechnung des p-Amplitudenquantils, z.B. des 95%-Amplitudenquantils. Die erforderliche Sortierung kann hierbei mithilfe effizienter Sortieralgorithmen für eine partielle Sortierung erfolgen.
    • 3. Berechnung der Belichtungszeit für den jeweils nächsten Frame gemäß Gleichung (8). Um eine Nachregelung der Belichtungszeit in jedem Frame zu vermeiden, ist es sinnvoll einen Toleranzbereich (Hysterese) zu definieren, die nur dann eine Nachregelung initiiert, falls sich das gemessene Amplitudenquantil um mehr als ein Mindestmaß von dem p-Quantil der Sollamplitude unterscheidet:
      Figure DE102017200879A1_0009
  • Hierbei bezeichnen δmin und δmax jeweils das Minimal- bzw. Maximalverhältnis zwischen Asoll,p und Aist,p.
  • In 9 ist beispielhaft ein Blockdiagramm einer erfindungsgemäßen Belichtungsregelung 500 dargestellt. Als Eingangsgrößen stehen der Belichtungsreglung 500 das Amplitudenbild IAmp und die aktuelle Integrationszeit tint,t zur Verfügung.
  • Als Grenzen für die Integrationszeit tint werden eine minimale und eine maximale Integrationszeit tint,min; tint,max vorgegeben. Ferner werden der Belichtungsregelung 500 das Maskenbild IMask und der Sollwert Asoll,p für das p-Amplitudenquantil mit beispielsweise p = 0,95 für das 95%-Amplitudenquantil vorgegeben.
  • Ausgehend von den Eingangsgrößen und gesetzten Parametern wird durch Belichtungsregelung 500 die nachfolgende Integrationszeit tint,t+1 als Ausgangsgröße ermittelt.
  • In 10 ist beispielhaft eine Regelstruktur in vereinfachter Darstellung gezeigt. Zur Generierung eines Ist-Amplitudenquantils Aist,p bzw. zur Erstellung eines Amplitudenhistogramms werden erfindungsgemäß nur die in der Selektionsmaske IMask markierten Pixel herangezogen.
  • Zur Bestimmung der nachfolgenden Integrationszeit tint,t+1 wird ein Verstärkungsfaktor aus dem Verhältnis von Asoll,p und Aist,p gemäß Formel 8 bestimmt und einem Multiplikator zugeführt, wobei das Ergebnis der Multiplikation im Nachfolgenden in den Grenzen der Minimal- und Maximal-Integrationszeit eingeschränkt wird und wobei ferner in einer Toleranzprüfung (Hysterese) die aktuelle Integrationszeit tint,t nur dann verändert wird, wenn die ermittelte Integrationszeit tint,t+1 signifikant von der aktuelle Integrationszeit tint,t abweicht. Wenn dies nicht der Fall ist wird tint,t+1 = tint,t gesetzt.
  • 11 zeigt beispielhaft ein kumulatives Histogramm der Amplituden der ausgewählten Pixel eines aufgenommenen Frames. Die obere Grenze des Histogramms entspricht somit der Anzahl nMask der Pixel der Selektionsmaske IMask. Exemplarisch ist mit strichpunktierter Line eine 0,95-Quantilsgrenze eingezeichnet. Das Ist-Amplitudenquantil Aist,p ergibt sich aus dem Schnittpunkt der kumuliert, sortierten Amplituden mit der Quantilsgrenze
  • Im dargestellten Fall liegt das Ist-Amplitudenquantil Aist,p unterhalb des vorgegebenen Soll-Amplitudenquantils Asoll,p, d.h.
    Figure DE102017200879A1_0010
    und die nachfolgende Integrationszeit ist gemäß Formel 8 zu verlängern.
  • Bezugszeichenliste
  • 1
    Lichtlaufzeitkamerasystem
    10
    Beleuchtungsmodul
    12
    Beleuchtung
    20
    Empfänger, Lichtlaufzeitkamera
    22
    Lichtlaufzeitsensor
    27
    Auswerteeinheit
    30
    Modulator
    35
    Phasenschieber, Beleuchtungsphasenschieber
    38
    Modulationssteuergerät
    40
    Objekt
    400
    Auswerteeinheit
    500
    Belichtungsregelung
    φ, Δφ(tL)
    laufzeitbedingte Phasenverschiebung
    φvar
    Phasenlage
    φ0
    Basisphase
    M0
    Modulationssignal
    p1
    erste Phase
    p2
    zweite Phase
    Sp1
    Sendesignal mit erster Phase
    Sp2
    Empfangssignal mit zweiter Phase
    Ga, Gb
    Integrationsknoten
    Ua, Ub
    Spannungen an den Integrationsknoten
    ΔU
    Spannungsdifferenz
    Δq
    Ladungsdifferenz
    d
    Objektdistanz
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 19704496 A1 [0002, 0022]
    • DE 390812 C2 [0003]
    • DE 3143583 C2 [0003]
    • DE 19704496 C2 [0030]
    • DE 102004016626 A1 [0033]
    • DE 102005056774 A1 [0033]

Claims (3)

  1. Verfahren zum Betreiben einer Lichtlaufzeitkamera mit einem Lichtlaufzeitsensor (22) bestehend aus mehreren Lichtlaufzeitpixeln (23), wobei die Lichtlaufzeitpixel (23) derart ausgestaltet sind, dass Ladungen synchron zu einem Modulationssignal abwechselnd in einem ersten und zweiten Integrationsknoten (Ga, Gb) gesammelt werden, bei dem eine Belichtungsregelung (500) mit den folgenden Schritten ausgeführt wird: a) Erfassen von Nutzlichtamplituden (A) einer Teilmenge der im Lichtlaufzeitsensor (22) vorhandenen Pixel (23), wobei die Pixel-Teilmenge anhand einer Selektionsmaske (IMask) selektiert wird, b) Ermittlung eines Ist-Amplitudenquantils (Aist,p) ausgehend von den im Schritt a) erfassten Nutzlichtamplituden (A) der selektierten Pixel-Teilmenge und eines vorgegebenen Quantils (p), c) Ermittlung und Ausgabe einer nachfolgenden Integrationszeit (tint,t+1) ausgehend von dem in Schritt b) ermittelten Ist-Amplitudenquantils (Aist,p), der aktuellen Integrationszeit (tint,t) und eines vorgegebenen Soll-Amplitudenquantils (Asoll,p).
  2. Verfahren nach Anspruch 1, bei dem die Selektionsmaske (IMask) in einem zentralen Bereich eine höhere Pixeldichte aufweist als in den Randbereichen.
  3. Lichtlaufzeitkamera (200), die zur Durchführung des vorgenannten Verfahrens ausgebildet ist.
DE102017200879.2A 2016-02-02 2017-01-19 Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen Active DE102017200879B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/051920 WO2017134010A1 (de) 2016-02-02 2017-01-30 Lichtlaufzeitkamera und verfahren zum betreiben einer solchen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016201585 2016-02-02
DE102016201585.0 2016-02-02

Publications (2)

Publication Number Publication Date
DE102017200879A1 true DE102017200879A1 (de) 2017-08-03
DE102017200879B4 DE102017200879B4 (de) 2022-05-05

Family

ID=59327318

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017200879.2A Active DE102017200879B4 (de) 2016-02-02 2017-01-19 Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen

Country Status (2)

Country Link
DE (1) DE102017200879B4 (de)
WO (1) WO2017134010A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3779354A4 (de) * 2018-04-02 2022-06-08 LG Electronics, Inc. Reinigungsroboter mit einschränkungsverhinderungsfilter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE390812C (de) 1922-09-22 1924-02-23 Hermann Cajar Dr Verfahren zur Herstellung von ausgezeichnet druckfaehigen Farben fuer das graphischeGewerbe
DE3143583C2 (de) 1980-11-08 1984-09-13 Olympus Optical Co., Ltd., Tokio/Tokyo Belichtungsmeßart-Umschalteinrichtung für eine Kamera mit automatischer Belichtungssteuerung
DE19704496A1 (de) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
DE102004016626A1 (de) 2004-04-05 2005-10-20 Pmd Technologies Gmbh Signalverarbeitungselektronik
DE102005056774A1 (de) 2005-11-28 2007-05-31 Pmdtechnologies Gmbh TOF-Pixel und Verfahren zu dessen Betrieb
US7511801B1 (en) * 2005-02-08 2009-03-31 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548270B2 (en) 2005-09-08 2009-06-16 Delphi Technologies, Inc. Method of exposure control for an imaging system
US8675122B2 (en) 2009-01-16 2014-03-18 Microsoft Corporation Determining exposure time in a digital camera
DE102013203088B4 (de) 2013-02-25 2017-05-11 pmdtechnologies ag Lichtlaufzeitkamerasystem
US9277136B2 (en) 2013-11-25 2016-03-01 Samsung Electronics Co., Ltd. Imaging systems and methods with pixel sensitivity adjustments by adjusting demodulation signal
DE102015205826B4 (de) 2014-04-04 2020-03-12 pmdtechnologies ag Entfernungsmesssystem mit Lichtlaufzeitpixelzeile

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE390812C (de) 1922-09-22 1924-02-23 Hermann Cajar Dr Verfahren zur Herstellung von ausgezeichnet druckfaehigen Farben fuer das graphischeGewerbe
DE3143583C2 (de) 1980-11-08 1984-09-13 Olympus Optical Co., Ltd., Tokio/Tokyo Belichtungsmeßart-Umschalteinrichtung für eine Kamera mit automatischer Belichtungssteuerung
DE19704496A1 (de) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
DE102004016626A1 (de) 2004-04-05 2005-10-20 Pmd Technologies Gmbh Signalverarbeitungselektronik
US7511801B1 (en) * 2005-02-08 2009-03-31 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems
DE102005056774A1 (de) 2005-11-28 2007-05-31 Pmdtechnologies Gmbh TOF-Pixel und Verfahren zu dessen Betrieb

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3779354A4 (de) * 2018-04-02 2022-06-08 LG Electronics, Inc. Reinigungsroboter mit einschränkungsverhinderungsfilter

Also Published As

Publication number Publication date
WO2017134010A1 (de) 2017-08-10
DE102017200879B4 (de) 2022-05-05

Similar Documents

Publication Publication Date Title
WO2018185083A2 (de) Lichtlaufzeitkamera
DE112008003342T5 (de) Aufzeichnung von 3D-Bildern einer Szene
DE2948752A1 (de) Scharfeinstellungs-ermittlungssystem
DE102010003409A1 (de) Lichtlaufzeit-Kamera
DE2209667A1 (de) Einrichtung zur beruehrungslosen messung
DE102013207649A1 (de) Lichtlaufzeitkamerasystem
DE102014013099A1 (de) Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes
DE102016213217A1 (de) Lichtlaufzeitkamerasystem
DE102020003651A1 (de) Entfernungsbestimmungsvorrichtung mit einer Funktion zum Bestimmen der Beleuchtungsstärke und Verfahren zum Bestimmen der Beleuchtungsstärke von externem Licht
DE102013203088B4 (de) Lichtlaufzeitkamerasystem
DE102014205585B4 (de) Verfahren zum Betreiben einer Lichtlaufzeitkamera und Lichtlaufzeitkamerasystem
DE102017200879B4 (de) Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen
DE102015225192B4 (de) Lichtlaufzeitmesssystem mit Überreichweitenerkennung
DE102020123537B4 (de) Lichtlaufzeitkamerasystem
DE102016219518A1 (de) Lichtlaufzeitkamerasystem
DE102011089642B4 (de) Lichtlaufzeitsensor
DE102016219170A1 (de) Lichtlaufzeitkamerasystem
DE102017203091A1 (de) Lichtlaufzeitkamerasystem
EP1299760A1 (de) Verfahren zur autofokussierung für fernrohre von vermessungsgeräten
DE102016219510A1 (de) Lichtlaufzeitkamerasystem
DE102016219519B4 (de) Lichtlaufzeitkamerasystem
DE102010003411A1 (de) Lichtlaufzeit-Kamera
DE102019124142A1 (de) Lichtlaufzeitkamerasystem
DE102019110329A1 (de) Lichtlaufzeitkamera
DE102019124144A1 (de) Entfernungsmesssystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G03B0007080000

Ipc: H04N0005351000

R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005351000

Ipc: H04N0025500000

R020 Patent grant now final