-
Die Erfindung betrifft ein Entfernungsmesssystem und ein Verfahren zum Betreiben eines solchen nach Gattung der unabhängigen Ansprüche.
-
Mit Entfernungsmesssystem sollen hier Systeme umfasst sein, die Entfernungen aus beispielsweise Triangulationsverfahren und hier insbesondere durch Aussendung eines strukturierten Lichts ermitteln. Auch sollen Entfernungsmesssystem mit umfasst sein, die Entfernungen bzw. eine Lichtlaufzeit durch direkt Messungen der Laufzeit oder indirekt, beispielsweise aus einer Phasenverschiebung, einer emittierten und empfangenen Strahlung, gewinnen. Als phasenmessende Entfernungsmesssysteme sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der
DE 197 04 496 A1 beschrieben und beispielsweise von der Firma ‚ifm electronic GmbH‘ oder ‚pmdtechnologies ag‘ als O3D-Kamera bzw. als CamBoard zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
-
Aufgabe der Erfindung ist es, ein Entfernungsmesssystem insbesondere im Hinblick auf eine zuverlässige Gesichtserkennung weiter zu bilden.
-
Die Aufgabe wird durch das erfindungsgemäße Entfernungsmesssystem und entsprechende Verfahren wie folgt gelöst.
-
Vorteilhaft ist ein Entfernungsmesssystem vorgesehen, mit einer Beleuchtung zur Aussendung eines Nutzlichts und mit einer Kamera und einem Sensor, zur Erfassung des ausgesendeten und von einem Objekt reflektierten Nutzlichts,
mit einer Auswerteeinheit, die derart ausgestaltet ist, dass ausgehend vom erfassten Nutzlicht Nutzlichtamplituden NA und Distanzen d für jedes Pixel ermittelt werden und hieraus vom Abstand unabhängige invariante Amplituden IA gemäß der Vorschrift IA = NA · d2 bestimmt werden.
-
Dieses Vorgehen hat den Vorteil, dass eine nachfolgende Bildverarbeitung mit einer von der Distanz unabhängigen Amplitude bzw. einem Bildsignal versorgt werden kann und so der Prozess der Verarbeitung vereinfacht wird.
-
Vorteilhaft ist es auch vorgesehen, dass ausgehend von den an dem Objekt ermittelten Distanzen eine Ausrichtung einer Oberflächennormalen des Objekts ermittelt und eine von dieser Ausrichtung unabhängige invariante Amplitude bestimmt wird.
-
Hierdurch wird das Bildsignal von weiteren für die Auswertung ungewünschten Artefakten befreit.
-
Nützlich ist es ferner, wenn in Abhängigkeit der Invarianten Amplitude ein Grauwertbild ausgegeben wird.
-
In einer weiteren Ausgestaltung ist es vorgesehen, dass das Entfernungsmesssystem als phasenmessendes System ausgebildet ist, und die Nutzlichtamplitude aus wenigstens zwei Messungen mit unterschiedlichen Phasenlagen bestimmt wird.
-
Ebenso vorteilhaft ist ein Verfahren zum Betreiben eines Entfernungsmesssystems der vorgenannten Art vorgesehen,
bei dem unter Berücksichtigung der ermittelten Nutzlichtamplituden und Distanzen für jedes Pixel eine invariante Amplitude ermittelt wird.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
-
Es zeigen schematisch:
- 1 ein Lichtlaufzeitkamerasystem,
- 2 eine modulierte Integration erzeugter Ladungsträger,
- 3 einen Querschnitt durch einen PMD-Lichtlaufzeitsensor mit Potentialverteilung,
- 4 eine Relation der Phasenverschiebung in einem IQ-Diagramm,
- 5 einen Verlauf des Intensitätssignals mit dem Abstand,
- 6 einen Verlauf der Nutzlichtamplitude und der erfindungsgemäßen Invarianten Amplitude mit dem Abstand,
- 7 eine Anordnung mit einem verkippten Objekt,
- 8 einen Verlauf der winkelabhängigen Reflektivität,
- 9 ein schematisches Blockdiagramm, das die Auswertung im Sinne der Erfindung illustriert.
-
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
-
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der
DE 197 04 496 A1 bekannt ist.
-
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
-
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
-
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal Mo mit einer Basisphasenlage φ0 beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ0 des Modulationssignals Mo der Lichtquelle 12 um definierte Phasenlagen φvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φvar = 0°, 90°, 180°, 270° verwendet.
-
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp1 mit der ersten Phasenlage p1 bzw. p1 = φ0 + φvar aus. Dieses Signal Sp1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(tL) mit einer zweiten Phasenlage p2 = φ0 + φvar + Δφ(tL) als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal Mo mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
-
Ferner weist das System ein Modulationssteuergerät 27 auf, das in Abhängigkeit der vorliegenden Messaufgabe die Phasenlage φvar das Modulationssignal Mo verändert und/oder über einen Frequenzoszillator 38 die Modulationsfrequenz einstellt.
-
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
-
Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M0 mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(tL) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals Mo in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M0 + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(tL) und somit eine Entfernung d des Objekts bestimmen.
-
3 zeigt einen Querschnitt durch einen Pixel eines Photomischdetektors wie er beispielsweise aus der
DE 197 04 496 C2 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates Gam, G0, Gbm angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate bzw. Integrationsknoten Ga, Gb gelenkt. Die Integrationsknoten können als Gate oder auch als Diode ausgebildet sein.
-
3b zeigt einen Potenzialverlauf, bei dem die Ladungen q in Richtung des ersten Integrationskonten Ga abfließen, während das Potenzial gemäß 3c die Ladung q in Richtung des zweiten Integrationsknoten Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationssignale vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.
-
In 3a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Lichtlaufzeitsensors sein kann. Die als Kapazitäten bzw. Dioden ausgebildeten Integrationsknoten Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Gates Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Integrationsknoten und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.
-
Mit zunehmender Phasenverschiebung nimmt beispielsweise die am ersten Integrationsknoten Ga akkumulierte Ladung ab und am zweiten Integrationsknoten Gb zu. Bei einer Phasenverschiebung von Δφ(tL) = 90° sind die Ladungsträger qa, qb an beiden Integrationsknoten Ga, Gb gleich verteilt und die Ladungsdifferenz somit Null und nach 180° Phasenverschiebung „-1“. Mit weiter zunehmender Phasenverschiebung nimmt die Ladung am ersten Gate Ga wieder zu, so dass im Ergebnis die Ladungsdifferenz wieder ansteigt, um dann bei 360° bzw. 0° wieder ein Maximum zu erreichen.
-
Mathematisch handelt es sich hierbei um eine Korrelationsfunktion des empfangenen Signals S
p2 mit dem modulierenden Signal M
0.
-
Bei einer Modulation mit einem Rechtecksignal ergibt sich wie bereits dargestellt als Korrelationsfunktion eine Dreiecksfunktion. Bei einer Modulation mit beispielsweise einem Sinussignal wäre das Ergebnis eine Kosinusfunktion.
-
Zur maximalen Erfassung der Phasenverschiebung ist beispielsweise das IQ (Inphase-Quadratur) Verfahren bekannt, bei dem zwei Messungen mit um 90° verschobenen Phasenlagen durchgeführt werden, also beispielsweise mit der Phasenlage φvar = 0° und φvar = 90°.
-
Die Beziehung dieser beiden Kurven lässt sich in bekannter Weise beispielsweise für sinusförmige Kurvenverläufe in einem IQ-Diagramm gem. 4 darstellen. In erster Näherung ist diese Darstellung ohne weiteres auch für die dargestellten Dreiecksfunktionen anwendbar.
-
Der Phasenwinkel lässt sich dann in bekannter Weise über eine arctan-Funktion bzw. arctan2-Funktion bestimmen:
-
Aufgrund des linearen Zusammenhangs zwischen Ladung und Spannung, lässt sich der Phasenwinkel ebenso über die Spannungsdifferenzen bestimmen:
-
Um beispielsweise Asymmetrien des Sensors zu kompensieren, können zusätzliche um 180° verschobene Phasenmessungen durchgeführt werden, so dass sich im Ergebnis der Phasenwinkel wie folgt bestimmen lässt.
-
Oder verkürzt formuliert:
-
Wobei die Indizes die jeweilige Phasenlage der Differenzen ai andeuten, mit a1 = Δq(0°) usw.
-
Aus der Phasenverschiebung φ bzw. Δφ(t
L) lassen sich für Objektabstände d, die kleiner sind als die halbe Wellenlänge λ der Modulationsfrequenz d ≤ λ/2, in bekannter Weise ein Abstand bestimmen.
-
Am TOF-Sensor können grundsätzlich zwei grundlegende Signale ermittelt werden, nämlich die Intensität I und die Nutzlichtamplitude NA des erfassten Signals.
-
Die Intensität entspricht der Summe der am TOF-Pixel erfassten Signale entsprechend
und beinhaltet sowohl die modulierte Nutzlichtamplitude NA als auch das unmodulierte Hintergrundlicht HL.
-
5 zeigt schematisch den Zusammenhang. Während die Nutzlichtamplitude NA bei zunehmenden Abstand d mit 1/d2 abfällt, bleibt das Hintergrundlicht HL für alle Abstände d gleich. Die Intensität I bildet sich, wie oben beschrieben aus der Summe aus beiden.
-
Zusätzlich ist es an einem TOF-/PMD-Sensor der vorgenannten Art jedoch möglich, die Nutzlichtamplitude NA aus den Ladungsdifferenzen q
a - q
b bzw. hierzu äquivalenten Spannungsdifferenzen aus wenigstens zwei unterschiedlichen vorzugsweise orthogonalen Phasenmessungen zu bestimmen, gemäß
Mit q
a,b = Ladungen an den Integrationsknoten Ga, Gb und mit φ
0,1 = Phasenlage der jeweiligen Messung, beispielsweise mit φ
0 = 0° und φ
1 = 90°. Dieses Vorgehen hat den Vorteil, dass durch die Differenzbildung der Gleichlichtanteil des Fremd- bzw. Hintergrundlicht HL quasi ausgeblendet wird und die Nutzlichtamplitude NA somit grundsätzlich nur vom moduliert ausgestrahlten und empfangenen Nutzlicht abhängig ist.
mit qNL,a/b als Nutzlichtanteil, der vom jeweiligen Integrationsknoten Ga, Gb akkumuliert wird.
-
Das hier formulierte Beispiel der Verwendung von zwei Phasenmessungen zur Amplitudenbestimmung dient lediglich der Veranschaulichung und Abgrenzung zur Verwendung des Summensignals. Das Verfahren ist gleichermaßen übertragbar und anwendbar für andere Modulationsverfahren wie n-Phasen Modulation, Mehr-Frequenzmodulation, pn-Modulation, usw.
-
Die gemessene Nutzlichtamplitude NA des aktiven emittierten Lichtes einer TOF Kamera fällt quadratisch mit der Objektdistanz d ab NA ~ 1/d2. Die Fähigkeit einer ToF-Kamera die Distanz zu messen, ermöglicht diesen Abfall zu kompensieren.
-
Erfindungsgemäß wird eine invariante Amplitude IA eingeführt, die unabhängig von der Distanz ist: IA=NA*d2.
-
Die invariante Amplitude IA ist auch unabhängig vom Umgebungslicht, da wie oben beschrieben, nur das Licht der aktiven Beleuchtung bzw. des Nutzlichts erfasst wird. Abschattungen, inhomogene Beleuchtungen haben damit keinen Einfluss auf die Detektion.
-
In 6 sind zwei Nutzlichtamplituden NA nämlich für einen schwarzen Körper (Reflektivität σ=0,1) und einem weißen Körper (σ=1) gezeigt. Die Nutzlichtamplituden NA sind ferner vom Abstand d und von der Ausrichtung α der Oberflächennormalen n abhängig. Gemäß dem Vorgenannten ist es erfindungsgemäß vorgesehen, eine invariante Amplitude IAd zu berechnen, die abstandsunabhängig ist, mit IAd = NA * d2, wie in 6 gezeigt. Diese invarianten Amplituden IAd sind dann im Wesentlichen nur noch von Objekt-Reflektivität σ und von der Ausrichtung α der Oberflächennormalen n abhängig.
-
In einer weiteren Ausgestaltung gemäß 7 ist es vorgesehen, durch wenigstens zwei ermittelte Objektpunkte d1, d2 die Ausrichtung der Oberfläche eines Objekts 40 und somit auch die Ausrichtung Oberflächennormale n des erfassten Objekts 40 zu bestimmen.
-
Viele Oberflächen können als Lambertsche Reflektoren angenähert werden, wobei die invariante Amplitude IAd, wie in 8 gezeigt, proportional zu cos(a) ist. Es sind aber auch andere Beziehungen IAd ∝ f(α) denkbar.
-
Erfindungsgemäß ist es vorgesehen, die Ausrichtung des Objekts zu ermitteln und auch die Reflektionsrichtung bzw. Ausrichtung α der Oberflächennormale n zu berücksichtigen und ein von der Ausrichtung α unabhängige invariante Amplitude IAd,α(σ) zu ermitteln.
-
Dieses Vorgehen hat den Vorteil, dass wie in 9 gezeigt, ein nur von der Reflektivität σ des Objekts 40 abhängiges Bild IAd,α(σ) einer Bildverarbeitung BV bzw. einer Objekterkennung / Gesichtserkennung zu Verfügung gestellt werden kann und die weitere Bildverarbeitung dadurch deutlich vereinfacht wird.
-
Der Winkel α kann beispielsweise, wie gezeigt, aus den 3D Daten bestimmt werden. Aber auch andere Möglichkeiten wie z.B. die Analyse der Polarisationsrichtung des Lichts sind denkbar („Polarized 3D: High-Quality Depth Sensing with Polarization Cues“, DOI: 10.1109/ICCV.2015.385).
-
2D-Objekterkennungs-Verfahren, die nur die Lichtintensität I erfassen, leiden insbesondere unter inhomogenen Beleuchtungen und funktionieren sehr eingeschränkt bei schlechter Beleuchtung. Das vorgestellte Verfahren bringt hier eine deutliche Verbesserung. Ein entfernungsskaliertes Bild ist hingegen sowohl abstands- als auch intensitätsunabhängig.
-
Eventuelle Inhomogenitäten im Strahlprofil und Objektiv-Vignettierung lassen sich in einem einmaligen Kalibrationsschritt charakterisieren und später in der Anwendung leicht eliminieren.
-
Die Erfindung ist selbstverständlich nicht auf phasenmessende Entfernungsmesssysteme beschränkt, sondern kann auch auf andere Entfernungsmesssysteme übertragen werden. Insbesondere ist das Verfahren auch auf direkt messende TOF-Verfahren, auf Triangulationsverfahren und hier insbesondere auf Verfahren mit strukturiertem Licht anwendbar. Wesentlich ist hierbei, dass in den Verfahren eine vom Abstand abhängige Nutzlichtamplitude NA ermittelbar ist, die entsprechend dem Vorgenannten in eine invariante Amplitude IAd bzw. IAd,α überführt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19704496 A1 [0002, 0015]
- DE 19704496 C2 [0023]