DE102018131584A1

DE102018131584A1 - Method for distance measurement by means of a time-of-flight distance measuring system and corresponding time-of-flight distance measuring system

Info

Publication number: DE102018131584A1
Application number: DE102018131584.8A
Authority: DE
Inventors: Lutz Heyne; Thomas Kerstein
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2017-12-15
Filing date: 2018-12-10
Publication date: 2019-06-19
Also published as: DE102018131581A1; DE102018131581B4

Abstract

Die Erfindung betrifft ein Verfahren zur Entfernungsmessung mittels eines eine Beleuchtung (14) und eine Lichtlaufzeitdetektor (22) aufweisenden Lichtlaufzeit-Entfernungsmesssystems (28), insbesondere eines Lichtlaufzeitkamerasystems (10), bei dem ausgehend von einer Basis-PN-Folge ein Modulationssignal (M, M',M") für die Beleuchtung (14) und für den Lichtlaufzeitdetektor (22) generiert wird, wobei mehrere Einzelmessungen durchgeführt werden und für jede einzelne Entfernungsmessung in einem zugeordneten Entfernungsmessbereich mindestens zwei dieser Einzelmessungen verwendet werden. Es ist vorgesehen, dass die jeweilige Belichtungszeit bei den Einzelmessungen einer Entfernungsmessung in Abhängigkeit des zugeordneten Entfernungsmessbereichs gewählt wird.Die Erfindung betrifft weiterhin ein entsprechendes Lichtlaufzeit-Entfernungsmesssystem (28).The invention relates to a method for distance measurement by means of a light time-range measuring system (28) having an illumination (14) and a light transit time detector (22), in particular a time-of-flight camera system (10) in which a modulation signal (M, M ', M ") is generated for the illumination (14) and for the light transit time detector (22), wherein a plurality of individual measurements are carried out and at least two of these individual measurements are used for each individual distance measurement in an associated distance measuring range Exposure time is selected in the individual measurements of a distance measurement as a function of the associated distance measuring range. The invention further relates to a corresponding light transit time distance measuring system (28).

Description

Die Erfindung betrifft ein Verfahren zur Entfernungsmessung mittels eines eine Beleuchtung und eine Lichtlaufzeitdetektor aufweisenden Lichtlaufzeit-Entfernungsmesssystems, insbesondere eines Lichtlaufzeitkamerasystems, das eine Entfernung aus einer Phasenverschiebung eines moduliert emittierten und empfangen Lichts ermittelt, bei dem ausgehend von einer Basis-PN-Folge, die als eine Maximalfolge zur Selektion einer Einzelmessung ausgebildet ist, ein Modulationssignal für die Beleuchtung und für den Lichtlaufzeitdetektor generiert wird, wobei mehrere Einzelmessungen durchgeführt werden und und für jede Einzelmessung eine Integrationszeit bzw. Belichtungszeit in Abhängigkeit des für die Einzelmessung gültigen Entfernungsbereichs gewählt wird..The invention relates to a method for distance measurement by means of a lighting time and a light transit time detector having light transit time measuring system, in particular a light transit time camera system which detects a distance from a phase shift of a modulated emitted and received light, starting from a base PN sequence, as a maximum sequence for the selection of a single measurement is formed, a modulation signal for the illumination and for the light transit time detector is generated, wherein a plurality of individual measurements are performed and and for each individual measurement an integration time or exposure time is selected as a function of the distance range valid for the individual measurement.

Die Erfindung betrifft weiterhin ein entsprechendes Lichtlaufzeit-Entfernungsmesssystem, insbesondere ein Lichtlaufzeitkamerasystem, mit einer Beleuchtung zur Aussendung und einem Lichtlaufzeitsensor zum Empfang modulierten Lichts und mit einem Modulator zur Erzeugung eines Modulationssignals für die Beleuchtung und den Lichtlaufzeitsensor aus zumindest einer Basis-PN-Folge.The invention further relates to a corresponding time-of-flight distance measuring system, in particular a time-of-flight camera system, with illumination for transmission and a light transit time sensor for receiving modulated light and with a modulator for generating a modulation signal for the illumination and the light transit time sensor from at least one base PN sequence.

Die Verwendung von derartigen pseudo-zufällige Binärfolgen (PN-Folgen) bei Lichtlaufzeit-Messsystemen ist durchaus verbreitet und auch die Substitution einer zugrundeliegenden Basis-PN-Folge mittels Sub-Bitfolgen ist im Zusammenhang mit derartigen Messsystemen hinlänglich bekannt. Die Verwendung von solchen pseudo-zufälligen Binärfolgen, die auch als „Pseudo-Noise Sequences“ bekannt sind, wie beispielsweise „Maximum Length Sequences“ (MLS) so genannte Maximalfolgen und „Barker-Codes“ zur Modulation eines Lichtlaufzeitsensors (Tiefenbildsensors) bieten aufgrund ihrer vorteilhaften Autokorrelationseigenschaften entscheidende Vorteile gegenüber herkömmlichen Modulationssequenzen in Form von einfach periodischen rechteck- bzw. sinusförmigen Signalfolgen.The use of such pseudo-random binary sequences (PN sequences) in light transit time measurement systems is quite common and also the substitution of an underlying basic PN sequence by means of sub-bit sequences is well known in connection with such measurement systems. The use of such pseudo-random binary sequences, also known as "pseudo-noise sequences", such as "maximum length sequences" (MLS) so-called maximum sequences and "barker codes" for the modulation of a light transit time sensor (depth image sensor) offer due to their advantageous autocorrelation properties of decisive advantages over conventional modulation sequences in the form of simple periodic rectangular or sinusoidal signal sequences.

Ein Verfahren zur Entfernungsmessung mittels eines eine Beleuchtung und eine Lichtlaufzeitdetektor aufweisenden Lichtlaufzeit-Entfernungsmesssystems ist beispielsweise aus der Patentschrift DE 10 2014 210 750 B3 bekannt. Als Lichtlaufzeitdetektor dient dort eine auf dem Photomischelement-Prinzip beruhende Lichtlaufzeitkamera. Bei dem Verfahren wird ausgehend von einer Basis-PN-Folge mittels eines Modulators ein Modulationssignal für die Beleuchtung und für den Lichtlaufzeitdetektor generiert. Die Basis-PN-Folge wird dabei in Form von Sub-Bitfolgen, die sich gemäß einer Substitutionsregel ergeben, an die Beleuchtung und die Lichtlaufzeitkamera ausgegeben. Zur Entfernungsmessung werden mehrere Einzelmessungen durchgeführt, wobei für jede einzelne Entfernungsmessung in einem zugeordneten Entfernungsmessbereich in der Regel vier dieser Einzelmessungen verwendet werden.A method for distance measurement by means of a lighting and a time of flight detector having a light transit time distance measuring system is for example from the patent DE 10 2014 210 750 B3 known. As a light transit time detector is there based on the Photomischelement principle based Lichtlaufzeitkamera. In the method, a modulation signal for the illumination and for the light transit time detector is generated starting from a basic PN sequence by means of a modulator. The basic PN sequence is output in the form of sub-bit sequences, which result according to a substitution rule, to the illumination and the time of flight camera. For the distance measurement, several individual measurements are carried out, with four of these individual measurements generally being used for each individual distance measurement in an assigned distance measuring range.

Aufgabe der Erfindung ist es, Maßnahmen anzugeben, die die Entfernungsmessung verbessern.The object of the invention is to provide measures that improve the distance measurement.

Die Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst.The object is achieved by the features of the independent claims.

Bei dem erfindungsgemäßen Verfahren zur Entfernungsmessung mittels eines Lichtlaufzeit-Entfernungsmesssystems, insbesondere eines Lichtlaufzeitkamerasystems, mit den im Oberbegriff des Anspruchs 1 genannten Merkmalen ist vorgesehen, dass die jeweilige Belichtungszeit bzw. Integratonszeit des Lichtlaufzeitsensors bzw. deren Pixel bei den Einzelmessungen einer Entfernungsmessung in Abhängigkeit des zugeordneten Entfernungsmessbereichs gewählt wird.In the method according to the invention for distance measurement by means of a light transit time distance measuring system, in particular a light transit time camera system, with the features mentioned in the preamble of claim 1, it is provided that the respective exposure time or integral time of the transit time sensor or their pixels in the individual measurements of a distance measurement depending on the assigned Distance measuring range is selected.

Durch diese Maßnahme ist eine Kompensation des durch das aktive Messprinzip des Lichtlaufzeit-Entfernungsmesssystems bedingten quadratischen Intensitätsabfalls des Beleuchtungssignals mit zunehmender Entfernung (Messdistanz) durch eine Anpassung bzw. Verteilung der Belichtungszeit möglich.By means of this measure, a compensation of the quadratic intensity decrease of the illumination signal caused by the active measuring principle of the time-of-flight distance measuring system with increasing distance (measuring distance) is possible by adapting or distributing the exposure time.

Voraussetzung für eine distanzabhängige Verteilung der Belichtungszeit ist die Möglichkeit zur Zerlegung (Unterteilung) des beabsichtigten Messbereichs in eine Anzahl von Teilbereichen. Diese Eigenschaft lässt sich insbesondere durch ein geeignetes Modulationsverfahren erzielen.The prerequisite for a distance-dependent distribution of the exposure time is the possibility of dividing (subdividing) the intended measuring range into a number of subregions. This property can be achieved in particular by a suitable modulation method.

Gemäß einer bevorzugten Ausführungsform der Erfindung wird ein durchzumessender Gesamtentfernungsmessbereich in mehrere unterschiedliche Entfernungsmessbereiche aufgeteilt, wobei für jeden dieser Entfernungsmessbereiche eine separate Entfernungsmessung erfolgt.According to a preferred embodiment of the invention, a Gesamtentfernungsmessbereich durchzumessender is divided into several different distance measuring ranges, wherein for each of these distance measuring ranges, a separate distance measurement takes place.

Aufgrund ihrer impulsförmigen Autokorrelationsfunktion bieten sich für das Verfahren vor allem die Folgen maximaler Länge, besser bekannt als „Maximum Length Sequences“ (MLS) an, während sich die Modulation mit konventionellen, einfach periodischen rechteck- bzw. sinusförmigen Modulationssignalen aufgrund ihrer periodischen Autokorrelationsfunktion als weniger geeignet erweist. Maximalfolgen MLS stellen einen speziellen Typ pseudo-zufälliger Binärfolgen, besser bekannt als „Pseudo-Noise“-Sequenzen (PN-Sequenzen) dar, die es erlauben, den gewünschten Distanzmessbereich präzise zu begrenzen, so dass Objekte, die sich außerhalb dieses selektierten Distanzbereichs befinden nicht erfasst werden.Due to their pulse-shaped autocorrelation function, the method offers above all the sequences of maximum length, better known as "maximum length sequences" (MLS), while the modulation with conventional, simple periodic rectangular or sinusoidal modulation signals due to their periodic autocorrelation function is less suitable. MLS maximum sequences represent a special type of pseudorandom binary sequences, better known as "pseudo noise" sequences (PN sequences), which allow to precisely limit the desired distance measurement range so that objects located outside of this selected range of distances not be recorded.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung erfolgt die Anpassung der Belichtungszeit für jede der Einzelmessungen derart, dass sich ein vorgegebenes Signal-Rausch-Verhältnis ergibt.According to a further preferred embodiment of the invention, the adaptation of the exposure time for each of the individual measurements takes place in such a way that a predetermined signal-to-noise ratio results.

Dabei ist bevorzugt vorgesehen, dass das vorgegebene Signal-Rausch-Verhältnis ein über den Gesamtentfernungsmessbereich im Wesentlichen konstantes Signal-Rausch-Verhältnis ist. Mit anderen Worten wird durch die Anpassung im Wesentlichen der quadratische Intensitätsabfall des Beleuchtungssignals mit zunehmender Entfernung (Messdistanz) kompensiert.In this case, it is preferably provided that the predetermined signal-to-noise ratio is a signal-to-noise ratio which is substantially constant over the total range of the range of measurement. In other words, the adjustment substantially compensates for the quadratic intensity decrease of the illumination signal with increasing distance (measuring distance).

Gemäß noch einer weiteren bevorzugten Ausführungsform der Erfindung wird die Basis-PN-Folge in Form von Sub-Bitfolgen, die sich aus einer Substitutionsregel ergeben, an die Beleuchtung und den Lichtlaufzeitsensor ausgegeben, wobei sich die Sub-Bitfolgen für die Beleuchtung von den entsprechenden Sub-Bitfolgen für den Lichtlaufzeitsensor unterscheiden.According to yet another preferred embodiment of the invention, the basic PN sequence is outputted to the illumination and the light transit time sensor in the form of sub-bit sequences resulting from a substitution rule, the sub-bit sequences for illumination being from the corresponding sub Distinguish bit sequences for the light transit time sensor.

Dies hat den Vorteil, dass die aus der Substitution resultierende Folge für den Lichtlaufzeitsensor zumindest in gewissem Maße unabhängig von der aus der Substitution resultierende Folge für die Beleuchtung wählbar ist. Dies ermöglicht es, die beiden Folgen nach unterschiedlichen Kriterien zu optimieren.This has the advantage that the sequence resulting from the substitution for the light transit time sensor can be selected at least to a certain extent independently of the sequence resulting from the substitution for the illumination. This makes it possible to optimize the two sequences according to different criteria.

Bevorzugt ist der Lichtlaufzeitsensor als photonischer Mischelemente-Sensor mit Modulationskanälen ausgebildet. Dieser Sensortyp wird auch kurz als PMD-Sensor bezeichnet (PMD: Photonic Mixer Device). In diesem Falle ist besonders bevorzugt vorgesehen, dass die Sub-Bitfolgen für den photonischen Mischelemente-Sensor derart ausgestaltet ist, dass eine im Wesentlichen symmetrische Verteilung von Ladungsträgern auf die Modulationskanäle erfolgt und die Sub-Bitfolgen für die Beleuchtung derart ausgestaltet sein, dass die Anzahl der Bit-Änderungen der Folge maximal ist.Preferably, the light transit time sensor is designed as a photonic mixer element sensor with modulation channels. This sensor type is also referred to as PMD sensor (PMD: Photonic Mixer Device). In this case, it is particularly preferably provided that the sub-bit sequences for the photonic mixing element sensor is configured such that a substantially symmetrical distribution of charge carriers takes place on the modulation channels and the sub-bit sequences for the illumination are configured such that the number the bit changes of the sequence is maximum.

Mit Vorteil erfolgen zumindest zwei Entfernungsmessungen, bei denen zumindest eine für eine erste dieser Entfernungsmessungen genutzte Einzelmessung auch für eine zweite dieser Entfernungsmessungen genutzt wird. Mit anderen Worten beruht nicht jede der Entfernungsmessungen auf einem Satz an Einzelmessungen, die ausschließlich für diese eine Entfernungsmessung genutzt werden.At least two distance measurements are advantageously carried out, in which at least one individual measurement used for a first of these distance measurements is also used for a second of these distance measurements. In other words, not each of the range measurements is based on a set of individual measurements that are used exclusively for that range measurement.

Bei dem erfindungsgemäßen Lichtlaufzeit-Entfernungsmesssystem mit einer Beleuchtung zur Aussendung und einem Lichtlaufzeitsensor zum Empfang modulierten Lichts und mit einem Modulator zur Erzeugung eines Modulationssignals für die Beleuchtung und den Lichtlaufzeitsensor auf Basis zumindest einer Basis-PN-Folge ist vorgesehen, dass das System eingerichtet ist (i) mehrere Einzelmessungen durchzuführen und für jede einzelne Entfernungsmessung in einem zugeordneten Entfernungsmessbereich mindestens drei dieser Einzelmessungen zu verwenden und (ii) die jeweilige Belichtungszeit bei den Einzelmessungen einer Entfernungsmessung in Abhängigkeit des zugeordneten Entfernungsmessbereichs zu wählen.In the inventive light transit time measuring system with an illumination for transmission and a light transit time sensor for receiving modulated light and with a modulator for generating a modulation signal for the illumination and the light transit time sensor based on at least one basic PN sequence it is provided that the system is set up ( i) to carry out a plurality of individual measurements and to use at least three of these individual measurements for each individual distance measurement in an assigned distance measuring range and (ii) to select the respective exposure time in the individual measurements of a distance measurement as a function of the assigned distance measuring range.

Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Lichtlaufzeit-Entfernungsmesssystems ist dieses System zur Durchführung eines vorstehend genannten Verfahrens zur Entfernungsmessung eingerichtet.According to a preferred embodiment of the inventive time of flight rangefinding system, this system is arranged to carry out a method of distance measurement mentioned above.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen:

1 eine schematische Darstellung eines als Lichtlaufzeitkamerasystem ausgebildeten Lichtlaufzeit-Entfernungsmesssystems gemäß einer Ausführungsform der Erfindung,
2 eine modulierte Integration der erzeugten Ladungsträger,
3 einen Schnitt durch ein Pixel eines als photonischer Mischelemente-Sensor ausgebildeten Lichtlaufzeitsensors des Lichtlaufzeitkamerasystems,
4 Entfernungsmessbereiche sowie der Verlauf von resultierenden Korrelationsfunktionen von Einzelmessungen und
5 eine mögliche Anpassung der Belichtungszeiten der Einzelmessungen sowie der Verlauf der aus der Anpassung resultierenden Korrelationsfunktionen,
6 eine Prinzipdarstellung eines PMD-Pixels,
7 eine Autokorrelationsfunktion einer erfindungsgemäßen Maximalfolge.

Show it:

1 FIG. 2 a schematic representation of a light transit time distance measuring system designed as a light transit time camera system according to an embodiment of the invention, FIG.
2 a modulated integration of the generated charge carriers,
3 a section through a pixel designed as a photonic mixing element sensor light transit time sensor of the time of flight camera system,
4 Distance measuring ranges and the course of resulting correlation functions of individual measurements and
5 a possible adaptation of the exposure times of the individual measurements as well as the course of the correlation functions resulting from the adaptation,
6 a schematic representation of a PMD pixel,
7 an autocorrelation function of a maximum sequence according to the invention.

Die 1 zeigt eine schematische Darstellung eines Lichtlaufzeitkamerasystems 10. Das Lichtlaufzeitkamerasystem 10 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 12 mit einer Beleuchtung 14 und einer dazugehörigen Strahlformungsoptik 16 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 18 mit einer Empfangsoptik 20 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist ein Pixel-Array einer Vielzahl von Lichtlaufzeitpixeln 24 auf (von denen eines in 3 explizit gezeigt ist) und ist im Beispiel als photonischer Mischelemente-Sensor 26, auch PMD-Sensor genannt, ausgebildet. Ist der Lichtleitsensor 22 nicht bildgebend, so kann der Lichtlaufzeitsensor 22 auch wenige oder sogar nur ein einziges Lichtlaufzeitpixel 24 aufweisen. In diesem Zusammenhang spricht man nicht mehr von einem Lichtlaufzeitkamerasystem 10 sondern allgemein von einem Lichtlaufzeit-Entfernungsmesssystem 28. Die Empfangsoptik 20 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 16 des Beleuchtungsmoduls 12 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann gegebenenfalls auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.The 1 shows a schematic representation of a light transit time camera system 10 , The light transit time camera system 10 comprises a transmitting unit or a lighting module 12 with a lighting 14 and associated beam shaping optics 16 as well as a receiving unit or light runtime camera 18 with a receiving optics 20 and a light transit time sensor 22 , The light transit time sensor 22 has a pixel array of a plurality of light time pixels 24 on (one of which in 3 is explicitly shown) and is in the example as a photonic mixing element sensor 26 , also called PMD sensor, formed. Is the light guide sensor 22 not imaging, so the light transit time sensor 22 even a few or even a single time-of-flight pixel 24 respectively. In this context, one no longer speaks of a light time camera system 10 but generally by a time of flight rangefinder 28 , The receiving optics 20 typically consists of improving the imaging characteristics of multiple optical elements. The beam shaping optics 16 of the lighting module 12 may be formed for example as a reflector or lens optics. In a very simple embodiment, if necessary, optical elements can also be dispensed with on both the receiving and the transmitting side.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Beleuchtung 14 und der Lichtlaufzeitsensor 22 über einen Modulator 30 mit Modulationssignalen M₀₁ , M₀₂ beaufschlagt, die auf gemeinsamen Basis-PN-Folgen beruhen.The measurement principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance covered by the received light can be determined. For this purpose, the lighting 14 and the light transit time sensor 22 via a modulator 30 with modulation signals M ₀₁ . M ₀₂ which are based on common base PN sequences.

Im dargestellten Beispiel ist ferner zwischen dem Modulator 28 und der Beleuchtung 14 ein Phasenschieber 32 vorgesehen, mit dem die Basisphase φ₀ des Modulationssignals M₀₁ der Lichtquelle 12 um definierte Phasenlagen φ_var verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φ_var = 0°, 90°, 180°, 270° verwendet.In the example shown is also between the modulator 28 and the lighting 14 a phase shifter 32 provided with which the base phase φ ₀ the modulation signal M ₀₁ the light source 12 around defined phase positions φ _var can be moved. For typical phase measurements, preferably phase angles of φ _var = 0 °, 90 °, 180 °, 270 ° used.

Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp₁ mit der ersten Phasenlage p₁ bzw. p₁ = φ₀ + φ_var aus. Dieses Signal Sp₁ bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 34 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(t_L) mit einer zweiten Phasenlage p₂ = φ₀ + φ_var + Δφ(t_L) als Empfangssignal Sp₂ auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M₀ mit dem empfangenen Signal Sp₂ gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.The light source transmits according to the set modulation signal 12 an intensity modulated signal Sp ₁ with the first phase position p ₁ or p ₁ = φ ₀ + φ _var . This signal Sp ₁ or the electromagnetic radiation is in the illustrated case of an object 34 reflected and hits due to the distance traveled accordingly phase-shifted Δφ (t _L ) with a second phase position p ₂ = φ ₀ + φ _var + Δφ (t _L ) as a received signal Sp ₂ on the light transit time sensor 22 , In the time of flight sensor 22 becomes the modulation signal M ₀ with the received signal Sp ₂ mixed, wherein from the resulting signal, the phase shift or the object distance d is determined.

Ferner ist ein Modulationssteuergerät 36 vorgesehen, mit dem die Form und insbesondere Puls und Pausenverhältnisse des Modulationssignals vorgegeben werden. Auch kann über das Modulationssteuergerät 36 der Phasenschieber 32 in Abhängigkeit der durchzuführenden Messaufgabe angesteuert werden.Further, a modulation control device 36 provided with which the shape and in particular pulse and pause ratios of the modulation signal are specified. Also, via the modulation control unit 36 the phase shifter 32 be controlled depending on the measurement task to be performed.

Als Beleuchtungs- beziehungsweise Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden und -Laserdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.As a lighting or light source 12 Preferably, infrared light emitting diodes and laser diodes are suitable. Of course, other radiation sources in other frequency ranges are conceivable, in particular, light sources in the visible frequency range are also considered.

Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Basis-Modulationssignals M₀ mit der die Beleuchtung 14 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 32 reflektierte Licht trifft als Empfangssignal Sp₂ entsprechend seiner Lichtlaufzeit t_L phasenverschoben Δφ (t_L) auf den Lichtlaufzeitsensor 22.The basic principle of phase measurement is schematically in 2 shown. The upper curve shows the time course of the basic modulation signal M ₀ with the lighting 14 and the light transit time sensor 22 be controlled. The object 32 reflected light hits as received signal Sp ₂ according to its light-time t _L phase Δφ (t _L ) on the light transit time sensor 22 ,

Die 3 zeigt den Querschnitt eines einzelnen Pixels 24 eines photonischen Mischelemente-Sensors 26 am Beispiel einer CCD-Struktur. Dabei umfasst das photonische Mischelement neben dem Pixel 24 die für die Spannungsversorgung und die Signalableitungen notwendigen Strukturen. Die äußeren Gates Gsep dienen lediglich zur elektrischen Abgrenzung dieses Pixels 24 gegenüber benachbarten Strukturen.The 3 shows the cross section of a single pixel 24 a photonic mixing element sensor 26 the example of a CCD structure. In this case, the photonic mixing element next to the pixel includes 24 the structures necessary for the power supply and the signal leads. The outer gates Gsep are used only for the electrical delimitation of this pixel 24 opposite neighboring structures.

Die in 3 gezeigte Ausführung ist auf einem p-dotierten Siliziumsubstrat 38 ausgeführt. Die Modulationsgates Ga, Gb der beiden Modulationskanäle A, B stellen den lichtsensitiven Teil 40 dar und befinden sich im Inversionszustand. Zusätzlich zu einer positiven Vorspannung Uo an der leitfähigen aber optisch teiltransparenten oberen Abdeckung, zum Beispiel aus Poly-Silizium, werden sie mit den überlagerten Gegentaktspannungen Um(t) betrieben. Die sich ergebenden Modulationsspannungen verursachen multiplikativ eine Separierung der durch die Photonen des einfallenden Lichts in der Raumladungszone erzeugten Minoritätsladungsträger unmittelbar unterhalb der Isolatorschicht 42, zum Beispiel aus Siliziumoxyd oder Siliziumnitrid. Diese Ladungsträger (im Beispiel Elektronen) driften unter dem Einfluss der modulierenden Gegentaktspannung zu den eng benachbarten Akkumulationsgates Ga oder Gb und werden dort aufintegriert während die Majoritätsladungsträger bzw. Löcher zum Masseanschluss des p-Si-Substrats fließen.In the 3 shown embodiment is on a p-doped silicon substrate 38 executed. The modulation gates ga . gb the two modulation channels A . B make the light-sensitive part 40 and are in the inversion state. In addition to a positive bias uo at the conductive but visually semi-transparent top cover, for example made of poly-silicon, they are with the superimposed differential voltages To (t) operated. The resulting modulation voltages cause, multiplicatively, a separation of the minority carriers produced by the photons of the incident light in the space charge zone immediately below the insulator layer 42 , for example of silicon oxide or silicon nitride. These charge carriers (in the example electrons) drift under the influence of the modulating push-pull voltage to the closely adjacent accumulation gates ga or gb and are integrated there while the majority carriers or holes flow to the ground terminal of the p-Si substrate.

Mit anderen Worten weist das Lichtlaufzeitpixel 24 des Lichtlaufzeitsensors 22 typischerweise eine erstes und zweites Akkumulationsgate Ga, Gb auf, in denen in Abhängigkeit des Potentialverlaufs im lichtempfindlichen Bereichs die photonisch erzeugten Ladungen q abwechselnd über mehrere Modulationsperioden gesammelt werden. Die in der unverschobenen Phasenlage erzeugten Ladungen q werden im ersten Akkumulationsgate Ga und die in der um 180° verschobenen Phasenlage M₀ + 180° im zweiten Akkumulationsgate Gb gesammelt. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δϕ(t_L) und somit eine Entfernung d des Objekts bestimmen.In other words, the light time-of-flight pixel points 24 of the light transit time sensor 22 typically a first and second accumulation gate ga . gb on, in which, depending on the potential curve in the photosensitive region, the photonically generated charges q be collected alternately over several modulation periods. The charges generated in the unshifted phase position q be in the first accumulation gate ga and in the shifted by 180 ° phase angle M ₀ + 180 ° in the second accumulation gate gb collected. From the ratio of the first and second gate ga . gb collected cargoes qa . qb can be the phase shift Δφ (t _L ) and thus a distance d of the object.

Grundsätzlich ist die Anzahl von logischen Einsen einer pseudo-zufälligen Binärfolgen, beispielsweise einer Maximalfolge (MLS), jeweils um Eins größer als die Anzahl logischer Nullen, wobei sie jeweils eine gerade Anzahl von logischen Einsen und die ungerade Anzahl von logischen Nullen aufweist. Bei der direkten Verwendung einer Maximalfolge MLS für die Modulation eines PMD-Tiefenbildsensors 26 führt dies prinzipbedingt zu einer ungleichmäßigen Ladungsträgerverteilung auf die beiden Modulationsgates Ga, Gb beziehungsweise Modulationskanäle A, B. Um eine symmetrische Ladungsträgerverteilung zu erzielen und somit MLS für die Modulation eines PMD-Tiefenbildsensors 26 nutzbar zu machen, muss die Anzahl von Einsen und Nullen für die Realisierung der impulsförmigen Autokorrelationseigenschaft identisch sein. Dieser Ausgleich wird nun durch eine adäquate Substitution der einzelnen Bits der Basis-MLS herbeigeführt.Basically, the number of logical ones of a pseudo-random binary sequences, such as a maximum sequence ( MLS ), each one greater than the number of logical zeros, each having an even number of logical ones and the odd number of logical zeroes. When using a maximum order directly MLS for the modulation of a PMD depth image sensor 26 This leads in principle to an uneven charge carrier distribution on the two modulation gates ga . gb or modulation channels A . B , To achieve a symmetric charge carrier distribution and thus MLS for the modulation of a PMD depth image sensor 26 To make usable, the number of ones and zeroes must be identical for the realization of the pulse-shaped autocorrelation property. This compensation is now accomplished by adequately substituting the individual bits of the base MLS.

Es ergibt sich nun folgendes Vorgehen bezüglich der resultierenden Modulationssignale Mo',Mo" für die Beleuchtung 14 und den Lichtlaufzeitsensor 22:This results in the following procedure with regard to the resulting modulation signals Mo ', Mo "for the illumination 14 and the light transit time sensor 22 :

Ausgehend von einer Basis-PN-Folge, die man auch als Basis-Modulationssignal M₀ auffassen kann, wird ein Modulationssignal M₀ ' für die Beleuchtung 14 und ein Modulationssignal Mo" für den Lichtlaufzeitsensor 22 in Form von Sub-Bit-Folgen generiert, wobei sich die Sub-Bitfolgen für die Beleuchtung 14 einer jeden Basis-PN-Folge von den entsprechenden Sub-Bitfolgen für den Lichtlaufzeitsensor 22 unterscheidet.Starting from a basic PN sequence, which is also called the base modulation signal M ₀ becomes a modulation signal M ₀ 'for the lighting 14 and a modulation signal Mo "for the light transit time sensor 22 generated in the form of sub-bit sequences, with the sub-bit sequences for lighting 14 of each base PN sequence from the corresponding sub-bit sequences for the light transit time sensor 22 different.

Die Tabelle 1 zeigt ein besonders einfaches Schema für ein System 28, bei dem der Lichtlaufzeitsensor 22 als Photonischer Mischelemente-Sensor 26 ausgebildet ist. Bei diesem Beispiel wird jedes Bit der Basis PN-Folge bei den Modulationssignalen durch ein 2-Bit-Wort ersetzt. Basis-PN-Bit Exemplarische Substitution BeleuchtungsModulation PMD Modulation (Kanal A) PMD Modulation (Kanal B) 0 0 0 1 0 0 1 1 0 1 0 1 1 0 Table 1 shows a particularly simple scheme for a system 28 in which the light transit time sensor 22 as a photonic mixing element sensor 26 is trained. In this example, each bit of the base PN sequence in the modulation signals is replaced by a 2-bit word. Base PN-bit Exemplary substitution lighting modulation PMD modulation (channel A) PMD modulation (channel B) 0 0 0 1 0 0 1 1 0 1 0 1 1 0

Da eine jede Basis-PN-Folge mindestens eine Null aufweist, bei der sich die Beleuchtungsmodulation von der PMD-Modulation jedes der Modulationskanäle A, B unterscheidet, unterscheiden sich die Sub-Bitfolgen für die Beleuchtung 14 einer jeden Basis-PN-Folge zwingend von den entsprechenden Sub-Bitfolgen für den hier als PMD-Sensor 26 ausgebildeten Lichtlaufzeitsensor 22.Since each base PN sequence has at least one zero, where the illumination modulation is different from the PMD modulation of each of the modulation channels A . B differs, the sub-bit sequences for lighting differ 14 of each base PN string necessarily from the corresponding sub-bit strings for here as a PMD sensor 26 trained light transit time sensor 22 ,

Die Substitution ist selbstverständlich nicht auf 2-Bit-Wort beschränkt, sondern kann auch mehr als 2-Bit, insbesondere auch 4-Bit aufweisen, wie in der nachfolgender Tabelle exemplarisch gezeigt. Basis-PN-Bit Exemplarische Substitution BeleuchtungsModulation PMD Modulation (Kanal A) PMD Modulation (Kanal B) 0 0 0 0 0 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 0 0 The substitution is of course not limited to 2-bit word, but may also have more than 2-bit, in particular 4-bit, as shown by way of example in the table below. Base PN-bit Exemplary substitution lighting modulation PMD modulation (channel A) PMD modulation (channel B) 0 0 0 0 0 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 0 0

Diese Substitution zeichnet sich dadurch aus, dass in der PMD-Modulation zwei EINSER-Bits vorgesehen sind und in der Beleuchtungsmodulations nur ein einziges EINS-Bit. Die Postion des gesetzten EINS-Bits ist hierbei beliebig wählbar. This substitution is characterized in that two ONE bits are provided in the PMD modulation and only a single ONE bit in the illumination modulation. The position of the set ONE bit can be selected arbitrarily.

Vorteilhaft weisen die Sub-Bit-Folgen eine geradzahlige Anzahl von Bits auf. Dabei ist die Anzahl der EINS- und NULL-Bits bei der Sensor- bzw. PMD-Modulation gleich groß. Für die Beleuchtungsmodulation ist es jedoch bevorzugt, die Anzahl der EINS-Bits kleiner als die Anzahl NULL-Bits und insbesondere kleiner als die Anzahl der EINS-Bits der Sensor- bzw. PMD-Modulation zu wählen.Advantageously, the sub-bit sequences have an even number of bits. The number of ONE and ZERO bits in the sensor or PMD modulation is the same. For illumination modulation, however, it is preferable to select the number of ONE bits smaller than the number of NULL bits and, in particular, smaller than the number of ONE bits of the sensor or PMD modulation.

Lichtlaufzeitkameras 18 mit PMD-Sensoren 26 messen in jedem Pixel 24 die Entfernung d zum jeweiligen Objekt 34 anhand der laufzeitabhängigen Phasenverschiebung zwischen einem reflektierten modulierten Lichtsignal und einem Referenzsignal mit identischer Modulation (→ homodyne Detektion). Dazu wird die Korrelationsfunktion von reflektiertem Modulationssignal und Referenzsignal ausgewertet. Aus der Phasenverschiebung lässt sich mithilfe der Lichtgeschwindigkeit c und der Modulationsfrequenz f_mod anschließend die resultierende Entfernung (=Messdistanz) d ermitteln. Zur vollständigen Ermittlung der Phasenverschiebung benötigt man in der Regel mindestens zwei Einzelmessungen mit unterschiedlichen relativen Phasenwinkeln zwischen Beleuchtungsmodulations- und Referenzsignal. Zugunsten einer einfacheren Berechnung sowie Redundanz verwendet man jedoch in der Regel vier Einzelmessungen mit Phasenwinkeln von jeweils 0°, 90°, 180° und 270°.Time of flight cameras 18 with PMD sensors 26 measure in every pixel 24 the distance d to the respective object 34 based on the time-dependent phase shift between a reflected modulated light signal and a reference signal with identical modulation (→ homodyne detection). For this purpose, the correlation function of reflected modulation signal and reference signal is evaluated. From the phase shift, the resulting distance (= measuring distance) d can be determined using the speed of light c and the modulation frequency f _mod . For complete determination of the phase shift, one generally requires at least two individual measurements with different relative phase angles between the illumination modulation and the reference signal. For ease of calculation and redundancy, however, four individual measurements with phase angles of 0 °, 90 °, 180 ° and 270 ° are generally used.

Da die Messung der Objektdistanz bei Laufzeitmessungen (ToF: Time of Flight) auf der Laufzeit des von der Beleuchtung 14 emittierten und von den Objekten 34 der Szene reflektierten Lichtsignals beruht, nimmt die Intensität I prinzipbedingt quadratisch mit der Messdistanz d entsprechend folgender Gleichung ab: $I \sim \frac{1}{d^{2}}$

As the measurement of object distance during runtime measurements (ToF: Time of Flight) on the duration of the lighting 14 emitted and from the objects 34 is based on the scene reflected light signal, the intensity I takes in principle square with the measuring distance d according to the following equation:

I ~ \frac{1}{d^{2}}

So erhält man beispielsweise von einem Objekt 34, welches sich in zwei Metern Entfernung von dem Kamerasystem 10 befindet statistisch nur noch ein Viertel der Photonenanzahl die man bei einer Distanz von einem Meter erhält. Diese Gegebenheit wirkt sich vor allem negativ auf das Signal-Rauschverhältnis (SNR) bei größeren Objektdistanzen aus.For example, you get from an object 34 , which is located two meters away from the camera system 10 Statistically, only a quarter of the number of photons is obtained at a distance of one meter. This situation has a negative effect on the signal-to-noise ratio (SNR) for larger object distances.

Die 4 zeigt eine sich ergebende Situation bei acht Einzelmessungen #1, #2, #3, #4, #5, #6, #7, #8, die so miteinander kombiniert werden, dass sich fünf Entfernungsmessungen E1 bis E5 mit einem jeweilig zugeordneten Entfernungsmessbereich Entfernungsmessbereichs 44, 46, 48, 50, 52 ergeben.The 4 shows a resulting situation with eight individual measurements #1 , # 2, # 3, # 4, # 5, # 6, # 7, # 8, which are combined so that there are five distance measurements E1 to E5 with a respective associated distance measuring range measuring range 44 . 46 . 48 . 50 . 52 result.

Die Tabelle 2 gibt die entsprechende Situation wieder. Diese zeigt die entsprechende Mess-Konfiguration auf Basis von MLS für einen Gesamtmessbereich von 4m (2,67m - 6,67m) aufgeteilt auf die acht Einzelmessungen #1, #2, #3, #4, #5, #6, #7, #8. Bei der Berücksichtigung von jeweils vier Einzelmessungen pro Auswertung erfordert dies insgesamt fünf Auswertungen. # Verwendete Einzelmessungen Messbereich [m] E1 [#1; #2; #3; #4] 2,67 - 4 E2 [#2; #3; #4; #5] 3,33 - 4,67 E3 [#3; #4; #5; #6] 4 - 5,33 E4 [#4; #5; #6; #7] 4.67 - 6 E5 [#5; #6; #7; #8] 5,33 - 6,67 Table 2 shows the corresponding situation. This shows the corresponding measurement configuration based on MLS for a total measuring range of 4 m (2.67 m - 6.67 m) divided into the eight individual measurements # 1, # 2, # 3, # 4, # 5, # 6, # 7 , #8th. Taking into account four individual measurements per evaluation, this requires a total of five evaluations. # Used single measurements Measuring range [m] E1 [#1; # 2; # 3; # 4] 2,67 - 4 E2 [# 2; # 3; # 4; # 5] 3.33 - 4.67 E3 [# 3; # 4; # 5; # 6] 4 - 5.33 E4 [# 4; # 5; # 6; # 7] 4.67 - 6 E5 [# 5; # 6; # 7; #8th] 5.33 - 6.67

Dementsprechend ergibt sich in 4 auch ein Gesamtentfernungsmessbereich 54 von 2,67 - 6,67 m. Weiterhin ist in 4 der Verlauf der resultierenden Korrelationsfunktionen 56 zwischen optischem Modulationssignal und dem Modulationssignal, mit dem der PMD-Tiefenbildsensor moduliert wird für acht um jeweils einen Puls verschobene Beleuchtungsmodulationssequenzen dargestellt. Daraus resultiert eine sukzessive Verschiebung des selektiven Distanzmessbereichs, also beispielsweise des Entfernungsmessbereichs 44 zu den Entfernungsmessbereichen 46, 48, 50, 52. Im vorliegenden Beispiel entspricht eine relative Verschiebung der Modulationssequenzen um jeweils einen Puls einer Verschiebung des selektierten Messbereichs um jeweils 0,66 m. Bei jeder nachfolgenden Einzelmessung #2, #3, #4, #5, #6, #7, #8 wird der Messbereich in diesem Fall daher um jeweils 0,66 m verschoben. Bei der Verwendung einer konstanten Belichtungszeit muss diese stets auf die größte geforderte Messdistanz, also das Ende des Gesamtentfernungsmessbereichs 54, dimensioniert werden, um das Distanzrauschen über einen spezifizierten Messbereich auf einen maximal zulässigen Wert zu begrenzen. Für geringere Distanzen ergibt sich dadurch jedoch stets eine größere Belichtungszeit als nötig, was bei Objekten 34 im Nahbereich sogar ggf. bereits zu Sättigung führen kann. Bei den in der 1. Diagrammzeile dargestellten Korrelationsfunktionen 56 ist der quadratische Intensitätsabfall mit der Distanz nicht berücksichtigt. Berücksichtigt man diesen, erhält man die in der 2. Diagrammzeile (unten) dargestellten Verläufe der Korrelationsfunktionen 58.Accordingly, results in 4 also a total range of distance measurement 54 from 2.67 to 6.67 m. Furthermore, in 4 the course of the resulting correlation functions 56 between the optical modulation signal and the modulation signal with which the PMD depth image sensor is modulated is shown for eight illumination modulation sequences shifted by one pulse at a time. This results in a successive shift of the selective distance measuring range, that is, for example, the distance measuring range 44 to the distance measuring ranges 46 . 48 . 50 . 52 , In the present example, a relative shift of the modulation sequences by one pulse each corresponds to a displacement of the selected measuring range by 0.66 m in each case. For each subsequent single measurement # 2, # 3, # 4, # 5, # 6, # 7, # 8, the measuring range in this case is therefore shifted by 0.66 m each. When using a constant exposure time this must be always to the largest required measuring distance, ie the end of the total range 54 , are dimensioned to limit the distance noise over a specified range to a maximum allowable value. For smaller distances, however, this always results in a greater exposure time than necessary, which is the case for objects 34 even close to saturation may even already lead to saturation. For the correlation functions shown in the first diagram line 56 the quadratic intensity drop with the distance is not considered. Taking this into account, one obtains the courses of the correlation functions shown in the second diagram line (below) 58 ,

Um den oben beschriebenen quadratischen Intensitätsabfall zu kompensieren und so eine ausgewogene Beleuchtungsintensität über den Gesamtentfernungsmessbereich 54 zu erzielen, erfolgt eine Aufteilung des beabsichtigten Gesamtentfernungsmessbereichs 54 in die Entfernungsmessbereiche 44, 46, 48, 50, 52. Jeder dieser Entfernungsmessbereiche 44, 46, 48, 50, 52 wird durch eine gewisse Anzahl von Einzelmessungen (im vorliegenden Beispiel vier Einzelmessungen) abgedeckt. Jeder Einzelmessung #1, #2, #3, #4, #5, #6, #7, #8 kann dann eine individuelle Belichtungszeit 60, 62, 64, 66, 68, 70, 72, 74 (in 5 gezeigt) zugeordnet werden, die jeweils auf den korrespondierenden Entfernungsmessbereich 44, 46, 48, 50, 52 angepasst ist.To compensate for the quadratic intensity drop described above, and thus a balanced illumination intensity over the entire range of distance measurement 54 To achieve a division of the intended Gesamtentfernungsmessbereichs done 54 in the distance measuring ranges 44 . 46 . 48 . 50 . 52 , Each of these rangefinders 44 . 46 . 48 . 50 . 52 is covered by a certain number of individual measurements (four individual measurements in this example). Every single measurement #1 , # 2, # 3, # 4, # 5, # 6, # 7, # 8 can then have an individual exposure time 60 . 62 . 64 . 66 . 68 . 70 . 72 . 74 (in 5 shown), each corresponding to the corresponding distance measuring range 44 . 46 . 48 . 50 . 52 is adjusted.

Ausgehend von einer, für eine bestimmte Distanz d_ref vorgesehene Belichtungszeit tref lässt sich die passende Belichtungszeit t_i für jeweils jeden Distanzbereich {d}_i anhand folgender Formel berechnen: $t_{i} = {(\frac{{\bar{d}}_{i}}{d_{r e f}})}^{2} t_{r e f}$

Starting from an exposure time tref provided for a certain distance d _ref , the appropriate exposure time t _i can be calculated for each distance range {d} _i using the following formula:

t_{i} = {(\frac{{\bar{d}}_{i}}{d_{r e f}})}^{2} t_{r e f}

Hierbei bezeichnet d _i die Bezugsdistanz des Messintervalls, beispielsweise die mittlere Distanz des jeweiligen Distanzbereichs {d}_i.Hereby designated d _{i is} the reference distance of the measurement interval, for example the mean distance of the respective distance range {d} _i .

Unter Verwendung der in 5 (1. Diagrammzeile) gezeigten Belichtungszeiten 60, 62, 64, 66, 68, 70, 72, 74, die auf den jeweiligen Entfernungsmessbereich 44, 46, 48, 50, 52 angepasst sind, lässt sich über den Gesamtentfernungsmessbereich 54 eine ausgewogene Beleuchtung mit im Wesentlichen konstanten Amplituden I) erzielen - 4. Diagrammzeile (unten). Als Referenzdistanz für die Vorgabe einer Referenz-Integrationszeit von 1000µs dient in diesem Beispiel eine Distanz von 4m (gestrichelte Linie).Using the in 5 (1st line of the diagram) shown exposure times 60 . 62 . 64 . 66 . 68 . 70 . 72 . 74 on the respective rangefinder 44 . 46 . 48 . 50 . 52 can be adjusted over the total range 54 achieve a balanced illumination with substantially constant amplitudes I) - 4. Diagram line (below). The reference distance for specifying a reference integration time of 1000μs in this example is a distance of 4m (dashed line).

Für die distanzabhängige Anpassung der Belichtungszeit müssen zwei Voraussetzungen erfüllt sein:

(a) Die Aufteilung in Entfernungsmessbereiche 44, 46, 48, 50, 52 setzt zunächst die Möglichkeit zur Begrenzung des Gesamtentfernungsmessbereichs 54 voraus.
(b) Zusätzlich muss die Möglichkeit gegeben sein, die Grenzen eines einzelnen Entfernungsmessbereichs 44 zu verschieben.

For the distance-dependent adjustment of the exposure time two conditions must be met:

(a) The division into distance measuring ranges 44 . 46 . 48 . 50 . 52 sets first the possibility to limit the total range 54 ahead.
(b) In addition, the possibility must be given of the limits of a single rangefinder 44 to move.

Beide Voraussetzungen lassen sich vorzugsweise durch eine angepasste Modulation des Lichtlaufzeitkamerasystems 10 realisieren. Als prädestiniert erweist sich hier die Verwendung von Folgen maximaler Länge bzw. Maximalfolgen, besser bekannt als Maximum Length Sequences (MLS) zur Modulation.Both conditions can preferably be achieved by an adapted modulation of the time of flight camera system 10 realize. Proposed to be predestined here is the use of sequences of maximum length or maximum sequences, better known as Maximum Length Sequences (MLS) for modulation.

Zur Ergänzung des Beispiels gemäß 3 zeigt 6 einen Querschnitt durch einen Pixel eines Photomischdetektors wie er beispielsweise aus der DE 197 04 496 C2 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates Gam, G0, Gbm angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate bzw. Integrationsknoten Ga, Gb gelenkt. Die Integrationsknoten können als Gate oder auch als Diode ausgebildet sein.To supplement the example according to 3 shows 6 a cross section through a pixel of a photonic mixer detector as he, for example, from DE 197 04 496 C2 is known. The modulation photogates Gam, G0, Gbm form the light-sensitive area of a PMD pixel. In accordance with the voltage applied to the modulation gates Gam, G0, Gbm, the photonically generated charges q become either one or the other accumulation gate or integration node ga . gb directed. The integration nodes can be designed as a gate or as a diode.

6b zeigt einen Potenzialverlauf, bei dem die Ladungen q in Richtung des ersten Integrationskonten Ga abfliesen, während das Potenzial gemäß 6c die Ladung q in Richtung des zweiten Integrationsknoten Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationssignale vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt. 6b shows a potential curve in which the charges q in the direction of the first integration accounts ga drain off, while the potential according to 6c the charge q in the direction of the second integration node gb flow. The potentials are specified according to the applied modulation signals. Depending on the application, the modulation frequencies are preferably in a range of 1 to 100 MHz. At a modulation frequency of, for example, 1 MHz results in a period of one microsecond, so that the modulation potential changes accordingly every 500 nanoseconds.

In 6a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Lichtlaufzeitsensors sein kann. Die als Kapazitäten bzw. Dioden ausgebildeten Integrationsknoten Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Gates Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Integrationsknoten und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.In 6a is also a readout unit 400 which, if appropriate, may already be part of a CMOS PMD light transit time sensor. The integration nodes designed as capacitors or diodes ga . gb integrate the photonically generated charges across a variety of Modulation periods. In a known way, the then at the gates ga . gb applied voltage, for example via the readout unit 400 be tapped high impedance. The integration times are preferably to be selected such that the light transit time sensor or the integration nodes and / or the light-sensitive areas do not saturate for the expected amount of light.

Die im vorgenannten beschriebenen Belichtungszeiten entsprechen den Integrationszeiten mit denen Ladungen an den Integrationskonten Ga, Gb gesammelt werden.The exposure times described above correspond to the integration times with those charges on the integration accounts ga . gb to be collected.

Die Belichtungszeiten bzw. Integrationszeiten sind so gewählt, dass die Integrationszeiten nicht in Sättigung geraten und für die gewählten Entfernungsmessungen vergleichbare Signal-Rauschverhältnisse aufweisen.The exposure times or integration times are chosen so that the integration times are not saturated and have comparable signal-to-noise ratios for the selected range measurements.

7 zeigt noch einmal exemplarisch vier Autokorrelationsfunktionen #1 bis #4, die sich bei einer erfindungsgemäßen Substitution einer Maximalfolge ergeben. Im vorliegenden Beispiel sei eine Maximalfolge mit einer Länge von 9 Bit angenommen. Die Maximalfolge sei so konstruiert, dass eine Autokorrelation in einer Länge von 1 Bit also hier ca. 5 m auftritt, in den übrigen 8 Bit bzw. 8 x 5 m = 40 m ist die Amplitude der Autokorrelation vernachlässigbar klein. Die Maximalfolge hat somit grundsätzlich eine ,virtuelle‘ Wellenlänge bzw. Periodenlänge von 45 m. 7 shows again exemplarily four autocorrelation functions #1 to # 4, which result in a substitution of a maximum sequence according to the invention. In the present example, assume a maximum sequence with a length of 9 bits. The maximum sequence is constructed so that an autocorrelation in a length of 1 bit thus occurs here about 5 m, in the remaining 8 bits or 8 x 5 m = 40 m, the amplitude of the autocorrelation is negligibly small. The maximum sequence thus basically has a 'virtual' wavelength or period length of 45 m.

Zur Bestimmung der tatsächlichen Phasenwinkel bzw. des tatsächlichen Entfernungswerts ist in bekannter Weise der arctan2(X,Y) bzw. arctan2(Re, Im) zu bilden. Zur Bestimmung des Imaginärteils ist die AKF um 90°, d.h. ¼ der wirksamen Länge der AKF zu verschieben. Im vorliegenden Beispiel eintspricht dies einer Wegdifferenz von 1,25 m oder ¼ Bit. Wurden die Nullen und Einser der Maximalfolge mit jeweils 4 Bit substituiert, lassen sich die 90°-Sprünge durch jeweils 1-Bit-Sprünge der substituierten Maximalfolge realisieren. Der Phasenwinkel lässt sich dann beispielsweise durch arctan2(#1, #2) oder arctan2((#1 - #3),(#2 - #4)) bestimmen.To determine the actual phase angle or the actual distance value, the arctan2 (X, Y) or arctan2 (Re, Im) is to be formed in a known manner. To determine the imaginary part, the AKF is 90 °, i. ¼ of the effective length of the ACF. In the present example, this equates to a path difference of 1.25 m or ¼ bit. If the zeros and ones of the maximum sequence were substituted with 4 bits each, the 90 ° jumps can be realized by 1-bit jumps of the substituted maximum sequence. The phase angle can then be determined, for example, by arctan2 (# 1, # 2) or arctan2 ((# 1 - # 3), (# 2 - # 4)).

Wie bereits zuvor beschrieben, kann die Amplitude jeder Einzelmessung #1, #2, ..., #8, hinsichtlich des abstandsabhängigen Amplitudenabfalls kompensiert werden. Als relevanter Abstand kann hier beispielsweise der Mittelwert des jeweiligen für die Einzelmessung gültigen Abstandsbereich verwendet werden. Überstreicht beispielsweise die Einzelmessung #1 einen Bereich von 0 bis 5 m kann die Amplitude auf einen Abstand von 2,5 m eingestellt werden. Selbstverständlich kann hier auch ein anderer Punkt innerhalb des Intervalls ausgewählt werden, solange dieser Punkt in allen Einzelmessung ebenfalls entsprechend ausgewählt wird.As already described above, the amplitude of each individual measurement #1 , # 2, ..., # 8, are compensated for the distance-dependent drop in amplitude. As a relevant distance, the mean value of the respective distance range valid for the individual measurement can be used here, for example. Overrides, for example, the single measurement #1 a range of 0 to 5 m, the amplitude can be set to a distance of 2.5 m. Of course, another point within the interval can also be selected here as long as this point is also selected accordingly in all individual measurements.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: LichtlaufzeitkamerasystemTime of flight camera system
1212: Beleuchtungsmodullighting module
1414: Beleuchtunglighting
1616: StrahlformungsoptikBeam shaping optics
1818: LichtlaufzeitkameraTime of flight camera
2020: Empfangsoptikreceiving optics
2222: LichtlaufzeitsensorTransit Time Sensor
2424: LichtlaufzeitpixelTransit Time pixels
2626: Photonischer Mischelemente-SensorPhotonic mixer element sensor
2828: Lichtlaufzeit-EntfernungsmesssystemTime-of-distance-measuring system
3030: Modulatormodulator
3232: Phasenschieberphase shifter
3434: Objektobject
3636: ModulationssteuergerätModulation controller
3838: Siliziumsubstratsilicon substrate
4040: lichtsensitiver Teillight-sensitive part
4242: Isolatorschichtinsulator layer
44 - 52 44 - 52: EntfernungsmessbereichDistance measuring range
5454: GesamtentfernungsmessbereichTotal distance measurement range
5656: Verlauf der KorrelationsfunktionenCourse of the correlation functions
5858: Verlauf der KorrelationsfunktionenCourse of the correlation functions
60 - 7460 - 74: Belichtungszeitexposure time
7676: Verlauf der KorrelationsfunktionenCourse of the correlation functions
dd: Abstanddistance
AA: erster Modulationskanalfirst modulation channel
BB: zweiter Modulationskanalsecond modulation channel
Δφ(t_L)Δφ (t _L ): laufzeitbedingte Phasenverschiebungterm-related phase shift
φ_var φ _var: Phasenlagephasing
φ₀ φ ₀: Basisphasebase phase
Ga, GbGa, Gb: Modulationsgatemodulation gate
Gaa, Gba, GsepGaa, Gba, Gsep: weitere Gatesmore gates
#1, ... , #8# 1, ..., # 8: Einzelmessungenindividual measurements

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102014210750 B3 [0004]
DE 19704496 C2 [0052]

Claims

Method for measuring distance by means of a light time-range measuring system (28) having an illumination (14) and a light transit time detector (22) in the form of a light transit time camera system (10) which determines a distance from a phase shift of a modulated emitted and received light, in which a modulation signal (Mo ', Mo ") for the illumination (14) and the light transit time sensor (22) is generated starting from a basic PN sequence, which is designed as a maximum sequence for the selection of a single measurement, wherein a plurality of individual measurements (# 1, # 2, # 3, # 4, # 5, # 6, # 7, # 8) are performed for a distance measurement and for each individual measurement (# 1, # 2, # 3, # 4, # 5, # 6, # 7, # 8) an integration time (60, 62, 64, 66, 68, 70, 72, 74) depending on of the distance range valid for the individual measurement is selected.

Method according to Claim 1 in which a plurality of measurements with overlapping distance measuring ranges (44, 46, 48, 50, 52) are carried out for a distance measurement and at least two individual measurements (# 1, # 2, # 3, # 4, # 5, # 6, # 7, # 8) in each rangefinder (44, 46, 48, 50, 52)

Method according to Claim 1 or 2 characterized in that a total ranging range (54) to be measured is divided into a plurality of different ranging ranges (44, 46, 48, 50, 52), wherein a separate range measurement is performed for each of these range ranges (44, 46, 48, 50, 52).

Method according to one of Claims 1 to 3 characterized in that the adaptation of the integration time (60, 62, 64, 66, 68, 70, 72, 74) for each of the individual measurements (# 1, # 2, # 3, # 4, # 5, # 6, # 7, # 8) in such a way that results in a predetermined signal-to-noise ratio.

Method according to Claim 4 , characterized in that the predetermined signal-to-noise ratio is a signal-to-noise ratio substantially constant over the total range-of-range (54).

Method according to one of Claims 1 to 5 Characterized in that the base PN sequence (44) in the form of sub-bit sequences (46, 48) resulting from a substitution rule, the lighting (14) and the light transit time sensor (22) is issued, wherein distinguish the sub-bit sequences (46) for the illumination (14) from the corresponding sub-bit sequences (48) for the light transit time sensor (22).

Method according to one of Claims 1 to 6 , characterized in that the light transit time sensor (22) as a photonic mixing element sensor (26) with modulation channels (A, B) is formed.

Method according to one of Claims 1 to 7 , characterized in that at least two distance measurements take place in which at least one single measurement used for a first of these distance measurements is also used for a second of these distance measurements.

Light transit time measuring system (28) in the form of a light transit time camera system (10), with a light (14) for transmission and a light transit time sensor (22) for receiving modulated light and with a modulator (30) for generating a modulation signal (M ₀ ', M ₀ ") for the illumination (14) and the light transit time sensor (22) from at least one base PN sequence, which is formed as a maximum sequence for selecting a distance range, wherein the light transit time camera system (10) for determining a distance from a phase shift of the emitted and the system (10, 28) is set up - to carry out a plurality of individual measurements and to use at least two of these individual measurements for each individual distance measurement in an assigned distance measuring range and - the respective integration time (60, 62, 64, 66, 68, 70, 72, 74) for the individual measurements (# 1, # 2, # 3, # 4, # 5, # 6, # 7, # 8) as a function of the distance range to select the single measurement.

System after Claim 9 , characterized in that the system (10, 28) for carrying out a method for distance measurement according to at least one of Claims 1 to 8th is set up.