DE102011084976A1 - Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle - Google Patents

Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle Download PDF

Info

Publication number
DE102011084976A1
DE102011084976A1 DE102011084976A DE102011084976A DE102011084976A1 DE 102011084976 A1 DE102011084976 A1 DE 102011084976A1 DE 102011084976 A DE102011084976 A DE 102011084976A DE 102011084976 A DE102011084976 A DE 102011084976A DE 102011084976 A1 DE102011084976 A1 DE 102011084976A1
Authority
DE
Germany
Prior art keywords
pixel
measurement
light
dynamic range
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102011084976A
Other languages
German (de)
Inventor
Joerg Heckel
Jan Sparbert
Markus Koehler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102011084976A priority Critical patent/DE102011084976A1/en
Publication of DE102011084976A1 publication Critical patent/DE102011084976A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The apparatus has a control unit that emits illumination device light having constant intensity values read out during an integration time of pixel of the current measured values, without loss in the pixel. The control unit combines a predetermined number of measurements to one measurement cycle and selects measurement for each pixel of the measurement cycle. The measured value is within the dynamic range of the pixel. An independent claim is included for a method for three-dimensional sensing of environment.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft eine Vorrichtung zum dreidimensionalen erfassen der Umwelt, wobei das Time-of-Flight Prinzip verwendet wird. Eine solche Vorrichtung wird bevorzugt in Kraftfahrzeugen eingesetzt und bildet die Basis für viele Fahrerassistenzsysteme.The present invention relates to a device for three-dimensional detection of the environment, wherein the time-of-flight principle is used. Such a device is preferably used in motor vehicles and forms the basis for many driver assistance systems.

Im Umfeld eines Kraftfahrzeuges gibt es eine Vielzahl von Fahrerassistenzsystemen, die das Fahren mit einem Fahrzeug komfortabler (Spurhalteassistent, Abstandhalteassistent) und/oder sicherer (Spurverlassenswarnung, Notbremsassistent) machen sollen. Viele dieser Funktionen benötigen ein Sensorsystem, das die Umgebung dreidimensional erfassen kann.In the environment of a motor vehicle, there are a multiplicity of driver assistance systems which are intended to make driving with a vehicle more comfortable (lane departure warning, distance stop assist) and / or safer (lane departure warning, emergency brake assist). Many of these features require a sensor system that can capture the environment three-dimensionally.

Herkömmliche 3D Tiefensensoren, wie beispielsweise Laserscanner oder Stereo-Video Systeme, sind jedoch teuer und für die Massenproduktion in Kraftfahrzeugen nicht geeignet. Aus diesem Grund werden Monokameras verwendet, die nach dem Time-of-Flight (ToF) Prinzip arbeiten. Hierbei werden über eine Lichtquelle Lichtpulse ausgesandt, die von der Umgebung reflektiert werden. Das reflektierte Licht kann von einem Sensor mit einem oder mehreren lichtempfindlichen Elementen (Pixel) aufgenommen werden. An Hand der Laufzeit des Lichts kann die Entfernung zu dem reflektierenden Objekt ermittelt werden.Conventional 3D depth sensors, such as laser scanners or stereo video systems, however, are expensive and not suitable for mass production in motor vehicles. For this reason, mono cameras are used, which work according to the time-of-flight (ToF) principle. Here, light pulses are emitted via a light source, which are reflected by the environment. The reflected light can be picked up by a sensor having one or more photosensitive elements (pixels). Based on the duration of the light, the distance to the reflective object can be determined.

Das ToF Prinzip hat jedoch den Nachteil, dass der Dynamikbereich der Pixel stark eingeschränkt ist. Die gemessene Lichtmenge ist u.a. davon abhängig, wie viel Licht von der Lichtquelle ausgesandt wurde und welcher Anteil des reflektierten Lichts von dem Sensor erfasst wird. Bei statischer Auslegung der Lichtpulse und der Belichtungszeit der Pixel kann es daher vorkommen, dass Teile der Pixel in den Sättigungsbereich getrieben werden (Überbelichtung), da der reflektierende Gegenstand beispielsweise hell und nah ist, während andere Pixel nicht über die Rauschschwelle gelangen, da der reflektierende Gegenstand dunkel und weit entfernt ist.However, the ToF principle has the disadvantage that the dynamic range of the pixels is severely limited. The measured amount of light is i.a. depending on how much light was emitted from the light source and what proportion of the reflected light is detected by the sensor. With static design of the light pulses and the exposure time of the pixels, it may happen that parts of the pixels are driven into the saturation region (overexposure), since the reflective object is bright and close, for example, while other pixels do not pass through the noise threshold, since the reflective Object is dark and far away.

Diesen Problemen wurde bisher dadurch begegnet, dass die Belichtungszeit der Pixel angepasst wurde. So beschreibt die EP 0864 223 B1 eine Belichtungssteuerung in einem optischen Sensor, die sich selbstständig an die Umgebungsbedingungen anpasst. Um zu verhindern, dass die einzelnen Pixel in die Extrembereiche „Rauschen“ oder „Sättigung“ gelangen, wird die Belichtungszeit für jedes Pixel individuell bestimmt. Um weiterhin ein homogenes Bild zu erhalten, wird für jedes Pixel neben dem eigentlichen Pixelsignal auch die Belichtungszeit gespeichert. Damit wird jedes Pixel in seinem optimalen Bereich betrieben. In einem nachfolgenden Schritt wird schließlich aus den Pixelsignalen und den Belichtungszeiten ein dreidimensionales Bild generiert.So far, these problems have been addressed by adjusting the exposure time of the pixels. That's how it describes EP 0864 223 B1 an exposure control in an optical sensor that adapts itself to the ambient conditions. In order to prevent the individual pixels from reaching the extreme areas "noise" or "saturation", the exposure time is determined individually for each pixel. In order to continue to obtain a homogeneous image, the exposure time is stored for each pixel in addition to the actual pixel signal. This operates every pixel in its optimal range. In a subsequent step, finally, a three-dimensional image is generated from the pixel signals and the exposure times.

Die DE 10 2010 045 752 A1 beschreibt ein optisches Wahrnehmungssystem für einen Roboter. Dieses System besteht u.a. aus Sensoren zur Entfernungsmessung, die beispielsweise ToF Sensoren sein können. Das Gesamtsystem wird ständig an die gemessenen Umgebungsbedingungen angepasst, so dass stets optimale Bildinformationen erhalten werden. Dies umfasst auch die Anpassung der Belichtungszeit der Pixel, so dass diese aus den Extrembereichen heraus gehalten werden, da ansonsten Bildmerkmale verloren gehen würden.The DE 10 2010 045 752 A1 describes an optical perception system for a robot. This system consists inter alia of distance measuring sensors, which may be ToF sensors, for example. The overall system is constantly adapted to the measured environmental conditions, so that always optimal image information is obtained. This also includes adjusting the exposure time of the pixels so that they are kept out of the extremes, otherwise image features would be lost.

Ein Nachteil der genannten Druckschriften ergibt sich dadurch, dass in beiden technischen Lehren unabdingbare Vorraussetzung ist, dass die Integrationszeit für jedes Pixel einzeln gesetzt wird. Bei der erstgenannten Druckschrift wird dies durch erweiterte Pixel realisiert, die eine Vergleichsspannung speichern können und bei Erreichen dieser Spannung die Belichtung beenden. Gleichzeitig wird die Belichtungszeit gespeichert. Dies erhöht jedoch den Fertigungsaufwand und die Größe der Pixel. Die zweite genannte Druckschrift ändert die Belichtungszeit jedes Pixels in Abhängigkeit des vorangegangenen Messergebnisses. Dies ist zwar für langsame Änderungen der Umgebungssituation sinnvoll, bei abrupten Änderungen wird können die Pixel jedoch kurzzeitig in die Extrembereiche gelangen.A disadvantage of the cited references results from the fact that in both technical teachings it is essential that the integration time is set individually for each pixel. In the former document, this is realized by extended pixels, which can store a comparison voltage and stop the exposure when this voltage is reached. At the same time the exposure time is saved. However, this increases the manufacturing effort and the size of the pixels. The second cited document changes the exposure time of each pixel depending on the previous measurement result. Although this makes sense for slow changes in the environment, in abrupt changes, the pixels can reach the extreme areas for a short time.

Offenbarung der ErfindungDisclosure of the invention

Die erfindungsgemäße Vorrichtung dient zum dreidimensionalen Erfassen der Umwelt und umfasst mindestens ein lichtempfindliches Element (im Folgenden als Pixel bezeichnet), eine Vorrichtung zum Aussenden von Licht (Beleuchtungsvorrichtung) und eine Steuervorrichtung. Jedes Pixel besitzt herstellungsbedingt einen Dynamikbereich, d.h. einen Bereich in dem das empfangene Licht störungsfrei in eine elektrische Spannung umgewandelt werden kann. Dieser Bereich liegt zwischen einer Rausschwelle, also einer Spannung die mindestens überschritten werden muss, um sie als Messwert vom allgemeinen Rauschen des Pixels zu unterscheiden. Als obere Grenze gilt der Sättigungsbereich, der die maximal vom Pixel aufnehmbare Lichtmenge definiert.The device according to the invention serves for the three-dimensional detection of the environment and comprises at least one light-sensitive element (hereinafter referred to as pixel), a device for emitting light (lighting device) and a control device. Each pixel has a dynamic range due to its production, i. an area in which the received light can be smoothly converted into an electrical voltage. This range lies between a threshold, ie a voltage which must be exceeded at least in order to distinguish it as a measured value from the general noise of the pixel. The upper limit is the saturation range, which defines the maximum amount of light that can be absorbed by the pixel.

Um von jedem verwendeten Pixel einen Messwert zu erhalten, der stets innerhalb des beschriebenen Dynamikbereichs liegt, ist die Steuereinheit eingerichtet, mehrere Messungen durchzuführen und aus einer festgelegten Anzahl an Messungen – zusammengefasst zu einem Messzyklus – die Beste auszuwählen. Dazu ist sie auf zwei unterschiedliche Arten eingerichtet.In order to obtain from each pixel used a reading which is always within the described dynamic range, the control unit is set up to perform several measurements and to select the best from a fixed number of measurements - combined into one measurement cycle. It is set up in two different ways.

Die Steuervorrichtung ist eingerichtet, die aktuellen Messwerte des Pixels auszulesen, ohne deren Inhalt auf dem Pixel selbst zu löschen. Es werden daher Zwischenwerte ausgelesen, während die Integrationszeit des Pixels (d.h. die Belichtungszeit) weiterläuft. Aus diesen Messungen kann schließlich für jedes Pixel diejenige ausgewählt werden, die am besten im Dynamikbereich des Pixels liegt. The control device is set up to read out the current measured values of the pixel without deleting their content on the pixel itself. Therefore, intermediate values are read out while the integration time of the pixel (ie the exposure time) continues to run. From these measurements, it is finally possible to select for each pixel the one which is best in the dynamic range of the pixel.

Alternativ ist die Steuervorrichtung eingerichtet, die Intensität des durch die Beleuchtungsvorrichtung ausgesendeten Lichts zu variieren. Somit können Messungen der unterschiedlich beleuchteten Umwelt getätigt werden. Wiederum wird für jedes Pixel diejenige Messung ausgewählt, die am besten im Dynamikbereich des Pixels liegt.Alternatively, the control device is set up to vary the intensity of the light emitted by the lighting device. Thus, measurements of the differently lit environment can be made. Again, for each pixel, the one measurement that best fits the pixel's dynamic range is selected.

Diese beiden Varianten ermöglichen es, ohne einen komplexen Aufbau der einzelnen Pixel, aus jedem Messzyklus Bildinformationen zu erhalten, die nicht in den Extrembereichen der Pixel liegen. Dies ermöglicht einen sicheren Einsatz der erfindungsgemäßen Vorrichtung in kritischen Anwendungen, wie beispielsweise bei Fahrerassistenzsystemen.These two variants make it possible, without a complex structure of the individual pixels, to obtain image information from each measuring cycle which is not in the extreme regions of the pixels. This allows a safe use of the device according to the invention in critical applications, such as in driver assistance systems.

Weiterhin betrifft die Erfindung ein Verfahren zum dreidimensionalen Erfassen der Umwelt, welches die folgenden Schritte umfasst: Zunächst wird Licht mit konstanter Intensität ausgesandt, das von Objekten der Umwelt reflektiert wird. Dieses reflektierte Licht trifft auf Pixel, die daraus einen Messwert generieren. Das erfindungsgemäße Verfahren liest diese Messwerte aus, ohne sie im Pixel selbst zu löschen, d.h. die Belichtung wird weiter fortgesetzt. Das Aussenden von Licht und das Auslesen von Messwerten wird schließlich so lange wiederholt, bis eine vorbestimmte Anzahl an Messungen verfügbar ist. Diese Messungen bilden einen Messzyklus, aus dem schließlich für jedes Pixel derjenige Messwert ausgewählt wird, der am besten im Dynamikbereich des Pixels liegt.Furthermore, the invention relates to a method for the three-dimensional detection of the environment, which comprises the following steps: First, light of constant intensity is emitted, which is reflected by objects of the environment. This reflected light hits pixels, which generate a measured value. The method according to the invention reads out these measured values without deleting them in the pixel itself, i. the exposure will continue. The emission of light and the reading of measured values is finally repeated until a predetermined number of measurements is available. These measurements form a measuring cycle, from which finally for each pixel the measured value is selected which is best in the dynamic range of the pixel.

Alternativ sendet das erfindungsgemäße Verfahren Licht mit unterschiedlicher Intensität aus. Das von Objekten der Umwelt reflektierte Licht trifft wiederum auf Pixel, die es in ein Messsignal wandeln. Mindestens einmal pro Lichtintensitätswert wird nun der Messwert aus jedem Pixel ausgelesen und anschließend im Pixel selbst gelöscht. Auch hier wird das Aussenden von Licht und das Auslesen der Messwerte wiederholt, wobei die Lichtintensitätswerten auf dem ursprünglichen Wert belassen oder verändert werden können. Alle so gewonnen Messwerte bilden einen Messzyklus, aus dem für jedes Pixel derjenige Wert ausgewählt wird, der am Besten im Dynamikbereich des Pixels liegt.Alternatively, the method according to the invention emits light with different intensity. The light reflected by objects of the environment in turn encounters pixels that transform it into a measurement signal. At least once per light intensity value, the measured value is read out of each pixel and then deleted in the pixel itself. Again, the emission of light and the reading of the measured values is repeated, whereby the light intensity values can be left or changed to the original value. All measurements thus obtained form a measuring cycle, from which for each pixel the value is selected which is best in the dynamic range of the pixel.

Aus beiden Verfahren ist der Vorteil ersichtlich, ohne komplexen Aufbau des Pixels sondern mit bereits vorhandenen Komponenten den Dynamikbereich eines jeden Pixels optimal zu nutzen.From both methods, the advantage can be seen to optimally use the dynamic range of each pixel without complex structure of the pixel but with already existing components.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

Bevorzugt ist die Beleuchtungsvorrichtung der ersten beschriebenen Variante der erfindungsgemäßen Vorrichtung eingerichtet, das diese Lichtpulse mit konstanter Intensität aussendet. Die Steuervorrichtung ist dabei bevorzugt eingerichtet, nach jedem Lichtpuls eine Messung vorzunehmen. Dies macht einen einfachen Aufbau der Vorrichtung möglich, da die Messwerte nach jedem Puls stufenförmig ansteigen. Das bedeutet, dass näherungsweise diskrete Messwerte vorliegen, die einfach miteinander verglichen werden können.Preferably, the lighting device of the first described variant of the device according to the invention is set up, which emits these light pulses with constant intensity. The control device is preferably set up to make a measurement after each light pulse. This makes a simple construction of the device possible, since the measured values increase stepwise after each pulse. This means that there are approximately discrete readings that can easily be compared.

Ebenso ist die Beleuchtungsvorrichtung in der alternativen erfindungsgemäßen Vorrichtung eingerichtet, dass diese Lichtpulse aussendet. Durch die Variation von Wiederholrate, Pulsdauer und/oder Pulshöhe kann somit die Intensität des ausgesandten Licht einfach variiert werden. Wird auch hier eine Messung nach Aussenden eines Pulses bzw. einer Pulsfolge vorgenommen, so ergeben sie näherungsweise diskrete Werte, die leicht verarbeitet werden können. Somit wird auch hier ein Aufbau der Vorrichtung sehr einfach.Likewise, the lighting device is set up in the alternative device according to the invention that emits these light pulses. By varying the repetition rate, pulse duration and / or pulse height, the intensity of the emitted light can thus be varied easily. If a measurement is also made here after the emission of a pulse or a pulse sequence, they give approximately discrete values which can be easily processed. Thus, a structure of the device is also very simple here.

Besonders vorteilhaft ist es, wenn die erste Variante der erfindungsgemäßen Vorrichtung zusätzlich mit den Merkmalen der zweiten erfindungsgemäßen Variante ausgestattet ist. Damit werden die Vorteile beider Varianten verbunden, so dass eine sehr zuverlässige Erfassung der Umgebung möglich ist.It when the first variant of the device according to the invention is additionally equipped with the features of the second variant according to the invention is particularly advantageous. Thus, the advantages of both variants are connected, so that a very reliable detection of the environment is possible.

Für das erstgenannte Verfahren ist es vorteilhaft, wenn die Beleuchtungsvorrichtung Lichtpulse mit konstanter Intensität aussendet. Dann kann nach jedem Lichtimpulse der Messwert jedes Sensors ausgelesen werden, so dass näherungsweise diskrete Messwerte entstehen. Somit wird ein einfacher Aufbau des Gesamtsystems ermöglicht.For the former method, it is advantageous if the lighting device emits light pulses of constant intensity. Then, after each light pulse, the measured value of each sensor can be read out, so that approximately discrete measured values are produced. Thus, a simple construction of the overall system is made possible.

Ebenso ist es für das alternative Verfahren vorteilhaft, wenn die Beleuchtungsvorrichtung Lichtpulse aussendet. Durch die Variation von Wiederholrate, Pulsdauer und/oder Pulshöhe ist es sehr einfach möglich, die Lichtintensität zu variieren. Auch hier wird ein einfacher Aufbau des Gesamtsystems ermöglicht, da jede Messung nach einem Puls bzw. einer Pulsfolge durchgeführt werden kann und näherungsweise diskrete Messwerte entstehen.Likewise, it is advantageous for the alternative method if the illumination device emits light pulses. By varying the repetition rate, pulse duration and / or pulse height, it is very easy to vary the light intensity. Here, too, a simple construction of the overall system is made possible, since each measurement can be carried out after one pulse or one pulse sequence and approximately discrete measured values are produced.

In besonders vorteilhafter Weise wird die erste Variante des erfindungsgemäßen Verfahrens mit der zweiten Variante kombiniert. Aufgrund der dadurch entstehenden Verbindung der unterschiedlichen Messmethoden, wird eine sehr zuverlässige Erfassung der Umgebung erreicht.In a particularly advantageous manner, the first variant of the method according to the invention is combined with the second variant. Due to the resulting connection of the different measuring methods, a very reliable detection of the environment is achieved.

Kurze Beschreibung der ZeichnungShort description of the drawing

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawing is:

1 ein Diagramm, das den zeitlichen Ablauf eines Messzyklus in einer ersten Ausführungsform der Erfindung zeigt. 1 a diagram showing the timing of a measurement cycle in a first embodiment of the invention.

2 ein Diagramm, das den zeitlichen Ablauf eines Messzyklus in einer zweiten Ausführungsform der Erfindung zeigt. 2 a diagram showing the timing of a measurement cycle in a second embodiment of the invention.

Ausführungsformen der ErfindungEmbodiments of the invention

Eine erste Ausführungsform der Erfindung umfasst eine Infrarotlampe, ein Bildsensor mit mehreren Pixel und ein Steuergerät. Das Steuergerät ist dabei eingerichtet, über die Infrarotlampe Lichtimpulse (P0) mit konstanter Intensität auszusenden, was in 1 im oberen Teil des Diagramms gezeigt ist. Werden diese Lichtpulse reflektiert, so können sie von dem Bildsensor detektiert werden.A first embodiment of the invention comprises an infrared lamp, a multi-pixel image sensor, and a controller. The control unit is set up to emit light pulses (P0) of constant intensity via the infrared lamp, which is reflected in FIG 1 shown in the upper part of the diagram. If these light pulses are reflected, they can be detected by the image sensor.

Der untere Teil des Diagramms in 1 zeigt das Verhalten eines Pixels aus diesem Bildsensor. Es ist ersichtlich, dass nach jedem Lichtpuls die im Pixel erzeugte Spannung stufenförmig ansteigt. Im Vergleich dazu ändert sich die Spannung ohne einen Lichtimpuls nur marginal. The lower part of the diagram in 1 shows the behavior of a pixel from this image sensor. It can be seen that after each light pulse, the voltage generated in the pixel increases in steps. In comparison, the voltage changes only marginally without a light pulse.

Ebenfalls ist aus 1 ersichtlich, dass das Pixel eine Sättigungsspannung (S) aufweist, ab der die erzeugte Spannung nicht weiter ansteigen kann und eine Rauschspannung (R), die mindestens überstiegen werden muss, um das Pixel zu Messzwecken einzusetzen.Also is off 1 It can be seen that the pixel has a saturation voltage (S) beyond which the generated voltage can not rise any further and a noise voltage (R) which must at least be exceeded in order to use the pixel for measurement purposes.

Es werden nun Messungen (M1 bis Mn) durchgeführt, ohne die aktuelle Spannung im Pixel zu verändern. Die Messwerte erstrecken sich dabei von Werten unterhalb der Rauschspannung bis zur Sättigungsspannung. Das Steuergerät ist deshalb eingerichtet, aus allen diesen Messwerten denjenigen auszuwählen, der den Dynamikbereich des Pixels optimal ausnutzt. Measurements (M1 to Mn) are now made without changing the current voltage in the pixel. The measured values extend from values below the noise voltage to the saturation voltage. The control unit is therefore set up to select from all of these measured values the one which optimally exploits the dynamic range of the pixel.

Eine zweite Ausführungsform der Erfindung umfasst einen analogen Aufbau zu der ersten Ausführungsform. Jedoch werden, wie in 2 gezeigt, Lichtpulse mit unterschiedlicher Intensität ausgesendet, d.h. Lichtpulse mit unterschiedlicher Höhe und Wiederholrate. So besteht P1 nur aus einem Puls, der eine kleine Höhe aufweist. P2 besteht aus zwei Pulsen, die eine mittlere Höhe aufweisen und P3 besteht aus drei Pulsen, die eine hohe Höhe aufweisen. A second embodiment of the invention comprises an analogous construction to the first embodiment. However, as in 2 shown, light pulses emitted with different intensity, ie light pulses with different height and repetition rate. So P1 consists only of a pulse that has a small height. P2 consists of two pulses of medium height and P3 consists of three pulses of high height.

Werden die Lichtpulsfolgen P1, P2 und P3 nacheinander ausgesandt, so bedeutet dies, dass die Intensität des ausgesendeten Lichts sukzessive gesteigert wird.If the light pulse sequences P1, P2 and P3 are transmitted successively, this means that the intensity of the emitted light is successively increased.

Das ausgesandte Licht wird von Objekten der Umgebung reflektiert und schließlich von dem Bildsensor detektiert. Das Verhalten eines Pixels aus dem Bildsensor ist im unteren Teil des Diagramms in 2 dargestellt.The emitted light is reflected by objects of the environment and finally detected by the image sensor. The behavior of a pixel from the image sensor is in the lower part of the diagram in 2 shown.

Das Pixel weist eine Rauschspannung (R) auf, die überschritten werden muss, um den Messwert vom allgemeinen Rauschen des Pixels zu unterscheiden. Weiterhin weist das Pixel eine Sättigungsspannung (S) auf, die nicht überschritten werden kann. The pixel has a noise voltage (R) which must be exceeded in order to distinguish the measurement from the general noise of the pixel. Furthermore, the pixel has a saturation voltage (S) which can not be exceeded.

Nach jeder der Pulsfolgen P1, P2 und P3 wird der aktuelle Messwert (MP1, MP2 und MP3) des Pixels ausgelesen und dabei gelöscht. Da die Pulse P1, P2 und P3 jedoch unterschiedlich sind, sind auch die Messwerte MP1, MP2 und MP3 unterschiedlich. Aus dem von diesen Messgrößen gebildeten Messzyklus wird schließlich diejenige ausgewählt, die den Dynamikbereich des Pixels optimal ausnutzt.After each of the pulse sequences P1, P2 and P3, the current measured value (MP1, MP2 and MP3) of the pixel is read out and thereby deleted. However, since the pulses P1, P2 and P3 are different, the measured values MP1, MP2 and MP3 are also different. From the measuring cycle formed by these measured variables, the one which optimally utilizes the dynamic range of the pixel is finally selected.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 0864223 B1 [0005] EP 0864223 B1 [0005]
  • DE 102010045752 A1 [0006] DE 102010045752 A1 [0006]

Claims (10)

Vorrichtung zum dreidimensionalen Erfassen der Umwelt umfassend mindestens ein lichtempfindliches Element, im Folgenden als Pixel bezeichnet, das einen Dynamikbereich aufweist, der zwischen einer Rauschschwelle (R) und einem Sättigungsbereich (S) des Pixels liegt, mindestens eine Beleuchtungsvorrichtung, und eine Steuervorrichtung, dadurch gekennzeichnet, dass die Steuervorrichtung eingerichtet ist, über die Beleuchtungsvorrichtung Licht mit konstanten Intensitätswerten auszusenden, während einer Integrationszeit des mindestens einen Pixels aktuelle Messwerte (M1 bis Mn) auszulesen, ohne dass diese im Pixel verloren gehen, und eine vorbestimmte Zahl von Messungen zu einem Messzyklus zusammenzufassen und für jedes Pixel aus dem Messzyklus die Messung auszuwählen, bei welcher der Messwert innerhalb des Dynamikbereiches des Pixel liegt.A device for three-dimensional detection of the environment comprising at least one photosensitive element, hereinafter referred to as a pixel, having a dynamic range between a noise threshold (R) and a saturation region (S) of the pixel, at least one illumination device, and a control device characterized in that the control device is set up to emit light with constant intensity values via the illumination device, to read current measured values (M1 to Mn) during an integration time of the at least one pixel, without losing them in the pixel, and to combine a predetermined number of measurements into one measurement cycle and for each pixel of the measurement cycle, selecting the measurement where the measurement is within the dynamic range of the pixel. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Beleuchtungsvorrichtung eingerichtet ist, Lichtimpulse auszusenden und die Steuervorrichtung eingerichtet ist, nach jedem ausgesandten Lichtpuls (P0) den Messwert (M1 bis Mn) aus dem mindestens einen Pixel auszulesen.Apparatus according to claim 2, characterized in that the lighting device is adapted to emit light pulses and the control device is arranged to read the measured value (M1 to Mn) from the at least one pixel after each emitted light pulse (P0). Vorrichtung zum dreidimensionalen Erfassen der Umwelt umfassend mindestens ein lichtempfindliches Element, im Folgenden als Pixel bezeichnet, das einen Dynamikbereich aufweist, der zwischen einer Rauschschwelle (R) und einem Sättigungsbereich (S) des Pixels liegt, mindestens eine Beleuchtungsvorrichtung, und eine Steuervorrichtung, dadurch gekennzeichnet, dass die Steuervorrichtung eingerichtet ist, über die Beleuchtungsvorrichtung Licht mit unterschiedlichen Intensitätswerten auszusenden, das mindestens eine Pixel zu veranlassen, mindestens eine Messung (MP1, MP2, MP3) pro Lichtintensitätswert durchzuführen und eine vorbestimmte Zahl von Messungen zu einem Messzyklus zusammenzufassen und für jedes Pixel aus dem Messzyklus die Messung auszuwählen, bei welcher der Messwert innerhalb des Dynamikbereiches des Pixel liegt.A device for three-dimensional detection of the environment comprising at least one photosensitive element, hereinafter referred to as a pixel, having a dynamic range which is between a noise threshold (R) and a saturation region (S) of the pixel, at least one lighting device, and a control device, characterized in that the control device is set up, to emit light with different intensity values via the illumination device, causing the at least one pixel to perform at least one measurement (MP1, MP2, MP3) per light intensity value and to combine a predetermined number of measurements into a measurement cycle and to select for each pixel from the measurement cycle the measurement at which the measurement is within the dynamic range of the pixel lies. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Beleuchtungsvorrichtung eingerichtet ist, Lichtimpulse (P1, P2, P3) mit unterschiedlicher Wiederholrate und/oder Pulsdauer und/oder Pulshöhe auszusenden, um dadurch die Intensität des ausgesendeten Lichts zu variieren.Apparatus according to claim 3, characterized in that the lighting device is adapted to emit light pulses (P1, P2, P3) with different repetition rate and / or pulse duration and / or pulse height, thereby varying the intensity of the emitted light. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Vorrichtung ebenfalls nach Anspruch 3 oder 4 ausgestaltet ist.Apparatus according to claim 1 or 2, characterized in that the device is also designed according to claim 3 or 4. Verfahren zum dreidimensionalen Erfassen der Umwelt, gekennzeichnet durch die folgenden Schritte: Aussenden von Licht mit konstanter Intensität, Aufnehmen des von einem Gegenstand reflektierten Lichts mit mindestens einem lichtempfindlichen Element, im Folgenden als Pixel bezeichnet, wobei ein Pixel einen Dynamikbereich zwischen einer Rauschschwelle (R) und einem Sättigungsbereich (S) aufweist, Speichern des Messwertes (M1 bis Mn) jedes Pixels, ohne diese im Pixel selbst zu löschen Wiederholen der vorgenannten Schritte bis zu einer festgelegten Wiederholungsanzahl, wodurch ein Messzyklus entsteht, und Bestimmen der Messung aus dem Messzyklus für jedes Pixel, bei welcher der Messwert innerhalb des Dynamikbereichs des Pixels liegt.Method for the three-dimensional detection of the environment, characterized by the following steps: Emitting light of constant intensity, Picking up the light reflected from an object with at least one photosensitive element, hereinafter referred to as pixel, wherein a pixel has a dynamic range between a noise threshold (R) and a saturation region (S), Store the measured value (M1 to Mn) of each pixel without deleting it in the pixel itself Repeating the above steps up to a set number of repetitions, whereby a measuring cycle arises, and Determining the measurement from the measurement cycle for each pixel where the measurement is within the dynamic range of the pixel. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Beleuchtungsvorrichtung Lichtimpulse (P0) aussendet und die Steuervorrichtung nach jedem ausgesandten Lichtpuls den aktuellen Messwert aus dem mindestens einen Pixel ausliest. A method according to claim 6, characterized in that the illumination device emits light pulses (P0) and the control device reads out the current measured value from the at least one pixel after each transmitted light pulse. Verfahren zum dreidimensionalen Erfassen der Umwelt, gekennzeichnet durch die folgenden Schritte: Aussenden einer Lichtmenge mit bestimmter Intensität, Aufnehmen des von einem Gegenstand reflektierten Lichts mit mindestens einem lichtempfindlichen Element, im Folgenden als Pixel bezeichnet, wobei ein Pixel einen Dynamikbereich zwischen einer Rauschschwelle (R) und einem Sättigungsbereich (S) aufweist, Speichern und anschließendes Löschen des Messwertes (MP1, MP2, MP3) des Pixels, Wiederholen der vorgenannten Schritte mit einer gleichen oder geänderten Lichtintensität bis zu einer festgelegten Wiederholungszahl, wodurch ein Messzyklus entsteht, und Bestimmen der Messung aus dem Messzyklus für jedes Pixel, bei welcher der Messwert innerhalb des Dynamikbereichs des Pixels liegt.Method for the three-dimensional detection of the environment, characterized by the following steps: Emitting a quantity of light with a certain intensity, Picking up the light reflected from an object with at least one photosensitive element, hereinafter referred to as pixel, wherein a pixel has a dynamic range between a noise threshold (R) and a saturation region (S), Save and then delete the measured value (MP1, MP2, MP3) of the pixel, Repeating the above steps with an equal or changed light intensity up to a fixed repetition number, whereby a measuring cycle arises, and Determining the measurement from the measurement cycle for each pixel where the measurement is within the dynamic range of the pixel. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass von der Beleuchtungsvorrichtung Lichtimpulse (P1, P2, P3) mit unterschiedlicher Wiederholrate und/oder Pulsdauer und/oder Pulshöhe ausgesendet werden, um damit die Intensität des ausgesendeten Lichts zu variieren.A method according to claim 8, characterized in that light pulses (P1, P2, P3) are emitted by the illumination device with different repetition rate and / or pulse duration and / or pulse height in order to vary the intensity of the emitted light. Verfahren nach Anspruch 6 oder 7 dadurch gekennzeichnet, dass ebenfalls die Schritte aus einem Verfahren nach Anspruch 8 oder 9 ausgeführt werden.A method according to claim 6 or 7, characterized in that also the steps of a method according to claim 8 or 9 are executed.
DE102011084976A 2011-10-21 2011-10-21 Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle Withdrawn DE102011084976A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011084976A DE102011084976A1 (en) 2011-10-21 2011-10-21 Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011084976A DE102011084976A1 (en) 2011-10-21 2011-10-21 Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle

Publications (1)

Publication Number Publication Date
DE102011084976A1 true DE102011084976A1 (en) 2013-04-25

Family

ID=48051125

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011084976A Withdrawn DE102011084976A1 (en) 2011-10-21 2011-10-21 Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle

Country Status (1)

Country Link
DE (1) DE102011084976A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017115385A1 (en) 2017-07-10 2019-01-10 Basler Ag Device and method for detecting a three-dimensional depth image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864223B1 (en) 1996-09-27 2002-04-24 Böhm, Markus, Prof. Dr.-Ing. Local auto-adaptive optic sensor
DE102010045752A1 (en) 2009-09-22 2011-06-01 GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Detroit Visual perception system and method for a humanoid robot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864223B1 (en) 1996-09-27 2002-04-24 Böhm, Markus, Prof. Dr.-Ing. Local auto-adaptive optic sensor
DE102010045752A1 (en) 2009-09-22 2011-06-01 GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Detroit Visual perception system and method for a humanoid robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017115385A1 (en) 2017-07-10 2019-01-10 Basler Ag Device and method for detecting a three-dimensional depth image
DE102017115385B4 (en) 2017-07-10 2022-08-11 Basler Ag Apparatus and method for acquiring a three-dimensional depth image

Similar Documents

Publication Publication Date Title
DE102014101354B4 (en) SPACE INTENSITY DISTRIBUTION CONTROLLED FLASH
DE102010027647A1 (en) Laser-based method for friction coefficient classification in motor vehicles
DE112019000339T5 (en) AUTOMATIC LIGHTING SYSTEM
DE112017004948B4 (en) Image pickup control apparatus, image pickup control method and recording medium on which it is recorded
DE102016006390A1 (en) Lighting device for a motor vehicle to increase the visibility of an obstacle
DE102011081384B4 (en) Method and device for distance determination for a vehicle
DE102019106129A1 (en) Test unit and method for testing a LIDAR unit for a vehicle
DE102018100215A1 (en) Image display device
DE102019216085A1 (en) Laser distance measuring device
DE102009055269A1 (en) Method for determining the relative movement by means of an HDR camera
DE102012216065A1 (en) Method and device for detecting at least one pulsed light source for a vehicle
EP1498721A1 (en) Device for recognition of fog, especially for a vehicle
EP3663881B1 (en) Method for controlling an autonomous vehicle on the basis of estimated movement vectors
DE102016124197A1 (en) Method for distance measurement, receiving device of a distance measuring device, distance measuring device and driver assistance system
DE102015106140A1 (en) Method for operating an optoelectronic sensor for a motor vehicle with adaptation of the transmission of the transmission signals, optoelectronic sensor, driver assistance system and motor vehicle
DE102011084976A1 (en) Apparatus for three-dimensional sensing of environment of motor car, has control unit that combines predetermined number of measurements to one measurement cycle and selects measurement for each pixel of measurement cycle
WO2019101506A1 (en) Method for operating a lidar sensor and lidar sensor
WO2019110206A1 (en) Lidar system for surroundings detection and method for operating a lidar system
DE102011081425A1 (en) Method and device for classifying a light object located in an apron of a vehicle
DE102018219476A1 (en) Device for optically scanning an environment of the device
DE102021213408A1 (en) LIDAR NOISE REMOVAL DEVICE AND METHODS THEREOF
EP3585047B1 (en) Method and device for producing high contrast images
DE102020119722A1 (en) Temperature control in an active optical sensor system
EP1215619B1 (en) Method of surveillance of the interior of a vehicle
EP3126866B1 (en) Acquisition device preferably for use in a vehicle and vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee