DE19757595C2 - Method and apparatus for recording a three-dimensional distance image - Google Patents

Method and apparatus for recording a three-dimensional distance image

Info

Publication number
DE19757595C2
DE19757595C2 DE1997157595 DE19757595A DE19757595C2 DE 19757595 C2 DE19757595 C2 DE 19757595C2 DE 1997157595 DE1997157595 DE 1997157595 DE 19757595 A DE19757595 A DE 19757595A DE 19757595 C2 DE19757595 C2 DE 19757595C2
Authority
DE
Grant status
Grant
Patent type
Prior art keywords
method according
image
method
preceding
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE1997157595
Other languages
German (de)
Other versions
DE19757595A1 (en )
Inventor
Peter Mengel
Guenter Doemens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles
    • B60N2/002Passenger detection systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/026Systems using the reflection of electromagnetic waves other than radio waves for detecting the presence of an object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumli chen Objekten. The invention relates to a method and an apparatus for recording a three-dimensional distance image of räumli chen objects.

Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der indu striellen Technik zunehmend an Bedeutung. Dimensionally receiving and processing sensor systems win for different tasks in the indu-industrial technology increasingly important. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-Laufzeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Known optical radar systems, such as laser radar are based either on the principle of laser pulse travel time measurement or on the determination of the phase difference of modulated laser light to derive the object distance. Zum Aufbau eines dreidimensiona len bildgebenden Systemes sind zusätzliche mechanische Scan einrichtungen erforderlich. To build a dreidimensiona len imaging system additional mechanical scanning devices are required. Dies führt zu einem relativ teu ren elektronischen und mechanischen Aufwand, der den Einsatz solcher dreidimensionalen Systeme auf wenige Spezial anwendungen beschränkt. This leads to a relatively teu ren electronic and mechanical effort which applications the use of such three-dimensional systems for a few special limited.

Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou pled Device) einsetzen, wobei für diese Halbleiterkameras die Fernseh(TV)- Norm herangezogen wird. There are known methods using a CCD camera (charged Cou pled device), the television for this semiconductor cameras (TV) - standard is used. Somit lassen sich ledig lich relativ lange Auslesezeiten erzielen. Thus, relatively long readout times can be achieved single Lich.

Aus DE 196 19 186 C1 ist ein Verfahren bekannt, bei dem zur Erzeugung eines Raumbildes eine Vielzahl von ausgesandten Lichtimpulsen zu einem Gesamtbild aufakkumuliert wird. From DE 196 19 186 C1 a method is known in which a plurality of emitted light pulses is accumulated together to form an overall image to produce a solid image. In DE 37 32 347 ist ein Entfernungsbild-Sensor beschrieben, bei dem eine Bildaufnahme einer CCD-Kamera mittels eines Ver schlusses gesteuert wird, und eine Entfernungsinformation über eine Differenzbildung von zeitlich aufeinanderfolgenden Signalamplitudenwerte abgeleitet wird. In DE 37 32 347 a distance image sensor is described in which an image pickup of a CCD camera by means of a circuit Ver is controlled, and distance information is derived through a subtraction of temporally successive signal amplitude values.

DE 41 29 912 C1 beschreibt eine Methode zur Aufnahme von Ent fernungsbildern, bei der eine der CCD-Kamera vorgeschaltete Verschlußeinrichtung mittels einer Steuerung ihrer Transpa renz modulierte Reflexionsbilder erzeugt. DE 41 29 912 C1 describes a method for receiving Ent fernungsbildern, wherein one of the CCD camera upstream closure means modulated by means of a control of its Transparent Renz reflection images generated.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnel les und kostengünstiges Verfahren zur Gewinnung eines dreidi mensionalen Abstandsbildes für räumliche Objekte ohne aufwen dige mechanische Einrichtungen bereitgestellt wird. The object underlying the invention is to provide a method for recording a three-dimensional distance image as well as a device available for this purpose, with which a fast les and cost-effective method for obtaining a dreidi dimensional distance image of spatial objects is provided without aufwen ended mechanical means.

Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1, 2 bzw. des Anspruches 23. The solution of this object is achieved by the features of claim 1, 2, and of claim 23rd

Der Erfindung liegt die Erkenntnis zugrunde, daß unter Ein satz eines bildpunktauflösenden (pixelauflösenden) und wahl frei auslesbaren optoelektronischen Sensors, dessen Integra tionszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. The invention is based on the recognition that free readable by a set of a pixel resolution (pixel resolution), and optionally optoelectronic sensor whose Integra tion time is point-wise adjustable, an extremely fast image capturing a three-dimensional distance image is possible. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Länge vom Objekt zurückgestreut werden. For this purpose, the object is illuminated with one or more very short light pulses, after which light pulses of the same length are backscattered from the object. Diese zurückgestreu ten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. This zurückgestreu th light pulses are routed through appropriate optics to the optoelectronic chip. Aufgrund der unterschiedli chen Abstände unterschiedlicher Objektpunkte vom Sensor wer den mit den Orten korrespondierende zurückgestreute Lichtim pulse zu unterschiedlichen Zeiten am Sensor ankommen. Because of the differing distances chen different object points from the sensor pulse who at different times on the sensor corresponding to the places backscattered Lichtim arrive. Für ei ne Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrationszeit entspricht. For ei ne a distance measurement Zeitmeßfenster opens whose duration corresponds to a pre-determinable integration time. Die Integrationszeit ist kleiner oder gleich der Länge der ausgesandten und damit auch der Länge der reflektierten Lich timpulse. The integration time is less than or equal to the length of the emitted and thus also the length of the reflected Lich timpulse. Somit ist sichergestellt, daß der erste in den Sen sor einfallende zurückgestreute Lichtimpuls mehr oder weniger vollständig aufgenommen wird. It is thus ensured that the first sor in the Sen incident backscattered light pulse is more or less completely accommodated. Die zeitverzögert eintreffenden Lichtimpulse werden hinten abgeschnitten, so daß aufgrund der unterschiedlichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunter schiede umgesetzt werden können. The delayed incoming light pulses are cut back, so that the different transit times in charge differences can be implemented due to the different charges in the grid of the optoelectronic sensor. Daraus läßt sich ein dreidi mensionales Abstandsbild errechnen. From this can be calculated a dreidi dimensional distance image.

In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit versetzt danach mit ihrer vollständigen Länge aufgenommen. In an advantageous embodiment of the invention all the light pulses are at the same time with the first-described measuring or delayed then taken up with their complete length with a long integration time. Dies wird zur Normierung benutzt, so daß Unterschiede im Re flektionsverhalten des Objektes erkannt und ausgeglichen wer den können. This is used for normalization, so that differences in Re flektionsverhalten of the object detected and compensated those who can.

Weitere vorteilhafte Ausgestaltungen können den Unteransprü chen entnommen werden. Further advantageous embodiments can be taken from the Unteransprü chen.

Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. The main advantages of the invention lie in the fact that, for example mechanical shutters omitted. Es können ex trem kurze Bildaufnahmezeiten realisiert werden. It can be implemented ex tremely short image acquisition times. Der verwen dete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeich nung des Halbleiterbauelementes ist. The USAGE finished optoelectronic sensor is generally referred to as a CMOS sensor, and this technological identifier is merely voltage of the semiconductor device. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1%). With such a sensor is minimal integration times 50-30 nsec can be realized (jitter at less than 0.1%). Die techni sche Entwicklung schreitet bei den Integrationszeiten noch voran. The technical development of specific advances still making progress in the integration times.

Im folgenden werden anhand von schematischen Figuren Ausfüh rungsbeispiele beschrieben. The following describes exporting approximately examples with reference to schematic figures.

Fig. 1 zeigt das Funktionsprinzip zur Erfassung eines drei dimensionalen Abstandsbildes mit einem CMOS-Sensor, Fig. 1 shows the operating principle for detecting a three-dimensional distance image with a CMOS sensor,

Fig. 2 zeigt die schematische Darstellung zur zeitlichen Verschiebung zweier Lichtimpulsle im Integrationsfenster de ren zugehörige Objektpunkte einen unterschiedlichen Abstand zum CMOS-Sensor besitzen, Fig. 2 shows the schematic representation of the temporal displacement of two Lichtimpulsle in the integration window de ren corresponding object points having a different distance to the CMOS sensor,

Fig. 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi täts- bzw. Grauwertbildern mit einem CMOS-Sensor, Fig. 3 shows two variants of the sensor for the simultaneous detection of three-dimensional distance images and Intensi täts- or gray scale images with a CMOS sensor,

Fig. 4 zeigt die schematische Darstellung der Fahrzeuginnen raumüberwachung mit einem dreidimensionalen CMOS-Sensor. Fig. 4 shows the schematic view of the vehicle interior monitoring with a three-dimensional CMOS sensor.

Es wird ein Verfahren zur seriellen oder gleichzeitigen Er fassung bzw. Erzeugung eines Intensitäts- und eines dreidi mensionalen Abstandsbildes räumlicher Objekt mit einem opto elektronischen Sensor unter Kurzzeitbelichtung beschrieben. A method for serial or simultaneous He replaced or generating an intensity and a dreidi dimensional distance image of spatial object with an opto-electronic sensor described with short-time exposure. Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. The method uses the running time differences of the backscattered from the three-dimensional objects wherein light pulses of the pixel-synchronous (pixel-synchronous) detection at the sensor within a short integration times. Dabei wird ein CMOS- Sensor eingesetzt. Here, a CMOS sensor is used. Dieser Sensor besitzt eine Lichtempfind lichkeit von beispielsweise 1 mLux. This sensor has a Lichtempfind friendliness of example 1 MLUX. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 10 7 auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel), sowie eine ein stellbare Integrationszeit (Sample & Hold). Furthermore, it has a high intensity dynamic range of up to 10 7, a random access to the individual image points (pixels), as well as an adjustable integration time (Sample & Hold). Für die Messung der Ladungsmenge Q(t) bei Belichtung am einzelnen Bildpunkt. For the measurement of the charge amount Q (t) on exposure at the individual pixel.

Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die pa rallele Erfassung von Intensitäts- und dreidimensionalen Bil dern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Compared to methods using a CCD camera, particular advantages can be achieved, such as the countries pa rallele capture intensity and three-dimensional Bil, and the realization of a short image acquisition times that are significantly below the readout times of CCD cameras. Wei terhin benötigt der CMOS keine aufwendigen mechanischen Shut ter und es müssen auch keine leistungsstarken Laserlichtquel len für die Kurzzeitbelichtung eingesetzt werden. Wei terhin the CMOS does not require expensive mechanical Shut ter and have no powerful Laserlichtquel len be used for short-term exposure.

Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Kra nanlagen sowie der Navigation geeignet. The method is particularly suitable for the detection of people and movements in space surveillance, nanlagen example, passenger / -außenüberwachung automation of Kra and navigation.

Die wesentlichen Funktionsmerkmale werden anhand von Fig. 1 erläutert. The essential functional features are explained with reference to FIG. 1. Zunächst wird für die Beleuchtung der zu erfassen den räumlichen Objekte mit kurzen Lichtimpulsen beispielswei se < 100 ns gesorgt. First, the spatial objects with short light pulses is beispielswei <100 ns made se for lighting to capture the. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. The illumination can be carried out with laser light, such as with a pulsed laser diode or light sources such as a pulsed LED diode. Das Verfahren ist unabhängig vom Winkel der Be leuchtung, die nicht unbedingt zentral zur allgemeinen Detek tionsrichtung erfolgen muß. The method is independent of the illumination angle of Be, which do not necessarily have to occur to the general direction of the central Detek tion. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ring lichtes denkbar. Thus, the use of a ring bright is conceivable even with coaxial illumination and detection. Die in Fig. 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips. The arrangement shown in Fig. 1 is only schematically illustrate the operating principle.

Eine erste Bildaufnahme A wird mit einer kurzen Integrations zeit Δ A am CMOS-Sensor verbunden. A first image pickup A is connected with a short integration time Δ A on the CMOS sensor. Die von den Objektpunkten G der dreidimensionalen Szene zurückgestreuten Lichtimpulse 3 der Länge Δ L (< 100 nsec) werden an den zugehörigen Bildpunk ten 9 des CMOS-Sensors innerhalb einer eingestellten kurzen Integrationszeit Δ A ≦ Δ L erfaßt. The back-scattered from the object points G of the three-dimensional scene light pulses 3 to the length Δ L (<100 nsec) are applied to the associated image punk 9 th of the CMOS sensor detected within a preset short integration time Δ A ≦ Δ L. Durch einen elektronischen Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen ausgesandtem Lichtimpuls 2 und dem Öffnen des Integrations zeitfensters am CMOS-Sensor hergestellt. Here, a fixed temporal relationship between emitted light pulse 2 and the opening of the integration time window is at the CMOS sensor formed by an electronic trigger pulse. Aufgrund der Lauf zeit des Lichtes ergibt sich je nach Objektabstand R eine un terschiedliche zeitliche Verschiebung Based on the transit time of light a un terschiedliche temporal displacement results depending on the object distance R

zwischen ausgesandtem und am CMOS- Sensor detektierten Lichtimpuls. detected between light emitted and the CMOS sensor light pulse. Die am Bildpunkt innerhalb der Integrationszeit Δ A gemessene Ladung Q A wird dadurch vom Abstand R zwischen Sensor und Objektpunkt G abhängig. As measured by the pixel within the integration time Δ A charge Q A is thereby dependent on the distance R between the sensor and object point G. Siehe hierzu Fig. 2. See FIG. 2.

Q A ∝ I 0 . A Q α I 0th O RL - (2R/v c - t D )) (1) O RL - (2R / v c - t D)) (1)

I 0 Intensität des ausgesandten Lichtimpulses I 0 intensity of the emitted light pulse
O R Oberflächenreflektionskoeffizient am Objektpunkt G O R surface reflection coefficient at the object point G
t D Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim puls und Start des Integrationsfensters am CMOS-Sensor t D trigger point time delay between light emitted Lichtim pulse and the start of the integration window at the CMOS sensor

Für Objektpunkte G mit gleichem Oberflächenreflektionskoeffi zienten O R wird abhängig von ihrem Abstand R eine unter schiedliche Ladung Q A am zugehörigen Bildpunkt des CMOS- Sensors gemessen. For object points G with the same Oberflächenreflektionskoeffi O R coefficient is measured depending on their distance R under a schiedliche charge Q A at the corresponding pixel of the CMOS sensor. Damit werden kleine Laufzeitunterschiede der Lichtimpulse in Ladungsänderungen Q A transformiert. So little time differences of the light pulses in changes in charge Q A are transformed. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. These can be detected at a CMOS sensor is very sensitive and highly dynamic. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflä chenreflektion. Typically, the objects of a three-dimensional scene have chenreflektion a different Oberflä. Es wird daher zur Normierung des Abstandsbil des noch eine zweite Bildaufnahme Q B durchgeführt, die nur von der Oberflächereflektion der Objekte der dreidimensiona len Szene abhängig ist. It is the still image capturing a second Q B therefore carried out to normalize the Abstandsbil that depends only on the surface reflectivity of the objects of dreidimensiona len scene.

Die Durchführung einer zweiten Bildaufnahme B mit langer In tegrationszeit Δ B dient zur Normierung der Oberflächenreflek tion der dreidimensionalen Szene, wobei im Prinzip das her kömmliche Intensitäts- oder Grauwertbild verwendet wird. Carrying out a second image pickup B with a long integration time Δ B In is used for normalization of the Oberflächenreflek tion of three-dimensional scene, in principle, the forth ventional intensity or gray-scale image is used. Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme ei ne Integrationszeit Δ B eingestellt, die sehr groß gegenüber der Länge eines Beleuchtungslichtimpulses ist; For this purpose, ei ne integration time Δ B is set on the CMOS sensor at a second image pick-up, which is very large compared to the length of an illumination light pulse; Δ B » Δ L z. Δ BL z. B. 1 Mikrosekunde. B. 1 microsecond. Jetzt werden alle zurückgestreuten Lichtim pulse 3 unabhängig von ihrer Laufzeit in vollem Umfang am CMOS-Sensor detektiert. Now all backscattered Lichtim be pulse 3 regardless of their maturity detected fully in the CMOS sensor. Die an einem Bildpunkt gemessene La dung Q B gibt sich zu The measured at an image point Q B are La dung to be

Q B ∝ I 0 x O R Δ L . Q B α I 0 x R O Δ L. (2) (2)

Das erhaltene Bild ist nur von der Beleuchtungsintensität I 0 dem Oberflächenreflektions-Koeffizienten O R des zugehörigen Objektpunktes, sowie der Lichtimpulslänge Δ L abhängig. The image obtained is dependent only on the illumination intensity I 0 of the surface reflection coefficient R of the associated object point O and the light pulse length Δ L.

Die Erzeugung des zweidimensionalen Abstandsbildes Q R ge schieht durch die Berechnung aus der Differenz und Normierung von Bildaufnahme A und B bzw. Q A und Q B The generation of the two-dimensional distance image Q R ge schieht by the calculation of the difference and normalization of image pickup A and B and Q A and Q B

Q R = (Q A - Q B )/Q B (3). Q R = (Q A - Q B) / Q B (3).

Aus Gleichung (1) und (2) folgt mit t d = 0 die Gleichung From equation (1) and (2) is followed by t d = 0, the equation

Q R ∝ -2R/(v c . Δ L ) (4). Q R α -2R / (v c. Δ L) (4).

Dieser Wert kann nach Auslesen und Digitalisieren sowie zu sätzlicher Skalierung für alle Bildpunkte direkt als Ab standsbild Q R ausgegeben werden. This value can be output by reading and digitizing as well as sätzlicher scaling for all pixels directly from standbild Q R. Ist die Triggerverzögerungs zeit t d ungleich 0, so addiert sich zu allen Punkten des Ab standsbildes Q R ein konstanter Offset If the trigger delay time t d is not 0, is added to all points of the ex statue Q R is a constant offset

R D = t D /(v c . Δ L ). R D = D t / (v c. Δ L). (5). (5).

Die gleichzeitige Aufnahme von Intensitäts- und dreidimen sinalem Bild bezieht sich auf eine Ausführung einer örtlich und zeitlich parallelen Erfassung von Intensitäts- und Ab standswerten. The simultaneous recording of the intensity and three-dimen sinalem image refers to an embodiment of a spatially and temporally parallel detection of intensity and Ab status values. Hierzu wird eine Chiparchitektur und pixelbezo gene Integrationszeit derart gewählt, daß direkt benachbarte Pixel A und Pixel B entsprechend der Fig. 3 auf dem CMOS- Sensor die zurückgestreuten Lichtimpulse 3 der dreidimensio nalen Szene gleichzeitig mit kurzer Integrationszeit Δ A ≦ Δ L (für Pixel A) aufnehmen und mit langer Integrationszeit ΔB » Δ L (für Pixel B) erfassen. For this, a chip architecture and pixelbezo gene integration time is selected such that directly neighboring pixel A and pixel B according to FIG. 3, the backscattered light pulses 3 dreidimensio dimensional scene at the same time with a short integration time Δ A ≦ Δ L (on the CMOS sensor pixel A record) and capture (long integration time .DELTA.B "Δ L for pixel B). Durch eine auf dem Chip inte grierte elektronische Schaltung kann dann direkt das zweidi mensionale Abstandsbild By an inte grated on the chip electronic circuit can then direct the zweidi dimensional distance image

Q R = (Q A - Q B )/Q B (6) Q R = (Q A - Q B) / Q B (6)

der zugeordneten Pixel A und B berechnet und ausgegeben wer den. the associated pixels A and B is calculated and output to who.

Fig. 3 zeigt dazu schematisch zwei mögliche Anordnungen auf dem CMOS-Sensor für die parallele Erfassung von Intensitäts und dreidimensionalem Abstandsbild. Fig. 3 illustrates this schematically two possible arrangements on the CMOS sensor for the parallel detection of intensity and a three-dimensional distance image. Weitere Varianten hierzu sind möglich. Further variants are possible. Die gleichzeitige Erfassung von Intensitäts- und dreidimensionalem Abstandsbild ist besonders für die Ana lyse bewegter dreidimensionaler Szenen von Bedeutung, bei spielsweise die Erfassung von Personengestik oder die Objekt verfolgung. The simultaneous acquisition of intensity and three-dimensional distance image is moving especially for the ana lysis of three-dimensional scenes of significance at play as tracking the collection of Personengestik or object. Weitere besondere Kennzeichen der Erfindung sind: Other special features of the invention are:

  • - Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. - If necessary, an additional scaling of the three-dimensional distance image, with respect to ambient light are performed. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen Q A und Q B abgezo gen. Anschließend erfolgt die Berechnung des Abstandsbildes Q R . For this purpose, initially without illumination of the three-dimensional scene or object, the charge of a pixel with short and long integration time is detected and the measured gene with illumination charges Q A and Q B abgezo. Subsequently, the calculation of the distance image Q R.
  • - Durch zeitliche Mittelung der Signale mehrerer Lichtim pulse kann eine Erhöhung der Empfindlichkeit des Verfahrens gegenüber dem Rauschen bei geringen zurückgestreuten Lichtin tensitäten erreicht werden. - By time averaging the signals of a plurality Lichtim pulse to increase the sensitivity of the method compared with the noise at a low back-scattered light in intensities can be achieved.
  • - Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. - The uncertainty of measurement for distance determination depends on the signal / noise ratio of the CMOS sensor. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. the transit time differences of between 0.1 ns is expected to still be detected. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung. This results in a measurement uncertainty of less than 3 cm for the distance determination.

Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. The main uses of the method and apparatus described relate to the monitoring of interiors, particularly in vehicles in conjunction with volumetric evaluation. Die Aufgabe der optischen Innenraummüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, son stige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, dh das unzulässige Eindringen in das Fahrzeuginnere von außen. The object of the optical Innenraummüberwachung in vehicles is the detection of seat occupancy, such as people, children seat, other relevant objects, the detection of the sitting position of persons and the theft protection, ie, the illegal intrusion into the vehicle interior from the outside. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbags (smart Airbag) von hoher sicherheitsrelevanter Be deutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. The detection of people and their seating position for the gradual deployment of an airbag (smart airbag) of high relevance to safety Be importance and must be done in case of collision very reliable and in short measuring times. Die Erfindung erfüllt diese Anfor derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes Q R im Fahrzeuginneren, wobei volumentrische Auswerteverfahren eingesetzt werden. The invention meets these requirements by Anfor a fast and reliable production of a three-dimensional distance image Q R in the vehicle interior, said volumetric evaluation methods are used. Dabei werden aus den Abstandswerten R in einem Raumwinkelelement Ω die von Objekten 1 besetzten Nettovolumenanteile im Fahrzeu ginnenraum als Differenz zu den Abstandswerten bei unbesetz tem Fahrzeuginneren bestimmt (siehe hierzu Fig. 4). The occupied by objects 1 net volume shares are beginning space in Fahrzeu as a difference from the distance values at non-setting system determines the vehicle interior (see FIG. 4) from the distance values R in a solid angle Ω.

Das Verfahren und die Vorrichtung liefern weitere wesentliche Vorteile, wie: The method and apparatus provide further significant advantages, such as:

  • - Schnelle, globale Erfassung der aktuellen Sitzbelegung durch Differenzbildung eines dreidimensionalen Abstandsbildes vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenz bild Q RO ) und dem aktuell auszuwertenden dreidimensionalen Abstandsbild mit einer Person oder einem sonstigen Objekt Q RP auf einem Sitz. Dabei gilt für das Nettovolumen V P der Sitz belegung: - quick, global detection of the actual seat occupancy by difference formation of a three-dimensional distance image from inside the vehicle without objects (three-dimensional reference image Q RO) and the currently evaluated three-dimensional distance image with a person or other object Q RP on a seat following applies for the net volume V P. the seat occupancy:
    V P = ∫Ω R 0 (Ω) . V P = ∫Ω R 0 (Ω). dF - ∫Ω R P (Ω) . dF - ∫Ω R P (Ω). dF, (7), dF, (7)
    wobei R 0 die Abstandswerte ohne Person bzw. sonstigem Objekt und R P die Abstandswerte mit Person bzw. sonstigen Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet. wherein R 0, the distance values with the person or other object, the distance values without anything else person or object and R P on the seat and dF designates a differential area.
  • - Die adaptive Ermittlung der Sitzbelegung aus der Berech nung der relativen Abstandsänderungen vor und nach dem Ein steigen einer Person ins Fahrzeug kann durchgeführt werden. - The determination of the adaptive seat occupancy calculation from the voltage prior to the relative distance change and after a rise of a person in the vehicle can be performed. Durch Anwendung regressiver und stochiastischer Auswertever fahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden. can drive by applying regressive and stochiastischer Auswertever the reliability of the difference determination be increased even further.
  • - Die Größenbestimmung der erfaßten Objekte und globale Un terscheidung von Objekten über Volumen-Vergleichsklassen ist möglich. - The sizing of the detected objects and global Un terscheidung of objects on volume comparison classes is possible.
  • - Räumliche Zuordnung von besetzten Volumenanteilen ist mög lich. - Spatial allocation of occupied volume fractions is possible, please include.
  • - Bestimmung der räumlichen Extrempositionen (x, y, z) des be setzten Volumens im Innenraum für die Steuerung der Airbag Auslösung kann bestimmt werden. - determining the spatial extreme positions (x, y, z) of the volume be translated in the interior for controlling the airbag deployment can be determined.
  • - Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Diffe renzbildung. - rence education Volumetric tracking of movements in space in time sequential photography and Diffe. Erkennuung von Personen und Gestik aus der Bewe gungsanalyse. Erkennuung of persons and gestures from the BEWE diffraction analysis.

Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen. This integral volume viewing enables a global detection of objects and positions in the room and is not to rely on the provision of features such as corners Kontu ren edges in the image for object recognition. Die Auswertezeiten können für die dreidimensionale Bildauf nahme und volumetrische Auswertung unter 10 ms liegen. The evaluation times can takeover for three-dimensional image on and volumetric evaluation than 10 ms are.

Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum infrage. As an application field of the described method and apparatus is in particular a passenger compartment in question. Dabei wird für die dreidimensionale Bildaufnahme mit LED- Lichtimpulsen von beispielsweise 50 ns (Nanosekunden) ein Ob jekt belichtet. Here, a Whether ject is exposed for three-dimensional image recording with LED light pulses such as 50 ns (nanoseconds). Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme Q A zu 50 ns und für die Bildaufnahme Q B zu 0,5 µs, gewählt. The integration times on the CMOS sensor to be selected for the image acquisition Q A to 50 ns and for image capturing Q B to 0.5 microseconds. Die zu erfassende Szenendynamik im Fahr zeuginneren soll 200 : 1 betragen. to convincing interior to be detected scene dynamics in driving 200: 1. Die Abstandswerte R sollen mit einer Meßunsicherheit < 15 cm (entsprechender Laufzeitun terschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden. The distance values ​​are R with an uncertainty <15 cm (corresponding Laufzeitun terschied a light pulse = 1 ns) in a range up to 1,5 m (duration 10 ns) can be detected.

Mit diesen Anforderungen wird am CMOS Sensor eine Intensi tätsdynamik von (10 × 200 =) 2000 : 1 erforderlich. 1 is required: with these requirements, a Intensi is tätsdynamik (10 × 200 =) 2000 on the CMOS sensor. Die digi tale Erfassung des dreidimensionalen Abstandsbildes Q R wird damit durch einen 12 Bit A/D Wandler gewährleistet. The digi tale detecting the three-dimensional distance image Q R is thereby ensured by a 12-bit A / D converter. Für eine Sensorortsauflösung von 50 × 50 Bildpunkten werden für die Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 10 4 Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands bild von maximal 5 ms führen. For a sensor spatial resolution of 50 x 50 pixels, a maximum of 10 4 read-out operations are necessary for the image recordings A short integration time and B with a long integration time, which result in selection frequencies, for example, 2 MHz picture of a maximum of 5 ms in a total image pickup time for the three-dimensional spacing. Die Berechnung der Differenzvo lumina aus den 2500 Abstandswerten ist mit einem schnellen Prozessor, wie beispielsweise einem Pentium mit 200 MHz in weiteren 5 ms ohne Schwierigkeit ausführbar. The calculation of the Differenzvo lumina from the distance values ​​2500 can be executed with a fast processor, such as a Pentium 200 MHz in further 5 ms without difficulty.

In Fig. 4 wird ein Schemal für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. In FIG. 4 a Schemal for an application of the invention is represented in vehicle interiors. Die Pfeile mit gepunkte ten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positions bestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbe setztem Fahrzeug bestimmt. The arrows with polka dot th lines are representative of an unoccupied seat and solid lines for an occupied with a person's seat. For the global object detection and position determination of the enveloping net volume fraction of the three-dimensional distance data is determined in occupied and non setztem vehicle. Das Nettovolumen V P einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7). The net volume V P of a person or other object on the passenger seat is calculated according to equation (7).

Bezugszeichenliste LIST OF REFERENCE NUMBERS

1 1

Objekt object

2 2

Lichtimpuls der Länge Δ L Light pulse of length Δ L

3 3

Lichtimpuls der Länge Δ L Light pulse of length Δ L

, zurückgestreut Backscattered

4 4

Sensor sensor

5 5

Beleuchtungseinrichtung lighting device

6 6

, .

7 7

Optik optics

8 8th

Triggereinrichtung trigger device

9 9

Bildpunktelement Pixel element
G Objektpunkt G object point
Δ A Δ A

; ; Δ B Δ B

Integrationszeit integration time

Claims (18)

1. Verfahren zur Aufnahme eines dreidimensionalen Abstands bildes von räumlichen Objekten unter Einsatz eines bild punktauflösenden und wahlfrei auslesbaren optoelektronischen Sensors ( 4 ), dessen Integrationszeit Δ bildpunktweise ein stellbar ist, bestehend aus folgenden Schritten: 1. A method for recording a three-dimensional distance image of spatial objects using a pixel-resolving and optionally readable optoelectronic sensor (4), the integration time Δ pixel by pixel a is adjustable, consisting of the following steps:
  • 1. das Objekt ( 1 ) wird mit mindestens einem Lichtimpuls ( 2 ) beleuchtet, 1. the object (1) is illuminated with at least one light pulse (2)
  • 2. von Objektpunkten (G) zurückgestreute Lichtimpulse ( 3 ) mit einer Zeitdauer Δ L werden an zugehörigen Bildpunkten des Sen sor ( 4 ) innerhalb einer vorgegebenen kurzen Integrationszeit Δ A , mit Δ A ≦ Δ L erfaßt, wobei der Zeitpunkt für den Beginn der Integrationszeit Δ A vor dem Eintreffen des ersten zurückge streuten Lichtimpulses ( 3 ) liegt, der dem nächstliegenden Ob jektpunkt (G) entspricht, 2 of object points (G) backscattered light pulses (3) with a time duration Δ L are detected at associated pixels of the sen sor (4) within a predetermined short integration time Δ A, Δ A ≦ Δ L, where the time for the beginning of the integration time Δ A before the arrival of the first Retired scattered light pulse (3), the jektpunkt the nearest Ob (G),
  • 3. aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse ( 3 ) werden Abstandswerte ermittelt. 3. from the resulting in accordance with their different propagation times different recorded intensities of the backscattered light pulses (3) are determined distance values.
2. Verfahren nach Anspruch 1, worin zur gleichzeitigen oder nachfolgenden Normierung der Oberflächenreflexion des Objek tes ( 1 ) zusätzlich sämtliche zurückgestreuten Lichtimpulse ( 3 ) mit einer langen Integrationszeit Δ B » Δ L vollständig erfaßt werden. 2. The method of claim 1, wherein tes for simultaneous or subsequent normalization of the surface reflection of the OBJEK (1) all the backscattered light pulses (3) are completely detected with a long integration time Δ BL addition.
3. Verfahren nach einem der vorhergehenden Ansprüche, worin der Beginn einer Integrationszeit Δ A ; 3. The method according to any one of the preceding claims, wherein the beginning of an integration time Δ A; Δ B mit einer Trig gerimpulsverzögerung verbunden ist. Δ B is connected with a gerimpulsverzögerung Trig.
4. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Integrationszeit Δ A weniger, als 100 ns beträgt. 4. The method according to any one of the preceding claims, wherein an integration time Δ A is less than 100 ns.
5. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Integrationszeit Δ B ca. 1 µs beträgt. 5. The method according to any one of the preceding claims, wherein an integration time Δ B is approximately 1 microseconds.
6. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Lichtimpulslänge weniger als 100 ns beträgt. 6. The method according to any one of the preceding claims, wherein a light pulse length is less than 100 ns.
7. Verfahren nach einem der Ansprüche 2-6, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor ( 4 ) zeilenweise unterschiedli che Integrationszeiten Δ A bzw. Δ B eingestellt werden. 7. The method according to any one of claims 2-6, wherein are set for the simultaneous reception of a three-dimensional and a gray scale image on the sensor (4) line-wise differing che integration times Δ A and Δ B.
8. Verfahren nach einem der Ansprüche 2-6, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor ( 4 ) bildpunktweise unterschied liche Integrationszeiten Δ A bzw. Δ B abwechselnd eingestellt werden. 8. The method according to any one of claims 2-6, Liche integration times Δ A and Δ B are alternately set wherein for simultaneously receiving a three-dimensional and a gray scale image on the sensor (4) pixel-wise difference.
9. Verfahren nach einem der vorhergehenden Ansprüche, worin das Objekt ( 1 ) mit Lichtimpulsen eines Lasers oder einer ge pulsten Leuchtdiode beleuchtet wird. 9. The method according to any one of the preceding claims, wherein the object (1) is illuminated with light pulses from a laser or a ge pulsed light emitting diode.
10. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor ( 4 ) ein CMOS Sensor ist. 10. The method according to any one of the preceding claims, wherein the sensor (4) is a CMOS sensor.
11. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Erkennung von statischen Objekten und/oder von Bewe gungsabläufen vorgenommen wird. 11. The method according to any one of the preceding claims, wherein an identification of static objects and / or supply operations of BEWE is made.
12. Verfahren nach Anspruch 11, worin Objekte überwacht wer den, wie Gegenstände oder Personen in Räumen oder in Fahrzeu gen. 12. The method of claim 11 wherein objects monitored who, how objects or persons in spaces or in the gene Fahrzeu.
13. Verfahren nach Anspruch 11, worin Fahrzeuge oder Kranan lagen überwacht werden und/oder worin eine allgemeine Naviga tion vorgenommen wird. 13. The method of claim 11, wherein vehicles or Kranan were monitored and / or wherein a general Naviga tion is carried out.
14. Verfahren nach Anspruch 11 oder 12, worin eine Sitzbele gung und/oder eine Sitzposition in einem Fahrzeug erkannt wird. 14. The method of claim 11 or 12, wherein a Sitzbele supply and / or a seat position is detected in a vehicle.
15. Vorrichtung zur Aufnahme eines dreidimensionalen Abstand bildes, bestehend aus: image 15. An apparatus for receiving a three-dimensional distance, comprising:
  • 1. einer Beleuchtungseinrichtung ( 5 ), die ausgesandte Lichtim pulse ( 2 ) über eine Optik ( 6 ) auf ein Objekt ( 1 ) richtet, 1 of a lighting device (5), the emitted pulse Lichtim (2) via an optical system (6) to an object (1) is directed,
  • 2. einem optoelektronischen Sensor ( 4 ) mit einer vorgeschal teten Optik ( 7 ), der die vom Objekt ( 1 ) zurückgestreuten Lichtimpulse ( 3 ) detektiert, wobei der Sensor ( 4 ) durch eine Vielzahl von Bildpunktelementen ( 9 ) bildpunktauflösend aufge baut und wahlfrei auslesbar ist und die Integrationszeit Δ bildpunktweise einstellbar ist, Detected 2. an optoelectronic sensor (4) with a pre scarf ended optics (7), the back-scattered from the object (1) of light pulses (3), wherein the sensor (4) is building up pixel resolution by a plurality of pixel elements (9) and optionally can be read and the integration time Δ is pixel by pixel set,
  • 3. einer Triggereinrichtung ( 8 ) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung ( 5 ) und Sensor ( 4 ), 3. a trigger device (8) for temporal coordination between illumination device (5) and sensor (4),
  • 4. einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus den entsprechenden Ladungen der Bildpunkte. 4 an arithmetic unit for calculating a three-dimensional image from corresponding charges of the pixels.
16. Vorrichtung nach Anspruch 15, worin an den Bildpunktele menten ( 9 ) des Sensors ( 4 ) zeilen- oder spaltenweise abwech selnd eine kurze Integrationszeit Δ A und eine lange Inte grationszeit Δ B eingestellt ist. 16. The apparatus of claim 15, wherein the image punk Tele elements (9) of the sensor (4) line by line or a short integration time Δ A and a long Inte grationszeit Δ B is set in columns abwech nately.
17. Vorrichtung nach Anspruch 15, worin an den Bildpunktele menten ( 9 ) des Sensors ( 4 ) abwechselnd kurze und lange Inte grationszeiten Δ A bzw. Δ B eingestellt sind. 17. The apparatus of claim 15, wherein the image punk Tele elements (9) of the sensor (4) are alternately short and long Inte grationszeiten Δ A and Δ B are set.
18. Vorrichtung nach einem der Ansprüche 15-17, worin die Re cheneinheit auf dem Sensor ( 4 ) angeordnet ist. 18. Device according to any of claims 15-17, wherein the Re unit area on the sensor (4) is arranged.
DE1997157595 1997-12-23 1997-12-23 Method and apparatus for recording a three-dimensional distance image Expired - Fee Related DE19757595C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE1997157595 DE19757595C2 (en) 1997-12-23 1997-12-23 Method and apparatus for recording a three-dimensional distance image

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE1997157595 DE19757595C2 (en) 1997-12-23 1997-12-23 Method and apparatus for recording a three-dimensional distance image
DE1998509883 DE59809883D1 (en) 1997-12-23 1998-11-14 Method and apparatus for recording a three-dimensional distance image
JP2000526831A JP3860412B2 (en) 1997-12-23 1998-11-14 Method and apparatus for photographing a three-dimensional range image
US09581091 US6373557B1 (en) 1997-12-23 1998-11-14 Method and apparatus for picking up a three-dimensional range image
EP19980962257 EP1040366B1 (en) 1997-12-23 1998-11-14 Method and device for recording three-dimensional distance-measuring images
PCT/DE1998/003344 WO1999034235A1 (en) 1997-12-23 1998-11-14 Method and device for recording three-dimensional distance-measuring images
KR20007007058A KR100508277B1 (en) 1997-12-23 1998-11-14 Method and device for recording three-dimensional distance-measuring images

Publications (2)

Publication Number Publication Date
DE19757595A1 true DE19757595A1 (en) 1999-07-01
DE19757595C2 true DE19757595C2 (en) 2000-05-11

Family

ID=7853217

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1997157595 Expired - Fee Related DE19757595C2 (en) 1997-12-23 1997-12-23 Method and apparatus for recording a three-dimensional distance image

Country Status (1)

Country Link
DE (1) DE19757595C2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1221582A2 (en) 2001-01-05 2002-07-10 Leuze electronic GmbH + Co. Optoelectronic device
DE10163534A1 (en) * 2001-12-21 2003-07-10 Siemens Ag A device for monitoring spatial areas
DE10221578A1 (en) * 2002-05-08 2003-11-27 Siemens Ag Dangerous area surveillance sensor has 3D-CMOS sensor with pulsed laser light source
DE10035531B4 (en) * 2000-07-21 2004-12-30 Daimlerchrysler Ag A device for detecting a space in a vehicle interior
DE102004015047A1 (en) * 2004-03-26 2005-10-13 Bayerische Motoren Werke Ag Setting for a motor vehicle seat
DE202017103345U1 (en) 2017-06-02 2018-09-05 Sick Ag Tentative light curtain for detecting objects

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19833207A1 (en) * 1998-07-23 2000-02-17 Siemens Ag Three-dimensional distance-measuring image generation of spatial object
DE19908215A1 (en) * 1999-02-25 2000-09-21 Siemens Ag Apparatus and method for optically detecting an object or a person in the interior of a vehicle
EP1185442B1 (en) * 1999-06-24 2003-07-09 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Device and method for monitoring seats by means of an optoelectronic triangulation technique
DE29911391U1 (en) * 1999-06-30 1999-11-18 Sick Ag The optoelectronic monitoring system
DE19932520A1 (en) * 1999-07-12 2001-02-01 Hirschmann Austria Gmbh Rankwe An apparatus for controlling a security system
EP1210250B1 (en) * 1999-09-10 2004-05-19 Siemens Aktiengesellschaft Method and device for controlling the operation of an occupant-protection device allocated to a seat, in particular, in a motor vehicle
US6581961B1 (en) 1999-12-17 2003-06-24 Trw Vehicle Safety Systems Inc. Deactivation of second stage of air bag inflator
EP1276639B1 (en) 2000-03-28 2005-05-18 Siemens Aktiengesellschaft Device and method for detecting an object or a person in the passenger compartment of a vehicle
JP4669188B2 (en) 2000-03-28 2011-04-13 エーエスエム アセンブリー システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフトASM Assembly Systems GmbH & Co.KG Method and apparatus for inspecting electrical components in mounting device for a substrate
DE10022215A1 (en) * 2000-05-04 2001-11-08 Oezkan Mustafa Road junction laser range sensors have multiplexed wavelengths and prevents shadowing without interference
US6904347B1 (en) * 2000-06-29 2005-06-07 Trw Inc. Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment
US6810135B1 (en) * 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
DE10037220B4 (en) * 2000-07-31 2008-08-21 Volkswagen Ag Method and device for situation-control
DE10044689A1 (en) * 2000-09-08 2002-03-21 Idm Gmbh Infrarot Sensoren A device for monitoring a region of space
US6801662B1 (en) * 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
US7245741B1 (en) 2000-11-14 2007-07-17 Siemens Aktiengesellschaft Method and device for determining whether the interior of a vehicle is occupied
DE10114564A1 (en) * 2001-03-24 2002-09-26 Conti Temic Microelectronic Control, in particular as part of an actuator for an image pickup device
DE10114563A1 (en) * 2001-03-24 2002-10-24 Conti Temic Microelectronic Control, in particular as part of an actuator for an image pickup device
DE10141037C1 (en) * 2001-08-20 2003-04-03 Siemens Ag Device for detecting an obstacle
DE50207817D1 (en) * 2001-11-08 2006-09-21 Siemens Ag Distance Measuring laser light grid
DE10246318A1 (en) * 2002-10-04 2004-04-15 Bayerische Motoren Werke Ag A seat adjuster
WO2004100551A1 (en) * 2003-05-08 2004-11-18 Siemens Aktiengesellschaft Method and device for detecting an object or a person
DE10360789B4 (en) * 2003-12-23 2007-03-15 Leuze Lumiflex Gmbh + Co. Kg Device for monitoring a detection area at a working means
DE102004028090A1 (en) * 2004-06-09 2005-12-29 Robert Bosch Gmbh A method for calibrating a sensor system for vehicle interior monitoring
DE102004040558A1 (en) * 2004-08-21 2006-02-23 A.D.C. Automotive Distance Control Systems Gmbh An optical object detection system
DE102005045484A1 (en) * 2005-07-29 2007-02-01 Cedes Ag Optical sensor arrangement for e.g. double-leaf sliding door, has optical sensor detecting floating part-like reflection objects, where areas of distances from measured distances are determined to be same large distances for receiver
DE102006016026A1 (en) * 2006-04-05 2007-10-11 Sick Ag Distance measuring device
DE102006055343B3 (en) 2006-11-23 2008-04-10 Siemens Ag Child seat and occupant differentiating device for motor vehicle, has light source transmitting light beam away by backrest and seat surface, where backrest acts as fixed reference point and occupant acts as textured elevation
DE102007046562A1 (en) 2007-09-28 2009-04-02 Siemens Ag Method and apparatus for determining a distance by means of an opto-electronic image sensor
DE102015201901A1 (en) * 2015-02-04 2016-08-04 Volkswagen Aktiengesellschaft Determining a position of a vehicle foreign object in a vehicle
EP3081960A1 (en) 2015-04-13 2016-10-19 Rockwell Automation Safety AG Time-of-flight safety photoelectric barrier and method of monitoring a protective field

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3732347C1 (en) * 1987-09-25 1989-03-16 Messerschmitt Boelkow Blohm Distance Image Sensor
DE3839513C2 (en) * 1988-11-23 1992-05-07 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
DE4129912C1 (en) * 1991-09-09 1992-10-22 Dornier Luftfahrt Gmbh, 8031 Wessling, De
DE19619186C1 (en) * 1996-05-02 1998-01-02 Pco Computer Optics Gmbh Spatial image recording method
EP1512572A2 (en) * 2003-09-05 2005-03-09 Toyoda Gosei Co., Ltd. Cap device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3732347C1 (en) * 1987-09-25 1989-03-16 Messerschmitt Boelkow Blohm Distance Image Sensor
DE3839513C2 (en) * 1988-11-23 1992-05-07 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
DE4129912C1 (en) * 1991-09-09 1992-10-22 Dornier Luftfahrt Gmbh, 8031 Wessling, De
DE19619186C1 (en) * 1996-05-02 1998-01-02 Pco Computer Optics Gmbh Spatial image recording method
EP1512572A2 (en) * 2003-09-05 2005-03-09 Toyoda Gosei Co., Ltd. Cap device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035531B4 (en) * 2000-07-21 2004-12-30 Daimlerchrysler Ag A device for detecting a space in a vehicle interior
EP1221582A2 (en) 2001-01-05 2002-07-10 Leuze electronic GmbH + Co. Optoelectronic device
DE10163534A1 (en) * 2001-12-21 2003-07-10 Siemens Ag A device for monitoring spatial areas
DE10221578A1 (en) * 2002-05-08 2003-11-27 Siemens Ag Dangerous area surveillance sensor has 3D-CMOS sensor with pulsed laser light source
DE102004015047A1 (en) * 2004-03-26 2005-10-13 Bayerische Motoren Werke Ag Setting for a motor vehicle seat
US7430467B2 (en) 2004-03-26 2008-09-30 Bayerische Motoren Werke Aktiengesellschaft Regulating method for a motor vehicle seat
DE202017103345U1 (en) 2017-06-02 2018-09-05 Sick Ag Tentative light curtain for detecting objects

Also Published As

Publication number Publication date Type
DE19757595A1 (en) 1999-07-01 application

Similar Documents

Publication Publication Date Title
DE4336288C1 (en) Means for monitoring the rear and front compartment of a motor vehicle einparkenden
EP0353200A2 (en) Method and device for instrument-assisted vision in poor visibility, particularly for driving in fog
DE102004028090A1 (en) A method for calibrating a sensor system for vehicle interior monitoring
US20030015645A1 (en) Optical imager circuit with tolerance of differential ambient illumination
US6373557B1 (en) Method and apparatus for picking up a three-dimensional range image
DE10058244C2 (en) Measuring method for determining the position of an object in front of a screen, and apparatus for carrying out the method
DE102004037137A1 (en) Object`s distance measurement method, involves providing electrical reference signal to time-of-flight unit, mixing electromagnetic radiation falling on unit with reference signal and detecting delay time between signal and radiation
DE10154861A1 (en) Localizing system for objects uses transmitter for pulsed emission of laser beams and receiver with sensor to pick up reflected beam pulses and to analyze them regarding their execution time
DE102004010197A1 (en) Digital board or car navigation system function checking procedure uses separate object detection imaging system for comparison
DE102006013290A1 (en) Device for optical distance measurement, and methods for operating such a device
DE4115747C2 (en) Apparatus and method for situational, obstacle and object recognition
DE4411994A1 (en) Automatic computer based detection and classification of road or rail traffic
EP2469296A1 (en) Optoelectronic sensor and method for recording and determining the distance of an object
DE10304215A1 (en) Method and apparatus for imaging acoustic representation of objects and a corresponding computer program product and a corresponding computer-readable storage medium
DE102010012811A1 (en) Method for measurement of speed and assigning measured speed to car, involves fading marking in holder on car when car passes monitoring region, where marking represents measurement data of speed measured from car
DE19752145A1 (en) Optical supervision arrangement for vehicle interior
EP1681533A1 (en) Method and geodesic instrument for surveying at least one target
DE10153742A1 (en) Recording system for three-dimensional distance-measurement image for surface of object measures time for propagating light with short-term integrated photodetector
EP1298454A2 (en) Method for recognising and tracking objects
DE19757840C1 (en) Optical object detection and range measuring device for autonomous vehicle
EP1557694A1 (en) Object sorting process
DE10319700A1 (en) Method and apparatus for determining a probability of a collision of a vehicle with an object
DE19833207A1 (en) Three-dimensional distance-measuring image generation of spatial object
DE102005003191A1 (en) Motor vehicle e.g. passenger car`s, surrounding field detecting device for parking spot measurement, has light source and camera arranged with basis distance from one another, which serves to determine distance between vehicle and obstacle
DE102015207289A1 (en) Particle sensor device

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8363 Opposition against the patent
8339 Ceased/non-payment of the annual fee