DE19757595A1 - Three=dimensional image recording method e.g. for monitoring movements and persons in given space - Google Patents
Three=dimensional image recording method e.g. for monitoring movements and persons in given spaceInfo
- Publication number
- DE19757595A1 DE19757595A1 DE19757595A DE19757595A DE19757595A1 DE 19757595 A1 DE19757595 A1 DE 19757595A1 DE 19757595 A DE19757595 A DE 19757595A DE 19757595 A DE19757595 A DE 19757595A DE 19757595 A1 DE19757595 A1 DE 19757595A1
- Authority
- DE
- Germany
- Prior art keywords
- sensor
- integration time
- pixel
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012544 monitoring process Methods 0.000 title description 4
- 230000010354 integration Effects 0.000 claims abstract description 39
- 230000005693 optoelectronics Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/10—Field detection presence sensors
- B60N2210/16—Electromagnetic waves
- B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
- B60N2210/24—Cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumli chen Objekten.The invention relates to a method and an apparatus for Recording a three-dimensional image of the distance from raumli objects.
Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der indu striellen Technik zunehmend an Bedeutung. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-Laufzeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Zum Aufbau eines dreidimensiona len bildgebenden Systemes sind zusätzliche mechanische Scaneinrichtungen erforderlich. Dies führt zu einem relativ teuren elektronischen und mechanischen Aufwand, der den Ein satz solcher dreidimensionalen Systeme auf wenige Spezialan wendungen beschränkt.Three-dimensional recording and processing sensor systems win for various tasks in the indu strategic technology is becoming increasingly important. Known optical Radar systems, such as laser radar, are either based on the principle of laser pulse transit time measurement or on the Determination of the phase difference of modulated laser light for Derivation of the object distance. To build a three-dimensional len imaging systems are additional mechanical Scanning facilities required. This leads to a relative expensive electronic and mechanical effort that the one set of such three-dimensional systems on a few special limited turns.
Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou pled Device) einsetzen, wobei für diese Halbleiterkameras die Fernseh(TV)-Norm herangezogen wird. Somit lassen sich lediglich relativ lange Auslesezeiten erzielen.Methods are known which use a CCD camera (Charged Cou pled device) use, for these semiconductor cameras the television (TV) standard is used. So you can only achieve relatively long readout times.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnel les und kostengünstiges Verfahren zur Gewinnung eines dreidi mensionalen Abstandsbildes für räumliche Objekte ohne aufwen dige mechanische Einrichtungen bereitgestellt wird.The invention has for its object a method for Recording a three-dimensional distance image, as well as a To provide a device with which a quick les and inexpensive method for obtaining a dreidi dimensional distance image for spatial objects without expenditure mechanical equipment is provided.
Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1 bzw. des Anspruches 13. This problem is solved by the features of Claim 1 and claim 13.
Der Erfindung liegt die Erkenntnis zugrunde, daß unter Ein satz eines bildpunktauflösenden (pixelauflösenden) und wahl frei auslesbaren optoelektronischen Sensors, dessen Integra tionszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Länge vom Objekt zurückgestreut werden. Diese zurückgestreu ten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. Aufgrund der unterschiedli chen Abstände unterschiedlicher Objektpunkte vom Sensor wer den mit den Orten korrespondierende zurückgestreute Lichtim pulse zu unterschiedlichen Zeiten am Sensor ankommen. Für ei ne Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrationszeit entspricht. Die Integrationszeit ist kleiner oder gleich der Länge der ausgesandten und damit auch der Länge der reflektierten Lich timpulse. Somit ist sichergestellt, daß der erste in den Sen sor einfallende zurückgestreute Lichtimpuls mehr oder weniger vollständig aufgenommen wird. Die zeitverzögert eintreffenden Lichtimpulse werden hinten abgeschnitten, so daß aufgrund der unterschiedlichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunter schiede umgesetzt werden können. Daraus läßt sich ein dreidi mensionales Abstandsbild errechnen.The invention is based on the finding that under one set of a pixel-resolving and choice freely readable optoelectronic sensor, whose integra point of time is adjustable, an extremely fast Image acquisition of a three-dimensional distance image possible is. To do this, the object with one or more very short Light pulses illuminated, whereupon light pulses of the same Length from the object. Scattered this back th light pulses are transmitted to the optoelectronic chip passed. Due to the differ distance between different object points from the sensor the backscattered light corresponding to the locations pulses arrive at the sensor at different times. For egg ne distance measurement, a time measurement window is opened Duration corresponds to a predeterminable integration time. The integration time is less than or equal to the length of the emitted and thus also the length of the reflected Lich timpulse. This ensures that the first in Sen sor incident backscattered light pulse more or less is fully absorbed. The arriving with a delay Light pulses are cut off at the back, so that due to different charges in the grid of the optoelectronic Sensors the different transit times in cargo sub different can be implemented. This makes a dreidi calculate the dimensional distance image.
In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit versetzt danach mit ihrer vollständigen Länge aufgenommen. Dies wird zur Normierung benutzt, so daß Unterschiede im Re flexionsverhalten des Objektes erkannt und ausgeglichen wer den können.In an advantageous embodiment of the invention a very long integration time all light pulses simultaneously with the measurement or time described first then added with their full length offset. This is used for normalization, so that differences in Re the object's flexion behavior is recognized and balanced that can.
Weitere vorteilhafte Ausgestaltungen können den Unteransprü chen entnommen werden. Further advantageous refinements can be found in the subclaims Chen be removed.
Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. Es können ex trem kurze Bildaufnahmezeiten realisiert werden. Der verwen dete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeich nung des Halbleiterbauelementes ist. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1%). Die techni sche Entwicklung schreitet bei den Integrationszeiten noch voran.The main advantages of the invention are that for example, mechanical shutters are eliminated. Ex extremely short image acquisition times can be realized. The use The optoelectronic sensor is commonly used as a CMOS sensor referred to, whereby this is only the technological designation voltage of the semiconductor device. With such a Sensor integration times are minimal from 50 to 30 Realize nsec (jitter at less than 0.1%). The techni The development is still progressing with the integration times Ahead.
Im folgenden werden anhand von schematischen Figuren Ausfüh rungsbeispiele beschrieben.In the following, diagrammatic figures will be used described examples.
Fig. 1 zeigt das Funktionsprinzip zur Erfassung eines drei dimensionalen Abstandsbildes mit einem CMOS-Sensor, Fig. 1 shows the operating principle for detecting a three-dimensional distance image with a CMOS sensor,
Fig. 2 zeigt die schematische Darstellung zur zeitlichen Verschiebung zweier Lichtimpulsle im Integrationsfenster de ren zugehörige Objektpunkte einen unterschiedlichen Abstand zum CMOS-Sensor besitzen, Fig. 2 shows the schematic representation of the temporal displacement of two Lichtimpulsle in the integration window de ren corresponding object points a different distance from the CMOS sensor have,
Fig. 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi täts- bzw. Grauwertbildern mit einem CMOS-Sensor, Fig. 3 shows two variants of the sensor for the simultaneous detection of three-dimensional distance images and Intensi täts- or gray scale images with a CMOS sensor,
Fig. 4 zeigt die schematische Darstellung der Fahrzeuginnen raumüberwachung mit einem dreidimensionalen CMOS-Sensor. Fig. 4 shows the schematic representation of the vehicle interior monitoring with a three-dimensional CMOS sensor.
Es wird ein Verfahren zur seriellen oder gleichzeitigen Er fassung bzw. Erzeugung eines Intensitäts- und eines dreidi mensionalen Abstandsbildes räumlicher Objekt mit einem opto elektronischen Sensor unter Kurzzeitbelichtung beschrieben. Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. Dabei wird ein CMOS-Sen sor eingesetzt. Dieser Sensor besitzt eine Lichtempfind lichkeit von beispielsweise 1 mLux. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 107 auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel), sowie eine ein stellbare Integrationszeit (Sample & Hold). Für die Messung der Ladungsmenge Q(t) bei Belichtung am einzelnen Bildpunkt.A method for serial or simultaneous detection or generation of an intensity and a three-dimensional distance image of a spatial object with an optoelectronic sensor under short exposure is described. The method uses the runtime differences of the light impulses scattered back from the three-dimensional objects in the case of pixel-synchronous (pixel-synchronous) detection at the sensor within short integration times. A CMOS sensor is used for this. This sensor has a light sensitivity of 1 mLux, for example. Furthermore, it has a high intensity dynamic of up to 10 7 , an optional access to the individual pixels (pixels) and an adjustable integration time (sample & hold). For measuring the amount of charge Q (t) when exposed to a single pixel.
Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die pa rallele Erfassung von Intensitäts- und dreidimensionalen Bil dern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Wei terhin benötigt der CMOS keine aufwendigen mechanischen Shut ter und es müssen auch keine leistungsstarken Laserlichtquel len für die Kurzzeitbelichtung eingesetzt werden.Compared to processes that use a CCD camera achieve special advantages, such as the pa parallel acquisition of intensity and three-dimensional images , as well as the realization of short image acquisition times, the are significantly lower than the readout times of CCD cameras. Wei Furthermore, the CMOS does not require any complex mechanical shutdown ter and there is no need for powerful laser light sources len are used for the short exposure.
Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Kra nanlagen sowie der Navigation geeignet.The method is particularly useful for recognizing people and motion sequences in room surveillance, for example Vehicle interior and exterior monitoring of automation from Kra systems and navigation.
Die wesentlichen Funktionsmerkmale werden anhand von Fig. 1 erläutert. Zunächst wird für die Beleuchtung der zu erfassen den räumlichen Objekte mit kurzen Lichtimpulsen beispielswei se < 100 ns gesorgt. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. Das Verfahren ist unabhängig vom Winkel der Be leuchtung, die nicht unbedingt zentral zur allgemeinen Detek tionsrichtung erfolgen muß. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ring lichtes denkbar. Die in Fig. 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips.The essential functional features are explained with reference to FIG. 1. First, the lighting of the spatial objects to be detected is provided with short light pulses, for example <100 ns. Illumination can take place with laser light, for example with a pulsed laser diode, or with light sources, for example with a pulsed LED diode. The method is independent of the angle of the lighting, which does not necessarily have to be central to the general direction of detection. For example, the use of a ring light is also conceivable for coaxial lighting and detection. The arrangement shown in Fig. 1 only serves to illustrate the functional principle schematically.
Eine erste Bildaufnahme A wird mit einer kurzen Integrations
zeit AA am CMOS-Sensor verbunden. Die von den Objektpunkten G
der dreidimensionalen Szene zurückgestreuten Lichtimpulse 3
der Länge ΔL (< 100 nsec) werden an den zugehörigen Bildpunk
ten 9 des CMOS-Sensors innerhalb einer eingestellten kurzen
Integrationszeit ΔA ≦ ΔL erfaßt. Durch einen elektronischen
Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen
ausgesandtem Lichtimpuls 2 und dem Öffnen des Integrations
zeitfensters am CMOS-Sensor hergestellt. Aufgrund der Lauf
zeit des Lichtes ergibt sich je nach Objektabstand R eine un
terschiedliche zeitliche Verschiebung
A first image acquisition A is connected to the CMOS sensor with a short integration time AA. The back-scattered light pulses 3 of the length Δ L (<100 nsec) from the object points G of the three-dimensional scene are detected at the associated pixels 9 of the CMOS sensor within a set short integration time Δ A ≦ Δ L. An electronic trigger pulse establishes a fixed temporal relationship between the emitted light pulse 2 and the opening of the integration time window on the CMOS sensor. Due to the running time of the light, there is a different time shift depending on the object distance R.
zwischen ausgesandtem und am CMOS-Sensor
detektierten Lichtimpuls. Die am Bildpunkt innerhalb
der Integrationszeit ΔA gemessene Ladung QA wird dadurch vom
Abstand R zwischen Sensor und Objektpunkt G abhängig. Siehe
hierzu Fig. 2.
between the light pulse emitted and detected on the CMOS sensor. As measured by the pixel within the integration time Δ A charge Q A is thereby dependent on the distance R between the sensor and object point G. See Fig. 2.
QA ∝ I0.OR(ΔL - (2R/vc - tD)) (1)
Q A ∝ I 0 .O R (Δ L - (2R / v c - t D )) (1)
I0 Intensität des ausgesandten Lichtimpulses
OR Oberflächenreflexionskoeffizient am Objektpunkt G
tD Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim
puls und Start des Integrationsfensters am CMOS-Sensor.I 0 intensity of the emitted light pulse
O R surface reflection coefficient at object point G
t D Trigger point time delay between emitted light pulse and start of the integration window on the CMOS sensor.
Für Objektpunkte G mit gleichem Oberflächenreflexionskoeffi zienten OR wird abhängig von ihrem Abstand R eine unter schiedliche Ladung QA am zugehörigen Bildpunkt des CMOS-Sen sors gemessen. Damit werden kleine Laufzeitunterschiede der Lichtimpulse in Ladungsänderungen QA transformiert. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflä chenreflexion. Es wird daher zur Normierung des Abstandsbil des noch eine zweite Bildaufnahme QB durchgeführt, die nur von der Oberflächenreflexion der Objekte der dreidimensiona len Szene abhängig ist. For object points G with the same surface reflection coefficient O R , depending on their distance R, a different charge Q A is measured at the associated pixel of the CMOS sensor. This transforms small transit time differences of the light pulses into changes in charge Q A. With a CMOS sensor, these can be detected very sensitively and with high dynamics. Usually, the objects of a three-dimensional scene have a different surface reflection. A second image recording Q B is therefore carried out to standardize the distance image, which is only dependent on the surface reflection of the objects of the three-dimensional scene.
Die Durchführung einer zweiten Bildaufnahme B mit langer In
tegrationszeit ΔB dient zur Normierung der Oberflächenre
flexion der dreidimensionalen Szene, wobei im Prinzip das her
kömmliche Intensitäts- oder Grauwertbild verwendet wird.
Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme ei
ne Integrationszeit ΔB eingestellt, die sehr groß gegenüber
der Länge eines Beleuchtungslichtimpulses ist; ΔB » ΔL z. B.
1 Mikrosekunde. Jetzt werden alle zurückgestreuten Lichtim
pulse 3 unabhängig von ihrer Laufzeit in vollem Umfang am
CMOS-Sensor detektiert. Die an einem Bildpunkt gemessene La
dung QB gibt sich zu
Carrying out a second image recording B with a long integration time Δ B serves to standardize the surface reflection of the three-dimensional scene, in principle using the conventional intensity or gray value image. For this purpose, the integration time Δ B , which is very large compared to the length of an illuminating light pulse, is set on the CMOS sensor during a second image recording; Δ B »Δ L z. B. 1 microsecond. Now all backscattered light pulses 3 are fully detected on the CMOS sensor regardless of their runtime. The charge Q B measured at one pixel is admitted
QB ∝ I0xORΔL (2).Q B ∝ I 0 xO R Δ L (2).
Das erhaltene Bild ist nur von der Beleuchtungsintensität I0, dem Oberflächenreflexions-Koeffizienten OR des zugehörigen Objektpunktes, sowie der Lichtimpulslänge ΔL abhängig.The image obtained is dependent only on the illumination intensity I 0 , the surface reflection coefficient O R of the associated object point, and the light pulse length Δ L.
Die Erzeugung des zweidimensionalen Abstandsbildes QR ge
schieht durch die Berechnung aus der Differenz und Normierung
von Bildaufnahme A und B bzw. QA und QB
The two-dimensional distance image Q R is generated by the calculation from the difference and normalization of image acquisition A and B or Q A and Q B
QR =(QA - QB)/QB (3).Q R = (Q A - Q B ) / Q B (3).
Aus Gleichung (1) und (2) folgt mit td = 0 die Gleichung
From equations (1) and (2) follows the equation with t d = 0
QR ∝ - 2R/(vc.ΔL) (4).Q R ∝ - 2R / (v c .Δ L ) (4).
Dieser Wert kann nach Auslesen und Digitalisieren sowie zu
sätzlicher Skalierung für alle Bildpunkte direkt als Ab
standsbild QR ausgegeben werden. Ist die Triggerverzögerungs
zeit td ungleich 0, so addiert sich zu allen Punkten des Ab
standsbildes QR ein konstanter Offset
After reading out and digitizing and for additional scaling, this value can be output directly as a distance image Q R for all pixels. If the trigger delay time t d is not equal to 0, then a constant offset is added to all points of the distance map Q R
RD = tD/(vc.ΔL) (5).R D = t D / (v c .Δ L ) (5).
Die gleichzeitige Aufnahme von Intensitäts- und dreidimen
sionalem Bild bezieht sich auf eine Ausführung einer örtlich
und zeitlich parallelen Erfassung von Intensitäts-und Ab
standswerten. Hierzu wird eine Chiparchitektur und pixelbezo
gene Integrationszeit derart gewählt, daß direkt benachbarte
Pixel A und Pixel B entsprechend der Fig. 3 auf dem CMOS-Sen
sor die zurückgestreuten Lichtimpulse 3 der dreidimensio
nalen Szene gleichzeitig mit kurzer Integrationszeit ΔA ≦ ΔL
(für Pixel A) aufnehmen und mit langer Integrationszeit
ΔB » ΔL (für Pixel B) erfassen. Durch eine auf dem Chip inte
grierte elektronische Schaltung kann dann direkt das zweidi
mensionale Abstandsbild
The simultaneous recording of the intensity and three-dimensional image relates to the execution of a spatially and temporally parallel acquisition of intensity and distance values. For this purpose, a chip architecture and pixel-related integration time is chosen such that directly adjacent pixels A and pixel B, as shown in FIG. 3 on the CMOS sensor, the backscattered light pulses 3 of the three-dimensional scene simultaneously with a short integration time Δ A ≦ Δ L (for pixels A) and record with a long integration time ΔB »Δ L (for pixel B). An integrated electronic circuit on the chip can then directly the two-dimensional distance image
QR = (QA - QB)/QB (6)
Q R = (Q A - Q B ) / Q B (6)
der zugeordneten Pixel A und B berechnet und ausgegeben wer den.of the assigned pixels A and B are calculated and output the.
Fig. 3 zeigt dazu schematisch zwei mögliche Anordnungen auf
dem CMOS-Sensor für die parallele Erfassung von Intensitäts- und
dreidimensionalem Abstandsbild. Weitere Varianten hierzu
sind möglich. Die gleichzeitige Erfassung von Intensitäts-
und dreidimensionalem Abstandsbild ist besonders für die Ana
lyse bewegter dreidimensionaler Szenen von Bedeutung, bei
spielsweise die Erfassung von Personengestik oder die Objekt
verfolgung. Weitere besondere Kennzeichen der Erfindung sind:
Fig. 3 illustrates this schematically two possible arrangements on the CMOS sensor for the parallel detection of intensity and a three-dimensional distance image. Other variants are possible. The simultaneous acquisition of intensity and three-dimensional distance images is particularly important for the analysis of moving three-dimensional scenes, for example the acquisition of gestures or the tracking of objects. Further special characteristics of the invention are:
- - Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen QA und QB abgezo gen. Anschließend erfolgt die Berechnung des Abstandsbildes QR.- If necessary, an additional standardization of the three-dimensional distance image with respect to ambient light can be carried out. For this purpose, the charge of a pixel with a short and long integration time is first detected without illumination of the three-dimensional scene or the object and subtracted from the charges Q A and Q B measured with illumination. The distance image Q R is then calculated.
- - Durch zeitliche Mittelung der Signale mehrerer Lichtim pulse kann eine Erhöhung der Empfindlichkeit des Verfahrene gegenüber dem Rauschen bei geringen zurückgestreuten Lichtin tensitäten erreicht werden.- By averaging the signals of several lights in time pulse can increase the sensitivity of the process compared to the noise at low backscattered light intensities can be achieved.
- - Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung.- The measurement uncertainty for the distance determination depends on Signal / noise behavior of the CMOS sensor. This is expected Differences in transit time between 0.1 ns can still be detected can. This results in a measurement uncertainty of less than 3 cm for the distance determination.
Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. Die Aufgabe der optischen Innenraumüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, son stige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, d. h. das unzulässige Eindringen in das Fahrzeuginnere von außen. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbags (smart Airbag) von hoher sicherheitsrelevanter Be deutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. Die Erfindung erfüllt diese Anfor derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes QR im Fahrzeuginneren, wobei volumentrische Auswerteverfahren eingesetzt werden. Dabei werden aus den Abstandswerten R in einem Raumwinkelelement Ω die von Objekten 1 besetzten Nettovolumenanteile im Fahrzeu ginnenraum als Differenz zu den Abstandswerten bei unbesetz tem Fahrzeuginneren bestimmt (siehe hierzu Fig. 4).The essential uses of the described method and the described device relate to the monitoring of interior spaces, in particular in vehicles in connection with volumetric evaluation methods. The task of optical interior surveillance in vehicles is the detection of seat occupancy, such as people, child seats, other objects, the detection of the seating position of people and theft protection, ie the impermissible intrusion into the vehicle interior from the outside. The detection of people and their seating position is of high safety-relevant importance for the gradual deployment of an airbag (smart airbag) and must be carried out very reliably and in short measuring times in the event of a collision. The invention fulfills these requirements by quickly and reliably generating a three-dimensional distance image Q R in the vehicle interior, using volumetric evaluation methods. In this case, from the distance values R in a solid angle element Ω, the net volume portions occupied by objects 1 in the vehicle interior are determined as the difference to the distance values with the vehicle interior unoccupied (see FIG. 4).
Das Verfahren und die Vorrichtung liefern weitere wesentliche
Vorteile, wie:
The method and the device provide further significant advantages, such as:
-
- Schnelle, globale Erfassung der aktuellen Sitzbelegung
durch Differenzbildung eines dreidimensionalen Abstandsbildes
vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenz
bild QRO) und dem aktuell auszuwertenden dreidimensionalen
Abstandsbild mit einer Person oder einem sonstigen Objekt QRP
auf einem Sitz. Dabei gilt für das Nettovolumen VP der Sitz
belegung:
VP = ∫ΩR0(Ω).dF-∫ΩRP(Ω).dF (7),
wobei R0 die Abstandswerte ohne Person bzw. sonstigem Objekt und RP die Abstandswerte mit Person bzw. sonstigem Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet.- Fast, global recording of the current seat occupancy by forming a difference between a three-dimensional distance image from the vehicle interior without objects (three-dimensional reference image Q RO ) and the three-dimensional distance image currently being evaluated with a person or another object Q RP on a seat. The net volume V P applies here the seat occupancy:
V P = ∫ Ω R 0 (Ω) .dF-∫ Ω R P (Ω) .dF (7),
where R 0 is the distance values without a person or other object and R P is the distance values with a person or other object on the seat and dF denotes a differential area. - - Die adaptive Ermittlung der Sitzbelegung aus der Berech nung der relativen Abstandsänderungen vor und nach dem Ein steigen einer Person ins Fahrzeug kann durchgeführt werden. Durch Anwendung regressiver und stochiastischer Auswertever fahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden.- The adaptive determination of the seat occupancy from the comp of the relative changes in distance before and after on getting a person into the vehicle can be done. By using regressive and stochiastic evaluation ver The reliability of the difference determination can still drive be further increased.
- - Die Größenbestimmung der erfaßten Objekte und globale Un terscheidung von Objekten über Volumen-Vergleichsklassen ist möglich.- The size determination of the detected objects and global Un differentiation of objects over volume comparison classes possible.
- - Räumliche Zuordnung von besetzten Volumenanteilen ist mög lich- Spatial allocation of occupied volume shares is possible Lich
- - Bestimmung der räumlichen Extrempositionen (x, y, z) des be setzten Volumens im Innenraum für die Steuerung der Airbag Auslösung kann bestimmt werden.- Determination of the spatial extreme positions (x, y, z) of the be set volume in the interior for controlling the airbag Tripping can be determined.
- - Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Diffe renzbildung. Erkennung von Personen und Gestik aus der Bewe gungsanalyse.- Volumetric tracking of movements in space for sequential images and differences boundary formation. Recognition of people and gestures from the movement analysis.
Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen. Die Auswertezeiten können für die dreidimensionale Bildauf nahme und volumetrische Auswertung unter 10 ms liegen. This integral volume analysis enables a global one Detection of objects and positions in space and is not on the determination of features such as contours edges, corners, edges in the image are directed to object detection. The evaluation times can be for the three-dimensional image acquisition and volumetric evaluation are less than 10 ms.
Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum in Frage. Dabei wird für die dreidimensionale Bildaufnahme mit LED-Licht impulsen von beispielsweise 50 ns (Nanosekunden) ein Ob jekt belichtet. Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme QA zu 50 ns und für die Bildaufnahme QB zu 0,5 µs, gewählt. Die zu erfassende Szenendynamik im Fahr zeuginneren soll 200 : 1 betragen. Die Abstandswerte R sollen mit einer Meßunsicherheit < 15 cm (entsprechender Laufzeitun terschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden.A vehicle interior is particularly suitable as an area of application for the method and device described. An object is exposed for three-dimensional image acquisition with LED light pulses of, for example, 50 ns (nanoseconds). The integration times on the CMOS sensor are chosen for the image acquisition Q A to 50 ns and for the image acquisition Q B to 0.5 µs. The scene dynamics to be recorded inside the vehicle should be 200: 1. The distance values R should be recorded with a measurement uncertainty <15 cm (corresponding transit time difference of a light pulse = 1 ns) in a measuring range up to 1.5 m (transit time 10 ns).
Mit diesen Anforderungen wird am CMOS Sensor eine Intensi tätsdynamik von (10 × 200 =) 2000 : 1 erforderlich. Die digi tale Erfassung des dreidimensionalen Abstandsbildes QR wird damit durch einen 12 Bit A/D Wandler gewährleistet. Für eine Sensorortsauflösung von 50 × 50 Bildpunkten werden für die Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 104 Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands bild von maximal 5 ms führen. Die Berechnung der Differenzvo lumina aus den 2500 Abstandswerten ist mit einem schnellen Prozessor, wie beispielsweise einem Pentium mit 200 Mhz in weiteren 5 ms ohne Schwierigkeit ausführbar.With these requirements, an intensity dynamic of (10 × 200 =) 2000: 1 is required on the CMOS sensor. The digital acquisition of the three-dimensional distance image Q R is thus ensured by a 12 bit A / D converter. For a sensor location resolution of 50 × 50 pixels, a maximum of 10 4 readout operations are required for the image recordings A with a short integration time and B with a long integration time, which, at readout frequencies of, for example, 2 MHz, lead to a total image recording time for the three-dimensional distance image of a maximum of 5 ms. The calculation of the difference volume from the 2500 distance values can be carried out with a fast processor, such as a Pentium with 200 MHz, in a further 5 ms without difficulty.
In Fig. 4 wird ein Schema für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. Die Pfeile mit gepunkte ten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positions bestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbe setztem Fahrzeug bestimmt. Das Nettovolumen VP einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7). In FIG. 4 is a diagram of an application of the invention is illustrated in vehicle interiors. The arrows with dotted lines represent a vacant seat and the solid lines for a seat occupied by a person. For global object recognition and position determination, the enveloping net volume fraction is determined from the three-dimensional distance data for occupied and unoccupied vehicles. The net volume V P of a person or other object on a car seat is calculated according to equation (7).
11
Objekt
object
22nd
Lichtimpuls der Länge ΔL
Light pulse of length Δ L
33rd
Lichtimpuls der Länge ΔL Light pulse of length Δ L
, zurückgestreut
, scattered back
44th
Sensor
sensor
55
Beleuchtungseinrichtung
Lighting device
66
, ,
77
Optik
Optics
88th
Triggereinrichtung
Trigger device
99
Bildpunktelement
G Objektpunkt ΔA Pixel element
G object point Δ A
, ΔB , Δ B
Integrationszeit
Integration time
Claims (18)
- - das Objekt (1) wird mit mindestens einem Lichtimpuls (2) beleuchtet,
- - von Objektpunkten (G) zurückgestreute Lichtimpulse (3) mit einer Zeitdauer ΔL werden an zugehörigen Bildpunkten des Sen sor (4) innerhalb einer vorgegebenen kurzen Integrationszeit ΔA, mit ΔA ≦ ΔL erfaßt, wobei der Zeitpunkt für den Beginn der Integrationszeit ΔA vor dem Eintreffen des ersten zurückge streuten Lichtimpulses (3) liegt, der dem nächstliegenden Ob jektpunkt (G) entspricht,
- - aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse (3) werden Abstandswerte ermittelt.
- - The object ( 1 ) is illuminated with at least one light pulse ( 2 ),
- - From object points (G) backscattered light pulses ( 3 ) with a time period Δ L are detected at associated pixels of the sensor ( 4 ) within a predetermined short integration time Δ A , with Δ A ≦ Δ L , the time for the start of the integration time Δ A before the arrival of the first backscattered light pulse ( 3 ) which corresponds to the closest object point (G),
- - Distance values are determined from the different recorded intensities of the backscattered light pulses ( 3 ) resulting from their different running times.
- - einer Beleuchtungseinrichtung (5), die ausgesandte Lichtim pulse (2) über eine Optik (6) auf ein Objekt (1) richtet,
- - einem optoelektronischen Sensor (4) mit einer vorgeschal teten Optik (7), der die vom Objekt (1) zurückgestreuten Lichtimpulse (3) detektiert, wobei der Sensor (4) durch eine Vielzahl von Bildpunktelementen (9) bildpunktauflösend aufge baut und wahlfrei auslesbar ist und die Integrationszeit Δ bildpunktweise einstellbar ist,
- - einer Triggereinrichtung (8) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung (5) und Sensor (4),
- - einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus den den entsprechenden Ladungen der Bildpunkte.
- - A lighting device ( 5 ), the emitted Lichtim pulse ( 2 ) via optics ( 6 ) on an object ( 1 ),
- - An optoelectronic sensor ( 4 ) with an optical circuit ( 7 ) which detects the light pulses ( 3 ) scattered back from the object ( 1 ), the sensor ( 4 ) being built up by a large number of pixel elements ( 9 ) with pixel resolution and being optionally readable and the integration time Δ can be adjusted pixel by pixel,
- - a trigger device ( 8 ) for timing between the lighting device ( 5 ) and sensor ( 4 ),
- - A computing unit for calculating a three-dimensional image from the corresponding charges of the pixels.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19757595A DE19757595C2 (en) | 1997-12-23 | 1997-12-23 | Method and device for recording a three-dimensional distance image |
| KR10-2000-7007058A KR100508277B1 (en) | 1997-12-23 | 1998-11-14 | Method and device for recording three-dimensional distance-measuring images |
| DE59809883T DE59809883D1 (en) | 1997-12-23 | 1998-11-14 | METHOD AND DEVICE FOR RECORDING A THREE-DIMENSIONAL DISTANCE IMAGE |
| EP98962257A EP1040366B1 (en) | 1997-12-23 | 1998-11-14 | Method and device for recording three-dimensional distance-measuring images |
| JP2000526831A JP3860412B2 (en) | 1997-12-23 | 1998-11-14 | Method and apparatus for taking a three-dimensional distance image |
| US09/581,091 US6373557B1 (en) | 1997-12-23 | 1998-11-14 | Method and apparatus for picking up a three-dimensional range image |
| PCT/DE1998/003344 WO1999034235A1 (en) | 1997-12-23 | 1998-11-14 | Method and device for recording three-dimensional distance-measuring images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19757595A DE19757595C2 (en) | 1997-12-23 | 1997-12-23 | Method and device for recording a three-dimensional distance image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE19757595A1 true DE19757595A1 (en) | 1999-07-01 |
| DE19757595C2 DE19757595C2 (en) | 2000-05-11 |
Family
ID=7853217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19757595A Expired - Fee Related DE19757595C2 (en) | 1997-12-23 | 1997-12-23 | Method and device for recording a three-dimensional distance image |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE19757595C2 (en) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19833207A1 (en) * | 1998-07-23 | 2000-02-17 | Siemens Ag | Three-dimensional distance-measuring image generation of spatial object |
| WO2000050265A1 (en) * | 1999-02-25 | 2000-08-31 | Siemens Aktiengesellschaft | Device and method for optically detecting an object or a person in the passenger compartment of a vehicle |
| EP1065522A2 (en) * | 1999-06-30 | 2001-01-03 | Sick AG | Optoelectronic surveillance system |
| WO2001000459A1 (en) * | 1999-06-24 | 2001-01-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Device and method for monitoring seats by means of an optoelectronic triangulation technique |
| EP1069001A1 (en) * | 1999-07-12 | 2001-01-17 | Hirschmann Austria GmbH | Control device for a safety system |
| WO2001019648A1 (en) * | 1999-09-10 | 2001-03-22 | Siemens Aktiengesellschaft | Method and device for controlling the operation of an occupant-protection device allocated to a seat, in particular, in a motor vehicle |
| DE10022215A1 (en) * | 2000-05-04 | 2001-11-08 | Oezkan Mustafa | Road junction laser range sensors have multiplexed wavelengths and prevents shadowing without interference |
| WO2002008023A2 (en) * | 2000-07-21 | 2002-01-31 | Trw Inc. | Application of human facial features recognition to automobile safety |
| DE10037220A1 (en) * | 2000-07-31 | 2002-02-14 | Volkswagen Ag | Process and device for correct positional control of a safety system for motor vehicles scans the seat occupation and position using a pulsed laser beam |
| WO2002021473A2 (en) * | 2000-09-08 | 2002-03-14 | Idm Gmbh Infrarot Sensoren | Device for surveilling an area in a room |
| WO2002030717A1 (en) * | 2000-10-10 | 2002-04-18 | Hrl Laboratories, Llc | Object detection system and method |
| WO2002040320A1 (en) * | 2000-11-14 | 2002-05-23 | Siemens Aktiengesellschaft | Method and device for determining whether the interior of a vehicle is occupied |
| EP1243792A2 (en) | 2001-03-24 | 2002-09-25 | Conti Temic microelectronic GmbH | Actuator, especially as part of an actuating drive for an imaging device |
| EP1243793A2 (en) | 2001-03-24 | 2002-09-25 | Conti Temic microelectronic GmbH | Actuator, especially as part of an actuating drive for an imaging device |
| DE10141037C1 (en) * | 2001-08-20 | 2003-04-03 | Siemens Ag | Obstacle detection device |
| EP1167126A3 (en) * | 2000-06-29 | 2003-05-02 | TRW Inc. | Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment |
| EP1167127A3 (en) * | 2000-06-29 | 2003-05-07 | TRW Inc. | Optimized human presence detection through elimination of background interference |
| WO2003040755A1 (en) * | 2001-11-08 | 2003-05-15 | Siemens Aktiengesellschaft | Laser grid for measuring distance |
| US6581961B1 (en) | 1999-12-17 | 2003-06-24 | Trw Vehicle Safety Systems Inc. | Deactivation of second stage of air bag inflator |
| EP1405755A1 (en) * | 2002-10-04 | 2004-04-07 | Bayerische Motoren Werke Aktiengesellschaft | Seat adjusting device. |
| WO2004100551A1 (en) * | 2003-05-08 | 2004-11-18 | Siemens Aktiengesellschaft | Method and device for detecting an object or a person |
| US6870622B2 (en) | 2000-03-28 | 2005-03-22 | Siemens Aktiengesellschaft | Method and device for monitoring electric components in a pick-and-place device for substrates |
| WO2005122058A1 (en) * | 2004-06-09 | 2005-12-22 | Robert Bosch Gmbh | Method for calibrating a sensor in order to monitor the passenger compartment of a motor vehicle |
| DE102004040558A1 (en) * | 2004-08-21 | 2006-02-23 | A.D.C. Automotive Distance Control Systems Gmbh | Optical object recognition system |
| US7022970B2 (en) | 2000-03-28 | 2006-04-04 | Siemens Aktiengellschaft | Device and method for detecting an object or a person in the passenger compartment of a vehicle |
| DE102005045484A1 (en) * | 2005-07-29 | 2007-02-01 | Cedes Ag | Optical sensor arrangement for e.g. double-leaf sliding door, has optical sensor detecting floating part-like reflection objects, where areas of distances from measured distances are determined to be same large distances for receiver |
| US7274438B2 (en) | 2001-12-21 | 2007-09-25 | Siemens Aktiengesellschaft | Device for monitoring spatial areas |
| DE102006016026A1 (en) * | 2006-04-05 | 2007-10-11 | Sick Ag | Distance measuring device |
| DE102006055343B3 (en) * | 2006-11-23 | 2008-04-10 | Siemens Ag | Child seat and occupant differentiating device for motor vehicle, has light source transmitting light beam away by backrest and seat surface, where backrest acts as fixed reference point and occupant acts as textured elevation |
| US7412861B2 (en) | 2003-12-23 | 2008-08-19 | Leuze Lumiflex Gmbh & Co., Ltd. | Device for monitoring an area of coverage on a work tool |
| WO2009043685A1 (en) | 2007-09-28 | 2009-04-09 | Siemens Aktiengesellschaft | Method and device for determining a distance by means of an optoelectronic image sensor |
| DE102015201901A1 (en) * | 2015-02-04 | 2016-08-04 | Volkswagen Aktiengesellschaft | Determining a position of a vehicle-foreign object in a vehicle |
| US20160298809A1 (en) | 2015-04-13 | 2016-10-13 | Rockwell Automation Safety Ag | Time-of-Flight Safety Photoelectric Barrier and Method of Monitoring a Protective Field |
| EP3494786A1 (en) | 2017-12-07 | 2019-06-12 | Bayer CropScience Aktiengesellschaft | Detection of pests |
| DE102019135363A1 (en) * | 2019-12-20 | 2021-06-24 | Recaro Aircraft Seating Gmbh & Co. Kg | Aircraft seat assembly |
| DE102022131558A1 (en) | 2022-11-29 | 2024-05-29 | Gestigon Gmbh | METHOD AND SYSTEM FOR DETECTING A SEAT POSITIONING CONDITION IN A VEHICLE |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10035531B4 (en) * | 2000-07-21 | 2004-12-30 | Daimlerchrysler Ag | Device for detecting a room in a vehicle interior |
| EP1221582B1 (en) | 2001-01-05 | 2013-03-13 | Leuze electronic GmbH + Co. KG | Optoelectronic device |
| DE10221578A1 (en) * | 2002-05-08 | 2003-11-27 | Siemens Ag | Dangerous area surveillance sensor has 3D-CMOS sensor with pulsed laser light source |
| DE102004015047A1 (en) | 2004-03-26 | 2005-10-13 | Bayerische Motoren Werke Ag | Adjustment method for a motor vehicle seat |
| DE202017103345U1 (en) | 2017-06-02 | 2018-09-05 | Sick Ag | Tasting light grid for detecting objects |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3732347C1 (en) * | 1987-09-25 | 1989-03-16 | Messerschmitt Boelkow Blohm | Distance image sensor |
| DE3839513C2 (en) * | 1988-11-23 | 1992-05-07 | Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De | |
| DE4129912C1 (en) * | 1991-09-09 | 1992-10-22 | Dornier Luftfahrt Gmbh, 8031 Wessling, De | |
| DE19619186C1 (en) * | 1996-05-02 | 1998-01-02 | Pco Computer Optics Gmbh | Spatial image recording method |
| EP1512572A2 (en) * | 2003-09-05 | 2005-03-09 | Toyoda Gosei Co., Ltd. | Cap device |
-
1997
- 1997-12-23 DE DE19757595A patent/DE19757595C2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3732347C1 (en) * | 1987-09-25 | 1989-03-16 | Messerschmitt Boelkow Blohm | Distance image sensor |
| DE3839513C2 (en) * | 1988-11-23 | 1992-05-07 | Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De | |
| DE4129912C1 (en) * | 1991-09-09 | 1992-10-22 | Dornier Luftfahrt Gmbh, 8031 Wessling, De | |
| DE19619186C1 (en) * | 1996-05-02 | 1998-01-02 | Pco Computer Optics Gmbh | Spatial image recording method |
| EP1512572A2 (en) * | 2003-09-05 | 2005-03-09 | Toyoda Gosei Co., Ltd. | Cap device |
Cited By (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19833207A1 (en) * | 1998-07-23 | 2000-02-17 | Siemens Ag | Three-dimensional distance-measuring image generation of spatial object |
| WO2000050265A1 (en) * | 1999-02-25 | 2000-08-31 | Siemens Aktiengesellschaft | Device and method for optically detecting an object or a person in the passenger compartment of a vehicle |
| WO2001000459A1 (en) * | 1999-06-24 | 2001-01-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Device and method for monitoring seats by means of an optoelectronic triangulation technique |
| US6678598B1 (en) | 1999-06-24 | 2004-01-13 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for seat supervision in motor vehicles |
| EP1065522A2 (en) * | 1999-06-30 | 2001-01-03 | Sick AG | Optoelectronic surveillance system |
| EP1065522A3 (en) * | 1999-06-30 | 2001-03-07 | Sick AG | Optoelectronic surveillance system |
| EP1069001A1 (en) * | 1999-07-12 | 2001-01-17 | Hirschmann Austria GmbH | Control device for a safety system |
| DE19932520A1 (en) * | 1999-07-12 | 2001-02-01 | Hirschmann Austria Gmbh Rankwe | Device for controlling a security system |
| WO2001019648A1 (en) * | 1999-09-10 | 2001-03-22 | Siemens Aktiengesellschaft | Method and device for controlling the operation of an occupant-protection device allocated to a seat, in particular, in a motor vehicle |
| US6581961B1 (en) | 1999-12-17 | 2003-06-24 | Trw Vehicle Safety Systems Inc. | Deactivation of second stage of air bag inflator |
| US7022970B2 (en) | 2000-03-28 | 2006-04-04 | Siemens Aktiengellschaft | Device and method for detecting an object or a person in the passenger compartment of a vehicle |
| US6870622B2 (en) | 2000-03-28 | 2005-03-22 | Siemens Aktiengesellschaft | Method and device for monitoring electric components in a pick-and-place device for substrates |
| DE10022215A1 (en) * | 2000-05-04 | 2001-11-08 | Oezkan Mustafa | Road junction laser range sensors have multiplexed wavelengths and prevents shadowing without interference |
| EP1167126A3 (en) * | 2000-06-29 | 2003-05-02 | TRW Inc. | Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment |
| EP1167127A3 (en) * | 2000-06-29 | 2003-05-07 | TRW Inc. | Optimized human presence detection through elimination of background interference |
| WO2002008023A2 (en) * | 2000-07-21 | 2002-01-31 | Trw Inc. | Application of human facial features recognition to automobile safety |
| US6724920B1 (en) | 2000-07-21 | 2004-04-20 | Trw Inc. | Application of human facial features recognition to automobile safety |
| WO2002008023A3 (en) * | 2000-07-21 | 2003-09-04 | Trw Inc | Application of human facial features recognition to automobile safety |
| DE10037220A1 (en) * | 2000-07-31 | 2002-02-14 | Volkswagen Ag | Process and device for correct positional control of a safety system for motor vehicles scans the seat occupation and position using a pulsed laser beam |
| DE10037220B4 (en) * | 2000-07-31 | 2008-08-21 | Volkswagen Ag | Method and device for situation-specific control |
| WO2002021473A2 (en) * | 2000-09-08 | 2002-03-14 | Idm Gmbh Infrarot Sensoren | Device for surveilling an area in a room |
| WO2002021473A3 (en) * | 2000-09-08 | 2002-05-23 | Idm Gmbh Infrarot Sensoren | Device for surveilling an area in a room |
| WO2002030717A1 (en) * | 2000-10-10 | 2002-04-18 | Hrl Laboratories, Llc | Object detection system and method |
| US6801662B1 (en) | 2000-10-10 | 2004-10-05 | Hrl Laboratories, Llc | Sensor fusion architecture for vision-based occupant detection |
| WO2002040320A1 (en) * | 2000-11-14 | 2002-05-23 | Siemens Aktiengesellschaft | Method and device for determining whether the interior of a vehicle is occupied |
| US7245741B1 (en) | 2000-11-14 | 2007-07-17 | Siemens Aktiengesellschaft | Method and device for determining whether the interior of a vehicle is occupied |
| EP1243792A2 (en) | 2001-03-24 | 2002-09-25 | Conti Temic microelectronic GmbH | Actuator, especially as part of an actuating drive for an imaging device |
| DE10114563A1 (en) * | 2001-03-24 | 2002-10-24 | Conti Temic Microelectronic | Actuating element, in particular as part of an actuator for an image recording device |
| DE10114564A1 (en) * | 2001-03-24 | 2002-09-26 | Conti Temic Microelectronic | Actuating element, in particular as part of an actuator for an image recording device |
| EP1243793A2 (en) | 2001-03-24 | 2002-09-25 | Conti Temic microelectronic GmbH | Actuator, especially as part of an actuating drive for an imaging device |
| DE10141037C1 (en) * | 2001-08-20 | 2003-04-03 | Siemens Ag | Obstacle detection device |
| WO2003040755A1 (en) * | 2001-11-08 | 2003-05-15 | Siemens Aktiengesellschaft | Laser grid for measuring distance |
| US7034950B2 (en) | 2001-11-08 | 2006-04-25 | Siemens Aktiengesellschaft | Laser grid for measuring distance |
| US7274438B2 (en) | 2001-12-21 | 2007-09-25 | Siemens Aktiengesellschaft | Device for monitoring spatial areas |
| EP1405755A1 (en) * | 2002-10-04 | 2004-04-07 | Bayerische Motoren Werke Aktiengesellschaft | Seat adjusting device. |
| WO2004100551A1 (en) * | 2003-05-08 | 2004-11-18 | Siemens Aktiengesellschaft | Method and device for detecting an object or a person |
| EP1548351B1 (en) * | 2003-12-23 | 2011-04-13 | Leuze electronic GmbH + Co. KG | Device for monitoring an area at a machine |
| US7412861B2 (en) | 2003-12-23 | 2008-08-19 | Leuze Lumiflex Gmbh & Co., Ltd. | Device for monitoring an area of coverage on a work tool |
| WO2005122058A1 (en) * | 2004-06-09 | 2005-12-22 | Robert Bosch Gmbh | Method for calibrating a sensor in order to monitor the passenger compartment of a motor vehicle |
| DE102004040558A1 (en) * | 2004-08-21 | 2006-02-23 | A.D.C. Automotive Distance Control Systems Gmbh | Optical object recognition system |
| US7663737B2 (en) | 2005-07-29 | 2010-02-16 | Cedes Ag | Electromagnetic radiation monitoring sensor device |
| DE102005045484A1 (en) * | 2005-07-29 | 2007-02-01 | Cedes Ag | Optical sensor arrangement for e.g. double-leaf sliding door, has optical sensor detecting floating part-like reflection objects, where areas of distances from measured distances are determined to be same large distances for receiver |
| DE102006016026A1 (en) * | 2006-04-05 | 2007-10-11 | Sick Ag | Distance measuring device |
| DE102006055343B3 (en) * | 2006-11-23 | 2008-04-10 | Siemens Ag | Child seat and occupant differentiating device for motor vehicle, has light source transmitting light beam away by backrest and seat surface, where backrest acts as fixed reference point and occupant acts as textured elevation |
| WO2008061997A1 (en) | 2006-11-23 | 2008-05-29 | Continental Automotive Gmbh | Device and method for differentiating between rearward-facing child seats and grown-up passengers in a motor vehicle |
| WO2009043685A1 (en) | 2007-09-28 | 2009-04-09 | Siemens Aktiengesellschaft | Method and device for determining a distance by means of an optoelectronic image sensor |
| DE102015201901A1 (en) * | 2015-02-04 | 2016-08-04 | Volkswagen Aktiengesellschaft | Determining a position of a vehicle-foreign object in a vehicle |
| DE102015201901B4 (en) | 2015-02-04 | 2021-07-22 | Volkswagen Aktiengesellschaft | Determination of a position of a non-vehicle object in a vehicle |
| US20160298809A1 (en) | 2015-04-13 | 2016-10-13 | Rockwell Automation Safety Ag | Time-of-Flight Safety Photoelectric Barrier and Method of Monitoring a Protective Field |
| EP3081960A1 (en) * | 2015-04-13 | 2016-10-19 | Rockwell Automation Safety AG | Time-of-flight safety photoelectric barrier and method of monitoring a protective field |
| US10113694B2 (en) | 2015-04-13 | 2018-10-30 | Rockwell Automation Safety Ag | Time-of-flight safety photoelectric barrier and method of monitoring a protective field |
| EP3494786A1 (en) | 2017-12-07 | 2019-06-12 | Bayer CropScience Aktiengesellschaft | Detection of pests |
| DE102019135363A1 (en) * | 2019-12-20 | 2021-06-24 | Recaro Aircraft Seating Gmbh & Co. Kg | Aircraft seat assembly |
| DE102022131558A1 (en) | 2022-11-29 | 2024-05-29 | Gestigon Gmbh | METHOD AND SYSTEM FOR DETECTING A SEAT POSITIONING CONDITION IN A VEHICLE |
Also Published As
| Publication number | Publication date |
|---|---|
| DE19757595C2 (en) | 2000-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE19757595C2 (en) | Method and device for recording a three-dimensional distance image | |
| EP1040366B1 (en) | Method and device for recording three-dimensional distance-measuring images | |
| DE19833207A1 (en) | Three-dimensional distance-measuring image generation of spatial object | |
| EP3185038B1 (en) | Optoelectronic sensor and method for measuring a distance | |
| DE112008001384B4 (en) | Method for contamination detection in a TOF distance camera | |
| EP2290393B1 (en) | Concept for optical distance measurement | |
| EP2263103B1 (en) | Optical distance meter and method for the optical distance measurement | |
| DE102017113675A1 (en) | Optoelectronic sensor and method for measuring the distance to an object | |
| EP2019973A1 (en) | Distance measuring method and distance measuring element for detecting the spatial dimension of a target | |
| EP2708913A1 (en) | Opto-electronic sensor and object detection method | |
| DE202013101039U1 (en) | Optoelectronic sensor for distance measurement | |
| EP1423731A2 (en) | Method and device for recording a three-dimensional distance-measuring image | |
| DE102017113674A1 (en) | Optoelectronic sensor and method for measuring the distance to an object | |
| DE112020004621T5 (en) | Light detecting device and system | |
| DE112020002106T5 (en) | EVENT DETECTION DEVICE, SYSTEM CONTAINING EVENT DETECTION DEVICE, AND EVENT DETECTION METHOD | |
| EP1460454A2 (en) | Method for combined processing of high resolution images and video images | |
| DE10148064A1 (en) | Detecting and tracking objects involves weighting current measurement value contributions, estimates and/or measurements for previous iteration depending on quality value for measurement | |
| DE102017129609A1 (en) | Recognition of changes in a coverage area | |
| WO2022049241A1 (en) | Method, radar system and vehicle for signal processing of radar signals | |
| EP1932017B1 (en) | Device and method for recording distance images | |
| EP3602124A1 (en) | Spad-based lidar system | |
| DE102019213812A1 (en) | Optical sensor | |
| DE102005020599B4 (en) | Method for determining at least one characteristic movement parameter of a vehicle equipped with restraints and device for carrying out the method | |
| WO2024223529A1 (en) | Lidar system and method for sensing surroundings | |
| WO2005026774A1 (en) | Surroundings monitoring system having a night vision unit and distance measuring unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| D2 | Grant after examination | ||
| 8363 | Opposition against the patent | ||
| 8339 | Ceased/non-payment of the annual fee |