DE102012200572A1 - Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list - Google Patents

Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list Download PDF

Info

Publication number
DE102012200572A1
DE102012200572A1 DE201210200572 DE102012200572A DE102012200572A1 DE 102012200572 A1 DE102012200572 A1 DE 102012200572A1 DE 201210200572 DE201210200572 DE 201210200572 DE 102012200572 A DE102012200572 A DE 102012200572A DE 102012200572 A1 DE102012200572 A1 DE 102012200572A1
Authority
DE
Germany
Prior art keywords
dimensional
object list
list
control unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210200572
Other languages
German (de)
Inventor
Volker Frey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE201210200572 priority Critical patent/DE102012200572A1/en
Publication of DE102012200572A1 publication Critical patent/DE102012200572A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

The two-dimensional three-dimensional camera has a light retention time sensor (20) for recording depth information, a video sensor (50) for recording image information and two evaluation units (120,150) for generating two object lists. The former object list is formed from the depth information and the latter object list is formed from the image information. A control unit (160) is connected with the two evaluation units and is configured to generate a safety signal and a security parameter for an object in the object list, if the object is determined in both objects lists. An independent claim is included for a method for operating a two-dimensional three-dimensional camera.

Description

Die Erfindung betrifft eine 2D3D-Kamera für ein Sicherheitssystem für ein Kraftfahrzeug und ein Verfahren zum Betreiben eines solchen Systems nach Gattung der unabhängigen Ansprüche. The invention relates to a 2D3D camera for a safety system for a motor vehicle and a method for operating such a system according to the preamble of the independent claims.

Zur Vermeidung von Unfällen und auch zur Fahrerassistenz sind vorausschauende Systeme, die die Verkehrssituation vor einem Fahrzeug mit Sensoren erfassen bekannt. To avoid accidents and also for driver assistance, forward-looking systems that detect the traffic situation in front of a vehicle with sensors are known.

Die EP 1 903 536 B1 offenbart beispielsweise ein Fahrerassistenzsystem mit Abstandsregel- und Kollisionswarnfunktion, bei dem zur Abstandsbestimmung Daten eines Radarsensors ausgewertet werden und in Abhängigkeit weiterer Parameter Kollisionswarnungen ausgegeben werden. The EP 1 903 536 B1 discloses, for example, a driver assistance system with distance control and collision warning function, in which data from a radar sensor are evaluated for distance determination and collision warnings are output as a function of further parameters.

Mit 3D-Kamera sind vornehmlich Lichtlaufzeitsensor, Lichtlaufzeitkamera oder Lichtlaufzeitkamerasystem angesprochen, insbesondere sollen alle Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ‚ifm electronic gmbh’ als O3D-Sensor oder von der Firma 'PMDTechnologies GmbH' als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können. With 3D camera mainly light transit time sensor, time camera or light time camera system are addressed, in particular, all the time of day or 3D TOF camera systems should be included, which gain a time information from the phase shift of an emitted and received radiation. PMD cameras with photonic mixer detectors (PMD) are particularly suitable as the time of flight or 3D TOF cameras, as described, inter alia, in the applications EP 1 777 747 . US Pat. No. 6,587,186 and also DE 197 04 496 described and for example by the company, ifm electronic gmbh 'as O3D sensor or by the company' PMD Technologies GmbH 'as a CamCube relate. In particular, the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.

Ist es vorgesehen, die Fahrerassistenzsysteme nicht nur zur Warnung des Fahrers heranzuziehen, sondern auch anhand der erfassten Daten Sicherheitsfunktionen, wie beispielsweise eine Notbremsung, einen Airbag, Gurtstraffer etc., auszulösen sind besonderes hohe Sicherheitsanforderungen, wie beispielsweise SiA3, SiA4 bzw. ASIL C bzw. ASIL D zu erfüllen. If it is intended to use the driver assistance systems not only to warn the driver but also to trigger safety functions based on the recorded data, such as emergency braking, an airbag, belt tensioner etc., particularly high safety requirements are required, such as SiA3, SiA4 or ASIL C resp To meet ASIL D.

Aufgabe der Erfindung ist es, insbesondere System zur Kollisionswarnung im Hinblick auf Zuverlässigkeit und Sicherheit zu verbessern. The object of the invention is, in particular, to improve the collision warning system in terms of reliability and safety.

Vorteilhaft ist eine 2D3D-Kamera vorgesehen, mit einem Lichtlaufzeitsensor (20) zur Erfassung einer Tiefeninformation und einem Videosensor (50) zur Erfassung einer Bildinformation, und mit einer ersten und zweiten Auswerteeinheit (120, 150), zur Erzeugung einer ersten und zweiten Objektliste, wobei die erste Objektliste aus den Tiefeninformationen des Lichtlaufzeitsensors (20) und die zweite Objektliste aus den Bildinformationen des Videosensors gebildet wird, wobei eine Kontrolleinheit (170) mit den beiden Auswerteeinheiten (120, 150) verbunden und derart ausgestaltet ist, dass die Kontrolleinheit (170) ein Sicherheitssignal für ein Objekt in der Objektliste generiert, wenn das Objekt in beide Objektlisten erfasst ist. Advantageously, a 2D3D camera is provided, with a light transit time sensor ( 20 ) for detecting a depth information and a video sensor ( 50 ) for acquiring image information, and with a first and second evaluation unit ( 120 . 150 ), for generating a first and second object list, wherein the first object list from the depth information of the light transit time sensor ( 20 ) and the second object list is formed from the image information of the video sensor, wherein a control unit ( 170 ) with the two evaluation units ( 120 . 150 ) and configured such that the control unit ( 170 ) generates a safety signal for an object in the object list if the object is included in both object lists.

Ebenso vorteilhaft ist ein Verfahren zum Betreiben einer 2D3D-Kamera vorgesehen, bei dem ausgehend von Tiefeninformationen eines Lichtlaufzeitsensors (20) ein erste Objektliste und ausgehend von Bildinformationen eines Videosensors (50) eine zweite Objektliste erstellt wird, in einem Vergleichsschritt wird überprüft, ob Objekte der ersten Objektliste als entsprechendes Objekt in der zweiten Objektliste erfasst sind, wobei für jedes Objekt, dass in beiden Listen erfasst ist ein Sicherheitssignal und/oder Sicherheitsparameter generiert bzw. gesetzt wird. Likewise advantageously, a method for operating a 2D3D camera is provided, in which starting from depth information of a light transit time sensor ( 20 ) a first object list and from image information of a video sensor ( 50 ) is created in a comparison step, whether objects of the first object list are detected as a corresponding object in the second object list, wherein for each object that is detected in both lists, a security signal and / or security parameter is generated or set ,

Dieses Vorgehen hat den Vorteil, dass die Objektinformationen diversitär und redundant erfasst werden und eine hohe Existenzwahrscheinlichkeit vorliegt, wenn das Objekt in beiden Systemen erkannt wird. This approach has the advantage that the object information is detected diversified and redundant and there is a high probability of existence if the object is detected in both systems.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert. The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen schematisch: They show schematically:

1 das Grundprinzip einer Lichtlaufzeitkamera nach dem PMD-Prinzip, 1 the basic principle of a time-of-flight camera based on the PMD principle,

2 eine erfindungsgemäße 2D3D-Kamera. 2 a 2D3D camera according to the invention.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten. In the following description of the preferred embodiments, like reference characters designate like or similar components.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a light time camera, as for example from the DE 197 04 496 is known.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist mindestens ein Pixel, vorzugsweise jedoch ein Pixel-Array, auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 ist vorzugsweise als Reflektor ausgebildet The light transit time camera system 1 comprises a transmitting unit or a lighting module 10 with a lighting 12 and associated beam shaping optics 15 as well as a receiving unit or light runtime camera 20 with a receiving optics 25 and a light transit time sensor 22 , The light transit time sensor 22 has at least one pixel, but preferably a pixel array, and is designed in particular as a PMD sensor. The receiving optics 25 typically consists of improving the imaging characteristics of multiple optical elements. The beam shaping optics 15 the transmitting unit 10 is preferably formed as a reflector

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung ∆φ des emittierten und empfangenen Lichts die Lichtlaufzeit tL und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einer bestimmten Modulationsfrequenz M(p1) mit einer ersten Phasenlage p1 beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal S(p1) mit der ersten Phaselage p1 aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage p2 = p1 + ∆φ(tL) als Empfangssignal S(p2) auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M(p1) mit dem empfangenen Signal S(p2), gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung ∆φ(tL) bzw. die Objektentfernung d ermittelt wird. The measuring principle of this arrangement is essentially based on the fact that, starting from the phase shift Δφ of the emitted and received light, the light transit time t L and thus the traveled distance of the received light can be determined. For this purpose, the light source 12 and the light transit time sensor 22 via a modulator 30 applied together with a certain modulation frequency M (p1) with a first phase position p1. The light source sends according to the modulation frequency 12 an amplitude modulated signal S (p1) with the first phase position p1. This signal or the electromagnetic radiation is in the illustrated case of an object 40 reflected and hits due to the distance traveled corresponding phase-shifted with a second phase position p2 = p1 + Δφ (t L ) as a received signal S (p2) on the light transit time sensor 22 , In the time of flight sensor 22 the modulation signal M (p1) is mixed with the received signal S (p2), the phase shift Δφ (t L ) or the object distance d being determined from the resulting signal.

2 zeigt eine erfindungsgemäße 2D3D-Kamera, die vorzugsweise in einem Fahrerassistenzsystem und insbesondere Sicherheitssystem eingebunden sein kann, mit einer Sendeeinheit bzw. Beleuchtung 10, die entsprechend moduliertes Licht für den Betrieb des Lichtlaufzeitsensors 20 emittiert. Die Synchronisation der Beleuchtung 10 mit dem Lichtlaufzeitsensor 20 ist über den eingezeichneten Doppepfeil angedeutet. 2 shows a 2D3D camera according to the invention, which may be preferably incorporated in a driver assistance system and in particular security system, with a transmitting unit or lighting 10 , the correspondingly modulated light for the operation of the light transit time sensor 20 emitted. The synchronization of the lighting 10 with the light transit time sensor 20 is indicated by the drawn double arrow.

Zusätzlich ist parallel zum Lichtlaufzeitsensor 20 ein Videosensor 50 so angeordnet, dass beide Sensoren 20, 50 im Wesentlichen den gleichen Raumbereich erfassen. Beiden Sensoren 20, 50 sind jeweils eine erste und zweite Auswerteeinheit 120, 150 zur Erzeugung einer Objektliste nachgeordnet. Eine Kontrolleinheit 160 ist mit den beiden Auswerteeinheiten 120, 150 und einer Kommunikationseinheit 180 verbunden ist. Die Kommunikationseinheit 180 leitet vorzugsweise die Informationen der beiden Auswerteeinheiten 120, 150, der Kontrolleinheit 160 und ggf. des Videosensors 50 beispielsweise an ein nachfolgendes Bussystem bzw. eine Kommunikationsschnittstelle weiter. Die Daten werden ggf. abhängig von Parametern oder Programmierungen aufbereitet und/oder ausgewählt. In addition, it is parallel to the light transit time sensor 20 a video sensor 50 arranged so that both sensors 20 . 50 essentially capture the same spatial area. Both sensors 20 . 50 are each a first and second evaluation 120 . 150 subordinate to the generation of an object list. A control unit 160 is with the two evaluation units 120 . 150 and a communication unit 180 connected is. The communication unit 180 preferably directs the information of the two evaluation units 120 . 150 , the control unit 160 and possibly the video sensor 50 for example, to a subsequent bus system or a communication interface on. The data may be edited and / or selected depending on parameters or programming.

Diese Anordnung kann vorzugsweise im Automobilbereich als vorausschauendes Sensorssystem eingesetzt werden, wobei in einem Fahrerassistenzsystem anhand der erkannten Objekte beispielsweise Kollisionswarnungen ausgegeben werden können. This arrangement can preferably be used in the automotive sector as a forward-looking sensor system, with collision warnings, for example, being able to be output in a driver assistance system on the basis of the detected objects.

Insbesondere in sicherheitskritischen Situationen, in denen beispielsweise eine bevorstehende Kollision erkannt wird, muss vor einem Auslösen einer Sicherheitseinrichtung, beispielsweise Airbag, Notbremsung etc., sichergestellt sein, dass eine Gefahrensituation vorliegt. In particular in safety-critical situations, in which, for example, an imminent collision is detected, it must be ensured that a dangerous situation exists before triggering a safety device, for example airbag, emergency braking, etc.

Um einen entsprechend hohen Sicherheitslevel zu erreichen wird erfindungsgemäß vorgeschlagen, die von dem Lichtlaufzeitsensor 20 erfassten und von der ersten Auswerteeinheit 120 klassifizierten Objekte mit einem diversitären und redundanten System, nämlich dem Videosensor 50 und der zweiten Auswerteeinheit 150 zu überprüfen. In order to achieve a correspondingly high level of security, the invention proposes that of the light transit time sensor 20 recorded by the first evaluation unit 120 classified objects with a diverse and redundant system, namely the video sensor 50 and the second evaluation unit 150 to check.

Die erste Auswerteeinheit 120 ist vorzugsweise als 3D-Bildverarbeitung ausgebildet, die ausgehend von den Tiefeninformationen des Lichtlaufzeitsensors 20 Objekte im Raum erkennt und als Objektliste ausgibt. Der Lichtlaufzeitsensor 20 liefert für jedes Entfernungspixel einen Entfernungswert. Objekte können beispielsweise dadurch erkannt werden, dass die Kanten eines Objekts typischerweise einen Entfernungssprung aufweisen. Ein Objekt in einer Objektliste kann beispielsweise durch seine Fläche, ggf. Volumen, Abstand und/oder Position charakterisiert werden. The first evaluation unit 120 is preferably formed as a 3D image processing, which starting from the depth information of the light transit time sensor 20 Recognizes objects in the room and outputs them as an object list. The light transit time sensor 20 provides a distance value for each distance pixel. Objects can be detected, for example, by the edges of an object typically having a distance jump. An object in an object list can be characterized for example by its area, possibly volume, distance and / or position.

Die zweite Auswerteeinheit 150 ist vorzugsweise als 2D-Bildverarbeitung ausgebildet, die ausgehend von den Bildinformationen, also idR dem Grauwertbild des Videosensors 50 Objekte erkennt und als zweite Objektliste, beispielsweise mit Fläche und Position, ausgibt. The second evaluation unit 150 is preferably formed as a 2D image processing, based on the image information, that is, the gray value image of the video sensor 50 Detects objects and outputs them as a second object list, for example with area and position.

Beiden Auswerteeinheiten 120, 150 nachgeschaltet ist eine Kontrolleinheit 160 vorgesehen, die die Objekte der beiden Objektlisten miteinander vergleicht. Both evaluation units 120 . 150 Downstream is a control unit 160 provided, which compares the objects of the two object lists with each other.

In einer bevorzugten Ausführungsform wird ausgehend von den in der ersten Objektliste aufgeführten Objekten untersucht, ob diese Objekte eine Entsprechung in der zweiten Objektliste aufweisen. In a preferred embodiment, based on the objects listed in the first object list, it is examined whether these objects have a correspondence in the second object list.

Dem Objekt kommt eine hohe Existenzwahrscheinlichkeit zu, wenn es in beiden Listen aufscheint und somit diversitär und redundant erfasst und erkannt wurde. In einem solchen Fall kann das Objekt mit einem Sicherheitssignal bzw. Sicherheitsparameter versehen werden. The object has a high likelihood of existence if it appears in both lists and thus has been detected and recognized diversified and redundant. In such a case, the object can be provided with a safety signal or safety parameter.

Beispielsweise kann das Objekt in mindestens einer der Objektlisten mit einem Sicherheitsparameter gekennzeichnet und über die Kommunikationseinheit 180 an ein Sicherheitsbussystem weiter gegeben werden. For example, the object can be identified in at least one of the object lists with a security parameter and via the communication unit 180 be passed on to a safety bus system.

Nachfolgende Sicherheitssysteme können beispielsweise so ausgestaltet sein, dass nur dann sicherheitskritische Funktionen ausgelöst werden, wenn das kritische Objekt mit einem Sicherheitsparameter versehen ist. Subsequent security systems may, for example, be designed such that safety-critical functions are only triggered if the critical object is provided with a security parameter.

In einer weiteren Ausgestaltung kann es vorgesehen sein, dass in Abhängigkeit der ersten Objektliste die Objekterkennung der zweiten Auswerteeinheit 150 unterstützt wird. Ist beispielsweise die Größe und Position eines Objektes aus der ersten Objektliste bekannt, kann mit diesen Informationen der Auswertealgorithmus der zweiten Auswerteeinheit 150 insbesondere im Hinblick auf eine schnelle und zuverlässige Objekterfassung optimiert. werden. In a further refinement, it may be provided that, depending on the first object list, the object recognition of the second evaluation unit 150 is supported. If, for example, the size and position of an object from the first object list are known, the evaluation algorithm of the second evaluation unit can use this information 150 optimized especially with regard to a fast and reliable object detection. become.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010
Sendeeinheit, Beleuchtung  Transmitting unit, lighting
1212
Beleuchtungslichtquelle  Illumination light source
1515
Strahlformungsoptik  Beam shaping optics
2020
Empfangseinheit, TOF-Kamera  Receiving unit, TOF camera
2222
Lichtlaufzeitsensor  Transit Time Sensor
2323
Lichtlaufzeitpixel, Pixel  Light transit time pixels, pixels
2525
Empfangsoptik  receiving optics
3030
Modulator  modulator
4040
Objekt  object
5050
Videosensor  video sensor
120120
erste Auswerteeinheit  first evaluation unit
150150
zweite Auswerteeinheit  second evaluation unit
160160
Kontrolleinheit  control unit
180180
Kommunikationseinheit  communication unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 1903536 B1 [0003] EP 1903536 B1 [0003]
  • EP 1777747 [0004] EP 1777747 [0004]
  • US 6587186 [0004] US 6587186 [0004]
  • DE 19704496 [0004, 0015] DE 19704496 [0004, 0015]

Claims (2)

2D3D-Kamera – mit einem Lichtlaufzeitsensor (20) zur Erfassung einer Tiefeninformation – und einem Videosensor (50) zur Erfassung einer Bildinformation, und – mit einer ersten und zweiten Auswerteeinheit (120, 150), zur Erzeugung einer ersten und zweiten Objektliste, wobei die erste Objektliste aus den Tiefeninformationen des Lichtlaufzeitsensors (20) und die zweite Objektliste aus den Bildinformationen des Videosensors gebildet wird, dadurch gekennzeichnet, dass – eine Kontrolleinheit (170) mit den beiden Auswerteeinheiten (120, 150) verbunden und derart ausgestaltet ist, dass die Kontrolleinheit (170) ein Sicherheitssignal bzw. ein Sicherheitsparameter für ein Objekt in der Objektliste generiert, wenn das Objekt in beide Objektlisten erfasst ist. 2D3D camera - with a light transit time sensor ( 20 ) for detecting a depth information - and a video sensor ( 50 ) for acquiring image information, and - with a first and second evaluation unit ( 120 . 150 ), for generating a first and second object list, wherein the first object list from the depth information of the light transit time sensor ( 20 ) and the second object list is formed from the image information of the video sensor, characterized in that - a control unit ( 170 ) with the two evaluation units ( 120 . 150 ) and configured such that the control unit ( 170 ) generates a safety signal or a safety parameter for an object in the object list if the object is detected in both object lists. Verfahren zum Betreiben einer 2D3D-Kamera, bei dem ausgehend von Tiefeninformationen eines Lichtlaufzeitsensors (20) ein erste Objektliste und ausgehend von Bildinformationen eines Videosensors (50) eine zweite Objektliste erstellt wird, in einem Vergleichsschritt wird überprüft, ob Objekte der ersten Objektliste als entsprechendes Objekt in der zweiten Objektliste erfasst sind, wobei für jedes Objekt, dass in beiden Listen erfasst ist ein Sicherheitssignal und/oder Sicherheitsparameter generiert bzw. gesetzt wird. Method for operating a 2D3D camera in which, based on depth information of a light transit time sensor ( 20 ) a first object list and from image information of a video sensor ( 50 ) is created in a comparison step, whether objects of the first object list are detected as a corresponding object in the second object list, wherein for each object that is detected in both lists, a security signal and / or security parameter is generated or set ,
DE201210200572 2012-01-16 2012-01-16 Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list Pending DE102012200572A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210200572 DE102012200572A1 (en) 2012-01-16 2012-01-16 Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210200572 DE102012200572A1 (en) 2012-01-16 2012-01-16 Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list

Publications (1)

Publication Number Publication Date
DE102012200572A1 true DE102012200572A1 (en) 2013-07-18

Family

ID=48693232

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210200572 Pending DE102012200572A1 (en) 2012-01-16 2012-01-16 Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list

Country Status (1)

Country Link
DE (1) DE102012200572A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018114386A1 (en) 2017-12-22 2019-06-27 Ifm Electronic Gmbh Method of generating image metadata for a controller

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP1903536B1 (en) 2006-09-25 2009-07-01 Robert Bosch Gmbh Driver assistance system with distance control and collision warning function

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP1903536B1 (en) 2006-09-25 2009-07-01 Robert Bosch Gmbh Driver assistance system with distance control and collision warning function

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018114386A1 (en) 2017-12-22 2019-06-27 Ifm Electronic Gmbh Method of generating image metadata for a controller

Similar Documents

Publication Publication Date Title
DE102011088130B4 (en) Method and device for detecting a braking situation
DE102009045600B4 (en) Camera system
DE102009023326A1 (en) Apparatus and method for detecting a critical area and pedestrian detection apparatus using the same
DE102006010295A1 (en) Camera system for e.g. motor vehicle, has two different image sensors, whose data are read and merged based on image characteristics to form three-dimensional image, where sensors are sensitive in different spectral regions
DE102010039092B4 (en) Method and control device for determining a distance between an object and a vehicle
DE102010003409A1 (en) Time-of-flight camera e.g. three-dimensional time-of-flight camera, operating method for car, involves detecting phase shift of electromagnetic radiation for frequencies that are formed adjacent to difference of phase shifts
DE102012100463A1 (en) Device for determining and outputting data for automatic light control system for vehicle, has evaluation unit considering data of environment sensor, which partially comprises detection regions outside detection region of vehicle camera
DE102009046108A1 (en) camera system
DE102015015022A1 (en) Apparatus and method for determining wetness on a roadway
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102013112536A1 (en) Anti-collision system for vehicles
DE102011105074A1 (en) Method for determining visual range for vehicle, involves determining surrounding of vehicle by camera, where contrast dimensions are determined for object depicted in images, where visual range is determined from contrast dimensions
DE102015007040A1 (en) Method for detecting and classifying pedestrians in an environment of a motor vehicle and motor vehicle
DE102011112715A1 (en) Method for detecting an object in an environment of a motor vehicle
DE102011081563A1 (en) Light-time camera system for monitoring entire signal path such as for safety-related applications for example safety integrity level, has light-time sensor with receiving pixel and illumination unit for emission of modulated light
DE102011055928A1 (en) Optical device e.g. stereo camera, for driver assistance system for detecting e.g. transport area lying ahead of vehicle, has concave mirror and deflecting prism arranged in optical path of near range radiation from near region
DE10243397B4 (en) Sensor system for triggering protective measures for vehicle occupants and pedestrians
DE102012200572A1 (en) Two-dimensional three-dimensional camera for security system of motor vehicle, has control unit connected with two evaluation units and is configured to generate safety signal and security parameter for object in object list
DE102020003009A1 (en) Process for operating a lidar and lidar
DE102014204423B4 (en) Time of flight camera system
DE102011082103B4 (en) Safety system for a motor vehicle
DE102009045558A1 (en) camera system
DE102015200583B4 (en) Method for camera-based ambient light detection of a vehicle and sensor unit for performing the method
DE102010003411A1 (en) Time-of-flight camera e.g. photo mixture detector camera, operating method, involves detecting phase shift of electromagnetic radiation for two various modulation frequencies, where difference of detected phase shifts is formed
DE102014218027A1 (en) Devices for image acquisition in the field of a motor vehicle

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE