EP3317692A1 - Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen - Google Patents

Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen

Info

Publication number
EP3317692A1
EP3317692A1 EP16731869.0A EP16731869A EP3317692A1 EP 3317692 A1 EP3317692 A1 EP 3317692A1 EP 16731869 A EP16731869 A EP 16731869A EP 3317692 A1 EP3317692 A1 EP 3317692A1
Authority
EP
European Patent Office
Prior art keywords
light source
marking
sensor device
camera
optics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16731869.0A
Other languages
English (en)
French (fr)
Inventor
Nadine Sticherling
Alexander Ziegler
Christof HACHE
Iko Lindic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huf Huelsbeck and Fuerst GmbH and Co KG
Original Assignee
Huf Huelsbeck and Fuerst GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huf Huelsbeck and Fuerst GmbH and Co KG filed Critical Huf Huelsbeck and Fuerst GmbH and Co KG
Publication of EP3317692A1 publication Critical patent/EP3317692A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements

Definitions

  • the invention relates to sensor arrangements, which for the optically supported detection of operating gestures or
  • the invention relates to sensor arrangements which detect and evaluate information resolved in terms of time and space in order to recognize the user's intention to operate.
  • DE 10 2008 025 669 A1 discloses an optical sensor which detects a gesture, whereupon a closing element of a vehicle is automatically moved.
  • WO 2008/116699 A2 relates to an optical sensor chip and relates to an optical anti-pinch device for monitoring a windowpane, sliding door or tailgate in a motor vehicle.
  • WO 2012/084222 Al discloses an optical sensor for
  • WO 2013/001084 A1 discloses a system for contactless
  • Invention is used.
  • the invention relates to a sensor arrangement which uses the time-of-flight (ToF) method, so that this will be briefly explained here.
  • ToF time-of-flight
  • the ToF method is a space area with a
  • Illuminated light source and recorded the duration of the reflected back from an object in the space area light with an area sensor should be arranged as close as possible to each other.
  • the distance between the sensor and the object to be measured can be determined from the linear relationship between the light transit time and the speed of light. To measure the time delay must be a synchronization between
  • the light source is pulsed in this concept.
  • the detection unit so the
  • Integration window of the individual pixels is synchronized with the time of the light source and in the integration period
  • this collection method is not a purely image-based acquisition method. It is determined at each pixel distance information, which by the temporal
  • the object of the invention is to provide an optical
  • the sensor device has a 3D camera, in particular a Time of Flight (ToF camera).
  • This camera has a pulsed light source and a light-sensitive one
  • the pulsed light source and the detection chip are coupled to a control circuit which coordinates and controls the light pulses and the evaluation of the sensor signals.
  • the pulsed light source can be a
  • Be laser diode coupled to a corresponding driver circuit for generating short pulses.
  • Both the pulse light source and the acquisition chip are arranged in a common space and to a
  • a further light source is formed in the construction space.
  • This light source is a marker light source and emits light in the visible spectrum.
  • this may be one or more high-power LEDs which, for example, emit / emit red, green or mixed-color light, predominantly in the range between 500 nm and 700 nm.
  • Marking light source is arranged and aligned in the space so that it is emitted in the visible spectrum emitted light in the detection range of the 3D camera.
  • the marker light source can radiate in a partial solid angle of the detection range or illuminate large parts of the detection range. In particular, a small solid angle range of the detection range can also be used
  • Marker light source is used to give the user a
  • Orientation of the user reduces operator errors. It In particular, it is avoided that gestures carried out outside the target area are erroneously recognized as an operator request. Also, this can be an area with
  • the sensor device is preferably accommodated overall in a uniform housing, that is to say with a pulsed light source, detection chip, marking light source and associated light source
  • Recesses can be used on the vehicle.
  • the sensor device has a uniform circuit board for the pulse light source
  • Detection chip and the marker light source has. In this way is a fixed relation of the distances and
  • the pulse light source, the detection chip and the marking light source are arranged along an optical axis in the installation space. In this way, the detection and associated marking is special
  • the marker light source is arranged in the straight extension of the optical axis between the detection chip and the pulse light source adjacent to the 3D camera arrangement.
  • the marking light source is arranged adjacent to a connection arrangement for the external connection of the circuit board and is coupled to the connection arrangement for the thermal dissipation of heat loss.
  • the marker light source is a bright and
  • Marking light source in particular powerful light emitting diodes with superior focusing optics used.
  • Light emitting diodes emit considerable heat loss during operation.
  • Marking light source at least with a flat
  • Forming surface extension ensures a derivative and Radiation of heat through the enlarged surface of the supply line. It is particularly advantageous when the areal
  • Supply line is designed as a sheet, which is partially cantilevered and runs at a distance, for example, to underlying boards.
  • a lead sheet can also extend in side walls of the housing.
  • the coupling of the flat feed lines can be combined with the coupling to the connection arrangement for external connection in order to further improve the thermal dissipation.
  • the flat electrical leads for example
  • Lead plates thermally coupled to the port means for transferring heat.
  • the marking light source is equipped with a marking optics, which a
  • Suitable marking optics may e.g. a recess for centering an LED
  • a marking optics with a receptacle for the LED in a base side and a radiation side, which is designed stepped, has proven to be advantageous. By enclosing the LED in a mounted glass body or KunststoffStoff body light losses are reduced.
  • Radiation side of the marking optics with parallel oblique steps ensures a directional radiation of the marker light.
  • Figure 1 shows schematically the arrangement of a
  • FIG. 2 shows a block diagram of an inventive device
  • Figure 3 shows a preferred embodiment of the invention in a perspective view
  • Figures 4a, 4b, 5a, 5b show the marker light source and marker optics in different views.
  • FIG. 1 the rear of a vehicle 1 is shown.
  • a sensor device 2 is in the rear-side bumper of Vehicle arranged.
  • the detection area 3 of a 3D sensor arrangement in the sensor device is directed downwards, away from the vehicle.
  • This sensor device is provided to detect the operating gesture for the actuation of a tailgate.
  • the user can perform in the area 3 a gesture with his foot, which is recognized as a control request and an electric opening of the tailgate of the vehicle. 1
  • a marking light source is also formed in the sensor device 2. This marker light source illuminates a region 4 which is a partial region of the detection region 3.
  • This marker light source illuminates brightly in the region 4 and emits light in the visible spectrum. A user recognizes this marked area as an illuminated area on the floor in the rear area. He can now purposefully move his foot into this area, which is marked by the light.
  • the camera device in the sensor device 2 detects the operating gesture and can trigger a tailgate operation. The marking by the marker light source makes it possible to carry out the operating gesture targeted and clear of
  • Vehicle be included.
  • the system can be awakened when an approach in the operating area 3 is detected.
  • the detection of the 3D camera is not dependent on the marker light source, but with a
  • Pulse light source operates in a different spectral range.
  • the marking is exclusively to the user's direction.
  • FIG. 2 shows the sensor device 2 in a schematic
  • a unitary housing 10 is designed as protection and receives a circuit board 11.
  • the board 11 has Connections 12, which is formed with a connector for coupling the sensor device 2 with a harness on the vehicle.
  • a pulse light source 13 is formed, in this embodiment, a laser diode in the near
  • the laser diode 13 is coupled to a driver circuit 14, which the laser diode for the transmission of short Pulsem in
  • the driver circuit 14 in turn is coupled to a control circuit 15, which also includes the
  • Photosensitive detection chip 16 drives.
  • the detection chip has a pixel array of 30x30 pixels in this embodiment. Such a pixel matrix is for observations of
  • Motion gestures are sufficient, but it can also be used arrays with dissimilar resolution.
  • the components 13, 14, 15, 16 form the 3D camera, which operates on the transit time principle.
  • Corresponding camera modules and circuits are known in the art.
  • the pulsed light source 13 together with the acquisition chip 16 defines an optical axis 20.
  • a marker light source 21 is formed in extension of the optical axis 20, a marker light source 21 is formed.
  • the marker light source 21 is a
  • the marker light source 21, the detection chip 16 and the pulsed light source 13 are therefore configured
  • the marker light source 21 is also adjacent to the
  • Terminals 12 arranged.
  • Lead sheets 22a, 22b supply the operating voltage of the marker light source 21 and at the same time serve as a heat sink for emitting the heat loss of the light source.
  • An associated driver circuit 23 is coupled to the leads 22a, 22b and to the circuit 15, which also coordinates the connection of the marker light source.
  • the lead sheets 22a, 22b are spaced from the board 11 to dissipate heat also by convection between the board and lead plates 22a, 22b.
  • the lead sheets 22a, 22b are spaced from the board 11 to dissipate heat also by convection between the board and lead plates 22a, 22b.
  • a thermal coupling with the external connection elements 12 may be provided to dissipate heat through the connecting elements 12 in the plug and leads.
  • the proposed arrangement is a compact, uniform
  • a board 50 On a board 50 are the pulse light source 51, the
  • Marking light source with marking optics 55 shown The components are arranged along an axis on the circuit board 50.
  • the board is surrounded by the components by a housing, which each have viewing openings for the
  • Figures 4a and 4b show the marking optics 55 and the
  • Marker light source 54 separate from the board and in various perspective views. It is clear that the marking light source in the form of an LED in the
  • Marking optics 55 dips.
  • the marking optics 55 has an optics holder 56, which is fixed on the board with lugs on its underside.
  • the marker optics 55 is on
  • Marker light source 54 and the marker optics 55 are aligned by the optical holder 56 to each other and secured in position.
  • FIGS. 5a and 5b show the arrangement of the component marking light source 54, marking optics 55 and optics holder 56 in various representations.
  • Figure 5a is a
  • Marking optics 55 has a stepped top, which is a steering of the radiation from the marker light source 54th causes.
  • the glass body has a conical-bulbous shape and has projections which engage in complementary openings of the optical holder 56 for a rotationally secure holding.
  • FIG. 5b shows the mounted state in which the
  • Marking light source dips into a recess of the marking optics 55 and the marking optics is accommodated in the optics holder.
  • the cavity in the marking optics and the opening of the optical holder facilitate alignment over the light source.

Abstract

Eine Sensoreinrichtung (2) zur optischen Erfassung von Objekten und deren räumlichen Bewegungen. Eine 3D-Kamera erfasst räumliche Daten mit einem Laufzeitverfahren, wobei die 3D-Kamera eine Pulslichtquelle (13) und einen lichtsensitiven Erfassungschip (16) aufweist. Die Pulslichtquelle (13) und der Erfassungschip (16) sind in einem gemeinsamen Bauraum angeordnet und beide sind zu einem Erfassungsbereich der 3D-Kamera ausgerichtet. In dem Bauraum ist eine weitere Lichtquelle als Markierungslichtquelle (21) ausgebildet, wobei die Markierungslichtquelle Licht im sichtbaren Spektrum abstrahlt und derart ausgerichtet ist, dass von der Markierungslichtquelle ausgehend Licht in den Erfassungsbereich (3) der 3D-Kamera abgestrahlt wird.

Description

Sensoranordnung zur optischen Erfassung von
Bediengesten an Fahrzeugen
Die Erfindung betrifft Sensoranordnungen, welche zur optisch gestützten Erkennung von Bedienungsgesten oder
Bedienungshandlungen an Kraftfahrzeugen eingesetzt werden.
Insbesondere betrifft die Erfindung Sensoranordnungen, welche zeitlich und räumlich aufgelöste Informationen erfassen und auswerten, um den Bedienwillen eines Benutzers zu erkennen.
Im Stand der Technik sind optische Verfahren bekannt, die
Betätigungen in Reaktion auf eine Auswertung von
Bildinformationen erkennen und daraufhin z.B. Schaltvorgänge auslösen. Beispielsweise sind hier automatische
Videoauswertungen von Überwachungssystemen zu nennen, welche Muster oder Bewegungen aus einzelnen Bildern oder einer Folge von Bilder herauslesen. Außerdem sind zahlreiche andere optisch gestützte Systeme bekannt, wobei zu den grundlegendsten
Lichtschranken oder Helligkeitssensoren gehören. Optische
Systeme mit höherer Komplexität bedienen sich jedoch oft eines Arrays von optisch sensitiven Erfassungseinheiten, meist als
Pixel bezeichnet, die parallel optische Informationen aufnehmen, beispielsweise in Gestalt eines CCD-Arrays.
Die DE 10 2008 025 669 AI offenbart einen optischen Sensor, welcher eine Geste detektiert, woraufhin ein Schließelement eines Fahrzeugs automatisch bewegt wird.
Die WO 2008/116699 A2 betrifft einen optischen Sensorchip und bezieht sich auf eine optische Einklemmschutzvorrichtung für die Überwachung einer Fensterscheibe, Schiebetür oder einer Heckklappe in einem Kraftfahrzeug.
Die WO 2012/084222 AI offenbart einen optischen Sensor zur
Betätigung und Überwachung eines Schließelements.
Da die Gestensteuerung in verschiedenen technischen
Bereichen immer größere Akzeptanz erfährt, wurden auch Versuche unternommen, solche rein optischen Systeme zur Erkennung des Bedienwunsches bei Kraftfahrzeugen zu verwenden. Bei diesen Systemen herrscht jedoch weiterhin die Erfassung von Bedienungen über kapazitive Systeme vor.
Im Bereich der optischen Erfassung sind Systeme bekannt, welche eine pixelbezogene Ortsinformation, insbesondere eine Distanz von der Sensor- oder Erfassungseinrichtung erfassen. Die WO 2013/001084 AI offenbart ein System zur berührungslosen
Erfassung von Gegenständen und Bediengesten mit einer optisch gestützten Einrichtung ähnlicher Art, wie sie auch für die
Erfindung einsetzbar ist.
Diese Systeme werden beispielsweise, je nach angewandtem
Auswertungsverfahren, als „Time-of-flight"-Systeme oder auch als „3D-Imager" oder „Range Imager" bezeichnet. Die
Anwendungsgebiete solcher Systeme liegen im Bereich der
industriellen Automatisierungstechnik, in der Sicherheitstechnik und im Automobilbereich. In einem Auto werden 3D-Sensoren in Spurhaltesystemen, zum Fußgängerschutz oder als Einparkhilfe eingesetzt. Sowohl Konzepte der Triangulation als auch der
Interferometrie und auch der LichtlaufZeitmessung (Time-of- flight (ToF) ) können mit optischen Sensoren umgesetzt werden. In diesem Zusammenhang wird auf diesbezügliche Ausarbeitungen verwiesen, welche die technischen Konzepte und deren
Realisierung detailliert beschreiben, insbesondere die
Dissertation „Photodetektoren und Auslesekonzepte für 3D-Time- of-Flight-Bildsensoren in 0,35 pm-Standard-CMOS-Technologie" , Andreas Spickermann, Fakultät für Ingenieurwissenschaften der, Universität Duisburg-Essen, 2010.
Außerdem wird auf die Publikation „Optimized Distance
Measurement with 3D-CMOS Image Sensor and Real-Time Processing of the 3D Data for Applications in Automotive and Safety
Engineering", Bernhard König, Fakultät für
Ingenieurwissenschaften der Universität Duisburg-Essen, 2008 verwiesen .
Die vorgenannten Arbeiten beschreiben das Konzept und die Realisierung von einsetzbaren optischen Sensorsystemen, so dass im Rahmen dieser Anmeldung auf deren Offenbarung verwiesen wird und nur zum Verständnis der Anmeldung relevante Aspekte
erläutert werden. Die Erfindung betrifft eine Sensoranordnung welche das Time- of-Flight- (ToF) Verfahren nutzt, so dass dieses hier kurz erläutert wird.
Beim ToF-Verfahren wird ein Raumbereich mit einer
Lichtquelle beleuchtet und die Laufzeit des von einem Objekt im Raumbereich zurück reflektierten Lichtes mit einem Flächensensor aufgenommen. Dazu sollten Lichtquelle und Sensor möglichst nah zueinander angeordnet sein. Aus dem linearen Zusammenhang von Lichtlaufzeit und Lichtgeschwindigkeit lässt sich die Distanz zwischen Sensor und Messobjekt bestimmen. Zur Messung der zeitlichen Verzögerung muss eine Synchronisation zwischen
Lichtquelle und Sensor gegeben sein. Durch die Nutzung gepulster Lichtquellen können die Verfahren optimiert werden, denn kurze Lichtpulse (im ns-Bereich) ermöglichen eine effiziente
Hintergrundlichtunterdrückung. Außerdem werden durch die
Verwendung des gepulsten Lichts mögliche Mehrdeutigkeiten bei der Bestimmung der Distanz vermieden, so lange der Abstand genügend groß ist.
Einerseits wird bei diesem Konzept die Lichtquelle gepulst betrieben. Außerdem wird die Detektionseinheit , also das
Pixelarray gepulst sensitiv geschaltet, also das
Integrationsfenster der einzelnen Pixel wird zeitlich mit der Lichtquelle synchronisiert und in der Integrationsdauer
begrenzt. Durch den Vergleich von Ergebnissen mit
unterschiedlichen Integrationsdauern können insbesondere Effekte von Hintergrundlicht herausgerechnet werden.
Wesentlich ist, dass diese Erfassungsmethode keine rein bildbasierte Erfassungsmethode ist. Es wir bei jedem Pixel eine Abstandsinformation ermittelt, was durch die zeitliche
Lichtdetektion erfolgt. Bei Verwendung eines Pixelarrays liegt schließlich eine Matrix von Abstandswerten vor, welche bei zyklischer Erfassung eine Interpretation und Verfolgung von Objektbewegungen zulässt.
Die Aufgabe der Erfindung besteht darin, eine optische
Sensoreinrichtung mit gesteigerter Bedienerfreundlichkeit zur Verfügung zu stellen. Die Aufgabe wird durch eine Sensoreinrichtung mit den
Merkmalen des Patentanspruchs 1 gelöst.
Die erfindungsgemäße Sensoreinrichtung weist eine 3D-Kamera, insbesondere eine Time of Flight (ToF-Kamera) auf. Diese Kamera weist eine Pulslichtquelle und einen lichtsensitiven
Erfassungschip mit einem Pixelarray auf. Die Pulslichtquelle und der Erfassungschip werden mit einer Steuerschaltung gekoppelt, welche die Lichtpulse und die Auswertung der Sensorsignale koordiniert und steuert. Die Pulslichtquelle kann eine
Laserdiode sein, die mit einer entsprechenden Treiberschaltung zur Erzeugung kurzer Pulse gekoppelt ist. Entsprechende
Steuerschaltungen und Anordnungen sind aus dem Stand der Technik bekannt .
Sowohl die Pulslichtquelle als auch der Erfassungschip sind in einem gemeinsamen Bauraum angeordnet und zu einem
Erfassungsbereich der 3D-Kamera hin ausgerichtet.
Erfindungsgemäß ist in dem Bauraum eine weitere Lichtquelle, getrennt von der Pulslichtquelle ausgebildet. Diese Lichtquelle ist eine Markierungslichtquelle und strahlt Licht im sichtbaren Spektrum ab. Es kann sich dabei insbesondere um eine oder mehrere Hochleistungs-LED ( s ) handeln, die beispielsweise rotes, grünes oder mischfarbenes Licht, überwiegend im Bereich zwischen 500 nm und 700 nm abstrahlt /abstrahlen . Die
Markierungslichtquelle ist in dem Bauraum so angeordnet und ausgerichtet, dass von ihr im sichtbaren Spektrum abgestrahltes Licht in dem Erfassungsbereich der 3D-Kamera abgestrahlt wird. Die Markierungslichtquelle kann in einem Teil-Raumwinkel des Erfassungsbereiches hineinstrahlen oder auch weite Teile des Erfassungsbereiches ausleuchten. Es kann insbesondere auch ein kleiner Raumwinkelbereich des Erfassungsbereichs als
Spotbeleuchtung ausgeleuchtet werden. Diese
Markierungslichtquelle dient dazu, dem Benutzer einen
Bedienbereich zu markieren, der von dem Benutzer leicht
erkennbar ist. In diesem Bedienbereich kann der Benutzer
Bediengesten ausführen, die von der 3D-Kamera erfasst und ausgewertet werden. Durch eine solche Markierung und
Orientierung des Benutzers werden Fehlbedienungen vermindert. Es wird insbesondere vermieden, dass außerhalb des Zielbereiches ausgeführte Gesten fälschlicherweise als Bedienwunsch erkannt werden. Außerdem kann auf diese Weise ein Bereich mit
ausreichendem Signalkontrast markiert werden und Benutzer akzeptieren allgemein Systeme mit klar definiertem
Erfassungsbereich eher als Systeme, deren Bedienung
unübersichtlich bleibt. Benutzer wünschen üblicherweise,
Fahrzeugfunktionen gezielt ausführen zu können, wobei die optische Markierung in einem einheitlichen Bauraum ein System schafft, welches dem Benutzer sowohl die Vorteile einer 3D-
Kamera zur Gestenerfassung als auch die Orientierung über eine Beleuchtung liefert.
Bevorzugt ist die Sensoreinrichtung insgesamt in einem einheitlichen Gehäuse aufgenommen, also mit Pulslichtquelle, Erfassungschip, Markierungslichtquelle und zugehörigen
Komponenten in einem Gehäuse. Auf diese Weise ist eine kompakte Sensoreinrichtung geschaffen, die in Halterungen oder
Ausnehmungen am Fahrzeug einsetzbar ist. Die Ansteuerung und Auswertung sowie Versorgung erfolgt über einen einheitlichen Kabelbaum, wobei insbesondere eine Steckerverbindung zur
Kopplung mit einem Kabelbaum vorgesehen ist.
Es ist besonders vorteilhaft, wenn die Sensoreinrichtung eine einheitliche Platine für die Pulslichtquelle, den
Erfassungschip und die Markierungslichtquelle aufweist. Auf diese Weise ist eine feste Relation der Abstände und
Ausrichtungen der Komponenten gewährleistet und eine
Verschiebung der Komponenten durch Vibrationen oder
Umwelteinflüsse ist ausgeschlossen.
Es ist besonders vorteilhaft, wenn die Pulslichtquelle, der Erfassungschip und die Markierungslichtquelle entlang einer optischen Achse in dem Bauraum angeordnet sind. Auf diese Weise ist die Erfassung und zugehörige Markierung besonders
verlässlich. Außerdem werden Fehlausleuchtungen durch Abweichen der Markierungslichtquelle gegenüber der optischen Achse, und damit Störungen für die Erfassung durch die 3D-Kamera im
Erfassungsbereich reduziert. Bei der Anordnung entlang der optischen Achse sind üblicherweise die Komponenten der 3D-Kamera unmittelbar
benachbart zueinander angeordnet. Dies ist bereits aufgrund der Signallaufzeiten zwischen Erfassung und Pulslichtquelle
erforderlich, da diese mit hoher Präzision zeitlich koordiniert arbeiten müssen.
Die Markierungslichtquelle ist in der geraden Verlängerung der optischen Achse zwischen Erfassungschip und Pulslichtquelle neben der 3D-Kamera-Anordnung angeordnet .
Es ist besonders bevorzugt, wenn die Markierungslichtquelle benachbart zu einer Anschlussanordnung zur externen Verbindung der Platine angeordnet ist und zur thermischen Ableitung von Verlustwärme mit der Anschlussanordnung gekoppelt ist.
Die Markierungslichtquelle ist eine lichtstarke und
verlustwärmereiche Lichtquelle. Dies liegt unter anderem daran, dass die Markierungsfunktion auch bei heller Umgebung
gewährleistet sein muss, um einen Benutzer verlässlich einen markierten Bereich zu kennzeichnen. Außerdem ist die Verwendung von leistungsstarken, aber verlustarmen Lichtquellen in Gestalt von Laserdioden strengen Reglementierungen hinsichtlich der Gefahr für Verletzungen unterworfen. Daher werden als
Markierungslichtquelle insbesondere leistungsstarke Leuchtdioden mit vorgesetzten Fokussierungsoptiken verwandt. Diese
Leuchtdioden geben in Betrieb erhebliche Verlustwärme ab. Die bevorzugte Anordnung der Markierungslichtquelle im Bereich der externen Anschlüsse, also insbesondere in Seitenbereichen der Platine und mit einer thermischen Kopplung zu den Anschlüssen führt einen Teil der Verlustwärme zu den Anschlüssen. Dabei wird insbesondere verhindert, dass die Verlustwärme die Erfassung der 3D-Kamera negativ beeinflusst oder die gesamte Sensoreinrichtung zu stark erwärmt.
In einer bevorzugten Ausführungsform ist die
Markierungslichtquelle wenigstens mit einer flächigen
elektrischen Zuleitung als Kühlkörper für Verlustwärme versehen. Die elektrische Zuleitung gleichzeitig als Kühlkörper
einzusetzen und dafür mit einer möglichst großen
Flächenerstreckung auszubilden, sorgt für eine Ableitung und Abstrahlung der Wärme durch die vergrößerte Oberfläche der Zuleitung. Es ist besonders vorteilhaft, wenn die flächige
Zuleitung als Blech ausgeführt ist, welches abschnittsweise freitragend ist und mit Abstand beispielsweise zu unterliegenden Platinen verläuft. Ein solches Zuleitungsblech kann auch in Seitenwandungen des Gehäuses verlaufen.
Die Kopplung der flächigen Zuleitungen kann mit der Kopplung an die Anschlussanordnung zur externen Verbindung kombiniert sein, um die thermische Ableitung weiter zu verbessern. Dann sind die flächigen elektrischen Zuleitungen, beispielsweise
Zuleitungsbleche, mit den Anschlusseinrichtungen zur Überführung von Wärme thermisch gekoppelt.
Es ist vorteilhaft, wenn die Markierungslichtquelle mit einer Markierungsoptik ausgestattet ist, welche eine
Strahlformung vornimmt. Eine geeignete Markierungsoptik kann z.B. eine Ausnehmung zur zentrierten Aufnahme einer LED
aufweisen und einen Glas- oder KunstStoffkörper, welcher die Strahlen der LED in der gewünschten Weise bündelt oder/und ausrichtet. Eine Markierungsoptik mit einer Aufnahme für die LED in einer Grundseite und einer Abstrahlseite, welche gestuft ausgeführt ist, hat sich als vorteilhaft erwiesen. Durch die Umschließung der LED in einem aufgesetzten Glaskörper oder KunstStoffkörper werden Lichtverluste reduziert. Eine
Abstrahlseite der Markierungsoptik mit parallelen Schrägstufen sorgt für eine gerichtete Abstrahlung des Markierungslichts.
Die Erfindung wird nun anhand einer beiliegenden Zeichnung näher erläutert.
Figur 1 zeigt schematisch die Anordnung einer
erfindungsgemäßen Sensoreinrichtung an einem Fahrzeug;
Figur 2 zeigt ein Blockschaltbild einer erfindungsgemäßen
Sensoreinrichtung;
Figur 3 zeigt eine bevorzugte Ausführungsform der Erfindung in einer perspektivischen Darstellung;
Figuren 4a, 4b, 5a, 5b zeigen die Markierungslichtquelle und Markierungsoptik in verschiedenen Ansichten.
In Figur 1 ist das Heck eines Fahrzeuges 1 gezeigt. Eine Sensoreinrichtung 2 ist im heckseitigen Stoßfänger des Fahrzeuges angeordnet. Der Detektionsbereich 3 einer 3D- Sensoranordnung in der Sensoreinrichtung ist nach unten, hinten vom Fahrzeug weg gerichtet. Diese Sensoreinrichtung ist dazu vorgesehen, die Bediengeste für die Betätigung einer Heckklappe zu erfassen. Dazu kann der Benutzer in dem Bereich 3 eine Geste mit seinem Fuß ausführen, die als Bedienwunsch erkannt wird und eine elektrische Öffnung der Heckklappe des Fahrzeuges 1
auslöst .
Während der gesamte Erfassungsbereich 3 der 3D- Sensoranordnung sich über einen großen Raumwinkel erstreckt, ist in der Sensoreinrichtung 2 außerdem eine Markierungslichtquelle ausgebildet. Diese Markierungslichtquelle leuchtet einen Bereich 4 aus, der einen Teilbereich des Erfassungsbereiches 3 ist.
Diese Markierungslichtquelle leuchtet lichtstark in dem Bereich 4 und strahlt Licht in dem sichtbaren Spektrum ab. Ein Benutzer erkennt diesen markierten Bereich als ausgeleuchteten Bereich auf dem Boden im Heckbereich. Er kann nun zielgerichtet seinen Fuß in diesen Bereich bewegen, der durch das Licht markiert ist. Die Kameraeinrichtung in der Sensoreinrichtung 2 erfasst die Bediengeste und kann eine Heckklappenbetätigung auslösen. Die Markierung durch die Markierungslichtquelle erlaubt es, die Bediengeste zielgerichteter auszuführen und deutlicher von
Bewegungen in dem übrigen Bereich 3 zu unterscheiden. Es kann durchaus vorgesehen sein, dass auch die übrigen erfassbaren Bereiche in dem Erfassungsbereich 3 in die Auswertungen im
Fahrzeug einbezogen werden. Beispielsweise kann das System geweckt werden, wenn eine Annäherung in dem Bedienbereich 3 detektiert wird. Die Ausführung von konkreten
Entriegelungsgesten oder Bewegungsgesten ist jedoch
sinnvollerweise in dem markierten Bereich 4 auszuführen. Es ist festzuhalten, dass die Erfassung der 3D-Kamera nicht auf die Markierungslichtquelle angewiesen ist, sondern mit einer
Pulslichtquelle in einem anderen Spektralbereich arbeitet. Die Markierung erfolgt ausschließlich zu Leitung des Benutzers.
Figur 2 zeigt die Sensoreinrichtung 2 in einem schematischen
Blockschaltbild. Ein einheitliches Gehäuse 10 ist als Schutz ausgebildet und nimmt eine Platine 11 auf. Die Platine 11 weist Anschlüsse 12 auf, die mit einem Steckverbinder zur Kopplung der Sensoreinrichtung 2 mit einem Kabelbaum am Fahrzeug ausgebildet ist .
Auf der Platine 11 ist eine Pulslichtquelle 13 ausgebildet, in dieser Ausführungsform einer Laserdiode im nahen
Infrarotbereich mit einer vorgesetzten Aufweitungsoptik . Die Laserdiode 13 ist mit einer Treiberschaltung 14 gekoppelt, welche die Laserdiode zur Aussendung von kurzen Pulsem im
Nanosekundenbereich ansteuert. Die Treiberschaltung 14 wiederum ist mit einer Steuerschaltung 15 gekoppelt, die auch den
fotosensitiven Erfassungschip 16 ansteuert. Der Erfassungschip weist in dieser Ausführungsform ein Pixelarray von 30x30 Pixeln auf. Eine solche Pixelmatrix ist für Erfassungen von
Bewegungsgesten ausreichen, es können jedoch auch Arrays mit abweichender Auflösung eingesetzt werden.
Die Komponenten 13, 14, 15, 16 bilden die 3D-Kamera, die nach dem Laufzeitprinzip arbeitet. Entsprechende Kameramodule und Schaltungen sind dem Stand der Technik bekannt.
Die Pulslichtquelle 13 definiert mit dem Erfassungschip 16 zusammen eine optische Achse 20. In Verlängerung der optischen Achse 20 ist eine Markierungslichtquelle 21 ausgebildet. In diesem Beispiel ist die Markierungslichtquelle 21 eine
leistungsstarke Leuchtdiode. Die Markierungslichtquelle 21, der Erfassungschip 16 und die Pulslichtquelle 13 liegen also
innerhalb eines einheitlichen Gehäuses 10 und auf einer
gemeinsamen Platine 11 entlang einer optischen Achse 20. Die Markierungslichtquelle 21 ist außerdem benachbart zu den
Anschlüssen 12 angeordnet. Zuleitungsbleche 22a, 22b liefern die Betriebsspannung der Markierungslichtquelle 21 und dienen gleichzeitig als Kühlkörper für die Abgabe der Verlustwärme der Lichtquelle. Eine zugehörige Treiberschaltung 23 ist mit den Zuleitungen 22a, 22b gekoppelt und mit der Schaltung 15, welche auch die Zuschaltung der Markierungslichtquelle koordiniert.
Die Zuleitungsbleche 22a, 22b verlaufen beabstandet zu der Platine 11, um Wärme auch durch Konvektion zwischen Platine und Zuleitungsblechen 22a, 22b abzuführen. Außerdem können die
Zuleitungsbleche profiliert oder gefaltet sein, um die Kühlwirkung weiter zu verbessern. Auch eine thermische Kopplung mit den externen Verbindungselementen 12 kann vorgesehen sein, um Wärme durch die Verbindungselemente 12 in den Stecker und Zuleitungen abzuführen.
Die vorgeschlagene Anordnung ist eine kompakte, einheitliche
Sensoranordnung mit einer 3D-Erfassung und Markierung eines Bedienbereiches. Da die Komponenten gemeinsam mit einem Gehäuse aufgenommen sind und zueinander dauerhaft ausgerichtet sind, ist der Einbau am Fahrzeug besonders einfach und zuverlässig
In Figur 3 ist eine Baueinheit mit den
erfindungswesentlichen Komponenten in einer bevorzugten
Ausführungsform gezeigt.
Auf einer Platine 50 sind die Pulslichtquelle 51, die
Erfassungsoptik 52 mit Erfassungschip, und die
Markierungslichtquelle mit Markierungsoptik 55 dargestellt. Die Bauteile sind entlang einer Achse auf der Platine 50 angeordnet. In der Praxis ist die Platine mit den Komponenten durch ein Gehäuse umgeben, welches jeweils Sichtöffnungen für die
optischen Strahlengänge aufweist.
Die Figuren 4a und 4b zeigen die Markierungsoptik 55 und die
Markierungslichtquelle 54 getrennt von der Platine und in verschiedenen perspektivischen Ansichten. Es ist deutlich, dass die Markierungslichtquelle in Gestalt einer LED in die
Markierungsoptik 55 eintaucht. Die Markierungsoptik 55 hat einen Optikhalter 56, welcher auf der Platine mit Ansätzen an seiner Unterseite festgelegt ist. Die Markierungsoptik 55 ist ein
Glaskörper mit einer schräg gestuften Abstrahlseite, welcher die Strahlung der LED ausrichtet und formt. Sowohl die
Markierungslichtquelle 54 als auch die Markierungsoptik 55 werden durch den Optikhalter 56 zueinander ausgerichtet und in ihrer Lage gesichert.
Die Figuren 5a und 5b zeigen die Anordnung der Komponenten Markierungslichtquelle 54, Markierungsoptik 55 und Optikhalter 56 in verschiedenen Darstellungen. In Figur 5a ist eine
Explosionsdarstellung gezeigt. Der Glaskörper der
Markierungsoptik 55 weist eine gestufte Oberseite auf, welche eine Lenkung der Strahlung von der Markierungslichtquelle 54 bewirkt. Der Glaskörper ist konisch-bauchig geformt und hat Ansätze, die in komplementäre Öffnungen der Optikhalters 56 zum verdrehsicheren Halten eingreifen.
Figur 5b zeigt den montierten Zustand, in welchem die
Markierungslichtquelle in eine Ausnehmung der Markierungsoptik 55 eintaucht und die Markierungsoptik in dem Optikhalter aufgenommen ist. Der Optikhalter 56 kann mitsamt der
Markierungsoptik 55 über der Lichtquelle 54 auf einer
unterliegenden Platine montiert werden, wobei der Hohlraum in der Markierungsoptik und die Öffnung des Optikhalters eine Ausrichtung über der Lichtquelle erleichtern.

Claims

Patentansprüche
1. Sensoreinrichtung (2) zur optischen Erfassung von Objekten und deren räumlichen Bewegungen, aufweisend,
eine 3D-Kamera, die räumliche Daten mit einem
Laufzeitverfahren erfasst, wobei die 3D-Kamera eine
Pulslichtquelle (13; 51) und einen lichtsensitiven
Erfassungschip (16; 52) aufweist,
wobei die Pulslichtquelle (13; 51) und der Erfassungschip (16; 52) in einem gemeinsamen Bauraum angeordnet sind und beide zu einem Erfassungsbereich der 3D-Kamera ausgerichtet sind,
dadurch gekennzeichnet,
dass in dem Bauraum eine weitere Lichtquelle als
Markierungslichtquelle (21; 54) ausgebildet ist, wobei die
Markierungslichtquelle Licht im sichtbaren Spektrum abstrahlt und derart ausgerichtet ist, dass von der
Markierungslichtquelle ausgehend Licht in den
Erfassungsbereich (3) der 3D-Kamera abgestrahlt wird.
2. Sensoreinrichtung nach Anspruch 1, wobei die 3D-Kamera und die Markierungslichtquelle (21; 54) in einem gemeinsamen Gehäuse (10) aufgenommen sind.
3. Sensoreinrichtung nach einem der vorangehenden
Ansprüche, wobei die Pulslichtquelle (13; 51), der
Erfassungschip (16; 52) und die Markierungslichtquelle (21; 54) auf einer gemeinsamen Platine (11; 30) angeordnet sind.
4. Sensoreinrichtung nach einem der vorangehenden
Ansprüche, wobei die Pulslichtquelle (13; 51), der
Erfassungschip (16; 52) und die Markierungslichtquelle (21; 54) entlang einer optischen Achse (20) angeordnet sind.
5. Sensoreinrichtung nach einem der Ansprüche 3 oder 4, wobei die Markierungslichtquelle (21) benachbart zu einer Anschlussanordnung (12) zur externen Verbindung der Platine angeordnet ist und zur thermischen Ableitung von Verlustwärme mit der Anschlussanordnung gekoppelt ist.
6. Sensoreinrichtung nach einem der vorangehenden
Ansprüche, wobei die Markierungslichtquelle (21) wenigstens mit einer flächigen elektrischen Zuleitung (22a, 22b) als Kühlkörper für Verlustwärme versehen ist.
7. Sensoreinrichtung nach Anspruch 6, wobei die flächige elektrische Zuleitung (22a, 22b) als Blech ausgebildet ist, welches abschnittsweise freitragend, insbesondere beabstandet zu unterliegenden Platinen (11) angeordnet ist.
8. Sensoreinrichtung nach einem der vorangehenden
Ansprüche, wobei der Markierungslichtquelle (54) eine
Markierungsoptik (55) zugeordnet ist, welche mit einer
Ausnehmung zur Aufnahme der Markierungsoptik versehen ist und über der Markierungslichtquelle (54) angeordnet ist, so dass die Markierungslichtquelle in die Aufnahme der
Markierungsoptik eintaucht.
9. Sensoreinrichtung nach Anspruch 8, wobei der
Markierungslichtquelle (54) und der Markierungsoptik (55) ein Optikhalter (56) zugeordnet ist, welcher die Markierungsoptik (55) verdrehsicher aufnimmt und eine Aufnahme für die
Markierungslichtquelle aufweist, wobei der Optikhalter
Befestigungsmittel zu Montage auf einer Platine aufweist.
EP16731869.0A 2015-09-08 2016-06-22 Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen Withdrawn EP3317692A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015115096.4A DE102015115096A1 (de) 2015-09-08 2015-09-08 Sensoranordnung zur optischen Erfassung von Bediengesten an Fahrzeugen
PCT/EP2016/064432 WO2017041917A1 (de) 2015-09-08 2016-06-22 Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen

Publications (1)

Publication Number Publication Date
EP3317692A1 true EP3317692A1 (de) 2018-05-09

Family

ID=56203366

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16731869.0A Withdrawn EP3317692A1 (de) 2015-09-08 2016-06-22 Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen

Country Status (3)

Country Link
EP (1) EP3317692A1 (de)
DE (1) DE102015115096A1 (de)
WO (1) WO2017041917A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017222816A1 (de) * 2017-12-14 2019-06-19 Bayerische Motoren Werke Aktiengesellschaft Markieren eines einen Erfassungsbereich einer fahrzeugseitigen Umfeldsensorik repräsentierenden Bodenbereichs
WO2022117177A1 (de) * 2020-12-01 2022-06-09 Vega Grieshaber Kg Passives statusanzeigemodul für einen sensor

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058650A1 (en) * 2001-09-25 2003-03-27 Kelvin Shih Light emitting diode with integrated heat dissipater
GB2391702B (en) * 2002-06-07 2006-01-04 Polymer Optics Ltd Modular optical system
DE102007014034B3 (de) 2007-03-23 2008-09-25 Continental Automotive Gmbh Optischer Sensorchip und Einklemmschutzvorrichtung mit einem solchen
US8091280B2 (en) 2007-06-01 2012-01-10 GM Global Technology Operations LLC Arms full vehicle closure activation apparatus and method
US8038465B2 (en) * 2008-01-07 2011-10-18 Lear Corporation Electrical connector and heat sink
DE102010056171A1 (de) 2010-12-24 2012-06-28 Volkswagen Ag Verfahren zum automatischen Betätigen eines Schließelements eines Fahrzeugs sowie entsprechende Vorrichtung und Fahrzeug
DE102011089195A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
DE102012109031A1 (de) * 2012-09-25 2014-03-27 Huf Hülsbeck & Fürst Gmbh & Co. Kg Elektronische Sensoreinheit zur Erfassung der berührungslosen Betätigung einer Tür oder Klappe an einem Kraftfahrzeug
DE102014101206A1 (de) * 2014-01-31 2015-08-06 Huf Hülsbeck & Fürst Gmbh & Co. Kg Montagemodul für ein Kraftfahrzeug

Also Published As

Publication number Publication date
DE102015115096A1 (de) 2017-03-09
WO2017041917A1 (de) 2017-03-16

Similar Documents

Publication Publication Date Title
EP3033251B1 (de) Sensoranordnung zur erfassung von bediengesten an fahrzeugen
DE102008002086B4 (de) Fahrzeugabbildungssystem und Fahrzeugsteuerungsgerät
EP2946227B1 (de) Sensoranordnung zur erfassung von bediengesten an fahrzeugen
EP2314427B1 (de) Verfahren und Vorrichtung zur Steuerung von elektrischen Geräten mittels Bewegungsdetektion
US10214181B2 (en) Universal sensor assembly for detecting operator gestures in vehicles
WO2017028984A1 (de) Sensorsystem einer sensoreinrichtung eines kraftfahrzeugs
WO2010103061A1 (de) Vorrichtung und verfahren zur detektion mindestens eines objektes
EP2568313B1 (de) Verfahren zum erfassen eines objekts in einem umfeld eines kraftfahrzeugs
WO2015144405A1 (de) Gesteuerte leuchtenvorrichtung
EP3317695B1 (de) Sensoreinrichtung zur optischen erfassung von betätigungsgesten
EP3311190A1 (de) Sensorsystem einer sensoreinrichtung eines kraftfahrzeugs
WO2017041917A1 (de) Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen
EP3314297B1 (de) Sensoreinrichtung zur optischen erfassung von betätigungsgesten
EP3077256B1 (de) Beleuchtung zur detektion von regentropfen auf einer scheibe mittels einer kamera
DE102014205282B4 (de) Vorrichtung zum Öffnen oder Schließen einer Öffnung eines Fahrzeugs
DE102014209338A1 (de) Lichtlaufzeitkamerasystem zur Freifelderkennung
EP3994497A1 (de) Anpassungsvorrichtung und lidar-messvorrichtung
EP1865755A2 (de) Vorrichtung zur Beleuchtungssteuerung
EP3365702A1 (de) Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung
DE202015101865U1 (de) Kamera
DE102014211543A1 (de) Verfahren und Anordnung zur Erkennung von Gesten in einer Fahrzeugumgebung
WO2023247395A1 (de) Verfahren zum betreiben eines lidar-systems mit streulicht-korrektur, entsprechendes lidar-system und fahrzeug
WO2017032473A1 (de) Sensoreinrichtung zur optischen erfassung von betätigungsgesten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180131

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RIC1 Information provided on ipc code assigned before grant

Ipc: G01S 17/88 20060101AFI20200716BHEP

Ipc: G01S 17/894 20200101ALI20200716BHEP

Ipc: G01S 7/481 20060101ALI20200716BHEP

Ipc: G01S 7/51 20060101ALI20200716BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200921

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20210202