EP3365702A1 - Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung - Google Patents

Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung

Info

Publication number
EP3365702A1
EP3365702A1 EP16770449.3A EP16770449A EP3365702A1 EP 3365702 A1 EP3365702 A1 EP 3365702A1 EP 16770449 A EP16770449 A EP 16770449A EP 3365702 A1 EP3365702 A1 EP 3365702A1
Authority
EP
European Patent Office
Prior art keywords
sensor device
control circuit
bluetooth
memory
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP16770449.3A
Other languages
English (en)
French (fr)
Inventor
Nadine Sticherling
Christof HACHE
Oliver MÜLLER
Jean YOMKIL-MALABO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huf Huelsbeck and Fuerst GmbH and Co KG
Original Assignee
Huf Huelsbeck and Fuerst GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huf Huelsbeck and Fuerst GmbH and Co KG filed Critical Huf Huelsbeck and Fuerst GmbH and Co KG
Publication of EP3365702A1 publication Critical patent/EP3365702A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the invention relates to sensor devices which for optically supported detection of operating gestures or
  • Operating actions can be used on motor vehicles and a method for operating the sensor device.
  • the invention relates to sensor devices, which record and evaluate temporally and spatially resolved information to detect the user's request to operate.
  • pixels which receive optical information in parallel, for example in the form of a CCD array.
  • DE 10 2008 025 669 A1 discloses an optical sensor which detects a gesture, whereupon a closing element of a vehicle is automatically moved.
  • WO 2008/116699 A2 relates to an optical sensor chip and relates to an optical anti-pinch device for monitoring a windowpane, sliding door or tailgate in a motor vehicle.
  • WO 2012/084222 A1 discloses an optical sensor for actuating and monitoring a closing element.
  • gesture control in various technical areas is becoming increasingly accepted, attempts have also been made to use such purely optical systems for detecting the desire to operate in motor vehicles. However, these systems continue to have control over capacitive systems.
  • Invention is used.
  • the invention relates to a sensor device which uses the time of flight (TOF) method, so that this will be briefly explained here.
  • TOF time of flight
  • the TOF method is a space area with a
  • Illuminated light source and the duration of the reflected back from an object in the space area reflected light from the light source back to a surface sensor This should be
  • Light source and sensor to be arranged as close to each other.
  • the required duration of the light is directly proportional to the distance. From the linear relationship between the time of light and the speed of light, the distance between
  • the light source is pulsed in this concept.
  • the detection unit that is to say the pixel array, is switched pulsed sensitive, ie the
  • Integration window of the individual pixels is synchronized with the time of the light source and in the integration period
  • this collection method is not a purely image-based acquisition method. It is determined at each pixel distance information, which by the temporal Light detection takes place. Finally, when using a pixel array, there is a matrix of distance values that allows for cyclic detection interpretation and tracking of object motion.
  • a contact with a terminal outside the motor vehicle can for example by doing
  • control circuit is designed according to the invention
  • Receive data from a Bluetooth terminal and provide the control circuit, the control circuit to do so is configured to process the received data and to adjust the firmware and / or settings in the memory based on the data.
  • Control circuit is adapted to receive data from the Bluetooth interface. Finally, it must be ensured that the received data can also be processed, i. the control circuitry must be configured to process the received data and to adjust the firmware and / or settings in the memory based on the data. Just one
  • the Bluetooth interface constantly tries to communicate with further in-vehicle Bluetooth interfaces
  • Bluetooth interfaces are provided and one
  • Wiring harness is provided.
  • the sensor device has a uniform circuit board for the pulse light source
  • the detection area 3 of a 3D camera in the sensor device is directed downwards, away from the vehicle. This 3D camera is intended to be the
  • a gesture with his foot which is recognized as an operator gesture and triggers an opening or closing of the tailgate of the vehicle 1.
  • the sensor device 1 which includes, inter alia, a Bluetooth interface
  • a Bluetooth terminal 4 is indicated, with which data can be transmitted to the sensor device or received from this.
  • the Bluetooth terminal may be a smart phone, a tablet or similar Bluetooth enabled devices ⁇ act.
  • the tailgate is opened or closed.
  • the driver circuit 14 in turn is coupled to a control circuit 15, which also includes the
  • the light-sensitive detection chip 16 drives.
  • the detection chip has a pixel array of 30x30 pixels in this embodiment. Such a pixel matrix is for observations of
  • Control circuit 15 based on these data settings and / or adjust the firmware of the control circuit, which is stored in a memory 15b. Based on the adjusted firmware and / or adjustments, the control circuitry may process the data received from the light-sensitive detection chip and determine if there is an operator gesture.
  • the Bluetooth interface 17 may also be wholly or at least partially formed on the board 11. Furthermore, the sensor device may include an auxiliary control circuit 18. Using this auxiliary control circuit, or with the help of the control circuit of the 3D camera, the
  • Communication authorization of the Bluetooth terminal 4 are determined. This can be done, for example, via the wiring harness Information can be provided by means of which it can be determined whether the Bluetooth terminal is authorized to send data to the control circuit. Only if this is confirmed, the data can be sent and, if necessary, an adjustment of
  • Control device of the motor vehicle of the control circuit communicates the MAC addresses of such Bluetooth terminals, which may communicate with the sensor device and / or those that are not allowed to communicate with the sensor device or should (for example, further in-vehicle Bluetooth interfaces,
  • Bluetooth terminal a predetermined or programmed Bluetooth PIN code is entered. If the code is entered correctly for both interfaces (the
  • Interface of the sensor device can be coupled. If the link key is lost, a new authentication is necessary.
  • the pulsed light source 13 together with the acquisition chip 16 defines an optical axis 20.
  • a marker light source 21 is formed in the embodiment shown in FIG.
  • the marker light source 21 is a powerful light emitting diode.
  • the marking light source 21, the detection chip 16 and the pulse light source 13 thus lie within a unitary housing 10 and on a common board 11 along an optical axis 20.
  • the marker light source 21 is also arranged adjacent to the terminals 12.
  • Lead plates 22a, 22b supply the operating voltage of the marker light source 21.
  • An associated driver circuit 23 is coupled to the leads 22a, 22b and to the circuit 15, which also coordinates the switching on of the marker light source.
  • the proposed arrangement is a compact, uniform sensor device with a 3D detection and marking of an operating area. Since the components are housed together with a housing and are permanently aligned with each other, installation on the vehicle is particularly simple and reliable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Sensoreinrichtung mit einer gesteigerten Benutzerfreundlichkeit sowie ein Verfahren zum Betreiben der Einrichtung. Zur Steigerung der Benutzerfreundlichkeit umfasst die Sensoreinrichtung eine 3D-Kamera mit einer Pulslichtquelle (13), einer Steuerschaltung (15) mit einem Speicher (15b) sowie einem lichtsensitiven Erfassungschip (16), wobei die Steuerschaltung (15) basierend auf einer in dem Speicher (15b) abgelegten Firmware und/oder basierend auf in dem Speicher (15b) abgelegten Einstellungen die Pulslichtquelle (13) und den lichtsensitiven Erfassungschip (16) steuert und von dem lichtsensitiven Erfassungschip (16) empfangene Signale verarbeitet. Die Sensoreinrichtung (1) umfasst ferner eine mit der Steuerschaltung (15) gekoppelte Bluetooth-Schnittstelle (17), die dazu ausgebildet ist, mit einem Bluetooth-Endgerät (4) außerhalb des Kraftfahrzeuges in Kontakt zu treten und von diesem Daten zu empfangen und diese der Steuerschaltung (15) bereitzustellen, und die empfangenen Daten zu verarbeiten und die Firmware und / oder Einstellungen in dem Speicher (15b) anhand der Daten anzupassen.

Description

Sensoreinrichtung zur optischen Erfassung von
Bedienungsgesten an Fahrzeugen und Verfahren zum Betreiben der
Sensoreinrichtung
Die Erfindung betrifft Sensoreinrichtungen, welche zur optisch gestützten Erkennung von Bedienungsgesten oder
Bedienungshandlungen an Kraftfahrzeugen eingesetzt werden kann sowie ein Verfahren zum Betreiben der Sensoreinrichtung.
Insbesondere betrifft die Erfindung Sensoreinrichtungen, welche zeitlich und räumlich aufgelöste Informationen erfassen und auswerten, um den Bedienungswunsch eines Benutzers zu erkennen.
Aus dem Stand der Technik sind optische Verfahren bekannt, die Betätigungen in Reaktion auf eine Auswertung von
Bildinformationen erkennen und daraufhin z.B. Schaltvorgänge auslösen. Beispielsweise sind hier automatische
Videoauswertungen von Überwachungssystemen zu nennen, welche Muster oder Bewegungen aus einzelnen Bildern oder einer Folge von Bilder herauslesen. Außerdem sind zahlreiche andere optisch gestützte Systeme bekannt, wobei zu den grundlegendsten
Lichtschranken oder Helligkeitssensoren gehören. Optische
Systeme mit höherer Komplexität bedienen sich jedoch oft eines Arrays von optisch sensitiven Erfassungseinheiten, meist als Pixel bezeichnet, die parallel optische Informationen aufnehmen, beispielsweise in Gestalt eines CCD-Arrays.
Die DE 10 2008 025 669 AI offenbart einen optischen Sensor, welcher eine Geste detektiert, woraufhin ein Schließelement eines Fahrzeugs automatisch bewegt wird.
Die WO 2008/116699 A2 betrifft einen optischen Sensorchip und bezieht sich auf eine optische Einklemmschutzvorrichtung für die Überwachung einer Fensterscheibe, Schiebetür oder einer Heckklappe in einem Kraftfahrzeug.
Die WO 2012/084222 AI offenbart einen optischen Sensor zur Betätigung und Überwachung eines Schließelements. Da die Gestensteuerung in verschiedenen technischen Bereichen immer größere Akzeptanz erfährt, wurden auch Versuche unternommen, solche rein optischen Systeme zur Erkennung des Bedienwunsches bei Kraftfahrzeugen zu verwenden. Bei diesen Systemen herrscht jedoch weiterhin die Erfassung von Bedienungen über kapazitive Systeme vor.
Im Bereich der optischen Erfassung sind Systeme bekannt, welche eine pixelbezogene Ortsinformation, insbesondere eine Distanz von der Sensor- oder Erfassungseinrichtung erfassen. Die WO 2013/001084 AI offenbart ein System zur berührungslosen
Erfassung von Gegenständen und Bediengesten mit einer optisch gestützten Einrichtung ähnlicher Art, wie sie auch für die
Erfindung einsetzbar ist.
Diese Systeme werden beispielsweise, je nach angewandtem Auswertungsverfahren, als „time of flight"-Systeme oder auch als „3D-Imager" oder „Range Imager" bezeichnet. Die
Anwendungsgebiete solcher Systeme liegen im Bereich der
industriellen Automatisierungstechnik, in der Sicherheitstechnik und im Automobilbereich. In einem Auto werden 3D-Sensoren in Spurhaltesystemen, zum Fußgängerschutz oder als Einparkhilfe eingesetzt. Sowohl Konzepte der Triangulation als auch der
Interferometrie und auch der Lichtlaufzeitmessung (time of flight (TOF) ) können mit optischen Sensoren umgesetzt werden. In diesem Zusammenhang wird auf diesbezügliche Ausarbeitungen verwiesen, welche die technischen Konzepte und deren
Realisierung detailliert beschreiben, insbesondere die
Dissertation „Photodetektoren und Auslesekonzepte für 3D-Time- of-Flight-Bildsensoren in 0,35 ym-Standard-CMOS-Technologie" , Andreas Spickermann, Fakultät für Ingenieurwissenschaften der, Universität Duisburg-Essen, 2010.
Außerdem wird auf die Publikation „Optimized Distance
Measurement with 3D-CMOS Image Sensor and Real-Time Processing of the 3D Data for Applications in Automotive and Safety
Engineering", Bernhard König, Fakultät für
Ingenieurwissenschaften der Universität Duisburg-Essen, 2008 verwiesen . Die vorgenannten Arbeiten beschreiben das Konzept und die Realisierung von einsetzbaren optischen Sensorsystemen, so dass im Rahmen dieser Anmeldung auf deren Offenbarung verwiesen wird und nur zum Verständnis der Anmeldung relevante Aspekte
erläutert werden.
Die Erfindung betrifft eine Sensoreinrichtung welche das time of flight (TOF) -Verfahren nutzt, so dass dieses hier kurz erläutert wird.
Beim TOF-Verfahren wird ein Raumbereich mit einer
Lichtquelle beleuchtet und die Laufzeit des von einem Objekt im Raumbereich zurück reflektierten Lichtes von der Lichtquelle zurück zu einem Flächensensor aufgenommen. Dazu sollten
Lichtquelle und Sensor möglichst nah beieinander angeordnet sein .
Die benötigte Laufzeit des Lichts ist direkt proportional zur Distanz. Aus dem linearen Zusammenhang von Lichtlaufzeit und Lichtgeschwindigkeit lässt sich damit die Distanz zwischen
Sensor und Messobjekt bestimmen. Zur Messung der zeitlichen Verzögerung muss eine Synchronisation zwischen Lichtquelle und Sensor gegeben sein. Durch die Nutzung gepulster Lichtquellen können die Verfahren optimiert werden, denn kurze Lichtpulse (im ns-Bereich) ermöglichen eine effiziente
Hintergrundlichtunterdrückung. Außerdem werden durch die
Verwendung des gepulsten Lichts mögliche Mehrdeutigkeiten bei der Bestimmung der Distanz vermieden, so lange der Abstand genügend groß ist.
Einerseits wird bei diesem Konzept die Lichtquelle gepulst betrieben. Andererseits wird die Detektionseinheit , also das Pixelarray, gepulst sensitiv geschaltet, also das
Integrationsfenster der einzelnen Pixel wird zeitlich mit der Lichtquelle synchronisiert und in der Integrationsdauer
begrenzt. Durch den Vergleich von Ergebnissen mit
unterschiedlichen Integrationsdauern können insbesondere Effekte von Hintergrundlicht herausgerechnet werden.
Wesentlich ist, dass diese Erfassungsmethode keine rein bildbasierte Erfassungsmethode ist. Es wir bei jedem Pixel eine Abstandsinformation ermittelt, was durch die zeitliche Lichtdetektion erfolgt. Bei Verwendung eines Pixelarrays liegt schließlich eine Matrix von Abstandswerten vor, welche bei zyklischer Erfassung eine Interpretation und Verfolgung von Objektbewegungen zulässt.
Bei bekannten Sensoreinrichtungen mit 3D-Kameras, die nach dem time of flight-Prinzip arbeiten, sind diese
Sensoreinrichtungen mit dem Kabelbaum eines Kraftfahrzeuges verbunden. Über diesen Kabelbaum wird einer zentralen
Steuereinrichtung des Kraftfahrzeuges mitgeteilt, dass eine Bedienungsgeste detektiert wurde. Sofern bereits eine
Authentifizierung eines Benutzers stattgefunden hat wird dann von der zentralen Steuereinrichtung eine der Bedienungsgeste entsprechende Aktion ausgelöst.
Die Detektion einer solchen Bedienungsgeste erfolgt durch eine Steuerschaltung der 3D-Kamera, die die von einem
Erfassungschip der 3D-Kamera erhaltenen Daten verarbeitet und ermittelt, ob eine Bedienungsgeste durchgeführt wurde.
Die Verarbeitung der empfangenen Daten erfolgt auf der Basis einer Software und / oder Einstellungen, die in einem Speicher der Steuerschaltung der 3D-Kamera abgelegt sind.
Unterschiedliche Benutzer führen Gesten, die z.B. einen Öffnungswunsch darstellen sollen, unterschiedlich aus,
beispielsweise in Abhängigkeit von Geschlecht und Alter. Eine Anpassung der Sensoreinrichtung ist über den Kabelbaum möglich, dies ist aber nur durch spezialisierte Fachleute möglich, ein Benutzer kann eine entsprechende Änderung nicht durchführen.
Die Aufgabe der Erfindung besteht darin, eine optische
Sensoreinrichtung mit gesteigerter Benutzerfreundlichkeit zur Verfügung zu stellen.
Die Aufgabe wird durch eine Sensoreinrichtung mit den
Merkmalen des Patentanspruchs 1 gelöst.
Die erfindungsgemäße Sensoreinrichtung weist eine 3D-Kamera, insbesondere eine time of flight (TOF) -Kamera, auf. Diese
3D-Kamera weist eine Pulslichtquelle und einen lichtsensitiven Erfassungschip mit einem Pixelarray auf. Die Pulslichtquelle und der Erfassungschip sind mit einer Steuerschaltung mit einem Speicher gekoppelt, welche die Lichtpulse und die Auswertung der Sensorsignale koordiniert und steuert. Die Pulslichtquelle kann eine Laserdiode sein, die mit einer entsprechenden
Treiberschaltung zur Erzeugung kurzer Pulse gekoppelt ist.
Entsprechende Steuerschaltungen und Anordnungen sind aus dem Stand der Technik bekannt.
Sowohl die Pulslichtquelle als auch der Erfassungschip sind in einem gemeinsamen Bauraum angeordnet und zu einem
Erfassungsbereich der 3D-Kamera hin ausgerichtet.
Die Steuerschaltung steuert die Pulslichtquelle und den lichtsensitiven Erfassungschip und verarbeitet die von dem lichtsensitiven Erfassungschip empfangenen Signale, und zwar basierend auf einer in dem Speicher abgelegten Firmware und/oder basierend auf in dem Speicher abgelegten Einstellungen, wobei die Einstellungen beispielsweise den Benutzer oder spezielle „Eigenarten" des Benutzers näher kennzeichnen. So kann
beispielweise abgelegt sein, dass ein Benutzer eine
Öffnungsgeste stets von links nach rechts ausführt, was dazu beitragen kann, einen Öffnungswunsch bzw. eine Bedienungsgeste schneller und sicherer zu erkennen.
Erfindungsgemäß umfasst die Sensoreinrichtung eine mit der
Steuerschaltung der 3D-Kamera gekoppelte Bluetooth- Schnittstelle, wobei diese Bluetooth-Schnittstelle dazu
ausgebildet ist, mit einem Bluetooth-Endgerät außerhalb des Kraftfahrzeuges in Kontakt zu treten und von diesem Bluetooth- Endgerät Daten zu empfangen und diese der Steuerschaltung bereitzustellen. Ein in Kontakt treten mit einem Endgerät außerhalb des Kraftfahrzeuges kann zum Beispiel dadurch
erfolgen, dass die Bluetooth-Schnittstelle einen fest
vorgegebenen (oder programmierbaren) Bluetooth-PIN-Code
aufweist, welcher bei dem Bluetooth-Endgerät bei der ersten Kontaktaufnahme eingegeben werden muss. Nach dem sogenannten „Pairing" kann das so autorisierte Bluetooth-Endgerät ohne
Eingabe des PIN-Codes mit der Bluetooth-Schnittstelle
kommunizieren .
Die Steuerschaltung ist erfindungsgemäß dazu ausgebildet,
Daten von einem Bluetooth-Endgerät zu empfangen und diese der Steuerschaltung bereitzustellen, wobei die Steuerschaltung dazu ausgebildet ist, die empfangenen Daten zu verarbeiten und die Firmware und / oder Einstellungen in dem Speicher anhand der Daten anzupassen.
Erfindungsgemäß wird also weitere Kommunikationsmöglichkeit mit der Steuerschaltung der 3D-Kamera bereitgestellt, wobei diese Kommunikationsmöglichkeit auch einem „normalen" Benutzer offen steht. Erfindungsgemäß wird diese
Kommunikationsmöglichkeit durch eine Bluetooth-Schnittstelle geschaffen, die kostengünstig bereitstellbar ist und von
„Jedermann" genutzt werden kann. Lediglich die Bereitstellung der Bluetooth-Schnittstelle ist aber nicht ausreichend, es muss auch gewährleistet sein, dass diese Daten der Steuerschaltung der 3D-Kamera bereitgestellt werden können, d.h. dass die
Steuerschaltung dazu ausgebildet ist, Daten von der Bluetooth- Schnittstelle zu empfangen. Schließlich muss gewährleitet sein, dass die empfangenen Daten auch verarbeitet werden können, d.h. die Steuerschaltung muss dazu ausgelegt sein, die empfangenen Daten zu verarbeiten und die Firmware und / oder Einstellungen in dem Speicher anhand der Daten anzupassen. Nur eine
Kombination der oben genannten Merkmale ermöglicht es einem Benutzer, Änderungen an der Arbeitsweise der 3D-Kamera
vorzunehmen, diese beispielsweise an „Eigenarten" eines
Benutzers anzupassen und so die Benutzerfreundlichkeit zu erhöhen. Auch die Anpassung (Updaten) der Firmware erhöht die Benutzerfreundlichkeit, da ein solches Update regelmäßig die Erkennungsrate erhöht und die Verarbeitungsgeschwindigkeit erhöht .
Um zu vermeiden, dass die Bluetooth-Schnittstelle ständig versucht mit weiteren fahrzeuginternen Bluetooth-Schnittstellen zu kommunizieren kann es vorgesehen sein, dass die Kommunikation der Bluetooth-Schnittstelle in der Sensoreinrichtung mit anderen fahrzeuginternen Bluetooth-Schnittstellen unterbunden ist. Dies kann beispielsweise erfolgen, indem der Bluetooth-Schnittstelle der erfindungsgemäßen Sensoreinrichtung die individuellen und unverwechselbaren MAC-Adressen anderer fahrzeuginterner
Bluetooth-Schnittstellen bereitgestellt sind und eine
Kommunikation mit diesen unterbunden wird. Zur Verringerung des Stromverbrauchs kann die Bluetooth- Schnittstelle nach dem Bluetooth 4.0 Standard arbeiten.
Bevorzugt ist die Sensoreinrichtung insgesamt in einem einheitlichen Gehäuse aufgenommen, also die 3D-Kamera mit
Pulslichtquelle, Erfassungschip, und zugehörigen Komponenten sowie die Bluetooth-Schnittstelle. Auf diese Weise ist eine kompakte Sensoreinrichtung geschaffen, die in Halterungen oder Ausnehmungen am Fahrzeug einsetzbar ist. Die Ansteuerung sowie Versorgung erfolgt über einen einheitlichen Kabelbaum, wobei insbesondere eine Steckerverbindung zur Kopplung mit einem
Kabelbaum vorgesehen ist.
Es ist besonders vorteilhaft, wenn die Sensoreinrichtung eine einheitliche Platine für die Pulslichtquelle, den
Erfassungschip und die Bluetooth-Schnittstelle aufweist. Auf diese Weise ist eine feste Relation der Abstände und
Ausrichtungen der Komponenten gewährleistet und eine
Verschiebung der Komponenten durch Vibrationen oder
Umwelteinflüsse ist ausgeschlossen.
Die Aufgabe wird ferner gelöst durch ein Verfahren nach Patentanspruch 6. Gemäß dem erfindungsgemäßen Verfahren zum Betreiben einer Sensoreinrichtung zur optischen Erfassung von Objekten und deren räumlichen Bewegungen wird eine mit einer Steuerschaltung einer 3D-Kamera gekoppelte Bluetooth- Schnittstelle mit einem Bluetooth-Endgerät gekoppelt und
empfängt von diesem Bluetooth-Endgerät Daten. Ein „Koppeln" kann beispielsweise erfolgen, indem bei dem Bluetooth-Endgerät ein vorgegebener Bluetooth-PIN-Code der Bluetooth-Schnittstelle der Sensoreinrichtung eingegeben wird. Nach dem ersten „Pairing" ist eine solche Eingabe überflüssig, die Bluetooth-Schnittstellen erkennen sich gegenseitig anhand eines gespeicherten „Link Keys" .
Die empfangenen Daten werden von der Bluetooth-Schnittstelle an die Steuerschaltung weitergeleitet, und, basierend auf den Daten, werden Einstellungen und/oder eine Firmware, die in einem Speicher der Steuerschaltung gespeichert sind, angepasst.
Die 3D-Kamera steuert die Pulslichtquelle und den
lichtsensitiven Erfassungschip und verarbeitet von dem lichtsensitiven Erfassungschip empfangene Signale, und zwar basierend auf der in dem Speicher der Steuerschaltung abgelegten angepassten Firmware und/oder basierend auf in dem Speicher abgelegten angepassten Einstellungen.
Um dem Benutzer zu ermöglichen, das Ergebnis einer Anpassung zu prüfen ist es bei einer bevorzugten Ausführungsform
vorgesehen, dass vor und/oder nach dem Anpassen der
Einstellungen und/oder der Firmware Diagnosedaten über die
Bluetooth-Schnittstelle an das Bluetooth-Endgerät gesendet werden.
Eine bevorzugte Ausführungsform der Sensoreinrichtung sowie des Verfahrens zum Betreiben der Sensoreinrichtung wird anhand einer beiliegenden Zeichnung näher erläutert, in welcher
Figur 1 schematisch die Anordnung einer Ausführungsform an einem Fahrzeug zeigt, und
Figur 2 ein Blockschaltbild der bevorzugten Ausführungsform der erfindungsgemäßen Sensoreinrichtung zeigt.
In Figur 1 ist das Heck eines Fahrzeuges 1 gezeigt. Eine Sensoreinrichtung 2 ist im heckseitigen Stoßfänger des
Fahrzeuges angeordnet. Der Detektionsbereich 3 einer 3D-Kamera in der Sensoreinrichtung ist nach unten, hinten vom Fahrzeug weg gerichtet. Diese 3D-Kamera ist dazu vorgesehen, die
Bedienungsgeste für die Betätigung einer Heckklappe zu erfassen. Dazu kann der Benutzer in dem Bereich 3 eine Geste mit seinem Fuß ausführen, die als Bedienungsgeste erkannt wird und eine Öffnen oder Schließen der Heckklappe des Fahrzeuges 1 auslöst. Bei der Sensoreinrichtung 1, die unter anderem eine Bluetooth- Schnittstelle umfasst, ist ein Bluetooth-Endgerät 4 angedeutet, mit welchem Daten an die Sensoreinrichtung übermittelt oder von dieser empfangen werden können. Bei dem Bluetooth-Endgerät kann es sich um ein Smartphone, ein Tablet oder ähnliche Bluetooth¬ fähige Geräte handeln. Wie das Bluetooth-Endgerät mit der
Sensoreinrichtung gekoppelt werden kann ist unter Bezugnahme auf Figur 2 kurz dargestellt.
Figur 2 zeigt die Sensoreinrichtung 2 in einem schematischen
Blockschaltbild. Ein einheitliches Gehäuse 10 ist als Schutz ausgebildet und nimmt eine Platine 11 auf. Die Platine 11 weist Anschlüsse 12 auf, die mit einem Steckverbinder zur Kopplung der Sensoreinrichtung 2 mit einem Kabelbaum am Fahrzeug ausgebildet ist. Über den Kabelbaum wird beispielsweise einer zentralen (nicht dargestellten) Steuereinrichtung in dem Kraftfahrzeug mitgeteilt, dass eine Bedienungsgeste erkannt wurde.
Entsprechend der erkannten Bedienungsgeste wird die Heckklappe geöffnet oder geschlossen.
Auf der Platine 11 ist eine Pulslichtquelle 13 ausgebildet, bei der dargestellten Ausführungsform eine Laserdiode im nahen Infrarotbereich mit einer vorgesetzten Aufweitungsoptik . Die Laserdiode 13 ist mit einer Treiberschaltung 14 gekoppelt, welche die Laserdiode zur Aussendung von kurzen Pulsen im
Nanosekundenbereich ansteuert. Die Treiberschaltung 14 wiederum ist mit einer Steuerschaltung 15 gekoppelt, die auch den
lichtsensitiven Erfassungschip 16 ansteuert. Der Erfassungschip weist in dieser Ausführungsform ein Pixelarray von 30x30 Pixeln auf. Eine solche Pixelmatrix ist für Erfassungen von
Bewegungsgesten ausreichen, es können jedoch auch Arrays mit abweichender Auflösung eingesetzt werden.
Die Komponenten 13, 14, 15, 16 bilden die 3D-Kamera, die nach dem Laufzeitprinzip arbeitet. Die Steuerschaltung 15 der 3D-Kamera ist erfindungsgemäß mit einer Bluetooth-Schnittstelle 17 gekoppelt. Über diese können der Steuerschaltung 15 Daten bereitgestellt werden, und erfindungsgemäß kann die
Steuerschaltung 15 anhand dieser Daten Einstellungen und / oder die Firmware der Steuerschaltung, die in einem Speicher 15b abgelegt ist, anpassen. Auf der Basis der angepassten Firmware und/oder der angepassten Einstellungen kann die Steuerschaltung die von dem lichtsensitiven Erfassungschip erhaltenen Daten verarbeiten und ermitteln, ob eine Bedienungsgeste vorliegt.
Die Bluetooth-Schnittstelle 17 kann ebenfalls ganz oder zumindest teilweise auf der Platine 11 ausgebildet sein. Ferner kann die Sensoreinrichtung eine Hilfs-Steuerschaltung 18 umfassen. Mithilfe dieser Hilfs-Steuerschaltung, oder mit Hilfe der Steuerschaltung der 3D-Kamera, kann die
Kommunikationsberechtigung des Bluetooth-Endgeräts 4 ermittelt werden. Dazu können beispielsweise über den Kabelbaum Informationen bereitgestellt werden, anhand welcher ermittelt werden kann, ob das Bluetooth-Endgerät berechtigt ist, Daten an die Steuerschaltung zu senden. Nur wenn dies bestätigt ist, können die Daten gesendet und ggf. eine Anpassung von
Einstellungen oder der Firmware vorgenommen werden.
Beispielsweise ist es denkbar, dass die zentrale
Steuereinrichtung des Kraftfahrzeuges der Steuerschaltung die MAC-Adressen solcher Bluetooth-Endgeräte mitteilt, die mit der Sensoreinrichtung kommunizieren dürfen und/oder solche, die nicht mit der Sensoreinrichtung kommunizieren dürfen bzw. sollen (z.B. weitere fahrzeuginterne Bluetooth-Schnittstellen,
beispielsweise zum Anbinden eines Smartphones) .
Alternativ (oder zusätzlich) kann die
Kommunikationsberechtigung hergestellt werden, indem über das Bluetooth-Endgerät ein vorgegebener bzw. einprogrammierter Bluetooth-PIN-Code eingegeben wird. Wird der Code richtig eingegeben wird für beide Schnittstellen (die der
Sensoreinrichtung und die des Endgeräts) ein Link Key erstellt, der in beiden Schnittstellen gespeichert wird. Nach diesem als „Pairing" bezeichneten Vorgang kann das Endgerät bei vorhandenem Link Key ohne Eingabe eines Bluetooth-PIN-Codes mit der
Schnittstelle der Sensoreinrichtung gekoppelt werden. Geht der Link Key verloren, ist eine Neu-Authentifizierung notwendig.
Die Pulslichtquelle 13 definiert mit dem Erfassungschip 16 zusammen eine optische Achse 20. In Verlängerung der optischen Achse 20 ist bei der in Figur 2 gezeigten Ausführungsform eine Markierungslichtquelle 21 ausgebildet. In diesem Beispiel ist die Markierungslichtquelle 21 eine leistungsstarke Leuchtdiode. Die Markierungslichtquelle 21, der Erfassungschip 16 und die Pulslichtquelle 13 liegen also innerhalb eines einheitlichen Gehäuses 10 und auf einer gemeinsamen Platine 11 entlang einer optischen Achse 20. Die Markierungslichtquelle 21 ist außerdem benachbart zu den Anschlüssen 12 angeordnet. Zuleitungsbleche 22a, 22b liefern die Betriebsspannung der Markierungslichtquelle 21. Eine zugehörige Treiberschaltung 23 ist mit den Zuleitungen 22a, 22b gekoppelt und mit der Schaltung 15, welche auch die Zuschaltung der Markierungslichtquelle koordiniert. Die vorgeschlagene Anordnung ist eine kompakte, einheitliche Sensoreinrichtung mit einer 3D-Erfassung und Markierung eines Bedienbereiches. Da die Komponenten gemeinsam mit einem Gehäuse aufgenommen sind und zueinander dauerhaft ausgerichtet sind, ist der Einbau am Fahrzeug besonders einfach und zuverlässig.

Claims

Patentansprüche
1. Sensoreinrichtung (1) für ein Kraftfahrzeug zur optischen Erfassung von Objekten und deren räumlichen
Bewegungen, aufweisend,
eine 3D-Kamera, die räumliche Daten mit einem
Laufzeitverfahren erfasst, wobei die 3D-Kamera eine
Pulslichtquelle (13), eine Treiberschaltung (14), eine
Steuerschaltung (15) mit einem Speicher (15b) sowie einen lichtsensitiven Erfassungschip (16) umfasst,
wobei die Steuerschaltung (15) basierend auf einer in dem Speicher (15b) abgelegten Firmware und/oder basierend auf in dem Speicher (15b) abgelegten Einstellungen
die Pulslichtquelle (13) und den lichtsensitiven
Erfassungschip (16) steuert und von dem lichtsensitiven Erfassungschip (16) empfangene Signale verarbeitet,
dadurch gekennzeichnet,
dass die Sensoreinrichtung (1) eine mit der
Steuerschaltung (15) gekoppelte Bluetooth-Schnittstelle (17) aufweist, wobei die Bluetooth-Schnittstelle (17) dazu ausgebildet ist, mit einem Bluetooth-Endgerät (4) außerhalb des Kraftfahrzeuges in Kontakt zu treten und von diesem Bluetooth-Endgerät (4) Daten zu empfangen und diese der Steuerschaltung (15) bereitzustellen, und
die Steuerschaltung (15) dazu ausgebildet ist, die empfangenen Daten zu verarbeiten und die Firmware und / oder Einstellungen in dem Speicher (15b) anhand der Daten
anzupassen .
2. Sensoreinrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass eine Kommunikation der Bluetooth- Schnittstelle (17) mit weiteren kraftfahrzeuginternen
Bluetooth-Schnittstellen verhindert ist.
3. Sensoreinrichtung (1) nach einem der Ansprüche 1 oder
2, dadurch gekennzeichnet, dass die 3D-Kamera und die Bluetooth-Schnittstelle (17) in einem gemeinsamen Gehäuse (10) aufgenommen sind.
4. Sensoreinrichtung nach einem der Ansprüche 1 - 3, dadurch gekennzeichnet, dass die Pulslichtquelle (13), der Erfassungschip (16) und die Bluetooth-Schnittstelle (17) auf einer gemeinsamen Platine (11) angeordnet sind.
5. Verfahren zum Betreiben einer Sensoreinrichtung (1) zur optischen Erfassung von Objekten und deren räumlichen
Bewegungen, wobei
eine mit einer Steuerschaltung (15) einer 3D-Kamera gekoppelte Bluetooth-Schnittstelle (17) mit einem Bluetooth- Endgerät (4) gekoppelt wird und von dem Bluetooth-Endgerät (17) Daten empfängt,
diese Daten von der Bluetooth-Schnittstelle an die
Steuerschaltung (15) weitergeleitet werden,
basierend auf den Daten Einstellungen und/oder eine
Firmware, die ein einem Speicher (15b) der Steuerschaltung gespeichert sind, angepasst wird, und
die 3D-Kamera basierend auf der in dem Speicher (15b) der Steuerschaltung (15) abgelegten Firmware und/oder basierend auf in dem Speicher (15b) abgelegten Einstellungen
die Pulslichtquelle (13) und den lichtsensitiven
Erfassungschip (16) steuert und von dem lichtsensitiven
Erfassungschip (16) empfangene Signale verarbeitet.
6. Verfahren zum Betreiben einer Sensoreinrichtung (1) zur optischen Erfassung von Objekten und deren räumlichen
Bewegungen nach Anspruch 5, dadurch gekennzeichnet, dass vor und/oder nach dem Anpassen der Einstellungen und/oder der Firmware Diagnosedaten über die Bluetooth-Schnittstelle (17) an das Bluetooth-Endgerät (4) gesendet werden.
EP16770449.3A 2015-10-21 2016-09-05 Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung Ceased EP3365702A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015117967.9A DE102015117967A1 (de) 2015-10-21 2015-10-21 Sensoreinrichtung zur optischen Erfassung von Bedienungsgesten an Fahrzeugen und Verfahren zum Betreiben der Sensoreinrichtung
PCT/EP2016/070815 WO2017067697A1 (de) 2015-10-21 2016-09-05 Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung

Publications (1)

Publication Number Publication Date
EP3365702A1 true EP3365702A1 (de) 2018-08-29

Family

ID=56990409

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16770449.3A Ceased EP3365702A1 (de) 2015-10-21 2016-09-05 Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung

Country Status (3)

Country Link
EP (1) EP3365702A1 (de)
DE (1) DE102015117967A1 (de)
WO (1) WO2017067697A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7643809B2 (ja) * 2019-02-04 2025-03-11 フォトン コントロール インコーポレイテッド 光センサシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007014034B3 (de) 2007-03-23 2008-09-25 Continental Automotive Gmbh Optischer Sensorchip und Einklemmschutzvorrichtung mit einem solchen
US8091280B2 (en) 2007-06-01 2012-01-10 GM Global Technology Operations LLC Arms full vehicle closure activation apparatus and method
DE102010037509A1 (de) * 2010-09-13 2012-03-15 Huf Electronics Gmbh Sensoreinrichtung für ein Kraftfahrzeug
DE102010037577B4 (de) * 2010-09-16 2025-07-17 Huf Hülsbeck & Fürst Gmbh & Co. Kg Erfassungsverfahren für Betätigungsgesten und zugehöriges Kalibrierungsverfahren
DE102010056171A1 (de) 2010-12-24 2012-06-28 Volkswagen Ag Verfahren zum automatischen Betätigen eines Schließelements eines Fahrzeugs sowie entsprechende Vorrichtung und Fahrzeug
DE102011089195A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection

Also Published As

Publication number Publication date
DE102015117967A1 (de) 2017-04-27
WO2017067697A1 (de) 2017-04-27

Similar Documents

Publication Publication Date Title
EP2946226B1 (de) Universelle sensoranordnung zur erfassung von bediengesten an fahrzeugen
US10929715B2 (en) Semantic segmentation using driver attention information
DE102014101208A1 (de) Montagemodul
DE112020006097T5 (de) Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen
WO2014111286A1 (de) Sensoranordnung zur erfassung von bediengesten an fahrzeugen
DE112020004621T5 (de) Lichtdetektierende Vorrichtung und System
DE102013108824A1 (de) Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
DE112020000682T5 (de) Lichtquellenvorrichtung und elektronische vorrichtung
DE102017118083A1 (de) Sensor zur Erfassung eines Objekts und Verfahren zum Einstellen eines Schaltpunktes
WO2017028984A1 (de) Sensorsystem einer sensoreinrichtung eines kraftfahrzeugs
EP3311190A1 (de) Sensorsystem einer sensoreinrichtung eines kraftfahrzeugs
EP1575808B1 (de) Bildgeber
DE102018101613A1 (de) Verfahren und Vorrichtung zur Steuerung der Heckklappenbewegung
EP2568313B1 (de) Verfahren zum erfassen eines objekts in einem umfeld eines kraftfahrzeugs
US20220348164A1 (en) Automatic lift gate opener using vehicular rear camera
EP3365702A1 (de) Sensoreinrichtung zur optischen erfassung von bedienungsgesten an fahrzeugen und verfahren zum betreiben der sensoreinrichtung
DE112020001622T5 (de) Fotodetektionsvorrichtung und elektronische einrichtung
KR20240035570A (ko) 고체 촬상 디바이스 및 고체 촬상 디바이스 작동 방법
EP3314297B1 (de) Sensoreinrichtung zur optischen erfassung von betätigungsgesten
WO2020049013A1 (de) Verfahren zum auswählen eines bildausschnitts eines sensors
EP3317692A1 (de) Sensoranordnung zur optischen erfassung von bediengesten an fahrzeugen
DE102016219820A1 (de) Verfahren und Steuergerät zum Betreiben eines Fahrzeugs sowie Verfahren und Vorrichtung zum Bereitstellen von Umweltdaten für Fahrzeuge
DE102019211382A1 (de) System und Verfahren zur Verarbeitung von Umfeldsensordaten
DE112020000677T5 (de) Lichtquellenvorrichtung und elektronische vorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180212

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: YOMKIL-MALABO, JEAN

Inventor name: STICHERLING, NADINE

Inventor name: MUELLER, OLIVER

Inventor name: HACHE, CHRISTOF

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200708

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20220311