DE102016204274A1

DE102016204274A1 - System and method for detecting a user input gesture

Info

Publication number: DE102016204274A1
Application number: DE102016204274.2A
Authority: DE
Inventors: Wolfgang Theimer; Klaus Meierling
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2016-03-15
Filing date: 2016-03-15
Publication date: 2017-09-21

Abstract

Die Erfindung betrifft ein System zum Erfassen einer Eingabegeste eines Nutzers mit einer Bilddatenerfassungseinheit (1), durch die Bilddaten in einem Bilderfassungsraum (1a) erfassbar sind und einem Radarsensor (2), durch den Radardaten in zumindest einem Radardetektionsraum erfassbar sind. Das System umfasst ferner eine Signaturbestimmungseinheit (3), durch die anhand der erfassten Radardaten eine Gestensignatur bestimmbar ist, und eine Zuordnungseinheit (4), durch welche der bestimmten Gestensignatur eine Eingabegeste zuordenbar ist. Dabei ist durch eine Bildverarbeitungseinheit (5) anhand der erfassten Bilddaten ein Gestenraum bestimmbar und der Radarsensor (2) ist durch eine Steuereinheit (6) so ansteuerbar, dass der Radardetektionsraum anhand des bestimmten Gestenraums steuerbar ist. Die Erfindung betrifft ferner ein Verfahren zum Erfassen einer Eingabegeste eines Nutzers, wobei Bilddaten in einem Bilderfassungsraum (1a) erfasst werden und durch einen Radarsensor (2) Radardaten in zumindest einem Radardetektionsraum erfasst werden Anhand der erfassten Radardaten wird eine Gestensignatur bestimmt und der bestimmten Gestensignatur wird eine Eingabegeste zugeordnet. Dabei wird anhand der erfassten Bilddaten ein Gestenraum bestimmt und der Radarsensor (2) wird so angesteuert, dass der Radardetektionsraum anhand des bestimmten Gestenraums gesteuert wird. The invention relates to a system for detecting an input gesture of a user with an image data acquisition unit (1), by which image data in an image acquisition space (1a) can be detected and a radar sensor (2), can be detected by the radar data in at least one Radardetektionsraum. The system further comprises a signature determination unit (3), by means of which a gesture signature can be determined on the basis of the detected radar data, and an allocation unit (4), by means of which an input gesture can be assigned to the determined gesture signature. In this case, a gesture space can be determined by an image processing unit (5) on the basis of the acquired image data, and the radar sensor (2) can be controlled by a control unit (6) such that the radar detection space can be controlled on the basis of the determined gesture space. The invention further relates to a method for detecting an input gesture of a user, whereby image data are acquired in an image acquisition space (1a) and radar data are acquired in at least one radar detection space by a radar sensor (2). Based on the acquired radar data, a gesture signature is determined and becomes the determined gesture signature assigned an input gesture. In this case, based on the acquired image data, a gesture space is determined and the radar sensor (2) is controlled so that the radar detection space is controlled on the basis of the determined gesture space.

Description

Die vorliegende Erfindung betrifft ein System zum Erfassen einer Eingabegeste eines Nutzers mit einer Bilddatenerfassungseinheit, durch die Bilddaten in einem Bilderfassungsraum erfassbar sind, und einem Radarsensor, durch den Radardaten in zumindest einem Radardetektionsraum erfassbar sind. Das System umfasst ferner eine Signaturbestimmungseinheit, durch die anhand der erfassten Radardaten eine Gestensignatur bestimmbar ist, und eine Zuordnungseinheit, durch welche der bestimmten Gestensignatur eine Eingabegeste zuordenbar ist. The present invention relates to a system for detecting an input gesture of a user with an image data acquisition unit, by means of which image data can be detected in an image acquisition space, and a radar sensor, by means of which radar data can be detected in at least one radar detection space. The system further comprises a signature determination unit, by means of which a gesture signature can be determined on the basis of the detected radar data, and an allocation unit, by means of which an input gesture can be assigned to the determined gesture signature.

Die Erfindung betrifft ferner ein Verfahren zum Erfassen einer Eingabegeste eines Nutzers, bei dem Bilddaten in einem Bilderfassungsraum erfasst werden und durch einen Radarsensor Radardaten in zumindest einem Radardetektionsraum erfasst werden. Anhand der erfassten Radardaten wird eine Gestensignatur bestimmt und der bestimmten Gestensignatur wird eine Eingabegeste zugeordnet. The invention further relates to a method for detecting an input gesture of a user, in which image data are acquired in an image-recording space and radar data is acquired in at least one radar detection space by a radar sensor. Based on the recorded radar data, a gesture signature is determined, and the gesture gesture is assigned an input gesture.

Die Bedienung elektronischer Einrichtungen mittels Gesten kann erhebliche Verbesserungen der Bedienbarkeit und des Komforts bewirken, insbesondere gegenüber herkömmlichen Bedienungen mit Schaltern, Reglern oder Schaltflächen auf Touchscreens. Insbesondere in einem Fahrzeug ist einerseits eine Vielzahl von elektronischen Einrichtungen vorgesehen, deren Bedienung dem Fahrer oder einem anderen Fahrzeuginsassen ermöglicht werden muss, andererseits soll gerade der Fahrer möglichst wenig durch die Bedienung vom Verkehrsgeschehen abgelenkt werden. Die Vorteile einer Gestensteuerung können daher in diesem Bereich besonders gut genutzt werden. The operation of electronic devices by means of gestures can bring about considerable improvements in operability and comfort, in particular over conventional operations with switches, knobs or buttons on touchscreens. In particular, in a vehicle on the one hand, a plurality of electronic devices is provided, the operation of the driver or another vehicle occupants must be enabled, on the other hand just the driver should be distracted as little as possible by the operation of the traffic. The advantages of a gesture control can therefore be used particularly well in this area.

Zur Erfassung einer Geste können die Position und die Bewegung eines Betätigungsobjektes, etwa der Hand eines Nutzers, verfolgt werden. Ferner kann eine Handhaltung als Geste ausgewertet werden. Zur Detektion und Gestenerkennung wurden verschiedene technologische Möglichkeiten entwickelt. To detect a gesture, the position and movement of an actuating object, such as a user's hand, can be tracked. Furthermore, a gesture can be evaluated as a gesture. Various technological possibilities have been developed for detection and gesture recognition.

Bei dem in der WO 2012/152475 A1 beschriebenen Verfahren zum Erkennen einer Geste eines Lebewesens wird der Mikro-Doppler-Effekt genutzt, um einen Bewegungsablauf zu erfassen. Durch eine Sender-Empfänger-Anordnung für Radarwellen werden Mikro-Doppler-, Anstands, Winkel oder Amplituden-Informationen erfasst und ausgewertet. Hinreichend unzufällige Bewegungen werden bestimmt und als Gesten ausgewertet. In the in the WO 2012/152475 A1 described method for detecting a gesture of a living being, the micro-Doppler effect is used to detect a movement sequence. By a transmitter-receiver arrangement for radar waves micro-Doppler, decency, angle or amplitude information is detected and evaluated. Sufficiently unruly movements are determined and evaluated as gestures.

Die US 2010/0202656 A1 schlägt ein System zur Gestenerkennung auf Basis von Ultraschallwellen mithilfe des Dopplereffekts vor. The US 2010/0202656 A1 proposes a gesture recognition system based on ultrasonic waves using the Doppler effect.

Bei der in der US 2012/0280900 A1 beschriebenen Vorrichtung für eine Gestenerkennung werden zwei Sensoren mit überlappenden Erfassungsbereichen, insbesondere ein optischer Sensor und ein Radarsensor verwendet. Durch eine Fusion der erfassten Daten im überlappenden Bereich können Gesten erkannt werden. When in the US 2012/0280900 A1 described apparatus for gesture recognition, two sensors with overlapping detection areas, in particular an optical sensor and a radar sensor are used. By merging captured data in the overlapping area, gestures can be detected.

Die Erkennung von Benutzergesten im Fahrzeug ist auch deshalb ein besonders anspruchsvolles Problem, weil Eingaben in einem großen Erfassungsvolumen stattfinden sollen, etwa im Fahrerbereich, beim Beifahrer oder im Bereich der Rückbank. Andererseits ist es für den Benutzer nicht akzeptabel, große Bewegungen von Arm, Hand und Fingern durchzuführen, um eine eindeutige Erkennung durchzuführen. Vielmehr sind kleine subtile Bewegungen von Vorteil. The detection of user gestures in the vehicle is also a particularly demanding problem, because inputs are to take place in a large detection volume, such as in the driver's area, the passenger or in the area of the back seat. On the other hand, it is unacceptable for the user to make large movements of the arm, hand and fingers to make a clear recognition. Rather, small subtle movements are beneficial.

Diese Kombination von großem Erfassungsbereich und kleinen Bewegungen stellt die bekannte Gestensensortechnologie vor eine große Herausforderung, weil normalerweise entweder große Bereiche grob oder kleine Bereiche fein erfasst werden. Herkömmliche Gestenerkennungslösungen beschränken den Erfassungsbereich typischerweise auf kleine Raumbereiche, etwa ein Erfassungsvolumen direkt vor der Anzeigefläche eines Displays, am Dachhimmel eines Fahrzeugs oder mittels separater Erfassungsbereiche für mehrere Nutzer einer Einrichtung. This combination of large detection range and small movements presents a major challenge to the well-known type of gesture sensor technology, because normally either large areas of coarse or small areas are finely gripped. Conventional gesture recognition solutions typically confine the detection area to small areas of space, such as a detection volume just in front of the display area of a display, on the headliner of a vehicle, or through separate detection areas for multiple users of a facility.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren zum Erfassen einer Eingabegeste eines Nutzers bereitzustellen, bei denen besonders differenzierte und detailreiche Eingabegesten in einem möglichst großen Detektionsraum sicher und robust erfassbar sind. It is an object of the present invention to provide a system and a method for detecting an input gesture of a user, in which particularly differentiated and detailed input gestures can be reliably and robustly detected in the largest possible detection space.

Erfindungsgemäß wird diese Aufgabe durch ein System mit den Merkmalen des Anspruchs 1, ein Fahrzeug mit den Merkmalen des Anspruchs 11 und ein Verfahren mit den Merkmalen des Anspruchs 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen. According to the invention, this object is achieved by a system having the features of claim 1, a vehicle having the features of claim 11 and a method having the features of claim 12. Advantageous embodiments and further developments emerge from the dependent claims.

Das erfindungsgemäße System der eingangs genannten Art ist dadurch gekennzeichnet, dass durch eine Bildverarbeitungseinheit anhand der erfassten Bilddaten ein Gestenraum bestimmbar ist und der Radarsensor durch eine Steuereinheit so ansteuerbar ist, dass der Radardetektionsraum anhand des bestimmten Gestenraums steuerbar ist. The inventive system of the aforementioned type is characterized in that a gesture space can be determined by an image processing unit based on the acquired image data and the radar sensor is controlled by a control unit so that the Radardetektionsraum is controllable based on the specific gesture space.

Dadurch wird vorteilhafterweise eine sichere und robuste Erkennung kleiner Eingabegesten in einem besonders großen Raum ermöglicht. Das erfindungsgemäße System verbessert die Gestenerkennung einerseits dadurch, dass mehrere Sensoren verschiedenen Typs eine Erfassung nicht nur redundanter, sondern auch komplementärer Daten erlauben. Diese Daten können so kombiniert werden, dass Gesten genauer erkannt werden können. Andererseits erlaubt das erfindungsgemäße System eine verbesserte Gestenerkennung durch den Radarsensor, da der Radardetektionsraum auf einen relevanten Bereich beschränkt wird und dadurch umgekehrt die Erfassung irrelevanter Hintergrunddaten in weiteren Bereichen vermieden wird. This advantageously enables a secure and robust recognition of small input gestures in a particularly large space. The system according to the invention improves gesture recognition on the one hand by the fact that several Sensors of different types allow detection of not only redundant, but also complementary data. These data can be combined so that gestures can be more accurately recognized. On the other hand, the system according to the invention permits improved gesture recognition by the radar sensor, since the radar detection space is restricted to a relevant area and, conversely, the detection of irrelevant background data in further areas is avoided.

Unter einer „Eingabegeste“ wird im Sinne der Erfindung eine bestimmte Stellung eines Betätigungsobjekts oder eine bestimmte Bewegung, die mit dem Betätigungsobjekt ausgeführt wird, verstanden. Das Betätigungsobjekt kann etwa eine Hand des Nutzers sein, wobei insbesondere die Finger der Hand berücksichtigt werden. Die Eingabegesten können nach an sich bekannter Art ausgestaltet sein. Sie umfassen zum Beispiel Zeigegesten, Wischgesten und Kombinationen mehrerer solcher gegebenenfalls unmittelbar kurz nacheinander ausgeführter Gesten. In the sense of the invention, an "input gesture" is understood to mean a specific position of an actuating object or a specific movement that is carried out with the actuating object. The actuating object may be about a hand of the user, in particular the fingers of the hand are taken into account. The input gauges can be designed in a manner known per se. They include, for example, pointing gestures, swipe gestures, and combinations of several such gestures, which may be executed immediately after each other.

Zur Erfassung der Bilddaten werden an sich bekannte Verfahren verwendet. Dabei werden entweder Grauwert- bzw. Farbbilder der Szene aufgenommen oder im Falle einer Time-of-Flight-(ToF-)Kamera Tiefenkarten und Intensitätsbilder. Die Bilddaten umfassen Daten über die räumliche Verteilung des auf den Sensor der Kamera treffenden Lichts. Dabei kann insbesondere Licht im für das menschliche Auge sichtbaren Spektralbereich und/oder in weiteren Bereichen, etwa im Infrarotbereich, erfasst werden. Der Sichtbereich einer Bilddatenerfassungseinheit, etwa einer Kamera, kann durch entsprechende Optiken recht groß sein. So sind etwa Öffnungswinkel von 90° und mehr einfach realisierbar. Ferner kann sich der erfasste Tiefenbereich einer ToF-Kamera zum Beispiel den gesamten Innenraum eines Fahrzeugs erstrecken. Kamerabasierte Systeme können eine große Auflösung der Blickrichtungen aufgrund der hohen Pixelzahl bieten. For acquiring the image data, known methods are used. Either grayscale or color images of the scene are recorded or, in the case of a time-of-flight (ToF) camera, depth maps and intensity images. The image data includes data about the spatial distribution of the light striking the sensor of the camera. In particular, light can be detected in the spectral range visible to the human eye and / or in other ranges, for example in the infrared range. The field of view of an image data acquisition unit, such as a camera, can be quite large by corresponding optics. For example, opening angles of 90 ° and more can be easily realized. Further, the detected depth range of a ToF camera may extend, for example, the entire interior of a vehicle. Camera-based systems can offer a high resolution of the viewing directions due to the high number of pixels.

Kamerabasierte Bilddatenerfassungseinheiten können insbesondere Daten über statische Posen, etwa die Haltung einer Hand und/oder einzelner Finger, oder dynamische Gesten erfassen, indem sie den Zustand der Hand vor und nach dem Ausführen der Eingabegeste vergleichen. Allerdings ist die Entfernungsauflösung auch bei ToF-Kameras nicht sehr groß: Kleine Bewegungen, etwa im Millimeterbereich, können typischerweise nur schwer erfasst werden. In particular, camera-based image data acquisition units can capture data about static poses, such as the position of a hand and / or individual fingers, or dynamic gestures by comparing the state of the hand before and after executing the input gesture. However, the range resolution is also not very large with ToF cameras: small movements, for example in the millimeter range, can typically be detected only with difficulty.

Radarsensoren erfassen Objekte mittels einer Abstrahlung eines Radarsignals und Empfangens der reflektierten Signale mit einem System von Sende- und Empfangsantennen. Das Produkt aus der Anzahl von Sende- und Empfangsantennen ergibt die Anzahl der virtuellen Kanäle des Radarsensors, die für die Objekterfassung ausgewertet werden können. Jeder dieser Kanäle besitzt eine Richtcharakteristik und erfasst ein Richtungssegment im Raum. Die Richtungsauflösung ist daher nicht sehr hoch, obwohl zur Bestimmung eine Interpolation durchgeführt werden kann. Allerdings sind anhand der detektierten Radardaten Entfernungen mit geringer Genauigkeit und Bewegungsprofile von Objekten in radialer Richtung mit hoher Genauigkeit, das heißt in Richtung des Sensors, erfassbar. Radar sensors detect objects by emitting a radar signal and receiving the reflected signals with a system of transmit and receive antennas. The product of the number of transmit and receive antennas gives the number of virtual channels of the radar sensor, which can be evaluated for the object detection. Each of these channels has a directional characteristic and detects a directional segment in space. The directional resolution is therefore not very high, although interpolation can be performed to determine. However, based on the detected radar data distances with low accuracy and motion profiles of objects in the radial direction with high accuracy, that is in the direction of the sensor detectable.

Erfindungsgemäß werden sowohl die erfassten Bilddaten als auch Radardaten zur Erfassung der Eingabegeste genutzt und es werden die komplementären Stärken beider Technologien ausgenutzt. Dies erlaubt eine gute Richtungs- und Tiefenauflösung sowie ein detailliertes Bewegungsprofil für die nachfolgende Gestenauswertung. According to the invention, both the captured image data and radar data are used to capture the input gesture and the complementary strengths of both technologies are exploited. This allows a good directional and depth resolution as well as a detailed motion profile for the subsequent gesture evaluation.

Zum Bestimmen des Gestenraums gemäß des erfindungsgemäßen Verfahrens können mittels der Bildverarbeitungseinheit an sich bekannte Verfahren angewandt werden. Dabei wird als „Gestenraum“ insbesondere ein Raum bezeichnet, in dem zu einem aktuellen Zeitpunkt oder zu einem bestimmten späteren Zeitpunkt, insbesondere unmittelbar danach und innerhalb eines kurzen Zeitraums, eine Eingabegeste des Nutzers erwartet wird, etwa in der räumlichen Umgebung eines detektierten Betätigungsobjekts oder einer mittels der Eingabegeste zu bedienenden Einrichtung. To determine the gesture space according to the method according to the invention, methods known per se can be used by means of the image processing unit. In this case, a "gesture space" is in particular a space in which an input gesture of the user is expected at a current time or at a certain later time, in particular immediately thereafter and within a short period of time, for example in the spatial environment of a detected actuating object or object device to be operated by means of the input gesture.

In der Folge kann der Radarsensor so angesteuert werden, dass sein Erfassungsbereich, das heißt der Radardetektionsraum, den Gestenraum zumindest teilweise umfasst, wobei die räumlichen Dimensionen des Radardetektionsraums anhand an sich bekannter Verfahren gesteuert wird. Dadurch kann sichergestellt werden, dass die Radardaten in einem definierten räumlichen Bereich erfasst werden und dass des Radardetektionsraum so beschränkt wird, dass möglichst spezifische Radardaten erfasst werden. Auf diese Weise wird beispielsweise vermieden, dass durch das Erfassen von Radardaten in einem weniger definierten Radardetektionsraum zum Beispiel Bewegungen erfasst werden, die nicht zu der Eingabegeste des Nutzers gehören. Dadurch kann insbesondere die Erfassung von kleinen Gesten verbessert werden, für die sonst kein ausreichend starkes Signal gegenüber unspezifischen Umgebungssignalen erfassbar wäre. Beispielsweise kann die Eingabegeste eine Bewegung eines Fingers des Nutzers umfassen, wobei in diesem Fall der Radardetektionsraum beispielsweise auf die Hand oder einen Bereich der Hand beschränkt werden kann. As a result, the radar sensor can be controlled such that its detection area, that is to say the radar detection space, at least partially encompasses the gesture space, the spatial dimensions of the radar detection space being controlled by methods known per se. As a result, it can be ensured that the radar data is detected in a defined spatial area and that the radar detection space is limited in such a way that radar data that is as specific as possible are detected. In this way, it is avoided, for example, that the detection of radar data in a less defined radar detection space, for example, detects movements that do not belong to the input gesture of the user. As a result, in particular the detection of small gestures can be improved, for which otherwise no sufficiently strong signal would be detectable with respect to non-specific ambient signals. For example, the input gesture may include movement of a user's finger, in which case the radar detection space may be limited to the hand or an area of the hand, for example.

Ferner kann der Radardetektionsraum durch gezieltes Steuern auf einen Bereich für einen bestimmten Nutzer beschränkt werden. Beispielsweise kann, wenn die Eingabegeste von dem Fahrer eines Fahrzeugs erfasst werden soll und nicht von dem Beifahrer, der Radardetektionsraum so definiert sein, dass Gesten des Beifahrers nicht erfasst werden und daher auch keine Störung der Gestenerfassung verursachen können. Furthermore, the radar detection space can be limited by targeted control of an area for a particular user. For example, if the input gesture is to be detected by the driver of a vehicle and not by the driver Passenger's radar detection room must be defined so that the passenger's gestures are not detected and therefore can not cause any disturbance of the gesture detection.

Bei dem Verfahren wird anhand der erfassten Radardaten eine Gestensignatur bestimmt. Diese umfasst zusammengehörige Daten anhand derer eine Eingabegeste bestimmt werden kann. Beispielsweise kann eine Gestensignatur für Radardaten bestimmt werden, die innerhalb eines bestimmten Zeitraums erfasst werden. Ferner können bestimmte Kanäle des Radarsensors bei der Bestimmung der Gestensignatur berücksichtigt werden. Insbesondere kann die Gestensignatur Informationen über räumliche Positionen und/oder Positionsänderungen umfassen. In the method, a gesture signature is determined based on the detected radar data. This includes related data from which an input gesture can be determined. For example, a gesture signature may be determined for radar data acquired within a certain period of time. Furthermore, certain channels of the radar sensor may be taken into account in the determination of the gesture signature. In particular, the gesture signature may include information about spatial locations and / or location changes.

Die Zuordnung der Gestensignatur zu einer Eingabegeste kann etwa erfolgen, indem die bestimmte Gestensignatur anhand eines Signaturvergleichs mit einer Hypothesenmenge der Eingabegeste zugeordnet wird. Dies erlaubt eine einfache Erkennung der Eingabegeste. Beispielsweise kann die Hypothesenmenge die Menge aller potentiell erkennbaren Eingabegesten umfassen, insbesondere in einer so parametrisierten Form, dass die Zuordnung einer bestimmten Eingabesignatur einfach durchgeführt werden kann. Die Hypothesenmenge kann dabei eine Menge von Referenzsignaturen umfassen und vorgegeben oder konfigurierbar sein, beispielsweise durch Eingaben des Nutzers oder durch das Erlernen neuer Eingabegesten. The assignment of the gesture signature to an input gesture can take place, for example, by assigning the specific gesture signature on the basis of a signature comparison with a hypothesis set of the input gesture. This allows easy recognition of the input gesture. For example, the set of hypotheses may include the set of all potentially recognizable input gestures, particularly in a parameterized form such that the assignment of a particular input signature can be easily performed. The set of hypotheses may include a set of reference signatures and be predetermined or configurable, for example, by inputs of the user or by learning new input gestures.

Die Hypothesenmenge kann dabei anhand eines aktuellen Kontextes bestimmt werden, um die Hypothesenmenge an die aktuelle Situation, beispielsweise an einen Fahrzustand eines Fahrzeugs oder die Aktivität bestimmter bedienbarer Einrichtungen, anzupassen. The hypothesis set can be determined on the basis of a current context in order to adapt the hypothesis set to the current situation, for example to a driving state of a vehicle or the activity of certain operable devices.

Der aktuelle Kontext kann beispielsweise bestimmt werden anhand von Daten, die Informationen über die aktuelle, vergangene oder prognostizierte Bewegung des Fahrzeugs umfassen. Ferner kann zur Bestimmung des Kontextes erfasst werden, welche Einrichtungen des Fahrzeugs aktiviert und bedienbar sind, welche weiteren Einrichtungen angesteuert werden können und/oder welche Funktionen derzeit von bedienbaren Einrichtungen ausgeführt werden, beispielsweise welche Programme aktuell von einem Rechner ausgeführt werden. Die Hypothesenmenge kann dann so angepasst werden, dass die potentiell erkennbaren Eingabegesten an die aktuelle Situation des Systems angepasst sind. Es kann ferner eine personalisierte Hypothesenmenge für einen bestimmten Nutzer bereitgestellt werden. For example, the current context may be determined from data that includes information about the current, past, or predicted movement of the vehicle. Furthermore, it can be detected to determine the context, which devices of the vehicle are activated and operated, which other devices can be controlled and / or which functions are currently performed by accessible devices, such as what programs are currently running from a computer. The set of hypotheses can then be adjusted so that the potentially recognizable input gestures are adapted to the current situation of the system. There may also be provided a personalized set of hypotheses for a particular user.

Bei der Zuordnung der Gestensignatur zu einer Eingabegeste kann zum Beispiel ein Ähnlichkeitswert bestimmt werden und der Ähnlichkeitswert kann mit einem Akzeptanzschwellenwert verglichen werden. Dadurch wird festgelegt, wie zuverlässig eine Eingabegeste mindestens erkannt werden muss, damit zum Beispiel ein Signal erzeugt und/oder ausgegeben wird. Dabei kann der Ähnlichkeitswert nach an sich bekannten Verfahren bestimmt werden, insbesondere bei der Zuordnung der Eingabegeste zu der bestimmten Gestensignatur. Der Ähnlichkeitswert gibt an, wie genau die bestimmte Gestensignatur einem Element der Hypothesenmenge entspricht, das heißt, mit welcher Sicherheit die Eingabegeste erkannt wurde. Der Akzeptanzschwellenwert kann statisch festgelegt sein oder dynamisch bestimmt werden, etwa in Abhängigkeit von dem Kontext, Präferenzen des Nutzers und/oder der Kritikalität der bedienbaren Einrichtung. Zum Beispiel können höhere Anforderungen an die Ähnlichkeitswerte für Eingabegesten gestellt werden, durch die sicherheitsrelevante Einrichtungen des Fahrzeugs bedient werden. Ferner kann der Akzeptanzschwellenwert anhand einer Eingabe des Nutzers bestimmt werden, etwa anhand eines Einstellparameters. For example, in assigning the gesture signature to an input gesture, a similarity value may be determined, and the similarity value may be compared to an acceptance threshold. This determines how reliable an input gesture must be at least recognized so that, for example, a signal is generated and / or output. In this case, the similarity value can be determined according to methods known per se, in particular when assigning the input gesture to the determined gesture signature. The similarity value indicates how exactly the particular gesture signature corresponds to an element of the hypothesis set, that is, with what certainty the input gesture was recognized. The acceptance threshold may be static or determined dynamically, depending on the context, preferences of the user and / or the criticality of the operable device. For example, higher demands can be placed on the similarity values for input tests by which safety-relevant devices of the vehicle are operated. Furthermore, the acceptance threshold value can be determined on the basis of an input of the user, for example based on a setting parameter.

Bei einer Ausbildung des erfindungsgemäßen Systems ist anhand der Eingabegeste ein Steuersignal erzeugbar und das Steuersignal ist an eine weitere Einrichtung übertragbar. In one embodiment of the system according to the invention, a control signal can be generated on the basis of the input gesture, and the control signal can be transmitted to a further device.

Die Ausgabe des anhand der Eingabegeste erzeugten Signals erfolgt insbesondere so, dass damit die Einrichtung oder eine Funktion der Einrichtung gesteuert wird. Beispielsweise kann dies eine Einrichtung des Fahrzeugs sein, jedoch auch eine Funktion eines Nutzergeräts oder einer fahrzeugexternen Einrichtung. The output of the signal generated on the basis of the input gesture is carried out in particular such that it controls the device or a function of the device. For example, this may be a device of the vehicle, but also a function of a user device or a vehicle-external device.

Als „fahrzeugextern“ werden dabei Einrichtungen verstanden, die trennbar datentechnisch mit dem Fahrzeug verbunden sind, sodass sie zwar keinen Bestandteil des Fahrzeugs bilden, jedoch vom Fahrzeug aus gesteuert oder bedient werden können. Beispielweise kann die Öffnung einer Garage mittels einer Fernbedienung vom Fahrzeug aus erfolgen und das erfindungsgemäße Verfahren erlaubt eine solche Bedienung mittels geeigneter Eingabegesten. Ferner können weitere Einrichtungen einer sogenannten Smart-Home-Umgebung bedient werden, etwa zum Vorbereiten der Ankunft des Nutzers in einem Haus. In this context, devices which are separably connected to the vehicle in terms of data technology are understood to be "outside the vehicle", so that while they do not form part of the vehicle, they can be controlled or operated by the vehicle. For example, the opening of a garage can be done by means of a remote control from the vehicle and the inventive method allows such operation by means of suitable gestures. Furthermore, further facilities of a so-called smart home environment can be operated, such as for preparing the arrival of the user in a house.

Es wird dabei nicht notwendigerweise vorausgesetzt, dass die Eingabegeste in der Nähe oder in einem räumlichen Zusammenhang zu der zu bedienenden Einrichtung ausgeführt wird. Durch die Steuerung mittels Eingabegesten wird dem Nutzer daher eine besonders einfache und intuitive Eingabemöglichkeit zur Steuerung bereitgestellt. It is not necessarily assumed that the input gesture is executed in the vicinity or in a spatial relationship with the device to be operated. The control by means of input gesture therefore provides the user with a particularly simple and intuitive input option for the control.

Ferner kann ein Aktivierungssignal erfasst werden und das Erfassen der Eingabegeste anhand des Aktivierungssignals erfolgen. Dadurch kann die Gestenerkennung vorteilhafterweise zu bestimmten Zeiten aktiviert werden, etwa um den Ablauf der Gestenerkennung in Situationen zu vermeiden, in denen eine Eingabegeste erfasst wird, obwohl keine Bedienabsicht des Nutzers besteht. Furthermore, an activation signal can be detected and the detection of the input gesture based on the activation signal. As a result, the gesture recognition can advantageously be activated at specific times, for example in order to avoid the sequence of gesture recognition in situations in which an input gesture is detected, even though the user does not intend to operate.

Bei einer Weiterbildung wird das Aktivierungssignal durch eine Spracheingabe eines Nutzers erfasst. Dies bietet vorteilhafterweise die Möglichkeit, die Gestensteuerung schnell und einfach zu aktivieren. Beispielsweise kann der Nutzer das Aktivierungssignal durch Aussprechen eines Sprachbefehls auslösen. Ferner wird dadurch eine Integration in ein Bedienkonzept, insbesondere eines Fahrzeugs, ermöglicht, das auch eine Sprachsteuerung umfasst. In a development, the activation signal is detected by a voice input from a user. This advantageously offers the possibility to activate the gesture control quickly and easily. For example, the user may trigger the activation signal by uttering a voice command. Furthermore, this makes possible integration into an operating concept, in particular of a vehicle, which also includes voice control.

In weiteren Ausbildungen kann das Aktivierungssignal nach an sich bekannten Verfahren erzeugt werden, wobei insbesondere eine Bedienhandlung des Nutzers erfasst wird oder die Erzeugung des Aktivierungssignals automatisch ausgelöst wird. In further embodiments, the activation signal can be generated according to methods known per se, wherein in particular an operator action of the user is detected or the generation of the activation signal is triggered automatically.

Bei einer weiteren Ausbildung ist anhand der erfassten Bilddaten eine Position einer Hand des Nutzers bestimmbar und der Gestenraum ist anhand der bestimmten Position der Hand des Nutzers bestimmbar. Dadurch ist der Gestenraum vorteilhafterweise einfach bestimmbar. In a further embodiment, a position of the user's hand can be determined on the basis of the captured image data, and the gesture space can be determined on the basis of the determined position of the user's hand. As a result, the gesture space is advantageously easily determinable.

Beispielsweise kann der Gestenraum bestimmt werden, indem zunächst anhand der Bilddaten eine Hand des Nutzers detektiert wird. Ferner können die Pose und Position der Hand sowie ein Raum um die Hand herum bestimmt werden, sodass eine Bewegung der Hand innerhalb dieses Raums zum Ausführen einer Geste von dem Gestenraum umschlossen ist. For example, the gesture space can be determined by first detecting a hand of the user on the basis of the image data. Further, the pose and position of the hand as well as a space around the hand can be determined so that movement of the hand within that space to execute a gesture is enclosed by the gesture space.

Bei einer Weiterbildung umfasst die Eingabegeste des Nutzers eine Bewegung zumindest zweier Finger des Nutzers relativ zueinander. Dadurch können vorteilhafterweise besonders kleine Eingabegesten verwendet werden. Ähnlich wie oben für die Hand des Nutzers beschrieben, können einzelne Finger des Nutzers oder Bereiche der Hand detektiert werden und es kann ein zugeordneter Gestenraum für diese Finger bestimmt werden, in dem kleinere Eingabegesten erfassbar sind. In a development, the input gesture of the user comprises a movement of at least two fingers of the user relative to one another. As a result, particularly small input gauges can advantageously be used. Similar as described above for the user's hand, individual fingers of the user or portions of the hand may be detected and an associated gesture space may be determined for these fingers in which smaller input gestures are detectable.

Bei einer weiteren Ausgestaltung ist die Gestensignatur ferner anhand der Bilddaten bestimmbar. Dies ermöglicht vorteilhafterweise eine Ausnutzung der Daten verschiedenartiger Sensoren, die sich gegenseitig ergänzen können, zur Gestenerkennung. Beispielsweise kann anhand der Bilddaten eine bessere Erkennung einer Handpose ausgeführt werden. Ferner kann der Nutzer erkannt werden, etwa um individuell definierte Gesten zu erkennen. In a further refinement, the gesture signature can also be determined on the basis of the image data. This advantageously makes it possible to utilize the data of various types of sensors, which can complement each other, for gesture recognition. For example, based on the image data, a better recognition of a hand pose can be performed. Furthermore, the user can be recognized, for example, to recognize individually defined gestures.

Dies erlaubt eine robustere Gestenerkennung, da zwei Sensoren gleichzeitig und im gleichen Raumbereich Daten für die Gestensignatur liefern, die zur Erkennung der Geste verwendet werden können. Ferner können durch die hohe Richtungsauflösung von Bilddatenerfassungseinheiten wie Kameras parallele Eingaben in verschiedenen Raumbereichen unterschieden werden. This allows for more robust gesture recognition because two sensors simultaneously and in the same space provide gesture signature data that can be used to detect the gesture. Furthermore, due to the high directional resolution of image data acquisition units such as cameras, it is possible to distinguish parallel inputs in different spatial areas.

Durch eine Fusion der Radar- und Bilddaten kann eine Gestensignatur so bestimmt werden, dass sie einen Gestenklassifikator mit einer konsolidierten 3D-Positions- und Geschwindigkeitsinformation umfasst. Ferner können durch die Unterscheidung von Bereichen im Raum, die insbesondere mittels des Richtungs- und Ortsauflösungsvermögens der Bilddatenerfassungseinheit erreicht werden kann, mehrere Objekte parallel auswerten, etwa Eingabegesten eines Fahrers und Beifahrers. By merging the radar and image data, a gesture signature may be determined to include a gesture classifier with consolidated 3D position and velocity information. Furthermore, by distinguishing areas in space, which can be achieved in particular by means of the directional and spatial resolution capabilities of the image data acquisition unit, several objects can be evaluated in parallel, such as input commands of a driver and front passenger.

Der Radarsensor liefert insbesondere eine Objektliste, das heißt eine Menge von Objektpunkten mit Positionen und Geschwindigkeit im dreidimensionalen Raum. Zusätzlich wird für jeden Objektpunkt ein Konfidenzwert geliefert, der die Zuverlässigkeit der Schätzung angibt. Der Kamerasensor (etwa eine ToF-Kamera oder eine Kamera für Graustufen- oder Farbbilder) liefert vollständige Bilder mit Pixelkoordinaten, nämlich 3D-Koordinaten für jeden Bildpunkt, Graustufen beziehungsweise Farbwerte an den Pixelkoordinaten und Konfidenzwerte für die einzelnen Bildpunkte. Beide Informationsquellen, Objektpunkte und Bilder, werden zusammengeführt, wobei berücksichtigt wird, ob sich die Erfassungsbereiche der Sensoren an den Positionen im Raum überlappen. Mittels der Konfidenzwerte kann ein Vergleich und eine Zusammenführung durchgeführt werden, was als „Sensorfusion“ bezeichnet wird. In particular, the radar sensor provides an object list, that is to say a set of object points with positions and speed in three-dimensional space. In addition, a confidence value is supplied for each object point, indicating the reliability of the estimate. The camera sensor (such as a ToF camera or grayscale or color image camera) provides complete images with pixel coordinates, namely, 3D coordinates for each pixel, grayscale or color values at the pixel coordinates, and confidence values for each pixel. Both information sources, object points and images, are merged, taking into account whether the detection ranges of the sensors overlap at the positions in space. By means of the confidence values, a comparison and a merger can be carried out, which is referred to as "sensor fusion".

Bei einer weiteren Ausgestaltung der Erfindung ist ferner eine Geschwindigkeit und/oder Beschleunigung des Betätigungsobjekts, etwa der Hand oder eines Teils der Hand, bestimmbar und das Steuersignal ist ferner anhand der bestimmten Geschwindigkeit und/oder Beschleunigung des Betätigungsobjekts erzeugbar. Dadurch kann vorteilhafterweise die dynamische Ausführung der Eingabegeste berücksichtigt werden. In a further embodiment of the invention, a speed and / or acceleration of the actuating object, such as the hand or a part of the hand, further determinable and the control signal is further generated based on the specific speed and / or acceleration of the actuating object. As a result, the dynamic execution of the input device can advantageously be taken into account.

Beispielsweise kann der Nutzer eine Eingabegeste schnell oder langsam ausführen und dadurch etwa eine Intensität oder einen Geschwindigkeitsparameter eingeben. Die kann etwa eine differenzierte Steuerung erlauben, bei der ein Einstellparameter durch eine langsam ausgeführte Einstellgeste genau eingestellt werden kann, während eine schnell ausgeführte Einstellgeste eine Grobeinstellung erlaubt. For example, the user can execute an input gesture quickly or slowly and thereby enter about an intensity or a speed parameter. This may allow, for example, a differentiated control, in which a setting parameter can be set accurately by a slowly executed setting gesture, while a quickly executed adjustment gesture allows coarse adjustment.

Bei einer Ausbildung ist eine Radardatensequenz mit zeitlich aufeinander folgenden Radardaten erfassbar und der Radardatensequenz ist eine Signatursequenz zuordenbar. Dadurch kann vorteilhafterweise eine zeitliche Entwicklung einer Eingabegeste berücksichtigt werden. In one embodiment, a radar data sequence with temporally successive radar data can be detected and the radar data sequence can be assigned a signature sequence. As a result, advantageously a temporal development of an input gesture can be taken into account.

Die Zuordnung der Signatursequenz kann ferner anhand einer Bilddatensequenz mit zeitlich aufeinander folgenden Bilddaten erfolgen. The assignment of the signature sequence can also take place on the basis of an image data sequence with temporally successive image data.

Die Signatursequenz charakterisiert insbesondere einen bei der Eingabegeste beschriebenen Bewegungspfad, das heißt eine Trajektorie. Dabei kann die Trajektorie anhand mehrerer, in zeitlicher Folge nacheinander erfasster Positionen des Betätigungsobjekts explizit bestimmt werden. Die Trajektorie kann ferner anhand der Signatursequenz implizit erfasst werden, ohne dass dazu eine Position im Raum bestimmt wird. Insbesondere kann so eine Geste unabhängig davon erfasst werden, wo im Radardetektionsraum beziehungsweise Bilderfassungsraum sie ausgeführt wird. The signature sequence particularly characterizes a motion path described in the input gesture, ie a trajectory. In this case, the trajectory can be determined explicitly on the basis of a plurality of positions of the actuation object which are detected in succession in succession. The trajectory can also be detected implicitly by means of the signature sequence without a position in space being determined for this purpose. In particular, such a gesture can be detected independently of where it is executed in the radar detection space or image detection space.

Anhand der Signatursequenz, insbesondere anhand einer bestimmten Trajektorie, kann ferner eine Bewegungsrichtung bestimmt werden. Die Bewegungsrichtung kann insbesondere direkt mit einer bedienbaren Einrichtung gekoppelt sein, etwa wenn mittels der Eingabegeste ein steuerbares Bewegungselement bedient wird, das beispielsweise auf einer Anzeigefläche angezeigt wird. In diesem Fall bewegt die bei der Eingabegeste ausgeführte Bewegung das Bewegungselement auf der Anzeigefläche. Bei dem Bewegungselement kann es sich beispielsweise um einen auf der Anzeigefläche dargestellten Schiebe- oder Drehschalter handeln. Ein solches Bewegungselement kann durch eine Bewegung einer Eingabegeste betätigt werden, die einem Schieben oder Drehen des Bewegungselements entspricht, wobei die entsprechende Bewegung berührungslos im Detektionsraum vom Nutzer ausgeführt wird. Eine derartige Betätigung eines Bewegungselementes, das auf der Anzeigefläche angezeigt wird, bietet den Vorteil, dass der Nutzer nicht – wie beispielsweise bei einer berührungsempfindlichen Oberfläche – einen bestimmten Flächenbereich treffen muss. Es reicht vielmehr aus, dass er die dem Bewegungselement zugeordnete Eingabegeste mit der gewünschten Richtung ausführt. Die Eingabegeste entspricht dabei insbesondere einer Bewegung, die beispielsweise bei mechanischen Bedienelementen ausgeführt wird, sodass sich der Nutzer diese Eingabegeste leicht merken kann. On the basis of the signature sequence, in particular based on a specific trajectory, a direction of movement can also be determined. In particular, the direction of movement may be coupled directly to an operable device, for example when a controllable movement element is operated by means of the input gesture, which is displayed, for example, on a display surface. In this case, the movement performed on the input gesture moves the moving element on the display surface. The movement element may be, for example, a sliding or rotary switch shown on the display surface. Such a movement element can be actuated by a movement of an input gesture, which corresponds to a sliding or turning of the movement element, wherein the corresponding movement is carried out without contact in the detection space by the user. Such an actuation of a movement element that is displayed on the display surface offers the advantage that the user does not have to hit a certain surface area, as is the case, for example, with a touch-sensitive surface. On the contrary, it is sufficient for him to execute the input gesture assigned to the movement element with the desired direction. The input gesture corresponds in particular to a movement which is carried out, for example, in the case of mechanical operating elements, so that the user can easily remember these input gestures.

Bei einer weiteren Ausbildung ist anhand der Radardaten ein Doppler-Effekt erfassbar. Dies erlaubt eine Erfassung kleiner Eingabegesten mit hoher Genauigkeit. Die Erfassung der Radardaten erfolgt dabei auf an sich bekannte Weise. Insbesondere sind so Bewegungen in radialer Richtung relativ zu dem Radarsensor mit hoher Genauigkeit erfassbar. In a further embodiment, a Doppler effect can be detected on the basis of the radar data. This allows detection of small input gauges with high accuracy. The detection of the radar data is carried out in a known manner. In particular, movements in the radial direction relative to the radar sensor can thus be detected with high accuracy.

Bei einer Ausbildung weist der Radarsensor mehrere Kanäle auf, wobei den Kanälen verschiedene Teildetektionsräume zugeordnet sind. Auf diese Weise kann vorteilhafterweise eine differenzierte, räumlich aufgelöste Erfassung von Radardaten erfolgen. In one embodiment, the radar sensor has a plurality of channels, wherein the channels are associated with different Teektionsektionsräume. In this way, a differentiated, spatially resolved detection of radar data can advantageously take place.

Die Kanäle entsprechen insbesondere einer Kombination eines Senders und eines Empfängers. Radarsensor kann also mehrere Sender und/oder Empfänge umfassen, wobei sich die Anzahl der Kanäle aus dem Produkt der Anzahl der Sender und Empfänger ergibt. Beispielsweise kann der Radarsensor drei Sender und vier Empfänger umfassen, wobei sich eine Anzahl von zwölf Kanälen ergibt. Der einem Kanal zugeordnete Teildetektionsraum weist insbesondere eine Form einer Keule im dreidimensionalen Raum auf. Mehrere Kanäle können etwa so gesteuert werden, dass sich die Teildetektionsräume fächerartig in einer Ebene erstrecken. Ferner kann die Trennung von mehreren Kanälen die Unterscheidung mehrerer Eingabegesten parallel zueinander erlauben. Beispielsweise können in einem Fahrzeug der Fahrer und der Beifahrer oder mehrere Passagier im Fahrzeugfond Eingabegesten ausführen. The channels correspond in particular to a combination of a transmitter and a receiver. Radar sensor may thus comprise a plurality of transmitters and / or receivers, wherein the number of channels results from the product of the number of transmitters and receivers. For example, the radar sensor may comprise three transmitters and four receivers, resulting in a number of twelve channels. The part-detection space assigned to a channel has in particular a shape of a lobe in three-dimensional space. Several channels can be controlled approximately so that the Teektionsektionsräume fan-like extend in a plane. Furthermore, the separation of multiple channels may allow the distinction of multiple input gestures in parallel. For example, in a vehicle, the driver and the front passenger or several passengers in the vehicle fund can execute input gestures.

Ferner ist bei einer weiteren Ausbildung der Radardetektionsraum durch Verändern einer Kombination einer Teilmenge der Gesamtmenge der Teildetektionsräume der Kanäle des Radarsensors steuerbar. Dies erlaubt vorteilhafterweise eine Detektion von Gesten mit verbesserter örtlicher Auflösung. Beispielsweise können die in mehreren Teildetektionsräumen erfassten Radardaten zusammengefasst werden oder es kann eine Bewegung von einem Teildetektionsraum zu einem andern berücksichtigt werden. Further, in another embodiment, the radar detection space is controllable by changing a combination of a subset of the total amount of the part detection spaces of the channels of the radar sensor. This advantageously allows detection of gestures with improved spatial resolution. For example, the radar data acquired in a plurality of sub-detection spaces may be aggregated, or a movement from one sub-detection space to another may be considered.

Bei einer Weiterbildung umfasst der Radarsensor eine Antennenanordnung, wobei die Antennenanordnung zumindest zwei zueinander nicht parallele Antennen umfasst. Dies erlaubt vorteilhafterweise eine gute Steuerung des Radardetektionsraums in drei Raumrichtungen. Insbesondere kann die Ausrichtung der Teildetektionsräume, etwa bei einer Ausbreitung in Form einer Keule, so gesteuert werden, dass die Erfassung der Radardaten in einem klar definierten Raum, erfolgt. In a development, the radar sensor comprises an antenna arrangement, wherein the antenna arrangement comprises at least two antennas which are not parallel to each other. This advantageously allows good control of the radar detection space in three spatial directions. In particular, the orientation of the Teektionsektionsräume, such as a propagation in the form of a club, be controlled so that the detection of the radar data in a well-defined space, takes place.

Bei einer weiteren Ausgestaltung ist der Radardetektionsraum anhand einer elektrischen Leistung steuerbar. Insbesondere ist dabei die Sendeleistung regelbar. So kann vorteilhafterweise die Reichweite des Radardetektionsraums und der Teildetektionsräume gesteuert werden. Insbesondere kann die Leistung der Sendeantennen geregelt werden. Es kann somit sichergestellt werden, dass nur in solchen Bereichen Radardaten erfasst werden, die tatsächlich relevant sind. Beispielsweise kann, wenn detektiert wird, dass der Gestenraum nah am Radarsensor angeordnet ist, die Leistung gering gewählt werden, um keine unspezifischen Radardaten aus weiter entfernten und weniger relevanten Räumen zu erfassen. Umgekehrt kann durch Variation der Leistung auch der Radardetektionsraum bei Bedarf erweitert werden. In a further refinement, the radar detection space can be controlled on the basis of an electrical power. In particular, the transmission power is adjustable. Thus, advantageously, the range of the Radardetektionsraums and the Teektionsektionsräume be controlled. In particular, the Power of the transmit antennas are regulated. It can thus be ensured that radar data that is actually relevant is captured only in those areas. For example, if it is detected that the gesture space is located close to the radar sensor, the power can be chosen low to not detect nonspecific radar data from more distant and less relevant spaces. Conversely, by varying the power and the Radardetektionsraum can be extended if necessary.

Bei einer Weiterbildung sind der Radarsensor und die Bilddatenerfassungseinheit in einer Erfassungseinheit integriert. Insbesondere können der Radarsensor und die Bilddatenerfassungseinheit in einem Gehäuse angeordnet sein. Dies erlaubt vorteilhafterweise eine Konfiguration, bei der eine große Überlappung des Bilderfassungsraums und des Radardetektionsraums erreicht wird. Ferner kann auf diese Weise eine integrierte Einheit besonders leicht hergestellt und in eine Umgebung, etwa in einem Fahrzeug, eingebaut werden. In a development, the radar sensor and the image data acquisition unit are integrated in a detection unit. In particular, the radar sensor and the image data acquisition unit can be arranged in a housing. This advantageously allows a configuration in which a large overlap of the image sensing space and the radar detection space is achieved. Further, in this way, an integrated unit can be made particularly easily and installed in an environment such as in a vehicle.

Bei einer Ausbildung sind der Radarsensor und die Bilddatenerfassungseinheit getrennt voneinander angeordnet. Die kann vorteilhafterweise eine Optimierung des Bilderfassungsraums und des Radardetektionsraums unabhängig voneinander erlauben. Beispielsweise kann ein Radarsensor an einer für die Bilddatenerfassungseinheit ungünstigen Stelle angeordnet sein, die sich nahe dem erwarteten Gestenraum befindet, etwa in der Nähe der Mittelkonsole, wo der Fahrer oder Beifahrer einen Arm ablegen und eine Eingabegeste mit der Hand ausführen kann, ohne diese dazu weit bewegen zu müssen. Ferner kann die Bilddatenerfassungseinheit so angeordnet werden, dass der Bilderfassungsraum die Radardetektionsräume mehrerer Radarsensoren überlappt und etwa Gestenräume für mehrere Eingabegesten, gegebenenfalls auch parallel zueinander, erfassbar sind. In an embodiment, the radar sensor and the image data acquisition unit are arranged separately from one another. Advantageously, it may allow for optimization of the image sensing space and radar detection space independently of each other. For example, a radar sensor may be located at a location inconvenient for the image data acquisition unit, which is close to the expected gesture space, such as near the center console, where the driver or passenger can drop an arm and do an input gesture without handing it over to have to move. Furthermore, the image data acquisition unit can be arranged such that the image acquisition space overlaps the radar detection spaces of a plurality of radar sensors and, for example, gesture spaces for a plurality of input gestures, possibly also parallel to one another, can be detected.

Beispielsweise können die Bilddatenerfassungseinheit und der Radarsensor in einem Kombinationsmodul mit ToF-Kamera und Radarsensor am Rückspiegels im Innenraum eines Fahrzeugs angebracht sein, wobei ein großer Teil oder der gesamte Innenraum erfasst werden kann. Die Vorteile des Systems werden durch diese großen Erfassungsbereiche der Kamera und des Radarsensors besonders vorteilhaft genutzt. Ferner kann ein Gestenmodul etwa im Bereich des Armaturenbretts eines Fahrzeugs angeordnet sein, etwa um eine besonders robuste Gestenerkennung in einem Erfassungsraum zu erreichen, der als wahrscheinlicher Ort für die Ausführung einer Eingabegeste angenommen wird. Es ist auch möglich, den Radar- und den Kamerasensor an getrennten Orten zu verbauen, wobei dennoch die Daten der verschiedenen Sensoren im Sinne der Erfindung gemeinsam verarbeitet werden können. For example, the image data acquisition unit and the radar sensor can be mounted in a combination module with ToF camera and radar sensor on the rearview mirror in the interior of a vehicle, wherein a large part or the entire interior can be detected. The advantages of the system are used particularly advantageously by these large detection ranges of the camera and the radar sensor. Furthermore, a gesture module may be arranged approximately in the area of the dashboard of a vehicle, for example in order to achieve a particularly robust gesture recognition in a detection space, which is assumed to be a probable location for the execution of an input gesture. It is also possible to install the radar and the camera sensor at separate locations, wherein nevertheless the data of the various sensors can be processed together in accordance with the invention.

Das erfindungsgemäße Fahrzeug umfasst ein System zum Erfassen einer Eingabegeste eines Nutzers nach einem der vorhergehenden Ansprüche. Dadurch kann das erfindungsgemäße System vorteilhafterweise in einer Umgebung verwendet werden, in der eine Gestensteuerung besonders sinnvoll ist, da sie die für die Bedienung von Einrichtungen beanspruchte Aufmerksamkeit des Fahrers verringern kann. The vehicle according to the invention comprises a system for detecting an input gesture of a user according to one of the preceding claims. As a result, the system according to the invention can advantageously be used in an environment in which gesture control is particularly useful, since it can reduce the driver's attention required for the operation of devices.

Das erfindungsgemäße Verfahren der eingangs genannten Art ist dadurch gekennzeichnet, dass anhand der erfassten Bilddaten ein Gestenraum bestimmt wird und der Radarsensor so angesteuert wird, dass der Radardetektionsraum anhand des bestimmten Gestenraums gesteuert wird. The inventive method of the aforementioned type is characterized in that based on the captured image data, a gesture space is determined and the radar sensor is controlled so that the Radardetektionsraum is controlled based on the determined gesture space.

Das erfindungsgemäße Verfahren ist insbesondere zum Betreibendes vorstehend beschriebenen erfindungsgemäßen Systems ausgebildet. Das Verfahren weist somit dieselben Vorteile auf wie das erfindungsgemäße System. The inventive method is designed in particular for operating the system according to the invention described above. The method thus has the same advantages as the system according to the invention.

Bei einer Ausbildung des erfindungsgemäßen Verfahrens wird anhand der Eingabegeste ein Steuersignal erzeugt und das Steuersignal wird an eine weitere Einrichtung übertragen. Dadurch wird vorteilhafterweise eine Gestensteuerung der Einrichtung ermöglicht. In one embodiment of the method according to the invention, a control signal is generated on the basis of the input gesture and the control signal is transmitted to a further device. This advantageously enables gesture control of the device.

Bei einer weiteren Ausbildung wird anhand der erfassten Bilddaten eine Position einer Hand des Nutzers bestimmt und der Gestenraum wird anhand der bestimmten Position der Hand des Nutzers bestimmt. Der Gestenraum wird dadurch vorteilhafterweise in dem Bereich bestimmt, in dem eine Eingabegeste zu erwarten ist. In a further embodiment, based on the captured image data, a position of a user's hand is determined and the gesture space is determined based on the determined position of the user's hand. The gesture space is thereby advantageously determined in the area in which an input gesture is to be expected.

Bei einer Weiterbildung umfasst die Eingabegeste des Nutzers eine Bewegung zumindest zweier Finger des Nutzers relativ zueinander. Dadurch können vorteilhafterweise auch kleine Gesten des Nutzers als Eingabegesten erkannt werden. In a development, the input gesture of the user comprises a movement of at least two fingers of the user relative to one another. As a result, even small gestures of the user can advantageously be recognized as input gestures.

Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert. The invention will now be explained by means of embodiments with reference to the drawings.

1A und 1B zeigen ein Ausführungsbeispiel des erfindungsgemäßen Systems, 1A and 1B show an embodiment of the system according to the invention,

1C zeigt ein Ausführungsbeispiel der Sensorfusion für Daten des erfindungsgemäßen Systems und 1C shows an embodiment of the sensor fusion for data of the system according to the invention and

2 zeigt ein Fahrzeug mit einem Ausführungsbeispiel des erfindungsgemäßen Systems. 2 shows a vehicle with an embodiment of the system according to the invention.

Mit Bezug zu den 1A und 1B wird ein Ausführungsbeispiel des erfindungsgemäßen Systems und ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert. Related to the 1A and 1B an embodiment of the system according to the invention and an embodiment of the method according to the invention will be explained.

Ein Fahrzeug 10 umfasst als Bilddatenerfassungseinheit eine Kamera 1 und einen Radarsensor 2. Diese sind mit einer Steuereinheit 6 gekoppelt, die wiederum eine Signaturbestimmungseinheit 3, eine Zuordnungseinheit 4 und eine Bildverarbeitungseinheit 5 umfasst. Die Kamera 1 und der Radarsensor 2 sind nach an sich bekannter Weise gebildet. A vehicle 10 comprises a camera as image data acquisition unit 1 and a radar sensor 2 , These are with a control unit 6 coupled, in turn, a signature determination unit 3 , an allocation unit 4 and an image processing unit 5 includes. The camera 1 and the radar sensor 2 are formed according to known manner.

Der Radarsensor 2 kann eine Antennenanordnung umfassen, wobei mehrere Sende- und Empfangsantennen vorgesehen sind, die insbesondere nicht parallel zueinander angeordnet sind. Beispielsweise können drei Sende- und vier Empfangsantennen verwendet werden, woraus sich eine Zahl von zwölf Kanälen ergibt, die Radardaten in verschiedenen Raumbereiche erfassen können. Diese Raumbereiche entsprechen einzelnen Teildetektionsräumen, deren Reichweite mittels der elektrischen Leistung geregelt werden kann und die zu einem Radardetektionsraum kombiniert werden können. Ferner können Radardaten in den Teildetektionsbereichen jeweils einzeln erfasst werden, etwa um mehrere parallele Eingabegesten zu erfassen. Die Steuerung des Radarsensors 2 erfolgt durch die Steuereinheit 6, wobei insbesondere bestimmt wird, in welchen Raumbereichen die Radardaten erfasst werden. The radar sensor 2 may comprise an antenna arrangement, wherein a plurality of transmitting and receiving antennas are provided, which are in particular not arranged parallel to each other. For example, three transmit and four receive antennas can be used, resulting in a number of twelve channels that can capture radar data in different space regions. These room areas correspond to individual Teektionsektionsräumen whose range can be controlled by means of electrical power and can be combined to form a Radardetektionsraum. In addition, radar data can be detected individually in the subsection detection areas, for example in order to detect several parallel input rules. The control of the radar sensor 2 done by the control unit 6 In particular, it is determined in which spatial regions the radar data are acquired.

Durch die Kamera 1 werden in dem Beispiel orts- und zeitaufgelöst Bilddaten erfasst, wobei insbesondere Licht in dem für das menschliche Auge sichtbaren Bereich des Spektrums detektiert wird. In weiteren Ausführungsbeispielen kann alternativ oder zusätzlich eine Time-of-Flight-(ToF)-Kamera verwendet werden, bei der für die einzelnen Bildpunkte Distanzen erfasst werden. Ferner können andere optische Kameras verwendet werden und/oder es können weitere spektrale Bereiche berücksichtigt werden, etwa Infrarotlicht. Through the camera 1 In the example, image data are recorded in a spatially and spatially resolved manner, with light in particular being detected in the region of the spectrum visible to the human eye. In further embodiments, alternatively or additionally, a time-of-flight (ToF) camera can be used in which distances are recorded for the individual pixels. Further, other optical cameras may be used and / or other spectral regions may be considered, such as infrared light.

Die Kamera 1 erfasst dabei die Bilddaten in einem Bilderfassungsraum 1a, der von der Kamera 1 ausgehend mit einem durch die Optik der Kamera 1 bestimmten Öffnungswinkel einen Raumwinkel umfasst. Die Reichweite des Bilderfassungsbereich 1a ist insbesondere durch undurchsichtige Sichtbarrieren begrenzt, beispielsweise im Fahrzeug 10 durch die Personen oder Sitze im Fahrzeug 10. Der Bilderfassungsbereich 1a überlappt dabei den Radarerfassungsbereich des Radarsensors 2, in 1B angedeutet dadurch, dass der Bilderfassungsbereich vor dem Radarsensor 2 verläuft und ein Finger 11a einer Hand 11 eines Nutzers in diesem Bereich sowohl von der Kamera 1, als auch von dem Radarsensor 2 detektiert werden kann. The camera 1 captures the image data in an image acquisition room 1a that from the camera 1 starting with a through the optics of the camera 1 certain opening angle comprises a solid angle. The range of the image capture area 1a is limited in particular by opaque visual barriers, for example in the vehicle 10 through the persons or seats in the vehicle 10 , The image capture area 1a overlaps the radar detection area of the radar sensor 2 , in 1B indicated by the fact that the image capture area in front of the radar sensor 2 runs and a finger 11a a hand 11 a user in this area both from the camera 1 , as well as from the radar sensor 2 can be detected.

Der Nutzer führt mit dem Finger 11a eine Bewegung aus, hier angedeutet durch den Pfeil 12. Diese Bewegung ist im Vergleich zu dem räumlichen Auflösungsvermögen der Kamera 1 klein. Beispielsweise kann der Finger 11a in verschiedene Richtungen bewegt werden oder es können mehrere Finger 11a zueinander bewegt werden. Sie ist jedoch für den Radarsensor 2 mittels eines Doppler-Effekts deutlich erfassbar. Die Hand 11 wird durch die Kamera 1 erfasst und ihre äußere Gestalt wird anhand der Bilddaten der Kamera 1 durch die Bildverarbeitungseinheit 5 ermittelt. Auf diese Weise wird die Position der Hand 11 im Raum erfasst. Diese Position ist im gezeigten Ausführungsbeispiel ein Anhaltspunkt für den Gestenraum, in dem eine Eingabegeste des Nutzers erwartet wird. Insbesondere wird hier der Gestenraum in einer Umgebung der Hand 11 definiert, die durch die Größe der mittels des Radarsensors 2 erzeugbaren Teildetektionsbereiche bestimmt ist. Je größer diese Teildetektionsbereiche sind, desto größer fällt auch der Gestenraum aus. Umgekehrt kann der Gestenraum in der nächsten Umgebung der Hand 11 definiert werden, wenn die Teildetektionsbereiche mit kleinerer Ausdehnung und sehr genau gesteuert werden können. Durch den Radarsensor werden also Radardaten in einem Radardetektionsraum erfasst, der anhand des Gestenraums, also anhand der erfassten Position der Hand 11, bestimmt wurde. The user guides with his finger 11a a movement indicated here by the arrow 12 , This movement is compared to the spatial resolution of the camera 1 small. For example, the finger can 11a can be moved in different directions or it can be several fingers 11a be moved to each other. However, it is for the radar sensor 2 clearly detectable by means of a Doppler effect. The hand 11 is through the camera 1 captured and their outer shape is based on the image data of the camera 1 through the image processing unit 5 determined. In this way the position of the hand becomes 11 captured in space. In the exemplary embodiment shown, this position is an indication of the gesture space in which an input gesture of the user is expected. In particular, here is the gesture room in an environment of the hand 11 defined by the size of the radar sensor 2 producible Teektionsektionsbereiche is determined. The larger these Teektionsektionsbereiche are, the larger the gesture room is. Conversely, the gesture room in the immediate vicinity of the hand 11 be defined if the Teektionsektionsbereiche with smaller extent and can be controlled very accurately. The radar sensor thus detects radar data in a radar detection space, which is based on the gesture space, ie on the detected position of the hand 11 , was determined.

Ferner ermittelt die Bildverarbeitungseinheit 5 anhand der Bilddaten eine Pose der Hand 11, das heißt insbesondere eine Stellung und Haltung, sowie gegebenenfalls eine Bewegung der Hand 11. Beispielsweise kann eine Zeigegeste auf diese Weise erkannt werden. Insbesondere werden so statische Gesten erkannt. Furthermore, the image processing unit determines 5 a pose of the hand based on the image data 11 This means, in particular, a position and posture, as well as, if necessary, a movement of the hand 11 , For example, a pointing gesture can be recognized in this way. In particular, static gestures are detected.

Die mittels der Kamera 1 und des Radarsensors 2 erfassten Daten werden fusioniert, wie unten im Detail beschrieben. Anhand der Daten wird eine Gestensignatur bestimmt, die Informationen über die Geste umfasst. Insbesondere umfasst die Gestensignatur Daten über einen Bewegungsablauf, wobei insbesondere eine zeitliche Folge von Position der Hand 11 oder von Teilen der Hand 11, das heißt eine Trajektorie, bestimmt werden kann. Dies ist allerdings nicht notwendig, das heißt, es muss keine Trajektorie bestimmt werden, sondern die Gestensignatur kann lediglich anhand der erfassten Daten des Radarsensors 2 bestimmt werden. Ferner kann die Gestensignatur mittels der Kamera 1 erfasste Informationen umfassen, etwa über eine Pose der Hand 11. The by means of the camera 1 and the radar sensor 2 collected data is merged as described in detail below. The data is used to determine a gesture signature that includes information about the gesture. In particular, the gesture signature includes data about a movement sequence, wherein in particular a temporal sequence of position of the hand 11 or parts of the hand 11 , that is, a trajectory, can be determined. However, this is not necessary, that is, no trajectory must be determined, but the gesture signature can only on the basis of the acquired data of the radar sensor 2 be determined. Furthermore, the gesture signature by means of the camera 1 covered information, about a pose of the hand 11 ,

Anhand der Gestensignatur wird eine Eingabegeste ermittelt, wobei insbesondere ein Vergleich der erfassten Gestensignatur mit Referenzsignaturen einer Hypothesenmenge durchgeführt wird. Dabei wird insbesondere eine Ähnlichkeit der Gestensignatur mit den Referenzsignaturen ermittelt und eine optimal passende Hypothese gewählt. Die Hypothesenmenge umfasst dabei beispielsweise die Menge aller bekannten Eingabegesten beziehungsweise Referenzsignaturen für diese Eingabegesten. Die Hypothesenmenge kann dabei vorgegeben sein, etwa durch den Hersteller des Systems, oder sie kann konfiguriert werden, etwa anhand eines Kontextes, gemäß dem die relevanten Referenzsignaturen bestimmt werden, oder anhand von Lernalgorithmen, durch die neue Referenzsignaturen gelernt werden können. Based on the gesture signature, an input gesture is determined, wherein in particular a comparison of the detected gesture signature with reference signatures of a hypothesis set is performed. In particular, a similarity of the gesture signature with the reference signatures is determined and an optimally fitting hypothesis is selected. The The set of hypotheses includes, for example, the set of all known input gauges or reference signatures for these input gauges. The set of hypotheses may be predetermined, such as by the manufacturer of the system, or it may be configured, for example, based on a context in which the relevant reference signatures are determined, or on learning algorithms by which new reference signatures can be learned.

In dem Ausführungsbeispiel wird anhand der Eingabegeste eine Steuerung einer Einrichtung 7 des Fahrzeugs 10 durchgeführt, hier ein Radio 7. Beispielsweise kann der Nutzergeste eine Bedienhandlung zugeordnet sein, etwa zum Wechseln eines Radiosenders oder einer Frequenz, oder um Wechsel einer Medienquelle. In the embodiment, based on the input gesture, a controller of a device 7 of the vehicle 10 performed, here a radio 7 , For example, the user gesture may be associated with an operator action, such as changing a radio station or a frequency, or changing a media source.

In einem weiteren Ausführungsbeispiel wird den erfassten Radar- und Bilddaten eine Signatursequenz zugeordnet, die insbesondere Daten über eine Eingabegeste zu mehreren Zeitpunkten umfasst. Diese Zeitpunkte sind aufeinanderfolgend definiert, es wird also eine Bewegung über einen bestimmten Zeitpunkt erfasst. Dabei kann insbesondere eine Trajektorie eines Betätigungsobjekts wenigstens teilweise explizit bestimmt werden, etwa anhand der Bilddaten, es kann jedoch auch eine implizite Bestimmung einer Trajektoriencharakteristik erfolgen, die Informationen über die explizite Trajektorie umfasst, ohne dass diese notwendigerweise bestimmt wird. In a further embodiment, the detected radar and image data is assigned a signature sequence, which in particular comprises data about an input gesture at several points in time. These times are defined consecutively, so it is a movement detected over a certain time. In this case, in particular, a trajectory of an actuation object can be determined at least partially explicitly, for example based on the image data, however, an implicit determination of a trajectory characteristic can also be carried out which includes information about the explicit trajectory without necessarily determining it.

In weiteren Ausführungsbeispielen werden alternativ oder zusätzlich weitere Einrichtungen 7 gesteuert, insbesondere solche Einrichtungen 7, die durch den Fahrer des Fahrzeugs 10 bedienbar sind. In further embodiments, alternatively or additionally, other facilities 7 controlled, in particular such facilities 7 by the driver of the vehicle 10 are operable.

Mit Bezug zu 1C wird ein Ausführungsbeispiel der Sensorfusion für Daten des erfindungsgemäßen Systems erläutert. Dabei wird von dem oben beschriebenen erfindungsgemäßen System und Verfahren ausgegangen. In reference to 1C an embodiment of the sensor fusion for data of the system according to the invention will be explained. It is assumed that the above-described inventive system and method.

In einem ersten Schritt S1 werden die Radardaten durch den Radarsensor 2 erfasst. Parallel dazu erfolgt in einem Schritt S3 die Erfassung der Bilddaten durch die Kamera 1. Die so erfassten Daten werden verarbeitet und es wird in einem Schritt S2 eine Radar-Objektliste erzeugt, die eine Menge von Objektpunkten mit Orten und Geschwindigkeiten im dreidimensionalen Raum umfasst. Zu jedem Objektpunkt wird ferner ein Konfidenzwert bestimmt, der die Zuverlässigkeit der bestimmten Werte angibt. In ähnlicher Weise erfolgt die Erzeugung einer Bild-Objektliste, die vollständige Bilder mit Koordinaten für jeden Bildpunkt (picture element, Pixel) umfasst sowie Intensitätswerte, Grauwerte und/oder Farbwerte an den jeweiligen Koordinaten eines Bildpunktes sowie auch hier entsprechende Konfidenzwerte. Anhand einer zeitlichen Folge von nacheinander erfassten Daten können weitere Werte bestimmt werden, etwa Trajektorien oder die Beschleunigung von Objekten. In a first step S1, the radar data are transmitted by the radar sensor 2 detected. In parallel, in a step S3, the acquisition of the image data by the camera 1 , The data thus acquired are processed and a radar object list is generated in a step S2 which comprises a set of object points with locations and speeds in three-dimensional space. For each object point, a confidence value is also determined which indicates the reliability of the determined values. Similarly, the generation of an image object list that includes complete images with coordinates for each pixel (picture element, pixels) as well as intensity values, gray values and / or color values at the respective coordinates of a pixel as well as corresponding confidence values. On the basis of a chronological sequence of successively acquired data, further values can be determined, such as trajectories or the acceleration of objects.

In einem weiteren Schritt S5 erfolgt die Sensorfusion, wobei die mittels der Kamera 1 und des Radarsensors 2 erfassten Daten anhand der überlappenden Detektionsräume miteinander kombiniert werden und eine Gestensignatur bestimmt wird. Ferner wird an dieser Stelle ein zeitlicher Verlauf der erfassten Daten bestimmt. In a further step S5, the sensor fusion takes place, wherein the means of the camera 1 and the radar sensor 2 captured data are combined based on the overlapping detection spaces and a gesture signature is determined. Furthermore, a temporal course of the recorded data is determined at this point.

In einem Schritt S6 wird schließlich die eigentliche Gestenerkennung durchgeführt, wobei hierzu die erfassten, fusionierten Daten und die daraus bestimmten Werte zu einer Gestensignatur zusammengeführt werden, die mit den Referenzgesten der Hypothesenmenge verglichen werden kann. Anhand der so erkannten Eingabegeste wird die Einrichtung 7 gesteuert. Finally, in a step S6 the actual gesture recognition is carried out, for which purpose the acquired, fused data and the values determined therefrom are combined to form a gesture signature which can be compared with the reference gestures of the hypothesis set. On the basis of the recognized input gesture the device 7 controlled.

Mit Bezug zu 2 wird ein Fahrzeug mit einem Ausführungsbeispiel des erfindungsgemäßen Systems erläutert. Dabei wird von der obigen Beschreibung des erfindungsgemäßen Systems und Verfahrens ausgegangen. In reference to 2 a vehicle with an embodiment of the system according to the invention will be explained. It is assumed that the above description of the system and method according to the invention.

Das erfindungsgemäße System ist in dem Fahrzeug 10 so integriert, dass insbesondere der Fahrer des Fahrzeugs 10 besonders einfach Eingabegesten ausführen kann. Dazu ist im oberen Bereich eine Kamera 1 angeordnet, deren Bilderfassungsraum den mittleren vorderen Bereich im Innenraum des Fahrzeugs 10 umfasst. An der Mittelkonsole ist ein Bildschirm des Radios 7 angeordnet, darunter der Radarsensor 2, der sich insbesondere in der Nähe der Hand des Fahrers befindet, wenn dieser seinen Arm im Bereich der Mittelkonsole ablegt. Dadurch können kleinere Bewegungen, etwa zweier Finger 11a zueinander, erfasst werden. The system according to the invention is in the vehicle 10 integrated so that in particular the driver of the vehicle 10 very easy to execute input gesture. This is in the upper part of a camera 1 arranged, whose image detection space the middle front area in the interior of the vehicle 10 includes. At the center console is a screen of the radio 7 arranged, including the radar sensor 2 In particular, it is close to the driver's hand when placing his arm near the center console. This allows smaller movements, such as two fingers 11a to each other, be detected.

Anhand der durch die Kamera 1 erfassten Bilddaten wird in dem Beispiel bestimmt, an welcher Position sich die Hand des Fahrers befindet und der Radardetektionsraum wird so gebildet, dass er in einem Umfeld der Hand Daten erfasst. Das System kann alternativ oder zusätzlich weitere Kameras 1 umfassen, die etwa Daten in verschiedenen Bereichen des Fahrzeugs 10 erfassen. Look through the camera 1 captured image data is determined in the example, in which position is the driver's hand and the Radardetektionsraum is formed so that it detects data in an environment of the hand. The system can alternatively or additionally other cameras 1 include, for example, data in different areas of the vehicle 10 to capture.

In einem weiteren Beispiel werden Radardaten in mehreren Teildetektionsbereichen gleichzeitig erfasst. Insbesondere können dadurch zwei Eingabegesten parallel erfasst werden, etwa von einem Fahrer und einem Beifahrer. Dies kann durch mehrere Radarsensoren und/oder einen Radarsensor 2 mit mehreren Teildetektionsbereichen ermöglicht werden. Insbesondere kann anhand der Bilddaten ermittelt werden, welche Person eine Eingabegeste ausführt und es könne verschiedene Systemreaktionen erzeugt werden, beispielsweise um die Bedienung bestimmter Einrichtungen des Fahrzeugs 10 nur einer Person, etwa dem Fahrer, zu ermöglichen. In another example, radar data is collected simultaneously in multiple sub-detection areas. In particular, two input gauges can thereby be detected in parallel, for example by a driver and a front passenger. This can be done by multiple radar sensors and / or a radar sensor 2 be made possible with several Teektionsektionsbereiche. In particular, it can be determined based on the image data, which person performs an input gesture and it could be different System reactions are generated, for example, the operation of certain devices of the vehicle 10 to allow only one person, such as the driver.

In einem weiteren Ausführungsbeispiel sind die Kamera 1 und der Radarsensor 2 in eine Erfassungseinheit integriert. Insbesondere kann diese Erfassungseinheit so gebildet sein, dass sich der Bilderfassungsraum und der Radardetektionsraum weitgehend überlappen. In another embodiment, the camera 1 and the radar sensor 2 integrated into a registration unit. In particular, this detection unit may be formed such that the image detection space and the radar detection space largely overlap.

In einem weiteren Ausführungsbeispiel wird ferner eine Plausibilitätsüberprüfung durchgeführt, wobei Bilddaten und Radardaten verglichen werden. Beispielweise wird überprüft, ob die erfasste Eingabegeste gegenüber den jeweils von den verschiedenen Sensoren erfassten Daten stimmig ist. Werden Widersprüche festgestellt, kann etwa eine neue Eingabe gefordert werden. In a further exemplary embodiment, a plausibility check is carried out in which image data and radar data are compared. For example, it is checked whether the detected input gesture is consistent with the data acquired by the various sensors. If contradictions are detected, a new input may be required.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Bilddatenerfassungseinheit; Kamera Image data acquisition unit; camera
1a 1a: Bilderfassungsraum Images capacity
2 2: Radarsensor radar sensor
3 3: Signaturbestimmungseinheit Signature determination unit
4 4: Zuordnungseinheit allocation unit
5 5: Bildverarbeitungseinheit Image processing unit
6 6: Steuereinheit control unit
7 7: Einrichtung; Radio Facility; radio
10 10: Fahrzeug vehicle
11 11: Hand hand
11a 11a: Finger finger
12 12: Pfeile arrows
S1 S1: Erfassung Radardaten Recording radar data
S2 S2: Erzeugen Radar-Objektliste Generate radar object list
S3 S3: Erfassung Bilddaten Capture image data
S4 S4: Erzeugen Bild-Objektliste Create picture object list
S5 S5: Sensorfusion und zeitlicher Verlauf Sensor fusion and time course
S6 S6: Gestenerkennung gesture recognition

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2012/152475 A1 [0005]
US 2010/0202656 A1 [0006]
US 2012/0280900 A1 [0007]

Claims

System for detecting a user input gesture with an image data acquisition unit ( 1 ) through the image data in an image acquisition space ( 1a ) are detectable, a radar sensor ( 2 ), by which radar data can be detected in at least one radar detection space, of a signature determination unit ( 3 ), by means of which a gesture signature can be determined on the basis of the detected radar data, and an allocation unit ( 4 ), by which an input gesture can be assigned to the determined gesture signature, characterized in that by an image processing unit ( 5 ) a gesture space can be determined on the basis of the captured image data and the radar sensor ( 2 ) by a control unit ( 6 ) is controllable such that the radar detection space is controllable on the basis of the determined gesture space.

System according to claim 1, characterized in that the gesture signature can also be determined on the basis of the image data.

System according to claim 1 or 2, characterized in that a radar data sequence with temporally successive radar data is detectable and the radar data sequence is a signature sequence can be assigned.

System according to one of the preceding claims, characterized in that based on the radar data, a Doppler effect can be detected.

System according to one of the preceding claims, characterized in that the radar sensor ( 2 ) has a plurality of channels, wherein the channels are assigned different Teektionsektionsräume.

A system according to claim 5, characterized in that the radar detection space is controllable by changing a combination of a subset of the total amount of the sub-detection spaces of the channels of the radar sensor.

System according to one of the preceding claims, characterized in that the radar sensor ( 2 ) comprises an antenna arrangement, wherein the antenna arrangement comprises at least two mutually non-parallel antennas.

System according to one of the preceding claims, characterized in that the Radardetektionsraum is controllable based on an electrical power.

System according to one of the preceding claims, characterized in that the radar sensor ( 2 ) and the image data acquisition unit ( 1 ) are integrated in a detection unit.

System according to one of the preceding claims, characterized in that the radar sensor ( 2 ) and the image data acquisition unit ( 1 ) are arranged separately from each other.

Vehicle ( 10 ) with a system for detecting a user input gesture according to one of claims 1 to 10.

Method for detecting a user input gesture, wherein image data in an image capture space ( 1a ) are detected by a radar sensor ( 2 Radar data in at least one Radardetektionsraum be detected on the basis of the recorded radar data Gesturesignatur is determined and the gesture Gesturesignatur an input gesture is assigned, characterized in that based on the captured image data a gesture space is determined and the radar sensor ( 2 ) is controlled so that the Radardetektionsraum is controlled based on the determined gesture space.

A method according to claim 12, characterized in that on the basis of the input gesture, a control signal is generated and the control signal to a further device ( 7 ) is transmitted.

A method according to claim 12 or 13, characterized in that based on the captured image data, a position of a hand ( 11 ) of the user and the gesture space is determined by the determined position of the hand ( 11 ) of the user is determined.

Method according to one of claims 12 to 14, characterized in that the input gesture of the user movement of at least two fingers ( 11a ) of the user relative to one another.