DE102013009567A1

DE102013009567A1 - Motor vehicle with spatially limited gesture recognition

Info

Publication number: DE102013009567A1
Application number: DE201310009567
Authority: DE
Inventors: Philip Rigley; Tobias Enzinger; Marcus Kühne
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2013-06-07
Filing date: 2013-06-07
Publication date: 2014-12-11
Anticipated expiration: 2033-06-08
Also published as: DE102013009567B4

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Gestenerkennungseinrichtung (20) in einem Kraftfahrzeug (10). Die Gestenerkennungseinrichtung (20) führt eine Gestenerkennung nur durch, falls sich eine gestikulierende Hand (26) in einem vorbestimmtem Teilvolumen (28) des Fahrzeuginnenraumes (12) befindet. Der Erfindung liegt die Aufgabe zugrunde, in dem Kraftfahrzeug (10) für diese räumlich beschränkte Gestenerkennung Hilfsmittel zum richtigen Positionieren der Hand (26) bereitzustellen. Erfindungsgemäß wird die Bedienperson beim Auffinden des Teilvolumens (28) unterstützt, indem durch eine Lichtquelle (30) ein Lichtstrahl (32) in das Teilvolumen (28) eingestrahlt wird. Der Lichtstrahl (32) weist einen Rand (36, 38) auf, der in dem Teilvolumen (28) oder an einem Rand (40, 42) des Teilvolumens (28) angeordnet ist. Hierdurch ist ein Licht (34) des Lichtstrahls (32) auf der Hand (26) nur sichtbar, falls sich die Hand (26) diesseits des Randes (36, 38) in dem Lichtstrahl (32) und damit in dem Teilvolumen (28) befindet.The invention relates to a method for operating a gesture recognition device (20) in a motor vehicle (10). The gesture recognition device (20) only recognizes gestures if a gesticulating hand (26) is located in a predetermined partial volume (28) of the vehicle interior (12). The invention is based on the object of providing aids for correctly positioning the hand (26) in the motor vehicle (10) for this spatially restricted gesture recognition. According to the invention, the operator is assisted in finding the partial volume (28) in that a light beam (32) is radiated into the partial volume (28) by a light source (30). The light beam (32) has an edge (36, 38) which is arranged in the partial volume (28) or on an edge (40, 42) of the partial volume (28). As a result, a light (34) of the light beam (32) on the hand (26) is only visible if the hand (26) on this side of the edge (36, 38) is in the light beam (32) and thus in the partial volume (28) is located.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Gestenerkennungseinrichtung in einem Kraftfahrzeug, wobei von der Gestenerkennungseinrichtung eine Gestenerkennung nur durchgeführt wird, falls sich eine Hand einer Bedienperson, mit welcher die Bedienperson die zu erkennende Geste ausführt, in einem vorbestimmten Teilvolumen eines Fahrzeuginnenraumes des Kraftfahrzeugs befindet. Die Beschränkung der Gestenerkennung auf ein Teilvolumen weist den Vorteil auf, dass die Bedienperson eine Eingabe mittels Bediengeste nicht ungewollt durchführt, wenn sie beispielsweise während eines Gesprächs mit einem anderen Passagier im Kraftfahrzeuginnenraum gestikuliert.The invention relates to a method for operating a gesture recognition device in a motor vehicle, where the gesture recognition device performs gesture recognition only if a hand of an operator with whom the operator executes the gesture to be recognized is located in a predetermined partial volume of a vehicle interior of the motor vehicle. The limitation of the gesture recognition to a partial volume has the advantage that the operator does not unintentionally carry out an input by means of an operating gesture when, for example, gesturing during a conversation with another passenger in the motor vehicle interior.

Eine geeignete Gestenerkennungseinrichtung ist beispielsweise aus der US 2004/0141634 A1 bekannt. Diese Gestenerkennungseinrichtung weist eine Kamera auf, die in einem Dachhimmel des Kraftfahrzeugs angeordnet ist und deren Erfassungsbereich auf eine Mittelkonsole des Kraftfahrzeugs gerichtet ist. Um ein Gerät des Kraftfahrzeugs mittels einer Bediengeste der Hand zu bedienen, muss der Fahrer die Hand über die Mittelkonsole halten, damit die Kamera Bilddaten von der gestikulierenden Hand erfasst.A suitable gesture recognition device is, for example, from US 2004/0141634 A1 known. This gesture recognition device has a camera, which is arranged in a headliner of the motor vehicle and whose detection range is directed to a center console of the motor vehicle. To operate a device of the motor vehicle by means of an operating gesture of the hand, the driver has to hold his hand over the center console so that the camera captures image data from the gesticulating hand.

Um ein Teilvolumen, beispielsweise ein quaderförmiges Teilvolumen, frei im Fahrzeuginnenraum abgrenzen zu können, das heißt in alle drei Raumrichtungen Grenzflächen definieren zu können, und die Gestenerkennung nur durchzuführen, falls die Hand innerhalb dieses Teilvolumens ist, kann eine PMD-Kamera (PND – photonic mixing device), auch als Time-of-flight-Kamera bezeichnet, genutzt werden. Eine solche Kamera ist beispielsweise aus der DE 10 2011 089 195 A1 bekannt. Eine Kamera dieses Typs strahlt mittels einer Infrarot-Lichtquelle intensitätsmoduliertes Infrarotlicht aus, welches von Objekten im Raum auf einen PMD-Sensor zurückgeworfen wird. Aus Laufzeitmessungen können dann Tiefeninformationen entlang der optischen Achse des Kamerasystems ermittelt werden.In order to be able to delimit a partial volume, for example a cuboid partial volume, freely in the vehicle interior, ie to be able to define interfaces in all three spatial directions, and to perform the gesture recognition only if the hand is within this partial volume, a PMD camera (PND - photonic mixing device), also referred to as a time-of-flight camera, are used. Such a camera is for example from the DE 10 2011 089 195 A1 known. A camera of this type emits intensity-modulated infrared light by means of an infrared light source, which is reflected by objects in the room onto a PMD sensor. From runtime measurements, depth information along the optical axis of the camera system can then be determined.

Als problematisch bei einer räumlich beschränkten Gestenerkennung hat sich erwiesen, dass ein Benutzer, wie z. B. der Fahrer, nicht erkennen kann, ob die für die Gestenerkennung nötigen Glieder, beispielsweise also die Finger und der Handrücken, überhaupt vollständig im Teilvolumen sind, während eine Bediengeste ausgeführt wird. Ist dies nicht der Fall, ragen also beispielsweise die Finger aus dem Teilvolumen heraus, so werden diese nicht von der Gestenerkennungseinrichtung erfasst und es kommt zu einer Falscherkennung. Der Benutzer kann dann nicht nachvollziehen, weshalb die Gestenerkennungseinrichtung Probleme mit der ausgeführten Bediengeste hat.As problematic in a spatially limited gesture recognition has been found that a user, such. As the driver, can not recognize whether the necessary for the gesture recognition links, for example, so the fingers and the back of the hand, are even completely in the sub-volume, while a control gesture is performed. If this is not the case, for example, if the fingers protrude from the partial volume, they are not detected by the gesture recognition device and false recognition occurs. The user then can not understand why the gesture recognition device has problems with the executed control gesture.

Der Erfindung liegt die Aufgabe zugrunde, in einem Kraftfahrzeug für eine räumlich beschränkte Gestenerkennung einer Bedienperson Hilfsmittel zum richtigen Positionieren der Hand bereitzustellen.The invention has for its object to provide tools for correct positioning of the hand in a motor vehicle for a spatially limited gesture recognition of an operator.

Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 und ein Kraftfahrzeug gemäß Patentanspruch 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The object is achieved by a method according to claim 1 and a motor vehicle according to claim 9. Advantageous developments of the invention are given by the dependent claims.

Die Erfindung geht von dem aus dem Stand der Technik bekannten Ansatz aus, von einer Gestenerkennungseinrichtung in dem Kraftfahrzeug eine Gestenerkennung durchführen zu lassen, indem Bilddaten einer Hand einer Bedienperson erfasst werden, diese Bilddaten zu einer aus mehreren vorbestimmten Bediengesten zugeordnet werden und dann ein Ausgabesignal erzeugt wird, welches angibt, welche aus den vorbestimmten Bediengesten erkannt worden ist. Bei der Erfindung bleibt die Gestenerkennung räumlich beschränkt, das heißt von der Gestenerkennungseinrichtung wird die Gestenerkennung nur durchgeführt, falls sich die Hand in einem vorbestimmten Teilvolumen eines Fahrzeuginnenraums des Kraftfahrzeugs befindet, also beispielsweise über einer Mittelkonsole des Kraftfahrzeugs.The invention is based on the approach known from the prior art of having a gesture recognition performed by a gesture recognition device in the motor vehicle by detecting image data of a hand of an operator, assigning this image data to one of a plurality of predetermined operating gestures and then generating an output signal which indicates which of the predetermined operating gestures has been recognized. In the invention, the gesture recognition remains spatially limited, that is, the gesture recognition device, the gesture recognition is performed only if the hand is in a predetermined subvolume of a vehicle interior of the vehicle, so for example via a center console of the motor vehicle.

Erfindungsgemäß wird nun die Bedienperson beim Auffinden des Teilvolumens unterstützt, indem durch eine Lichtquelle ein Leuchtstrahl oder Lichtstrahl in das Teilvolumen eingestrahlt wird. Das Licht dieses Lichtstrahls ist dabei von der Bedienperson visuell wahrnehmbar, das heißt das Spektrum des Lichts umfasst einen von einem menschlichen Auge wahrnehmbaren Frequenzbereich. Der Lichtstrahl kann beispielsweise als Lichtkegel ausgestaltet sein. Wesentlich bei der Erfindung ist, dass der Lichtkegel oder allgemein der Lichtstrahl einen Rand aufweist, der in dem Teilvolumen oder an einem Rand des Teilvolumens angeordnet ist. Hierdurch ist ein Licht des Lichtstrahls auf der Hand nur sichtbar, falls sich die Hand diesseits des Randes in dem Lichtstrahl und damit eben auch in dem Teilvolumen befindet. Falls sich die Hand jenseits des Randes außerhalb des Lichtstrahls befindet, ist also auf der Hand kein Licht des Lichtstrahls sichtbar. Mit anderen Worten ist ein Strahlengang der Lichtquelle in mindestens eine Richtung senkrecht zur Ausbreitungsrichtung des Lichtes auf das Teilvolumen begrenzt. Es können auch z. B. mehrere Laserstrahlen parallel nebeneinander nach Art eines Gitters oder Vorhangs parallel z. B. von der Decke des Fahrzeuginnenraumes aus nach unten abgestrahlt werden. Man sieht dann mehrere Punkte auf der Hand.According to the invention, the operator is now assisted in locating the subvolume by irradiating a luminous beam or light beam into the subvolume through a light source. The light of this light beam is visually perceptible by the operator, that is, the spectrum of the light comprises a perceptible by a human eye frequency range. The light beam can be configured for example as a light cone. It is essential in the invention that the light beam or generally the light beam has an edge which is arranged in the sub-volume or at an edge of the sub-volume. As a result, a light of the light beam on the hand is only visible if the hand is this side of the edge in the light beam and thus just in the sub-volume. If the hand is outside the light beam beyond the edge, then no light of the light beam is visible on the hand. In other words, a beam path of the light source is limited in at least one direction perpendicular to the propagation direction of the light on the sub-volume. It can also z. B. parallel laser beams parallel to each other in the manner of a grid or curtain parallel z. B. be radiated from the ceiling of the vehicle interior down. You then see several points on the hand.

Die Bedienperson kann also ihre Hand beispielsweise über der Mittelkonsole hin und her schwenken und erkennt dann an einem Lichtfleck oder einem Lichtstreifen beispielsweise auf dem Handrücken, dass sich die Hand nun in dem Teilvolumen befindet, in welchem eine Bediengeste von der Gestenerkennungseinrichtung akzeptiert wird, also erkannt werden kann. Das direkte Ausleuchten des Teilvolumens mit dem Lichtstrahl weist den Vorteil auf, dass eine Bedienperson auch ohne auf ihre Hand zu schauen nur aus dem Augenwinkel heraus wahrnehmen kann, ob sich ein Lichtfleck oder Lichtstreifen auf der Hand befindet oder nicht. Hierdurch wird auch eine Fahrerablenkung verringert. Der Lichtstrahl muss nicht einteilig ausgebildet sein.The operator can thus swing their hand, for example, over the center console back and forth and then recognizes a light spot or a light stripe, for example on the Back of the hand, that the hand is now in the sub-volume in which an operating gesture is accepted by the gesture recognition device, so it can be detected. The direct illumination of the sub-volume with the light beam has the advantage that an operator can perceive without looking at her hand only from the corner of his eye, whether a light spot or light stripes on the hand or not. As a result, a driver deflection is reduced. The light beam does not have to be formed in one piece.

Genauso ergibt sich durch die Erfindung der Vorteil, dass ein Passagier des Kraftfahrzeugs nicht aus Versehen ein Gerät durch Gestikulieren mit der Hand bedient, während sie sich beispielsweise angeregt mit einem anderen Passagier unterhält. Kreuzt sie beim Gestikulieren den Lichtstrahl, so wird ihr hierdurch sofort signalisiert, dass die Gestenerkennungseinrichtung ihre Gesten erfasst. Das Bereitstellen eines Lichtstrahl weist des Weiteren den Vorteil auf, dass eine Bedienperson mit der Hand dem Verlauf des Lichtstrahls, also entlang oder entgegen der Ausbreitungsrichtung des Lichts folgen kann und hierdurch der Bedienperson auch eine Bedienebene, in welcher Bewegungsgesten auszuführen sind, veranschaulicht wird.Likewise, the invention provides the advantage that a passenger of the motor vehicle does not accidentally operate a device by gesturing by hand while, for example, animatedly conversing with another passenger. If she crosses the beam of light while gesturing, this immediately signals that the gesture recognition device detects her gestures. The provision of a light beam furthermore has the advantage that an operator can follow by hand the course of the light beam, ie along or against the direction of propagation of the light, thereby illustrating to the operator an operating plane in which movement gestures are to be executed.

Im Zusammenhang mit der Erfindung ist unter einem Rand des Lichtstrahls ein Bereich zu verstehen, in welchem eine Lichtintensität des von der Lichtquelle ausgestrahlten Lichts zu einem gegebenen Zeitpunkt und bei maximaler Leuchtintensität der Lichtquelle auf zehn Prozent, insbesondere auf ein Prozent der maximalen Lichtintensität abgefallen ist. Dieser Vergleich gilt insbesondere für eine Ebene senkrecht zur Ausbreitungsrichtung des Lichts und ausgehend vom hellsten Bereich des Lichtstrahls in der Ebene. Der Rand kann auch ein diffuser Randbereich sein, in welchem die Lichtintensität graduell abfällt. Bevorzugt ist der Rand nicht breiter als 10 Zentimeter, um für eine Bedienperson einen gut wahrnehmbaren Übergang zwischen dem Lichtstrahl und der von der Lichtquelle unbeleuchteten Umgebung im Fahrzeuginnenraum zu erzielen.In the context of the invention, an edge of the light beam is to be understood as a region in which a light intensity of the light emitted by the light source has dropped to ten percent, in particular to one percent, of the maximum light intensity at a given point in time and at maximum light intensity of the light source. This comparison applies in particular to a plane perpendicular to the propagation direction of the light and from the brightest region of the light beam in the plane. The border may also be a diffuse border area in which the light intensity gradually drops. Preferably, the margin is no wider than 10 centimeters to provide an operator with a good perceptible transition between the light beam and the unlit light source environment in the vehicle interior.

Es muss nicht zwingend eine Lichtquelle verwendet werden, welche zu jedem Zeitpunkt den gesamten, zu beleuchtenden Bereich des Teilvolumens ausleuchtet. Es kann auch beispielsweise ein verhältnismäßig dünner Laserstrahl mit einem Strahldurchmesser von beispielsweise einem Millimeter oder zwei Millimeter verwendet werden, also eine Lichtquelle, die das Licht linienförmig ausstrahlt. Durch Umlenken des Lichts kann dann der gewünschte Lichtstrahl gebildet werden, also beispielsweise ein kegelförmiger Volumenbereich, welcher das Teilvolumen für die Gestenerfassung durchdringt. Durch Bereitstellen einer entsprechenden Umlenkeinrichtung ergibt sich der Vorteil, dass auch eine verhältnismäßig kleine Lichtquelle zum Erzeugen des Lichtstrahls verwendet werden kann, z. B. eine Lichtquelle, die auch in so genannten Laser-Pointern verwendet wird.It is not absolutely necessary to use a light source which illuminates the entire area of the sub-volume to be illuminated at all times. It is also possible, for example, to use a relatively thin laser beam with a beam diameter of, for example, one millimeter or two millimeters, that is to say a light source which emits the light in a line-shaped manner. By deflecting the light then the desired light beam can be formed, so for example, a conical volume range, which penetrates the sub-volume for the gesture detection. By providing a corresponding deflection device, there is the advantage that even a relatively small light source for generating the light beam can be used, for. B. a light source, which is also used in so-called laser pointers.

Generell ergibt sich ein besonders scharfer Rand, also ein besonders schmaler Übergangsbereich von dem Lichtstrahl mit sichtbarer Lichtintensität und dem umgebenden dunklen, von der Lichtquelle nicht bestrahlten Bereich, wenn der Lichtstrahl aus Laserlicht erzeugt wird.In general, a particularly sharp edge, ie a particularly narrow transition region of the light beam with visible light intensity and the surrounding dark, not irradiated by the light source area, when the light beam is generated from laser light.

Bevorzugt ist der Lichtstrahl scheibenförmig ausgebildet, also beispielsweise als ein flacher Lichtkegel. Mit anderen Worten beträgt eine Abmessung des Lichtstrahls entlang einer ersten Achse eines orthogonalen Koordinatensystems, also beispielsweise entlang der Fahrzeuglängsachse, jeweils nur höchstens zehn Prozent, insbesondere nur höchstens ein Prozent, derjenigen Abmessung des Lichtstrahls, die sich entlang der beiden übrigen Achsen des Koordinatensystems, also beispielsweise entlang der Fahrzeughochachse und der Fahrzeugquerachse, ergeben. Der Lichtstrahl stellt dann also eine Scheibe dar, in welcher sich das Licht der Lichtquelle zu einem überwiegenden Teil befindet, insbesondere also mehr als 99 Prozent des Lichts. Die sich ergebende Form kann auch mit einem Vorhang aus Licht beschrieben werden. Hält nun eine Person ihre Hand in das Teilvolumen, so sieht sie entsprechend einen leuchtenden Streifen auf ihrer Hand, der dort auch erhalten bleibt, wenn sich die Hand innerhalb einer Ebene für Bewegungsgesten bewegt, also beispielsweise die Hand nach oben und unten beziehungsweise rechts und links verschwenkt wird, um beispielsweise auf einem Bildschirm eine Navigationskarte durch eine solche Bewegungsgeste zu verschieben. So bleibt die Orientierung für die Bedienperson auch während des Bewegens der Hand erhalten.Preferably, the light beam is disc-shaped, so for example as a flat cone of light. In other words, a dimension of the light beam along a first axis of an orthogonal coordinate system, ie for example along the vehicle longitudinal axis, in each case only a maximum of ten percent, in particular only at most one percent, of that dimension of the light beam extending along the other two axes of the coordinate system, ie for example, along the vehicle vertical axis and the vehicle transverse axis. The light beam then represents a disk in which the light of the light source is to a predominant part, in particular more than 99 percent of the light. The resulting shape can also be described with a curtain of light. If a person now holds their hands in the partial volume, they see a luminous strip on their hand, which is also retained there when the hand moves within a plane for motion gestures, for example the hand up and down or right and left is pivoted to move, for example, on a screen, a navigation map by such a movement gesture. Thus, the orientation for the operator is maintained even while moving the hand.

Damit der Lichtstrahl nicht auch dann beispielsweise eine Mittelkonsole beleuchtet, wenn die Bedienperson die Gestenerkennungseinrichtung gar nicht benötigt, sieht eine Ausführungsform der Erfindung vor, eine Strahlungsintensität des Lichtstrahls zu verringern, so beispielsweise die Lichtquelle abzudimmen oder auszuschalten, falls durch die Erkennungseinrichtung erkannt wird, dass sich keine Hand im Teilvolumen befindet. Bevorzugt wird dann die Strahlungsintensität des Lichtstrahls wieder vergrößert, falls durch die Erkennungseinrichtung erkannt wird, dass die Hand in das Teilvolumen hineinbewegt wird.So that the light beam does not illuminate, for example, a center console even if the operator does not need the gesture recognition device, an embodiment of the invention provides to reduce a radiation intensity of the light beam, for example to dim or switch off the light source, if it is detected by the recognition device There is no hand in the partial volume. Preferably, the radiation intensity of the light beam is then increased again, if it is detected by the detection means that the hand is moved into the sub-volume.

Der Lichtstrahl kann aber auch zum Erzielen einer Signalwirkung in der Strahlungsintensität variiert werden. Beispielsweise ist gemäß einer Ausführungsform der Erfindung vorgesehen, für den Fall, dass eine mittels einer Bediengeste durchzuführende Eingabe der Bedienperson benötigt wird, eine Strahlungsintensität des Lichtstrahls vergrößert wird, um die Bedienperson auf die Gestenbedienungseinrichtung aufmerksam zu machen. Dies kann noch erweitert werden, indem die Bedienperson dazu aufgefordert wird, ihre Hand in das Teilvolumen zu halten. Diese Aufforderung kann beispielsweise als Ansage oder als Anzeige erfolgen.The light beam can also be varied to achieve a signal effect in the radiation intensity. For example, it is provided according to an embodiment of the invention, in the event that an input of the operator to be performed by means of an operating gesture is required, a radiation intensity of the light beam is increased to to alert the operator to the gesture operation device. This can be further enhanced by prompting the operator to hold their hand in the sub-volume. This request can be made for example as an announcement or as an advertisement.

Gemäß einer Ausführungsform ist das Erzeugen des Lichtstrahls nicht zwingend für jeden Gestenbedienungsvorgang vorgesehen. Hierdurch ist in vorteilhafter sichergestellt, dass bei solchen Gestenbedienungsaufgaben, bei welchen sich der Benutzer beispielsweise auf den Inhalt eines Bildschirms konzentrieren muss, er nicht durch einen Lichtstreifen auf der Hand irritiert wird. Um dies zu erreichen, wird nur bei einigen aus mehreren vorbestimmten Anwendungen, für welche die Gestenerkennung vorgesehen ist, der Lichtstrahl gemäß einer Ausführungsform der Erfindung erzeugt. Beispielsweise kann er beim Kartenverschieben abgedunkelt oder abgeschaltet bleiben.According to one embodiment, the generation of the light beam is not necessarily provided for each gesture operation. This ensures in an advantageous manner that in such gesture operation tasks in which the user has to concentrate, for example, on the content of a screen, he is not irritated by a light strip on the hand. To accomplish this, only in some of several predetermined applications for which gesture recognition is provided is the light beam generated in accordance with an embodiment of the invention. For example, it may remain dimmed or shut down when the map is moved.

Um über den Lichtstrahl noch weitere Informationen an einen Benutzer der Gestenerkennungseinrichtung zu übermitteln, sieht eine Ausführungsform vor, eine Farbe des Lichtes und/oder eine Blinkfrequenz des Lichtes und/oder eine Form des Lichtstrahls in Abhängigkeit von der zu übertragenden Information einzustellen. Insbesondere ist vorgesehen, sie in Abhängigkeit von einer Position der Hand in dem Fahrzeuginnenraum einzustellen. Hierdurch kann dann beispielsweise eine Bewegung der Hand gelenkt werden, indem der Lichtstrahl so lange z. B. eine rote Farbe aufweist, wie sich die Hand außerhalb des Teilvolumens befindet und bei richtiger Positionierung der Hand, bei welcher die Gestenerkennung möglich ist, die Farbe des Lichtstrahls dann z. B. auf weiß oder grün gewechselt wird. Genauso kann durch eine Blinkfrequenz ein Abstand der Hand vom Teilvolumen signalisiert werden. Genauso kann durch Verändern der Form des Lichtstrahl z. B. ein Pfeil auf die Hand projiziert werden, welcher eine Bewegungsrichtung für die Hand vorgibt.In order to transmit further information to a user of the gesture recognition device via the light beam, an embodiment provides for setting a color of the light and / or a blinking frequency of the light and / or a shape of the light beam as a function of the information to be transmitted. In particular, it is provided to adjust it in dependence on a position of the hand in the vehicle interior. As a result, for example, a movement of the hand can be directed by the light beam z. B. has a red color, as the hand is outside the sub-volume and with proper positioning of the hand, in which the gesture recognition is possible, the color of the light beam then z. B. is changed to white or green. Likewise, a distance of the hand from the partial volume can be signaled by a blinking frequency. Similarly, by changing the shape of the light beam z. B. an arrow can be projected onto the hand, which dictates a direction of movement for the hand.

Die beschriebenen Merkmale der Erfindung treffen sowohl auf das erfindungsgemäße Verfahren als auch das erfindungsgemäße Kraftfahrzeug zu.The described features of the invention apply both to the method according to the invention and to the motor vehicle according to the invention.

Die erfindungsgemäße visuelle Unterstützung beim Auffinden des Teilvolumens ist mit beliebigen, verfügbaren Gestenerkennungseinrichtungen kombinierbar. Insbesondere ist es bei der Erfindung möglich, die Lichtquelle unabhängig von der Sensorik der Gestenerkennungseinrichtung bereitzustellen, das heißt die Lichtquelle ist von einer zum Erzeugen von Bilddaten für die Gestenerkennung bereitgestellten Lichtquelle verschieden.The inventive visual assistance in locating the partial volume can be combined with any available gesture recognition devices. In particular, it is possible in the invention to provide the light source independently of the sensors of the gesture recognition device, that is, the light source is different from a light source provided for generating image data for gesture recognition.

Im Folgenden ist noch einmal anhand eines konkreten Ausführungsbeispiels das erfindungsgemäße Prinzip erläutert. Hierzu zeigt die einzige Figur (Fig.) von einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs dessen Fahrzeuginnenraum.The principle according to the invention is explained once again on the basis of a concrete exemplary embodiment. For this purpose, the only figure (Fig.) Shows an embodiment of the motor vehicle according to the invention the vehicle interior.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. In dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, however, the described components of the embodiment each represent individual, independently to be considered features of the invention, which further develop the invention independently and thus individually or in any other than the combination shown to be considered part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

In der Fig. ist von einem Kraftfahrzeug 10 ein Kraftfahrzeuginnenraum 12 gezeigt. Dargestellt sind ein Lenkrad 14, eine Mittelkonsole 16 und ein Bildschirm 18, welcher beispielsweise in einer Schalttafel neben dem Lenkrad 14 angeordnet sein kann. Das Kraftfahrzeug 10 weist eine Gestenerkennungseinrichtung 20 mit einer beispielsweise in einem Dach des Kraftfahrzeuginnenraums 12 angeordneten Kamera 22 auf. Die Kamera 22 kann beispielsweise eine PMD-Kamera sein. Videodaten V der Kamera 22 werden an eine Berechnungseinheit 24 übertragen, die beispielsweise Bestandteil eines Infotainmentsystems des Kraftfahrzeugs 10 sein kann. Die Berechnungseinheit 24 kann beispielsweise dazu ausgelegt sein, aus den Videodaten V in an sich bekannter Weise eine Hand 26 eines Fahrers zu segmentieren und anhand der segmentierten Daten der Hand eine mit der Hand ausgeführte Bediengeste zu erkennen. In Abhängigkeit von der erkannten Bediengeste wird durch die Berechnungseinheit 24 eines oder mehrere Geräte des Kraftfahrzeugs 10, beispielsweise ein Radio, ein Medienwiedergabegerät (Blu-ray-Abspielgerät, MP3-Abspielgerät), ein Navigationsgerät und/oder ein Telefoniemodul gesteuert.In the figure is of a motor vehicle 10 a motor vehicle interior 12 shown. Shown are a steering wheel 14 , a center console 16 and a screen 18 which, for example, in a control panel next to the steering wheel 14 can be arranged. The car 10 has a gesture recognition device 20 with an example in a roof of the vehicle interior 12 arranged camera 22 on. The camera 22 For example, it can be a PMD camera. Video data V of the camera 22 are sent to a calculation unit 24 transmitted, for example, part of an infotainment system of the motor vehicle 10 can be. The calculation unit 24 For example, it may be adapted to hand a hand from the video data V in a manner known per se 26 To segment a driver and to recognize a hand-made operating gesture based on the segmented data of the hand. Depending on the detected operating gesture is by the calculation unit 24 one or more devices of the motor vehicle 10 For example, a radio, a media player (Blu-ray player, MP3 player), a navigation device and / or a telephony module controlled.

Durch die Gestenerkennungseinrichtung 20 wird die Gestenerkennung aber nur durchgeführt, wenn sich die Hand 26 in einem vorbestimmten Raumvolumen 28 im Inneren des Kraftfahrzeuginnenraums 12 befindet, also beispielsweise in einem quaderförmigen Raumvolumen über der Mittelkonsole 16. Zumindest eine Grenzfläche des Raumvolumens 28 weist einen Abstand zu der Oberfläche der Innenverkleidung des Fahrzeuginnenraumes auf. Da die Grenzflächen des Raumvolumens 28 nur virtuell sind, das heißt nicht im Kraftfahrzeuginnenraum 12 sichtbar, sondern lediglich durch vergleichen von Koordinaten der segmentierten Bilddaten der Hand 26 mit vorgegebenen Koordinaten der Grenzflächen, kann ein Fahrer nicht erkennen, ob er seine Hand 26 richtig in dem Raumvolumen 28 positioniert hat.Through the gesture recognition device 20 However, the gesture recognition is only performed when the hand 26 in a predetermined volume of space 28 inside the vehicle interior 12 is located, so for example in a cuboid volume above the center console 16 , At least one interface of the volume of space 28 has a distance to the surface of the inner lining of the vehicle interior. As the interfaces of the volume of space 28 only virtual, that is not in the vehicle interior 12 visible, but only by comparing coordinates of the segmented image data of the hand 26 With given coordinates of the interfaces, a driver can not tell if he has his hand 26 right in the volume of the room 28 has positioned.

Bei dem Kraftfahrzeug 10 wird eine Bedienperson, also auch der Fahrer, aber beim Auffinden des Raumvolumens 28 unterstützt. Hierzu strahlt eine Lichtquelle 30 einen Lichtkegel 32 in den Kraftfahrzeuginnenraum 12 aus. Die Lichtquelle 30 kann beispielsweise ebenfalls in dem Fahrzeugdach des Kraftfahrzeugs 10 angeordnet sein. Beispielsweise kann die Lichtquelle 30 einen Laser umfassen, dessen linienförmiger oder zylinderförmiger Laserstrahl in dem Kraftfahrzeuginnenraum 12 hin und her geschwenkt wird, so dass der in der Fig. gezeigte dreieckige, flache Lichtkegel 32 entsteht. Hält der Fahrer seine Hand 26 in den Lichtkegel 32, so kann er auf seiner Hand 26 einen Leuchtstreifen 34 sehen. In the motor vehicle 10 becomes an operator, including the driver, but when locating the room volume 28 supported. For this purpose, a light source radiates 30 a cone of light 32 in the vehicle interior 12 out. The light source 30 For example, also in the vehicle roof of the motor vehicle 10 be arranged. For example, the light source 30 comprise a laser whose line-shaped or cylindrical laser beam in the motor vehicle interior 12 is pivoted back and forth, so that the triangular, flat light cone shown in the figure 32 arises. Does the driver hold his hand 26 in the light cone 32 so he can be on his hand 26 a light strip 34 see.

Der Lichtkegel 32 ist in den Kraftfahrzeuginnenraum 12 derart ausgerichtet, dass er das Raumvolumen 28 durchdringt und hierbei einen jeweiligen Rand 36, 38 des Lichtkegels 32 in Fahrtrichtung gesehen rechts und links, also an den Wendepunkten des verschwenkten Laserstrahls, innerhalb des Raumvolumens 28 liegt oder mit einer Grenzfläche 40, 42 des Raumvolumens 28 zusammenfällt. Somit sieht der Fahrer 26 den Leuchtstreifen 34 auf seiner Hand 26 nur, falls sich die Hand auch tatsächlich im Raumvolumen 28 befindet. Damit signalisiert ihm der Leuchtstreifen 34 auf seiner Hand 26 also, dass er die Hand für eine Gestenerkennung richtig positioniert hat.The light cone 32 is in the motor vehicle interior 12 aligned so that it is the volume of space 28 penetrates and in this case a respective edge 36 . 38 of the light cone 32 Seen in the direction of travel, right and left, ie at the turning points of the swiveled laser beam, within the volume of space 28 lies or with an interface 40 . 42 of the room volume 28 coincides. Thus, the driver sees 26 the light strip 34 on his hand 26 only if the hand actually in the volume of space 28 located. This signaled to him the light strip 34 on his hand 26 so that he has properly positioned the hand for gesture recognition.

Die schmale Form des keilförmigen Lichtkegels 32, die an einen Lichtvorhang erinnert, weist den Fahrer auch gleichzeitig darauf hin, dass er die Hand 26 entlang der Fahrzeughochachse auf und nieder bewegen kann, und hierbei dennoch eine erfolgreiche Gestenerkennung möglich ist.The narrow shape of the wedge-shaped light cone 32 , which is reminiscent of a light curtain, also points out to the driver that he is holding his hand 26 can move up and down along the vehicle's vertical axis, and yet still a successful gesture recognition is possible.

Dem Fahrer ist durch das Bereitstellen der Lichtquelle 30 mit dem Lichtkegel 32 intuitiv klar, dass Gesten von der Gestenerkennungseinrichtung 20 nur erkannt werden, falls sich die Hand im Lichtvorhang befindet. Der Fahrer und auch andere Bedienpersonen bedienen dadurch beim Gestikulieren mit einer anderen Person nicht versehentlich auch das Fahrzeug, also beispielsweise dessen Infotainmentsystem, weil sie durch den Lichtstreifen 34 auf ihrer Hand 26 gewarnt werden, falls sie sich beim Gestikulieren mit der Hand 26 durch das Raumvolumen 28 bewegen. Durch die Ausgestaltung als flacher Lichtkegel 32 ist auch eine eindeutige, optisch erkennbare Wahrnehmungsebene des Gestensystems, also die Bewegungsrichtung für Bewegungsgesten, signalisiert.The driver is by providing the light source 30 with the light cone 32 intuitively clear that gestures from the gesture recognition device 20 only be recognized if the hand is in the light curtain. The driver and other operators do not accidentally operate when gesticulating with another person and the vehicle, so for example its infotainment system, because they pass through the light strip 34 on her hand 26 be warned if you are gesturing by hand 26 through the volume of space 28 move. Due to the design as a flat cone of light 32 is also a clear, visually recognizable level of perception of the gesture system, ie the direction of motion gestures, signaled.

Der Lichtvorhang, zum Beispiel vom Dachmodul aus, markiert die Wahrnehmungsebene für die Gestensteuerung. Gesten, die nicht an das System, also die Gestenerkennungseinrichtung 20, adressiert sind, werden also vom Fahrer nicht aus Versehen im Raumvolumen 28 durchgeführt. Insgesamt wird die Interaktion mit der Gestenerkennungseinrichtung 20 für den Fahrer nachvollziehbarer, weil er an dem Leuchtstreifen 34 erkennen kann, wann die Gestenerkennungseinrichtung 20 auf seine Handbewegungen reagiert.The light curtain, for example from the roof module, marks the perception level for the gesture control. Gestures that are not attached to the system, so the gesture recognition device 20 , are thus addressed by the driver by mistake in the volume of space 28 carried out. Overall, the interaction with the gesture recognition device 20 more comprehensible to the driver because he is at the light strip 34 can recognize when the gesture recognition device 20 reacted to his hand movements.

Es können noch Weiterbildungen der folgenden Art vorgesehen sein. Das Ausleuchten der Mittelkonsole 16 kann selektiv, je nach Wunsch, minimiert oder maximiert werden. Hierzu kann beispielsweise eine Bedieneinrichtung zum Einstellen der Licht- oder Strahlungsintensität vorgesehen sein. Es kann auch eine Minimierung der Lichtintensität im Standby vorgesehen sein, wenn also gerade keine Gestenerkennung erfolgt, weil sich keine Hand im Raumvolumen 28 befindet, oder auch während eines kontinuierlichen Erkennungsvorgangs, wenn beispielsweise eine Bewegung der Hand 26 im Raumvolumen 28 unmittelbar an eine Bewegung beispielsweise einer Straßenkarte auf dem Bildschirm 18 gekoppelt ist. Der Fahrer erfährt dann schon durch diese Koppelung der Bewegungsvorgänge ausreichend Feedback, so dass ein Leuchtstreifen 34 auf der Hand 26 ihn irritieren könnte.There may be provided refinements of the following type. Illuminating the center console 16 can be selectively minimized or maximized as desired. For this purpose, for example, an operating device for adjusting the light or radiation intensity can be provided. It can also be a minimization of the light intensity in standby provided, so if just no gesture recognition, because there is no hand in the volume of space 28 or even during a continuous recognition process, such as a movement of the hand 26 in the volume of space 28 directly to a movement, for example, a road map on the screen 18 is coupled. The driver then already experiences sufficient feedback through this coupling of the movement processes, so that a light strip 34 On the hand 26 could irritate him.

Es kann auch vorgesehen sein, dass der Lichtkegel 32 dunkel gehalten wird, wenn sich keine Hand im Raumvolumen 28 befindet. Greift dann eine Hand in den Wahrnehmungsbereich der Gestenerkennungseinrichtung 20, also das Raumvolumen 28, so wird der Lichtkegel 32 hell aufgesteuert. Hierdurch wird der Wahrnehmungsstreifen auf der Hand gut sichtbar und die Gesteneingabe kann erfolgen. Verlässt dann die Hand 26 den Wahrnehmungsbereich, wird der Lichtkegel 32 wieder zurückgedunkelt.It can also be provided that the light cone 32 kept dark if there is no hand in the volume of the room 28 located. Then grab a hand in the perception area of the gesture recognition device 20 So the volume of space 28 , so the light cone 32 brightly opened. As a result, the perceptual strip on the hand is clearly visible and the gesture input can be made. Then leave the hand 26 the area of perception becomes the light cone 32 darkened again.

Es kann auch vorgesehen sein, eine Maximierung der Lichtintensität des Lichtkegels 32 bei einer Eingabeaufforderung vorzunehmen, wenn also vor der eigentlichen Bedienung erste Schritte von dem Benutzer vorzunehmen sind. Weist beispielsweise eine Bedienperson eine normale Sitzposition im Fahrersitz auf, kann ihn das System, also beispielsweise das Infotainmentsystem, dazu auffordern, nun die Gestenbedienung zu benutzen. Um hierbei die Bedienperson anzuleiten, kann der Lichtvorhang aufgehellt werden und optional gleichzeitig beispielsweise eine Anweisung wie: „Bewegen Sie Ihre Hand zum Licht” per Lautsprecher im Kraftfahrzeuginnenraum 12 abgegeben werden oder auch als Schriftzug beispielsweise auf dem Bildschirm 18 angezeigt werden.It may also be provided to maximize the light intensity of the light cone 32 at a prompt, so if first steps are to be made by the user before the actual operation. For example, if an operator has a normal seating position in the driver's seat, the system, such as the infotainment system, may prompt him to use the gesture controls. To guide the operator in this case, the light curtain can be brightened and optionally at the same time, for example, an instruction such as: "Move your hand to the light" by speaker in the vehicle interior 12 be issued or as a lettering, for example, on the screen 18 are displayed.

Insgesamt ist also durch die Erfindung ermöglicht, für eine Gestensteuerung einen Lichtvorhang bereitzustellen, welcher der Bedienperson das Auffinden des Wahrnehmungsbereichs der Gestenerkennungseinrichtung erleichtert.Overall, therefore, the invention makes it possible to provide a light curtain for gesture control, which makes it easier for the operator to find the perception area of the gesture recognition device.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2004/0141634 A1 [0002]
DE 102011089195 A1 [0003]

Claims

Method for operating a gesture recognition device ( 20 ) in a motor vehicle ( 10 ), wherein the gesture recognition device ( 20 ) gesture recognition by capturing image data (V) of a hand ( 26 ) an operator, assigning the image data (V) to one of a plurality of predetermined operating gestures and signaling the determined by the assignment operating gesture to another device ( 18 ) of the motor vehicle ( 10 ) is performed only if the hand ( 26 ) in a predetermined partial volume ( 28 ) of a vehicle interior ( 12 ) of the motor vehicle ( 10 ), characterized in that the operator when locating the partial volume ( 28 ) is supported by a light source ( 30 ) a light beam ( 32 ) into the partial volume ( 28 ) is irradiated, wherein the light beam ( 32 ) a border ( 36 . 38 ), which in the sub-volume ( 28 ) or on one edge ( 40 . 42 ) of the partial volume ( 28 ), and thereby a light ( 34 ) of the light beam ( 32 ) On the hand ( 26 ) is only visible if the hand ( 26 ) this side of the border ( 36 . 38 ) in the light beam ( 32 ) and thus in the partial volume ( 28 ) is located.

Method according to claim 1, wherein the light beam ( 32 ) is generated from laser light.

Method according to one of the preceding claims, wherein the light source ( 30 ) radiates the light cylindrical and by deflecting the light of the light beam ( 32 ) is formed.

Method according to one of the preceding claims, wherein the light beam ( 32 ) is formed disc-shaped by a dimension of the light beam ( 32 ) along an axis of an orthogonal coordinate system in each case only a maximum of ten percent of the dimensions of the light beam ( 32 ) along the two remaining spatial directions of the coordinate system.

Method according to one of the preceding claims, wherein a radiation intensity of the light beam ( 32 ) is increased if by the detection device ( 20 ) it is recognized that the hand ( 26 ) into the partial volume ( 28 ) is moved in, and the radiation intensity is reduced again, if by the detection device ( 20 ) is recognized that no hand ( 26 ) in the partial volume ( 28 ) is located.

Method according to one of the preceding claims, wherein in the event that an input to be made by operating gesture of the operator is required, a radiation intensity of the light beam ( 32 ) to alert the operator to the gesture operation.

Method according to one of the preceding claims, wherein only in some of a plurality of predetermined applications for which the gesture recognition is provided, the light beam ( 32 ) is produced.

Method according to one of the preceding claims, wherein a color and / or a flashing frequency and / or a shape of the light beam as a function of a position of the hand ( 26 ) in the vehicle interior ( 12 ) is set.

Motor vehicle with a gesture recognition device ( 20 ), which recognize one-handed ( 26 ) in a predetermined partial volume ( 28 ) of a vehicle interior ( 12 ) of the motor vehicle ( 10 ) executed operating gesture, and with a light source ( 30 ) used to generate a light beam ( 32 ) in the partial volume ( 28 ), characterized in that the motor vehicle ( 10 ) is designed to carry out a method according to one of the preceding claims.

Motor vehicle according to claim 9, wherein the light source ( 30 ) is different from a light source provided for generating gesture recognition image data (V).