EP3298475A1 - Bediensystem und verfahren zum betreiben eines bediensystems für ein kraftfahrzeug - Google Patents

Bediensystem und verfahren zum betreiben eines bediensystems für ein kraftfahrzeug

Info

Publication number
EP3298475A1
EP3298475A1 EP16722047.4A EP16722047A EP3298475A1 EP 3298475 A1 EP3298475 A1 EP 3298475A1 EP 16722047 A EP16722047 A EP 16722047A EP 3298475 A1 EP3298475 A1 EP 3298475A1
Authority
EP
European Patent Office
Prior art keywords
operating system
detection
control
gesture
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16722047.4A
Other languages
English (en)
French (fr)
Inventor
Paul Sprickmann Kerkerinck
Onofrio DI FRANCO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP3298475A1 publication Critical patent/EP3298475A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/65—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/146—
    • B60K2360/1464—

Definitions

  • the invention relates to an operating system for a motor vehicle.
  • the operating system comprises a detection device which is designed to detect at least a body part of a user when it is arranged in a detection region of the detection device.
  • the operating system comprises a control device, which is designed to control a signaling device of the operating system.
  • Operating systems are known from the prior art, which are controlled by gestures of a user within a detection area.
  • the user can be signaled or displayed by a light cone of the detection area or by a light beam at least one system boundary of the detection area.
  • DE 10 2013 009 567 A1 discloses a method for operating a gesture recognition device in a motor vehicle.
  • the gesture recognition device performs gesture recognition only if a gesticulating hand is located in a predetermined partial volume of the vehicle interior. Further, the operator is assisted in locating the partial volume by a light source is irradiated by a light beam in the sub-volume. For this purpose, the light beam hits the hand of the operator when it is arranged in the sub-volume.
  • US 2014/0361989 A1 describes a method for operating functions in a vehicle using gestures executed in three-dimensional space. In a method step, it is determined whether or not a first gesture performed in the three-dimensional space is detected by an image-based detection process. In another Step is determined whether or not the first gesture is a gesture associated with activating control of a function. When the corresponding gestures are detected, a function associated with the gesture is executed.
  • DE 10 2013 012 466 A1 discloses an operating system for one or more vehicle-mounted device (s).
  • the operating system comprises a sensor device for detecting image data of a hand located in the detection range of the sensor device and for transmitting the acquired image data to an evaluation device.
  • the operating system includes a storage device in which actions associated with hand gestures and hand gestures are stored, an evaluation device that evaluates the image data, and a controller that executes the action associated with a hand gesture.
  • the object of the present invention is to support a user particularly well in the operation of a gesture-controlled operating system and thereby to increase the reliability of the gesture operation.
  • This object is achieved by an operating system for a motor vehicle and a method for operating an operating system according to the independent patent claims.
  • Advantageous embodiments of the invention can be found in the dependent claims.
  • this object is achieved by an operating system for a motor vehicle.
  • the operating system comprises a detection device which is designed to detect at least a body part of a user when it is arranged in a detection region of the detection device.
  • detection area is meant a spatial area in the environment of the detection device, which can be accommodated by the detection device.
  • the detection device may comprise a camera, in particular a 2D camera and / or a 3D camera.
  • the detection range of the camera can be determined, for example, by the viewing angle of the camera.
  • the operating system has a control device which is designed to control a signaling device of the operating system.
  • the operating system is characterized in that the detection device is designed to check whether the detected in the detection range Body part is located in a control room, which forms a portion of the detection area.
  • the operating space is thus arranged within the detection range of the detection device.
  • operating space is meant, for example, a subspace within the detectable by the detection device spatial area.
  • the detection device can thus be located in a predetermined environment and in this detect a predetermined spatial area - the so-called detection area - in which in turn a defined by the detection device control room is arranged as a subspace of the spatial area.
  • the operating system is also distinguished by the fact that the control device is designed to control the signaling device in such a way that feedback is output by means of the latter outside the control room when it is detected by the detection device that the body part is located within the control room.
  • the control device is designed to control the signaling device in such a way that feedback is output by means of the latter outside the control room when it is detected by the detection device that the body part is located within the control room.
  • the control device is designed to control the signaling device in such a way that feedback is output by means of the latter outside the control room when it is detected by the detection device that the body part is located within the control room.
  • the control device is designed to control the signaling device in such a way that feedback is output by means of the latter outside the control room when it is detected by the detection device that the body part is located within the control room.
  • the control device can control the signaling device accordingly, which can then output a feedback.
  • the data transmission can be wireless or wired.
  • the signaling device may comprise a display device and / or an acoustic output device.
  • the display device may have, for example, one or more lights and / or a display, so that optical signals can be displayed by means of the display device.
  • the acoustic output device may, for example, have one or more loudspeakers, so that acoustic signals can be output by means of the acoustic output device.
  • a feedback can be, for example, the illumination of the luminaire in the form of an optical signal and / or an acoustic signal from a loudspeaker.
  • the object is also achieved by a method for operating an operating system for a motor vehicle.
  • a method for operating an operating system for a motor vehicle first of all a body part of a user is detected by means of a detection device when it is arranged in a detection area of the detection device. Furthermore, it is checked whether the body part detected in the detection area is located in a control room, which forms a partial area of the detection area. Subsequently, a signaling device of the operating system is controlled by means of a control device such that a feedback is output by means of the signaling device outside the control room, if it is detected by the detection device that the body part is located within the control room.
  • the detecting means is further adapted to detect a gesture in the operating room and to check whether the detected gesture matches at least a predetermined gesture. It is not only the presence of a body part in The gesture can, for example, be evaluated on the basis of video data in the case of a camera, resulting in the advantage that the detection device not only outputs a direct feedback when detecting a body part, but at the same time designed to evaluate gestures.
  • control device is designed to control the signal device such that an acknowledgment signal is output by means of the signal device if the detected gesture coincides with the at least one predetermined gesture.
  • the confirmation signal can be output as an optical and / or acoustic signal by means of the signaling device. So, as already mentioned, for example, the hand of the user detected in the control room, the light turns yellow. If it is subsequently detected that the user is making a predetermined gesture with his hand, the color of the luminaire can change from yellow to green as a confirmation signal. The user thus knows that his currently executed gesture has been recognized as an operator gesture.
  • predetermined gesture is meant, for example, a gesture stored in a memory device of the detection device, ie, the given gestures can be stored or stored, for example, in a memory device of the detection device through the Camera captured video data to be compared with stored video data, ie stored video data. If the recorded video data match the stored video data, a gesture will be recognized as a given gesture. This results in the advantage that the user of the operating system receives a direct feedback in a particularly simple manner when operating the operating system.
  • the control device is adapted to control the signaling device such that by means of the signaling device, a warning message is issued if the detected gesture deviates from the at least one predetermined gesture.
  • the warning signal can be output as an optical and / or acoustic signal by means of the signaling device. If, for example, after detecting a gesture of the user, for example by gesturing with his hand, no predetermined gesture detected, so the light of the signaling device instead of yellow to green, for a given gesture, from yellow to red in a faulty operation, ie one unspecified gesture, change.
  • the camera captured video data can compare with deposited video data. If the captured video data does not match the stored video data, a gesture is detected as a misoperation. This has the advantage that a user can react directly to it if he has operated the operating system wrong.
  • the signaling device may also comprise two display devices in the form of two lights, which may be arranged side by side.
  • the first light can, for example, display an optical feedback when detecting the body part in the control room, that is, the light would shine yellow.
  • the second lamp may output, for example, an optical confirmation signal and / or an optical warning signal. If the user intervenes, for example, in the control room, then this is indicated by the first light, which lights yellow at this moment and as long as the user is in the control room with his hand. For example, if the user subsequently makes a gesture, and the gesture is captured as a predetermined gesture, the second light turns green.
  • the signaling device may include, for example, a lamp and a speaker, so that the optical signal of the lamp is amplified by an acoustic signal.
  • the signaling device may preferably have a display with an illuminated frame.
  • a translucent frame with a light source in the form of a light guide can be arranged around an outer contour of the display. This allows the user to track his actual operations on the display.
  • the user By the illuminable frame, the user, as already described in the example of the lamp, understand his detected operating action, so if he is, for example, in the control room and if his gesture was done right or wrong.
  • control device is configured to control the signal device in such a way that a detection signal is output by means of the signal device, if it is detected by the detection device that the body part is indeed within the detection range but outside the operating space.
  • the detection signal can be output as an optical and / or acoustic signal by means of the signaling device.
  • the user is indicated by means of the signaling device that, while he is in the detection area of the detection device, he is not yet in the control room if he wishes to operate the operating system. This results in the advantage that a user can easily check the position of his hand when operating the operating system.
  • the stability and reliability of the gesture recognition can be increased thereby, since the detection device can already detect and track a body part of the user, for example an arm or a hand or a finger, outside the control room and thereby make the penetration of the body part into the operating space more reliable. can tektieren.
  • control device is designed to change the expansion and / or arrangement of the control room in dependence on at least one predetermined criterion.
  • predetermined criterion For example, be a stored user profile, eg on the vehicle key.
  • the stored user profile may include, for example, the size of the driver and / or a preferred seating position.
  • the extent of the control room can be adapted to the seat position of the user in the motor vehicle.
  • the operating room is adapted to the arm length of the user so that he can reach into the operating room when extending his arm. If the user changes and the seat position is shifted from the first seat position away from the operating space into a second seat position, the user might no longer be able to reach the operating space in the second seat position.
  • the extent of the control room can be adapted, in this case increased, as a function of the seating position. That is, the extent of the operating space may increase, the farther the seat, for example, away from the steering wheel. This results in the advantage that individually the operating room can be adapted for each user of the operating system. The simultaneous support of the driver when operating the operating system results in a comfortable operating system for every user.
  • Figure 1 is a schematic representation of the operating system in an interior of a motor vehicle.
  • Fig. 2 is a schematic representation of a detection device and a recorded by her detection area with an operating space arranged therein.
  • an operating system 14 is shown schematically in an interior 12 of a motor vehicle 10.
  • the motor vehicle 10 may be a motor vehicle, in particular a passenger car.
  • the mode of operation of the operating system 14 will now be explained below in conjunction with FIG. 2, which schematically represents a detection device 16 of the operating system from FIG. 1.
  • the operating system 14 comprises the detection device 16, which is designed to detect a body part 18 of a user and a gesture of the body part 18, indicated in FIG. 1 by the double arrow.
  • the detection device 16 may comprise, for example, a camera.
  • the camera can be arranged, for example, on a ceiling of the motor vehicle 10 directly above a center console in the interior 12 of the motor vehicle 10.
  • the camera spans a detection area 24, in which an object and / or a body part 18 can be detected.
  • detection area 24 is meant a spatial area in the vicinity of the detection device 16, ie in the interior space 12 of the motor vehicle 10, which can be accommodated by the detection device 16.
  • an operating space 26 is provided within the detection area 24, an operating space 26 is provided.
  • the operating space 26 is thus a subspace of the detection area 24.
  • the detection facility 16 is located in an interior space 12 of the motor vehicle 10 and accommodates therein a predetermined spatial area - the detection area 24 - in which an operating space 26 defined by the detection facility 16 is again is arranged as a subspace of the detection area 24.
  • the operating space 26 can, as shown in FIG.
  • the operating system 14 further comprises a control device 20 and a signaling device 22. Depending on where and what the detection device 16 detects within the detection region 24, the control device 20 controls the signaling device 22 differently.
  • the detection device 16, the control device 20 and the signaling device 22 are coupled or connected wirelessly or wired accordingly.
  • the detection device 16, for example the camera is designed in a manner known per se to detect an object and / or a body part 18 of a user, for example a hand.
  • Gestures for example the gesturing of a hand, can also be detected by the detection device 16.
  • the detection device 16 can detect, for example, by image data and / or video data, ie a sequence of image data, gestures and / or a body part 18.
  • the control device 20 can control the signaling device 22 differently, depending on where and what is detected within the detection region 24 by the detection device 16.
  • the signaling device 22 may comprise, for example, a display device and / or an acoustic output device.
  • the display device may, for example, one or more lights and / or a display, which is arranged for example in an instrument cluster of the motor vehicle 10, have, so that by means of the display device optical signals can be displayed.
  • the acoustic output device can, for example, have one or more loudspeakers, so that acoustic signals can be output by means of the acoustic output device.
  • the signal device 22 comprises, for example, a display device, then the display device is preferably arranged in a field of view of the user.
  • the control device 20 distinguishes between four different display modes. Depending on where and what the detection device 16 detects within the detection range 24, the signal device 22 is controlled differently by means of the control device 20. If the detection device 16 detects a body part 18 of the user in the detection area 24 but outside the operating room 26, the signal device 22 is operated in a first display mode. The signaling device 22 is operated in a second display mode if the detection device 16 detects the body part 18 of the user in the control room 26. summarizes. If the detection device 24 detects a predetermined gesture of the user in the control room 26, the signal device 22 is operated in a third display mode. For this purpose, the detection device 16 compares, for example, stored video data with recorded video data.
  • the gesture made by the user is a given gesture. Detects the detection device 16 in an operating space 26 a deviating from a predetermined operating gesture gesture, ie a misuse of the user, the signaling device 22 is operated in a fourth display mode. A deviating gesture or incorrect operation is detected if the captured video data deviates from the stored video data.
  • the control device 20 controls the signal device 22 in such a way that a detection signal is output by means of the signal device 22.
  • the user is shown that he is indeed with his hand in the detection area 24 of the detection device 16, but not yet in the control room 26, if he wants to operate the operating system 14.
  • the signal device 22 is, for example, a luminaire, then the luminaire can light up yellow as a detection signal.
  • the control device 20 activates the signaling device 22 in such a way that a feedback message is output by means of the signaling device 22 when the hand is in the operating space 26.
  • a feedback message is output by means of the signaling device 22 when the hand is in the operating space 26.
  • the light in the form of an optical signal can light up orange.
  • the control device 20 activates the signal device 22 such that an acknowledgment signal is output by means of the signal device 22.
  • a gesture is detected in the control room 26 and this coincides with at least one predetermined gesture.
  • the control device 20 controls the signaling device 22 such that a warning message is output by means of the signaling device 22.
  • the light of the signal device 22 instead of from yellow to green for a given gesture from yellow to red in the event of a faulty operation, So a non-default gesture, change.
  • the signaling device 22 may also include three lights, which may be arranged side by side in the field of view of the user.
  • the first lamp may output the detection signal in the first display mode.
  • the second luminaire may, for example, output the visual feedback in the second display mode.
  • a confirmation signal or a warning signal can be output. If the user intervenes, for example, in the detection area 16 with his or her hand, this is indicated by the first light (first display mode), which lights up yellow at this moment and as long as the user is in the detection area 16 with his hand.
  • the second light (second display mode), which lights orange at this moment and as long as the user is in the control room 26 with his hand.
  • the third light (third display mode), which, for example, green lights. If the user executes a faulty operation on the given gesture, this is also signaled to him by the third light, in that the color of the light changes from green to red (fourth display mode). Leaves the user with his hand the control room 26 and the detection area 24, all three lights would go out one after the other.
  • the signal device 22 may comprise, for example, a loudspeaker.
  • the feedback and / or the confirmation signal and / or the warning message and / or the detection signal can be output as an acoustic signal.
  • the adaptation of the control room 26 is indicated schematically in Fig. 2 by the arrows around the control room 26.
  • the operating space 26 can only be "extended” to the extent that the system limits of the detection range-indicated by the dashed lines-permit.The extent of the operating space 26 can not be increased beyond the limits of the detection range 24.
  • a gesture-based control of the operating system 14 is considerably simplified.
  • a user is given a visual and / or audible feedback as to whether, for example, he has positioned his hand correctly in order to be able to carry out a gesture operation at all.
  • the user is also given a visual and / or audible feedback as to whether he has just made a gesture with his hand that has been recognized by the operating system 14 or not.

Abstract

Die Erfindung betrifft ein Bediensystem (14) für ein Kraftfahrzeug (10). Dabei umfasst das Bediensystem (14) eine Erfassungseinrichtung (16), welche dazu ausgebildet ist, zumindest ein Körperteil (18) eines Nutzers zu erfassen, wenn dieses in einem Erfassungsbereich (24) der Erfassungseinrichtung (16) angeordnet ist. Des Weiteren umfasst das Bediensystem (14) eine Steuereinrichtung (20), welche dazu ausgebildet ist, eine Signalvorrichtung (22) des Bediensystems (14) zu steuern. Das Bediensystem (14) zeichnet sich dadurch aus, dass die Erfassungseinrichtung (16) dazu ausgebildet ist, zu überprüfen, ob das im Erfassungsbereich (24) erfasste Körperteil (18) sich in einem Bedienraum (26) befindet, welcher einen Teilbereich des Erfassungsbereichs (24) ausbildet. Ferner ist die Steuereinrichtung (20) dazu ausgebildet, die Signalvorrichtung (22) derart anzusteuern, dass mittels dieser außerhalb des Bedienraums (26) eine Rückmeldung ausgegeben wird, wenn durch die Erfassungseinrichtung (16) erfasst wird, dass sich das Körperteil (18) innerhalb des Bedienraums (26) befindet. Des Weiteren betrifft die Erfindung ein Verfahren zum Betreiben eines Bediensystems (14) für ein Kraftfahrzeug (10).

Description

Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein
Kraftfahrzeug
BESCHREIBUNG:
Die Erfindung betrifft ein Bediensystem für ein Kraftfahrzeug. Das Bediensystem umfasst dabei eine Erfassungseinrichtung, welche dazu ausgebildet ist, zumindest ein Körperteil eines Nutzers zu erfassen, wenn dieses in einem Erfassungsbereich der Erfassungseinrichtung angeordnet ist. Des Weiteren umfasst das Bediensystem eine Steuereinrichtung, welche dazu ausgebildet ist, eine Signalvorrichtung des Bediensystems anzusteuern.
Aus dem Stand der Technik sind Bediensysteme bekannt, welche durch Gesten eines Nutzers innerhalb eines Erfassungsbereichs gesteuert werden. Zur Orientierung des Nutzers, damit dieser den Erfassungsbereich, in dem er eine Geste zur Bedienung des Bediensystems ausführen kann, leichter findet, kann dem Nutzer durch einen Lichtkegel der Erfassungsbereich oder durch einen Lichtstrahl zumindest eine Systemgrenze des Erfassungsbereichs signalisiert beziehungsweise angezeigt werden.
Aus der DE 10 2013 009 567 A1 geht beispielsweise ein Verfahren zum Betreiben einer Gestenerkennungseinrichtung in einem Kraftfahrzeug hervor. Die Gestenerkennungseinrichtung führt dabei eine Gestenerkennung nur durch, falls sich eine gestikulierende Hand in einem vorbestimmtem Teilvo- lumen des Fahrzeuginnenraumes befindet. Ferner wird die Bedienperson beim Auffinden des Teilvolumens unterstützt, indem durch eine Lichtquelle ein Lichtstrahl in das Teilvolumen eingestrahlt wird. Dazu trifft der Lichtstrahl auf die Hand der Bedienperson, wenn diese im Teilvolumen angeordnet ist. In der US 2014/0361989 A1 ist ein Verfahren zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten beschrieben. In einem Verfahrensschritt wird bestimmt, ob eine im dreidimensionalen Raum durchgeführte erste Geste mittels eines bildbasierten Erfassungsvorgangs erfasst wird oder nicht. In einem weiteren Verfahrensschritt wird bestimmt, ob die erste Geste eine einem Aktivieren eines Steuerns einer Funktion zugeordnete Geste ist oder nicht. Werden die entsprechenden Gesten erfasst, wird eine der Geste zugeordnete Funktion ausgeführt.
Aus der DE 10 2013 012 466 A1 geht ein Bediensystem für eine/mehrere fahrzeugseitige Vorrichtung(en) hervor. Das Bediensystem umfasst eine Sensorvorrichtung zur Erfassung von Bilddaten einer sich im Erfassungsbereich der Sensorvorrichtung befindlichen Hand und zur Übermittlung der er- fassten Bilddaten an eine Auswertungsvorrichtung. Ferner beinhaltet das Bediensystem eine Speichervorrichtung, in der Handgesten und Handgesten zugeordnete Aktionen gespeichert sind, eine Auswertungsvorrichtung, die die Bilddaten auswertet, und eine Steuervorrichtung, die die einer Handgeste zugeordnete Aktion ausführt.
Aufgabe der vorliegenden Erfindung ist es, einen Nutzer bei der Bedienung eines gestengesteuerten Bediensystems besonders gut zu unterstützen und dadurch die Zuverlässigkeit der Gestenbedienung zu erhöhen. Diese Aufgabe wird gelöst durch ein Bediensystem für ein Kraftfahrzeug und ein Verfahren zum Betreiben eines Bediensystems gemäß den unabhängigen Patentansprüchen. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den abhängigen Patentansprüchen. Erfindungsgemäß wird diese Aufgabe gelöst durch ein Bediensystem für ein Kraftfahrzeug. Das Bediensystem umfasst dabei eine Erfassungseinrichtung, welche dazu ausgebildet ist, zumindest ein Körperteil eines Nutzers zu erfassen, wenn dieses in einem Erfassungsbereich der Erfassungseinrichtung angeordnet ist. Mit Erfassungsbereich ist ein räumlicher Bereich in der Um- gebung der Erfassungseinrichtung gemeint, welcher durch die Erfassungseinrichtung aufgenommen werden kann. Beispielsweise kann die Erfassungseinrichtung eine Kamera, insbesondere eine 2D-Kamera und/oder eine 3D-Kamera, umfassen. Der Erfassungsbereich der Kamera kann beispielsweise durch den Sehwinkel der Kamera festgelegt sein.
Ferner weist das Bediensystem eine Steuereinrichtung auf, welche dazu ausgebildet ist, eine Signalvorrichtung des Bediensystems zu steuern. Das Bediensystem zeichnet sich dadurch aus, dass die Erfassungseinrichtung dazu ausgebildet ist, zu überprüfen, ob das im Erfassungsbereich erfasste Körperteil sich in einem Bedienraum befindet, welcher einen Teilbereich des Erfassungsbereichs ausbildet. Der Bedienraum ist somit innerhalb des Erfassungsbereichs der Erfassungseinrichtung angeordnet. Mit Bedienraum ist beispielsweise ein Teilraum innerhalb des durch die Erfassungseinrichtung erfassbaren räumlichen Bereichs gemeint. Die Erfassungseinrichtung kann sich also in einer vorbestimmten Umgebung befinden und in dieser einen vorbestimmten räumlichen Bereich erfassen - den sogenannten Erfassungsbereich - in welchem wiederum ein durch die Erfassungseinrichtung festgelegter Bedienraum als Teilraum des räumlichen Bereichs angeordnet ist.
Des Weiteren zeichnet sich das Bediensystem auch dadurch aus, dass die Steuereinrichtung dazu ausgebildet ist, die Signalvorrichtung derart anzusteuern, dass mittels dieser außerhalb des Bedienraums eine Rückmeldung ausgegeben wird, wenn durch die Erfassungseinrichtung erfasst wird, dass sich das Körperteil innerhalb des Bedienraums befindet. Möchte der Nutzer beispielsweise das Bediensystem bedienen, also mittels des Bediensystems eine Funktion ausführen, so muss sich zunächst ein Körperteil von ihm, beispielsweise seine Hand, innerhalb des Bedienraums befinden und dort durch die Erfassungseinrichtung detektiert werden. Beispielsweise können Bildda- ten mittels der Kamera in an sich bekannter Weise ausgewertet werden. Ist durch die Kamera die Hand in dem Bedienraum erfasst worden, werden beispielsweise durch die Kamera Daten an die Steuereinrichtung übermittelt. Daraufhin kann die Steuereinrichtung die Signalvorrichtung entsprechend ansteuern, welche dann eine Rückmeldung ausgeben kann. Die Datenüber- mittlung kann dabei drahtlos oder drahtgebunden erfolgen. Bevorzugt kann die Signalvorrichtung eine Anzeigeeinrichtung und/oder eine akustische Ausgabeeinrichtung umfassen. Die Anzeigeeinrichtung kann beispielsweise eine oder mehrere Leuchten und/oder ein Display aufweisen, so dass mittels der Anzeigeeinrichtung optische Signale angezeigt werden können. Die akustische Ausgabeeinrichtung kann zum Beispiel einen oder mehrere Lautsprecher aufweisen, so dass mittels der akustischen Ausgabeeinrichtung akustische Signale ausgegeben werden können. Eine Rückmeldung kann beispielsweise das Aufleuchten der Leuchte in Form eines optischen Signals und/oder ein akustisches Signal aus einem Lautsprecher sein. Wird also die Hand des Nutzers in dem Bedienraum erfasst, so leuchtet die Leuchte beispielsweise gelb auf. Dadurch ergibt sich der Vorteil, dass der Nutzer direktes Feedback in Form einer Rückmeldung bei der Positionierung seiner Hand bekommt. Erfindungsgemäß wird die Aufgabe auch gelöst durch ein Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug. Dabei wird zunächst ein Körperteil eines Nutzers mittels einer Erfassungseinrichtung erfasst, wenn dieses in einem Erfassungsbereich der Erfassungseinrichtung ange- ordnet ist. Des Weiteren wird überprüft, ob sich das im Erfassungsbereich erfasste Körperteil in einem Bedienraum befindet, welcher einen Teilbereich des Erfassungsbereichs ausbildet. Anschließend wird eine Signalvorrichtung des Bediensystems mittels einer Steuereinrichtung derart angesteuert, dass mittels der Signalvorrichtung außerhalb des Bedienraums eine Rückmel- dung ausgegeben wird, wenn durch die Erfassungseinrichtung erfasst wird, dass sich das Körperteil innerhalb des Bedienraums befindet.
Eine vorteilhafte Ausführungsform der vorliegenden Erfindung sieht vor, dass "die Erfassungseinrichtung ferner dazu ausgebildet ist, eine Geste in dem Bedienraum zu erfassen und zu überprüfen, ob die erfasste Geste mit zumindest einer vorgegebenen Geste übereinstimmt. Es wird also nicht nur das Vorhandensein eines Körperteils in dem Bedienraum mittels der Erfassungseinrichtung erfasst sondern auch eine durch den Nutzer ausgeführte Geste. Die Geste kann beispielsweise bei einer Kamera anhand von Videodaten ausgewertet werden. Dadurch ergibt sich der Vorteil, dass die Erfassungseinrichtung nicht nur eine direkte Rückmeldung beim Erfassen eines Körperteils ausgibt, sondern gleichzeitig dazu ausgelegt ist, Gesten auszuwerten.
In vorteilhafter Weise ist die Steuereinrichtung dazu ausgebildet, die Signal- Vorrichtung derart anzusteuern, dass mittels der Signalvorrichtung ein Bestätigungssignal ausgegeben wird, falls die erfasste Geste mit der zumindest einen vorgegebenen Geste übereinstimmt. Das Bestätigungssignal kann als optisches und/oder akustisches Signal mittels der Signalvorrichtung ausgegeben werden. Wird also, wie oben bereits erwähnt, beispielsweise die Hand des Nutzers in dem Bedienraum erfasst, so leuchtet die Leuchte gelb auf. Wird anschließend erfasst, dass der Nutzer mit seiner Hand eine vorgegebene Geste ausführt, so kann die Farbe der Leuchte als Bestätigungssignal von gelb auf grün wechseln. Der Nutzer weiß so, dass seine gerade ausgeführte Geste als Bediengeste erkannt worden ist. Mit„vorgegebene Geste" ist bei- spielsweise eine in einer Speichereinrichtung der Erfassungseinrichtung hinterlegte Geste gemeint. Die vorgegebenen Gesten können also beispielsweise in einer Speichereinrichtung der Erfassungseinrichtung abgespeichert beziehungsweise hinterlegt sein. Dazu können beispielsweise Videodaten hinterlegt sein. Somit kann die erfasste Geste, d.h. beispielsweise durch die Kamera erfasste Videodaten, mit hinterlegten Videodaten, d.h. gespeicherten Videodaten, verglichen werden. Stimmen die erfassten Videodaten mit den hinterlegten Videodaten überein, wird eine Geste als vorgegebene Geste erkannt. Dadurch ergibt sich der Vorteil, dass der Nutzer des Bediensystems auf besonders einfache Art und Weise eine direkte Rückmeldung erhält, wenn er das Bediensystem bedient.
Um auf jegliche Bedienhandlungen innerhalb des Bedienraums hingewiesen zu werden, das heißt auch, wenn eine Fehlbedienung, d.h. eine falsche Ges- te, erfasst wird, sieht eine vorteilhafte Ausführungsform der Erfindung vor, dass die Steuereinrichtung dazu ausgebildet ist, die Signalvorrichtung derart anzusteuern, dass mittels der Signalvorrichtung eine Warnmeldung ausgegeben wird, falls die erfasste Geste von der zumindest einen vorgegebenen Geste abweicht. Das Warnsignal kann als optisches und/oder akustisches Signal mittels der Signalvorrichtung ausgegeben werden. Wird also beispielsweise nach dem Erfassen einer Geste des Nutzers, beispielsweise durch Gestikulieren mit seiner Hand, keine vorgegebene Geste erfasst, so kann die Leuchte der Signalvorrichtung anstelle von gelb auf grün, für eine vorgegebene Geste, von gelb auf rot bei einer Fehlbedienung, also einer nicht vorgegebenen Geste, wechseln. Dazu kann auch hier beispielsweise die Kamera erfasste Videodaten mit hinterlegten Videodaten vergleichen. Stimmen die erfassten Videodaten nicht mit den hinterlegten Videodaten überein, wird eine Geste als Fehlbedienung erkannt. Dadurch ergibt sich der Vorteil, dass ein Nutzer direkt darauf reagieren kann, wenn er das Bedien- System falsch bedient hat.
Bevorzugt kann die Signalvorrichtung auch zwei Anzeigeeinrichtungen in Form von zwei Leuchten umfassen, welche nebeneinander angeordnet sein können. Die erste Leuchte kann beispielsweise eine optische Rückmeldung beim Erfassen des Körperteils in dem Bedienraum anzeigen, das heißt die Leuchte würde gelb leuchten. Die zweite Leuchte kann beispielsweise ein optisches Bestätigungssignal und/oder ein optisches Warnsignal ausgeben. Greift der Nutzer beispielsweise in den Bedienraum ein, so wird ihm das durch die erste Leuchte angezeigt, welche in diesem Moment und solange sich der Nutzer in dem Bedienraum mit seiner Hand befindet gelb leuchtet. Führt der Nutzer beispielsweise anschließend eine Geste aus und wird diese als vorgegebene Geste erfasst, leuchtet die zweite Leuchte grün auf. Würde sich die Hand des Nutzers zwar in dem Bedienraum befinden, aber eine Fehlbedienung ausführen, das heißt, keine vorgegebene Geste mit seiner Hand ausführen, würde die zweite Leuchte rot leuchten. Anstelle der zwei Leuchten kann die Signalvorrichtung beispielsweise eine Leuchte und einen Lautsprecher umfassen, sodass das optische Signal der Leuchte durch ein akustisches Signal verstärkt wird. Bevorzugt kann die Signalvorrichtung ein Display mit einem beleuchteten Rahmen aufweisen. Dazu kann um eine Außenkontur des Displays beispielsweise ein lichtdurchlässiger Rahmen mit einer Lichtquelle in Form eines Lichtleiters angeordnet sein. Dadurch kann der Nutzer seine tatsächlichen Bedienvorgänge auf dem Display nachverfolgen. Durch den beleuchtbaren Rahmen kann der Nutzer, wie bereits an dem Beispiel mit der Leuchte beschrieben, seine erfasste Bedienhandlung nachvollziehen, also ob er sich beispielsweise in dem Bedienraum befindet und ob seine Geste richtig oder falsch ausgeführt wurde.
In vorteilhafter Weise ist die Steuereinrichtung dazu ausgebildet, die Signal- Vorrichtung derart anzusteuern, dass mittels der Signalvorrichtung ein Erkennungssignal ausgegeben wird, falls mittels der Erfassungseinrichtung erfasst wird, dass sich das Körperteil zwar innerhalb des Erfassungsbereichs aber außerhalb des Bedienraums befindet. Das Erfassungssignal kann als optisches und/oder akustisches Signal mittels der Signalvorrichtung ausge- geben werden. So wird dem Nutzer beispielsweise mittels der Signalvorrichtung angegeben, dass er sich zwar im Erfassungsbereich der Erfassungseinrichtung, aber noch nicht im Bedienraum befindet, wenn er denn das Bediensystem bedienen möchte. Dadurch ergibt sich der Vorteil, dass ein Nutzer die Position seiner Hand beim Bedienen des Bediensystems einfach über- prüfen kann. Ferner kann dadurch die Stabilität und Zuverlässigkeit der Gestenerkennung erhöht werden, da die Erfassungseinrichtung schon außerhalb des Bedienraums ein Körperteil des Nutzers, beispielsweise einen Arm oder eine Hand oder einen Finger, erkennen und verfolgen kann und dadurch das Eindringen des Körperteils in den Bedienraum zuverlässiger de- tektieren kann.
Eine vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Steuereinrichtung dazu ausgebildet ist, die Ausdehnung und/oder Anordnung des Bedienraums in Abhängigkeit von zumindest einem vorgegebenen Kriterium zu verändern. Mit Ausdehnung ist hier die räumliche Erstreckung des Bedienraums innerhalb des Erfassungsbereichs der Erfassungseinrichtung gemeint. Mit Anordnung ist hier eine Positionierung des Bedienraums innerhalb des Erfassungsbereichs gemeint. Für die Einstellung der Ausdehnung und/oder der Anordnung des Bedienraums kann das vorgegebene Kriterium beispielsweise ein gespeichertes Nutzerprofil, z.B. auf dem Fahrzeugschlüssel, sein. Das gespeicherte Nutzerprofil kann beispielsweise die Größe des Fahrers und/oder eine bevorzugte Sitzposition umfassen. Befindet sich der Bedienraum beispielsweise oberhalb einer Mittelkonsole im Innenraum eines Kraftfahrzeugs, so kann die Ausdehnung des Bedienraums je nach Sitzposition des Nutzers in dem Kraftfahrzeug angepasst werden. Ist der Bedienraum beispielsweise zunächst für eine erste Sitzposition für einen ersten Nutzer eingestellt, so ist der Bedienraum an die Armlänge des Nut- zers angepasst, sodass dieser beim Ausstrecken seines Armes in den Bedienraum greifen kann. Wechselt der Nutzer und würde die Sitzposition aus der ersten Sitzposition weg von dem Bedienraum in eine zweite Sitzposition verschoben werden, könnte der Nutzer in der zweiten Sitzposition den Bedienraum gegebenenfalls nicht mehr bequem erreichen. Dazu kann in Ab- hängigkeit von der Sitzposition die Ausdehnung des Bedienraums angepasst, in diesem Fall vergrößert, werden. Das heißt, die Ausdehnung des Bedienraums kann zunehmen, je weiter sich der Sitz beispielsweise von dem Lenkrad entfernt. Dadurch ergibt sich der Vorteil, dass für jeden Nutzer des Bediensystems individuell der Bedienraum angepasst werden kann. Mit der gleichzeitigen Unterstützung des Fahrers beim Bedienen des Bediensystems ergibt sich für jeden Nutzer ein komfortables Bediensystem.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen'Kombina- tion, sondern auch in anderen Kombinationen oder in Alleinstellung ver- wendbar, ohne den Rahmen der Erfindung zu verlassen.
Die zuvor im Zusammenhang mit dem erfindungsgemäßen Bediensystem beschriebenen Vorteile und Weiterbildungen können auf das erfindungsgemäße Verfahren übertragen werden.
Es zeigen:
Fig. 1 eine schematische Darstellung des Bediensystems in einem Innenraum eines Kraftfahrzeugs; und Fig. 2 eine schematische Darstellung einer Erfassungseinrichtung und einer durch ihr aufgenommenen Erfassungsbereich mit einem darin angeordneten Bedienraum.
In Fig. 1 ist schematisch in einem Innenraum 12 eines Kraftfahrzeugs 10 ein Bediensystem 14 dargestellt. Bei dem Kraftfahrzeug 10 kann es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln. Die Funktionsweise des Bediensystems 14 wird nun im Folgenden in Zusammenschau mit Fig. 2 erläutert werden, welche schematisch eine Erfassungseinrichtung 16 des Bediensystems aus Fig. 1 darstellt.
Das Bediensystem 14 umfasst die Erfassungseinrichtung 16, welche dazu ausgebildet ist, ein Körperteil 18 eines Nutzers und eine Geste des Körperteils 18, in Fig. 1 durch den Doppelpfeil angedeutet, zu erfassen.
Die Erfassungseinrichtung 16 kann beispielsweise eine Kamera umfassen. Die Kamera kann dabei beispielsweise an einer Decke des Kraftfahrzeugs 10 direkt über einer Mittelkonsole im Innenraum 12 des Kraftfahrzeugs 10 angeordnet sein.
Wie in Fig. 2 schematisch dargestellt, spannt die Kamera einen Erfassungsbereich 24 auf, in welchem ein Gegenstand und/oder ein Körperteil 18 er- fasst werden kann. Mit Erfassungsbereich 24 ist ein räumlicher Bereich in der Umgebung der Erfassungseinrichtung 16, d.h. in dem Innenraum 12 des Kraftfahrzeugs 10, gemeint, welcher durch die Erfassungseinrichtung 16 aufgenommen werden kann. Innerhalb des Erfassungsbereichs 24 ist ein Bedienraum 26 vorgesehen. Der Bedienraum 26 ist somit ein Teilraum des Erfassungsbereichs 24. Die Erfassungseinrichtung 16 befindet sich in einem Innenraum 12 des Kraftfahrzeugs 10 und nimmt in diesem einen vorbestimmten räumlichen Bereich auf - den Erfassungsbereich 24 - in welchem wiederum ein durch die Erfassungsein- richtung 16 festgelegter Bedienraum 26 als Teilraum des Erfassungsbereichs 24 angeordnet ist. Der Bedienraum 26 kann, wie Fig. 2 zu entnehmen ist, beispielsweise die Form eines Quaders aufweisen. Bevorzugt kann der Bedienraum 26 auch anders geometrisch ausgestaltet sein. Beispielsweise kann der Bedienraum 26 die Form einer Kugel oder eines Kegels haben. Das Bediensystem 14 umfasst ferner eine Steuereinrichtung 20 und eine Signalvorrichtung 22. In Abhängigkeit davon, wo und was die Erfassungseinrichtung 16 innerhalb des Erfassungsbereichs 24 erfasst, steuert die Steuer- einrichtung 20 die Signalvorrichtung 22 unterschiedlich an. Die Erfassungseinrichtung 16, die Steuereinrichtung 20 und die Signalvorrichtung 22 sind dabei drahtlos oder drahtgebunden entsprechend miteinander gekoppelt beziehungsweise verbunden. Die Erfassungseinrichtung 16, beispielsweise die Kamera, ist in an sich bekannter Weise dazu ausgebildet, einen Gegenstand und/oder ein Körperteil 18 eines Nutzers, beispielsweise eine Hand, zu erfassen. Auch Gesten, beispielsweise das Gestikulieren einer Hand, können mittels der Erfassungseinrichtung 16 erfasst werden. Die Erfassungseinrichtung 16 kann beispielsweise durch Bilddaten und/oder Videodaten, d.h. eine Sequenz von Bilddaten, Gesten und/oder ein Körperteil 18 erfassen.
Wie bereits erwähnt, kann die Steuereinrichtung 20 die Signalvorrichtung 22 unterschiedlich ansteuern, wobei dies in Abhängigkeit davon erfolgt, wo und was innerhalb des Erfassungsbereichs 24 durch die Erfassungseinrichtung 16 erfasst wird. Die Signalvorrichtung 22 kann beispielsweise eine Anzeige- einrichtung und/oder eine akustische Ausgabeeinrichtung umfassen. Die Anzeigeeinrichtung kann beispielsweise eine oder mehrere Leuchten und/oder ein Display, welches beispielsweise in einem Kombiinstrument des Kraftfahrzeugs 10 angeordnet ist, aufweisen, so dass mittels der Anzeigeeinrichtung optische Signale angezeigt werden können. Die akustische Ausgabeeinrich- tung kann zum Beispiel einen oder mehrere Lautsprecher aufweisen, so dass mittels der akustischen Ausgabeeinrichtung akustische Signale ausgegeben werden können. Umfasst die Signalvorrichtung 22 beispielsweise eine Anzeigeeinrichtung, so ist die Anzeigeeinrichtung bevorzugt in einem Sichtfeld des Nutzers angeordnet. Dabei unterscheidet die Steuereinrichtung 20 zwischen vier unterschiedlichen Anzeigemodi. Je nachdem, wo und was die Erfassungseinrichtung 16 innerhalb des Erfassungsbereichs 24 erfasst, wird die Signalvorrichtung 22 unterschiedlich mittels der Steuereinrichtung 20 angesteuert. Falls die Erfassungseinrichtung 16 ein Körperteil 18 des Nutzers im Erfassungsbereich 24 aber außerhalb des Bedienraums 26 erfasst, wird die Signalvorrichtung 22 in einem ersten Anzeigemodus betrieben. Die Signalvorrichtung 22 wird in einem zweiten Anzeigemodus betrieben, falls die Erfassungseinrichtung 16 das Körperteil 18 des Nutzers im Bedienraum 26 er- fasst. Falls die Erfassungseinrichtung 24 in dem Bedienraum 26 eine vorgegebene Geste des Nutzers erfasst, wird die Signalvorrichtung 22 in einem dritten Anzeigemodus betrieben. Dazu vergleicht die Erfassungseinrichtung 16 beispielsweise abgespeicherte Videodaten mit erfassten Videodaten. Stimmen die Videodaten - abgespeicherte und erfasste Videodaten - überein, so handelt es sich bei der durch den Nutzer durchgeführten Geste um eine vorgegebene Geste. Erfasst die Erfassungseinrichtung 16 in einem Bedienraum 26 eine von einer vorgegebenen Bediengeste abweichende Geste, also eine Fehlbedienung des Nutzers, wird die Signalvorrichtung 22 in einem vierten Anzeigemodus betrieben. Eine abweichende Geste beziehungsweise Fehlbedienung wird erkannt, wenn die erfassten Videodaten von den abgespeicherten Videodaten abweichen.
Im ersten Anzeigemodus steuert die Steuereinrichtung 20 die Signalvorrich- tung 22 derart an, dass mittels der Signalvorrichtung 22 ein Erkennungssignal ausgegeben wird. So wird dem Nutzer angezeigt, dass er sich zwar mit seiner Hand im Erfassungsbereich 24 der Erfassungseinrichtung 16, aber noch nicht im Bedienraum 26 befindet, wenn er denn das Bediensystem 14 bedienen möchte. Ist die Signalvorrichtung 22 beispielsweise eine Leuchte, so kann die Leuchte als Erkennungssignal gelb aufleuchten.
Im zweiten Anzeigemodus steuert die Steuereinrichtung 20 die Signalvorrichtung 22 derart an, dass mittels der Signalvorrichtung 22 eine Rückmeldung ausgegeben wird, wenn sich die Hand in dem Bedienraum 26 befindet. Als Rückmeldung kann beispielsweise die Leuchte in Form eines optischen Signals orange aufleuchten.
Im dritten Anzeigemodus steuert die Steuereinrichtung 20 die Signalvorrichtung 22 derart an, dass mittels der Signalvorrichtung 22 ein Bestätigungssig- nal ausgegeben wird. Das ist der Fall, wenn in dem Bedienraum 26 eine Geste erfasst wird und diese mit zumindest einer vorgegebenen Geste übereinstimmt. Es wird also nicht nur das Vorhandensein der Hand in dem Bedienraum 26 sondern auch eine durch den Nutzer ausgeführte Geste erfasst. Wird also, wie oben bereits erwähnt, beispielsweise die Hand des Nutzers in dem Bedienraum 26 erfasst, so leuchtet die Leuchte gelb auf. Wird anschließend erfasst, dass der Nutzer mit seiner Hand eine vorgegebene Geste ausführt, so wechselt die Farbe der Leuchte als Bestätigungssignal von gelb auf grün. Im vierten Anzeigemodus steuert die Steuereinrichtung 20 die Signalvorrichtung 22 derart an, dass mittels der Signalvorrichtung 22 eine Warnmeldung ausgegeben. Wird also beispielsweise nach dem Erfassen einer Geste des Nutzers, beispielsweise durch Gestikulieren mit seiner Hand, keine der vor- gegebenen Gesten erfasst, so kann die Leuchte der Signalvorrichtung 22 anstelle von gelb auf grün für eine vorgegebene Geste von gelb auf rot bei einer Fehlbedienung, also einer nicht vorgegebenen Geste, wechseln.
Beispielsweise kann die Signalvorrichtung 22 auch drei Leuchten umfassen, welche nebeneinander im Sichtfeld des Nutzers angeordnet sein können. Die erste Leuchte kann beispielsweise im ersten Anzeigemodus das Erfassungssignal ausgeben. Die zweite Leuchte kann im zweiten Anzeigemodus beispielsweise die optische Rückmeldung ausgeben. Durch die dritte Leuchte können im dritten und vierten Anzeigemodus ein Bestätigungssignal oder ein Warnsignal ausgegeben werden. Greift der Nutzer beispielsweise in den Erfassungsbereich 16 mit seiner Hand ein, so wird ihm das durch die erste Leuchte angezeigt (erster Anzeigemodus), welche in diesem Moment und solange sich der Nutzer in dem Erfassungsbereich 16 mit seiner Hand befindet, gelb leuchtet. Bewegt der Nutzer seine Hand weiter in den Bedienraum 26, so wird ihm das durch die zweite Leuchte angezeigt (zweiter Anzeigemodus), welche in diesem Moment und solange sich der Nutzer in dem Bedienraum 26 mit seiner Hand befindet, orange leuchtet. Führt der Nutzer anschließend eine Geste aus und wird diese als vorgegebene Geste erfasst, wird ihm das durch die dritte Leuchte signalisiert (dritter Anzeigemodus), welche beispielsweise grün leuchtet. Führt der Nutzer auf die vorgegebene Geste eine Fehlbedienung aus, so wird ihm das auch durch die dritte Leuchte signalisiert, indem die Farbe der Leuchte von grün auf rot wechselt (vierter Anzeigemodus). Verlässt der Nutzer mit seiner Hand den Bedienraum 26 und den Erfassungsbereich 24, so würden alle drei Leuchten nacheinander ausgehen.
Anstelle einer Leuchte und/oder eines Displays als Anzeigeeinrichtung kann die Signalvorrichtung 22 beispielsweise einen Lautsprecher umfassen. Dadurch können die Rückmeldung und/oder das Bestätigungssignal und/oder die Warnmeldung und/oder das Erkennungssignal als akustisches Signal ausgegeben werden.
Neben dem Signalisieren der jeweiligen Erfassungszustände, kann die Ausdehnung des Bedienraums 26, beispielsweise um den Nutzerkomfort zu steigern, mittels der Steuereinrichtung 20 angepasst beziehungsweise variiert werden. Die Anpassung des Bedienraums 26 ist in Fig. 2 schematisch durch die Pfeile um den Bedienraum 26 angedeutet. Der Bedienraum 26 kann nur soweit„ausgedehnt" werden, wie es die Systemgrenzen des Erfas- sungsbereichs - angedeutet durch die gestrichelten Linien - erlauben. Die Ausdehnung des Bedienraums 26 kann nicht über die Grenzen des Erfassungsbereichs 24 hinaus vergrößert werden.
Mittels des Bediensystems 14 und des erläuterten Verfahrens zum Betreiben des Bediensystems 14 wird also eine gestenbasierte Steuerung des Bediensystems 14 erheblich vereinfacht. Denn zum einen wird einem Nutzer eine optische und/oder akustische Rückmeldung gegeben, ob er beispielsweise sein Hand richtig positioniert hat, um überhaupt eine Gestenbedienung vornehmen zu können. Zum anderen wird dem Nutzer zudem noch eine opti- sehe und/oder akustische Rückmeldung gegeben, ob er mit seiner Hand gerade eine Geste ausgeführt hat, die seitens des Bediensystems 14 erkannt worden ist oder nicht.

Claims

PATENTANSPRÜCHE:
Bediensystem (14) für ein Kraftfahrzeug (10), umfassend:
eine Erfassungseinrichtung (16), welche dazu ausgebildet ist, zumindest ein Körperteil (18) zu erfassen, wenn dieses in einem Erfassungsbereich (24) der Erfassungseinrichtung (16) angeordnet ist;
eine Steuereinrichtung (20), welche dazu ausgebildet ist, eine Signalvorrichtung (22) des Bediensystems (14) zu steuern;
dadurch gekennzeichnet, dass
die Erfassungseinrichtung (16) dazu ausgebildet ist, zu überprüfen, ob das im Erfassungsbereich (24) erfasste Körperteil (18) sich in einem Bedienraum (26) befindet, welcher einen Teilbereich des Erfassungsbereichs (24) ausbildet;
die Steuereinrichtung (20) dazu ausgebildet ist, die Signalvorrich- tung(22) derart anzusteuern, dass mittels dieser außerhalb des Bedienraums (26) eine Rückmeldung ausgegeben wird, wenn durch die Erfassungseinrichtung (16) erfasst wird, dass sich das Körperteil (18) innerhalb des Bedienraums (26) befindet.
Bediensystem (14) nach Anspruch 1 ,
dadurch gekennzeichnet, dass
die Erfassungseinrichtung (16) ferner dazu ausgebildet ist, eine Geste in dem Bedienraum (26) zu erfassen und zu überprüfen, ob die erfasste Geste mit zumindest einer vorgegebenen Geste übereinstimmt.
Bediensystem (14) nach Anspruch 2,
dadurch gekennzeichnet, dass
die Steuereinrichtung (20) dazu ausgebildet ist, die Signalvorrichtung (22) derart anzusteuern, dass mittels der Signalvorrichtung (22) ein Bestätigungssignal ausgegeben wird, falls die erfasste Geste mit der zumindest einen vorgegebenen Geste übereinstimmt.
Bediensystem (14) nach Anspruch 2 oder 3,
dadurch gekennzeichnet, dass
die Steuereinrichtung (20) dazu ausgebildet ist, die Signalvorrichtung (22) derart anzusteuern, dass mittels der Signalvorrichtung (22) eine Warnmeldung ausgegeben wird, falls die erfasste Geste von der zumindest einen vorgegebenen Geste abweicht.
5. Bediensystem (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
die Steuereinrichtung (20) dazu ausgebildet ist, die Signalvorrichtung (22) derart anzusteuern, dass mittels der Signalvorrichtung (22) ein Erkennungssignal ausgegeben wird, falls mittels der Erfassungseinrichtung (16) erfasst wird, dass sich das Körperteil (18) zwar innerhalb des Erfassungsbereichs (24) aber außerhalb des Bedienraums (26) befindet. 6. Bediensystem (14) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Steuereinrichtung (20) dazu ausgebildet ist, die Ausdehnung des Bedienraums (26) in Abhängigkeit von zumindest einem vorgegebenen Kriterium zu verändern.
7. Bediensystem (14) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Erfassungseinrichtung (16) eine Kamera, insbesondere eine 2D- Kamera und/oder eine 3D-Kamera, umfasst.
8. Bediensystem (14) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
Signalvorrichtung (22) eine Anzeigeeinrichtung und/oder eine akustische Ausgabeeinrichtung umfasst.
9. Kraftfahrzeug (10) mit einem Bediensystem (14) nach einem der Ansprüche 1 bis 8.
10. Verfahren zum Betreiben eines Bediensystems (14) für ein Kraftfahrzeug (10), umfassend die Schritte:
Erfassen eines Körperteils (18) mittels einer Erfassungseinrichtung (16), wenn dieses in einem Erfassungsbereich (24) der Erfassungseinrichtung (16) angeordnet ist;
gekennzeichnet durch die Schritte:
- Überprüfen, ob sich das im Erfassungsbereich (24) erfasste Körperteil (18) in einem Bedienraum (26) befindet, welcher einen Teilbereich des Erfassungsbereichs (24) ausbildet;
Ansteuern einer Signalvorrichtung (22) des Bediensystems mittels einer Steuereinrichtung (20) derart, dass mittels der Signalvorrich- tung (22) außerhalb des Bedienraums (26) eine Rückmeldung ausgegeben wird, wenn durch die Erfassungseinrichtung (16) erfasst wird, dass sich das Körperteil (18) innerhalb des Bedienraums (26) befindet.
EP16722047.4A 2015-05-21 2016-04-15 Bediensystem und verfahren zum betreiben eines bediensystems für ein kraftfahrzeug Withdrawn EP3298475A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015006613.7A DE102015006613A1 (de) 2015-05-21 2015-05-21 Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug
PCT/EP2016/000617 WO2016184539A1 (de) 2015-05-21 2016-04-15 Bediensystem und verfahren zum betreiben eines bediensystems für ein kraftfahrzeug

Publications (1)

Publication Number Publication Date
EP3298475A1 true EP3298475A1 (de) 2018-03-28

Family

ID=55967203

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16722047.4A Withdrawn EP3298475A1 (de) 2015-05-21 2016-04-15 Bediensystem und verfahren zum betreiben eines bediensystems für ein kraftfahrzeug

Country Status (5)

Country Link
US (1) US10599226B2 (de)
EP (1) EP3298475A1 (de)
CN (1) CN107454948A (de)
DE (1) DE102015006613A1 (de)
WO (1) WO2016184539A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017201236B4 (de) * 2017-01-26 2023-09-07 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems, Bediensystem und Fahrzeug mit einem Bediensystem
KR102272309B1 (ko) 2019-03-15 2021-07-05 엘지전자 주식회사 차량 제어 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
DE10039432C1 (de) * 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
DE102012000263A1 (de) 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012216193B4 (de) 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
DE102012021220A1 (de) 2012-10-27 2014-04-30 Volkswagen Aktiengesellschaft Bedienanordnung für ein Kraftfahrzeug
DE102013000081B4 (de) 2013-01-08 2018-11-15 Audi Ag Bedienschnittstelle zum berührungslosen Auswählen einer Gerätefunktion
US20140267004A1 (en) * 2013-03-13 2014-09-18 Lsi Corporation User Adjustable Gesture Space
DE102013009567B4 (de) 2013-06-07 2015-06-18 Audi Ag Verfahren zum Betreiben einer Gestenerkennungseinrichtung sowie Kraftfahrzeug mit räumlich beschränkter Gestenerkennung
CN103303224B (zh) 2013-06-18 2015-04-15 桂林电子科技大学 车载设备手势控制系统及其使用方法
DE102013012466B4 (de) 2013-07-26 2019-11-07 Audi Ag Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
US9785243B2 (en) * 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
WO2015133057A1 (ja) * 2014-03-05 2015-09-11 株式会社デンソー 検知装置及びジェスチャ入力装置
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置

Also Published As

Publication number Publication date
CN107454948A (zh) 2017-12-08
US10599226B2 (en) 2020-03-24
US20180150141A1 (en) 2018-05-31
DE102015006613A1 (de) 2016-11-24
WO2016184539A1 (de) 2016-11-24

Similar Documents

Publication Publication Date Title
EP2673156B1 (de) Verfahren, vorrichtung und computerprogrammprodukt zum ansteuern einer funktionseinheit eines fahrzeugs
DE102017122866A1 (de) Parkunterstützungsvorrichtung
DE102012021249B4 (de) Verfahren zum Absichern eines Ausstiegsvorgangs einer Person aus einem Fahrzeug
WO2014206543A1 (de) Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs
DE102017216837A1 (de) Gestik- und Mimiksteuerung für ein Fahrzeug
DE102011054848B4 (de) Steuer- und Überwachungseinrichtung für Fahrzeuge
EP1830244A2 (de) Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
WO2014040930A1 (de) Verfahren und vorrichtung zur bedienung einer kraftfahrzeugkomponente mittels gesten
DE102005023697A1 (de) Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs
WO2019201382A1 (de) Verfahren, vorrichtung und fortbewegungsmittel für ein automatisiertes anfahren eines fortbewegungsmittels an einer lichtsignalanlage
DE102012022321A1 (de) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
EP3230828A1 (de) Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten
DE102017103391A1 (de) Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
EP3298475A1 (de) Bediensystem und verfahren zum betreiben eines bediensystems für ein kraftfahrzeug
DE102019206696A1 (de) Verfahren zur geführten Fahrzeugübergabe bei automatisiertem Valet Parken
DE102017204916A1 (de) Verfahren zum Durchführen eines automatischen Fahrvorgangs eines Kraftfahrzeugs unter Verwendung einer Fernbedienung
DE10307477A1 (de) Außenspiegelsteuerung
WO2021001258A1 (de) Vorrichtung und verfahren zur ermittlung von bilddaten der augen, augenpositionen oder einer blickrichtung eines fahrzeugnutzers
DE102016011016A1 (de) Verfahren zum Betrieb eines Assistenzsystems
DE102018208402A1 (de) Funktionsüberprüfungssystem
DE102016011141A1 (de) Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
DE102011080198A1 (de) Rückblickspiegel
WO2020224986A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit kamerabasierter bestimmung eines abstands zum kraftfahrzeug, sowie rangierassistenzsystem
DE10126238A1 (de) Vorrichtung und Verfahren zur Einstellung mindestens eines Rückspiegels
WO2014187905A2 (de) Verfahren zur bedienung eines schienenfahrzeugs und führerstand eines schienenfahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20171221

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: DI FRANCO, ONOFRIO

Inventor name: SPRICKMANN KERKERINCK, PAUL

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

17Q First examination report despatched

Effective date: 20190308

18W Application withdrawn

Effective date: 20190326