DE102012216181A1 - System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area - Google Patents

System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area Download PDF

Info

Publication number
DE102012216181A1
DE102012216181A1 DE201210216181 DE102012216181A DE102012216181A1 DE 102012216181 A1 DE102012216181 A1 DE 102012216181A1 DE 201210216181 DE201210216181 DE 201210216181 DE 102012216181 A DE102012216181 A DE 102012216181A DE 102012216181 A1 DE102012216181 A1 DE 102012216181A1
Authority
DE
Germany
Prior art keywords
gesture
area
adjustment
setting
seat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210216181
Other languages
German (de)
Inventor
Chadly Marouane
Christopher Rölle
Sonja Rümelin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE201210216181 priority Critical patent/DE102012216181A1/en
Publication of DE102012216181A1 publication Critical patent/DE102012216181A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0226User interfaces specially adapted for seat adjustment
    • B60N2/0228Hand-activated mechanical switches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0226User interfaces specially adapted for seat adjustment
    • B60N2/0239User interfaces specially adapted for seat adjustment using movement detection or gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0273Non-manual adjustments, e.g. with electrical operation with logic circuits taking into account user data, e.g. knee height or physical state
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10Field detection presence sensors
    • B60N2210/16Electromagnetic waves
    • B60N2210/22Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24Cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00Computerised treatment of data for controlling of seats
    • B60N2220/10Computerised treatment of data for controlling of seats using a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The system comprises a touch data storage unit (20) that stores the gesture data defining a set of predefined gestures. A gesture recognition unit (30) detects the recognized gesture based on the depth images and the stored gesture data, and determines a range in which the gesture is executed as a gesture area. A control rule memory unit (40) stores data for controllable settings of a vehicle seat (60), which allocates the gestures or the gesture area. A control unit (50) controls the setting of the seat associated with the recognized gesture and gesture area. An independent claim is included for a method for gesture-based adjustment of a vehicle seat by a user.

Description

Die vorliegende Erfindung betrifft ein System und ein Verfahren zur gestenbasierten Einstellung eines Fahrzeugsitzes.The present invention relates to a system and method for gesture-based adjustment of a vehicle seat.

Bekannte Fahrzeugsitze lassen sich auf verschiedene Weisen verstellen. So können mechanische Betätigungseinrichtungen vorgesehen sein, wie Arretierklinken, seitliche Handräder, Hebel mit Pumpbewegung, Handkurbeln oder ähnliches, um den Sitz zu verstellen. Diese Art der Verstellung bedingt es, dass ein Benutzer selbst eine gewisse Kraft aufbringen muss, um eine Verstellung vorzunehmen. Dies wird oft als lästig empfunden.Known vehicle seats can be adjusted in various ways. Thus, mechanical actuators may be provided, such as detent pawls, side handwheels, pump-action levers, hand cranks, or the like, to adjust the seat. This type of adjustment requires that a user himself must apply a certain amount of force to make an adjustment. This is often perceived as annoying.

Insbesondere bei höherpreisigen Fahrzeugsitzen ist es auch bekannt, dass einzelne oder alle Verstellmöglichkeiten eines Fahrzeugsitzes durch elektrische Tasten oder Schalter bedient werden können, wobei die Verstellung mittels elektromotorischer, hydraulischer oder pneumatischer Aktoren erfolgt. Die Tasten oder Schalter sind dabei meist seitlich am Sitz oder an der Seite der Mittelarmlehne angebracht.In particular, in the case of higher-priced vehicle seats, it is also known that individual or all adjustment possibilities of a vehicle seat can be operated by electric keys or switches, wherein the adjustment takes place by means of electromotive, hydraulic or pneumatic actuators. The keys or switches are usually mounted laterally on the seat or on the side of the center armrest.

Diese Art der Betätigung „durch Knopfdruck” wird gegenüber einer manuellen Betätigung meist als bequemer empfunden. Aber auch in diesem Fall kann das Verstellen als eine Herausforderung empfunden werden, da die Bedienelemente zumeist nicht in Sichtweite liegen und nicht intuitiv zu bedienen sind. So muss sich ein Benutzer entweder aktiv den Bedienelementen zuwenden, indem er seine oder ihre Körperposition ändert, oder muss durch Ertasten die richtige Taste finden, welche für die zu ändern gewünschte Einstellung vorgesehen ist. Dadurch bedingt kann es zu unerwünschten Fehlbedienungen und entsprechend unerwünschten Änderungen der Sitzeinstellung kommen, die der Benutzer wieder zu korrigieren hat.This type of operation "by pressing a button" is usually perceived as more comfortable compared to a manual operation. But even in this case, the adjustment can be perceived as a challenge, since the controls are usually not in sight and are not intuitive to use. Thus, a user must either actively turn to the controls by changing his or her body position, or by keying to find the correct key intended for the setting desired to be changed. As a result, it can lead to unwanted operating errors and corresponding undesirable changes in the seat adjustment, which the user has to correct again.

Die Anordnung der Bedienelemente zum Verstellen des Sitzes am Sitz selbst oder in dessen Nähe kann darüber hinaus besonders für körperlich beeinträchtigte Menschen eine große Herausforderung darstellen.The arrangement of the controls for adjusting the seat to the seat itself or in the vicinity can also be a great challenge especially for physically impaired people.

Die geschilderten Problematiken werden insbesondere dadurch weiter verstärkt, dass Fahrzeugsitze, insbesondere Komfortsitze für Luxusfahrzeuge, mit einer immer weiter zunehmenden Anzahl von Verstellmöglichkeiten ausgestattet werden, um einem Benutzer einen möglichst individuellen und guten Sitzkomfort zu bieten. So können Komfortsitze beispielsweise die Möglichkeit bieten, die Sitzposition in Längsrichtung, die Sitzlänge, die Sitzhöhe, die Sitzflächentiefe, die Sitzflächenneigung und die Rückenlehnenneigung zu verstellen, sowie die Höhe einer Lordosenstütze zu verstellen. Für jede der Verstellmöglichkeiten müssen entsprechende Taster oder Schalter vorgesehen werden, um sowohl ein Verstellen in die eine Richtung als auch in die andere Richtung zu erlauben. Dies macht es zunehmend schwieriger, den richtigen Taster oder Schalter zu identifizieren und zu finden, um die gewünschte Einstellung vorzunehmen.The described problems are further reinforced, in particular, by the fact that vehicle seats, in particular comfort seats for luxury vehicles, are equipped with an ever increasing number of adjustment options in order to offer a user the most individual and good sitting comfort possible. For example, comfort seats can provide the ability to adjust the longitudinal seating position, seat length, seat height, seat depth, seat tilt, and backrest tilt, as well as adjust the height of a lumbar support. For each of the adjustment options corresponding switches or switches must be provided to allow both an adjustment in one direction and in the other direction. This makes it increasingly difficult to identify and find the right button or switch to make the desired setting.

Insbesondere bei hochpreisigen Komfortsitzen ist es auch bekannt, eine Speicherfunktion vorzusehen, mit der eine einmal eingestellte Sitzposition abgespeichert werden kann, so dass sie zu einem späteren Zeitpunkt automatisch wiederhergestellt werden kann. So kann zum Beispiel ein Fahrzeugschlüssel dazu verwendet werden, einen Fahrer zu identifizieren, um mittels der für den Fahrer gespeicherten Sitzposition den Fahrersitz automatisch einzustellen. Wenn jedoch andere Personen das Fahrzeug benutzen möchten, für die keine Sitzposition gespeichert ist, oder wenn der Fahrer eine davon abweichende Sitzposition wünscht, etwa weil er oder sie im Winter dicke Kleidung trägt, so stellen sich auch hier die vorgenannten Probleme.In particular, with high-priced comfort seats, it is also known to provide a memory function, with a once set seating position can be stored so that it can be automatically restored at a later date. For example, a vehicle key may be used to identify a driver to automatically adjust the driver's seat using the driver's stored seat position. However, if other people want to use the vehicle for which no seating position is stored, or if the driver desires a different seating position, such as because he or she wears thick clothes in winter, so also face the aforementioned problems.

Im Dokument DE 10 2011 009 229 A1 wird vorgeschlagen, dass ein Insasse im Fond eines Fahrzeugs mittels einer Handgeste einen Beifahrersitz berührungslos nach vorne und nach hinten verschieben kann. Zum Erfassen der Geste wird ein Infrarotsensor verwendet, der auf der Rückseite der Lehne des Beifahrersitzes im Fahrzeug montiert ist. Während es dieser Vorschlag einem Fondpassagier leichter macht, einen davor befindlichen Beifahrersitz zu verstellen, kann der Beifahrer diese Einstellmöglichkeit nicht nutzen und ist weiter auf herkömmliche Weisen der Sitzeinstellung angewiesen, wobei sich auch hier wieder die vorgenannten Nachteile ergeben.In the document DE 10 2011 009 229 A1 It is proposed that an occupant in the rear of a vehicle by means of a hand gesture can move a front passenger seat forward and backward without contact. To detect the gesture, an infrared sensor is used, which is mounted on the back of the back of the passenger seat in the vehicle. While this proposal makes it easier for a rear passenger to adjust a passenger seat located in front of it, the passenger can not make use of this adjustment option and is still dependent on conventional ways of adjusting the seat, whereby again the aforementioned disadvantages arise.

In dem Dokument DE 10 2007 023 141 A1 wird vorgeschlagen, mittels einem Kamerasystem ein Bild eines Fahrers aufzunehmen, um dessen Körper zu vermessen und dessen Position zu bestimmen. Basierend auf dem Vermessungsergebnis wird der Sitz automatisch eingestellt, ohne dass der Fahrer tätig werden muss. Es wird in dem Dokument auch beschrieben, dass der Fahrer durch eine Handbewegung nach unten andeuten kann, dass sein Sitz niedriger eingestellt werden soll.In the document DE 10 2007 023 141 A1 It is proposed to take a picture of a driver by means of a camera system in order to measure its body and to determine its position. Based on the survey result, the seat is automatically adjusted without the driver having to take action. It is also described in the document that the driver can indicate by a hand movement down that his seat should be set lower.

Eine automatische Einstellung eines Fahrersitzes ist auch aus dem Dokument DE 10 2005 019 154 A1 bekannt, wobei zusätzlich die automatische Einstellung durch eine Geste, die von einem bildgebenden Sensor erkannt wird, begonnen, unterdrückt oder beendet werden kann.An automatic adjustment of a driver's seat is also from the document DE 10 2005 019 154 A1 In addition, wherein the automatic adjustment by a gesture that is detected by an imaging sensor, can be started, suppressed or stopped.

Eine automatische Sitzeinstellung basierend auf einem Vermessungsergebnis hat den Nachteil, dass das Ergebnis und die daraus resultierende Sitzeinstellung die persönlichen Vorlieben und Gewohnheiten eines Benutzers nicht berücksichtigt. Es wird daher häufig der Fall sein, dass der Benutzer die automatische Sitzeinstellung korrigieren möchte, um diese seinem oder ihrem persönlichem Empfinden anzupassen. Dies bedingt wiederum, dass eine entsprechende Anzahl von Einstellmöglichkeiten, wie Schaltern oder Tastern vorgesehen werden muss.An automatic seat adjustment based on a survey result has the disadvantage that the result and the resulting seat adjustment personal preferences and A user's habits are not taken into account. It will therefore often be the case that the user wants to correct the automatic seat adjustment to suit his or her personal feelings. This in turn requires that a corresponding number of settings, such as switches or buttons must be provided.

Hat der Benutzer die Möglichkeit, die Sitzhöhe durch eine Handgeste, wie einer Handgeste nach unten, einstellen zu können, wie in dem Dokument DE 10 2007 023 141 A1 genannt, so entfällt die Notwendigkeit, für die Einstellung der Sitzhöhe einen Taster oder Schalter vorzusehen. Das Dokument DE 10 2007 023 141 A1 erwähnt nicht, wie neben der Einstellung der Sitzhöhe mit anderen Einstellmöglichketen eines Sitzes verfahren werden soll. So könnten die weiteren Einstellmöglichkeiten weiter mittels beispielsweise elektrischer Taster oder Schalter gesteuert werden. In diesem Fall würden für diese Einstellmöglichkeiten weiter die vorgenannten Nachteile bestehen. Würde man in Erwägung ziehen, für jede Einstellmöglichkeit eines Sitzes jeweils zwei Handgesten zu definieren, um eine Einstellung sowohl in die eine Richtung als auch die andere Richtung vornehmen zu können, so würde dies dazu führen, dass eine sehr große Anzahl von Handgesten erforderlich wären. In diesem Fall würde sich ein Benutzer mit einer entsprechend sehr großen Anzahl an Gesten konfrontiert sehen, die er oder sie erlernen, erinnern und korrekt ausführen muss, um die gewünschte Einstellung vornehmen zu können. Werden Gesten nicht richtig erinnert oder gar verwechselt, so kann dies dazu führen, dass eine gewünschte Verstellung unterbleibt, weil die Geste nicht korrekt ausgeführt wurde, oder auf Grund der Verwechslung eine unerwünschte Verstellung erfolgt, was jeweils unbefriedigend wäre und die Akzeptanz eines Benutzers für diese Art der Steuerung vermindern könnte. Darüber hinaus würde die große Anzahl an Gesten, die zu unterscheiden sind, auch eine beträchtliche Herausforderung an die Systeme stellen, welche diese Gesten korrekt zu erkennen und voneinander zu unterscheiden hätten.The user has the ability to adjust the seat height by a hand gesture, such as a hand gesture down, as in the document DE 10 2007 023 141 A1 called, eliminating the need to provide a button or switch for adjusting the seat height. The document DE 10 2007 023 141 A1 does not mention how to proceed in addition to the adjustment of the seat height with other Einstellmöglichketen a seat. Thus, the other settings could be further controlled by means of, for example, electrical buttons or switches. In this case, the aforementioned disadvantages would continue to exist for these adjustment options. If one were to consider defining two hand gestures for each adjustment of a seat, in order to be able to adjust both in one direction and in the other direction, this would mean that a very large number of hand gestures would be required. In this case, a user would be confronted with a correspondingly large number of gestures, which he or she must learn, remember and execute correctly in order to be able to make the desired setting. Gestures are not remembered correctly or even confused, this can lead to a desired adjustment is omitted because the gesture was not executed correctly, or due to the confusion an undesirable adjustment is made, which would be unsatisfactory and the acceptance of a user for this Could reduce the type of control. Moreover, the large number of gestures to be distinguished would also pose a considerable challenge to the systems which would correctly recognize and distinguish these gestures.

Es ist eine Aufgabe der Erfindung, ein System und ein Verfahren bereitzustellen, das eine intuitive und bequeme Verstellung eines Fahrzeugsitzes erlaubt.It is an object of the invention to provide a system and method that allows intuitive and convenient adjustment of a vehicle seat.

Es ist eine weitere Aufgabe der Erfindung, ein System und ein Verfahren bereitzustellen, das eine schnelle und einfache Verstellung eines Fahrzeugsitzes erlaubt.It is a further object of the invention to provide a system and method that permits quick and easy adjustment of a vehicle seat.

Diese und andere Aufgaben der Erfindung werden gelöst mit einem System einem Verfahren zur gestenbasierten Einstellung eines Fahrzeugsitzes durch einen Benutzer wie in den unabhängigen Ansprüchen 1 und 14, sowie mit einem Fahrzeug wie in Anspruch 12 definiert. Weitere bevorzugte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen dargelegt.These and other objects of the invention are achieved with a system of a method for gesture-based adjustment of a vehicle seat by a user as in independent claims 1 and 14, as well as with a vehicle as defined in claim 12. Further preferred developments of the invention are set forth in the dependent claims.

In einem ersten Aspekt weist ein System zur gestenbasierten Einstellung eines Fahrzeugsitzes durch einen Benutzer zumindest eine Tiefenkamera zur Erfassung von Tiefenbildern für einen Gestenerfassungsbereich, der dem Fahrzeugsitz zugeordnet ist; eine Gestendatenspeichereinheit zum Speichern von Gestendaten, die eine Menge vordefinierter Gesten definieren; eine Gestenerkennungseinheit, zum Erkennen, basierend auf den Tiefenbildern und auf den gespeicherten Gestendaten, einer Geste als eine erkannten Geste, und zum Bestimmen eines Bereichs, in dem die erkannte Geste ausgeführt wird, als einen erkannten Gestenbereich; eine Steuerregelspeichereinheit, welche Daten speichert, die für eine Vielzahl steuerbarer Einstellungen des Fahrzeugsitzes jeweils zumindest eine der vordefinierten Gesten und zumindest einen Gestenbereich zuordnet; und eine Steuereinheit zur Steuerung der Einstellung des Fahrzeugsitzes, die der erkannten Geste und dem erkannten Gestenbereich zugeordnet sind, auf.In a first aspect, a system for gesture-based adjustment of a vehicle seat by a user includes at least one depth camera for acquiring depth images for a gesture-sensing area associated with the vehicle seat; a gesture data storage unit for storing gesture data defining a set of predefined gestures; a gesture recognition unit for recognizing, based on the depth images and the stored gesture data, a gesture as a recognized gesture, and for determining an area where the recognized gesture is performed as a recognized gesture area; a control rule storage unit that stores data that associates at least one of the predefined gestures and at least one gesture range for a plurality of controllable settings of the vehicle seat, respectively; and a vehicle seat adjustment control unit associated with the recognized gesture and the detected gesture area.

Ein und dieselbe Geste kann daher eine andere Bedeutung haben und zu einer anderen Einstellung führen, abhängig davon, wo innerhalb des Gestenerfassungsbereichs die Geste ausgeführt wird. Auf diese Weise kann die Anzahl an verschiedenen Gesten, wie Handbewegungen, die ein Benutzer erlernen und erinnern muss, deutlich reduziert werden. Es wird dadurch dem Benutzer leichter gemacht, das System durch Gesten zu steuern und die Wahrscheinlichkeit einer unerwünschten Fehlbedienung wird verringert.One and the same gesture may therefore have a different meaning and lead to a different setting, depending on where within the gesture detection area the gesture is executed. In this way, the number of different gestures, such as hand movements that a user must learn and remember, can be significantly reduced. It thereby makes it easier for the user to control the system by gestures and reduces the likelihood of unwanted misuse.

Vorzugsweise führt der Benutzer, der im Fahrzeugsitz sitzt, die Gesten in einem Bereich vor dem Oberkörper und/oder in einem angrenzenden Bereich auf oder über Kopfhöhe aus, oder über der Mittelkonsole. Der Gestenerfassungsbereich kann daher so ausgebildet sein, einen Bereich zwischen der Rückenlehne des Sitzes und dem Lenkrad, für einen Fahrersitz, bzw. dem Armaturenbrett, für einen Beifahrersitz, oder zwischen der Rückenlehne des zu verstellenden Sitzes und der Rückenlehne eines davor angeordneten Sitzes, für einen Rücksitz, zu erfassen.Preferably, the user sitting in the vehicle seat executes the gestures in an area in front of the upper body and / or in an adjacent area at or above head height, or above the center console. The gesture detection portion may therefore be formed so as to cover an area between the back of the seat and the steering wheel, for a driver's seat, for a passenger seat, or between the back of the seat to be adjusted and the seat back of a seat arranged in front thereof Back seat, to capture.

Vorzugsweise sind in dem Gestenerfassungsbereich zumindest ein oberer Gestenbereich und entlang einer vertikalen Achse darunter liegend ein unterer Gestenbereich definiert. Dadurch lassen sich Gesten jeweils auf für den Benutzer intuitive Weise der Einstellung von oberen Sitzabschnitten und unteren Sitzabschnitten zuweisen.Preferably, at least one upper gesture area is defined in the gesture detection area and a lower gesture area is defined below a vertical axis. This allows gestures to be assigned to the user, in an intuitive manner, to adjust upper and lower seating sections.

Die Gestenerkennungseinheit kann ferner eingerichtet sein, aus den Tiefenbildern eine Schulterhöhe des Benutzers zu erkennen und eine Ebene zu bestimmten, die im Wesentlichen auf der erkannten Schulterhöhe liegt. Damit kann der obere Gestenbereich so definiert sein, dass er oberhalb der bestimmten Ebene liegt, und der untere Gestenbereich so definiert sein, dass er unterhalb der bestimmten Ebene liegt. Auf diese Weise lässt sich erreichen, dass die Lage von oberem und unterem Gestenbereich für unterschiedlich große Benutzer und für sich ändernde Sitzhöhen jeweils in einer für den jeweiligen Benutzer leicht zu verstehenden und zu erkennenden Weise definiert sind.The gesture recognition unit can also be set up from the depth images Recognize shoulder height of the user and to determine a level that is essentially at the detected shoulder height. Thus, the upper gesture area may be defined to be above the particular level, and the lower gesture area may be defined to be below the particular level. In this way it can be achieved that the position of the upper and lower gesture areas are defined for users of different sizes and for changing seat heights, each in a way that is easy for the respective user to understand and recognize.

Es kann vorzugsweise weiter ein dritter Gestenbereich definiert sein, wobei eine Geste als in dem dritten Gestenbereich erkannt bestimmt wird, wenn die Geste über eine Grenze zwischen dem ersten und dem zweiten Gestenbereich hinweg ausgeführt erkannt wird. Auf diese Weise ist es möglich, eine selbe Geste zur Steuerung weiterer Gesten zu verwenden. So kann beispielsweise eine vertikale Geste im oberen Gestenbereich beginnen und sich über die Grenze in den unteren Gestenbereich hinein erstrecken.Preferably, a third gesture area may be further defined, wherein a gesture is determined to be recognized as being detected in the third gesture area when the gesture is detected to be executed across a boundary between the first and second gesture areas. In this way, it is possible to use a same gesture to control other gestures. For example, a vertical gesture may begin in the upper gesture area and extend beyond the boundary into the lower gesture area.

Vorzugsweise lassen sich folgende Einstellungen mit den folgenden Gesten und zugeordneten Gestenbereichen steuern:

  • – eine Einstellung der Sitzposition nach vorne, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach vorne und der untere Gestenbereich zugeordnet ist;
  • – eine Einstellung der Sitzposition nach hinten, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach hinten und der untere Gestenbereich zugeordnet ist;
  • – eine Einstellung der Rückenlehnenneigung nach vorne, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach vorne und der obere Gestenbereich zugeordnet ist;
  • – eine Einstellung der Rückenlehnenneigung nach hinten, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach hinten und der obere Gestenbereich zugeordnet ist;
  • – eine Einstellung der Sitzhöhe nach oben, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach oben und der dritte Gestenbereich zugeordnet ist;
  • – eine Einstellung der Sitzhöhe nach unten, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach unten und der dritte Gestenbereich zugeordnet ist;
  • – eine Einstellung der Sitzflächentiefe zu einer höheren Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach oben und der untere Gestenbereich zugeordnet ist;
  • – eine Einstellung der Sitzflächentiefe zu einer tieferen Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach unten und der untere Gestenbereich zugeordnet ist;
  • – eine Einstellung der Lordosenstütze zu einer höheren Position; wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach oben und der obere Gestenbereich zugeordnet ist; und
  • – eine Einstellung der Lordosenstütze zu einer niedrigeren Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach unten und der obere Gestenbereich zugeordnet ist.
Preferably, the following settings can be controlled with the following gestures and associated gesture areas:
  • - An adjustment of the seating position forward, with this setting is associated with a gesture of a hand movement of the open hand forward and the lower gesture area;
  • - An adjustment of the seat position to the rear, with this setting is associated with a gesture of a hand movement of the open hand to the rear and the lower gesture area;
  • - An adjustment of the backrest tilt forward, with this setting is associated with a gesture of a hand movement of the open hand forward and the upper gesture area;
  • - An adjustment of the backrest inclination to the rear, this setting is associated with a gesture of a hand movement of the open hand to the rear and the upper gesture area;
  • - An adjustment of the seat height upward, this setting is associated with a gesture of a hand movement of the open hand up and the third gesture area;
  • An adjustment of the seat height down, wherein this setting is associated with a gesture of a hand movement of the open hand down and the third gesture area;
  • An adjustment of the seat depth to a higher position, this setting being associated with a hand gesture of the open hand up and the lower gesture area;
  • An adjustment of the depth of the seat to a lower position, this setting being associated with a hand gesture of the open hand down and the lower gesture area;
  • - an adjustment of the lumbar support to a higher position; wherein this setting is associated with a hand gesture of the open hand up and the upper gesture area; and
  • - An adjustment of the lumbar support to a lower position, with this setting is associated with a gesture of a hand movement of the open hand down and the upper gesture area.

Auf diese Weise kann ein Benutzer mit einer geringen Anzahl von Gesten eine große Anzahl von Einstellungen eines Fahrzeugsitzes vornehmen, wobei die Zuordnung von Handbewegung und dem Bereich, in dem die Handbewegung auszuführen ist, zu der damit verknüpften Einstellung für den Benutzer leicht verständlich ist. Dies macht es einem Benutzer leichter, die Gesten zu erinnern und für eine gewünschte Einstellung die zugeordnete Geste im zugeordneten Gestenbereich korrekt zu tätigen. Die Gefahr von Fehlbedienungen wird dadurch vermindert.In this way, a user with a small number of gestures can make a large number of settings of a vehicle seat, with the assignment of hand movement and the range in which the hand movement is to be performed to the associated setting being easy to understand for the user. This makes it easier for a user to remember the gestures and properly make the assigned gesture in the associated gesture area for a desired setting. The risk of incorrect operation is thereby reduced.

In einer Weiterbildung kann die Menge vordefinierter Gesten eine Aktivierungsgeste umfassen, wobei die Steuereinheit die gestenbasierte Einstellung des Fahrzeugsitzes aktiviert, nachdem die Aktivierungsgeste erkannt wurde. Dies hat den Vorteil, dass eine unerwünschte Einstellung bzw. Verstellung des Fahrzeugsitzes vermieden werden kann.In a further development, the set of predefined gestures may include an activation gesture, wherein the control unit activates the gesture-based adjustment of the vehicle seat after the activation gesture has been detected. This has the advantage that an undesirable adjustment or adjustment of the vehicle seat can be avoided.

Vorzugsweise ist die Gestenerkennungseinheit weiter eingerichtet, eine Geschwindigkeit zu bestimmen, mit der die erkannte Geste ausgeführt wird; und wobei die Steuereinrichtung eingerichtet ist, die Einstellung so zu steuern, dass das Ausmaß der Einstellungsänderung der bestimmten Geschwindigkeit entspricht.Preferably, the gesture recognition unit is further configured to determine a speed at which the detected gesture is executed; and wherein the control means is arranged to control the setting such that the amount of adjustment change corresponds to the determined speed.

Der Benutzer kann auf diese Weise durch die Geschwindigkeit, mit der er oder sie die Geste ausführt, bestimmen, in welchem Ausmaß, mithin um wie viel eine Einstellung geändert werden soll. So kann er oder sie mit einer schnellen Bewegung eine große Verstellung, mit einer langsamen Bewegung eine kleine Verstellung der Einstellung veranlassen.In this way, the user can determine, by the speed with which he or she executes the gesture, to what extent, and thus by how much, a setting should be changed. So he or she can make a big adjustment with a quick movement, with a slow movement a small adjustment of the attitude.

Alternativ ist es auch möglich, dass die Gestenerkennungseinheit weiter eingerichtet ist, eine Geschwindigkeit zu bestimmen, mit der die erkannte Geste ausgeführt wird, wobei die Steuereinrichtung eingerichtet ist, wenn die bestimmte Geschwindigkeit über einem ersten vorbestimmten Schwellenwert liegt, die Einstellung nach Abschluss der Geste zu steuern gemäß dem Ausmaß der Einstellungsänderung entsprechend der bestimmten Geschwindigkeit, und, wenn die bestimmte Geschwindigkeit unter dem vorbestimmten Schwellenwert liegt, mit der Steuerung der Einstellung während des Ausführens der Geste zu beginnen und die Steuerung bis zum Abschluss der Geste fortzusetzen.Alternatively, it is also possible for the gesture recognition unit to be further configured to determine a speed with which the recognized gesture is executed, wherein the control unit is set up when the determined speed is above a first predetermined threshold value, the setting after completion of the gesture control according to the amount of attitude change according to the determined speed, and if the certain speed is below that predetermined threshold, to begin the control of the setting during the execution of the gesture and to continue the control until the completion of the gesture.

Auf diese Weise kann der Benutzer einen Einfluss darauf ausführen, wie der Vorgang der Verstellung erfolgt. Führt der Benutzer eine Geste mit einer Geschwindigkeit aus, die über dem Schwellwert liegt, so wird die Geschwindigkeit als Maß dafür verwendet, in welchem Ausmaß, mithin um wie viel eine Einstellung geändert werden soll. So kann er mit einer schnellen Bewegung eine große Verstellung, mit einer weniger schnellen Bewegung eine weniger große Verstellung der Einstellung veranlassen. Wenn erkannt wird, dass der Benutzer die Geste mit einer Geschwindigkeit ausführt, die geringer ist als der Schwellwert, beginnt die Steuereinheit während des Ausführens der Geste mit der Verstellung und führt diese solange aus, bis die Geste beendet wird. Dies geschieht vorzugsweise mit einer relativ kleinen Verstellgeschwindigkeit, die vorbestimmt sein kann oder wiederum von der erkannten Geschwindigkeit der Geste abhängt. Auf diese Weise erfährt der Benutzer eine direkte Rückmeldung, so dass er oder sie die Verstellung, als Ergebnis seines Steuerbefehls in Form der Geste, wahrnehmen, überwachen und darauf reagieren kann, um quasi entsprechend einem geschlossenen Regelkreis die gewünschte Einstellung vorzunehmen. Dies erlaubt auf einfache Weise eine sehr präzise Einstellung vorzunehmen.In this way, the user can influence how the process of adjustment occurs. If the user makes a gesture at a speed greater than the threshold, the speed is used as a measure of how much, and how much, a setting should change. Thus, with a quick movement, he can make a great adjustment, with a less rapid movement a less great adjustment of the attitude. If it is detected that the user is making the gesture at a speed that is less than the threshold, the control unit begins to execute the gesture during the execution of the gesture and executes it until the gesture is ended. This is preferably done with a relatively small adjustment speed, which may be predetermined or in turn depends on the detected speed of the gesture. In this way, the user experiences direct feedback so that he or she can perceive, monitor and respond to the adjustment as a result of his control command in the form of the gesture, so as to make the desired setting in a quasi-closed loop. This allows a simple way to make a very precise setting.

In einer bevorzugten Weiterbildung kann ein zweiter vorbestimmter Schwellenwert für die Geschwindigkeit der Geste von der Steuereinrichtung berücksichtigt werden, wobei eine Steuerung der Einstellung nicht erfolgt, wenn die Geschwindigkeit den zweiten Schwellenwert überschreitet.In a preferred embodiment, a second predetermined threshold for the speed of the gesture may be taken into account by the controller, with control of the adjustment not occurring when the speed exceeds the second threshold.

Damit kann eine weitere Verbesserung des Schutzes gegen ungewollte Fehlbedienung erreicht werden, indem sehr rasche und plötzliche Bewegungen, von denen zu vermuten ist, dass sie vom Benutzer nicht gewollt und zum Beispiel im Schreck gemacht werden, ignoriert und verworfen werden und nicht zu einer Verstellung des Fahrzeugsitzes führen.Thus, a further improvement of the protection against unwanted misuse can be achieved by very rapid and sudden movements, which are suspected that they are not wanted by the user and, for example, in fright, ignored and discarded and not to an adjustment of the Lead vehicle seat.

Vorzugsweise weist das System zwei Tiefenkameras auf, welche den Gestenerfassungsbereich aus unterschiedlichen Blickwinkeln erfassen.Preferably, the system has two depth cameras which detect the gesture detection area from different angles.

Durch die Verwendung mehrerer Tiefenkameras, die zudem den Gestenerfassungsbereich aus unterschiedlichen Blickwinkeln überwachen, kann eine robustere und zuverlässigere Erfassung von Gesten erreicht werden.By using multiple depth cameras that also monitor the gesture coverage area from different angles, a more robust and reliable capture of gestures can be achieved.

Vorzugsweise ist es auch möglich, dass eine Aktivierungsgeste vorgesehen ist. Die gestenbasierte Steuerung kann dabei von der Steuereinrichtung erst aktiviert werden, wenn erkannt wurde, dass ein Benutzer die Aktivierungsgeste ausgeführt hat.Preferably, it is also possible that an activation gesture is provided. The gesture-based control can be activated by the control device only when it has been detected that a user has carried out the activation gesture.

Es ist weiter möglich, dass die Steuereinrichtung eine optische, akustische und/oder haptische Signaleinheit des Fahrzeugs steuert, um dem Benutzer eine Rückmeldung zu geben zur Bestätigung der Erkennung der Aktivierungsgeste oder der erkannten Geste, oder zur Meldung, dass eine Geste nicht erkannt wurde, oder dass ein Ende des Einstellbereichs für die Einstellung erreicht wurde. So kann beispielsweise ein Laut ertönen, oder das Innenlicht des Fahrzeugs aufleuchten, um anzuzeigen, dass die gestenbasierte Fahrzeugsitzeinstellung aktiviert wurde. Der Benutzer erfährt so, dass von nun an getätigte Gesten eine Verstellung des Sitzes bewirken werden.It is further possible for the control device to control a visual, acoustic and / or haptic signal unit of the vehicle in order to give the user feedback for confirming the recognition of the activation gesture or the detected gesture or for the message that a gesture was not recognized, or that an adjustment adjustment range has been reached. For example, a sound may sound or the vehicle's interior light may illuminate to indicate that the gesture-based vehicle seat adjustment has been activated. The user learns so that from now on gestures will cause an adjustment of the seat.

In einem zweiten Aspekt weist ein Fahrzeug einen Fahrzeugsitz mit einer Vielzahl von Einstellmöglichkeiten und das System zur gestenbasierten Einstellung des Fahrzeugsitzes auf.In a second aspect, a vehicle includes a vehicle seat having a variety of adjustment options and the system for gesture-based adjustment of the vehicle seat.

Bevorzugt ist die Tiefenkamera am Dachhimmel des Fahrzeugs angeordnet.Preferably, the depth camera is arranged on the headliner of the vehicle.

In einem dritten Aspekt weist ein Verfahren zur gestenbasierten Einstellung eines Fahrzeugsitzes durch einen Benutzer die Schritte auf: Vorgeben einer Menge vordefinierter Gesten; Definieren eines Gestenerfassungsbereichs, der dem Fahrzeugsitz zugeordnet ist; für jede steuerbare Einstellung des Fahrzeugsitzes, Vorgeben einer Zuordnung von zumindest einer vordefinierten Geste und einem Bereichs innerhalb des Gestenerfassungsbereichs als einem Gestenbereich; Erfassen von Tiefenbildern für den Gestenerfassungsbereich durch zumindest eine Tiefenkamera; Erkennen, basierend auf den Tiefenbildern und auf den vordefinierten Gesten, einer Geste als eine erkannten Geste; Bestimmen des Bereichs, in dem die erkannte Geste ausgeführt wird, als einen erkannten Gestenbereich; und Steuern einer Einstellung des Fahrzeugsitzes, welche der erkannten Geste und dem erkannten Gestenbereich zugeordnet ist.In a third aspect, a method of gesture-based adjustment of a vehicle seat by a user comprises the steps of: predetermining a set of predefined gestures; Defining a gesture detection area associated with the vehicle seat; for each controllable adjustment of the vehicle seat, providing an association of at least one predefined gesture and an area within the gesture detection area as a gesture area; Capturing depth images for the gesture detection area by at least one depth camera; Recognize, based on the depth images and on the predefined gestures, a gesture as a recognized gesture; Determining the area in which the recognized gesture is executed as a recognized gesture area; and controlling a setting of the vehicle seat associated with the recognized gesture and the detected gesture area.

Vorzugsweise weist das Verfahren weiter die Schritte auf: Erkennen, aus den Tiefenbildern, einer Schulterhöhe des Benutzers; Bestimmen einer im Wesentlichen horizontalen Ebene, die im Wesentlichen auf der erkannten Schulterhöhe liegt; Definieren eines oberen Gestenbereichs oberhalb der bestimmten Ebene und eines unteren Gestenbereichs unterhalb der bestimmten Ebene; Bestimmen, dass eine Geste in einem dritten Gestenbereich erkannt wird, wenn die Geste über eine Grenze zwischen dem oberen und dem unteren Gestenbereich hinweg ausgeführt wird; Bestimmen einer Geschwindigkeit, mit der die erkannte Geste ausgeführt wird; Ausführen einer optischen, akustischen und/oder haptischen Rückmeldung für den Benutzer, um eine Bestätigung anzuzeigen, dass eine Geste erkannt wurde, oder zur Meldung, dass eine Geste nicht erkannt wurde, oder dass ein Ende des Einstellbereichs für die Einstellung erreicht wurde; und wobei das Steuern der Einstellung: wenn die bestimmte Geschwindigkeit über einem ersten vorbestimmten Schwellenwert liegt, nach Abschluss der Geste zu steuern mit einem Ausmaß der Einstellungsänderung, das der bestimmten Geschwindigkeit entspricht, und wenn die bestimmte Geschwindigkeit unter dem vorbestimmten Schwellenwert liegt, während des Ausführens der Geste beginnt und bis zum Abschluss der Geste fortgesetzt wird.Preferably, the method further comprises the steps of: detecting, from the depth images, a shoulder height of the user; Determining a substantially horizontal plane substantially at the detected shoulder height; Defining an upper gesture area above the determined level and a lower gesture area below the determined level; Determining that a gesture is detected in a third gesture area when the gesture is executed across a boundary between the upper and lower gesture areas; Determining a speed at which the detected gesture is executed; Performing an optical, audible and / or haptic feedback to the user for confirmation indicate that a gesture has been detected, or that a gesture has not been detected, or that an adjustment adjustment range has been reached; and wherein controlling the setting: when the determined speed is above a first predetermined threshold, after completion of the gesture, to control with an amount of adjustment change corresponding to the determined speed and when the determined speed is below the predetermined threshold during execution the gesture begins and continues until the gesture is completed.

Im Folgenden wird die Erfindung anhand von Beispielen unter Bezugnahme auf die folgenden Figuren näher erläutert.In the following the invention will be explained in more detail by means of examples with reference to the following figures.

1 zeigt schematisch ein Blockdiagramm eines Systems zur gestenbasierten Einstellung eines Fahrzeugsitzes durch einen Benutzer, gemäß einer Ausführungsform der Erfindung; 1 Fig. 12 schematically shows a block diagram of a system for gesture-based adjustment of a vehicle seat by a user, according to an embodiment of the invention;

2 stellt symbolisch einen Benutzer dar, der eine Geste zum Einstellen der Rückenlehne ausführt; 2 symbolically represents a user making a gesture for adjusting the backrest;

3 stellt symbolisch einen Benutzer dar, der eine Geste zum Einstellen der Sitzposition ausführt; 3 symbolically represents a user who makes a gesture to adjust the sitting position;

4 stellt symbolisch einen Benutzer dar, der eine Geste zum Einstellen der Sitzhöhe ausführt; und 4 symbolically represents a user making a seat height adjustment gesture; and

5 stellt beispielhaft die Anordnung von zwei Tiefenkameras in einem Fahrzeug gemäß einer weiteren bevorzugten Ausführungsform dar. 5 exemplifies the arrangement of two depth cameras in a vehicle according to another preferred embodiment.

Die 1 zeigt schematisch ein Blockdiagramm eines Systems zur gestenbasierten Einstellung eines Fahrzeugsitzes 60 durch einen Benutzer, gemäß einer Ausführungsform der Erfindung.The 1 schematically shows a block diagram of a system for gesture-based adjustment of a vehicle seat 60 by a user, according to an embodiment of the invention.

Wie in der 1 dargestellt, weist das System eine Tiefenkamera 10, eine Gestendatenspeichereinheit 20, eine Gestenerkennungseinheit 30, eine Steuerregelspeichereinheit 40 und eine Steuereinheit 50 auf.Like in the 1 shown, the system has a depth camera 10 , a gesture data storage unit 20 , a gesture recognition unit 30 , a control rule storage unit 40 and a control unit 50 on.

Die Tiefenkamera 10 ist im Fahrzeug so angeordnet, dass sie einen Bereich erfasst, in dem vorgesehen ist, dass ein Benutzer die Gesten ausführt, mit denen der Fahrzeugsitz 60 verstellt werden soll. Dieser Bereich kann insbesondere den Bereich vor dem Oberkörper des Benutzers, einen Bereich über der Mittelkonsole, oder einen darüber liegenden Bereich auf und über Kopfhöhe des Benutzers umfassen. Bevorzugt kann die Tiefenkamera 10 einen Bereich zwischen einer Rückenlehne des zu verstellenden Sitzes und einem Lenkrad, für einen Fahrersitz, oder einem Armaturenbrett, für einen Beifahrersitz, erfassen. Für einen Rücksitz kann die Tiefenkamera 10 einen Bereich zwischen der Rückenlehne eines Rücksitzes und einer Rückenlehne des davor angeordneten Sitzes erfassen. Die Tiefenkamera 10 kann bevorzugt auch einen Bereich seitlich bis zur Mittelkonsole erfassen, sowie in der Höhe bis auf eine Höhe von zumindest im Wesentlichen einer Handbreit über dem Kopf. Auf diese Weise kann ein Gestenerfassungsbereich definiert sein, innerhalb dem die Tiefenkamera 10 Gesten aufnehmen kann, die von einem Benutzer, der auf dem Fahrzeugsitz 60 sitzt, ausgeführt werden.The depth camera 10 is arranged in the vehicle to detect an area in which it is provided that a user performs the gestures with which the vehicle seat 60 should be adjusted. In particular, this area may comprise the area in front of the upper body of the user, an area above the center console, or an area above and at the head height of the user. Preferably, the depth camera 10 detect a region between a backrest of the seat to be adjusted and a steering wheel, for a driver's seat, or a dashboard, for a passenger's seat. For a back seat, the depth camera can 10 to detect an area between the backrest of a rear seat and a backrest of the front seat. The depth camera 10 may preferably also detect an area laterally to the center console, as well as in height up to a height of at least substantially a hand's breadth above the head. In this way, a gesture detection area can be defined within which the depth camera 10 Gestures can be recorded by a user sitting on the vehicle seat 60 is sitting, running.

Die Tiefenkamera 10 kann 3D Bilddaten in Form einer Tiefenkarte bereitstellen. Zu diesem Zweck kann die Tiefenkamera 10 mit einer Quelle für moduliertes und/oder strukturiertes Licht, insbesondere Infrarotlicht, ausgestattet sein, welche den überwachten Bereich beleuchtet. Bei der Verwendung modulierten Lichts kann die Laufzeit zwischen Aussenden und Empfangen des Lichts, englisch: „Time-of-Flight” ausgewertet werden, um die gewünschte Tiefeninformation zu ermitteln. Alternativ oder ergänzend kann strukturiertes Licht verwendet werden, bei dem das Licht in Form eines Musters, etwa eines Rasters, eines Lichtstreifens oder einer definierten Punktmatrix, ausgesendet wird, wobei aus den reflektierten und erfassten Werten die gewünschte Tiefeninformation trianguliert werden kann. Die Fähigkeit einer Tiefenkamera, eine Tiefenkarte bereitzustellen, erlaubt eine einfache und direkte Tiefenbildsegmentierung, um Personen und deren Gliedmaße und Bewegungen zu erkennen. Darüber hinaus erlaubt es eine Tiefenkamera, eine sehr präzise Bestimmung des Ortes oder Raumbereiches zu machen, in dem sich beispielsweise einer Hand befindet oder bewegt.The depth camera 10 can provide 3D image data in the form of a depth map. For this purpose, the depth camera 10 be equipped with a source of modulated and / or structured light, in particular infrared light, which illuminates the monitored area. When using modulated light, the transit time between sending and receiving the light, English: "Time-of-Flight" are evaluated to determine the desired depth information. Alternatively or additionally, structured light can be used, in which the light is emitted in the form of a pattern, such as a grid, a light stripe or a defined dot matrix, wherein the desired depth information can be triangulated from the reflected and detected values. The ability of a depth camera to provide a depth map allows for simple and direct depth image segmentation to detect individuals and their limbs and movements. In addition, a depth camera makes it possible to make a very precise determination of the location or area in which, for example, a hand is moving or moving.

Als Tiefenkamera 10 kann auch ein Stereokamerasystem verwendet werden.As a depth camera 10 You can also use a stereo camera system.

Die von der Tiefenkamera 10 oder den Tiefenkameras 10 erfassten Tiefenbilder werden der Gestenerkennungseinheit 30 zugeführt. Die Gestenerkennungseinheit 30 führt eine Verarbeitung der Tiefenbilder durch, um in den Tiefenbildern Positionen und/oder Bewegungen des Körpers, des Oberkörpers, des Kopfes, von Armen und/oder Händen eines Benutzers zu identifizieren.The one from the depth camera 10 or the depth cameras 10 Captured depth images become the gesture recognition unit 30 fed. The gesture recognition unit 30 performs processing of the depth images to identify positions and / or movements of the body, upper body, head, arms and / or hands of a user in the depth images.

Die Gestenerkennungseinheit 30 kann auf Gestendaten zugreifen, die in der Gestendatenspeichereinheit 20 gespeichert sind und die eine Menge vordefinierter Gesten beschreiben. Die Gestenerkennungseinheit 30 kann basierend auf den Gestendaten erkennen, ob aus den Tiefenbildern gewonnene Information über Positionen und/oder Bewegungen des Körpers, des Oberkörpers, des Kopfes, von Armen und/oder Händen erkennen lässt, dass der Benutzer eine Geste ausführt, die einer der vordefinierten Gesten entspricht. Falls dies der Fall ist, wird die vom Benutzer ausgeführte Geste als eine erkannte Geste bestimmt.The gesture recognition unit 30 can access gesture data stored in the Gesture Data Storage Unit 20 are stored and describe a set of predefined gestures. The gesture recognition unit 30 can recognize, based on the gesture data, whether information obtained from the depth images reveals positions and / or movements of the body, the upper body, the head, arms and / or hands, that the User performs a gesture that corresponds to one of the predefined gestures. If so, the user-executed gesture is determined to be a recognized gesture.

Aus den Tiefenbilddaten kann die Gestenerkennungseinheit 30 weiter bestimmen, in welchem Raumbereich bzw. Gestenbereich die erkannte Geste ausgeführt wird, um einen erkannten Gestenbereich zu bestimmen.From the depth image data, the gesture recognition unit 30 further determine in which room area or gesture area the detected gesture is executed to determine a recognized gesture area.

Die Information über die erkannte Geste und den erkannten Gestenbereich dienen der Steuereinheit 50 dazu, zu Bestimmen, welche Einstellung des Fahrzeugsitzes 60 zu steuern ist. Hierzu greift die Steuereinheit 50 auf die Steuerregelspeichereinheit 40, in welcher Daten gespeichert sind, die für eine Vielzahl steuerbarer Einstellungen des Fahrzeugsitzes 60 jeweils zumindest eine der vordefinierten Gesten und zumindest einen Gestenbereich zuordnet. So kann in der Steuerregelspeichereinheit 40 beispielsweise die Regel gespeichert sein, dass einer Einstellung der Rückenlehne des Fahrzeugsitzes 60 nach vorne eine Handbewegung mit der offenen Hand nach vorne als Geste und ein oberer Gestenbereich, beispielsweise ein Bereich oberhalb der Schulterlinie des Benutzers zugeordnet ist. Basierend darauf steuert die Steuereinheit 50 die entsprechende Einstellung des Fahrzeugsitzes 60.The information about the recognized gesture and the recognized gesture area are used by the control unit 50 to determine what adjustment of the vehicle seat 60 is to control. For this purpose, the control unit engages 50 to the control rule storage unit 40 in which data is stored which is suitable for a plurality of controllable settings of the vehicle seat 60 each assigns at least one of the predefined gestures and at least one gesture area. So can in the control rule storage unit 40 For example, the rule to be stored that an adjustment of the backrest of the vehicle seat 60 forward is associated with a hand gesture with the open hand forward as a gesture and an upper gesture area, for example, an area above the user's shoulder line. Based on it, the control unit controls 50 the appropriate setting of the vehicle seat 60 ,

Die Verstellung des Fahrzeugsitzes 60 kann durch bekannte elektrische, elektromotorische, hydraulische oder pneumatische Aktuatoren 65 erfolgen, welche durch Steuersignale von der Steuereinrichtung 50 durch elektrische Steuersignale angesteuert werden.The adjustment of the vehicle seat 60 can by known electric, electromotive, hydraulic or pneumatic actuators 65 carried out, which by control signals from the control device 50 be controlled by electrical control signals.

Die Zuordnung von Einstellungen zu Gesten und Gestenbereichen kann vom Fahrzeughersteller fest vorgegeben sein. Vorzugsweise kann ein Benutzer die Zuordnung durch eine entsprechende Programmierung selbst festlegen.The assignment of settings to gestures and gesture areas may be fixed by the vehicle manufacturer. Preferably, a user can specify the assignment by programming himself.

Mit Bezug auf die 2 und die 3 soll nun die Arbeitsweise des Systems beispielhaft erläutert werden.With reference to the 2 and the 3 The method of operation of the system will now be exemplified.

In der 2 ist ein Benutzer dargestellt, der eine Rückenlehne einstellen möchte. Der Benutzer führt in diesem Beispiel zu diesem Zweck über seiner Schulter eine Handbewegung mit der offenen Hand in Richtung nach vorne oder nach hinten aus, um die Rückenlehne entsprechend nach vorne oder nach hinten zu verstellen. Diese Geste, die offene Hand nach vorne bzw. nach hinten zu bewegen, wird von der Gestenerkennungseinheit 30 nach einem Abgleich mit den Daten der vordefinierten Gesten als erkannte Geste bestimmt.In the 2 is a user who wants to set a backrest. For this purpose, the user performs a hand movement with his open hand in the direction of forward or backward over his shoulder in this example for this purpose, to adjust the backrest forward or backward accordingly. This gesture of moving the open hand forward or backward is by the gesture recognition unit 30 after a comparison with the data of the predefined gestures as a detected gesture.

Der Gestenerfassungsbereich ist in dem Beispiel der 2 in einen oberen Gestenbereich 70 und einen unteren Gestenbereich 80 unterteilt, die vertikal übereinander angeordnet sind. Die Gestenerkennungseinheit 30 kann daher im Fall der 2 bestimmen, dass die Geste in einem oberen Gestenbereich ausgeführt wird und entsprechend den oberen Gestenbereich als den erkannten Gestenbereich bestimmen.The gesture detection area is in the example of 2 in an upper gesture area 70 and a lower gesture area 80 divided, which are arranged vertically one above the other. The gesture recognition unit 30 can therefore in the case of 2 determine that the gesture is performed in an upper gesture area and, accordingly, determine the upper gesture area as the recognized gesture area.

In diesem Beispiel können in der Speicherregeleinheit 40 für die Einstellung der Rückenlehne nach vorn die Bewegung der offenen Hand nach vorn und der obere Gestenbereich zugeordnet sein, sowie für die Einstellung der Rückenlehne nach hinten die Bewegung der offenen Hand nach hinten und der obere Gestenbereich zugeordnet sein. Entsprechend der erkannten Geste und dem erkannten Gestenbereich wird daher von der Steuereinrichtung 50 die entsprechend zugeordnete Einstellung gesteuert und die Rückenlehne nach vorn bzw. nach hinten verstellt.In this example, in the storage rule unit 40 for the adjustment of the backrest forward the movement of the open hand forward and the upper gesture area are assigned, as well as for the adjustment of the backrest to the rear the movement of the open hand to the rear and the upper gesture area to be assigned. According to the recognized gesture and the recognized gesture area is therefore by the controller 50 controlled the corresponding assigned setting and the backrest moved forward or backward.

In der 3 wünscht der Benutzer, die Position des Fahrzeugsitzes 60 entlang der Längsachse des Fahrzeugs nach vorne oder nach hinten zu verstellen. Er oder sie führt dazu wieder die Geste der Bewegung der offenen Hand nach vorne bzw. nach hinten aus, wobei die Geste in diesem Fall in dem unteren Gestenbereich 80 ausgeführt wird. Entsprechend den Informationen über die erkannte Geste, den erkannten Gestenbereich und basierend auf den Daten des Steuerregelspeichers 40 steuert daher die Steuereinheit 50 die Einstellung der Sitzposition nach vorne bzw. hinten.In the 3 the user wants the position of the vehicle seat 60 to move forwards or backwards along the longitudinal axis of the vehicle. He or she again performs the gesture of moving the open hand forward or backward, with the gesture in this case in the lower gesture area 80 is performed. According to the information about the recognized gesture, the recognized gesture area, and based on the data of the control rule memory 40 therefore controls the control unit 50 the adjustment of the seat position forward or backward.

Wie die 2 und 3 zeigen kann eine gleiche Geste eine unterschiedliche Bedeutung annehmen, abhängig davon, in welchem Gestenbereich sie ausgeführt wird. Der Benutzer muss daher nur eine Geste erlernen, erinnern und korrekt ausführen, um sowohl die Rückenlehne als auch die Sitzposition zum Beispiel nach vorne verstellen zu können.As the 2 and 3 A similar gesture can take on a different meaning, depending on which gesture area it is executed in. The user therefore only has to learn, remember and correctly execute a gesture in order to be able to adjust both the backrest and the sitting position forward, for example.

Wie in den 2 und 3 gezeigt, kann die Grenze zwischen unterem und oberem Gestenbereich 70, 80 auf Höhe einer Schulterlinie des Benutzers sein. Da Menschen sehr unterschiedliche Körpergrößen aufweisen können und da sich auf Grund ihrer Verstellbarkeit die Sitzhöhe deutlich ändern kann, ist es bevorzugt, dass das System die Schulterlinie aus den erfassten Tiefenbildern erkennt, um dadurch die Lage der Gestenbereiche zu definieren. Auf diese Weise kann eine für jeden Benutzer leicht verständliche und intuitive Bedienung erzielt werden, da sich jeder Nutzer nur an sich selbst zu orientieren braucht, ohne die Ausführung von Gesten abhängig von zum Beispiel der aktuellen Sitzhöhe machen zu müssen. Der Bezug auf eine Schulterlinie ist dabei lediglich beispielhaft und nicht beschränkend, und es können auch andere Bezugspunkte gewählt werden, wie zum Beispiel die Mitte des Kopfes und so weiter.As in the 2 and 3 shown, the border between lower and upper gesture area 70 . 80 be at the height of a user's shoulder line. Since people can have very different body sizes, and because the seat height can change significantly due to their adjustability, it is preferred that the system recognize the shoulder line from the acquired depth images to thereby define the location of the gesture areas. In this way, an easy-to-understand and intuitive operation can be achieved for each user, since each user only needs to orient himself to himself, without having to make the execution of gestures depending on, for example, the current seat height. The reference to a shoulder line is merely exemplary and not restricting, and other reference points can be selected, such as the center of the head and so on.

In den 2 und 3 sind der obere Gestenbereich 70 und der untere Gestenbereich 80 als zwei getrennte, aneinander angrenzende Raumbereiche definiert, die innerhalb des Gestenerfassungsbereichs ausgebildet sind. Dies ist nicht beschränkend, und es können auch mehr als zwei getrennte Raumbereiche als Gestenbereiche definiert sein.In the 2 and 3 are the upper gesture area 70 and the lower gesture area 80 defines two separate contiguous space areas formed within the gesture detection area. This is not limiting, and more than two separate space areas may be defined as gesture areas.

Auch kann es einen Abstand zwischen zwei benachbarten Gestenbereichen geben, der eine Art „Totraum” darstellt und nicht als Gestenbereich behandelt wird. Dies mag vorteilhaft sein, um einen besseren Schutz davor zu haben, dass ein Benutzer eine Geste so ausführt, dass diese fälschlich einem anderen Gestenbereich zugeordnet wird.Also, there may be a gap between two adjacent gesture areas, which is a kind of "dead space" and is not treated as a gesture area. This may be advantageous for better protection against a user making a gesture that is mistakenly associated with another gesture area.

Es ist auch möglich, dass zwei oder mehr Gestenbereiche sich teilweise überlappen. Zur Unterscheidung, ob eine Geste in dem einen oder dem anderen Gestenbereich ausgeführt wird, kann dabei zum Beispiel die Bewertung eines Schwerpunkts der Hand herangezogen werden.It is also possible that two or more gesture areas partially overlap. In order to distinguish whether a gesture is carried out in one or the other gesture area, the evaluation of a center of gravity of the hand can be used, for example.

Darüber hinaus ist es auch möglich, einen Gestenbereich nicht nur allein als einen Raumbereich zu definieren, sondern auch als eine Art „logischen” oder „virtuellen” Gestenbereich, basierend darauf, ob ein bestimmtes Ereignis erkannt wird, gegebenenfalls verknüpft mit einem oder mit zwei anderen Gestenbereichen. Dies soll mit Bezug auf die 4 an einem Beispiel erläutert werden.Moreover, it is also possible to define a gesture area not only as a room area alone, but also as a kind of "logical" or "virtual" gesture area, based on whether a particular event is detected, possibly linked to one or two others gesture areas. This should be with reference to the 4 will be explained with an example.

Die 4 zeigt den oberen Gestenbereich 70 und den unteren Gestenbereich 80. Zudem ist ein dritter Gestenbereich definiert, derart, dass eine Geste dem dritten Gestenbereich zugeordnet wird, wenn sie über die Grenze zwischen dem oberen und dem unteren Gestenbereich 70, 80 hinweg ausgeführt wird.The 4 shows the upper gesture area 70 and the lower gesture area 80 , In addition, a third gesture area is defined such that a gesture is assigned to the third gesture area when crossing the border between the upper and lower gesture areas 70 . 80 is carried away.

Im Beispiel der 4 wünscht ein Benutzer, die Sitzhöhe zu verstellen. Dazu führt er eine Bewegung der offenen Hand nach oben bzw. nach unten aus, wobei die Bewegung sich über die Grenze zwischen unterem und oberen Gestenbereich 70, 80 hinweg erstreckt. Die Gestenerkennungseinheit 30 bestimmt daher in diesem Beispiel, dass die Geste dem dritten Gestenbereich zuzuordnen ist. Basierend auf der erkannten Geste und dem erkannten dritten Gestenbereich nimmt die Steuereinrichtung 50 daher eine Verstellung der Sitzhöhe vor.In the example of 4 wishes a user to adjust the seat height. To do this, he performs a movement of the open hand up or down, whereby the movement over the border between the lower and upper gesture area 70 . 80 extends. The gesture recognition unit 30 Therefore, in this example, determines that the gesture belongs to the third gesture area. Based on the detected gesture and the recognized third gesture area, the controller takes 50 therefore an adjustment of the seat height before.

Die 5 zeigt ein Beispiel eines Fahrzeugs, in dem zwei Tiefenkameras 10 am Dachhimmel des Fahrzeugs angeordnet sind, um aus unterschiedlichen Richtungen den Bereich des Fahrzeugsitzes 60 zu erfassen. Da die Positionen und Blickrichtungen der zwei Tiefenkameras 10 zueinander bekannt sind, können die Tiefenbilder, die von den beiden Tiefenkameras 10 erfasst werden, zusammengeführt werden in eine einheitliche 3D Darstellung des Gestenerfassungsbereichs. Dadurch kann eine robustere und genauere Erfassung erzielt werden.The 5 shows an example of a vehicle in which two depth cameras 10 are arranged on the headliner of the vehicle to the area of the vehicle seat from different directions 60 capture. Because the positions and gaze directions of the two depth cameras 10 are known to each other, the depth images taken by the two depth cameras 10 be merged into a uniform 3D representation of the gesture detection area. This allows for a more robust and accurate detection.

In einer Ausführungsform kann die Gestenerkennungseinheit 30 auch eine Geschwindigkeit zu bestimmen, mit der ein Benutzer die Geste ausführt, wie zum Beispiel die Geschwindigkeit, mit der der Benutzer die offene Hand nach vorne führt. Die so ermittelte Geschwindigkeit kann von der Steuereinrichtung 50 mit einem ersten vorbestimmten Schwellwert verglichen werden, um abhängig davon die Steuerung unterschiedlich auszuführen. So kann die Steuereinrichtung 50 beispielsweise bei einer schnellen Geste, deren Geschwindigkeit über dem ersten vorbestimmten Schwellwert liegt, die Geschwindigkeit als ein Maß interpretieren, das anzeigend ist, zu welchem Ausmaß eine Einstellung verstellt werden soll. So können große Geschwindigkeiten zu einer großen Verstellung und kleinere Geschwindigkeiten zu einer kleineren Verstellung führen. Liegt die Geschwindigkeit unter dem vorbestimmten Schwellenwert, dann mag die Steuereinrichtung mit der Steuerung der Einstellung während des Ausführens der Geste beginnen und die Steuerung fortsetzen, bis die Geste beendet wird. Auf diese Weise können sowohl große Verstellungen rasch als auch kleine oder größere Verstellungen präzise vorgenommen werden.In an embodiment, the gesture recognition unit 30 Also determine a speed at which a user performs the gesture, such as the speed with which the user guides the open hand forward. The speed determined in this way can be determined by the control device 50 be compared with a first predetermined threshold to run differently depending on the control. So the control device 50 for example, in a fast gesture whose speed is above the first predetermined threshold, interpret the speed as a measure indicative of the extent to which adjustment should be adjusted. Thus, high speeds can lead to a large adjustment and lower speeds to a smaller adjustment. If the speed is below the predetermined threshold, then the controller may begin to control the adjustment during the execution of the gesture and continue the control until the gesture is terminated. In this way, both large adjustments quickly and small or larger adjustments can be made precisely.

In der vorstehenden Beschreibung wurden zur Erläuterung verschiedene Beispiele von möglichen Gesten, Gestenbereichen, Einstellungen sowie Zuordnungen zwischen diesen beschrieben. Diese Beispiele sind jedoch nicht beschränkend und es können viele andere Gesten, Gestenbereiche, Einstellungen sowie Zuordnungen zwischen diesen erdacht werden, um Einstellungen eines Fahrzeugsitzes zu steuern.In the foregoing description, various examples of possible gestures, gesture areas, settings, and associations between them have been described by way of illustration. However, these examples are not limiting and many other gestures, gesture ranges, settings, and associations between them may be devised to control vehicle seat settings.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102011009229 A1 [0008] DE 102011009229 A1 [0008]
  • DE 102007023141 A1 [0009, 0012, 0012] DE 102007023141 A1 [0009, 0012, 0012]
  • DE 102005019154 A1 [0010] DE 102005019154 A1 [0010]

Claims (15)

System zur gestenbasierten Einstellung eines Fahrzeugsitzes (60) durch einen Benutzer, aufweisend: zumindest eine Tiefenkamera (10) zur Erfassung von Tiefenbildern für einen Gestenerfassungsbereich, der dem Fahrzeugsitz (60) zugeordnet ist; eine Gestendatenspeichereinheit (20) zum Speichern von Gestendaten, die eine Menge vordefinierter Gesten definieren; eine Gestenerkennungseinheit (30) zum Erkennen, basierend auf den Tiefenbildern und auf den gespeicherten Gestendaten, einer Geste als eine erkannten Geste, und zum Bestimmen eines Bereichs, in dem die erkannte Geste ausgeführt wird, als einen erkannten Gestenbereich; eine Steuerregelspeichereinheit (40), welche Daten speichert, die für eine Vielzahl steuerbarer Einstellungen des Fahrzeugsitzes (60) jeweils zumindest eine der vordefinierten Gesten und zumindest einen Gestenbereich zuordnet; und eine Steuereinheit (50) zur Steuerung der Einstellung des Fahrzeugsitzes (60), die der erkannten Geste und dem erkannten Gestenbereich zugeordnet sind.System for gesture-based adjustment of a vehicle seat ( 60 by a user, comprising: at least one depth camera ( 10 ) for capturing depth images for a gesture detection area that is adjacent to the vehicle seat ( 60 ) assigned; a gesture data storage unit ( 20 ) for storing gesture data defining a set of predefined gestures; a gesture recognition unit ( 30 ) for recognizing, based on the depth images and the stored gesture data, a gesture as a recognized gesture, and for determining an area in which the recognized gesture is executed as a recognized gesture area; a control rule storage unit ( 40 ), which stores data that is suitable for a plurality of controllable settings of the vehicle seat ( 60 ) each assigns at least one of the predefined gestures and at least one gesture area; and a control unit ( 50 ) for controlling the adjustment of the vehicle seat ( 60 ) associated with the recognized gesture and the recognized gesture area. System nach Anspruch 1, wobei der Gestenerfassungsbereich zumindest einen ersten Gestenbereich und einen zweiten Gestenbereich aufweist, wobei der erste Gestenbereich als ein oberer Gestenbereich innerhalb des Gestenerfassungsbereichs vertikal über dem zweiten Gestenbereich als einem unteren Gestenbereich definiert ist.The system of claim 1, wherein the gesture detection area comprises at least a first gesture area and a second gesture area, wherein the first gesture area is defined as an upper gesture area within the gesture detection area vertically above the second gesture area as a lower gesture area. System nach Anspruch 2, wobei die Gestenerkennungseinheit (30) ferner eingerichtet ist, aus den Tiefenbildern eine Schulterhöhe des Benutzers zu erkennen und eine Ebene zu bestimmten, die im Wesentlichen auf der erkannten Schulterhöhe liegt; und wobei der obere Gestenbereich so definiert ist, dass er oberhalb der bestimmten Ebene liegt, und der untere Gestenbereich so definiert ist, dass er unterhalb der bestimmten Ebene liegt.The system of claim 2, wherein the gesture recognition unit ( 30 ) is further configured to recognize from the depth images a shoulder height of the user and to determine a plane substantially at the detected shoulder height; and wherein the upper gesture area is defined to be above the determined level, and the lower gesture area is defined to be below the determined level. System nach einem der Ansprüche 2 bis 3, wobei ein dritter Gestenbereich definiert ist, und wobei eine Geste als in dem dritten Gestenbereich erkannt bestimmt wird, wenn die Geste über eine Grenze zwischen dem ersten und dem zweiten Gestenbereich hinweg ausgeführt erkannt wird.The system of any one of claims 2 to 3, wherein a third gesture area is defined, and wherein a gesture is determined to be detected in the third gesture area if the gesture is detected to be performed across a boundary between the first and second gesture areas. System nach einem der Ansprüche 2 bis 4, wobei die Einstellung zumindest eines umfasst von: einer Einstellung der Sitzposition nach vorne, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach vorne und der untere Gestenbereich zugeordnet ist; einer Einstellung der Sitzposition nach hinten, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach hinten und der untere Gestenbereich zugeordnet ist; einer Einstellung der Rückenlehnenneigung nach vorne, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach vorne und der obere Gestenbereich zugeordnet ist; einer Einstellung der Rückenlehnenneigung nach hinten, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach hinten und der obere Gestenbereich zugeordnet ist; einer Einstellung der Sitzhöhe nach oben, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach oben und der dritte Gestenbereich zugeordnet ist; einer Einstellung der Sitzhöhe nach unten, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach unten und der dritte Gestenbereich zugeordnet ist; einer Einstellung der Sitzflächentiefe zu einer höheren Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach oben und der untere Gestenbereich zugeordnet ist; einer Einstellung der Sitzflächentiefe zu einer tieferen Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach unten und der untere Gestenbereich zugeordnet ist; einer Einstellung der Lordosenstütze zu einer höheren Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach oben und der obere Gestenbereich zugeordnet ist; einer Einstellung der Lordosenstütze zu einer niedrigeren Position, wobei dieser Einstellung eine Geste einer Handbewegung der offenen Hand nach unten und der obere Gestenbereich zugeordnet ist.The system of any of claims 2 to 4, wherein the adjustment comprises at least one of: an adjustment of the seating position forward, wherein this setting is associated with a gesture of a hand movement of the open hand forward and the lower gesture area; an adjustment of the seat position to the rear, with this setting is associated with a gesture of a hand movement of the open hand to the rear and the lower gesture area; an adjustment of the backrest tilt forward, with this setting is associated with a gesture of a hand movement of the open hand forward and the upper gesture area; an adjustment of the backrest inclination to the rear, wherein this setting is associated with a gesture of a hand movement of the open hand to the rear and the upper gesture area; an adjustment of the seat height to the top, with this setting is associated with a gesture of a hand movement of the open hand up and the third gesture area; an adjustment of the seat height down, wherein this setting is associated with a gesture of a hand movement of the open hand down and the third gesture area; an adjustment of the seat depth to a higher position, wherein this setting is associated with a gesture of a hand movement of the open hand up and the lower gesture area; an adjustment of the seat depth to a lower position, wherein this setting is associated with a gesture of a hand movement of the open hand down and the lower gesture area; an adjustment of the lumbar support to a higher position, wherein this setting is associated with a gesture of a hand movement of the open hand up and the upper gesture area; an adjustment of the lumbar support to a lower position, wherein this setting is associated with a gesture of a hand movement of the open hand down and the upper gesture area. System nach einem der Ansprüche 1 bis 5, wobei die Menge vordefinierter Gesten eine Aktivierungsgeste umfasst, und wobei die Steuereinheit (50) die gestenbasierte Einstellung des Fahrzeugsitzes (60) aktiviert, nachdem die Aktivierungsgeste erkannt wurde.The system of any one of claims 1 to 5, wherein the set of predefined gestures comprises an activation gesture, and wherein the control unit ( 50 ) the gesture-based adjustment of the vehicle seat ( 60 ) is activated after the activation gesture is detected. System nach einem der Ansprüche 1 bis 6, wobei die Gestenerkennungseinheit (30) weiter eingerichtet ist, eine Geschwindigkeit zu bestimmen, mit der die erkannte Geste ausgeführt wird; und wobei die Steuereinrichtung (50) eingerichtet ist, die Einstellung so zu steuern, dass das Ausmaß der Einstellungsänderung der bestimmten Geschwindigkeit entspricht.System according to one of claims 1 to 6, wherein the gesture recognition unit ( 30 ) is further configured to determine a speed at which the detected gesture is executed; and wherein the control device ( 50 ) is arranged to control the setting such that the amount of adjustment change corresponds to the determined speed. System nach einem der Ansprüche 1 bis 6, wobei die Gestenerkennungseinheit (30) weiter eingerichtet ist, eine Geschwindigkeit zu bestimmen, mit der die erkannte Geste ausgeführt wird; und wobei die Steuereinrichtung (50) eingerichtet ist: wenn die bestimmte Geschwindigkeit über einem ersten vorbestimmten Schwellenwert liegt, die Einstellung nach Abschluss der Geste zu steuern gemäß dem Ausmaß der Einstellungsänderung entsprechend der bestimmten Geschwindigkeit, und, wenn die bestimmte Geschwindigkeit unter dem vorbestimmten Schwellenwert liegt, mit der Steuerung der Einstellung während des Ausführens der Geste zu beginnen und die Steuerung bis zum Abschluss der Geste fortzusetzen.System according to one of claims 1 to 6, wherein the gesture recognition unit ( 30 ) is further configured to determine a speed at which the detected gesture is executed; and wherein the control device ( 50 ) is established: if the determined speed is above a first predetermined threshold, the To control adjustment upon completion of the gesture in accordance with the amount of adjustment change corresponding to the determined speed, and if the determined speed is below the predetermined threshold, to start the control of the adjustment during the execution of the gesture and to continue the control until the completion of the gesture , System nach einem der Ansprüche 7 bis 8, wobei die Steuereinrichtung (50) weiter eingerichtet ist, wenn die bestimmte Geschwindigkeit über einem zweiten vorbestimmten Schwellenwert liegt, die Einstellung nicht zu steuern.System according to one of claims 7 to 8, wherein the control device ( 50 ) is further configured, when the determined speed is above a second predetermined threshold, not to control the setting. System nach einem der Ansprüche 1 bis 9, wobei das System zwei Tiefenkameras (10) aufweist, welche den Gestenerfassungsbereich aus unterschiedlichen Blickwinkeln erfassen.A system according to any one of claims 1 to 9, wherein the system comprises two depth cameras ( 10 ), which detect the gesture detection area from different angles. System nach einem der Ansprüche 1 bis 10, wobei die Steuereinrichtung (50) weiter eingerichtet ist, eine optische, akustische haptische Signaleinheit des Fahrzeugs zu steuern, um dem Benutzer eine Rückmeldung zu geben zur Bestätigung der Erkennung der Aktivierungsgeste oder der erkannten Geste, oder zur Meldung, dass eine Geste nicht erkannt wurde, oder dass ein Ende des Einstellbereichs für die Einstellung erreicht wurde.System according to one of claims 1 to 10, wherein the control device ( 50 ) is further configured to control an optical audible haptic signal unit of the vehicle to provide feedback to the user to confirm recognition of the activation gesture or gesture, or to indicate that a gesture has not been recognized, or that an end of Setting range for the setting has been reached. Fahrzeug, aufweisend: einen Fahrzeugsitz (60), der eine Vielzahl von Einstellmöglichkeiten aufweist; und ein System nach einem der Ansprüche 1 bis 11 zur gestenbasierten Einstellung des Fahrzeugsitzes (60).Vehicle comprising: a vehicle seat ( 60 ), which has a variety of settings; and a system according to one of claims 1 to 11 for gesture-based adjustment of the vehicle seat ( 60 ). Fahrzeug nach Anspruch 12, wobei die Tiefenkamera (10) am Dachhimmel des Fahrzeugs angeordnet ist.Vehicle according to claim 12, wherein the depth camera ( 10 ) is arranged on the headliner of the vehicle. Verfahren zur gestenbasierten Einstellung eines Fahrzeugsitzes (60) durch einen Benutzer, aufweisend die Schritte: Vorgeben einer Menge vordefinierter Gesten; Definieren eines Gestenerfassungsbereichs, der dem Fahrzeugsitz (60) zugeordnet ist; für jede steuerbare Einstellung des Fahrzeugsitzes (60), Vorgeben einer Zuordnung von zumindest einer vordefinierten Geste und einem Bereichs innerhalb des Gestenerfassungsbereichs als einem Gestenbereich; Erfassen von Tiefenbildern für den Gestenerfassungsbereich durch zumindest eine Tiefenkamera (10); Erkennen, basierend auf den Tiefenbildern und auf den vordefinierten Gesten, einer Geste als eine erkannte Geste; Bestimmen des Bereichs, in dem die erkannte Geste ausgeführt wird, als einen erkannten Gestenbereich; und Steuern einer Einstellung des Fahrzeugsitzes (60), welche der erkannten Geste und dem erkannten Gestenbereich zugeordnet ist, durch eine Steuereinheit (50).Method for gesture-based adjustment of a vehicle seat ( 60 by a user, comprising the steps of: predetermining a set of predefined gestures; Defining a gesture detection area, which the vehicle seat ( 60 ) assigned; for each controllable adjustment of the vehicle seat ( 60 ), Specifying an association of at least one predefined gesture and an area within the gesture detection area as a gesture area; Capturing depth images for the gesture detection area by at least one depth camera ( 10 ); Recognize, based on the depth images and on the predefined gestures, a gesture as a recognized gesture; Determining the area in which the recognized gesture is executed as a recognized gesture area; and controlling a setting of the vehicle seat ( 60 ), which is associated with the recognized gesture and the recognized gesture area, by a control unit ( 50 ). Verfahren nach Anspruch 14, weiter aufweisend die Schritte: Erkennen, aus den Tiefenbildern, einer Schulterhöhe des Benutzers; Bestimmen einer im Wesentlichen horizontalen Ebene, die im Wesentlichen auf der erkannten Schulterhöhe liegt; Definieren eines oberen Gestenbereichs oberhalb der bestimmten Ebene und eines unteren Gestenbereichs unterhalb der bestimmten Ebene; Bestimmen, dass eine Geste in einem dritten Gestenbereich erkannt wird, wenn die Geste über eine Grenze zwischen dem oberen und dem unteren Gestenbereich hinweg ausgeführt wird; Bestimmen einer Geschwindigkeit, mit der die erkannte Geste ausgeführt wird; Ausführen einer optischen, akustischen und/oder haptischen Rückmeldung für den Benutzer, um eine Bestätigung anzuzeigen, dass eine Geste erkannt wurde, oder zur Meldung, dass eine Geste nicht erkannt wurde, oder dass ein Ende des Einstellbereichs für die Einstellung erreicht wurde; und wobei das Steuern der Einstellung: wenn die bestimmte Geschwindigkeit über einem ersten vorbestimmten Schwellenwert liegt, nach Abschluss der Geste zu steuern mit einem Ausmaß der Einstellungsänderung, das der bestimmten Geschwindigkeit entspricht, und wenn die bestimmte Geschwindigkeit unter dem vorbestimmten Schwellenwert liegt, während des Ausführens der Geste beginnt und bis zum Abschluss der Geste fortgesetzt wird.The method of claim 14, further comprising the steps of: Recognize, from the depth images, a shoulder height of the user; Determining a substantially horizontal plane substantially at the detected shoulder height; Defining an upper gesture area above the determined level and a lower gesture area below the determined level; Determining that a gesture is detected in a third gesture area when the gesture is executed across a boundary between the upper and lower gesture areas; Determining a speed at which the detected gesture is executed; Making an optical, audible and / or haptic feedback to the user to indicate confirmation that a gesture has been detected or to indicate that a gesture has not been detected, or that an end of the adjustment range has been reached; and where controlling the setting: when the determined speed is above a first predetermined threshold, after completion of the gesture, to be controlled with an amount of attitude change corresponding to the determined speed, and when the determined speed is below the predetermined threshold, begins during the execution of the gesture and continues until the completion of the gesture.
DE201210216181 2012-09-12 2012-09-12 System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area Pending DE102012216181A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210216181 DE102012216181A1 (en) 2012-09-12 2012-09-12 System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210216181 DE102012216181A1 (en) 2012-09-12 2012-09-12 System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area

Publications (1)

Publication Number Publication Date
DE102012216181A1 true DE102012216181A1 (en) 2014-06-12

Family

ID=50777949

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210216181 Pending DE102012216181A1 (en) 2012-09-12 2012-09-12 System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area

Country Status (1)

Country Link
DE (1) DE102012216181A1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105109365A (en) * 2015-09-18 2015-12-02 宇龙计算机通信科技(深圳)有限公司 Method and device for regulating parameters of vehicle seat
GB2534152A (en) * 2015-01-14 2016-07-20 Jaguar Land Rover Ltd Apparatus and method for controlling operation of a component
DE102016120995A1 (en) * 2016-11-03 2018-05-03 Visteon Global Technologies, Inc. User interface and method for inputting and outputting information in a vehicle
CN108860026A (en) * 2018-06-12 2018-11-23 重庆延锋安道拓汽车部件系统有限公司 The seat adjuster system and adjusting method that gesture identification is combined with voice
CN108860025A (en) * 2018-06-12 2018-11-23 重庆延锋安道拓汽车部件系统有限公司 Seat adjuster and adjusting method based on gesture identification
EP3040245B1 (en) * 2015-01-02 2019-09-25 Volkswagen AG Device and method for supporting a user before operation of a switch for electromotive adjustment of a part of a means of locomotion
DE102018005421A1 (en) 2018-07-07 2020-01-09 Psa Automobiles Sa Device and method for accelerated switching from a comfort position to a driving position
EP3659855A1 (en) * 2018-11-30 2020-06-03 Audi Ag Vehicle with vehicle seat and sensing unit
WO2021023468A1 (en) * 2019-08-02 2021-02-11 Daimler Ag Device and method for controlling a passenger seat in a vehicle
US11262849B2 (en) 2016-02-17 2022-03-01 Volkswagen Aktiengesellschaft User interface, a means of transportation and a method for classifying a user gesture performed freely in space
CN114701409A (en) * 2022-04-28 2022-07-05 东风汽车集团股份有限公司 Gesture interactive intelligent seat adjusting method and system
DE102022123087A1 (en) 2022-09-12 2024-03-14 Gestigon Gmbh System and method for giving feedback to a user on a non-contact gesture using LEDs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004038965A1 (en) * 2003-08-11 2005-03-17 Mitsubishi Fuso Truck And Bus Corp. Automotive driver switch control system identifies driver hand signals using digital camera linked to control switches and visual display unit, e.g. for controlling air-conditioner or audio controls
DE102005019154A1 (en) 2005-04-25 2006-10-26 Robert Bosch Gmbh Vehicle component e.g. seat, adjusting device, has signal and image processor processing sensor signal, such that passenger gesture are determined by processing unit, and control device controlling component based on determined gesture
US20070195997A1 (en) * 1999-08-10 2007-08-23 Paul George V Tracking and gesture recognition system particularly suited to vehicular control applications
DE102007023141A1 (en) 2007-05-16 2008-11-27 Audi Ag Comfort and/or safety system e.g. airbag system, adjustment and/or readjustment method for motor vehicle, involves determining measurement data and/or position data, independent of which system is directly adjusted and/or readjusted
DE102011009229A1 (en) 2011-01-22 2012-07-26 Daimler Ag Adjusting device for adjusting passenger seat of vehicle e.g. cabriolet, has operating device which is provided with sensor units for detecting gesture of occupant

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195997A1 (en) * 1999-08-10 2007-08-23 Paul George V Tracking and gesture recognition system particularly suited to vehicular control applications
DE102004038965A1 (en) * 2003-08-11 2005-03-17 Mitsubishi Fuso Truck And Bus Corp. Automotive driver switch control system identifies driver hand signals using digital camera linked to control switches and visual display unit, e.g. for controlling air-conditioner or audio controls
DE102005019154A1 (en) 2005-04-25 2006-10-26 Robert Bosch Gmbh Vehicle component e.g. seat, adjusting device, has signal and image processor processing sensor signal, such that passenger gesture are determined by processing unit, and control device controlling component based on determined gesture
DE102007023141A1 (en) 2007-05-16 2008-11-27 Audi Ag Comfort and/or safety system e.g. airbag system, adjustment and/or readjustment method for motor vehicle, involves determining measurement data and/or position data, independent of which system is directly adjusted and/or readjusted
DE102011009229A1 (en) 2011-01-22 2012-07-26 Daimler Ag Adjusting device for adjusting passenger seat of vehicle e.g. cabriolet, has operating device which is provided with sensor units for detecting gesture of occupant

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. Riener, M. Rossbory: Natural and Intuitive Hand Gestures: A Substitute for Traditional Vehicle Control?. In: AutomotiveUI’11, November 29-December 2, 2011, 1-2. [Salzburg, Austria,Adjunct Proceedings]
A. Riener, M. Rossbory: Natural and Intuitive Hand Gestures: A Substitute for Traditional Vehicle Control?. In: AutomotiveUI'11, November 29-December 2, 2011, 1-2. [Salzburg, Austria,Adjunct Proceedings] *
M. Zobl, M. Geiger, B. Schuller, M. Lang, G. Rigoll: A real-time system for hand gesture controlled operation of in-car devices. In: Proceedings of ICME '03, 3, July 2003, III 541-54. *
S. Akyol, U. Canzler, K. Bengler und W. Hahn: Gestensteuerung für Fahrzeugbordsysteme. In: Mustererkennung 2000, 13.-15.09.2000, 139-146. [22. DAGM -Symposium, Kiel] *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10821925B2 (en) * 2015-01-02 2020-11-03 Volkswagen Ag Apparatus and method for assisting a user
EP3040245B1 (en) * 2015-01-02 2019-09-25 Volkswagen AG Device and method for supporting a user before operation of a switch for electromotive adjustment of a part of a means of locomotion
GB2534152A (en) * 2015-01-14 2016-07-20 Jaguar Land Rover Ltd Apparatus and method for controlling operation of a component
WO2016113158A1 (en) * 2015-01-14 2016-07-21 Jaguar Land Rover Limited Apparatus and method for controlling operation of a component
GB2534152B (en) * 2015-01-14 2017-12-20 Jaguar Land Rover Ltd Apparatus and method for controlling operation of a component
US10831279B2 (en) 2015-01-14 2020-11-10 Jaguar Land Rover Limited Apparatus and method for controlling operation of a component
CN105109365A (en) * 2015-09-18 2015-12-02 宇龙计算机通信科技(深圳)有限公司 Method and device for regulating parameters of vehicle seat
DE102016202455B4 (en) 2016-02-17 2024-10-10 Volkswagen Aktiengesellschaft User interface, means of transport and method for classifying a user gesture executed freely in space
US11262849B2 (en) 2016-02-17 2022-03-01 Volkswagen Aktiengesellschaft User interface, a means of transportation and a method for classifying a user gesture performed freely in space
DE102016120995A1 (en) * 2016-11-03 2018-05-03 Visteon Global Technologies, Inc. User interface and method for inputting and outputting information in a vehicle
CN108860026A (en) * 2018-06-12 2018-11-23 重庆延锋安道拓汽车部件系统有限公司 The seat adjuster system and adjusting method that gesture identification is combined with voice
CN108860026B (en) * 2018-06-12 2024-05-14 安道拓(重庆)汽车部件有限公司 Seat adjusting system and method combining gesture recognition and voice
CN108860025B (en) * 2018-06-12 2024-05-14 安道拓(重庆)汽车部件有限公司 Seat adjusting device and adjusting method based on gesture recognition
CN108860025A (en) * 2018-06-12 2018-11-23 重庆延锋安道拓汽车部件系统有限公司 Seat adjuster and adjusting method based on gesture identification
DE102018005421A1 (en) 2018-07-07 2020-01-09 Psa Automobiles Sa Device and method for accelerated switching from a comfort position to a driving position
DE102018005421B4 (en) 2018-07-07 2024-02-01 Psa Automobiles Sa Device and method for accelerated switching from a comfort position to a driving position
EP3659855A1 (en) * 2018-11-30 2020-06-03 Audi Ag Vehicle with vehicle seat and sensing unit
WO2021023468A1 (en) * 2019-08-02 2021-02-11 Daimler Ag Device and method for controlling a passenger seat in a vehicle
CN114701409A (en) * 2022-04-28 2022-07-05 东风汽车集团股份有限公司 Gesture interactive intelligent seat adjusting method and system
CN114701409B (en) * 2022-04-28 2023-09-05 东风汽车集团股份有限公司 Gesture interactive intelligent seat adjusting method and system
DE102022123087A1 (en) 2022-09-12 2024-03-14 Gestigon Gmbh System and method for giving feedback to a user on a non-contact gesture using LEDs

Similar Documents

Publication Publication Date Title
DE102012216181A1 (en) System for gesture-based adjustment of seat mounted in vehicle by user, has control unit that controls setting of vehicle seat associated with recognized gesture and gesture area
EP3040245B1 (en) Device and method for supporting a user before operation of a switch for electromotive adjustment of a part of a means of locomotion
EP2653335B1 (en) Method and apparatus for displaying a hand of an operator of an operating element of a vehicle
DE102019218575A1 (en) SEAT ARRANGEMENT
EP2750914B1 (en) Method and device for making available a user interface, in particular in a vehicle
DE102016108731A1 (en) Entry / exit of the rear passenger and procedures
DE102006032769A1 (en) Device for optimization of geometrical parameters of vehicle installations in surrounding of person sitting on vehicle seat, has detecting device which comprises electronic camera, directed toward person, and image evaluation unit
DE102020201338A1 (en) Electrical arrangement
DE102017123794A1 (en) SYSTEM AND METHOD FOR ADJUSTING AN ARRANGEMENT
DE102012216174A1 (en) System i.e. park assistance system, for controlling movement of motor car from outside by user, has control unit arranged according to detected gesture for controlling recognized gesture associated with movement of motor car
EP3254172B1 (en) Determination of a position of a non-vehicle object in a vehicle
DE102013225027A1 (en) System and method for manipulating a user interface through a 2D camera
DE102018124201A1 (en) Method and system for automatically adjusting a seat
EP3298477B1 (en) Method for operating an operating device, and operating device for a motor vehicle
DE102013000083A1 (en) Method for operating person-specific control interface in passenger car, involves checking compound of body part as criterion for determining whether remaining residual body of operator is in predetermined location area of vehicle interior
DE102018222869A1 (en) Operating system for a vehicle and method for operating an operating system
DE102017117094A1 (en) Customizable representation of an environment of a motor vehicle by a driver assistance device
DE102014012754A1 (en) Control panel for setting at least two seat functions, seat with control panel and method for setting at least two seat functions
DE102018219793A1 (en) Operating device for adjusting a seat part and a backrest of a vehicle seat of a motor vehicle and a motor vehicle with at least one vehicle seat
DE102015011646A1 (en) Motor vehicle with multi-part touch-sensitive screen device
DE102018005421A1 (en) Device and method for accelerated switching from a comfort position to a driving position
DE102013019896B4 (en) Motor vehicle with a motor-adjustable functional element and method for operating a motor vehicle
DE102020100068A1 (en) Automotive seating system
DE102013214630A1 (en) Motor vehicle with an operating device and a speaker system and method for operating a speaker system in a motor vehicle
DE102018219787A1 (en) Operating device for adjusting a seat part and a backrest of a vehicle seat of a motor vehicle and a motor vehicle with at least one vehicle seat

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication