DE102012216174A1

DE102012216174A1 - System i.e. park assistance system, for controlling movement of motor car from outside by user, has control unit arranged according to detected gesture for controlling recognized gesture associated with movement of motor car

Info

Publication number: DE102012216174A1
Application number: DE201210216174
Authority: DE
Inventors: Chadly Marouane; Sonja Rümelin; Christopher Rölle
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2012-09-12
Filing date: 2012-09-12
Publication date: 2014-05-28

Abstract

The system has a camera (10) arranged in a motor car (60) for detection of depth images in an outside region of the car. A gesture recognition unit (20) receives the depth images from the camera to identify a gesture from the depth images and compare the identified gesture with predefined gestures. The recognition unit determines the identified gesture intended as a recognized gesture when the identified gesture is recognized as a pre-gesture. A control unit (30) is arranged according to the detected gesture for controlling the recognized gesture associated with movement of the car. An independent claim is also included for a method for controlling movement of a motor car from outside by a user.

Description

Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Steuerung einer Bewegung eines Kraftfahrzeuges.The present invention relates to a system and a method for controlling a movement of a motor vehicle.

Kraftfahrzeuge werden üblicherweise von einem Fahrer gesteuert, der auf einem Fahrersitz des Fahrzeuges sitzt und der durch Betätigen des Lenkrads und der Pedale die Bewegung des Kraftfahrzeugs steuert.Motor vehicles are usually controlled by a driver who sits on a driver's seat of the vehicle and controls the operation of the motor vehicle by operating the steering wheel and the pedals.

Zur Unterstützung des Fahrers, insbesondere beim Einparken, sind auch Parkassistenzsysteme bekannt, welche durch verschiedene Umfeldsensoren einen Parkplatz erkennen, einen Pfad bestimmen, entlang der das Kraftfahrzeug bewegt werden muss, um in die Parklücke eingeparkt zu werden, und die Bewegung des Kraftfahrzeugs entlang diesem Pfad automatisch steuert. Der Fahrer muss hierbei lediglich das automatische Einparken überwachen, indem er oder sie das Gaspedal und die Bremse bedient. Auch hierbei besteht der Nachteil, dass die Anwesenheit des Fahrers im Fahrzeug notwendig ist.To assist the driver, especially when parking, also parking assistance systems are known, which recognize a parking lot by different environmental sensors, determine a path along which the motor vehicle must be moved to be parked in the parking space, and the movement of the motor vehicle along this path automatically controls. The driver only has to monitor the automatic parking by operating the accelerator pedal and the brake. Again, there is the disadvantage that the presence of the driver in the vehicle is necessary.

Um ein Einparken in beengte Parklücken oder Garagen zu erleichtern, wurden von verschiedenen Fahrzeugherstellern und Zulieferern auch bereits Parkassistenzsysteme entwickelt und als Prototypen vorgestellt, bei denen ein Benutzer einen automatischen Einparkvorgang von außerhalb des Fahrzeugs veranlassen kann.In order to facilitate parking in cramped parking spaces or garages, parking assistance systems have already been developed by various vehicle manufacturers and suppliers and presented as prototypes, in which a user can initiate an automatic parking procedure from outside the vehicle.

So wurde von der Firma BMW ein als ”Remote Controlled Parking” bezeichnetes System vorgestellt, bei der ein Fahrer vor einer Parknische oder vor einer Garage aussteigt und das Kraftfahrzeug durch die Betätigung einer bestimmten Tastenkombination auf dem Fahrzeugschlüssel einen Startbefehl gibt, worauf das System das Kraftfahrzeug automatisch in die Parklücke oder die Garage fährt.For example, the BMW company has introduced a system known as "remote controlled parking" in which a driver alights outside a parking niche or in front of a garage and the motor vehicle issues a start command by actuating a specific key combination on the vehicle key, whereupon the system activates the motor vehicle automatically into the parking space or the garage drives.

Ein ähnliches System wurde von der Firma Valeo unter der Bezeichnung Park4U als Prototyp vorgestellt, wobei in diesem Fall ein Smartphone zur Bedienung eingesetzt wird. Auch hier kann ein Benutzer lediglich das automatische Einparken auslösen und abbrechen. Hierbei ist es notwendig, das Smartphone als zusätzliches Bedienelement mit sich zu führen. Zudem muss zur Fernsteuerung eine Datenverbindung über das Mobilfunknetz vom Smartphone zum Kraftfahrzeug aufgebaut werden. Eine derartige Verbindung kann eine wesentliche Zeitverzögerung bei der Steuerung bedeuten und weist zusätzlich das Risiko auf, dass sie jederzeit abbrechen kann, was sowohl unter dem Gesichtspunkt der Sicherheit als auch der Bequemlichkeit der Steuerung nachteilig sein kann. Auch können mit einer Mobilfunkverbindung insbesondere im Ausland hohen Kosten verbunden sein. Darüber hinaus ist diese Art der Fernsteuerung nur in Gebieten möglich, in denen Mobilfunkempfang existiert.A similar system was presented as a prototype by the company Valeo under the name Park4U, in which case a smartphone is used for operation. Again, a user can only trigger the automatic parking and cancel. It is necessary to carry the smartphone with it as an additional operating element. In addition, a data connection via the mobile network from the smartphone to the vehicle must be established for remote control. Such a connection can mean a substantial delay in the control of the control and, in addition, has the risk of being able to break off at any time, which can be disadvantageous both from the point of view of safety and the convenience of control. Also, high costs may be associated with a mobile connection, especially abroad. In addition, this type of remote control is possible only in areas where mobile reception exists.

Weitere Systeme, die ein automatisches Einparken erlauben, sind auch aus den Dokumenten DE 10 2011 003 881 A1 und DE 10 2004 027 869 A1 bekannt.Other systems that allow automatic parking are also from the documents DE 10 2011 003 881 A1 and DE 10 2004 027 869 A1 known.

Bei allen diesen Arten, ein Fahrzeug einzuparken, kann es vorkommen, dass der Fahrer nach dem Einparken das Kraftfahrzeug rangieren und ”Umparken” möchte. Dies kann zum Beispiel darauf beruhen, dass der Fahrer nach dem Aussteigen entdecken, dass er zu nah an einem dahinter stehenden Fahrzeug geparkt hat, so dass der Zugang zur Heckklappe erschwert oder nicht möglichst ist. Auch kann es vorkommen, dass neben dem Kraftfahrzeug ein anderes Kraftfahrzeug, ein Verkehrsschild, oder ein daran angekettetes Fahrrad steht, welches das Öffnen der Beifahrertür verhindert. Diese Situation kann bereits beim Einparken gegeben sein, oder auch erst nachträglich entstehen und eine Behinderung erst beim Zurückkehren zum Fahrzeug darstellen. In diesen Fällen muss der Fahrer wieder in das Kraftfahrzeug einsteigen, um das Kraftfahrzeug zu versetzen, was wenig bequem ist. Darüber hinaus mag der Fahrer vom Fahrersitz aus nur über eine eingeschränkte Sicht verfügen, was dazu führen kann, dass der Fahrer wiederholt aus- und einsteigt und das Kraftfahrzeug versetzt, bis ein zufriedenstellendes Ergebnis erzielt ist.In all these ways to park a vehicle, it may happen that the driver after parking maneuver the car and want to "re-park". This may for example be based on the fact that the driver after disembarking discover that he has parked too close to a vehicle behind it, so that the access to the tailgate difficult or not possible. It may also happen that in addition to the motor vehicle, another motor vehicle, a road sign, or a bicycle chained to it, which prevents the opening of the passenger door. This situation may already be present when parking, or even arise later and constitute a disability only when returning to the vehicle. In these cases, the driver has to get back into the vehicle to move the vehicle, which is less convenient. Moreover, the driver may have only limited visibility from the driver's seat, which may cause the driver to repeatedly get off and on and off-set the vehicle until a satisfactory result is achieved.

Aus dem Dokument DE 10 2008 018 186 A1 ist ferner eine Fernsteuerung bekannt, mit der ein Kraftfahrzeug von außen ferngesteuert wird. Es wird dabei vorgeschlagen, die Fernsteuerung, etwa nach Art eines Joysticks, lösbar am oder im Kraftfahrzeug anzuordnen. Dies weist den Nachteil auf, dass, wenn die Fernsteuerung im Kraftfahrzeug angeordnet ist, der Fahrer zuerst wieder in das Kraftfahrzeug einsteigen muss, um die Fernsteuerung zu entnehmen. Wird die Fernsteuerung außen am Kraftfahrzeug angeordnet besteht die Gefahr der unbefugten Benutzung und die Fernsteuerung ist darüber hinaus den Umwelteinflüssen ausgesetzt, was die Betriebsfähigkeit negativ beeinflussen kann.From the document DE 10 2008 018 186 A1 Furthermore, a remote control is known with which a motor vehicle is remotely controlled from the outside. It is proposed to arrange the remote control, such as a joystick, releasably on or in the vehicle. This has the disadvantage that when the remote control is arranged in the motor vehicle, the driver first has to get back into the vehicle to remove the remote control. If the remote control is located outside the vehicle there is a risk of unauthorized use and the remote control is also exposed to the environmental influences, which can adversely affect the operability.

Es ist daher eine Aufgabe der Erfindung, ein System und ein Verfahren bereitzustellen, mit dem ein Fahrer eines Kraftfahrzeug dieses von außen auf bequeme und zuverlässige Weise bewegen kann.It is therefore an object of the invention to provide a system and a method by which a driver of a motor vehicle can move it from the outside in a comfortable and reliable manner.

Es ist eine weitere Aufgabe der Erfindung, ein System und ein Verfahren bereitzustellen, mit dem ein Fahrer eines Kraftfahrzeugs dieses von außen bewegen kann, wobei eine unbefugte Benutzung zuverlässig verhindert wird.It is a further object of the invention to provide a system and method by which a driver of a motor vehicle can move it from the outside, thereby reliably preventing unauthorized use.

Diese und andere Aufgaben der Erfindung werden durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen dargelegt.These and other objects of the invention are achieved by the features of the independent claims Claims solved. Advantageous developments of the invention are set forth in the dependent claims.

In einem Aspekt weist ein System zur gestenbasierten Steuerung einer Bewegung eines Kraftfahrzeugs durch einen Benutzer, der sich außerhalb des Kraftfahrzeugs befindet, zumindest eine am Kraftfahrzeug angeordnete Tiefenkamera zur Erfassung von Tiefenbildern in zumindest einem Bereich außerhalb des Kraftfahrzeugs, eine Gestenerkennungseinheit, welche eingerichtet ist, die von der Tiefenkamera erfassten Tiefenbilder zu empfangen, aus den Tiefenbildern eine Geste des Benutzers zu identifizieren und mit einer Menge vordefinierter Gesten zu vergleichen, wobei, wenn die identifizierte Geste als eine der vordefinierten Gesten erkannt wird, die Gestenerkennungseinheit die identifizierte Geste als eine erkannte Geste bestimmt, und eine Steuereinheit auf, welche eingerichtet ist, in Antwort auf die erkannte Geste, eine der erkannten Geste zugeordnete Bewegung des Kraftfahrzeugs zu steuern.In one aspect, a system for gesture-based control of movement of a motor vehicle by a user located outside the motor vehicle includes at least one depth camera disposed on the motor vehicle for capturing depth images in at least one area outside the motor vehicle, a gesture recognition unit that is configured receiving depth images captured by the depth camera, identifying a gesture of the user from the depth images and comparing it with a set of predefined gestures, wherein if the identified gesture is recognized as one of the predefined gestures, the gesture recognition unit determines the identified gesture as a recognized gesture , and a control unit configured to control, in response to the detected gesture, movement of the motor vehicle associated with the detected gesture.

Ein Benutzer kann somit auf komfortable Weise mittels Gesten mit dem Kraftfahrzeug interagieren, um dieses zu bewegen, zum Beispiel, um einen Parkvorgang auszuführen oder eine eingenommene Parkposition nachträglich zu verändern oder zu korrigieren, und ohne dass zusätzliche Bedienelemente wie Smartphones erforderlich sind und mitgeführt werden müssen.A user can thus comfortably interact with gestures with the motor vehicle to move it, for example, to perform a parking operation or to subsequently change or correct an occupied parking position and without the need for additional operating elements such as smartphones and to be carried along ,

Die Tiefenkamera kann so angeordnet sein, dass sie einen Bereich benachbart einer Fahrertür des Kraftfahrzeugs erfasst. Vorzugsweise können mehrere Tiefenkameras vorgesehen sein, die im Wesentlichen den gesamten Bereich 360 Grad um das Kraftfahrzeug herum abdecken. Es kann damit ein Benutzer mit dem Kraftfahrzeug aus einer beliebigen Position interagieren.The depth camera may be arranged to detect an area adjacent to a driver's door of the motor vehicle. Preferably, a plurality of depth cameras may be provided covering substantially the entire 360 degree area around the motor vehicle. It can allow a user to interact with the motor vehicle from any position.

In einer bevorzugten Weiterbildung weist das System weiter zumindest eine Videokamera auf, die so angeordnet ist, zumindest den von der zumindest einen Tiefenkamera erfassten Bereich zu erfassen, um Videobilder des erfassten Bereichs auszugeben, eine Gesichtsdatenspeichereinheit, in welcher Gesichtsdaten für zumindest einen Benutzer als einem autorisierten Benutzer gespeichert sind, und eine Videoverarbeitungseinheit, die eingerichtet ist, die von der Videokamera erfassten Videobilder zu verarbeiten und zu erkennen, basierend auf den in der Gesichtsdatenspeichereinheit gespeicherten Gesichtsdaten, ob zumindest ein autorisierter Benutzer erfasst wurde, bevorzugt mit einer Bestimmung eines Positionsbereichs des autorisierten Benutzers.In a preferred development, the system further comprises at least one video camera arranged to detect at least the area detected by the at least one depth camera for outputting video images of the detected area, a face data storage unit in which face data for at least one user as an authorized one Users are stored, and a video processing unit configured to process and recognize the video images captured by the video camera, based on the stored in the face data storage unit face data, whether at least one authorized user was detected, preferably with a determination of a position range of the authorized user ,

Die Steuereinheit kann aktiviert werden in Antwort auf die Bestimmung der Videoverarbeitungseinheit, dass ein autorisierter Benutzer erkannt wurde.The control unit may be activated in response to the determination of the video processing unit that an authorized user has been detected.

Bevorzugt wird die Erkennung von Gesten nur für einen Benutzer ausführt, der als autorisierter Benutzer bestimmt wurde.Preferably, the recognition of gestures is only performed for a user who has been designated as an authorized user.

Mittels der Erkennung von autorisierten Benutzern kann die Gestenerkennung für einen festgelegten Nutzerkreis aktiviert und eine unerwünschte und/oder nicht autorisierte Nutzung der Gestenerkennung vermieden werden.By recognizing authorized users, the gesture recognition can be activated for a defined user group and unwanted and / or unauthorized use of the gesture recognition can be avoided.

Weiter bevorzugt führt das System, wenn eine Mehrzahl von Benutzern in dem von der zumindest einen Tiefenkamera erfassten Bereich erkannt werden, eine Erkennung von Gesten nur für einen Benutzer aus, der sich in einem von der Videoverarbeitungseinheit bestimmten Positionsbereich eines autorisierten Benutzers ist. Auf diese Weise kann ein Schutz gegen unbefugte Benutzung verbessert werden.More preferably, when a plurality of users are detected in the area detected by the at least one depth camera, the system performs gesture recognition only to a user who is in an authorized user's location range determined by the video processing unit. In this way, protection against unauthorized use can be improved.

Für den Fall, dass sich mehrere Personen in der Umgebung des Kraftfahrzeugs befinden, kann auch ein priorisierter Bereich definiert werden, bevorzugt benachbart der Fahrertür, um nur Gesten zur Steuerung zu berücksichtigen, die von einer der mehreren Personen ausgeübt werden, die sich in dem priorisierten Bereich aufhält.In the event that there are several persons in the vicinity of the motor vehicle, a prioritized area may also be defined, preferably adjacent to the driver's door, to take into account only gestures to be exercised by one of the several persons prioritized in the one Area stops.

Vorzugsweise ist es möglich, dass eine Aktivierungsgeste vorgesehen ist. Die gestenbasierte Steuerung kann dabei von der Steuereinrichtung erst aktiviert werden, wenn erkannt wurde, dass ein Benutzer die Aktivierungsgeste ausgeübt hat. Es lässt sich dadurch die Gefahr einer unbeabsichtigten Bedienung verringern.Preferably, it is possible that an activation gesture is provided. The gesture-based control can be activated by the control device only when it has been recognized that a user has exercised the activation gesture. This reduces the risk of unintentional operation.

Vorzugsweise ist es ebenfalls möglich, einen Funkschlüssel des Kraftfahrzeugs dazu zu verwenden, um die Gestenerkennung zu aktivieren oder zu deaktivieren. Der Schlüssel kann passiv eingesetzt werden, wobei die Gestenerkennung aktiviert wird, sobald erkannt wird, dass sich der Funkschlüssel in Reichweite befindet. Alternativ kann der Schlüssel aktiv verwendet werden, indem die Gestenerkennung durch eine Betätigung eines Tasters auf dem Schlüssel aktiviert wird. Auf diese Weise kann eine unerwünschte und/oder nicht autorisierte Nutzung der Gestenerkennung vermieden werden.Preferably, it is also possible to use a radio key of the motor vehicle to activate or deactivate the gesture recognition. The key can be used passively, with gesture recognition enabled as soon as it detects that the radio key is within range. Alternatively, the key can be actively used by activating gesture recognition by actuating a button on the key. In this way, unwanted and / or unauthorized use of the gesture recognition can be avoided.

In einer bevorzugten Weiterbildung kann zur Aktivierung der gestenbasierten Steuerung die Kombination von Erkennung einer autorisierten Person, dem Signal des dem Kraftfahrzeug zugeordneten Fahrzeugschlüssels und die Aktivierungsgeste erforderlich sein. Auf diese Weise kann ein besonders guter Schutz gegen eine unerwünschte oder ungewollte Benutzung erreicht werden.In a preferred development, the activation of the gesture-based control may require the combination of recognition of an authorized person, the signal of the vehicle key assigned to the motor vehicle, and the activation gesture. In this way, a particularly good protection against unwanted or unwanted use can be achieved.

Die vordefinierte Geste kann eine Hand- oder Fingergeste beider Hände sein, wobei der Benutzer auf das Kraftfahrzeug zeigt und beide Hände in eine Richtung bewegt, in die das Kraftfahrzeug bewegt werden soll, und wobei die Steuereinheit in Antwort auf diese Geste das Kraftfahrzeug so steuert, dass es sich entsprechend vorwärts oder rückwärts bewegt. The predefined gesture may be a hand or finger gesture of both hands, the user pointing to the motor vehicle and moving both hands in a direction in which the motor vehicle is to be moved, and in response to that gesture the control unit controls the motor vehicle, that it moves forward or backward accordingly.

Die vordefinierte Geste kann auch eine kreisförmige Hand- oder Fingergeste sein, wobei die Steuereinheit in Antwort auf diese Geste einen Lenkwinkel des Kraftfahrzeugs entsprechend der Drehrichtung der Geste steuert.The predefined gesture may also be a circular hand or finger gesture, the control unit, in response to this gesture, controlling a steering angle of the motor vehicle in accordance with the direction of rotation of the gesture.

Vorzugsweise ist die Gestenerkennungseinheit weiter eingerichtet, eine Geschwindigkeit zu bestimmen, mit der die erkannte Geste ausgeführt wird, wobei die Steuereinrichtung die der Geste zugeordnete Steuerung nicht steuert, wenn die bestimmte Geschwindigkeit über einem vorbestimmten Schwellenwert liegt.Preferably, the gesture recognition unit is further configured to determine a speed at which the detected gesture is executed, wherein the controller does not control the gesture-associated control when the determined speed is above a predetermined threshold.

Schnelle und rasche Bewegungen können das Resultat davon sein, dass sich der Benutzer erschreckt oder überrascht reagiert. Indem eine Steuerung unterlassen wird, wenn eine zu rasche Bewegung erkannt wird, kann daher die Gefahr einer Fehlbedienung weiter vermindert werden.Fast and rapid movements can be the result of the user being frightened or surprised. Therefore, by omitting control when too rapid movement is detected, the risk of misoperation can be further reduced.

Vorzugsweise weist das System weiter Sensoren zur Erkennung von Hindernissen vor und/oder hinter dem Kraftfahrzeug auf, wobei die Steuereinrichtung die Steuerung der Bewegung des Kraftfahrzeugs unterbricht, wenn ein Hindernis erkannt wird. Die Sensoren können beispielsweise Sensoren bekannter Parkassistenzsysteme sein.Preferably, the system further comprises sensors for detecting obstacles in front of and / or behind the motor vehicle, wherein the control means interrupts the control of the movement of the motor vehicle when an obstacle is detected. The sensors may, for example, be sensors of known parking assistance systems.

In einem zweiten Aspekt weist ein Kraftfahrzeug ein System zur gestenbasierten Steuerung einer Bewegung des Kraftfahrzeugs durch einen Benutzer, der sich außerhalb des Kraftfahrzeugs befindet, auf.In a second aspect, a motor vehicle includes a system for gesture-based control of movement of the motor vehicle by a user located outside the motor vehicle.

In einem dritten Aspekt weist ein Verfahren zur gestenbasierten Steuerung einer Bewegung eines Kraftfahrzeugs durch einen Benutzer, der sich außerhalb des Kraftfahrzeugs befindet, die Schritte auf: Erfassen von Tiefenbildern für zumindest einem Bereich außerhalb des Kraftfahrzeugs durch zumindest eine am Kraftfahrzeug angeordnete Tiefenkamera, Erkennung von zumindest einer vordefinierten Geste, die von dem Benutzer in dem erfassten Bereich ausgeübt wird durch eine Gestenerkennungseinheit, wenn durch die Gestenerkennungseinheit eine vordefinierten Geste erkannt wird, Steuern einer der erkannten Geste zugeordnete Bewegung des Kraftfahrzeugs durch eine Steuereinheit.In a third aspect, a method for gesture-based control of movement of a motor vehicle by a user located outside the motor vehicle comprises the steps of: detecting depth images for at least one area outside the motor vehicle by at least one depth camera arranged on the motor vehicle, detection of at least a predefined gesture, which is performed by the user in the detected area by a gesture recognition unit, when a predefined gesture is detected by the gesture recognition unit, controlling a movement of the motor vehicle associated with the detected gesture by a control unit.

Bevorzugt weist das Verfahren weiter die Schritte auf: Erfassen von Funksignalen eines Funkschlüssels und Bestimmen, ob der Funkschlüssel dem Kraftfahrzeug zugeordnet ist, wenn bestimmt wird, dass der Funkschlüssel dem Kraftfahrzeug zugeordnet ist, Aktivieren zumindest einer Videokamera, Erfassen von Videobildern für den zumindest einen Bereich außerhalb des Kraftfahrzeugs durch die zumindest eine Videokamera, Verarbeiten der erfassten Videobilder und Erkennen, ob in den erfassten Videobildern zumindest ein autorisierter Benutzer erfasst wurde, basierend auf Gesichtsdaten, die für zumindest einen Benutzer als einem autorisierten Benutzer gespeichert sind, mit einer Bestimmung eines Positionsbereichs des autorisierten Benutzers, wenn ein autorisierter Benutzer erfasst wurde, Aktiveren der zumindest einen Tiefenkamera, Erkennung einer vordefinierten Aktivierungsgeste in einem Positionsbereich, der für den erfassten autorisierten Benutzer bestimmt wurde, und in Antwort auf die Erkennung der Aktivierungsgeste, Freigeben der Steuerung für die Bewegung des Kraftfahrzeugs, und Erkennen von Hindernissen vor und/oder hinter dem Kraftfahrzeug und wenn ein Hindernis erkannt wird, Unterbrechen der Steuerung der Bewegung des Kraftfahrzeugs, wobei die Menge vordefinierter Gesten eine Hand- oder Fingergeste beider Hände umfasst, wobei der Benutzer auf das Kraftfahrzeug zeigt und beide Hände in eine Richtung bewegt, in die das Kraftfahrzeug bewegt werden soll, und wobei die Steuereinheit in Antwort auf diese Geste das Kraftfahrzeug so steuert, dass es sich entsprechend vorwärts oder rückwärts bewegt, sowie eine kreisförmige Hand- oder Fingergeste umfasst, und wobei die Steuereinheit in Antwort auf diese Geste einen Lenkwinkel das Kraftfahrzeug entsprechend der Drehrichtung der Geste steuert.Preferably, the method further comprises the steps of: detecting radio signals of a radio key and determining whether the radio key is assigned to the motor vehicle when it is determined that the radio key is associated with the motor vehicle, activating at least one video camera, capturing video images for the at least one area outside the motor vehicle by the at least one video camera, processing the captured video images and detecting whether at least one authorized user has been detected in the captured video images based on face data stored for at least one user as an authorized user with a determination of a position range of the authorized user when an authorized user has been detected, activating the at least one depth camera, detecting a predefined activation gesture in a location area determined for the detected authorized user, and in response to the detection Activation of the activation gesture, releasing the control for the movement of the motor vehicle, and detecting obstacles in front of and / or behind the motor vehicle and when an obstacle is detected, interrupting the control of the movement of the motor vehicle, wherein the set of predefined gestures a hand or finger gesture of both Hands, wherein the user points to the motor vehicle and moves both hands in a direction in which the motor vehicle is to be moved, and wherein the control unit in response to this gesture controls the motor vehicle so that it moves forward or backward accordingly, and a circular hand or finger gesture, and wherein the control unit in response to this gesture controls a steering angle of the motor vehicle according to the direction of rotation of the gesture.

Im Folgenden wird die Erfindung anhand von Beispielen unter Bezugnahme auf die folgenden Figuren näher erläutert.In the following the invention will be explained in more detail by means of examples with reference to the following figures.

1 zeigt schematisch ein Blockdiagramm eines Systems zur gestenbasierten Steuerung einer Bewegung eines Kraftfahrzeugs durch einen Benutzer, der sich außerhalb des Kraftfahrzeugs befindet, gemäß einer Ausführungsform der Erfindung; 1 12 schematically illustrates a block diagram of a system for gesture-based control of movement of a motor vehicle by a user located outside the motor vehicle, according to an embodiment of the invention;

2A bis 2C stellen symbolisch einen Benutzer dar, der eine Geste zum Bewegen des Kraftfahrzeugs ausführt; 2A to 2C symbolically represent a user who makes a gesture to move the motor vehicle;

3A bis 3C stellen symbolisch einen Benutzer dar, der eine Geste zum Ändern eines Lenkwinkels des Kraftfahrzeugs ausführt; 3A to 3C symbolically represent a user who makes a gesture to change a steering angle of the motor vehicle;

4 stellt symbolisch eine Gesichtserkennung eines Benutzers dar; 4 symbolically represents a face recognition of a user;

5 zeigt eine mögliche Anordnung einer Tiefenkamera und einer Videokamera an einem Kraftfahrzeug gemäß einer Ausführungsform. 5 shows a possible arrangement of a depth camera and a video camera on a motor vehicle according to one embodiment.

Die 1 zeigt ein System zur gestenbasierten Steuerung einer Bewegung eines Kraftfahrzeugs 60 durch einen Benutzer, der sich außerhalb des Kraftfahrzeugs befindet, gemäß einer bevorzugten Ausführungsform. The 1 shows a system for gesture-based control of movement of a motor vehicle 60 by a user located outside the motor vehicle according to a preferred embodiment.

Wie in der 1 dargestellt, weist das System eine Tiefenkamera 10, eine Gestenerkennungseinheit 20 und eine Steuereinrichtung 20 auf.Like in the 1 shown, the system has a depth camera 10 , a gesture recognition unit 20 and a controller 20 on.

Die Tiefenkamera 10 ist am Kraftfahrzeug 60 so angeordnet, dass sie zumindest einen Bereich in der Umgebung des Kraftfahrzeugs umfasst, wie beispielsweise einen Bereich in der Nähe der Fahrertür. Es können auch mehrere Tiefenkameras 10 vorgesehen sein, so dass vorzugsweise die gesamte Umgebung im Bereich von 360 Grad um das Kraftfahrzeug 60 durch die Tiefenkameras 10 abgedeckt und erfasst wird.The depth camera 10 is on the motor vehicle 60 arranged so that it comprises at least one area in the vicinity of the motor vehicle, such as an area near the driver's door. There can also be several depth cameras 10 be provided, so that preferably the entire environment in the range of 360 degrees to the motor vehicle 60 through the depth cameras 10 is covered and recorded.

Die Tiefenkamera 10 kann beispielsweise an oder in einem Dachholm des Kraftfahrzeugs angeordnet sein, wie in der 5 dargestellt, oder in einem Rückspiegelgehäuse, in einer A-, B- oder C-Säule, in einer Heckklappe oder in einer Dachleiste des Kraftfahrzeugs integriert sein.The depth camera 10 can be arranged for example on or in a roof rail of the motor vehicle, as in the 5 represented, or be integrated in a rearview mirror housing, in an A, B or C-pillar, in a tailgate or in a roof rail of the motor vehicle.

Die Tiefenkamera 10 kann 3D Bilddaten in Form einer Tiefenkarte bereitstellen. Zu diesem Zweck kann die Tiefenkamera 10 mit einer Quelle für moduliertes und/oder strukturiertes Licht, insbesondere Infrarotlicht, ausgestattet sein, welche den überwachten Bereich beleuchtet. Bei der Verwendung modulierten Lichts kann die Laufzeit zwischen Aussenden und Empfangen des Lichts, englisch: „Time-of-Flight” ausgewertet werden, um die gewünschte Tiefeninformation zu ermitteln. Alternativ oder ergänzend kann strukturiertes Licht verwendet werden, bei dem das Licht in Form eines Musters, etwa eines Rasters, eines Lichtstreifens oder einer definierten Punktmatrix, ausgesendet wird, wobei aus den reflektierten und erfassten Werten die gewünschte Tiefeninformation trianguliert werden kann. Die Fähigkeit einer Tiefenkamera, eine Tiefenkarte bereitzustellen, erlaubt eine einfache und direkte Tiefenbildsegmentierung, um Personen und deren Gliedmaße und Bewegungen zu erkennen. Es ist daher möglich, eine sehr zuverlässige Erkennung auch in einem Bereich von einigen Metern bis zu etwa 10 Metern Entfernung vom Kraftfahrzeug 60 zu erzielen.The depth camera 10 can provide 3D image data in the form of a depth map. For this purpose, the depth camera 10 be equipped with a source of modulated and / or structured light, in particular infrared light, which illuminates the monitored area. When using modulated light, the transit time between sending and receiving the light, English: "Time-of-Flight" are evaluated to determine the desired depth information. Alternatively or additionally, structured light can be used, in which the light is emitted in the form of a pattern, such as a grid, a light stripe or a defined dot matrix, wherein the desired depth information can be triangulated from the reflected and detected values. The ability of a depth camera to provide a depth map allows for simple and direct depth image segmentation to detect individuals and their limbs and movements. It is therefore possible, a very reliable detection even in a range of a few meters up to about 10 meters from the motor vehicle 60 to achieve.

Als Tiefenkamera 10 kann auch ein Stereokamerasystem verwendet werden.As a depth camera 10 You can also use a stereo camera system.

Die von der Tiefenkamera oder den Tiefenkameras 10 erfassten Tiefenbilder werden der Gestenerkennungseinheit 20 zugeführt. Die Gestenerkennungseinheit 20 führt eine Verarbeitung der Tiefenbilder durch, um in den Tiefenbildern Positionen und/oder Bewegungen des Körpers, des Oberkörpers oder des Kopfes, sowie von Armen oder Beinen eines Benutzers identifizieren. Basierend darauf identifiziert die Gestenerkennungseinheit 20, durch einen Vergleich mit vordefinierten Gesten, die in einer (nicht dargestellten) Gestenspeichereinheit gespeichert sind, ob der Benutzer eine der gespeicherten, vordefinierten Gesten ausführt. Falls dies der Fall ist, wird die Geste als eine erkannte Geste bestimmt.The ones from the depth camera or the depth cameras 10 Captured depth images become the gesture recognition unit 20 fed. The gesture recognition unit 20 performs processing of the depth images to identify in the depth images positions and / or movements of the body, upper body or head, as well as the arms or legs of a user. Based on this, the gesture recognition unit identifies 20 by comparing with predefined gestures stored in a gesture memory unit (not shown) whether the user is executing one of the stored predefined gestures. If so, the gesture is determined to be a recognized gesture.

Nachdem die Geste erkannt wurde, steuert die Steuereinheit 60 die entsprechende Bewegung des Kraftfahrzeugs. Die Steuereinheit 60 kann dabei beispielsweise auf die selben Steuergeräte, Algorithmen und Methoden zurückgreifen, die von bekannten Parkassistenten verwendet werden, um den Antrieb des Kraftfahrzeugs anzusteuern und die Räder in Bewegung zu setzen, oder einen Lenkwinkel zu verändern.After the gesture has been detected, the control unit controls 60 the corresponding movement of the motor vehicle. The control unit 60 For example, it can use the same control units, algorithms and methods used by known parking assistants to control the drive of the motor vehicle and set the wheels in motion, or to change a steering angle.

Der Benutzer ist daher in der Lage, durch Gesten eine Bewegung des Kraftfahrzeugs 60 zu veranlassen.The user is therefore capable of gesturing movement of the motor vehicle 60 to induce.

Wurde beispielsweise das Kraftfahrzeug eingeparkt und wird, nach dem Aussteigen festgestellt, dass das Kraftfahrzeugt 60 zu nah an einem davor oder dahinter parkenden Fahrzeug steht, so kann die gestenbasierte Steuerung aktiviert werden und das Kraftfahrzeug mittels einer Geste „weggeschoben” werden, wie mit Bezug auf die 2A bis 2C näher erläutert werden wird.If, for example, the motor vehicle has been parked and, after getting out of the car, it is detected that the motor vehicle is turning off 60 is too close to a vehicle parked in front of or behind it, the gesture-based control can be activated and the motor vehicle "pushed away" by means of a gesture, as with respect to the 2A to 2C will be explained in more detail.

In der 2A ist ein Benutzer dargestellt, der eine Position seitlich des Kraftfahrzeugs 60 eingenommen hat. Der Benutzer führt eine Geste aus, bei der er oder sie beide Unterarme im Wesentlichen parallel zueinander in einer Ebene im Wesentlichen horizontal zum Boden hält und je einem Finger jeder Hand ausgestreckt hat. Der Benutzer kann nun die Hände bei weiter paralleler Haltung der Unterarme nach links oder nach rechts bewegen, um das Kraftfahrzeug in die durch die Bewegung der Geste angedeutete Richtung nach vorne oder nach hinten zu bewegen, wie in den 2B und 2C dargestellt.In the 2A a user is shown having a position to the side of the motor vehicle 60 has taken. The user performs a gesture in which he or she holds both forearms substantially parallel to each other in a plane substantially horizontal to the ground and has one finger of each hand extended. The user can now move his hands to the left or to the right while the forearms continue to move in parallel to move the vehicle forwards or backwards in the direction indicated by the movement of the gesture, as in FIGS 2 B and 2C shown.

Auf diese Weise ist es einem Benutzer auf einfache Weise möglich, ein Kraftfahrzeug 60 zu versetzen und umzuparken, etwa nach dem Aussteigen und nachdem festgestellt wurde, dass das Kraftfahrzeug nah an einem davor parkenden Fahrzeug liegt, indem das Kraftfahrzeug mittels einer Hand- oder Fingergeste entsprechend „verschoben” wird.In this way, it is possible for a user in a simple manner, a motor vehicle 60 to put and umupupen, for example, after getting off and after it has been determined that the motor vehicle is close to a parked in front of the vehicle by the motor vehicle by means of a hand or finger gesture corresponding "postponed".

Wie in dem Beispiel der 2A bis 2C gezeigt, ist es bevorzugt, dass der Benutzer die Geste zum Vorwärts-/Rückwärtsbewegen des Kraftfahrzeugs mit beiden Händen ausführt, die im Wesentlichen parallel zueinander gehalten werden. Die Verwendung einer beidhändigen Geste hat den Vorteil, dass die Geste nicht leicht mit einer Handbewegung verwechselt wird, die ein Benutzer zufällig ausführt, so dass die Wahrscheinlichkeit einer ungewollten Bedienung vermindert wird, so dass die Betriebssicherheit erhöht wird.As in the example of 2A to 2C As shown, it is preferable that the user makes the gesture of moving the vehicle forward / backward with both hands held substantially in parallel with each other. The use of an ambidextrous gesture has the advantage that the gesture is not easy with a hand movement is confused, which runs a user at random, so that the likelihood of unwanted operation is reduced, so that the reliability is increased.

Um die Betriebssicherheit weiter zu erhöhen, kann die Gestenerkennungseinheit 30 eingerichtet sein, einen relativen oder absoluten Abstand der Hände zueinander zu bestimmen. Wenn sich während der Ausführung der Geste der Abstand um mehr als einen vorbestimmten relativen oder absoluten Schwellenwert ändert, etwa weil der Benutzer während der Ausübung der Geste gestört oder abgelenkt wird, kann die Steuereinheit 30 die Steuerung der Bewegung des Kraftfahrzeugs 60 abbrechen.To further increase operational safety, the gesture recognition unit can 30 be set up to determine a relative or absolute distance of the hands to each other. If during the execution of the gesture the distance changes by more than a predetermined relative or absolute threshold, for example because the user is disturbed or distracted during the exercise of the gesture, the control unit may 30 the control of the movement of the motor vehicle 60 abort.

Es ist weiter bevorzugt, dass das System auch Sensoren (nicht dargestellt) aufweist, oder auf bereits im Kraftfahrzeug vorgesehene Sensoren zugreifen kann, mit denen Hindernisse vor oder hinter dem Kraftfahrzeug 60 erkannt werden können. Die Sensoren können beispielsweise Ultraschallsensoren oder optische Kamerasysteme sein, wie sie in bekannten Parkassistenzsystemen verwendet werden. Wenn mittels der Sensoren erkannt wird, dass bei einer durch die Hand- oder Fingergeste befohlenen Bewegung des Kraftfahrzeugs 60 eine Kollision mit einem Hindernis droht, kann die Steuereinrichtung 60 die Steuerung der Ausführung der Bewegung unterlassen oder abbrechen.It is further preferred that the system also has sensors (not shown), or can access sensors already provided in the motor vehicle, with which obstacles in front of or behind the motor vehicle 60 can be recognized. The sensors can be, for example, ultrasonic sensors or optical camera systems, as used in known parking assistance systems. If it is detected by the sensors, that in a commanded by the hand or finger gesture movement of the motor vehicle 60 a collision with an obstacle threatens, the control device 60 refrain from or cancel the control of the execution of the movement.

Die 3A bis 3C zeigen einen Benutzer, der einen Lenkwinkel des Kraftfahrzeugs verstellt. Dazu führt der Benutzer eine Geste aus, bei der er oder sie mit einem ausgestreckten Finger eine kreisförmige Bewegung etwa auf Kopfhöhe ausführt. Je nach Drehrichtung der kreisförmigen Bewegung wird, entsprechend einem Drehen eines Lenkrads, der Lenkwinkel verstellt und die Räder des Kraftfahrzeugs in die entsprechende Richtung gelenkt.The 3A to 3C show a user who adjusts a steering angle of the motor vehicle. To do this, the user executes a gesture in which he or she performs a circular motion at about head height with an outstretched finger. Depending on the direction of rotation of the circular movement, the steering angle is adjusted in accordance with a turning of a steering wheel and steered the wheels of the motor vehicle in the appropriate direction.

Anstelle der in 2A bis 2C und 3A bis 3C gezeigten Gesten, in der der Benutzer einen Finger der Hand bzw. der Hände ausgestreckt hält, ist es auch möglich, Gesten zu verwenden, in denen statt des gestreckten Fingers die Hände ausgestreckt sind.Instead of in 2A to 2C and 3A to 3C It is also possible to use gestures in which the user holds out a finger of the hand or hands, gestures in which instead of the extended finger the hands are stretched out.

Auf diese Weise wird der Benutzer in die Lage versetzt, auch kompliziertere Rangiervorgänge des Kraftfahrzeugs 60 mittels einfacher Hand- oder Fingergesten vorzunehmen.In this way, the user is enabled, even more complicated Rangiervorgänge the motor vehicle 60 make by simple hand or finger gestures.

Mit Bezug wieder auf die 1 kann das System optional auch eine oder mehrere Videokameras 40 aufweisen, die vorzugsweise so am oder im Kraftfahrzeug 60 angeordnet sind, Videobilder für zumindest den Bereich zu erfassen, der von der oder von den Tiefenkameras 10 abgedeckt wird. Die Videobilder stellen farbige 2D Bewegtbilder dar, die von einer Videoverarbeitungseinheit 50 verarbeitet werden können.Referring again to the 1 Optionally, the system can also have one or more video cameras 40 preferably on or in the motor vehicle 60 are arranged to capture video images for at least the area taken by or from the depth cameras 10 is covered. The video images represent colored 2D motion pictures taken by a video processing unit 50 can be processed.

Vorzugsweise ist der Videoverarbeitungseinheit 50 eine Gesichtsdatenspeichereinheit (nicht dargestellt) zugeordnet, in welcher Gesichtsdaten für einen oder für mehrere Benutzer als autorisierte Benutzer gespeichert sind, und die Videoverarbeitungseinheit 50 kann eingerichtet sein, basierend auf den gespeicherten Gesichtsdaten, eine Gesichtserkennungsverarbeitung auf den Videobildern auszuführen, um festzustellen, ob in den Videobildern zumindest ein autorisierter Benutzer erfasst wurde. Falls dies der Fall ist, kann die Videoverarbeitungseinheit 50 zusätzlich bestimmen, in welchem Positionsbereich sich der autorisierte Benutzer befindet.Preferably, the video processing unit is 50 associated with a face data storage unit (not shown) in which face data for one or more users are stored as authorized users, and the video processing unit 50 may be configured, based on the stored face data, to perform face recognition processing on the video images to determine whether at least one authorized user has been detected in the video images. If so, the video processing unit may 50 additionally determine in which position range the authorized user is located.

Dies ist beispielhaft in der 4 dargestellt, die zeigt, wie ein Benutzer von der Videokamera 40 erfasst wird und auf den erfassten Videobildern eine Gesichtserkennungsoperation ausgeführt wird, um zu Bestimmen, ob der Benutzer ein autorisierter Benutzer ist oder nicht. Die Gesichtserkennung kann vorteilhaft dazu verwendet werden, um eine gestenbasierte Bewegung des Kraftfahrzeugs 60 nur zu gestatten, wenn ein autorisierter Benutzer erkannt wurde.This is exemplary in the 4 shown, which shows how a user of the video camera 40 and a facial recognition operation is performed on the captured video images to determine whether or not the user is an authorized user. The face recognition can be used advantageously to a gesture-based movement of the motor vehicle 60 to allow only if an authorized user has been detected.

Die Gesichtserkennung autorisierter Benutzer kann auch dazu verwendet werden, um bei Anwesenheit mehrerer Personen nur solche Gesten zu erkennen, zu verarbeiten und zur Steuerung zu verwenden, die von einer autorisierten Person stammen, und Gesten anderer Personen zu ignorieren. Dies kann beispielsweise dadurch erreicht werden, dass der mit der Gesichtserkennung mittels der Videoverarbeitungsbereich bestimmte Positionsbereich der Tiefenkamera 10 und/oder der Gestenerkennungseinheit 20 mitgeteilt wird, so dass eine Gestenerkennung nur für den Positionsbereich ausgeführt wird und Gesten, die von Personen außerhalb des Positionsbereichs ausgeführt werden, nicht dazu führen, dass eine Geste erkannt wird.The authorized user's face recognition may also be used to detect, process and control, in the presence of more than one person, only gestures originated by an authorized person and to ignore others' gestures. This can be achieved, for example, in that the position range of the depth camera determined by the face recognition by means of the video processing area 10 and / or the gesture recognition unit 20 gesture recognition is performed only for the location area and gestures performed by people outside the location area will not cause a gesture to be detected.

Die Videoerfassung und Videoverarbeitung mittels der Videokamera 40 und der Videoverarbeitungseinheit 50 kann auch dazu verwendet werden, um die Gestenerkennung zu aktivieren. So kann zum Beispiel erkannt werden, ob sich eine beliebige Person, oder alternativ ein autorisierter Benutzer dem Kraftfahrzeug 60 nähert, um in Antwort darauf die Gestenerkennung zu aktivieren, zum Beispiel durch einschalten und aktivieren der Tiefenkamera 10 und der Gestenerkennungseinheit 20. Auf diese Weise kann ein unnötiger Betrieb der Gestenerkennung vermieden werden.Video capture and video processing using the video camera 40 and the video processing unit 50 can also be used to enable gesture recognition. For example, it can be recognized whether any person, or alternatively an authorized user, is the motor vehicle 60 In response, it activates gesture recognition, for example, by turning on and activating the depth camera 10 and the gesture recognition unit 20 , In this way, unnecessary operation of the gesture recognition can be avoided.

Das System kann optional auch eine Empfangseinrichtung (nicht dargestellt) zur Erfassung von Funksignalen eines Funkschlüssels aufweisen, sowie eine Zugangsautorisierungseinrichtung (nicht dargestellt), die bestimmt, ob ein erfasster Funkschlüssel dem Kraftfahrzeug 60 zugeordnet ist. Das passive Vorhandensein eines zugeordneten Funkschlüssels, oder alternativ das aktive Betätigen einer Taste des Funkschlüssels können dazu verwendet werden, um die gestenbasierte Steuerung der Bewegung des Kraftfahrzeugs 60 zu aktivieren. Insbesondere kann dies dazu verwendet werden, die Gestenerkennung und/oder die Gesichtserkennung zu aktivieren. Auf diese Weise kann ein unnötiger Betrieb der Gestenerkennung vermieden werden.Optionally, the system may also have a receiving device (not shown) for detecting radio signals of a radio key, and an access authorization device (not shown) that determines whether a detected radio key is to the motor vehicle 60 assigned. The passive presence of an associated radio key, or alternatively the active actuation of a key of the radio key, can be used to control the gestures of the movement of the motor vehicle 60 to activate. In particular, this can be used to activate gesture recognition and / or face recognition. In this way, unnecessary operation of the gesture recognition can be avoided.

Zur Aktivierung der gestenbasierten Steuerung ist es auch denkbar, ein Smartphone zu verwenden, auf der eine entsprechende Software App installiert ist.To activate the gesture-based control, it is also conceivable to use a smartphone on which a corresponding software app is installed.

Bevorzugt kann das System auch so eingerichtet sein, dass die Steuerung der Bewegung des Kraftfahrzeugs 60 zunächst aktiviert werden muss, indem der Benutzer eine vordefinierte Aktivierungsgeste ausübt. Auf diese Weise kann ein besserer Schutz gegen unerwünschte Steuerung auf Grund von unbeabsichtigt ausgeübten Bewegungen, die fälschlich als Steuerungsgesten interpretiert werden, erreicht werden.Preferably, the system can also be set up so that the control of the movement of the motor vehicle 60 must first be activated by the user exercising a predefined activation gesture. In this way, a better protection against unwanted control due to unintentionally exercised movements that are misinterpreted as control gestures can be achieved.

Wenn zur Aktivierung der gestenbasierten Steuerung mehrere der möglichen Aktivierungsverfahren kombiniert werden, etwa dass eine Aktivierung sowohl die Erkennung einer autorisierten Person, den Funkschlüssel und die Aktivierungsgeste erfordert, dann kann ein besonders gut gegen unautorisierte und unerwünschte Benutzung gesicherter Betrieb des Systems erzielt werden.If several of the possible activation methods are combined to activate the gesture-based control, such that activation requires both authorized person recognition, the radio key, and the activation gesture, then a system operation that is particularly well secured against unauthorized and unwanted use can be achieved.

Die Steuereinheit 20 kann auch eingerichtet sein, optische und/oder akustische Signaleinrichtungen 60 des Kraftfahrzeugs anzusteuern, wie Lichter, Blinker oder Hupe, um dem Benutzer eine Rückmeldung zu geben. Dies kann beispielsweise erfolgen, um die Erkennung einer Geste, oder um anzuzeigen, dass eine Geste nicht erkannt wurde, oder dass eine Geste zwar erkannt wurde, aber der entsprechende Steuerbefehl nicht ausgeübt wird, weil der Benutzer nicht autorisiert ist, oder dass ein Hindernis erkannt wurde und die Steuerung der Bewegung aus diesem Grund nicht ausgeführt oder abgebrochen wird.The control unit 20 can also be set up, optical and / or acoustic signaling devices 60 of the motor vehicle, such as lights, turn signals or horn to give the user feedback. This can be done, for example, to detect the recognition of a gesture, or to indicate that a gesture has not been recognized, or that a gesture has been recognized, but the corresponding control command is not exercised because the user is unauthorized or that an obstacle is detected For this reason, control of the movement is not executed or aborted.

In einer weiteren Ausführungsform kann die Gestenerkennungseinheit 30 auch eine Geschwindigkeit zu bestimmen, mit der ein Benutzer die Geste ausführt, wie zum Beispiel die Geschwindigkeit, mit der der Benutzer parallelen Arme zur Seite schwenkt. Die so ermittelte Geschwindigkeit kann von der Steuereinrichtung 50 mit einem vorbestimmten Schwellwert verglichen werden, um abhängig davon die zugeordnete Bewegung des Kraftfahrzeugs 60 auszuführen oder nicht auszuführen. So kann die Steuereinrichtung 50 beispielsweise bei einer schnellen Geste, deren Geschwindigkeit über dem vorbestimmten Schwellwert liegt, die Geste als eine unbedacht oder ungewollt ausgeführte Geste interpretieren, wie einer in Überraschung oder im Schreck ausgeführten plötzlichen Bewegung des Benutzers, die nicht zur Steuerung des Kraftfahrzeugs gedacht ist.In a further embodiment, the gesture recognition unit 30 Also, determine a speed at which a user makes the gesture, such as the speed at which the user pans parallel arms to the side. The speed determined in this way can be determined by the control device 50 be compared with a predetermined threshold, depending on the associated movement of the motor vehicle 60 to execute or not to execute. So the control device 50 for example, in the case of a quick gesture whose speed is above the predetermined threshold, interpret the gesture as a careless or involuntary gesture, such as a surprise or frightening sudden movement of the user that is not intended to control the vehicle.

In der vorstehenden Beschreibung wurden zur Erläuterung verschiedene Beispiele von möglichen Gesten beschrieben. Diese Beispiele sind jedoch nicht beschränkend und es können viele andere Gesten erdacht werden, um eine Bewegung eines Kraftfahrzeugs zu steuern.In the foregoing description, various examples of possible gestures have been described by way of illustration. However, these examples are not limiting and many other gestures may be devised to control movement of a motor vehicle.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102011003881 A1 [0007]
DE 102004027869 A1 [0007]
DE 102008018186 A1 [0009]

Claims

System for gesture-based control of movement of a motor vehicle ( 60 ) by a user outside the motor vehicle ( 60 ), comprising: at least one on the motor vehicle ( 60 ) arranged depth camera ( 10 ) for capturing depth images in at least one area outside the motor vehicle ( 60 ); a gesture recognition unit ( 20 ), which is set up by the depth camera ( 10 ), from the depth images identify a gesture of the user and compare it to a set of predefined gestures, wherein when the identified gesture is recognized as one of the predefined gestures, the gesture recognition unit ( 20 ) determines the identified gesture as a recognized gesture; and a control unit ( 30 ), which is arranged, in response to the detected gesture, a movement of the motor vehicle associated with the detected gesture ( 60 ) to control.

The system of claim 1, further comprising at least one video camera ( 40 ), wherein the at least one video camera ( 40 ) is arranged, at least that of the at least one depth camera ( 10 ) to capture captured area to output video images of the detected area; a face data storage unit ( 70 ) in which facial data is stored for at least one user as an authorized user; and a video processing unit ( 50 ), which is set up by the video camera ( 40 ) to process and recognize captured video images based on the facial data stored in the facial data storage unit, whether at least one authorized user has been detected, preferably with a determination of a position range of the authorized user.

A system according to claim 2, wherein the control by the control unit ( 50 ) is activated in response to the determination of the video processing unit ( 50 ) that an authorized user was detected.

The system of claim 2 or 3, wherein the system performs gesture recognition only to a user designated as an authorized user.

The system of any one of claims 2 to 4, wherein the system, when a plurality of users in the of the at least one depth camera ( 10 Detected area only performs a recognition of gestures only for a user who in one of the video processing unit ( 50 ) is a certain position range of an authorized user.

The system of any one of claims 1 to 5, wherein the set of predefined gestures comprises an activation gesture, and wherein the control by the control unit (16) comprises: 50 ) is activated after the activation gesture is detected.

System according to one of claims 1 to 6, wherein the control by the control unit ( 50 ) is activated after a signal of a radio key assigned to the motor vehicle has been received.

The system of any one of claims 1 to 7, wherein the set of predefined gestures comprises a hand or finger gesture of both hands, the user pointing to the motor vehicle and moving both hands in a direction in which the motor vehicle is to be moved, and wherein the control unit ( 50 ) in response to this gesture the motor vehicle ( 60 ) so that it moves forward or backward accordingly.

A system according to any one of claims 1 to 8, wherein the set of predefined gestures comprises a circular hand or finger gesture, and wherein the control unit ( 50 ) in response to this gesture, a steering angle the motor vehicle ( 60 ) according to the direction of rotation of the gesture.

System according to one of claims 1 to 9, wherein the gesture recognition unit ( 30 ) is further configured to determine a speed at which the detected gesture is executed; and wherein the control device ( 50 ) does not control the controller associated with the gesture when the determined speed is above a predetermined threshold.

A system according to any one of claims 1 to 10, wherein the system comprises a plurality of depth cameras ( 10 ) arranged to detect a region of substantially 360 degrees around the motor vehicle.

A system according to any one of claims 1 to 11, wherein the system further comprises sensors for detecting obstacles in front of and / or behind the motor vehicle, and wherein the control device ( 50 ) controlling the movement of the motor vehicle ( 60 ) interrupts when an obstacle is detected.

Motor vehicle ( 60 ), comprising: a system according to any one of claims 1 to 12.

Method for gesture-based control of a movement of a motor vehicle ( 60 ) by a user outside the motor vehicle ( 60 ), comprising the steps of: detecting depth images for at least one area outside the motor vehicle ( 60 ) by at least one depth camera arranged on the motor vehicle ( 10 ); Recognition of at least one predefined gesture that is performed by the user in the detected area by a gesture recognition unit ( 20 ); if by the gesture recognition unit ( 20 ) a predefined gesture is detected, controlling a movement of the motor vehicle associated with the detected gesture ( 60 ) by a control unit ( 20 ).

The method of claim 14, further comprising the steps of: detecting radio signals of a radio key and determining whether the radio key is the motor vehicle ( 60 ) assigned; if it is determined that the radio key is assigned to the motor vehicle, activate at least one video camera ( 40 ); Capturing video images for the at least one area outside the motor vehicle ( 60 ) by the at least one video camera ( 40 ); Processing the captured video images and detecting whether at least one authorized user has been detected in the captured video images based on face data stored for at least one user as an authorized user with a determination of a position range of the authorized user when an authorized user has been detected , Activating the at least one depth camera ( 10 ); Recognition of a predefined activation gesture in a location area determined for the detected authorized user, and in response to detection of the activation gesture, releasing the vehicle movement control (FIG. 60 ); and detecting obstacles in front of and / or behind the motor vehicle and when an obstacle is detected, interrupting the control of the movement of the motor vehicle ( 60 ); wherein the set of predefined gestures comprises a hand or finger gesture of both hands, the user pointing to the motor vehicle and moving both hands in a direction in which the motor vehicle is to be moved, and wherein the control unit ( 50 ) in response to this gesture the motor vehicle ( 60 ) so that it moves forward or backward as appropriate, and includes a circular hand or finger gesture, and wherein the control unit ( 50 ) in response to this gesture, a steering angle the motor vehicle ( 60 ) according to the direction of rotation of the gesture.