DE102013000071A1 - Method for synchronizing data between devices integrated in motor car and mobile terminal, involves transmitting synchronization data for detecting predetermined gesture command comprised in free space by running movement of operator hand - Google Patents

Method for synchronizing data between devices integrated in motor car and mobile terminal, involves transmitting synchronization data for detecting predetermined gesture command comprised in free space by running movement of operator hand Download PDF

Info

Publication number
DE102013000071A1
DE102013000071A1 DE201310000071 DE102013000071A DE102013000071A1 DE 102013000071 A1 DE102013000071 A1 DE 102013000071A1 DE 201310000071 DE201310000071 DE 201310000071 DE 102013000071 A DE102013000071 A DE 102013000071A DE 102013000071 A1 DE102013000071 A1 DE 102013000071A1
Authority
DE
Germany
Prior art keywords
data
gesture
mobile terminal
motor vehicle
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE201310000071
Other languages
German (de)
Other versions
DE102013000071B4 (en
Inventor
Michael Schlittenbauer
Lorenz Bohrer
Martin Roehder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102013000071.8A priority Critical patent/DE102013000071B4/en
Publication of DE102013000071A1 publication Critical patent/DE102013000071A1/en
Application granted granted Critical
Publication of DE102013000071B4 publication Critical patent/DE102013000071B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • B60K35/29—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B60K2360/182—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

The method involves selecting the user data to be synchronized at one of the devices. The synchronization data is exchanged between the device (12) and mobile terminal through the data connection. One portion of the synchronization data is comprised with the selected data. The synchronization data is transmitted for detecting a predetermined gesture command by gesture recognition unit (10) of one of the devices. The gesture command is comprised in a free space (22) by running movement of the hand (24) of an operator. An independent claim is included for computer program product for synchronizing data between devices integrated in motor car and mobile terminal.

Description

Die Erfindung betrifft ein Verfahren zum Synchronisieren von Nutzdaten zwischen einem Gerät, das in ein Kraftfahrzeug integriert ist, und einem mit dem im Kraftfahrzeug integrierten Gerät über eine Datenverbindung kommunizierenden mobilen Endgerät, wie etwa einem Smartphone oder einem Tablet-PC. Bei dem in das Kraftfahrzeug integrierten Gerät kann es sich beispielsweise um ein Infotainmentsystem des Kraftfahrzeugs handeln. Zu der Erfindung gehören auch ein Kraftfahrzeug, welches zum Austauschen von Nutzdaten mit einem mobilen Endgerät ausgelegt ist, ein Computerprogrammprodukt, durch welches ein mobiles Endgerät zu einer Datensynchronisation mit einem Kraftfahrzeug befähigt wird, sowie ein mobiles Endgerät.The invention relates to a method for synchronizing user data between a device which is integrated in a motor vehicle, and a mobile terminal which communicates with the device integrated in the motor vehicle via a data connection, such as a smartphone or a tablet PC. The device integrated in the motor vehicle can be, for example, an infotainment system of the motor vehicle. The invention also includes a motor vehicle, which is designed to exchange user data with a mobile terminal, a computer program product, by means of which a mobile terminal is enabled for data synchronization with a motor vehicle, and a mobile terminal.

Das Synchronisieren von Nutzdaten zwischen einem mobilen Endgerät einerseits und ein Infotainmentsystem eines Kraftfahrzeugs andererseits ist aus dem Stand der Technik im Zusammenhang mit der mobilen Telefonie und der Wiedergabe von Musikdaten bekannt. Hierzu wird das mobile Endgerät, also beispielsweise ein Smartphone, über eine Datenverbindung mit dem Infotainmentsystem gekoppelt. Bei der Datenverbindung kann es sich beispielsweise um eine Bluetooth-Funkverbindung oder eine WLAN-Funkverbindung (WLAN – Wireless Local Area Network) oder aber auch um eine kabelgebundene Datenverbindung, wie etwa eine USB-Verbindung (USB – Universal Serial Bus), handeln. Eine Bedienperson, also beispielsweise der Fahrer, kann dann an dem mobilen Endgerät oder an dem Infotainmentsystem Telefonbucheinträge auswählen und zu den ausgewählten Einträgen eine Synchronisationsfunktion aktivieren. Die ausgewählten Telefonbucheinträge werden dann an das jeweils andere Gerät übertragen und dort in eine Adressdatenbank eingetragen. In gleicher Weise ist es möglich, Musikdaten, also beispielsweise MP3-Audiodateien, auszuwählen und durch einen Synchronisationsbefehl in eine entsprechende Datenbank des anderen Geräts übertragen zu lassen.The synchronization of user data between a mobile terminal on the one hand and an infotainment system of a motor vehicle on the other hand is known from the prior art in the context of mobile telephony and the reproduction of music data. For this purpose, the mobile terminal, so for example a smartphone, coupled via a data link with the infotainment system. The data connection can be, for example, a Bluetooth radio connection or a WLAN radio connection (WLAN) or else a wired data connection, such as a USB connection (USB - Universal Serial Bus). An operator, for example the driver, can then select telephone book entries on the mobile terminal or on the infotainment system and activate a synchronization function for the selected entries. The selected phonebook entries are then transferred to the other device and entered there in an address database. In the same way, it is possible to music data, so for example MP3 audio files to select and have transmitted by a synchronization command in a corresponding database of the other device.

Die Synchronisation umfasst dabei in der Regel vor der Übertragung der eigentlichen Nutzdaten, also der Telefonbucheinträge bzw. der Musikdateien, eine Überprüfung, ob diese Nutzdaten bereits im anderen Gerät vorhanden sind. Stimmen die Nutzdaten in beiden Geräten überein, so kann das eigentliche Übertragen der Nutzdaten unterbleiben. Die Übereinstimmung kann beispielsweise anhand von Zeitstempeln festgestellt werden.The synchronization usually includes before the transmission of the actual user data, so the phone book entries or music files, a check whether this user data already exists in the other device. If the user data match in both devices, then the actual transmission of the user data can be omitted. The match can be determined, for example, by means of time stamps.

Um es der Bedienperson zu ermöglichen, nach der Auswahl der zu synchronisierenden Nutzdaten die eigentliche Synchronisationsfunktion an einem der Geräte auszulösen, ist in der Regel eine Betätigung definierter Funktionstasten nötig. Um Tastenbetätigungen zu sensieren, ist heute je Taste ein elektrischer oder kapazitiver Schalter notwendig. Anstelle eines mechanischen Tasters kann auch eine Bedienfläche auf einem Bildschirm angezeigt werden, die dann durch Antippen der Bedienfläche oder durch Auswählen mittels eines Cursors aktiviert werden kann. Funktionen sind so immer rein örtlich betrachtet auf die Oberfläche des mechanischen Tasters begrenzt.In order to enable the operator to trigger the actual synchronization function on one of the devices after selecting the user data to be synchronized, an actuation of defined function keys is usually necessary. In order to sense key presses, today each key requires an electrical or capacitive switch. Instead of a mechanical button and a control surface can be displayed on a screen, which can then be activated by tapping the control surface or by selecting with a cursor. Functions are always limited to the surface of the mechanical button.

Aus der US 2011/0286676 A1 ist eine Gestenerkennungseinrichtung für ein Kraftfahrzeug bekannt, welche mittels einer TOF-Kamera (TOF – Time of Flight) 3D-Bilddaten zu einem Körperteil einer in einem Kraftfahrzeug befindlichen Person erzeugt und anhand der 3D-Bilddaten eine Gestenerkennung durchführt. Es wird zwischen dynamischen und statischen Gesten unterschieden. Mittels einer Geste kann ein Gerät des Kraftfahrzeugs während der Fahrt bedient werden.From the US 2011/0286676 A1 a gesture recognition device for a motor vehicle is known, which generates by means of a TOF camera (TOF - Time of Flight) 3D image data to a body part of a person in a motor vehicle and performs based on the 3D image data gesture recognition. A distinction is made between dynamic and static gestures. By means of a gesture, a device of the motor vehicle can be operated while driving.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, einer Bedienperson ohne aufwendige Bedienschritte das Synchronisieren von Nutzdaten zwischen einem Gerät eines Kraftfahrzeugs einerseits und einem mobilen Endgerät andererseits zu ermöglichen.The object of the present invention is to enable an operator to synchronize user data between a device of a motor vehicle on the one hand and a mobile terminal on the other hand without complex operating steps.

Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1, ein Kraftfahrzeug gemäß Patentanspruch 8, ein Computerprogrammprodukt gemäß Patentanspruch 9 und ein mobiles Endgerät gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The object is achieved by a method according to claim 1, a motor vehicle according to claim 8, a computer program product according to claim 9 and a mobile terminal according to claim 10. Advantageous developments of the invention are given by the dependent claims.

Durch die Erfindung wird das Synchronisieren von Nutzdaten zwischen einem in einem Kraftfahrzeug integrierten Gerät einerseits und einem mit diesem Gerät über eine Datenverbindung kommunizierenden mobilen Endgerät andererseits ermöglicht, indem eine Bedienperson eine entsprechende Befehlsgeste zum Auslösen der Synchronisation ausführt. Im Zusammenhang mit der Erfindung ist unter einer Befehlsgeste eine Bewegung zu verstehen, welche eine frei im Raum ausgeführte Bewegung einer Hand der Bedienperson umfasst. Beispielsweise kann also die Bedienperson einen Bildschirm eines Smartphones mit einem Finger berühren und dann eine Wischbewegung durch die Luft in Richtung des Infotainmentsystems ausführen. Dies ist eine eindeutig zuordenbare und intuitive Geste, anhand welcher sich bereits der Wunsch der Bedienperson erkennen lässt, Nutzdaten von dem Smartphone an das Infotainmentsystem zu übertragen.By means of the invention, the synchronization of useful data between a device integrated in a motor vehicle on the one hand and a mobile terminal communicating with this device via a data connection on the other hand is made possible by an operator executing a corresponding command gesture for triggering the synchronization. In the context of the invention, a command gesture is to be understood as a movement which comprises a free movement of a hand of the operator. Thus, for example, the operator can touch a screen of a smartphone with a finger and then perform a wiping motion through the air in the direction of the infotainment system. This is a clearly attributable and intuitive gesture, on the basis of which already the desire of the operator can be seen to transmit user data from the smartphone to the infotainment system.

Das erfindungsgemäße Verfahren beruht dabei zunächst auf die aus dem Stand der Technik bekannte Konstellation, dass zwischen dem mobilen Endgerät und dem im Kraftfahrzeug integrierten Gerät eine Datenverbindung bereitgestellt ist, wie sie eingangs beschrieben wurde, also eine drahtgebundene oder drahtlose Kommunikationsverbindung, wie sie an sich bekannt sind. Eine Bedienperson wählt die zu synchronisierenden Nutzdaten an einem der Geräte aus, d. h. an dem im Fahrzeug integrierten Gerät oder an dem mobilen Endgerät. Die Synchronisation ist also bevorzugt nicht auf eine Übertragungsrichtung beschränkt. In bekannter Weise erlaubt das erfindungsgemäße Verfahren das Austauschen von Synchronisationsdaten zwischen den beiden Geräten über die Datenverbindung, wobei natürlich zumindest ein Teil der Synchronisationsdaten die ausgewählten Nutzdaten umfasst.The inventive method is based initially on the known from the prior art constellation that between the mobile terminal and integrated in the motor vehicle Device is provided a data connection, as described above, ie a wired or wireless communication connection, as they are known per se. An operator selects the user data to be synchronized on one of the devices, ie on the device integrated in the vehicle or on the mobile device. The synchronization is therefore preferably not limited to a transmission direction. In a known manner, the inventive method allows the exchange of synchronization data between the two devices via the data connection, of course, at least part of the synchronization data includes the selected user data.

Gemäß dem Grundgedanken der Erfindung wird zum Auslösen dieses Synchronisationsvorgangs nun eine vorbestimmte Befehlsgeste durch zumindest eine Gestenerkennungseinrichtung eines der Geräte erkannt. In Abhängigkeit von der erkannten Befehlsgeste werden dann die Synchronisationsdaten übertragen. Das erfindungsgemäße Verfahren sieht hierbei vor, entweder auf eine Gestenerkennungseinrichtung des mobilen Endgeräts oder auch auf eine Gestenerkennungseinrichtung des Kraftfahrzeugs oder auch auf beide gemeinsam zurückzugreifen.According to the basic idea of the invention, a predetermined command gesture is now recognized by at least one gesture recognition device of one of the devices for triggering this synchronization process. Depending on the detected command gesture then the synchronization data are transmitted. In this case, the method according to the invention envisages resorting either to a gesture recognition device of the mobile terminal or also to a gesture recognition device of the motor vehicle or to both.

Unter den Nutzdaten sind im Zusammenhang mit der Erfindung sowohl die aus dem Stand der Technik bekannten, synchronisierbaren Nutzdaten zu verstehen, also etwa Telefonbucheinträge oder Musikdateien. Bevorzugt handelt es sich bei den Nutzdaten aber auch um bisher im Zusammenhang mit einer Datensynchronisation nicht ausgetauschten Daten, nämlich Bilddaten von Fotografien und/oder Videodaten. Bevorzugt umfassen die Nutzdaten auch Anzeigedaten einer grafischen Anzeige eines der Geräte, also dessen einen Bildschirminhalt. Durch das Übertragen von Anzeigedaten als Nutzdaten (d. h. von Bildschirminhalten) ergibt sich der Vorteil, dass beispielsweise ein Bildschirminhalt eines Smartphones auf einen Bildschirminhalt eines Infotainmentsystems oder auch auf einer Head-Up-Anzeigeeinrichtung des Kraftfahrzeugs übertragen werden kann. Diese Anzeigeeinrichtungen ermöglichen in der Regel eine größere Darstellung und deshalb eine bessere Erkennbarkeit der graphischen Anzeige. Im Zusammenhang mit der Übertragung der graphischen Anzeigedaten ist unter dem „Auswählen von Nutzdaten” im Zusammenhang mit der Erfindung zu verstehen, dass es sich um den aktuellen Bildschirminhalt handelt, den der Benutzer ja zuvor einstellt.In the context of the invention, the useful data are to be understood as meaning both synchronizable useful data known from the prior art, that is to say telephone book entries or music files. Preferably, however, the payload data is also data which has not been exchanged so far in connection with a data synchronization, namely image data of photographs and / or video data. The user data preferably also includes display data of a graphical display of one of the devices, that is to say its screen content. By transferring display data as user data (that is to say from screen contents), there is the advantage that, for example, a screen content of a smartphone can be transmitted to a screen content of an infotainment system or also to a head-up display device of the motor vehicle. These display devices usually allow a larger display and therefore a better visibility of the graphical display. In connection with the transmission of the graphic display data, the "selection of user data" in connection with the invention means that it is the current screen content which the user sets in advance.

Eine besondere Schwierigkeit beim Einsatz einer Gestenerkennung im Rahmen einer Datensynchronisation ergibt sich, wenn die Auswahl der Nutzdaten einerseits und die Erkennung der Befehlsgeste andererseits in jeweils einem anderen der Geräte erfolgt. Dann liegt in einem der Geräte, beispielsweise einem Smartphone, die Information betreffend die ausgewählten Nutzdaten vor, während in dem anderen Gerät, also beispielsweise einem Infotainmentsystem des Kraftfahrzeugs, der Befehl vorliegt, Nutzdaten zu übertragen. Eine Weiterbildung des erfindungsgemäßen Verfahrens löst dieses Problem, indem durch dasjenige Gerät, durch welches die Befehlsgeste letztendlich erkannt wird, Befehlsdaten zum Anfordern der Nutzdaten an dasjenige Gerät, an welchem die Nutzdaten ausgewählt worden sind, übertragen werden. Anstatt der Befehlsdaten zum Anfordern der Nutzdaten können aber auch nur die Gestendaten übertragen werden, welche die erkannte Befehlsgeste beschreiben. Anhand der Gestendaten kann dann in demjenigen Gerät, welches bereits die Auswahl der Nutzdaten kennt, eine Zuordnung der Befehlsgeste zu den Nutzdaten erfolgen. Möchte also eine Bedienperson den Bildschirminhalt eines Smartphones auf einem Bildschirm eines Infotainmentsystems angezeigt bekommen, so kann sie hierzu die Befehlsgeste ausführen, die dann aber von einer Gestenerkennungseinrichtung des Kraftfahrzeugs erkannt wird. Hier kann nun gemäß der Erfindung vorgesehen sein, dass das Kraftfahrzeug dem Smartphone die erkannte Befehlsgeste als Gestendaten überträgt oder aber selbst die Befehlsgeste in einen Befehl übersetzt und gleich die passenden Befehlsdaten zum Anfordern des Bildschirminhalts überträgt.A particular difficulty with the use of gesture recognition in the context of a data synchronization results when the selection of the user data on the one hand and the recognition of the command gesture on the other hand takes place in each case one of the other devices. Then lies in one of the devices, such as a smartphone, the information concerning the selected user data, while in the other device, so for example an infotainment system of the motor vehicle, the command exists to transmit user data. A further development of the method according to the invention solves this problem by transmitting command data for requesting the user data to the device on which the user data has been selected by the device by which the command gesture is ultimately recognized. However, instead of the command data for requesting the payload, only the gesture data describing the recognized command gesture may be transmitted. On the basis of the gesture data can then be in the device that already knows the selection of the user data, an assignment of the command gesture to the user data. So if an operator would like to see the screen content of a smartphone displayed on a screen of an infotainment system, she can do this by executing the command gesture, which is then recognized by a gesture recognition device of the motor vehicle. It can now be provided according to the invention that the motor vehicle transmits the recognized command gesture to the smartphone as gesture data or even translates the command gesture into a command and immediately transmits the appropriate command data for requesting the screen content.

Eine besonders robuste Gestenerkennung ergibt sich gemäß einer Ausführungsform des Verfahrens durch eine kombinierte Gestenerkennung, bei welcher durch eine Gestenerkennungseinrichtung des mobilen Endgeräts eine erste Teilgeste der Befehlsgeste und durch eine Gestenerkennungseinrichtung des Kraftfahrzeugs eine zweite Teilgeste der Befehlsgeste erkannt wird. Hierdurch werden in vorteilhafter Weise unterschiedliche Sensoriken der Geräte kombiniert. Um dann die letztendliche Erkennung der Befehlsgeste zu ermöglichen, werden Gestendaten, welche die erste oder die zweite Teilgeste beschreiben, als ein Teil der Synchronisationsdaten an das jeweils andere Gerät übertragen. Dasjenige Gerät, welches diese Gestendaten empfängt, kann dann beide Teilgesten zusammenfügen und überprüfen, ob sie zusammen die Befehlsgeste ergeben. Bevorzugt erfolgt diese letztendliche Gestenerkennung der Befehlsgeste durch das Kraftfahrzeug.A particularly robust gesture recognition is obtained according to an embodiment of the method by a combined gesture recognition, in which by a gesture recognition device of the mobile terminal, a first part of the gesture gesture and a gesture recognition device of the motor vehicle, a second part gesture of the command gesture is detected. As a result, different sensor systems of the devices are combined in an advantageous manner. In order to then enable the final recognition of the command gesture, gesture data describing the first or the second partial gesture are transmitted as part of the synchronization data to the respective other device. The device that receives this gesture data can then combine both partial gestures and check whether they together form the command gesture. Preferably, this final gesture recognition of the command gesture is performed by the motor vehicle.

Bevorzugt umfasst die erste Teilgeste, welche durch das mobile Endgerät erkannt wird, eine Streichbewegung eines Fingers der Hand der Bedienperson über eine berührungsempfindliche Bedienfläche, z. B. ein Touchscreen. Diese Streichbewegung wird dann durch die drucksensitive und/oder kapazitiv-sensitive Bedienoberfläche des mobilen Endgeräts erfasst. Eine solche Streichbewegung kann vorteilhafterweise zuverlässig in Bezug auf eine Übertragungsrichtung interpretiert werden, indem die Streichrichtung extrapoliert wird und so in Verlängerung der Streichbewegung dasjenige Gerät des Kraftfahrzeugs identifiziert werden kann, welches die Nutzdaten von dem mobilen Endgerät empfangen soll.Preferably, the first sub-gesture, which is recognized by the mobile terminal, a stroking movement of a finger of the hand of the operator via a touch-sensitive control surface, for. As a touch screen. This brushing movement is then detected by the pressure-sensitive and / or capacitive-sensitive user interface of the mobile terminal. Such a sweeping motion can advantageously be interpreted reliably with respect to a transmission direction by: the brushing direction is extrapolated and so can be identified in extension of the brush movement that device of the motor vehicle, which is to receive the user data from the mobile terminal.

Eine allgemeinere Form dieses Ansatzes wird durch eine Ausführungsform des Verfahrens realisiert, bei welcher zum Erkennen zumindest eines Teils der Befehlsgeste eine Trajektorie (Bewegungsbahn) eines Fingers oder einer Fingerspitze der Hand der Bedienperson dahingehend überprüft wird, ob sie eine Ziehbewegung von einer Anzeigeeinrichtung eines der Geräte, auf welcher die ausgewählten Nutzdaten angezeigt werden (also beispielsweise einem Bildschirm eines Smartphones), zu dem anderen Gerät (also beispielsweise dem Infotainmentsystem) beschreibt. Eine solche Trajektorie kann dabei frei durch den Raum gezogen werden und ist nicht an eine berührungssensitive oder kapazitiv-sensitive Bedienoberfläche gebunden. Die Ziehbewegung muss dabei nicht vollständig von der Anzeigeeinrichtung zu dem anderen Gerät führen. Vielmehr ist bevorzugt vorgesehen, dass es ausreicht, wenn die Trajektorie zumindest nach einer Extrapolation eine solche Ziehbewegung darstellt. Vorteilhafterweise genügt es so, dass die Bedienperson nur eine andeutende und damit verhältnismäßig wenig Raum benötigende Geste ausführt. Das Erfassen der Trajektorie kann beispielsweise mittels einer Kamera des mobilen Endgeräts oder aber auch mittels einer Kamera des Kraftfahrzeugs erfolgen.A more general form of this approach is realized by an embodiment of the method in which, to detect at least part of the command gesture, a trajectory (trajectory) of a finger or fingertip of the operator's hand is checked as to whether it is pulling a display device of one of the devices on which the selected user data are displayed (ie, for example, a screen of a smartphone) to the other device (ie, for example, the infotainment system) describes. Such a trajectory can be pulled freely through the room and is not bound to a touch-sensitive or capacitive-sensitive user interface. The pulling movement does not have to lead completely from the display device to the other device. Rather, it is preferably provided that it is sufficient if the trajectory represents such a pulling movement, at least after extrapolation. Advantageously, it is sufficient that the operator executes only a suggestive and thus relatively little space-requiring gesture. The trajectory can be detected, for example, by means of a camera of the mobile terminal or else by means of a camera of the motor vehicle.

Im Zusammenhang mit der Sensorik für die Gestenerkennungseinrichtung des Kraftfahrzeugs ist bevorzugt vorgesehen, dass zumindest ein Teil der Befehlsgeste auf der Grundlage von 3D-Bilddaten einer 3D-Kamera des Kraftfahrzeugs erkannt wird. Dies hat sich als besonders vorteilhaft bei der Lösung des Problems herausgestellt, dass eine Befehlsgeste robust von einer Gestenerkennungseinrichtung erkannt werden können muss. Aus den 3D-Bilddaten kann nämlich auch eine Bewegung von der 3D-Kamera weg oder zu ihr hin erkannt werden. Dies ist insbesondere auch wichtig, wenn die 3D-Kamera in einem Dachhimmel über der Mittelkonsole des Kraftfahrzeugs angeordnet ist. So kann auch eine Ziehbewegung zu einem Bildschirm einer Mittelkonsole des Kraftfahrzeugs als auch zu einem darüber befindlichen Head-Up-Display des Kraftfahrzeugs anhand der Höhenunterschieden auseinandergehalten werden kann. Die Anordnung einer 3D-Kamera im Dachhimmel ist auch besonders bevorzugt, da hierdurch Freiräume bei der Ausgestaltung der Mittelkonsole erhalten bleiben. Bevorzugt ist die 3D-Kamera eine TOF-Kamera. Eine TOF-Kamera ist aufgrund der verwendeten modulierten Beleuchtung besonders robust gegen Einflusse fremder Lichtquellen.In connection with the sensor system for the gesture recognition device of the motor vehicle, it is preferably provided that at least part of the command gesture is recognized on the basis of 3D image data of a 3D camera of the motor vehicle. This has proven to be particularly advantageous in solving the problem that a command gesture must be robustly recognized by a gesture recognition device. Namely, from the 3D image data, a movement of the 3D camera away or to her can be detected. This is particularly important if the 3D camera is arranged in a headliner above the center console of the motor vehicle. Thus, a pulling movement to a screen of a center console of the motor vehicle as well as to an overhead head-up display of the motor vehicle based on the height differences can be kept apart. The arrangement of a 3D camera in the headliner is also particularly preferred, since this freedom in the design of the center console is maintained. Preferably, the 3D camera is a TOF camera. A TOF camera is particularly robust against the influence of foreign light sources due to the modulated illumination used.

Wie bereits ausgeführt gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Wiedergabeeinrichtung zum Wiedergeben von Nutzdaten auf. Beispielsweise kann es sich bei der Wiedergabeeinrichtung um ein Infotainmentsystem mit einer Anzeigeeinrichtung handeln, wie etwa einem Bildschirm oder einem Head-up-Display, oder aber auch um eine Musikwiedergabeeinrichtung, wie beispielsweise einem MP3-Abspielgerät, mit Lautsprechern. Das erfindungsgemäß Kraftfahrzeug weist auch in an sich bekannter Weise eine Kommunikationseinrichtung zum Bereitstellen einer Datenverbindung zu einem mobilen Endgerät auf. Die Kommunikationseinrichtung kann also beispielsweise zum Bereitstellen einer drahtgebundenen oder drahtlosen Verbindung zu einem Smartphone ausgelegt sein und hierzu beispielsweise gemäß dem Bluetooth-Standard oder dem USB-Standard oder dem WLAN-Standard ausgestaltet sein.As already stated, the invention also includes a motor vehicle. The motor vehicle according to the invention has a display device for displaying user data. For example, the display device can be an infotainment system with a display device, such as a screen or a head-up display, or even a music playback device, such as an MP3 player, with speakers. The motor vehicle according to the invention also has, in a manner known per se, a communication device for providing a data connection to a mobile terminal. The communication device can thus be designed, for example, to provide a wired or wireless connection to a smartphone and, for this purpose, be designed, for example, according to the Bluetooth standard or the USB standard or the WLAN standard.

Das erfindungsgemäße Kraftfahrzeug zeichnet sich durch eine Gestenerkennungseinrichtung aus, die zum Ausführen einer Ausführungsform des erfindungsgemäßen Verfahrens ausgelegt ist. Schließt man also ein mobiles Endgerät an die Kommunikationseinrichtung des Kraftfahrzeugs an, ist dann in vorteilhafter Weise möglicht, durch einfaches Ausführen einer Befehlsgeste eine Synchronisation von Nutzdaten zwischen der Wiedergabeeinrichtung einerseits und dem mobilen Endgerät andererseits auszulösen. Wie bereits ausgeführt umfasst die kraftfahrzeugseitige Gestenerkennungseinrichtung bevorzugt eine TOF-Kamera, also beispielsweise eine PMD-Kamera (PMD-Fotomischdetektor, Photonic Mixing Device).The motor vehicle according to the invention is characterized by a gesture recognition device which is designed to carry out an embodiment of the method according to the invention. If one thus connects a mobile terminal to the communication device of the motor vehicle, it is advantageously possible to trigger a synchronization of useful data between the display device on the one hand and the mobile terminal on the other hand simply by executing a command gesture. As already stated, the motor vehicle-side gesture recognition device preferably comprises a TOF camera, that is, for example, a PMD camera (PMD photo mixing detector, Photonic Mixing Device).

Des Weiteren ist Bestandteil der Erfindung ein Computerprogrammprodukt. Das Computerprogrammprodukt ist in einer Form bereitgestellt, wie sie aus dem Stand der Technik als so genannte „App” (Applikationen – Anwendungsprogramme) für mobile Endgeräte, insbesondere Smartphones und Tablet-PCs, bekannt ist. Das erfindungsgemäße Computerprogrammprodukt weist entsprechend einen auf zumindest einem Speichermedium gespeicherten Programmcode auf. Erfindungsgemäß ist hierbei vorgesehen, dass beim Ausführen des Programmcodes durch eine Prozessoreinrichtung des mobilen Endgeräts Gestendaten, welcher eine Befehlsgeste für eine Datensynchronisation beschreiben, von einer Kommunikationseinrichtung eines Kraftfahrzeugs empfangen werden und in Abhängigkeit von den empfangenen Gestendaten Nutzdaten an die Kommunikationseinrichtung ausgesendet werden. Mit anderen Worten wird also das mobile Endgerät durch den Programmcode dahingehend in seiner Funktionalität erweitert, dass Gestendaten einer Gestenerkennungseinrichtung eines Kraftfahrzeugs ausgewertet werden können und hierdurch eine Synchronisation der Nutzdaten mit dem Kraftfahrzeug ausgelöst werden kann. Zusätzlich oder alternativ kann bei dem Programmcode des erfindungsgemäßen Computerprogrammprodukts vorgesehen sein, dass er bei Ausführen durch die Prozessoreinrichtung des mobilen Endgeräts eine Teilgeste einer Befehlsgeste erfasst und erkennt, indem eine Gestenerkennungseinrichtung des mobilen Endgeräts genutzt wird, und dann Gestendaten, welche die erkannte Teilgeste beschreiben, über die Datenverbindung an die Kommunikationseinrichtung des Kraftwagens überträgt. Diese Ausführungsform ermöglicht es in vorteilhafter Weise, ein mobiles Endgerät in seiner Funktionalität dahingehend zu erweitern, dass die bereits beschriebene kombinierte Gestenerkennung mittels eines herkömmlichen mobilen Endgeräts durchgeführt werden kann.Furthermore, a component of the invention is a computer program product. The computer program product is provided in a form known from the prior art as so-called "app" (applications - application programs) for mobile terminals, in particular smartphones and tablet PCs. The computer program product according to the invention accordingly has a program code stored on at least one storage medium. According to the invention, when the program code is executed by a processor device of the mobile terminal, gesture data describing a command gesture for data synchronization is received by a communication device of a motor vehicle and useful data is transmitted to the communication device as a function of the received gesture data. In other words, the mobile terminal is thus extended by the program code in terms of its functionality that gesture data of a gesture recognition device of a motor vehicle can be evaluated and thereby a Synchronization of the user data can be triggered with the motor vehicle. Additionally or alternatively, the program code of the computer program product according to the invention may be provided to detect and recognize a partial gesture of a command gesture when executed by the processor device of the mobile terminal, by using a gesture recognition device of the mobile terminal, and then gesture data describing the recognized partial gesture, transmits over the data link to the communication device of the motor vehicle. This embodiment advantageously makes it possible to extend the functionality of a mobile terminal in such a way that the combined gesture recognition already described can be carried out by means of a conventional mobile terminal.

Zu der Erfindung gehört schließlich auch ein mobiles Endgerät, welches eine der Ausführungsformen des Computerprogrammprodukts aufweist.Finally, the invention also includes a mobile terminal which has one of the embodiments of the computer program product.

Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:In the following, the invention is explained once again with reference to a concrete embodiment. This shows:

1 ein Blockschaltbild zu einer Gestenerkennungseinrichtung, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und 1 a block diagram of a gesture recognition device, which may be installed in an embodiment of the motor vehicle according to the invention, and

2 eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird. 2 a sketch of an operation as it is an operator on the basis of an embodiment of the method according to the invention is made possible.

Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.The examples shown represent preferred embodiments of the invention.

In 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine Gestenerkennungseinrichtung 10 und eine Wiedereingabeeinrichtung 12 gezeigt. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefon, ein Kombiinstrument oder ein Head-up-Display handeln. Die Gestenerkennungseinrichtung umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen optischen Sensor 18, der beispielsweise eine TOF-Kamera oder PMD-Kamera sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereokamera handeln. In dem in 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem optischen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.In 1 are of a motor vehicle, such as a passenger car, a gesture recognition device 10 and a reentry device 12 shown. At the playback device 12 it may be, for example, an infotainment system, an audio system, a navigation system, a television system, a telephone, a combination instrument or a head-up display. The gesture recognition device comprises a measuring device 14 and a calculation unit 16 , The measuring device 14 includes an optical sensor 18 which may be, for example, a TOF camera or PMD camera. It can be at the optical sensor 18 synonymous, for example, a stereo camera act. In the in 1 The example shown assumes that the optical sensor 18 is a PMD camera. The optical sensor 18 can be arranged for example in a headliner of the motor vehicle.

Der optische Sensor 18 kann in an sich bekannter Weise ausgestaltet sein, d. h. eine Leuchtquelle 20 für elektromagnetische Strahlung, z. B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise einer Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte Strahlung zu einem Sensorarray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen.The optical sensor 18 can be configured in a conventional manner, ie a light source 20 for electromagnetic radiation, z. B. an infrared light, illuminates a detection area 22 For example, a space above a center console of the motor vehicle. Is there an object in it, for example a hand 24 the driver of the motor vehicle, so is the light source 20 radiated radiation to a sensor array 26 thrown back. By means of the sensor array 26 Then 3D image data can be generated, which 3D coordinates to individual surface elements of the hand 24 specify. The 3D image data are taken from the measuring device 14 to the calculation unit 16 transfer.

Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann die ausgewerteten Daten im Fahrzeug zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedmaßen, wie beispielsweise die Hand 24, aus den 3D-Bilddaten segmentiert werden, sodass beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hierbei können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden.In the calculation unit 16 it may, for example, be a control unit of the motor vehicle. In the calculation unit 16 the signals are evaluated and then the evaluated data provided in the vehicle, for example, by the playback device 12 be transmitted. By the calculation unit 16 can be limbs, such as the hand 24 , are segmented from the 3D image data such that, for example, the position of a fingertip in the detection area 22 can be determined. This can be based on known per se segmentation algorithms.

Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 18 kann insbesondere eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d. h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Beobachten beispielsweise der Fingerspitze der Hand 24 in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann eine mit der Fingerspitze angedeutete Befehlsgeste aus der durch die einzelnen Positionen definierten Trajektorie extrapoliert werden.Through the 3D image data of the sensor array 26 of the optical sensor 18 In particular, a sequence of successive 3D images can be represented, ie with the optical sensor 18 can also movements of the hand 24 be recorded. By observing, for example, the fingertip of the hand 24 In this 3D image sequence, in particular by tracking the position and the speed of the fingertip, an instruction gesture indicated by the fingertip can be extrapolated from the trajectory defined by the individual positions.

In 2 ist hierzu eine konkrete Realisierung gezeigt. Bei dem in 2 gezeigten Beispiel ist angenommen, dass ein Benutzer des Kraftfahrzeugs ein mobiles Endgerät 28, z. B. ein Smartphone, mittels einer ortsgebundenen oder drahtlosen Datenverbindung 30 mit der Wiedergabeeinrichtung 12 gekoppelt hat. Ein Benutzer möchte einen Bildschirminhalt I eines Bildschirm 32 des mobilen Endgeräts 28 auf einen Bildschirm 24 oder einem Head-up-Display der Wiedergabeeinrichtung 12 angezeigt bekommen. Der Bildschirminhalt ist hier beispielhaft durch die Buchstaben ABC repräsentiert. Bei dem Kraftfahrzeug ist es hierbei ermöglicht, durch eine intuitive Geste den aktuell angezeigten Bildschirminhalt I des Bildschirms 32 des mobilen Endgeräts 28 auf den Bildschirm 34 des Kraftfahrzeugs zu übertragen und dort als kopierten oder umgeleiteten Bildschirminhalt I' anzeigen zu lassen, so dass die beiden Bildschirme 32, 34 synchronisiert sind. Der Bildschirm 32 kann dann ausgehen oder anbleiben.In 2 For this purpose, a concrete realization is shown. At the in 2 As shown, it is assumed that a user of the motor vehicle is a mobile terminal 28 , z. As a smartphone, by means of a local or wireless data connection 30 with the playback device 12 has coupled. A user wants a screen content I of a screen 32 of the mobile terminal 28 on a screen 24 or a head-up display of the playback device 12 get displayed. The screen content is represented here by way of example by the letters ABC. In the case of the motor vehicle, it is possible here by an intuitive gesture to display the currently displayed screen content I of the screen 32 of the mobile terminal 28 on the screen 34 of the motor vehicle and there copy or redirected Display screen content I 'so that the two screens 32 . 34 are synchronized. The screen 32 can then go out or stay on.

Durch die physikalisch einwandfreie Ortbarkeit des Fahrzeuginsassen, und insbesondere von Körperteilen desselben, also beispielsweise seiner Hand 24, kann durch die Gestenerkennungseinrichtung 10 mittels des optischen Sensors 18 eine Trajektorie T von Gliedmaßen des Fahrzeuginsassen, also beispielsweise seiner Fingerspitze 36, in der beschriebenen Weise extrapoliert werden. Wird nun auf dem Bildschirm 32 der Bildschirminhalt I angezeigt, den der Fahrzeuginsasse auf dem Bildschirm 34 anzeigen lassen möchte, kann der Benutzer mit einer vorbestimmten Befehlsgeste den Inhalt vom mobilen Endgerät 28 zum Bildschirm 34 „verschieben” und so auf dem Bildschirm 34 anzeigen lassen. Es ist kein Taster für diese Interaktion notwendig. Das Verschieben ist auch unabhängig vom Bildschirminhalt I und erlaubt so eine universelle Interaktion, d. h. Wechselwirkung, zwischen den beiden Bildschirmen 32, 34. Es hat sich herausgestellt, dass die Bedienung mittels einer Befehlsgeste, durch welche ein Verschieben von Bildinhalten zwischen Bildschirmen suggeriert wird, als besonders intuitiv bedienbar empfunden wird. Der Benutzer muss hierzu z. B. mit seiner Fingerspitze 36 über zumindest einen Teil des Bildschirms 32 reiben und dann diese Ziehbewegung durch die Luft in Richtung zum Bildschirm 34 fortsetzen. Die Fingerspitze 36 wird so entlang der Trajektorie T bewegt.Due to the physically perfect locability of the vehicle occupant, and in particular of body parts thereof, so for example his hand 24 , can by the gesture recognition device 10 by means of the optical sensor 18 a trajectory T of limbs of the vehicle occupant, so for example his fingertip 36 , are extrapolated in the manner described. Will now be on the screen 32 the screen contents I displayed by the vehicle occupant on the screen 34 can be displayed, the user with a predetermined command gesture, the content from the mobile device 28 to the screen 34 "Move" and so on the screen 34 show. There is no button necessary for this interaction. Moving is also independent of the screen content I, thus allowing a universal interaction, ie interaction, between the two screens 32 . 34 , It has been found that the operation by means of a command gesture, by which a shift of image content between screens is suggested to be perceived as particularly intuitive to use. The user must do this z. B. with his fingertip 36 over at least part of the screen 32 rub and then this pulling motion through the air towards the screen 34 continue. The fingertip 36 is thus moved along the trajectory T.

Es kann vorgesehen sein, dass ein Teilabschnitt 38 der Trajektorie T durch eine berührungsempfindliche Oberfläche des Bildschirms 32 des mobilen Endgeräts 28 erfasst wird. Hierdurch kann durch das mobile Endgerät 28 eine erste Teilgeste der insgesamt durch die Trajektorie T beschriebenen Befehlsgeste erkannt werden. Zu dem Teilabschnitt 38 können entsprechende Daten über die Datenverbindung 30 an die Wiedergabeeinrichtung 12 übertragen werden, welche den Verlauf des Teilabschnitts 38 selbst oder bereits eine aus dem Teilabschnitt 38 erkannte Teilgeste beschreiben. Durch diese Teilauswertung ist es möglich, dass der Benutzer beispielsweise die Fingerspitze 36 über den berührungssensitiven Bildschirm 32 zum Rand desselben hinführt und dann darüber hinaus entlang der Trajektorie T die Ziehgeste in Richtung zum Bildschirm 34 für das Übertragen des Bildschirminhalts I durchführt. Ein verbleibender Teil 40 ohne den Teilabschnitt 38 kann dann mittels des optischen Sensors 18 erfasst werden. Es kann auf eine redundante Erfassung vorgesehen sein, indem die gesamte Trajektorie T durch die Gestenerkennungseinrichtung 10 ausgewertet wird, so dass der Teilabschnitt 38 doppelt ausgewertet wird. Indem diese Befehlsgeste auf dem Bildschirm 32 begonnen werden muss, werden Fehlbedienungen vermieden.It can be provided that a subsection 38 the trajectory T through a touch-sensitive surface of the screen 32 of the mobile terminal 28 is detected. This can be done by the mobile device 28 a first partial gesture of the command gesture described in total by the trajectory T are recognized. To the subsection 38 can provide appropriate data through the data connection 30 to the playback device 12 which are the course of the subsection 38 yourself or already one of the subsection 38 describe recognized partial gesture. Through this partial evaluation, it is possible that the user, for example, the fingertip 36 via the touch-sensitive screen 32 leads to the edge of the same and then beyond the trajectory T the drag gesture towards the screen 34 for transmitting the screen content I. A remaining part 40 without the section 38 can then by means of the optical sensor 18 be recorded. It may be provided on a redundant detection by the entire trajectory T by the gesture recognition device 10 is evaluated, so that the subsection 38 is evaluated twice. By making this command gesture on the screen 32 must be started, operating errors are avoided.

Damit mittels des mobilen Endgeräts 28 mittels der berührungsempfindlichen Oberfläche des Bildschirms 32 der Abschnitt 38 der Trajektorie T erkannt werden kann, kann vorgesehen sein, dass ein Benutzer des mobilen Endgeräts 28 ein entsprechendes Programm, d. h. eine Applikation 42, in einem (nicht dargestellten) Speicher des mobilen Endgeräts 28 installiert.So by means of the mobile terminal 28 by means of the touch-sensitive surface of the screen 32 the section 38 the trajectory T can be detected, it can be provided that a user of the mobile terminal 28 a corresponding program, ie an application 42 , in a memory (not shown) of the mobile terminal 28 Installed.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2011/0286676 A1 [0005] US 2011/0286676 A1 [0005]

Claims (10)

Verfahren zum Synchronisieren von Nutzdaten (I) zwischen einem in einem Kraftfahrzeug integrierten Gerät (12) und einem mit diesem über eine Datenverbindung (30) kommunizierenden mobilen Endgerät (28), umfassend die Schritte: – Auswählen der zu synchronisierenden Nutzdaten (I) an einem der Geräte (28); – Austauschen von Synchronisationsdaten zwischen den beiden Geräten (12, 28) über die Datenverbindung (30), wobei zumindest ein Teil der Synchronisationsdaten die ausgewählten Nutzdaten (I) umfasst; dadurch gekennzeichnet, dass – die Synchronisationsdaten bei Erkennen einer vorbestimmten Befehlsgeste (T) durch zumindest eine Gestenerkennungseinrichtung (10, 32) eines der Geräte (12, 28) übertragen werden, wobei die Befehlsgeste (T) eine frei im Raum (22) ausgeführte Bewegung einer Hand (24) einer Bedienperson umfasst.Method for synchronizing user data (I) between a device integrated in a motor vehicle ( 12 ) and one with this via a data connection ( 30 ) communicating mobile terminal ( 28 ), comprising the steps: - selecting the user data (I) to be synchronized on one of the devices ( 28 ); - Exchange synchronization data between the two devices ( 12 . 28 ) via the data connection ( 30 ), wherein at least part of the synchronization data comprises the selected payload data (I); characterized in that - the synchronization data upon recognition of a predetermined command gesture (T) by at least one gesture recognition device ( 10 . 32 ) one of the devices ( 12 . 28 ), wherein the command gesture (T) is free in space ( 22 ) executed movement of a hand ( 24 ) of an operator. Verfahren nach Anspruch 1, wobei die Auswahl der Nutzdaten (I) einerseits und die Erkennung der Befehlsgeste (T) andererseits in jeweils einem anderen der Geräte (12, 28) erfolgt und als ein Teil der Synchronisationsdaten a) Befehlsdaten zum Anfordern der ausgewählten Nutzdaten oder b) Gestendaten, welche die erkannte Befehlsgeste (T) beschreiben, an dasjenige Gerät (28), an welchem die Nutzdaten (I) ausgewählt worden sind, übertragen werden.Method according to claim 1, wherein the selection of the useful data (I) on the one hand and the recognition of the command gesture (T) on the other hand in each case in a different one of the devices (1). 12 . 28 ) and as part of the synchronization data a) command data for requesting the selected user data or b) gesture data describing the recognized command gesture (T) to the device ( 28 ) at which the payload data (I) has been selected are transmitted. Verfahren nach Anspruch 1 oder 2, wobei in einer kombinierten Gestenerkennung durch eine Gestenerkennungseinrichtung (32) des mobilen Endgeräts (28) eine erste Teilgeste (38) der Befehlsgeste (T) und durch eine Gestenerkennungseinrichtung (10) des Kraftfahrzeugs eine zweite Teilgeste (40) der Befehlsgeste (T) erkannt wird und Gestendaten, welche die erste oder die zweite Teilgeste (38, 40) beschreiben, als ein Teil der Synchronisationsdaten übertragen werden.Method according to claim 1 or 2, wherein in a combined gesture recognition by a gesture recognition device ( 32 ) of the mobile terminal ( 28 ) a first partial gesture ( 38 ) of the command gesture (T) and by a gesture recognition device ( 10 ) of the motor vehicle a second partial gesture ( 40 ) the command gesture (T) is recognized and gesture data, which the first or the second partial gesture ( 38 . 40 ) as part of the synchronization data. Verfahren nach Anspruch 3, wobei die erste Teilgeste (38) eine Streichbewegung eines Fingers (36) der Hand (24) umfasst, welche durch eine drucksensitive und/oder kapazitive Bedienoberfläche (32) des mobilen Endgeräts (28) erfasst wird.Method according to claim 3, wherein the first partial gesture ( 38 ) a stroking motion of a finger ( 36 ) of the hand ( 24 ), which by a pressure-sensitive and / or capacitive user interface ( 32 ) of the mobile terminal ( 28 ) is detected. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Erkennen zumindest eines Teils der Befehlsgeste (T) eine Trajektorie (T) eines Fingers (36) oder einer Fingerspitze (36) der Hand (24) dahingehend überprüft wird, ob sie eine Ziehbewegung von einer Anzeigeeinrichtung (32) eines der Geräte (28), auf welcher die ausgewählten Nutzdaten (I) angezeigt werden, zu dem anderen Gerät (12) beschreibt oder zumindest nach einer Extrapolation eine solche Ziehbewegung darstellt.Method according to one of the preceding claims, wherein for recognizing at least part of the command gesture (T) a trajectory (T) of a finger ( 36 ) or a fingertip ( 36 ) of the hand ( 24 ) is checked to see if it is pulling from a display device ( 32 ) one of the devices ( 28 ), on which the selected user data (I) are displayed, to the other device ( 12 ) or at least after extrapolation represents such a pulling movement. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest ein Teil der Befehlsgeste (T) von einer Gestenerkennungseinrichtung (10) des Kraftfahrzeugs auf der Grundlage von 3D-Bilddaten einer 3D-Kamera des Kraftfahrzeugs, insbesondere einer TOF-Kamera (18), erkannt wird.Method according to one of the preceding claims, wherein at least a part of the command gesture (T) from a gesture recognition device ( 10 ) of the motor vehicle on the basis of 3D image data of a 3D camera of the motor vehicle, in particular a TOF camera ( 18 ), is recognized. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Nutzdaten (I) Anzeigedaten (I) einer graphischen Anzeige (32) für eine Anzeigeeinrichtung (32) eines der Geräte (28) umfassen.Method according to one of the preceding claims, wherein the payload data (I) display data (I) of a graphic display ( 32 ) for a display device ( 32 ) one of the devices ( 28 ). Kraftfahrzeug mit einer Kommunikationseinrichtung zum Bereitstellen einer Datenverbindung (30) zu einem mobilen Endgerät (28) und mit einer Wiedergabeeinrichtung (12) zum Wiedergeben von Nutzdaten (I), dadurch gekennzeichnet, dass das Kraftfahrzeug eine Gestenerkennungseinrichtung (10) umfasst und zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.Motor vehicle with a communication device for providing a data connection ( 30 ) to a mobile terminal ( 28 ) and a playback device ( 12 ) for displaying user data (I), characterized in that the motor vehicle has a gesture recognition device ( 10 ) and designed to carry out a method according to any one of the preceding claims. Computerprogrammprodukt mit einem auf zumindest einem Speichermedium gespeicherten Programmcode (42), welcher dazu ausgelegt ist, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgeräts (28) a) Gestendaten, welche eine Befehlsgeste (T) für eine Datensynchronisation beschreiben, von einer Kommunikationseinrichtung eines Kraftfahrzeugs zu empfangen und in Abhängigkeit von den empfangenen Gestendaten Nutzdaten (I) an die Kommunikationseinrichtung auszusenden, und/oder b) eine Teilgeste (38) der Befehlsgeste (T) mittels einer Gestenerkennungseinrichtung (32) des mobilen Endgeräts (28) zu erkennen und Gestendaten, welche die erkannte Teilgeste (38) beschreiben, über eine Datenverbindung (30) an die Kommunikationseinrichtung zu übertragen.Computer program product with a program code stored on at least one storage medium ( 42 ), which is designed, when executed by a processor device of a mobile terminal ( 28 a) gesture data, which describe a command gesture (T) for data synchronization, to be received by a communication device of a motor vehicle and to transmit useful data (I) to the communication device as a function of the received gesture data, and / or b) a partial gesture ( 38 ) of the command gesture (T) by means of a gesture recognition device ( 32 ) of the mobile terminal ( 28 ) and gesture data representing the recognized partial gesture ( 38 ), via a data connection ( 30 ) to the communication device. Mobiles Endgerät, welches ein Computerprogrammprodukt nach Anspruch 9 aufweist.Mobile terminal comprising a computer program product according to claim 9.
DE102013000071.8A 2013-01-08 2013-01-08 Synchronizing payload data between a motor vehicle and a mobile terminal Active DE102013000071B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013000071.8A DE102013000071B4 (en) 2013-01-08 2013-01-08 Synchronizing payload data between a motor vehicle and a mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013000071.8A DE102013000071B4 (en) 2013-01-08 2013-01-08 Synchronizing payload data between a motor vehicle and a mobile terminal

Publications (2)

Publication Number Publication Date
DE102013000071A1 true DE102013000071A1 (en) 2014-07-10
DE102013000071B4 DE102013000071B4 (en) 2015-08-13

Family

ID=51019044

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013000071.8A Active DE102013000071B4 (en) 2013-01-08 2013-01-08 Synchronizing payload data between a motor vehicle and a mobile terminal

Country Status (1)

Country Link
DE (1) DE102013000071B4 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014216626A1 (en) * 2014-08-21 2016-02-25 Volkswagen Aktiengesellschaft Method for sharing data in a vehicle and corresponding device
DE102014016326A1 (en) * 2014-11-03 2016-05-04 Audi Ag A method of operating an automotive vehicle interior system and an automotive vehicle interior system
DE102017218780A1 (en) * 2017-10-20 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Method for operating a vehicle assistance system and vehicle assistance system for a motor vehicle
DE102018129233A1 (en) * 2018-11-20 2020-05-20 Bayerische Motoren Werke Aktiengesellschaft Method for operating a mobile device on board a vehicle and mobile device for operating on board a vehicle and vehicle
WO2023016931A1 (en) * 2021-08-11 2023-02-16 Audi Ag Display device for a motor vehicle, method for displaying display content on an extendable screen and motor vehicle having a display device
DE102015106319B4 (en) 2014-05-01 2023-08-03 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method of operating a vehicle multitainment unit to update content from a mobile device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit
EP2045999A1 (en) * 2006-07-26 2009-04-08 NEC Corporation Portable terminal device and data transmission control program
US20090309846A1 (en) * 2008-06-11 2009-12-17 Marc Trachtenberg Surface computing collaboration system, method and apparatus
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
DE102010056411A1 (en) * 2010-12-23 2012-06-28 Volkswagen Ag Display device for a motor vehicle
DE102012006193A1 (en) * 2012-03-27 2012-09-20 Daimler Ag Method for detecting internal and external situations of motor vehicle using sensors, involves transmitting information detected by sensors to CPU as continuous data stream, and converting continuous data stream by server of CPU
DE102011018555A1 (en) * 2011-04-26 2012-10-31 Continental Automotive Gmbh Interface for data transmission in a motor vehicle and computer program product
US20120299812A1 (en) * 2011-05-23 2012-11-29 Samsung Electronics Co., Ltd. Apparatus and method for controlling data of external device in portable terminal
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them
DE102011112447A1 (en) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Method and arrangement for providing a graphical user interface, in particular in a vehicle
DE102012009021A1 (en) * 2012-05-05 2013-11-07 Volkswagen Aktiengesellschaft Method for transferring e.g. music data by personal digital assistant to control device in motor car, involves transferring data by terminal to control device i.e. combination instrument-control device, in car via another control device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2045999A1 (en) * 2006-07-26 2009-04-08 NEC Corporation Portable terminal device and data transmission control program
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit
US20090309846A1 (en) * 2008-06-11 2009-12-17 Marc Trachtenberg Surface computing collaboration system, method and apparatus
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
DE102010056411A1 (en) * 2010-12-23 2012-06-28 Volkswagen Ag Display device for a motor vehicle
DE102011018555A1 (en) * 2011-04-26 2012-10-31 Continental Automotive Gmbh Interface for data transmission in a motor vehicle and computer program product
US20120299812A1 (en) * 2011-05-23 2012-11-29 Samsung Electronics Co., Ltd. Apparatus and method for controlling data of external device in portable terminal
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them
DE102011112447A1 (en) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Method and arrangement for providing a graphical user interface, in particular in a vehicle
DE102012006193A1 (en) * 2012-03-27 2012-09-20 Daimler Ag Method for detecting internal and external situations of motor vehicle using sensors, involves transmitting information detected by sensors to CPU as continuous data stream, and converting continuous data stream by server of CPU
DE102012009021A1 (en) * 2012-05-05 2013-11-07 Volkswagen Aktiengesellschaft Method for transferring e.g. music data by personal digital assistant to control device in motor car, involves transferring data by terminal to control device i.e. combination instrument-control device, in car via another control device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015106319B4 (en) 2014-05-01 2023-08-03 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method of operating a vehicle multitainment unit to update content from a mobile device
DE102014216626A1 (en) * 2014-08-21 2016-02-25 Volkswagen Aktiengesellschaft Method for sharing data in a vehicle and corresponding device
DE102014216626B4 (en) 2014-08-21 2023-10-05 Volkswagen Aktiengesellschaft Method for sharing data in a vehicle and corresponding device
DE102014016326A1 (en) * 2014-11-03 2016-05-04 Audi Ag A method of operating an automotive vehicle interior system and an automotive vehicle interior system
US10416879B2 (en) 2014-11-03 2019-09-17 Audi Ag Method for operating an infotainment system of a motor vehicle, and infotainment system for motor vehicle
DE102017218780A1 (en) * 2017-10-20 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Method for operating a vehicle assistance system and vehicle assistance system for a motor vehicle
DE102018129233A1 (en) * 2018-11-20 2020-05-20 Bayerische Motoren Werke Aktiengesellschaft Method for operating a mobile device on board a vehicle and mobile device for operating on board a vehicle and vehicle
DE102018129233B4 (en) * 2018-11-20 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Method for operating a mobile device on board a vehicle and mobile device for operating on board a vehicle and vehicle
WO2023016931A1 (en) * 2021-08-11 2023-02-16 Audi Ag Display device for a motor vehicle, method for displaying display content on an extendable screen and motor vehicle having a display device

Also Published As

Publication number Publication date
DE102013000071B4 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
EP2943367B1 (en) Method for synchronizing display devices in a motor vehicle
DE102013000071B4 (en) Synchronizing payload data between a motor vehicle and a mobile terminal
DE102011018555A1 (en) Interface for data transmission in a motor vehicle and computer program product
DE102016108885A1 (en) Method for contactless moving of visual information
EP3116737B1 (en) Method and apparatus for providing a graphical user interface in a vehicle
DE102012020607B4 (en) A motor vehicle with a gesture control device and method for controlling a selection element
DE102013021978A1 (en) Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position
DE102014200993A1 (en) User interface and method for adapting a view on a display unit
DE102016216577A1 (en) A method of interacting with image content displayed on a display device in a vehicle
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
DE102019210383A1 (en) Method for operating a mobile terminal by means of a gesture recognition and control device, gesture recognition and control device, motor vehicle, and output device that can be worn on the head
DE102011112445A1 (en) Multi-functional control device
DE102014008204A1 (en) Motor vehicle with media reproduction
WO2014108150A2 (en) User interface for handwritten character input in a device
DE102013000069A1 (en) Motor vehicle operating interface with a control element for detecting a control action
DE102013201624A1 (en) Method for transmitting data from mobile terminal to function of vehicle, involves determining data, which is transmitted to function of vehicle, where position of mobile terminal is determined with respect to location
DE102013000081B4 (en) Operator interface for contactless selection of a device function
DE102018220693B4 (en) Control system and method for controlling a function of a vehicle, and vehicle with such
WO2017140569A1 (en) Motor vehicle operator control apparatus and method for operating an operator control apparatus in order to cause an interaction between a virtual presentation plane and a hand
DE102015204978A1 (en) Method and device for operating an output system with a display device and at least one further output device
EP3108333B1 (en) User interface and method for assisting a user in the operation of a user interface
DE102010007855A1 (en) Non verbal communication system, between a vehicle driver and electronic units, has a man machine interface to detect body movements for generating control signals
DE102014017173A1 (en) A method of controlling functions of an external device in a vehicle
DE102014211865A1 (en) Custom interface system and operating method thereof
DE102014222751A1 (en) Device for vehicles for operating multi-level GUIs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003000000

Ipc: B60R0016020000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final