EP3030956A1 - Method and operating device for operating an electronic device via a touchscreen - Google Patents

Method and operating device for operating an electronic device via a touchscreen

Info

Publication number
EP3030956A1
EP3030956A1 EP14747910.9A EP14747910A EP3030956A1 EP 3030956 A1 EP3030956 A1 EP 3030956A1 EP 14747910 A EP14747910 A EP 14747910A EP 3030956 A1 EP3030956 A1 EP 3030956A1
Authority
EP
European Patent Office
Prior art keywords
movement
position signal
touchscreen
input
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP14747910.9A
Other languages
German (de)
French (fr)
Inventor
Erik Alpman
Christoph Arndt
Rainer Busch
Urs Christen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Werke GmbH
Ford Global Technologies LLC
Original Assignee
Ford Werke GmbH
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Werke GmbH, Ford Global Technologies LLC filed Critical Ford Werke GmbH
Publication of EP3030956A1 publication Critical patent/EP3030956A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Definitions

  • the invention relates to a method and an operating device for operating an electronic device, in particular in a vehicle, via a touchscreen.
  • a first line of keys for selecting the respective function can be located on a touchscreen, with a variable range depending on the selected function being provided below this first line which provides appropriate information or input keys according to the selected function.
  • the area outlined in dashed lines in FIG. 2 is adapted as a function of the function currently selected by the driver.
  • these virtual buttons can be very small at high utilization of the area provided by the touch screen or available for input fields, so that their exact operation can be difficult.
  • EP 2 587 350 A2 discloses, inter alia, a method for actuating a touchscreen in the cockpit of an aircraft, in which the determination of valid touch screen inputs is based on the comparison between a characteristic of the respective input with a reference characteristic.
  • inputs for example, are classified as inadvertent during the occurrence of turbulence or regarded as invalid, which can be done for example based on the detection of biomechanical (eg, palm or wrist turender) properties of the input or the size of the actuated area relative to the average fingertip size.
  • biomechanical eg, palm or wrist trehalose
  • a method according to the invention for operating an electronic device via a touchscreen, in particular in a vehicle, wherein the operation is performed on the basis of a position signal generated by a touch movement touching the touchscreen comprises the following steps: - performing a filtering of the position signal such that at least one movement component the input motion is at least partially suppressed, whereby a filtered position signal is obtained; and
  • the invention is based on the concept of subjecting a position signal (for example, the respective finger position) approaching the touchscreen to touch and finally touching it, the filter parameters used here depending on the current vehicle state (eg Vehicle speed and acceleration) can be selected.
  • a position signal for example, the respective finger position
  • the filter parameters used here depending on the current vehicle state eg Vehicle speed and acceleration
  • the invention is based on the consideration that the intended by the driver finger movement is superimposed by random or statistical components of movement, as will be described in more detail below.
  • the touch screen may be a vehicle-mounted touch screen or the touch screen of a tablet computer or smartphone (for example, connected to a vehicle).
  • the invention is not limited to these applications and generally advantageous in applications realized in which a touch screen in a mobile environment, possibly also at a greater distance or with the arm of the operator outstretched to be operated.
  • the at least one movement component of the input movement comprises an irregular movement (for example in the sense of a reciprocating movement, a wobbling motion or "Brownian motion") of the hand of an operator stretched out to carry out the input movement.
  • the at least one movement component of the input movement comprises relative vibration-related movements, in particular due to vibrations of a vehicle, between the hand extended to carry out the input movement and the touchscreen.
  • the at least one movement component of the input movement comprises movements due to steering or braking processes of a vehicle and / or due to road bumps.
  • the position signal has three location coordinates (x, y, z) relative to the touchscreen, wherein the filtering of the position signal takes place for all of these three location coordinates.
  • the at least one movement component is determined on the basis of an autocorrelation of the position signal.
  • the at least one motion component is determined using a low-pass filter.
  • the at least one movement component is determined with the aid of at least one acceleration sensor.
  • the position signal is frozen when a position change determined during the input movement or an acceleration determined during the input movement exceeds a predetermined threshold value.
  • the invention in response to an input gesture contacting the touch screen, visual and / or haptic feedback is communicated to an operator performing the input movement.
  • the invention further relates to an operating device for operating an electronic device via a touchscreen, in particular in a vehicle, wherein the operation is based on a generated by a touchscreen touching input movement position signal, and wherein the operating device is configured to a method with the above perform described features.
  • FIG. 1 is a flow chart for explaining an example flow of the
  • Figure 2-3 are schematic representations for explaining conventional approaches for operating a touch screen.
  • the invention is based on the consideration that when operating a touchscreen, for example in a vehicle, the finger movement intended by the driver is superimposed by random or statistical components of motion, with respect to the relative movement between fingertip and touchscreen at least four components of movement can be distinguished: the driver intended movement, ie approach to the touchscreen and point to a defined area or point (hereinafter: “component a”); a “Brownian movement” in the form of minor movements, for example, due to the fact that the hand can be stretched out and not held in a completely consistent position or because of Driver with his other hand operated the steering wheel and with the outstretched hand performs compensatory movements (hereinafter: "component b"); accidental or statistical, minor movements due to vibration of the vehicle and their impact on both
  • component c Touchscreen as well as on the driver
  • component d unintentional large movements due to abrupt steering or braking or uneven road surfaces
  • a strong filtering since this is the average or mean component of motion around which the other components of motion oscillate.
  • conventional filtering using a slow low-pass filter eliminates delays that can be troublesome to the driver and make the display very sluggish to eliminate any unwanted motion components.
  • the Brownian motion component (component b)) can be seen from the position information captured by the touchscreen (eg, by cameras or other sensor technology).
  • the statistical properties of this Brownian motion component can be determined with an autocorrelation or a cross-correlation indicating after what time the correlation of the position signal with itself is lost (so that a corresponding low-pass filter can eliminate the uncorrelated, faster contributions). These statistical characteristics are generally dependent on the driver (eg the muscle tension), but also on the acceleration. By means of an adaptation of the filter to the detected statistical properties, a Adjustment of the filtering to the driver, so that the adverse effects described above can be avoided.
  • the corresponding adaptation of the low-pass filter can take place in that the output value of the correlation calculation with a suitable scaling factor is used directly as a filter constant.
  • a filter which reacts more quickly is preferably used than in the case of a more autocorrelated signal, in which a stronger filtering takes place.
  • the adjustment of the filter constant may only be gradual, i.e., follow the correlation signal only with some delay. That is, the filter constant itself is again subjected to additional low-pass filtering (preferably with a predetermined filter constant), thereby causing i.a. Disturbing effects can be eliminated in strongly transient states.
  • the filter constant can also be modified on the basis of an evaluation of the signals of an acceleration sensor.
  • a parameter in the calculation of the autocorrelation or cross-correlation of time-dependent functions represents the considered time shift between the functions. For this time shift, the value zero can be selected, or a specific time delay can be specified.
  • the auto or cross correlation can also be used instead of a low-pass filtering directly for the determination of corrected position values, since the application of the correlation operation is accompanied by an averaging.
  • the statistical properties of the acceleration signal can be evaluated to determine the standard deviation over short time windows. This information can be used in the consideration or processing of the fourth movement component described below.
  • a Fourier transform may be applied to the acceleration signal to determine the frequency range at which (apart from the contribution of the equilibrium state) the largest contribution occurs. This frequency range is generally dependent on the vehicle speed, the type of roadway and, if applicable, the suspension setting ("hard / sporty" or "soft / comfortable”).
  • a notch filter can be used to eliminate the corresponding frequency range from fingertip position information.
  • the duration of this suppression can be time based and for example 500ms. Alternatively, the duration of this suppression of changes in fingertip position may also be based on the Acceleration itself can be determined.
  • a resumption of the position determination can take place as soon as the acceleration is in a smaller range (eg ⁇ 1 standard deviations) for a certain number of sampling moments.
  • the suppression can also take place as a function of the evaluation of the Brownian motion, if, for example, the autocorrelation has reached its original value again.
  • Another possibility is to evaluate the cross-correlation between the acceleration and the position, whereby the position tracking can be resumed if the cross-correlation shows sufficient decoupling between the two signals (ie a low cross-correlation).
  • the filtering according to the invention is carried out not only in two dimensions (ie for the x and y directions on the touchscreen), but also for the third dimension or spatial coordinate or spatial direction (z direction), in particular the approach to the touch screen ,
  • a first actual touch of the touchscreen is caused by one of the three inadvertent movement components (components b) -d)) described above and not by the intended movement (component a), such that the one associated with the touch Action should also be delayed in a similar manner as for the (x, y position) on the touch screen.
  • a feedback takes place if the contact has been recognized and accepted.
  • This may be visual feedback (for example, lighting up or changing the color of the driver touched icon (eg button or slide switch)).
  • a haptic feedback eg in the form of a vibration of the surface
  • an acoustic feedback may be transmitted, which indicates that the touch of the screen has been detected (in which case no information about the operated element is transmitted).
  • an evaluation of comparatively large, rapid changes in the position of the fingertip can take place. This makes use of the fact that deliberate movements take place relatively steadily or gradually, whereas unintentional movements take place relatively abruptly. In this case, a similar statistic as described in connection with the acceleration signal can be used.
  • step S10 the fingertip position is initialized from a stored position in step S20.
  • step S30 a reading is made of the acceleration sensor (ie, the acceleration signal (a x , a y , a z )).
  • step S40 the standard deviation of the acceleration (sa x , sa y , sa z ) is determined over a specific time window. If, according to the query in the following step S50, at least one of the acceleration components is greater than the product of the respective standard deviation with a predetermined factor, a "freezing" of the fingertip position occurs (step S55), returning to step S30, ie a new reading of the acceleration sensor. Otherwise, in step S60, the fingertip position is read in the three spatial directions, ie the coordinates (x, y, z). In the following step S70 an autocorrelation of the fingertip position as well as a determination of the time constants for the filtering takes place.
  • step S80 the position signal is filtered using a low-pass filter based on the corresponding filter constants.
  • step S90 an updating of the fingertip position in the memory for use in the touchscreen operation is performed.
  • step S100 the method ends.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

The invention relates to a method and an operating device for operating an electronic device, in particular in a vehicle, via a touchscreen. A method according to the invention for operating an electronic device via a touchscreen, said operation being carried out on the basis of a position signal generated by an input movement which contacts the touchscreen, has the following steps: filtering the position signal such that at least one movement component of the input movement is at least partly suppressed, wherein a filtered position signal is obtained, and actuating the electronic device on the basis of said filtered position signal.

Description

Verfahren sowie Bedienvorrichtung zum Bedienen eines  Method and operating device for operating a
elektronischen Gerätes über einen Touchscreen Beschreibung  electronic device via a touch screen description
Die Erfindung betrifft ein Verfahren sowie eine Bedienvorrichtung zum Bedienen eines elektronischen Gerätes, insbesondere in einem Fahrzeug, über einen Touchscreen. The invention relates to a method and an operating device for operating an electronic device, in particular in a vehicle, via a touchscreen.
Zur Entwicklung übersichtlicherer Instrumententafeln in Kraftfahrzeugen ist es bekannt, unter Vermeidung vorgegebener zweckgerichteter Tasten auf dem Armaturenbrett einen berührungsempfindlichen Bildschirm bzw. Touchscreen zu verwenden, welcher je nach der vom Fahrer gewünschten Funktion virtuelle Tasten bzw. Bedienfelder bereitstellt. To develop clearer instrument panels in motor vehicles, it is known to use a touch-sensitive screen or touch screen while avoiding given purpose-oriented buttons on the dashboard, which provides virtual buttons or panels depending on the desired function of the driver.
So kann sich beispielsweise gemäß Fig. 2 auf einem Touchscreen eine erste Zeile von Tasten zur Auswahl der jeweiligen Funktion (z.B. "Radio", "Navigation" oder "Klimasteuerung") befinden, wobei unterhalb dieser ersten Zeile ein je nach gewählter Funktion veränderlicher Bereich vorgesehen ist, welcher geeignete Informationen bzw. Eingabetasten entsprechend der gewählten Funktion bereitstellt. Hierbei wird der in Fig. 2 gestrichelt umrandete Bereich in Abhängigkeit von der vom Fahrer gerade ausgewählten Funktion angepasst. Hierbei kann in der Praxis das Problem auftreten, dass diese virtuellen Tasten bei großer Auslastung des von dem Touchscreen bereitgestellten bzw. für Eingabefelder zur Verfügung stehenden Bereichs sehr klein sein können, so dass deren exakte Betätigung schwierig werden kann. Das Problem wird dadurch noch verstärkt, dass solche Touchscreens häufig im Mittelbereich des Armaturenbretts (sogenannter "Center Stack" = "zentraler Bedienbereich") angeordnet sind, was zu Parallaxenfehlern führen und zur Folge haben kann, dass der Nutzer den Touchscreen außerhalb der Mitte des eigentlich beabsichtigten Bedienfeldes betätigt. Zur Überwindung dieses Problems kann gemäß der schematischen Darstellung von Fig. 3 eine Vergrößerung des vom Touchscreen angezeigten Bildes im Bereich rings um den Berührungspunkt des Fingers herum erfolgen, so dass der Benutzer ein visuelles Feedback zu dem jeweils betätigten Bereich erhält. Dieses visuelle Feedback tritt an die Stelle des bei herkömmlichen Tasten gewohnten haptischen Feedbacks und bestätigt den Benutzer darin, dass die beabsichtigte Änderung der jeweiligen Einstellungen auch erzielt wird. Auch bei dem unter Bezugnahme auf Fig. 3 beschriebenen Ansatz tritt jedoch das weitere Problem auf, dass während der Fahrt immer auch eine gewisse Bewegung der Hand bzw. des Fingers des Fahrers stattfindet, so dass ein stetiges Ausrichten des Fingers ohne Verwackeln schwierig ist. Ein unstetiges bzw. wackeliges Bewegen des Fingers hat jedoch ein Umherwandern oder Umherspringen des jeweils vergrößerten Bereichs und ein Flackern der Anzeige zur Folge. Dieses Problem wird dadurch vergrößert, dass bei Betätigung eines im zentralen Bedienbereich bzw. "Center Stack" des Armaturenbretts befindlichen Touchscreens der ausgestreckte Arm des Fahrers in anderer Weise bewegt bzw. positioniert wird, als dies etwa bei Betätigung eines in der jeweils anderen Hand gehaltenen Tabletcomputers der Fall ist. Zudem hat auch die Bewegung des Fahrzeuges Relativbewegungen zwischen dem ausgestreckten Finger und dem Touchscreen zur Folge. Die Betätigung eines gewünschten Bedienfeldes auf dem Touchscreen in einem Fahrzeug kann sich daher als wesentlich schwieriger erweisen als die Betätigung eines Tabletcomputers oder eines Smartphones. Thus, for example, according to FIG. 2, a first line of keys for selecting the respective function (eg "radio", "navigation" or "climate control") can be located on a touchscreen, with a variable range depending on the selected function being provided below this first line which provides appropriate information or input keys according to the selected function. In this case, the area outlined in dashed lines in FIG. 2 is adapted as a function of the function currently selected by the driver. Here, in practice, the problem may arise that these virtual buttons can be very small at high utilization of the area provided by the touch screen or available for input fields, so that their exact operation can be difficult. The problem is exacerbated by the fact that such touchscreens are often arranged in the middle area of the dashboard (so-called "center stack"), which can lead to parallax errors and the result that the user outside the center of the touch screen intended control panel operated. To overcome this problem, according to the schematic diagram of Fig. 3, an enlargement of the image displayed by the touch screen in the area around the point of contact of the finger, so that the user receives a visual feedback to the respective actuated area. This visual feedback replaces the haptic feedback familiar with conventional buttons and confirms the user that the intended change in settings is also achieved. However, even in the approach described with reference to Fig. 3, the further problem arises that there is always some movement of the driver's hand while driving so that steady finger alignment without blurring is difficult. However, a discontinuous or wobbly movement of the finger results in a wandering or jumping around of the respective enlarged area and a flickering of the display. This problem is exacerbated by the fact that when operating a located in the central operating area or "center stack" of the dashboard touched arm of the driver is moved or positioned in a different manner than that when operating a held in each other hand tablet computer the case is. In addition, the movement of the vehicle has relative movements between the extended finger and the touch screen result. The actuation of a desired control panel on the touchscreen in a vehicle can therefore prove to be much more difficult than the operation of a tablet computer or a smartphone.
Aufgrund der in drei Dimensionen bzw. Raumrichtungen stattfindenden Fingerbewegung kann ferner eine rasche Änderung der Vergrößerung und des vergrößerten Bereichs stattfinden, bevor die auf dem Touchscreen anvisierte Stelle schließlich getroffen wird, was dazu führt, dass die Anzeige scheinbar flackert und das Auffinden und Betätigen des anvisierten Punktes bzw. Bedienfeldes noch erschwert wird. Aus EP 2 587 350 A2 ist u.a. ein Verfahren zur Betätigung eines Touchscreens im Cockpit eines Flugzeuges bekannt, bei dem die Ermittlung gültiger Touchscreen- Eingaben auf Basis des Vergleichs zwischen einer Charakteristik der jeweiligen Eingabe mit einer Referenzcharakteristik erfolgt. Hierbei werden Eingaben beispielsweise während des Auftretens von Turbulenzen als versehentlich eingestuft oder als ungültig angesehen, was beispielsweise auf Basis der Erfassung biomechanischer (z.B. auf Handfläche oder Handgelenk hinweisender) Eigenschaften der Eingabe oder der Größe der betätigten Fläche relativ zur durchschnittlichen Fingerspitzengröße erfolgen kann. Further, due to the finger movement occurring in three dimensions, a rapid change in magnification and enlarged area may occur before the point targeted on the touch screen is finally hit, causing the display to flicker and to locate and actuate the targeted one Point or control panel is still difficult. EP 2 587 350 A2 discloses, inter alia, a method for actuating a touchscreen in the cockpit of an aircraft, in which the determination of valid touch screen inputs is based on the comparison between a characteristic of the respective input with a reference characteristic. In this case, inputs, for example, are classified as inadvertent during the occurrence of turbulence or regarded as invalid, which can be done for example based on the detection of biomechanical (eg, palm or wrist hinweisender) properties of the input or the size of the actuated area relative to the average fingertip size.
Aus der DE 1 1 2009 002 612 T5 ist es bekannt, dass die Positionseingaben eines Touchscreens einer Tiefpassfilterung mit konstanter Filterkonstante bzw. Grenzfrequenz (z.B. 3 Hz) zur Elimination von Vibrationen unterzogen werden. Eine derartige konstante Tiefpassfilterung führt jedoch zu einer unerwünschten Anzeigeträgheit. It is known from DE 1 1 2009 002 612 T5 that the position inputs of a touch screen are subjected to low-pass filtering with a constant filter constant or limit frequency (for example 3 Hz) for the purpose of eliminating vibrations. However, such a constant low-pass filtering leads to an undesirable display inertia.
Zum weiteren Stand der Technik wird lediglich beispielhaft auf US 2012/0308204 A1 , US 7 865 838 B2, EP 2 160 675 B1 , US 2010/0328351 A1 und US 8 373 669 B2 verwiesen. For further prior art, reference is merely made by way of example to US 2012/0308204 A1, US Pat. No. 7,865,838 B2, EP 2 160 675 B1, US 2010/0328351 A1 and US Pat. No. 8,373,669 B2.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren sowie eine Bedienvorrichtung zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, bereitzustellen, welche eine exaktere und möglichst fehlerfreie Bedienung auch bei ungleichmäßigen oder abrupten Eingabe- bzw. Fingerbewegungen der Bedienperson ermöglichen, wobei der Eindruck einer trägen Anzeigenreaktion für den Benutzer vermieden werden soll. It is an object of the present invention to provide a method and an operating device for operating an electronic device via a touchscreen, in particular in a vehicle, which enable a more exact and error-free operation even with uneven or abrupt input or finger movements of the operator, the impression of a sluggish ad response for the user should be avoided.
Diese Aufgabe wird durch das Verfahren gemäß den Merkmalen des unabhängigen Patentanspruchs 1 sowie die Bedienvorrichtung gemäß den Merkmalen des nebengeordneten Patentanspruchs 1 1 gelöst. Ein erfindungsgemäßes Verfahren zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, wobei die Bedienung auf Basis eines durch eine den Touchscreen berührende Eingabebewegung erzeugten Positionssignals erfolgt, weist folgende Schritte auf: - Durchführung einer Filterung des Positionssignals derart, dass wenigstens eine Bewegungskomponente der Eingabebewegung zumindest teilweise unterdrückt wird, wobei ein gefiltertes Positionssignal erhalten wird; und This object is achieved by the method according to the features of independent claim 1 and the operating device according to the features of the independent patent claim 1 1. A method according to the invention for operating an electronic device via a touchscreen, in particular in a vehicle, wherein the operation is performed on the basis of a position signal generated by a touch movement touching the touchscreen, comprises the following steps: - performing a filtering of the position signal such that at least one movement component the input motion is at least partially suppressed, whereby a filtered position signal is obtained; and
Betätigen des elektronischen Gerätes auf Basis dieses gefilterten Positionssignals. Actuating the electronic device based on this filtered position signal.
Der Erfindung liegt insbesondere das Konzept zugrunde, die sich aus einer sich dem Touchscreen annähernden und diesen schließlich berührenden Hand- bzw. Fingerbewegung ergebenden Positionssignale (etwa der jeweiligen Fingerposition) einer Filterung zu unterziehen, wobei die hierbei verwendeten Filterparameter in Abhängigkeit vom aktuellen Fahrzeugzustand (z.B. Fahrzeuggeschwindigkeit und -beschleunigung) gewählt werden können. Dabei geht die Erfindung von der Überlegung aus, dass die vom Fahrer beabsichtigte Fingerbewegung durch zufällige bzw. statistische Bewegungskomponenten überlagert wird, wie im Weiteren noch detaillierter beschrieben wird. In particular, the invention is based on the concept of subjecting a position signal (for example, the respective finger position) approaching the touchscreen to touch and finally touching it, the filter parameters used here depending on the current vehicle state (eg Vehicle speed and acceleration) can be selected. The invention is based on the consideration that the intended by the driver finger movement is superimposed by random or statistical components of movement, as will be described in more detail below.
Bei dem Touchscreen kann es sich um einen im Fahrzeug eingebauten Touchscreen oder auch um den Touchscreen eines (z.B. an ein Fahrzeug angeschlossenen) Tabletcomputers oder Smartphones handeln. Die Erfindung ist jedoch auch auf diese Anwendungen nicht beschränkt und allgemein in Anwendungen vorteilhaft realisierbar, in denen ein Touchscreen in einer beweglichen Umgebung, ggf. auch in größerem Abstand bzw. mit ausgestrecktem Arm der Bedienperson, betätigt werden soll. The touch screen may be a vehicle-mounted touch screen or the touch screen of a tablet computer or smartphone (for example, connected to a vehicle). However, the invention is not limited to these applications and generally advantageous in applications realized in which a touch screen in a mobile environment, possibly also at a greater distance or with the arm of the operator outstretched to be operated.
Gemäß einer Ausführungsform umfasst die wenigstens eine Bewegungs- komponente der Eingabebewegung eine unregelmäßige Bewegung (etwa im Sinne einer Hin- und Herbewegung, einer wackelnden Bewegung oder "Brownschen Bewegung") der zur Durchführung der Eingabebewegung ausgestreckten Hand einer Bedienperson. Gemäß einer Ausführungsform umfasst die wenigstens eine Bewegungskomponente der Eingabebewegung vibrationsbedingte Relativbewegungen, insbesondere aufgrund von Vibrationen eines Fahrzeuges, zwischen der zur Durchführung der Eingabebewegung ausgestreckten Hand und dem Touchscreen. According to one embodiment, the at least one movement component of the input movement comprises an irregular movement (for example in the sense of a reciprocating movement, a wobbling motion or "Brownian motion") of the hand of an operator stretched out to carry out the input movement. According to one embodiment, the at least one movement component of the input movement comprises relative vibration-related movements, in particular due to vibrations of a vehicle, between the hand extended to carry out the input movement and the touchscreen.
Gemäß einer Ausführungsform umfasst die wenigstens eine Bewegungskomponente der Eingabebewegung Bewegungen aufgrund von Lenk- oder Bremsvorgängen eines Fahrzeuges und/oder aufgrund von Fahrbahnunebenheiten. According to one embodiment, the at least one movement component of the input movement comprises movements due to steering or braking processes of a vehicle and / or due to road bumps.
Gemäß einer Ausführungsform weist das Positionssignal drei Ortskoordinaten (x, y, z) relativ zum Touchscreen auf, wobei die Filterung des Positionssignals für sämtliche dieser drei Ortskoordinaten erfolgt. Gemäß einer Ausführungsform wird die wenigstens eine Bewegungskomponente auf Basis einer Autokorrelation des Positionssignals ermittelt. According to one embodiment, the position signal has three location coordinates (x, y, z) relative to the touchscreen, wherein the filtering of the position signal takes place for all of these three location coordinates. According to one embodiment, the at least one movement component is determined on the basis of an autocorrelation of the position signal.
Gemäß einer Ausführungsform wird die wenigstens eine Bewegungskomponente unter Verwendung eines Tiefpassfilters ermittelt. According to one embodiment, the at least one motion component is determined using a low-pass filter.
Gemäß einer Ausführungsform wird die wenigstens eine Bewegungskomponente mit Hilfe wenigstens eines Beschleunigungssensors ermittelt. According to one embodiment, the at least one movement component is determined with the aid of at least one acceleration sensor.
Gemäß einer Ausführungsform erfolgt ein Einfrieren des Positionssignals, wenn eine während der Eingabebewegung ermittelte Positionsänderung oder eine während der Eingabebewegung ermittelte Beschleunigung einen vorbestimmten Schwellenwert überschreitet. According to an embodiment, the position signal is frozen when a position change determined during the input movement or an acceleration determined during the input movement exceeds a predetermined threshold value.
Gemäß einer Ausführungsform wird in Reaktion auf eine den Touchscreen berührende Eingabebewegung ein visuelles und/oder haptisches Feedback an eine die Eingabebewegung durchführende Bedienperson übermittelt. Die Erfindung betrifft weiter auch eine Bedienvorrichtung zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, wobei die Bedienung auf Basis eines durch eine den Touchscreen berührende Eingabebewegung erzeugten Positionssignals erfolgt, und wobei die Bedienvorrichtung dazu konfiguriert ist, ein Verfahren mit den vorstehend beschriebenen Merkmalen durchzuführen. According to one embodiment, in response to an input gesture contacting the touch screen, visual and / or haptic feedback is communicated to an operator performing the input movement. The invention further relates to an operating device for operating an electronic device via a touchscreen, in particular in a vehicle, wherein the operation is based on a generated by a touchscreen touching input movement position signal, and wherein the operating device is configured to a method with the above perform described features.
Weitere Ausgestaltungen der Erfindung sind der Beschreibung sowie den Unteransprüchen zu entnehmen. Further embodiments of the invention are described in the description and the dependent claims.
Die Erfindung wird nachstehend anhand einer beispielhaften Ausführungsform unter Bezugnahme auf die beigefügten Abbildungen näher erläutert. The invention will be explained below with reference to an exemplary embodiment with reference to the accompanying drawings.
Es zeigen: Show it:
Figur 1 ein Flussdiagramm zur Erläuterung eines beispielhaften Ablaufs des FIG. 1 is a flow chart for explaining an example flow of the
Verfahrens gemäß der vorliegenden Erfindung; und  Method according to the present invention; and
Figur 2-3 schematische Darstellungen zur Erläuterung herkömmlicher Ansätze zur Bedienung eines Touchscreens. Figure 2-3 are schematic representations for explaining conventional approaches for operating a touch screen.
Die Erfindung geht von der Überlegung aus, dass bei der Bedienung eines Touchscreens z.B. in einem Fahrzeug die vom Fahrer beabsichtigte Fingerbewegung durch zufällige bzw. statistische Bewegungskomponenten überlagert wird, wobei hinsichtlich der Relativbewegung zwischen Fingerspitze und Touchscreen wenigstens vier Bewegungskomponenten unterschieden werden können: die vom Fahrer beabsichtigte Bewegung, d.h. Annäherung an den Touchscreen und Zeigen auf einen definierten Bereich bzw. Punkt (im Weiteren: "Komponente a"); eine "Brownsche Bewegung" in Form geringfügiger Bewegungen z.B. aufgrund des Umstandes, dass die Hand ausgestreckt und nicht in vollständig gleichbleibender Position gehalten werden kann oder da der Fahrer mit seiner anderen Hand das Lenkrad betätigt und mit der ausgestreckten Hand Ausgleichbewegungen durchführt (im Weiteren: "Komponente b"); zufällige bzw. statistische, geringfügige Bewegungen aufgrund von Vibrationen des Fahrzeuges und deren Auswirkung sowohl auf denThe invention is based on the consideration that when operating a touchscreen, for example in a vehicle, the finger movement intended by the driver is superimposed by random or statistical components of motion, with respect to the relative movement between fingertip and touchscreen at least four components of movement can be distinguished: the driver intended movement, ie approach to the touchscreen and point to a defined area or point (hereinafter: "component a"); a "Brownian movement" in the form of minor movements, for example, due to the fact that the hand can be stretched out and not held in a completely consistent position or because of Driver with his other hand operated the steering wheel and with the outstretched hand performs compensatory movements (hereinafter: "component b"); accidental or statistical, minor movements due to vibration of the vehicle and their impact on both
Touchscreen als auch auf den Fahrer (im Weiteren: "Komponente c"); und unbeabsichtigte größere Bewegungen aufgrund abrupter Lenk- oder Bremsvorgänge oder Fahrbahnunebenheiten (im Weiteren: "Komponente d"). Touchscreen as well as on the driver (hereinafter: "component c"); and unintentional large movements due to abrupt steering or braking or uneven road surfaces (hereinafter: "component d").
Diese Komponenten der insgesamt stattfindenden Relativbewegung können in unterschiedlicher Weise gemessen werden und unterschiedliche Frequenzbereiche sowie unterschiedliche statistische Eigenschaften aufweisen. These components of the total relative movement can be measured in different ways and have different frequency ranges and different statistical properties.
Die beabsichtigte Bewegung (= Komponente a)) kann mittels einer "starken" Filterung extrahiert werden, da es sich hierbei um die durchschnittliche bzw. mittlere Bewegungskomponente handelt, um die herum die übrigen Bewegungskomponenten oszillieren. Allerdings treten bei einer herkömmlichen Filterung unter Verwendung eines langsamen Tiefpassfilters zur Eliminierung sämtlicher unerwünschter Bewegungskomponenten Verzögerungen auf, die für den Fahrer lästig sein können und die Anzeige sehr träge erscheinen lassen können. The intended motion (= component a)) can be extracted by means of a "strong" filtering, since this is the average or mean component of motion around which the other components of motion oscillate. However, conventional filtering using a slow low-pass filter eliminates delays that can be troublesome to the driver and make the display very sluggish to eliminate any unwanted motion components.
Die Brownsche Bewegungskomponente (Komponente b)) ist aus der Positionsinformation ersichtlich, welche von dem Touchscreen (z.B. mittels Kameras oder einer anderen Sensortechnologie) erfasst wird. Die statistischen Eigenschaften dieser Brownschen Bewegungskomponente können mit einer Autokorrelation oder einer Kreuzkorrelation ermittelt werden, welche angibt, nach welcher Zeit die Korrelation des Positionssignals mit sich selbst verlorengeht (so dass ein entsprechender Tiefpassfilter die nicht korrelierten, schnelleren Beiträge eliminieren kann). Diese statistischen Eigenschaften sind im Allgemeinen vom Fahrer (z.B. der Muskelanspannung), aber auch von der Beschleunigung abhängig. Mittels einer Anpassung des Filters an die erfassten statistischen Eigenschaften erfolgt eine Anpassung der Filterung an den Fahrer, so dass die vorstehend beschriebenen Beeinträchtigungen vermieden werden können. The Brownian motion component (component b)) can be seen from the position information captured by the touchscreen (eg, by cameras or other sensor technology). The statistical properties of this Brownian motion component can be determined with an autocorrelation or a cross-correlation indicating after what time the correlation of the position signal with itself is lost (so that a corresponding low-pass filter can eliminate the uncorrelated, faster contributions). These statistical characteristics are generally dependent on the driver (eg the muscle tension), but also on the acceleration. By means of an adaptation of the filter to the detected statistical properties, a Adjustment of the filtering to the driver, so that the adverse effects described above can be avoided.
Die entsprechende Anpassung des Tiefpassfilters kann dadurch erfolgen, dass der Ausgangswert der Korrelationsberechnung mit einem geeigneten Skalierungsfaktor direkt als Filterkonstante verwendet wird. Dabei wird beispielsweise bei einem schwach autokorrelierten (d.h. in der Regel "sprunghafteren" Positionssignal) vorzugsweise ein schneller reagierender Filter verwendet als bei einem stärker autokorrelierten Signal, bei dem eine stärkere Filterung erfolgt. Vorzugsweise erfolgt - zumindest in dem Betriebsmodus, in dem das Positionssignal nicht "eingefroren" wird - stets eine Filterung mit angepasster Filterkonstante, so dass gleichzeitig eine optimale Unterdrückung der "Brownschen" Bewegungskomponente und eine optimale Reaktionsgeschwindigkeit der Eingabe erzielt wird. Alternativ kann die Anpassung der Filterkonstante nur allmählich sein, d.h., nur mit einer gewissen Verzögerung dem Korrelationssignal folgen. D.h., die Filterkonstante selbst wird wiederum einer zusätzlichen Tiefpassfilterung (diese vorzugsweise mit vorgegebener Filterkonstante) unterzogen, wodurch u.a. Störeffekte bei stark transienten Zuständen eliminiert werden können. The corresponding adaptation of the low-pass filter can take place in that the output value of the correlation calculation with a suitable scaling factor is used directly as a filter constant. In this case, for example, in the case of a weakly autocorrelated (that is, as a rule "more erratic" position signal), a filter which reacts more quickly is preferably used than in the case of a more autocorrelated signal, in which a stronger filtering takes place. Preferably - at least in the operating mode in which the position signal is not "frozen" - always filtered with matched filter constant, so that at the same time optimal suppression of the "Brownian" motion component and an optimal reaction rate of the input is achieved. Alternatively, the adjustment of the filter constant may only be gradual, i.e., follow the correlation signal only with some delay. That is, the filter constant itself is again subjected to additional low-pass filtering (preferably with a predetermined filter constant), thereby causing i.a. Disturbing effects can be eliminated in strongly transient states.
Als Alternative zu der vorbeschriebenen Modifikationen anhand der Korrelation oder Kreuzkorrelation kann die Filterkonstante auch anhand einer Auswertung der Signale eines Beschleunigungssensors modifiziert werden. Ein Parameter bei der Berechnung der Autokorrelation bzw. Kreuzkorrelation zeitabhängiger Funktionen stellt die jeweils betrachtete Zeitverschiebung zwischen den Funktionen dar. Für diese Zeitverschiebung kann der Wert null gewählt werden, oder es kann eine bestimmte Zeitverzögerung vorgegeben werden. Alternativ kann die Auto- oder Kreuzkorrelation auch anstelle einer Tiefpassfilterung direkt zur Bestimmung korrigierter Positionswerte benutzt werden, da mit der Anwendung der Korrelationsoperation auch eine Mittelwertbildung einhergeht. Die geringfügigen, stochastischen bzw. zufälligen Bewegungen (= Komponente c)) können mit Hilfe von Beschleunigungssensoren ermittelt werden, wie sie z.B. in Fahrzeugen sowie zahlreichen anderen, jeweils mit einem Touchscreen versehenen Vorrichtungen verfügbar sind. Die statistischen Eigenschaften des Beschleunigungs-signals können ausgewertet werden, um die Standardabweichung über kurze Zeitfenster zu ermitteln. Diese Information kann bei der nachfolgend beschriebenen Berücksichtigung bzw. Verarbeitung der vierten Bewegungskomponente verwendet werden. Zur meisten Zeit besteht keine Notwendigkeit zur Filterung der dritten Komponente (Komponente c)) mit einem speziell hierfür ausgelegten Filter, da die zwischen Beschleunigungssignal und Positionssignal erfolgende zweifache Integration i.d.R. sämtliche stochastischen Beiträge von hoher Frequenz eliminiert. Falls gleichwohl eine Filterung für diese dritte Bewegungskomponente (Komponente c)) erforderlich ist, kann eine Fourier-Transformation auf das Beschleunigungssignal angewendet werden, um denjenigen Frequenzbereich zu ermitteln, bei dem (abgesehen von dem Beitrag des Gleichgewichtszustandes) der größte Beitrag stattfindet. Dieser Frequenzbereich ist im Allgemeinen abhängig von der Fahrzeuggeschwindigkeit, dem Fahrbahntyp und ggf. (falls einstellbar bzw. verfügbar) der Einstellung der Aufhängung ("hart/sportlich" oder "weich/komfortabel"). Ein Notchfilter kann dazu verwendet werden, den entsprechenden Frequenzbereich aus der Positionsinformation der Fingerspitze zu eliminieren. As an alternative to the above-described modifications based on the correlation or cross-correlation, the filter constant can also be modified on the basis of an evaluation of the signals of an acceleration sensor. A parameter in the calculation of the autocorrelation or cross-correlation of time-dependent functions represents the considered time shift between the functions. For this time shift, the value zero can be selected, or a specific time delay can be specified. Alternatively, the auto or cross correlation can also be used instead of a low-pass filtering directly for the determination of corrected position values, since the application of the correlation operation is accompanied by an averaging. The small, stochastic or random movements (= component c)) can be determined with the aid of acceleration sensors, such as are available in vehicles and numerous other, each provided with a touch screen devices. The statistical properties of the acceleration signal can be evaluated to determine the standard deviation over short time windows. This information can be used in the consideration or processing of the fourth movement component described below. Most of the time, there is no need to filter the third component (component c)) with a dedicated filter since the dual integration occurring between the acceleration signal and the position signal usually eliminates all high frequency stochastic contributions. However, if filtering is required for this third motion component (component c)), a Fourier transform may be applied to the acceleration signal to determine the frequency range at which (apart from the contribution of the equilibrium state) the largest contribution occurs. This frequency range is generally dependent on the vehicle speed, the type of roadway and, if applicable, the suspension setting ("hard / sporty" or "soft / comfortable"). A notch filter can be used to eliminate the corresponding frequency range from fingertip position information.
Die vierte Bewegungskomponente (= Komponente d)), welche die unbeabsichtigten Bewegungen aufgrund von Fahrbahnunebenheiten betrifft, kann dadurch ermittelt werden, dass das Signal des Beschleunigungssensors mit der zuvor ermittelten Standardabweichung verglichen wird. Wenn das Signal außerhalb eines Bereichs von z.B. ±3 Standardabweichungen liegt, hat eine Fahrbahnunebenheit oder abrupte Lenkbewegung eine signifikante Bewegung der Hand zur Folge. In diesem Falle erfolgt vorzugsweise für eine bestimmte Zeitdauer die Unterdrückung jeglicher Änderungen der Fingerspitzenposition. Die Dauer dieser Unterdrückung kann zeitbasiert sein und beispielsweise 500ms betragen. Alternativ kann die Dauer dieser Unterdrückung von Änderungen der Fingerspitzenposition auch anhand der Beschleunigung selbst ermittelt werden. So kann eine Wiederaufnahme der Positionsermittlung erfolgen, sobald die Beschleunigung sich für eine bestimmte Anzahl von Abtastmomenten in einem kleineren Bereich (z.B. ± 1 Standardabweichungen) befindet. Des Weiteren kann die Unterdrückung auch in Abhängigkeit von der Auswertung der Brownschen Bewegung erfolgen, wenn z.B. die Autokorrelation ihren ursprünglichen Wert wieder erreicht hat. Eine weitere Möglichkeit besteht in der Auswertung der Kreuzkorrelation zwischen der Beschleunigung und der Position, wobei die Positionsverfolgung wieder aufgenommen werden kann, wenn die Kreuzkorrelation eine ausreichende Entkopplung zwischen den beiden Signalen (d.h. eine geringe Kreuzkorrelation) zeigt. The fourth movement component (= component d)), which relates to the unintentional movements due to road bumps, can be determined by comparing the signal of the acceleration sensor with the previously determined standard deviation. If the signal is outside a range of, for example, ± 3 standard deviations, a road bump or abrupt steering movement will result in significant hand movement. In this case, it is preferable to suppress any changes in fingertip position for a certain period of time. The duration of this suppression can be time based and for example 500ms. Alternatively, the duration of this suppression of changes in fingertip position may also be based on the Acceleration itself can be determined. Thus, a resumption of the position determination can take place as soon as the acceleration is in a smaller range (eg ± 1 standard deviations) for a certain number of sampling moments. Furthermore, the suppression can also take place as a function of the evaluation of the Brownian motion, if, for example, the autocorrelation has reached its original value again. Another possibility is to evaluate the cross-correlation between the acceleration and the position, whereby the position tracking can be resumed if the cross-correlation shows sufficient decoupling between the two signals (ie a low cross-correlation).
Vorzugsweise wird die erfindungsgemäße Filterung nicht nur in zwei Dimensionen (d.h. für die x- und y-Richtung auf dem Touchscreen), sondern auch für die dritte Dimension bzw. Ortskoordinate oder Raumrichtung (z-Richtung), insbesondere die Annäherung an den Touchscreen, durchgeführt. Insbesondere kann der Fall eintreten, dass eine erstmalige tatsächliche Berührung des Touchscreens durch eine der drei vorstehend beschriebenen, unbeabsichtigten Bewegungskomponenten (Komponenten b)-d)) und nicht durch die beabsichtigte Bewegung (Komponente a) verursacht wird, so dass die mit der Berührung verbundene Aktion ebenfalls in ähnlicher Weise wie für die (x, y-Position) auf dem Touchscreen verzögert werden sollte. Preferably, the filtering according to the invention is carried out not only in two dimensions (ie for the x and y directions on the touchscreen), but also for the third dimension or spatial coordinate or spatial direction (z direction), in particular the approach to the touch screen , In particular, it may be the case that a first actual touch of the touchscreen is caused by one of the three inadvertent movement components (components b) -d)) described above and not by the intended movement (component a), such that the one associated with the touch Action should also be delayed in a similar manner as for the (x, y position) on the touch screen.
Um den Fahrer zusätzlich bei der Manipulation bzw. Betätigung der auf dem Touchscreen gezeigten Symbole zu unterstützen, erfolgt vorzugsweise zusätzlich die Übermittlung eines Feedbacks, wenn die Berührung erkannt und akzeptiert wurde. Hierbei kann es sich um ein visuelles Feedback (beispielsweise durch Aufleuchten oder Farbveränderung des vom Fahrer berührten Symbols (z.B. Taste oder Schiebeschalter)) handeln. In weiteren Ausführungsformen kann auch ein haptisches Feedback (z.B. in Form einer Vibration der Oberfläche) oder ein akustisches Feedback übermittelt werden, welches angibt, dass die Berührung des Bildschirms erkannt wurde (wobei in diesem Falle keine Information über das betätigte Element übermittelt wird). In alternativen Ausführungsformen kann anstelle der vorstehend unter Bezugnahme auf die dritte und vierte Bewegungskomponente (Komponenten c) und d)) beschriebenen Beschleunigungsmessung eine Auswertung vergleichsweise großer, rascher Änderungen der Position der Fingerspitze erfolgen. Hierdurch wird der Umstand ausgenutzt, dass absichtliche Bewegungen vergleichsweise stetig bzw. allmählich erfolgen, wohingegen unbeabsichtigte Bewegungen relativ abrupt stattfinden. Dabei kann eine ähnliche Statistik wie im Zusammenhang mit dem Beschleunigungssignal beschrieben verwendet werden. In addition, in order to assist the driver in the manipulation or actuation of the symbols shown on the touchscreen, preferably the transmission of a feedback takes place if the contact has been recognized and accepted. This may be visual feedback (for example, lighting up or changing the color of the driver touched icon (eg button or slide switch)). In further embodiments, a haptic feedback (eg in the form of a vibration of the surface) or an acoustic feedback may be transmitted, which indicates that the touch of the screen has been detected (in which case no information about the operated element is transmitted). In alternative embodiments, instead of the acceleration measurement described above with reference to the third and fourth movement components (components c) and d)), an evaluation of comparatively large, rapid changes in the position of the fingertip can take place. This makes use of the fact that deliberate movements take place relatively steadily or gradually, whereas unintentional movements take place relatively abruptly. In this case, a similar statistic as described in connection with the acceleration signal can be used.
Im Weiteren wird ein möglicher Ablauf des erfindungsgemäßen Verfahrens unter Bezugnahme auf das in Fig. 1 gezeigte Flussdiagramm beschrieben. In the following, a possible sequence of the method according to the invention will be described with reference to the flowchart shown in FIG.
Nach Start des Verfahrens (Schritt S10) erfolgt im Schritt S20 eine Initialisierung der Fingerspitzenposition aus einer gespeicherten Position. Im Schritt S30 erfolgt eine Ablesung des Beschleunigungssensors (d.h. des Beschleunigungssignals (ax, ay, az)). After the method has been started (step S10), the fingertip position is initialized from a stored position in step S20. In step S30, a reading is made of the acceleration sensor (ie, the acceleration signal (a x , a y , a z )).
Im Schritt S40 wird die Standardabweichung der Beschleunigung (sax, say, saz) über ein bestimmtes Zeitfenster ermittelt. Wenn gemäß Abfrage im nachfolgenden Schritt S50 wenigstens eine der Beschleunigungskomponenten betragsmäßig größer als das Produkt der jeweiligen Standardabweichung mit einem vorgegebenen Faktor ist, erfolgt eine "Einfrierung" der Fingerspitzenposition (Schritt S55) unter Rückkehr zu Schritt S30, d.h. einer erneuten Ablesung des Beschleunigungssensors. Anderenfalls erfolgt im Schritt S60 ein Ablesen der Fingerspitzenposition in den drei Raumrichtungen, d.h. der Koordinaten (x, y, z). Im nachfolgenden Schritt S70 erfolgt eine Autokorrelation der Fingerspitzenposition sowie eine Ermittlung der Zeitkonstanten für die Filterung. Anschließend erfolgt im Schritt S80 eine Filterung des Positionssignals unter Verwendung eines Tiefpassfilters bei Zugrundelegung der entsprechenden Filterkonstanten. Im Schritt S90 erfolgt eine Aktualisierung der Fingerspitzenposition im Speicher zur Verwendung bei der Touchscreen- Betätigung. Im Schritt S100 endet das Verfahren. In step S40, the standard deviation of the acceleration (sa x , sa y , sa z ) is determined over a specific time window. If, according to the query in the following step S50, at least one of the acceleration components is greater than the product of the respective standard deviation with a predetermined factor, a "freezing" of the fingertip position occurs (step S55), returning to step S30, ie a new reading of the acceleration sensor. Otherwise, in step S60, the fingertip position is read in the three spatial directions, ie the coordinates (x, y, z). In the following step S70 an autocorrelation of the fingertip position as well as a determination of the time constants for the filtering takes place. Subsequently, in step S80, the position signal is filtered using a low-pass filter based on the corresponding filter constants. In step S90, an updating of the fingertip position in the memory for use in the touchscreen operation is performed. In step S100, the method ends.

Claims

Patentansprüche  claims
1 . Verfahren zum Bedienen eines elektronischen Gerätes über einen 1 . Method for operating an electronic device via a
Touchscreen, insbesondere in einem Fahrzeug, wobei die Bedienung auf Basis eines durch eine den Touchscreen berührende Eingabebewegung erzeugten Positionssignals erfolgt,  Touchscreen, in particular in a vehicle, wherein the operation takes place on the basis of a position signal generated by a touch movement touching the touch screen,
dadurch gekennzeichnet, dass  characterized in that
das Verfahren folgende Schritte aufweist:  the method comprises the following steps:
Durchführung einer Filterung des Positionssignals derart, dass wenigstens eine Bewegungskomponente der Eingabebewegung zumindest teilweise unterdrückt wird, wobei ein gefiltertes Positionssignal erhalten wird; und Betätigen des elektronischen Gerätes auf Basis dieses gefilterten Positionssignals.  Performing a filtering of the position signal such that at least a component of movement of the input movement is at least partially suppressed, wherein a filtered position signal is obtained; and operating the electronic device based on this filtered position signal.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass 2. The method according to claim 1, characterized in that
die Durchführung der Filterung des Positionssignals derart erfolgt, dass wenigstens eine Bewegungskomponente der Eingabebewegung zumindest teilweise mittels Tiefpassfilterung des Positionssignals unterdrückt wird, wobei die Filterkonstante des Tiefpassfilters abhängig von dem  the filtering of the position signal is carried out such that at least one component of the movement of the input movement is at least partially suppressed by means of low-pass filtering of the position signal, the filter constant of the low-pass filter being dependent on the
Positionssignal und/oder abhängig von dem Signal eines  Position signal and / or depending on the signal of a
Beschleunigungssensors modifiziert wird.  Acceleration sensor is modified.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass 3. The method according to claim 1 or 2, characterized in that
die Filterkonstante des Tiefpassfilters abhängig von dem Ergebnis einer Autokorrelation des Positionssignals oder einer Kreuzkorrelation des Positionssignals und einer auf dem Signal des Beschleunigungssensors beruhenden Größe angepasst wird. Verfahren nach Anspruch 1 bis 3, the filter constant of the low-pass filter is adjusted depending on the result of an autocorrelation of the position signal or a cross-correlation of the position signal and a quantity based on the signal of the acceleration sensor. Method according to claims 1 to 3,
dadurch gekennzeichnet, dass  characterized in that
die wenigstens eine Bewegungskonnponente der Eingabebewegung eine unregelmäßige Bewegung der zur Durchführung der Eingabebewegung ausgestreckten Hand einer Bedienperson umfasst.  the at least one movement component of the input movement comprises an irregular movement of the hand of an operator extended to carry out the input movement.
Verfahren nach einem der Ansprüche 1 bis 4, Method according to one of claims 1 to 4,
dadurch gekennzeichnet, dass  characterized in that
die wenigstens eine Bewegungskomponente der Eingabebewegung vibrationsbedingte Relativbewegungen, insbesondere aufgrund von Vibrationen eines Fahrzeuges, zwischen der zur Durchführung der Eingabebewegung ausgestreckten Hand einer Bedienperson und dem Touchscreen umfasst.  the at least one movement component of the input movement comprises vibration-related relative movements, in particular due to vibrations of a vehicle, between the hand of an operator stretched out to carry out the input movement and the touchscreen.
Verfahren nach einem der Ansprüche 1 bis 5, Method according to one of claims 1 to 5,
dadurch gekennzeichnet, dass  characterized in that
die wenigstens eine Bewegungskomponente der Eingabebewegung  the at least one motion component of the input motion
Bewegungen aufgrund von Lenk- oder Bremsvorgängen eines Fahrzeuges und/oder aufgrund von Fahrbahnunebenheiten umfasst. 7. Verfahren nach einem der vorhergehenden Ansprüche,  Movements due to steering or braking operations of a vehicle and / or due to road bumps. 7. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das Positionssignal drei Ortskoordinaten (x, y, z) relativ zum Touchscreen aufweist, wobei die Filterung des Positionssignals für sämtliche dieser drei Ortskoordinaten erfolgt.  the position signal comprises three location coordinates (x, y, z) relative to the touch screen, wherein the filtering of the position signal for all of these three location coordinates.
8. Verfahren nach einem der vorhergehenden Ansprüche, 8. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die wenigstens eine Bewegungskomponente auf Basis einer Autokorrelation des Positionssignals ermittelt wird. the at least one motion component is determined on the basis of an autocorrelation of the position signal.
9. Verfahren nach einem der vorhergehenden Ansprüche, 9. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die wenigstens eine Bewegungskomponente mit Hilfe wenigstens eines Beschleunigungssensors ermittelt wird.  the at least one movement component is determined with the aid of at least one acceleration sensor.
10. Verfahren nach einem der vorhergehenden Ansprüche, 10. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
ein Einfrieren des Positionssignals erfolgt, wenn eine während der Eingabebewegung ermittelte Positionsänderung oder eine während der Eingabebewegung ermittelte Beschleunigung einen vorbestimmten Schwellenwert überschreitet.  a freezing of the position signal takes place when a position change determined during the input movement or an acceleration determined during the input movement exceeds a predetermined threshold value.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, 1 1. Method according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
in Reaktion auf eine den Touchscreen berührende Eingabebewegung ein visuelles und/oder haptisches Feedback an eine die Eingabebewegung durchführende Bedienperson übermittelt wird.  in response to an input gesture contacting the touch screen, visual and / or haptic feedback is communicated to an operator performing the input movement.
12. Bedienvorrichtung zum Bedienen eines elektronischen Gerätes über einen Touchscreen, insbesondere in einem Fahrzeug, wobei die Bedienung auf Basis eines durch eine den Touchscreen berührende Eingabebewegung erzeugten Positionssignals erfolgt, 12. Operating device for operating an electronic device via a touchscreen, in particular in a vehicle, wherein the operation takes place on the basis of a position signal generated by a touch movement touching the touchscreen,
dadurch gekennzeichnet, dass  characterized in that
die Bedienvorrichtung dazu konfiguriert ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.  the operating device is configured to perform a method according to any one of the preceding claims.
EP14747910.9A 2013-08-09 2014-07-31 Method and operating device for operating an electronic device via a touchscreen Ceased EP3030956A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013215742.8A DE102013215742A1 (en) 2013-08-09 2013-08-09 Method and operating device for operating an electronic device via a touchscreen
PCT/EP2014/066480 WO2015018732A1 (en) 2013-08-09 2014-07-31 Method and operating device for operating an electronic device via a touchscreen

Publications (1)

Publication Number Publication Date
EP3030956A1 true EP3030956A1 (en) 2016-06-15

Family

ID=51292948

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14747910.9A Ceased EP3030956A1 (en) 2013-08-09 2014-07-31 Method and operating device for operating an electronic device via a touchscreen

Country Status (5)

Country Link
US (1) US10126871B2 (en)
EP (1) EP3030956A1 (en)
CN (1) CN105556452B (en)
DE (1) DE102013215742A1 (en)
WO (1) WO2015018732A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021875B4 (en) * 2013-12-21 2021-02-04 Audi Ag Sensor device and method for generating actuation signals that are processed depending on the state of the path
JP6274134B2 (en) * 2015-03-10 2018-02-07 京セラドキュメントソリューションズ株式会社 Display input device and image forming apparatus having the same
US10234990B2 (en) * 2015-09-29 2019-03-19 Microchip Technology Incorporated Mapping of position measurements to objects using a movement model
DE102016212723A1 (en) * 2016-07-13 2018-01-18 Volkswagen Aktiengesellschaft A method of providing a deadman button function by means of a touch screen of an operating device, operating device and system
DE102016226008A1 (en) * 2016-12-22 2018-06-28 Bayerische Motoren Werke Aktiengesellschaft Remote control of a vehicle function of a motor vehicle by means of a touch gesture on the remote control
US11379080B2 (en) * 2020-06-05 2022-07-05 International Business Machines Corporation Automatically correcting touchscreen errors
CN115790819A (en) * 2022-08-24 2023-03-14 宁波普瑞均胜汽车电子有限公司 Vehicle-mounted touch equipment knocking detection method and device, touch equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010063035A1 (en) * 2010-12-14 2012-06-14 Preh Gmbh Touchpad with acceleration equalization

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2666709B2 (en) * 1993-12-24 1997-10-22 日本電気株式会社 Oscillator
US7380216B2 (en) 2000-11-30 2008-05-27 International Business Machines Corporation Zoom-capable scrollbar
WO2008147929A1 (en) * 2007-05-22 2008-12-04 Qsi Corporation Touch-based input device providing a reconfigurable user interface
US8010900B2 (en) 2007-06-08 2011-08-30 Apple Inc. User interface for electronic backup
TWI391845B (en) * 2007-09-14 2013-04-01 Sony Corp An input device, a control device, a control system, a control method, and a handheld device
DE112009002612B4 (en) * 2008-12-04 2015-07-23 Mitsubishi Electric Corporation A display input device, navigation system with a display input device and vehicle information system with a display input device
US8466934B2 (en) 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
US8373669B2 (en) 2009-07-21 2013-02-12 Cisco Technology, Inc. Gradual proximity touch screen
JP2011215926A (en) * 2010-03-31 2011-10-27 Fujitsu Ten Ltd Operation unit
CN102339123B (en) * 2010-07-14 2014-10-29 Tcl集团股份有限公司 Method for controlling vibration according to contact area
DE102011011802A1 (en) * 2011-02-19 2012-08-23 Volkswagen Ag Method and device for providing a user interface, in particular in a vehicle
DE102011018555A1 (en) * 2011-04-26 2012-10-31 Continental Automotive Gmbh Interface for data transmission in a motor vehicle and computer program product
KR101290145B1 (en) 2011-05-31 2013-07-26 삼성전자주식회사 Control method and apparatus for touch screen, computer-reable recording medium, and terminal apparatus
US8886407B2 (en) * 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
US20130100043A1 (en) 2011-10-24 2013-04-25 General Electric Company Method for determining valid touch screen inputs
WO2013088560A1 (en) * 2011-12-15 2013-06-20 トヨタ自動車株式会社 Portable terminal
CN104081322A (en) * 2012-01-27 2014-10-01 松下电器产业株式会社 Electronic apparatus
TWI456454B (en) * 2012-02-08 2014-10-11 Acer Inc Method for processing touch signal and electronic device using the same
DE102012005800A1 (en) * 2012-03-21 2013-09-26 Gm Global Technology Operations, Llc input device
JPWO2013145223A1 (en) * 2012-03-29 2015-12-10 パイオニア株式会社 Image recognition apparatus, image recognition method, image recognition program, and recording medium
US9445192B2 (en) * 2012-06-28 2016-09-13 Panasonic Intellectual Property Management Co., Ltd. Active-noise-reduction device, and active-noise-reduction system, mobile device and active-noise-reduction method which use same
US8928609B2 (en) * 2012-07-09 2015-01-06 Stmicroelectronics International N.V. Combining touch screen and other sensing detections for user interface control
WO2015131065A1 (en) * 2014-02-28 2015-09-03 Valencell, Inc. Method and apparatus for generating assessments using physical activity and biometric parameters

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010063035A1 (en) * 2010-12-14 2012-06-14 Preh Gmbh Touchpad with acceleration equalization

Also Published As

Publication number Publication date
CN105556452A (en) 2016-05-04
US10126871B2 (en) 2018-11-13
WO2015018732A1 (en) 2015-02-12
CN105556452B (en) 2020-01-14
US20160188113A1 (en) 2016-06-30
DE102013215742A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
EP3030956A1 (en) Method and operating device for operating an electronic device via a touchscreen
EP2574881B1 (en) Method for operating a control system for a vehicle and control system for a vehicle
DE102014019040B4 (en) Method for operating an operating device of a motor vehicle with multi-finger operation
EP3224077B1 (en) Method for operating an operator control device of a motor vehicle
EP3234743B1 (en) Method for operating an operating device of a motor vehicle in different operating modes, operating device, and motor vehicle
DE102012005800A1 (en) input device
DE202016107161U1 (en) Improving the accuracy of touch-sensitive devices
DE112012003889T5 (en) Method, apparatus and computer program for pointing to an object
DE102011112445A1 (en) Multi-functional control device
EP3789856B1 (en) Input device with touch sensitive input surface and input section movably mounted on a base, wherein the base is selectively magnetically attachable to the input surface and associated input method
DE102017121342A1 (en) DISPLAY CONTROL DEVICE, DISPLAY CONTROL SYSTEM AND DISPLAY CONTROL METHOD
EP2196359A1 (en) Control method and device
WO2013053529A1 (en) Operating system and method for displaying an operating area
WO2014067774A1 (en) Method and device for operating an input device
WO2016096940A1 (en) Method for operating an input device, input device, motor vehicle
DE112015001323T5 (en) Operating input device and operating input method
DE102012011177A1 (en) Method for operating functions of a vehicle and corresponding device
EP3811194A1 (en) Method for the tactile interaction of a user with an electronic device, computer program product and electronic device
DE102014215049A1 (en) Method and operating device for operating an electronic device via a touchscreen
DE102015201722A1 (en) Method for operating an input device, input device
DE102015209935A1 (en) Method for detecting a manual operation on an input device
DE102019204216A1 (en) Method for operating a touch-sensitive operating device of a motor vehicle and motor vehicle for carrying out the method
DE102013223518A1 (en) Display device and method for controlling a display device
DE102019111243A1 (en) User interface, means of transport and method for operating a user interface
EP3824373B1 (en) Input device having touch screen or touch pad and input part located thereon with snap feel

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160309

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20180611

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20181213