EP2183661A1 - Verfahren zur bestimmung der position eines betätigungselements, insbesondere eines fingers, eines nutzers in einem kraftfahrzeug und positionsbestimmungsvorrichtung - Google Patents

Verfahren zur bestimmung der position eines betätigungselements, insbesondere eines fingers, eines nutzers in einem kraftfahrzeug und positionsbestimmungsvorrichtung

Info

Publication number
EP2183661A1
EP2183661A1 EP08785022A EP08785022A EP2183661A1 EP 2183661 A1 EP2183661 A1 EP 2183661A1 EP 08785022 A EP08785022 A EP 08785022A EP 08785022 A EP08785022 A EP 08785022A EP 2183661 A1 EP2183661 A1 EP 2183661A1
Authority
EP
European Patent Office
Prior art keywords
finger
center
user
actuating element
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP08785022A
Other languages
English (en)
French (fr)
Other versions
EP2183661B1 (de
Inventor
Katharina Bachfischer
Christoph WÄLLER
Lennart Bendewald
Peter Vikoler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP2183661A1 publication Critical patent/EP2183661A1/de
Application granted granted Critical
Publication of EP2183661B1 publication Critical patent/EP2183661B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Definitions

  • the invention relates to a method for determining the position of an actuating element, in particular a finger, of a user in a motor vehicle when approaching a surface having the features of the preamble of patent claim 1 and a position-determining device having the features of the preamble of patent claim 11.
  • a high-frequency encoder signal is generated via a signal generator.
  • This is capacitively coupled into a user sitting on a vehicle seat.
  • the arrangement of the signal generator is therefore preferably provided on the vehicle seat.
  • sensors are arranged on or around the surface. When the finger approaches these sensors, a capacitance in the signal circuit of the signal generator, users, sensors, which in turn are connected or coupled to the signal generator via the vehicle, changes.
  • the change in capacitance which may be understood as a change in a received signal strength of the encoder signal transmitted over the user's body, is a measure of a distance of the user's finger from the corresponding sensor.
  • Other sensor systems may be designed according to other principles, but in each case a signal strength of the transmitted via the user RF signal is evaluated. Based on the known positions of the sensors and the individual sensor signals, which each indicate a measure of a distance of the body part from the corresponding sensor, the position of the body part can be determined by triangulation.
  • Position determination units are often used in motor vehicles in connection with display and operating devices which are arranged in a center console between a driver's seat and a passenger seat.
  • the position determination units are used with such display and control devices, which include a display area.
  • the position determination unit is then used to determine an approach of a user's finger relative to the display area. Due to the arrangement between the driver's seat and the passenger seat, however, an approach of the finger is usually not perpendicular to the display surface. Rather, the approach is in most cases at an oblique angle. Since the sensors are disposed around or spaced from the display surface, the finger is not always the body part closest to one of the sensors.
  • Fig. 1a to 1d four situations are shown in which a user approximates each of his right index finger 1 to different touch positions 2-5 designed as a touchscreen display surface 6, which is arranged right in front of him.
  • sensors 8-11 are each arranged at vertices.
  • the contact situation according to FIG. 1a in which the user touches the touch position 2 located in the lower left corner with the right index finger 1, none of the sensors 8-11 is significantly disturbed by another body part.
  • the arranged at the bottom left corner sensor 8 is influenced by a hand 12 and a forearm 13 of the user.
  • the invention is therefore based on the technical problem that the position determination is not satisfactorily solved in the prior art.
  • the object of the invention is therefore, a to provide improved position determining device and an improved method for determining the position of an actuating element, in particular a finger, a user in a motor vehicle when approaching a surface.
  • the invention is based on the basic idea that, based on the sensor signals, which are a measure for a distance of the sensor from an object, for example a body part, in a first step, only a center of gravity position of the object (for example of the body part) is determined, which to this Surface is approximated.
  • This center of gravity position deviates from the position of the actuating element, for example the position of the finger.
  • the deviation between the center of gravity position and the position of the actuating element (for example the finger position) in turn depends on the determined center of gravity position.
  • the user always holds such a pencil or rod the same if he uses it as an actuating element.
  • the object thus always comprises a body part and possibly also a “foreign body” actuating element instead of an "endogenous" actuating element.
  • the invention thus proposes a method comprising the following steps: detecting sensor signals of contactlessly measuring sensors, wherein the sensor signals are a measure of a distance of an object, in particular of a body part of the user, from a corresponding sensor position and determining the position of the actuating element (finger) on the basis of sensor signals of the sensors, wherein based on the sensor signals, first a center of gravity position of the object (body part) approaching with the actuating element (finger) is determined, and taking into account the center of gravity position, the position of the actuating element (finger) is calculated.
  • Advantage of this method is that the position of the actuating element (finger) can be determined much more accurate.
  • the more specific position of the actuator (finger) can be better utilized to affect a user interface displayed on the display surface.
  • a touch position during approach can be better anticipated.
  • located in the region of the anticipated touch position controls for triggering by a touch can be displayed enlarged to increase a hit probability of the user.
  • a more precise position of the actuator (finger) may also be used to advantage in other ways to control a user interface. For example, moving elements, enlarging and / or reducing, etc., depending on the respective position of the actuating element (the respective finger position) to be designed depending.
  • different actions depending on the determined position of the actuating element (finger) can be triggered.
  • the detection of the sensor signals comprises the following steps: generating an RF signal; Coupling the RF signal into the user; Transmitting the RF signal over the user's body; Receiving the transmitted via the body and the actuator (the finger) of the user RF signal by means of the plurality of sensors, wherein the sensor signals are each a measure of the received signal strength of the RF signal.
  • sensors that detect, for example, a capacitive change in an area in front of a screen may also be used.
  • Such "sensors” can be formed, for example, by transparent conductor tracks, which are preferably arranged in a crossed manner in front of a display device in the form of a touch screen.
  • Other non-contact sensors use ultrasound-based or optical methods.
  • Such operating according to an optical method sensors each be designed according to the following principle:
  • a transmission LED emits a rectangular amplitude modulated light signal in the optical or infrared wavelength range.
  • the light signal reflected on an object is detected by a photodiode.
  • From a compensation LED is a 180 ° out of phase also rectangular amplitude modulated Reference light signal sent to the photodiode via a fixed light path.
  • the compensation LED is adjusted via a control loop by means of a control signal so that cancel the received reflected light signal of the transmit LED and the received reference light signal of the compensation LED on the photodiode and a DC signal is detected.
  • a change in the control signal is a measure of the distance of the object.
  • a configured according to this principle sensor unit is largely independent of temperature and brightness variations.
  • a particularly simple determination of the position of the actuating element (the finger position) starting from the center of gravity position is possible with a method in which the position of the actuating element (finger) is determined starting from the center of gravity position taking into account an offset dependent on the center of gravity position.
  • the position of the actuating element (finger) is determined starting from the center of gravity position taking into account an offset dependent on the center of gravity position.
  • the space in front of the area is divided into subspaces and an offset is assigned to each subspace.
  • the hand position is generally dependent on the desired contact position or instantaneous position of the actuating element (finger). For example, the farther the touch position is laterally away from the driver, the more his palm approaches a parallel orientation to the surface to be considered. This means that it is possible to deduce the hand position based on the determined center of gravity position. This also makes it possible to detect an offset between the center of gravity position and the actuator position (finger position). As a result, the position determination is made more accurate in a simple manner.
  • a change in the hand position also results when the user holds a rod or pen as an actuator in his hand and leads.
  • the individual offsets assigned to the subspaces can be stored in a table, for example.
  • a determination of the actuator position (finger position) thus only makes one Retrieving the corresponding offset value and adding that offset value to the center of gravity position to determine the actuator position (finger position).
  • the offset is a function of the center of gravity position.
  • the offset is parameterized as a function of the center of gravity position and deposited as a function.
  • Such a function can be determined, for example, by means of an interpolation from different specific offsets for different center of gravity positions.
  • Another approach for determining the actuator position assumes that the distances assigned to the signal strengths can be adjusted as a function of the determined center of gravity position. This is synonymous with an adaptation of the characteristics of the individual sensors.
  • a preferred embodiment therefore provides that assignments of the received signal strengths to determined distances of the actuating element (finger) from the corresponding sensors for the calculation of the finger position are respectively adjusted individually as a function of the determined center of gravity position.
  • This method thus enables a second precise triangulation, in which the center of gravity position is used to attenuate (possibly also amplify) individual sensor signals.
  • the determination of the actuating element position (finger position) can be further improved with an embodiment in which additionally at least one center of gravity position determined beforehand during the approach is included in the determination of the actuating element position (finger position).
  • a direction of movement can be determined.
  • Assignment characteristics for different approach directions can be recorded and stored experimentally for the individual sensors. Based on these assignments, a very precise finger position determination can then be carried out. For linear characteristics can this lead to an adaptation of the characteristic slope as a function of the approach direction.
  • the area to which the actuator (finger) approximates is a touch screen, and a touch position is detected and provided by the touch screen when the touch screen touches the actuator (finger).
  • the touch position is compared with the detected position of the actuator (finger) and corrected by deviation of the offset and / or the assignments of the signal strengths to the distances (i.e., the characteristics of the sensors).
  • offsets and mappings are those that provide acceptable location for a variety of users Preferred sitting position deviating sitting position, have a particularly small or very large hand and / or approach her hand and her finger or other actuator on trajectories on the surface, which differ greatly from the commonly used trajectories, can also very precise with the development of the invention Step by step, the position determining device or method for determining the position of the operating element (finger) is thus optimized and personalized.
  • the offset and / or the assignments are stored personal. If identification information of the user can be detected, the offset and / or the assignments can thus be stored in a memory and read from this person.
  • a position-determining device comprises a further signal generator for generating a further RF signal, which is arranged so that the further RF signal can be coupled into another user and the sensors or further sensors are formed, further sensor signals provide a measure of a received signal strength over the indicate further body and a further actuating element (another finger) of the further user transmitted RF signal and wherein based on the further sensor signals, first a further center of gravity position of the further actuating element (finger) approximated further object (body part) can be determined and the further actuating element position ( Finger position) taking into account the further center of gravity position can be determined.
  • the offsets or the allocations corresponding to the different position from which the further user approaches the area are corresponding to different from those of the user. For example, if the user approaches with his left index finger from the left side, this essentially corresponds to a reflection at a center line between the user and the other user. However, if the user approaches, for example, as a right-handed person also with his right index finger of a surface arranged to the left of him, in principle other offsets must be taken into account.
  • FIGS. 1a-1d show different approach situations of a right index finger to a display surface, in which the sensors of the position determination unit are arranged adjacent to the corners of the display surface;
  • FIG. 2 shows a schematic representation of a motor vehicle with a position determination unit arranged adjacent to a display surface
  • FIGS. 1 a to 1 d four situations are shown in FIGS. 1 a to 1 d, in which the right index finger 1 as an actuating element is approximated to different contact positions 2-5 on the display surface 6.
  • an index finger is assumed as the actuating element.
  • it could also be another finger or a hand held and / or guided pin, rod or the like can be used as an actuator. Since the hand 12 and the forearm 13 affect the individual sensors 8-11 differently in different situations, the position determination unit does not determine the correct positions of the right index finger 1 from the sensor signals, but rather respective center of gravity positions 14-17.
  • the "attitude" of the center of gravity position varies relative to the body portion (the hand 12, the forearm 13) which is approached to the display surface 6 with the right index finger 1.
  • the subdivision into the four subspaces 18-21 is of course only exemplary. Since an approach in the illustrated example is from bottom left to top right, a contact point 22 of all four subspaces is shifted to the bottom left with respect to a center 23 of the display surface 6 or an array of sensors 8-11.
  • each corresponding to the corresponding touch position 2-5 of that representation matches.
  • the different offsets 24-27 which are assigned to the subspaces 18-21 correspondingly, can be stored, for example, in a memory and retrieved therefrom as a function of the ascertained center of gravity position 14-17.
  • a touch position which is provided by a display surface designed as a touchscreen, is compared with the determined finger position in order to correct the individual offsets.
  • This makes it possible to personalize the offsets required for the individual subareas or determined center of gravity positions and to store them preferably. If the position determination system can detect a personal identification that is stored, for example, in a personal vehicle key, then the individual offset data can be stored on a personal basis. Different sets of offsets for the individual persons can therefore be stored in the vehicle, for example having a vehicle key personalized by an identification number and used in operating the vehicle.
  • a center console designed as a touch screen control 32 is arranged.
  • a freely programmable display area 6 On the one hand, information for a user 34 can be output.
  • so-called virtual operating elements can be displayed on the freely programmable display area 6, which the user 34 can trigger and / or actuate via contact with an actuating element, here a right index finger 1.
  • the actuator will usually be a finger of the user.
  • a contactless measuring position determining device 36 is provided to move a position of the finger 1 in a space in front of the operating element 32, i. a monitored volume in front of the display surface 6 to be able to detect.
  • Positioning device 36 includes sensors 8-11, which are arranged adjacent to corners 41-44 of the display surface 6. These sensors 8-11 receive a high-frequency signal which is transmitted via the user 34 and its actuating element, the index finger 1, and is capacitively coupled into the sensors 8-11.
  • the transmitted high-frequency signal which is called encoder signal, is generated by a signal generator 45, which is integrated in a driver's seat 46.
  • the transmitter signal generated with a transmission level is capacitively coupled into the seated on the driver's seat 46 user 34, transmitted via the body 35 of the user 34 and the lower arm 13, hand 12 and index finger 1 and capacitively coupled into the sensors 8-11.
  • the sensors each provide a sensor signal that includes information about a received signal strength.
  • the individual sensors 8-11 are connected to an evaluation and control unit 47, which determines a position of the index finger 1 in the space in front of the display surface 6 on the basis of the sensor signals. In this case, use is made of the fact that the received signal strengths are each a measure of the distance of the index finger 1 from the corresponding sensor 8-11.
  • the position of the finger 1 is determined by first determining by triangulation a center of gravity position of the body parts approximated by the finger 1 (the hand 12 and the forearm 13).
  • the evaluation and control unit 47 has a center of gravity position determination module 50.
  • An actuator position module 52 also called a finger position calculation module, determines the subspace in which the center of gravity position 33 is located.
  • the offset 55 associated with this subspace is retrieved from the memory 51 or read out and added to the center of gravity position 33 to obtain the finger position 53. It is understood that the offset is usually represented by a three-dimensional vector.
  • a comparison module 54 determines an optionally existing deviation of the touch position from the determined finger position. If there is a deviation, the offset 55 is adapted accordingly by means of a correction module 56. It can be provided that the offset 55 is only corrected if there is a deviation above a predetermined threshold.
  • the position determining device 36 of the illustrated embodiment comprises a further signal transmitter 48, which is integrated in the passenger seat 49.
  • the further signal generator 48 preferably generates a high-frequency signal which has a different frequency or represents a high-frequency signal differently modulated with respect to the encoder signal.
  • the signal generator 45 and the further signal generator 48 may also be arranged at other locations in the motor vehicle.
  • a capacitive coupling of the encoder signal or further encoder signal is particularly easy, for example, by incorporating conductive mats in the seat.
  • other offsets are used, which are usually assigned to other subspaces. Otherwise, the determination of the further finger position of the other finger can be carried out analogously.
  • Actuator position calculation module calculates the finger position based on an offset from the center of gravity position 33 offset, which in turn is calculated by means of an offset calculation module 57 based on a function of the center of gravity position 33. This makes it possible to make a very subtle subdivision of the room into sub-points.
  • the function can be parameterized on the basis of interpolated offsets derived from individual measured centroid positions and finger positions.
  • the actuator position calculation module is adapted to determine the finger position by triangulation, but by means of an assignment module 58 an assignment of a received signal strength to a distance depending on the determined center of gravity position or even depending on a direction of approach for each of the sensors is adjusted.
  • the approach direction of the finger can be derived taking into account at least one previously determined center of gravity position. It is also possible to determine the direction of approach using previously determined finger positions. In general, the direction of approach can be determined using previously determined positions.
  • An adaptation of the assignment received signal strength to distance corresponds to an adaptation of the characteristic of a sensor. If this characteristic is linear, then, for example, there may be a change in the assignment in an adaptation of the straight line gradient.
  • the actuator position calculation module calculates the finger position based on the individually matched assignments from the sensor signals via triangulation.
  • Deviations between the measured contact position and the determined finger position can also be used in this embodiment in order to adapt the assignments in this case.
  • the information required for the finger position calculation can in each case be stored user-specifically in the memory, provided that an identification module 59 of the position determination unit can identify the user, for example by means of an identification number coded in a vehicle key, which is transmitted to the position determination unit.
  • the individual described modules of the evaluation and control unit can be implemented both in software and in hardware or in a combination thereof.
  • the evaluation and control unit may in particular comprise a computer unit which can execute a program code stored in the memory.
  • the individual modules can then be implemented as program code modules. It also follows that a sharp demarcation of the functionality of the individual modules is often not possible and that these can be partially or completely summarized.
  • the different components of the position determination unit can be distributed in the motor vehicle. They can also be integrated into one or more components.
  • the evaluation and control unit can in particular be integrated in a central control unit and / or a multi-function operating device in which the above-mentioned display area is also integrated.
  • Fig. 3a to 3c further situations are shown, in which an index finger 1 of an elongated display surface 6 is approximated.
  • sensors 8-10 are arranged along an upper edge 61 of the display surface 6.
  • the index finger approximates a position on the left edge 62 of the display surface 6, none of the sensors 8-10 will be significantly disturbed by the hand 12 or forearm 13.
  • Fig. 3b the situation is shown, in which the finger 1 of a contact position 63 in a center of the display surface 6 is approximated.
  • the sensors 8 and 9 which are arranged at the upper left corner or centrally above the upper edge 61 of the display surface 6, influenced by the hand 12 and the forearm 13, so that a determined center of gravity deviates significantly from the finger position.
  • an appropriately assigned offset may be used to calculate the correct finger position, as described above.
  • the characteristics, ie the associations of the received signal strength to a corresponding distance can be adapted to determine the finger position directly by means of triangulation methods.
  • the embodiments use sensors that detect RF signals transmitted via the human body, it is also possible to use any other sensors which can contact an object without approaching a surface and in this case generate a sensor signal which measures the distance of the object from the sensor.
  • the above-mentioned sensors can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung der Position eines Betätigungselements, insbesondere eines Fingers, eines Nutzers in einem Kraftfahrzeug (31) bei einer Annäherung an eine Fläche sowie eine Positionsbestimmungsvorrichtung (36). Zur Bestimmung der Position des Betätigungselements, insbesondere des Fingers (1), sind nach einer Ausführungsform folgende Schritte vorgesehen: Erzeugen eines HF-Signals; Einkoppeln des HF-Signals in den Nutzer (34); Übertragen des HF-Signals über den Körper (35) des Nutzers (34); Empfangen des über den Körper (35) und das Betätigungselement, insbesondere den Finger (1), des Nutzers (34) übertragenen HF-Signals mittels mehrerer Sensoren (8-11) und Ermitteln der Position des Betätigungselements, insbesondere des Fingers (1), anhand von Sensorsignalen der Sensoren (8-11), wobei die Sensorsignale jeweils ein Maß für die empfangene Signalstärke des HF-Signals sind, wobei anhand der Sensorsignale zunächst eine Schwerpunktposition (14-17) des sich mit dem Betätigungselements, insbesondere dem Finger (1), annähernden Objekts, insbesondere sich annähernden Körperteils, ermittelt wird, und unter Berücksichtigung der Schwerpunktposition (14-17) die Position des Betätigungselement, insbesondere des Fingers (1), errechnet wird.

Description

Verfahren zur Bestimmung der Position eines Betätigungselements, insbesondere eines Fingers, eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung
Die Erfindung betrifft ein Verfahren zum Bestimmen der Position eines Betätigungselements, insbesondere eines Fingers, eines Nutzers in einem Kraftfahrzeug bei einer Annäherung an eine Fläche mit den Merkmalen des Oberbegriffs des Patentanspruchs 1 sowie eine Positionsbestimmungsvorrichtung mit den Merkmalen des Oberbegriffs des Patentanspruchs 11.
Im Stand der Technik ist es bekannt, die Position eines Betätigungselements, beispielsweise eines Fingers, eines Nutzers berührungslos zu ermitteln. Hierzu ist vorgesehen, dass über einen Signalgeber ein hochfrequentes Gebersignal erzeugt wird. Dieses wird in einen Nutzer, der auf einem Fahrzeugsitz sitzt, kapazitiv eingekoppelt. Die Anordnung des Signalgebers ist daher bevorzugt an dem Fahrzeugsitz vorgesehen. Um eine Annäherung eines Fingers des Nutzers an eine Fläche erfassen zu können, sind an oder um die Fläche herum Sensoren angeordnet. Nähert sich der Finger diesen Sensoren, so ändert sich eine Kapazität in dem Signalkreis aus Signalgeber, Nutzer, Sensoren, die wiederum über das Fahrzeug mit dem Signalgeber verbunden bzw. gekoppelt sind. Die Änderung der Kapazität, die als eine Änderung einer empfangenen Signalstärke des über den Körper des Nutzers übertragenen Gebersignals aufgefasst werden kann, ist ein Maß für einen Abstand des Fingers des Nutzers von dem entsprechenden Sensor. Andere Sensorsysteme können nach anderen Prinzipien ausgebildet sein, in jedem Falle wird jedoch eine Signalstärke des über den Nutzer übertragenen HF-Signals ausgewertet. Anhand der bekannten Positionen der Sensoren und den einzelnen Sensorsignalen, die jeweils ein Maß für eine Entfernung des Körperteils von dem entsprechenden Sensor angeben, kann über eine Triangulation die Position des Körperteils bestimmt werden.
Die grundlegenden Prinzipien einer solchen HF-Signalübertragung über den Körper eines Nutzers in einem Kraftfahrzeug zur berührungslosen Detektion einer Annäherung eines Körperteils sind in der WO 2004/078536 beschrieben.
Positionsbestimmungseinheiten werden in Kraftfahrzeugen häufig im Zusammenhang mit Anzeige- und Bedienvorrichtungen verwendet, die in einer Mittelkonsole zwischen einem Fahrersitz und einem Beifahrersitz angeordnet sind. Insbesondere werden die Positionsbestimmungseinheiten mit solchen Anzeige- und Bedienvorrichtungen verwendet, die eine Anzeigefläche umfassen. Die Positionsbestimmungseinheit wird dann verwendet, um eine Annäherung eines Fingers eines Nutzers relativ zu der Anzeigefläche zu bestimmen. Aufgrund der Anordnung zwischen dem Fahrersitz und dem Beifahrersitz erfolgt eine Annäherung des Fingers jedoch in der Regel nicht senkrecht zur Anzeigefläche. Vielmehr erfolgt die Annäherung in den meisten Fällen unter einem schrägen Winkel. Da die Sensoren um die Anzeigefläche herum oder beabstandet von dieser um diese herum angeordnet sind, ist nicht immer der Finger das Körperteil, welches einem der Sensoren am nächsten benachbart ist.
In Fig. 1a bis 1d sind vier Situationen gezeigt, in denen ein Nutzer jeweils seinen rechten Zeigefinger 1 an unterschiedliche Berührpositionen 2-5 einer als Touchscreen ausgebildeten Anzeigefläche 6 annähert, die rechts vor ihm angeordnet ist. Um die Anzeigefläche 6 sind jeweils an Eckpunkten 7 Sensoren 8-11 angeordnet. Bei der Berührsituation nach Fig. 1a, bei der der Nutzer mit dem rechten Zeigefingerfinger 1 die in der linken unteren Ecke befindliche Berührposition 2 berührt, wird keiner der Sensoren 8-11 durch ein anderes Körperteil in nennenswerter Weise störend beeinflusst.
Bei einer Annäherung des rechten Zeigefingers 1 an die in der linken oberen Ecke der Anzeigefläche 6 befindliche Berührposition 3 wird jedoch der an der linken unteren Ecke angeordnete Sensor 8 durch eine Hand 12 und einen Unterarm 13 des Nutzers mit beeinflusst.
Bei der Situation nach Fig. 1c, bei der der Nutzer den rechten Zeigefinger 1 an die in der rechten oberen Ecke angeordnete Berührposition 4 annähert, wird der in der linken unteren Ecke angeordnete Sensor 8 durch die Hand 12 und den Unterarm 13 stark beeinflusst.
In der Situation, die in Fig. 1d dargestellt ist, bei der der rechte Zeigefinger 1 des Nutzers an die in der unteren rechten Ecke befindliche Berührposition 5 angenähert wird, werden die Sensoren 8 und 11 , die an der linken unteren Ecke und der rechten unteren Ecke entsprechend angeordnet sind, durch die Hand 12 und den Unterarm 13 mit beeinflusst. Daher führt eine durchgeführte Triangulation anhand der Sensorsignale häufig nicht zur korrekten Positionsbestimmung des zur Berührung genutzten rechten Zeigefingers 1.
Der Erfindung liegt daher das technische Problem zugrunde, dass die Positionsbestimmung im Stand der Technik nicht befriedigend gelöst ist. Aufgabe der Erfindung ist es daher, eine verbesserte Positionsbestimmungsvorrichtung und ein verbessertes Verfahren zur Positionsbestimmung eines Betätigungselements, insbesondere eines Fingers, eines Nutzers in einem Kraftfahrzeug bei Annäherung an eine Fläche zu schaffen.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Patentanspruchs 11 geschaffen. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Die Erfindung beruht auf dem Grundgedanken, dass anhand der Sensorsignale, die ein Maß für eine Entfernung des Sensors von einem Objekt, beispielsweise einem Körperteil, sind, in einem ersten Schritt lediglich eine Schwerpunktposition des Objekts (beispielsweise des Körperteils) ermittelt wird, das an diese Fläche angenähert wird. Diese Schwerpunktposition weicht von der Position des Betätigungselements, beispielsweise der Position des Fingers, ab. Die Abweichung zwischen der Schwerpunktposition und der Position des Betätigungselements (beispielsweise der Fingerposition) ist wiederum von der ermittelten Schwerpunksposition abhängig. Dies beruht darauf, dass die Objekthaltung oder Handhaltung sich zum einen abhängig von der Schwerpunktposition verändert, und zum anderen darauf, dass die bei der Ermittlung der Schwerpunktposition berücksichtigten Teile des Objekts (des Körpers) unterschiedlich sind. Bei der in Fig. 1c dargestellten Annäherungssituation geht beispielsweise ein größerer Abschnitt des Unterarms in eine Schwerpunktpositionsermittlung ein als bei der Situation nach Fig. 1b oder 1d. Neben einem Finger oder einem anderen Körperteil kommen auch von dem Nutzer geführte Gegenstände, die fest mit dem Körper verbunden sind als Betätigungselemente in betracht. Insbesondere ist es möglich, dass der Nutzer Bekleidungsstücke, beispielsweise Handschuhe trägt. Ebenso kann der Nutzer ein Element, beispielsweise einen Stift oder Stab in einer Hand halten. Hierbei ist davon auszugehen, dass der Nutzer einen solchen Stift oder Stab jeweils gleich hält, wenn er diesen als Betätigungselement nutzt. Als Objekt ist in einem solchen Falle nicht der Körperteil allein sondern der Körperteil in Verbindung mit dem Betätigungselement anzusehen. Das Objekt umfasst somit immer ein Körperteil und gegebenenfalls zusätzlich ein „körperfremdes" Betätigungselement anstatt eines „körpereigenen" Betätigungselements. Erfindungsgemäß wird somit ein Verfahren vorgeschlagen, das folgende Schritte umfasst: Erfassen von Sensorsignalen berührungslos messender Sensoren, wobei die Sensorensignale ein Maß für einen Abstand eines Objektes, insbesondere eines Körperteils des Nutzers von einer entsprechenden Sensorposition sind und Ermitteln der Position des Betätigungselements (Fingers) anhand von Sensorsignalen der Sensoren, wobei anhand der Sensorsignale zunächst eine Schwerpunktposition des sich mit dem Betätigungselement (Finger) annähernden Objekts (Körperteils) ermittelt wird, und unter Berücksichtigung der Schwerpunktposition die Position des Betätigungselements (Fingers) errechnet wird. Vorteil dieses Verfahrens ist es, dass die Position des Betätigungselements (Fingers) wesentlich genauer bestimmt werden kann. Hierdurch kann die genauer bestimmte Position des Betätigungselements (Fingers) besser verwendet werden, um eine auf der Anzeigefläche angezeigte Benutzerschnittstelle zu beeinflussen. Beispielsweise kann eine Berührposition während der Annäherung besser antizipiert werden. Somit können beispielsweise die in dem Bereich der antizipierten Berührposition befindlichen Bedienelemente für eine Auslösung durch eine Berührung vergrößert dargestellt werden, um eine Trefferwahrscheinlichkeit des Nutzers zu erhöhen. Eine genauer bekannte Position des Betätigungselements (Fingers) kann auch auf andere Weise zur Steuerung einer Benutzerschnittstelle vorteilhaft verwendet werden. Beispielsweise kann ein Verschieben von Elementen, ein Vergrößern und/oder Verkleinern usw. von der jeweiligen Position des Betätigungselements (der jeweiligen Fingerposition) abhängig ausgestaltet sein. Außerdem können unterschiedliche Aktionen in Abhängigkeit von der ermittelten Position des Betätigungselements (Fingers) ausgelöst werden.
Bei einer Ausführungsform ist vorgesehen, dass das Erfassen der Sensorsignale folgende Schritte umfasst: Erzeugen eines HF-Signals; Einkoppeln des HF-Signals in den Nutzer; Übertragen des HF-Signals über den Körper des Nutzers ; Empfangen des über den Körper und das Betätigungselement (den Finger) des Nutzers übertragenen HF-Signals mittels der mehreren Sensoren, wobei die Sensorsignale jeweils ein Maß für die empfangene Signalstärke des HF-Signals sind. Es können jedoch auch andere Sensoren, die beispielsweise eine kapazitive Änderung in einem Bereich vor einem Bildschirm erfassen, verwendet werden. Solche „Sensoren" können beispielsweise durch durchsichtige Leiterbahnen, die vorzugsweise gekreuzt vor einer als Touchscreen ausgebildeten Anzeigevorrichtung angeordnet sind, gebildet sein. Eine solche Anordnung umfasst eine Vielzahl von „Sensoren", die Sensorsignale liefern. Andere berührungslos messende Sensoren arbeiten ultraschallbasiert oder verwenden optische Verfahren. Solche nach einem optischen Verfahren arbeitende Sensoren können beispielsweise jeweils gemäß folgendem Prinzip ausgestaltet sein: Eine Sende-LED strahlt ein rechteckförmig amplitudenmoduliertes Lichtsignal im optischen oder infraroten Wellenlängenbereich ab. Das an einem Objekt reflektierte Lichtsignal wird von einer Photodiode erfasst. Von einer Kompensations-LED wird ein um 180° phasenversetztes ebenfalls rechteckförmig amplitudenmoduliertes Referenzlichtsignal zu der Photodiode über einen unveränderlichen Lichtweg gesandt. Die Kompensations-LED wird über einen Regelkreis mittels eines Regelsignals so ausgeregelt, dass sich das empfangene reflektierte Lichtsignal der Sende-LED und das empfangene Referenzlichtsignal der Kompensations-LED an der Photodiode aufheben und ein Gleichsignal detektiert wird. Eine Änderung des Regelsignals ist ein Maß für den Abstand des Objekts. Eine nach diesem Prinzip ausgestaltete Sensoreinheit ist weitgehend unabhängig von Temperatur- und Helligkeitsschwankungen.
Eine besonders einfache Ermittlung der Position des Betätigungselements (der Fingerposition) ausgehend von der Schwerpunktposition ist mit einem Verfahren möglich, bei der die Position des Betätigungselements (Fingers) ausgehend von der Schwerpunktposition unter Berücksichtigung eines von der Schwerpunktposition abhängigen Versatzes ermittelt wird. Wie bereits oben angedeutet wurde, ist eine Abweichung der tatsächlichen Position des Betätigungselements (der tatsächlichen Fingerposition) von einer Objekthaltung (Handhaltung) sowie von der Stärke der Beeinflussung der einzelnen Sensoren durch die Hand und einen Unterarm usw., d.h. eine Ausgestaltung es Objekts, abhängig. Ein Versatz zwischen Schwerpunktposition und Betätigungselementposition (Fingerposition) variiert somit abhängig von der Schwerpunktposition. Durch die Berücksichtigung des veränderlichen, von der Schwerpunktposition abhängigen Versatzes erhält man somit die korrekte Position des Betätigungselements (die korrekte Fingerposition).
Bei einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der Raum vor der Fläche, beispielsweise einer Anzeigefläche, in Unterräume unterteilt wird und jedem Unterraum ein Versatz zugeordnet wird. Hierdurch kann auf einfache Weise berücksichtigt werden, dass die Handhaltung im Allgemeinen von der angestrebten Berührposition bzw. momentanen Position des Betätigungselements (Fingers) abhängig ist. Je weiter die Berührposition von dem Fahrer seitlich entfernt ist, desto mehr nähert sich beispielsweise seine Handfläche einer parallelen Ausrichtung zu der zu berücksichtigenden Fläche an. Dies bedeutet, dass anhand der ermittelten Schwerpunktposition auf die Handhaltung zurückgeschlossen werden kann. Dieses ermöglicht es genauso, einen Versatz zwischen der Schwerpunktposition und der Betätigungselementposition (Fingerposition) zu ermitteln. Hierdurch wird auf einfache Weise die Positionsbestimmung genauer gemacht. Eine Änderung der Handhaltung ergibt sich auch, wenn der Nutzer einen Stab oder Stift als Betätigungselement in der Hand hält und führt. Die einzelnen den Unterräumen zugewiesenen Versätze können beispielsweise in einer Tabelle abgelegt werden. Eine Bestimmung der Betätigungselementposition (Fingerposition) macht somit lediglich ein Abrufen des entsprechenden Versatzwertes und einer Addition dieses Versatzwertes zu der Schwerpunktposition erforderlich, um die Betätigungselementposition (Fingerposition) zu bestimmen.
Bei einer anderen Ausführungsform der Erfindung ist vorgesehen, dass der Versatz eine Funktion der Schwerpunktposition ist. Bei dieser Ausführungsform ist der Versatz in Abhängigkeit von der Schwerpunktposition parametrisiert und als Funktion hinterlegt. Eine solche Funktion kann beispielsweise mittels einer Interpolation aus unterschiedlichen bestimmten Versätzen für unterschiedliche Schwerpunktpositionen ermittelt werden.
Ein anderer Ansatz zur Ermittlung der Betätigungselementposition (Fingerposition) geht davon aus, dass die den Signalstärken zugeordneten Abstände in Abhängigkeit der ermittelten Schwerpunktposition angepasst werden können. Dieses ist gleichbedeutend mit einer Anpassung der Kennlinien der einzelnen Sensoren. Eine bevorzugte Ausführungsform sieht daher vor, dass Zuordnungen der empfangenen Signalstärken zu ermittelten Entfernungen des Betätigungselements (Fingers) von den entsprechenden Sensoren für die Berechnung der Fingerposition jeweils individuell abhängig von der ermittelten Schwerpunktposition angepasst werden.
Dieses Verfahren ermöglicht somit eine zweite präzise Triangulation, bei der die Schwerpunktposition zur Abschwächung (gegebenenfalls auch Verstärkung) einzelner Sensorsignale verwendet wird.
Noch weiter verbessern lässt sich die Bestimmung der Betätigungselementposition (Fingerposition) mit einer Ausführungsform, bei der zusätzlich mindestens eine während der Annäherung zuvor ermittelte Schwerpunktposition in die Ermittlung der Betätigungselementposition (Fingerposition) einbezogen wird. Durch die Berücksichtigung mehrerer ermittelter Schwerpunktpositionen kann ein Bewegungsrichtung ermittelt werden. Insbesondere bei Ausführungsformen, bei denen eine Zuordnung der empfangenen Signalstärke zu einem Abstand in Abhängigkeit von der ermittelten Schwerpunktposition angepasst wird, ist eine Kenntnis einer Annäherungsrichtung von Vorteil. Für die einzelnen Sensoren können Zuordnungskennlinien für unterschiedliche Annäherungsrichtungen experimentell erfasst und hinterlegt werden. Anhand dieser Zuordnungen kann dann eine sehr präzise Fingerpositionsbestimmung ausgeführt werden. Bei linearen Kennlinien kann dieses zu einer Anpassung der Kennliniensteigung in Abhängigkeit von der Annäherungsrichtung führen.
Bei einer bevorzugten Ausführungsform ist die Fläche, an die das Betätigungselement (der Finger) angenähert wird, ein Touchscreen und wird mittels des Touchscreens eine Berührposition bei einer Berührung des Touchscreens durch das Betätigungselement (den Finger) ermittelt und bereitgestellt. Die Berührposition wird mit der ermittelten Position des Betätigungselements (Fingers) verglichen und anhand einer Abweichung der Versatz und/oder die Zuordnungen der Signalstärken zu den Entfernungen (d.h. die Kennlinien der Sensoren) korrigiert. Hierdurch wird insbesondere eine Anpassung an einen individuellen Nutzer in einem Kraftfahrzeug ermöglicht. Insbesondere auch in solchen Fällen, in denen ein „körperfremdes" Betätigungselement verwendet wird. Bei einer Auslieferung des Fahrzeugs im fabrikneuen Zustand werden als Versatzwerte und Zuordnungen solche verwendet, die für eine Vielzahl von Nutzern akzeptable Positionsbestimmungen liefern. Nutzer, die jedoch eine von der üblichen Sitzposition abweichende Sitzposition bevorzugen, eine besonders kleine oder besonders große Hand aufweisen und/oder ihre Hand und ihren Finger oder ein anderes Betätigungselement auf Bahnkurven an die Fläche annähern, die stark von den üblicherweise verwendeten Bahnkurven abweichen, können mit der Weiterbildung der Erfindung ebenfalls sehr präzise Betätigungselementpositionsermittlungen (Fingerpositionsermittlungen) erhalten. Nach und nach wird so die Positionsbestimmungsvorrichtung bzw. das Verfahren zum Bestimmen der Position des Betätigungselements (Fingers) optimiert und personalisiert.
Als besonders bevorzugte Weiterbildung ist daher vorgesehen, dass der Versatz und/oder die Zuordnungen personenbezogen gespeichert werden. Sofern Identifikationsinformationen des Nutzers erfasst werden können, können somit der Versatz und/oder die Zuordnungen personenbezogen in einem Speicher abgelegt und aus diesem eingelesen werden.
Bei einem besonders bevorzugten Verfahren können der Nutzer und ein weiterer Nutzer, beispielsweise ein Fahrer und ein Beifahrer, von der Positionsbestimmungseinheit unterschieden werden. Eine bevorzugte Ausführungsform sieht daher vor, dass eine Positionsbestimmungsvorrichtung einen weiteren Signalgeber zum Erzeugen eines weiteren HF-Signals umfasst, der so angeordnet ist, dass das weitere HF-Signal in einen weiteren Nutzer einkoppelbar ist und die Sensoren oder weitere Sensoren ausgebildet sind, weitere Sensorsignale bereitzustellen, die ein Maß für eine empfangene Signalstärke des über den weiteren Körper und ein weiteres Betätigungselement (einen weiteren Finger) des weiteren Nutzers übertragenen HF-Signals angeben und wobei anhand der weiteren Sensorsignale zunächst eine weitere Schwerpunktposition des mit dem weiteren Betätigungselement (Finger) angenäherten weiteren Objekts (Körperteils) ermittelbar ist und die weitere Betätigungselementposition (Fingerposition) unter Berücksichtigung der weiteren Schwerpunktposition ermittelbar ist. Für den weiteren Nutzer sind die Versätze bzw. die Zuordnungen entsprechend der unterschiedlichen Position, aus der sich der weitere Nutzer der Fläche annähert, entsprechend verschiedenen von denen des Nutzers. Nähert sich der Nutzer beispielsweise mit seinem linken Zeigefinger von der linken Seite, so entspricht dies im Wesentlichen einer Spiegelung an einer Mittellinie zwischen dem Nutzer und dem weiteren Nutzer. Nähert sich der Nutzer jedoch beispielsweise als Rechtshänder ebenfalls mit seinem rechten Zeigefinger einer links von ihm angeordneten Fläche, so sind grundsätzlich andere Versätze zu berücksichtigen.
Die Merkmale der erfindungsgemäßen Positionsbestimmungsvorrichtung weisen dieselben Vorteile wie die entsprechenden Merkmale des erfindungsgemäßen Verfahrens auf.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele näher erläutert. Hierbei zeigen:
Fig. 1a - 1d unterschiedliche Annäherungssituationen eines rechten Zeigefingers an eine Anzeigefläche, bei der die Sensoren der Positionsbestimmungseinheit benachbart zu den Ecken der Anzeigefläche angeordnet sind;
Fig. 2 eine schematische Darstellung eines Kraftfahrzeugs mit einer benachbart zu einer Anzeigefläche angeordneten Positionsbestimmungseinheit; und
Fig. 3a - 3c unterschiedliche Situationen der Annäherung eines rechten Zeigefingers an eine langgestreckte Anzeigefläche, wobei die Sensoren der Positionsbestimmungseinheit oberhalb der Anzeigefläche angeordnet sind.
Wie oben bereits erläutert ist, sind in Fig. 1a bis 1d vier Situationen dargestellt, in denen der rechte Zeigefinger 1 als Betätigungselement, an unterschiedliche Berührpositionen 2-5 auf der Anzeigefläche 6 angenähert wird. Im Folgenden wird als Betätigungselement jeweils ein Zeigefinger angenommen. Es könnte jedoch auch ein anderer Finger oder ein in der Hand gehaltener und/oder geführter Stift, Stab oder Ähnliches als Betätigungselement verwendet werden. Da die Hand 12 und der Unterarm 13 die einzelnen Sensoren 8-11 in den verschiedenen Situationen unterschiedlich störend beeinflussen, werden von der Positionsbestimmungseinheit anhand der Sensorsignale nicht die korrekten Positionen des rechten Zeigefingers 1 , sondern vielmehr jeweils Schwerpunktpositionen 14-17 ermittelt. Wie gut zu erkennen ist, variiert die "Lage" der Schwerpunktposition relativ dem Körperteil (der Hand 12, dem Unterarm 13), das mit dem rechten Zeigefinger 1 an die Anzeigefläche 6 angenährt wird. Dies bedeutet, dass eine Position des rechten Zeigefingers 1 jeweils unterschiedlich gegenüber der ermittelten Schwerpunktposition 14-17 versetzt ist. Nach einer Ausführungsform der Erfindung ist daher vorgesehen, den Raumbereich vor der Anzeigefläche in Unterräume 18-21 zu unterteilen. Die Unterteilung in die vier Unterräume 18-21 ist selbstverständlich nur exemplarisch. Da eine Annäherung in dem dargestellten Beispiel von links unten nach rechts oben erfolgt, ist ein Kontaktpunkt 22 aller vier Unterräume nach links unten bezüglich eines Mittelpunkts 23 der Anzeigefläche 6 bzw. einer Anordnung der Sensoren 8-11 verschoben. Je nachdem, in welchen der Unterräume 18-21 die Schwerpunktposition 14-17 liegt, ist ein unterschiedlicher Versatz 24-27 zu der Schwerpunkposition 14-17 zu addieren, um die Fingerposition zu erhalten, die jeweils mit der entsprechenden Berührposition 2-5 dieser Darstellung übereinstimmt. Die unterschiedlichen Versätze 24-27, die den Unterräumen 18-21 entsprechend zugeordnet sind, können beispielsweise in einem Speicher abgelegt sein und von dort in Abhängigkeit von der ermittelten Schwerpunktposition 14-17 abgerufen werden.
Es ergibt sich für den Fachmann, dass eine Unterteilung des Raums vor der Fläche, d.h. der Anzeigefläche 6, entsprechend den tatsächlich vorkommenden Annäherungssituationen angepasst unterteilt werden kann. Selbstverständlich können mehr Unterräume oder auch weniger Unterräume verwendet werden. In dem dargestellten Beispiel ist der Unterraum lediglich in vier Unterräume 18-21 unterteilt. Eine Unterteilung des Raums auch senkrecht zu der Anzeigefläche 6 ist selbstverständlich sinnvoll, um die unterschiedlich starke Beeinflussung der einzelnen Sensoren 8-11 in Abhängigkeit von der Entfernung der sich annähernden Körperteile angemessen zu berücksichtigen. Dies bedeutet, dass nicht nur die laterale Position des rechten Zeigefingers, der Hand 12 und des Unterarms 13, sondern auch deren senkrechter Abstand zu der Anzeigefläche 6 von Bedeutung ist.
Bei einer alternativen Ausführungsform ist es möglich, eine Versatzfunktion aufzustellen, die von der Schwerpunktposition abhängig ist. Dieses ist mehr oder weniger gleichbedeutend mit einer sehr kontinuierlichen Unterteilung, d.h. sehr feinen Unterteilung des Raums quasi in Unterpunkte.
Besonders vorteilhaft ist es, wenn eine Berührposition, die von einer als Touchscreen ausgebildeten Anzeigefläche bereitgestellt wird, mit der ermittelten Fingerposition verglichen wird, um die einzelnen Versätze zu korrigieren. Hierdurch ist es möglich, die für die einzelnen Unterbereiche bzw. ermittelten Schwerpunktpositionen benötigten Versätze personenbezogen anzupassen und vorzugsweise abzuspeichern. Kann das Positionsbestimmungssystem eine Personenidentifikation erfassen, die beispielsweise in einem personenbezogenen Fahrzeugschlüssel abgelegt ist, so können die einzelnen Versatzdaten personenbezogen gespeichert werden. In dem Fahrzeug können somit unterschiedliche Sätze an Versätzen für die einzelnen Personen hinterlegt sein, die beispielsweise einen durch eine Identifikationsnummer personalisierten Fahrzeugschlüssel besitzen und beim Betreiben des Fahrzeugs verwenden.
In Fig. 2 ist schematisch ein Innenraum eines Kraftfahrzeug 31 dargestellt. In einer Mittelkonsole ist ein als Touchscreen ausgebildetes Bedienelement 32 angeordnet. Auf einer frei programmierbaren Anzeigefläche 6 können einerseits Informationen für einen Nutzer 34 ausgegeben werden. Andererseits können auf der frei programmierbaren Anzeigefläche 6 so genannte virtuelle Bedienelemente angezeigt werden, die der Nutzer 34 über eine Berührung mit einem Betätigungselement, hier einem rechten Zeigefinger 1 , auslösen und/oder betätigen kann. Das Betätigungselement wird in der Regel ein Finger des Nutzers sein. Um eine Position des Fingers 1 in einem Raum vor dem Bedienelement 32, d.h. einem überwachten Volumen vor der Anzeigefläche 6, erfassen zu können, ist eine berührungslos messende Positionsbestimmungsvorrichtung 36 vorgesehen. Die
Positionsbestimmungsvorrichtung 36 umfasst Sensoren 8-11 , die benachbart zu Ecken 41- 44 der Anzeigefläche 6 angeordnet sind. Diese Sensoren 8-11 empfangen ein Hochfrequenzsignal, das über den Nutzer 34 und dessen Betätigungselement, den Zeigefinger 1 , übertragen wird und in die Sensoren 8-11 kapazitiv eingekoppelt wird. Das übertragene Hochfrequenzsignal, welches Gebersignal genannt wird, wird von einem Signalgeber 45 erzeugt, der in einen Fahrersitz 46 integriert ist. Das mit einem Sendepegel erzeugte Gebersignal wird kapazitiv in den auf dem Fahrersitz 46 sitzenden Nutzer 34 eingekoppelt, über den Körper 35 des Nutzers 34 und dessen Unterarm 13, Hand 12 und Zeigefinger 1 übertragen und kapazitiv in die Sensoren 8-11 eingekoppelt. Die Sensoren stellen jeweils ein Sensorsignal zu Verfügung, das eine Information über eine empfangene Signalstärke umfasst. Die einzelnen Sensoren 8-11 sind mit einer Auswerte- und Steuereinheit 47 verbunden, die anhand der Sensorsignale eine Position des Zeigefingers 1 im Raum vor der Anzeigefläche 6 ermittelt. Hierbei wird ausgenutzt, dass die empfangenen Signalstärken jeweils ein Maß für den Abstand des Zeigefingers 1 von dem entsprechenden Sensor 8-11 sind. Die Position des Fingers 1 wird ermittelt in dem zunächst über eine Triangulation eine Schwerpunktposition der mit dem Finger 1 angenäherten Körperteile ( der Hand 12 und dem Unterarm 13) bestimmt wird. Hierzu verfügt die Auswerte- und Steuereinheit 47 über ein Schwerpunktpositionsermittlungsmodul 50.
In einem Speicher 51 sind einzelnen Unterräumen zugeordnete Versätze abgelegt. Ein Betätigungselementpositionsmodul 52, das auch Fingerpositionsberechnungsmodul genannt wird, ermittelt den Unterraum, in dem sich die Schwerpunktposition 33 befindet. Der diesem Unterraum zugeordnete Versatz 55 wird aus dem Speicher 51 abgerufen oder ausgelesen und zu der Schwerpunktposition 33 addiert um die Fingerposition 53 zu erhalten. Es versteht sich, dass der Versatz in der Regel durch einen dreidimensionalen Vektor darstellbar ist.
Berührt der Finger 1 die Anzeigefläche 6, so stellt diese, wenn die Anzeigefläche 6 als Touchscreen ausgebildet ist, eine Berührpositionsinformation bereit. Ein Vergleichsmodul 54 ermittelt eine gegebenenfalls vorhandene Abweichung der Berührposition von der ermittelten Fingerposition. Liegt eine Abweichung vor so wird der Versatz 55 mittels eines Korrekturmoduls 56 entsprechend angepasst. Es kann vorgesehen sein, das der Versatz 55 nur korrigiert wird, wenn eine Abweichung oberhalb einer vorgegebenen Schwelle vorliegt.
Um auch ein weiteres Betätigungselement, einen weiteren Finger, eines weiteren Nutzers, beispielsweise eines Beifahrers (nicht dargestellt), erfassen zu können, umfasst die Positionsbestimmungsvorrichtung 36 der dargestellten Ausführungsform einen weiteren Signalgeber 48, der in den Beifahrersitz 49 integriert ist. Der weitere Signalgeber 48 erzeugt vorzugsweise ein Hochfrequenzsignal, welches eine andere Frequenz aufweist oder ein gegenüber dem Gebersignal unterschiedlich moduliertes Hochfrequenzsignal darstellt.
Der Signalgeber 45 und der weitere Signalgeber 48 können auch an anderen Stellen im Kraftfahrzeug angeordnet sein. Eine kapazitive Einkopplung des Gebersignals bzw. weiteren Gebersignals ist jedoch besonders einfach möglich, indem beispielsweise leitende Matten in die Sitzfläche eingearbeitet werden. Für den weiteren Nutzer werden andere Versätze verwendet, die in der Regel anderen Unterräumen zugeordnet sind. Ansonsten kann die Ermittlung der weiteren Fingerposition des weiteren Fingers analog ausgeführt werden.
Bei einer anderen Ausführungsform ist vorgesehen, dass das
Betätigungselementpositionsberechnungsmodul die Fingerposition anhand eines von der Schwerpunktposition 33 abhängigen Versatzes berechnet, der seinerseits mittels eines Versatzberechnungsmoduls 57 anhand einer Funktion der Schwerpunktposition 33 errechnet ist. Hierdurch ist es möglich, eine sehr feine Unterteilung des Raum quasi in Unterpunkte vorzunehmen.
Die Funktion kann anhand interpolierter Versätze parametrisiert sein, die aus einzelnen vermessenen Schwerpunktpositionen und Fingerpositionen abgeleitet sind.
Es ist ebenfalls möglich, einzelnen Parameter der Funktion anpassbar auszugestalten, so dass festgestellte Abweichungen zwischen der Berührposition und der ermittelten Fingerposition zur Anpassung der Funktion zur Berechnung des Versatzes verwendet werden können.
Bei wieder einer anderen Ausführungsform ist vorgesehen, dass das Betätigungselementpositionsberechnungsmodul ausgebildet ist, die Fingerposition mittels Triangulation zu bestimmen, wobei jedoch mittels eines Zuordnungsmoduls 58 eine Zuordnung einer empfangenen Signalstärke zu einer Entfernung abhängig von der ermittelten Schwerpunktposition oder sogar abhängig von einer Annäherungsrichtung für jeden der Sensoren angepasst wird. Die Annäherungsrichtung des Fingers kann unter Berücksichtigung mindestens einer vorausgehend ermittelten Schwerpunktposition abgeleitet werden. Ebenso ist es möglich die Annäherungsrichtung anhand zuvor ermittelter Fingerpositionen zu ermitteln. Allgemein kann die Annäherungsrichtung anhand zuvor ermittelter Positionen bestimmt werden. Eine Anpassung der Zuordnung empfangene Signalstärke zu Entfernung entspricht einer Anpassung der Kennlinie eines Sensors. Ist diese Kennlinie linear, so kann beispielsweise eine Änderung der Zuordnung in einer Anpassung der Geradensteigung bestehen. Für unterschiedliche Annäherungsrichtungen können beispielsweise unterschiedliche Kennlinien erfasst werden und in dem Speicher abgelegt werden. Sind die Kennlinien (Zuordnungen empfangene Signalsstärke - Entfernung) parametrisierbar, so können sie in Form von Formeln abgelegt sein. Ansonsten ist es möglich die Kennlinien in Tabellenform abzulegen, wobei in vielen Fällen lediglich einzelnen Wertepaare empfangene Signalstärke - Entfernung abgelegt zu werden brauchen. Die Zwischenwerte können in der Regel interpoliert werden. Das Betätigungselementpositionsberechnungsmodul errechnet die Fingerposition anhand der individuell angepassten Zuordnungen aus den Sensorsignalen über eine Triangulation.
Auch bei dieser Ausführungsform können Abweichungen zwischen der gemessenen Berührposition und der ermittelten Fingerposition verwendet werden, um in diesem Falle die Zuordnungen anzupassen.
Die zur Fingerpositionsberechnung benötigten Informationen können jeweils nutzerbezogen in dem Speicher abgelegt sein, sofern ein Identifikationsmodul 59 der Positionsbestimmungseinheit den Nutzer, beispielsweise anhand einer in einem Fahrzeugschlüssel codierten Identifikationsnummer identifizieren kann, die der Positionsbestimmungseinheit übermittelt wird.
Für den Fachmann versteht es sich, dass die einzelnen beschriebenen Module der Auswerte- und Steuereinheit sowohl in Software als auch in Hardware oder in einer Kombination hieraus umgesetzt sein können. Die Auswerte- und Steuereinheit kann insbesondere eine Rechnereinheit umfassen, die einen in dem Speicher abgelegten Programmcode ausführen kann. Die einzelnen Module können dann als Programmcodemodule umgesetzt sein. Es ergibt sich ferner, dass eine scharfe Abgrenzung der Funktionalität der einzelnen Module häufig nicht möglich ist und dass diese teilweise oder ganz zusammengefasst sein können.
Die unterschiedlichen Bestandteile der Positionsbestimmungseinheit können verteilt im Kraftfahrzeug angeordnet sein. Sie können ebenfalls in eine oder mehrere Komponenten integriert sein. Die Auswerte- und Steuereinheit kann insbesondere in ein zentrales Steuergerät und/oder ein Multifunktionsbediengerät, in das auch die oben erwähnte Anzeigefläche integriert ist, integriert sein.
In Fig. 3a bis 3c sind weitere Situationen dargestellt, in denen ein Zeigefinger 1 einer langgestreckten Anzeigefläche 6 angenähert wird. In diesem Fall sind Sensoren 8-10 entlang einer oberen Kante 61 der Anzeigefläche 6 angeordnet. Bei der Situation (siehe Fig. 3a), in der der Zeigefinger einer Position am linken Rand 62 der Anzeigefläche 6 angenähert wird, wird keiner der Sensoren 8-10 durch die Hand 12 oder den Unterarm 13 nennenswert gestört. In Fig. 3b ist die Situation dargestellt, in der der Finger 1 einer Berührposition 63 in einer Mitte der Anzeigefläche 6 angenähert wird. In dieser Situation wird der Sensor 8, der an der linken oberen Ecke der Anzeigefläche 6 angeordnet ist, durch die Hand 12 und den Unterarm 13 mit beeinflusst, so dass eine ermittelte Schwerpunktposition von der tatsächlichen Fingerposition abweicht. Bei der Situation nach Fig. 3c, bei der der Zeigefinger 1 einem rechten Rand 64 der Anzeigefläche 6 angenähert wird, werden die Sensoren 8 und 9, die an der linken oberen Ecke bzw. mittig oberhalb der oberen Kante 61 der Anzeigefläche 6 angeordnet sind, durch die Hand 12 und den Unterarm 13 mit beeinflusst, so dass ein ermittelter Schwerpunkt deutlich von der Fingerposition abweicht. Je nach ermittelter Schwerpunktposition kann ein entsprechend zugeordneter Versatz verwendet werden, um die korrekte Fingerposition zu berechnen, wie dies oben beschrieben ist. Alternativ können die Kennlinien, d.h. die Zuordnungen der empfangenen Signalstärke zu einer entsprechenden Entfernung, angepasst werden, um die Fingerposition direkt mittels Triangulationsverfahren zu ermitteln.
Die Ausführungsbeispiele verwenden zwar Sensoren, die über den menschlichen Körper übertragene HF-Signale erfassen, es können jedoch auch beliebige andere Sensoren genutzt werden, die berührungslos eine Annäherung eines Objekts an eine Fläche erfassen können und hierbei ein Sensorsignal erzeugen, welches ein Maß für den Abstand des Objekts von dem Sensor ist. Insbesondere können die oben erwähnten Sensoren verwendet werden.
Bezugszeichenliste
1 Zeigefinger
2-5 Berührpositionen
6 Anzeigefläche
7 Eckpunkte
8-11 Sensoren
12 Hand
13 Unterarm
14-17 Schwerpunktpositionen
18-21 Unterräume
22 Kontaktpunkt der Unterräume
23 Mitte der Anzeigefläche
24-27 Versätze
31 Kraftfahrzeug
32 Bedienelement
33 Schwerpunktposition
34 Nutzer
35 Körper
36 Positionsbestimmungsvorrichtung 5 Signalgeber 6 Fahrersitz 7 Auswerte- und Steuereinheit 8 weiterer Signalgeber 9 Beifahrersitz
50 Schwerpunktpositionsermittlungsmodul
51 Speicher
52 Betätigungselementpositionsberechnungsmodul
53 Fingerposition
54 Vergleichsmodul 5 Versatz 6 Korrekturmodul 7 Versatzberechnungsmodul 8 Zuordnungsmodul 9 Identifikationsmodul obere Kante linker Rand
Berührungsposition rechter Rand

Claims

Patentansprüche
1. Verfahren zum Bestimmen der Position eines Betätigungselements, insbesondere eines Fingers (1 ), eines Nutzers (34) in einem Kraftfahrzeug (31) bei einer Annäherung an eine Fläche umfassend folgende Schritte:
Erfassen von Sensorsignalen berührungslos messender Sensoren (8-11 ), wobei die Sensorensignale ein Maß für einen Abstand eines Objektes, insbesondere eines Körperteils des Nutzers (34), von einer entsprechenden Sensorposition sind, und Ermitteln der Position des Betätigungselements, insbesondere des Fingers (1 ), anhand der Sensorsignale der Sensoren (8-11 ), dadurch gekennzeichnet, dass anhand der Sensorsignale zunächst eine Schwerpunktposition (14-17) des sich mit dem Betätigungselement, insbesondere dem Finger (1 ), annähernden Objekts, insbesondere des Körperteils, ermittelt wird und unter Berücksichtigung der Schwerpunktposition (14-17) die Position des Betätigungselements, insbesondere des Fingers (1 ), errechnet wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Erfassen der Sensorsignale folgende Schritte umfasst:
Erzeugen eines HF-Signals; Einkoppeln des HF-Signals in den Nutzer (34); Übertragen des HF-Signals über den Körper (35) des Nutzers (34); Empfangen des über den Körper (35) und das Betätigungselement, insbesondere den Finger (1), des Nutzers (34) übertragenen HF-Signals mittels mehrerer Sensoren (8- 11 ), wobei die Sensorsignale jeweils ein Maß für die empfangene Signalstärke des HF- Signals sind.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Position des Betätigungselements, insbesondere des Fingers (1), ausgehend von der Schwerpunktposition (14-17) unter Berücksichtigung eines von der Schwerpunktposition (14-17) abhängigen Versatzes (24-27) ermittelt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Raum vor der Fläche in Unterräume (18-21) unterteilt wird und jedem Unterraum (18-21 ) ein Versatz (24-27) zugeordnet ist.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das der Versatz (24-27) mittels einer Funktion der Schwerpunktposition (14-17) berechnet wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass Zuordnungen der empfangenen Signalstärken zu ermittelten Entfernungen des Betätigungselements, insbesondere des Fingers (1 ), von den entsprechenden Sensoren (8-11) für die Berechnung der Betätigungselementposition, insbesondere der Fingerposition, jeweils individuell abhängig von der ermittelten Schwerpunktposition (14-17) angepasst werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zusätzlich mindestens eine während der Annäherung zuvor ermittelte Schwerpunktposition in die Ermittlung der Betätigungselementpositionen, insbesondere der Fingerpositionen, einbezogen wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Fläche ein Touchscreen ist und mittels des Touchscreens eine Berührposition (2-5) bei einer Berührung des Touchscreens durch das Betätigungselement, insbesondere den Finger (1), ermittelt und bereitgestellt wird, und die Berührposition (2-5) mit der ermittelten Position des Betätigungselements, insbesondere des Fingers (1 ), verglichen wird, und anhand einer Abweichung der Versatz (24-27) und/oder die Zuordnung der Signalstärken zu den Entfernungen korrigiert werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Versatz und/oder die Zuordnungen personenbezogen gespeichert werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass zusätzlich ein weiteres HF-Signal erzeugt wird, das in einen weiteren Nutzer eingekoppelt wird und die Sensoren (8-11 ) oder weitere Sensoren weitere Sensorsignale bereitstellen, die ein Maß für eine empfangene Signalstärke des weiteren über den weiteren Körper und ein weiteres Betätigungselement, insbesondere einen weiteren Finger, des weiteren Nutzers übertragen HF-Signals angeben, und wobei anhand der weiteren Sensorsignale zunächst eine weitere Schwerpunktposition des mit dem weiteren Betätigungselement, insbesondere des weiteren Fingers, angenäherten weiteren Objekts, insbesondere des weiteren Körperteils, ermittelt wird und die weitere Betätigungselementposition, insbesondere die weitere Fingerposition, unter Berücksichtigung der weiteren Schwerpunktposition ermittelt wird.
11. Positionsbestimmungsvorrichtung (36) eines Kraftfahrzeugs (31 ) zum Ermitteln der Position eines Betätigungselements, insbesondere eines Fingers (1 ), eines Nutzers (34) im dreidimensionalen Raum bei einer Annäherung an eine Fläche, umfassend berührungslos messende Sensoren (8-11), die Sensorsignale erzeugen, die ein Maß für einen Abstand eines Objektes, insbesondere eines Körperteils, des Nutzers (34) von einer entsprechenden Sensorposition sind, und eine Auswerte- und Steuereinheit (47), die anhand der Sensorsignale der Sensoren (8-11 ), eine Position des Betätigungselements, insbesondere des Fingers (1 ), relativ zu der Anzeigefläche errechnet, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (47) ein Schwerpunktpositionsermittlungsmodul (50), mit dem anhand der Sensorsignale zunächst ein Schwerpunktposition (14-17) des sich mit dem Betätigungselement, insbesondere dem Finger (1), annähernden Objekts, insbesondere annähernden Körperteils, ermittelbar ist, und ein Betätigungselementpositionsberechnungsmodul umfasst, mit dem unter Berücksichtigung der Schwerpunktposition (14-17) die Position des Betätigungselements, insbesondere des Fingers (1), errechenbar ist.
12. Positionsbestimmungsvorrichtung (36) nach Anspruch 11 , dadurch gekennzeichnet, dass Betätigungselementpositionsberechungsmodul (52) ausgebildet ist, die Position des Betätigungselements, insbesondere des Fingers (1 ), ausgehend von der Schwerpunktposition (14-17) unter Berücksichtigung eines von der Schwerpunktposition (14-17) abhängigen Versatzes (24-27) zu ermitteln.
13. Positionsbestimmungsvorrichtung (36) nach einem der Ansprüche 11 oder 12, dadurch gekennzeichnet, dass der Raum vor der Fläche in Unterräume (18-21) unterteilt ist und jedem Unterraum (18-21) ein Versatz (24-27) zugeordnet ist, wobei die Versätze (24- 27) in einem Speicher (51 ) abgelegt sind und aus dem Speicher abhängig davon auslesbar sind, in welchem Unterraum (18-21 ) die Schwerpunktposition (14-17) liegt.
14. Positionsbestimmungsvorrichtung nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass das Betätigungselementpositionsberechungsmodul (52) ein Versatzberechnungsmodul (57) umfasst, das den Versatz (24-27) anhand einer Funktion der Schwerpunktposition (14-17) ermittelt.
15. Positionsbestimmungsvorrichtung nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass das Betätigungselementpositionsberechungsmodul (52) ein Zuordnungsmodul (58) umfasst, mit dem Zuordnungen der empfangenen Signalstärken zu ermittelten Entfernungen des Betätigungselements, insbeondere des Fingers (1), von den entsprechenden Sensor (8-11 ) für die Berechnung der Betätigungselementposition, insbesondere der Fingerposition, jeweils individuell abhängig von der ermittelten Schwerpunktposition (14-17) anpassbar sind.
16. Positionsbestimmungsvorrichtung (36) nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass zusätzlich mindestens eine während der Annäherung zuvor ermittelte Schwerpunktsposition (14-17) in die Ermittlung der Betätigungselementpositionen, insbesondere der Fingerpositionen, einbeziehbar ist.
17. Positionsbestimmungsvorrichtung (36) nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, dass die Fläche ein Touchscreen ist und die Auswerte- und Steuereinheit (47) ausgebildet ist, eine mittels des Tochscreens bei einer Berührung des Touchscreens durch das Betätigungselement, insbesondere den Finger (1), ermittelte und bereitgestellte Berührposition zu empfangen, und ein Vergleichsmodul (54) zum Bestimmen einer Abweichung der Berührposition der ermittelten Position des Betätigungselements, insbesondere des Fingers (1), und ein Korrekturmodul (56) umfasst, um den Versatz und/oder die Zuordnung der Signalstärken zu den Entfernungen zu korrigieren.
18. Positionsbestimmungsvorrichtung nach einem der Ansprüche 1 1 bis 17, gekennzeichnet durch eine Identifikationsmodul (59), das Identifikationsinformationen des Nutzers (34) erfassen kann und den Versatz und/oder die Zuordnungen personenbezogen in einem Speicher (51) ablegt oder aus diesem einliest.
19. Positionsbestimmungsvorrichtung nach einem der Ansprüche 11 bis 18, gekennzeichnet durch einen Signalgeber (45) zum Erzeugen eines hochfrequenten Gebersignals, wobei der Signalgeber (45) angeordnet ist, das Gebersignal kapazitiv oder leitend in einen Körper (35) des Nutzers (34) einzukoppeln; und die mehreren Sensoren (8-11) ausgebildet sind, das in den Körper (35) eingekoppelte, über diesen Körper (35) und das Betätigungselement, insbesondere den Finger (1), hiervon übertragene Gebersignal kapazitiv zu empfangen, wobei die Sensorsignale der Sensoren (8-11 ) ein Maß für die empfangene Signalstärke sind.
20. Positionsbestimmungsvorrichtung nach einem der Ansprüche 11 bis 19, dadurch gekennzeichnet, dass ein weiterer Signalgeber (48) zum Erzeugen eines weiteren HF- Signals so angeordnet ist, dass das weitere HF Signal in einen weiteren Nutzer (34) einkoppelbar ist und die Sensoren (8-11) oder weitere Sensoren ausgebildet sind, weitere Sensorsignale bereitzustellen, die ein Maß für eine empfangene Signalstärke des weiteren über den weiteren Körper (35) und ein weiteres Betätigungselement, insbesondere einen weiteren Finger, des weiteren Nutzers übertragen HF-Signals angeben, und wobei anhand der weiteren Sensorsignale zunächst eine weitere Schwerpunktposition des mit dem weiteren Betätigungselement, insbesondere dem weiteren Finger, angenäherten weiteren Objekts, insbesondere weiteren Körperteils, ermittelbar ist und die weitere Betätigungselementposition, insbesondere die weitere Fingerposition, unter Berücksichtigung der weiteren Schwerpunktposition ermittelbar ist.
EP08785022.8A 2007-07-19 2008-07-10 Verfahren zur bestimmung der position eines betätigungselements, insbesondere eines fingers eines nutzers, in einem kraftfahrzeug und positionsbestimmungsvorrichtung Not-in-force EP2183661B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007034273A DE102007034273A1 (de) 2007-07-19 2007-07-19 Verfahren zur Bestimmung der Position eines Fingers eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung
PCT/EP2008/006069 WO2009010308A1 (de) 2007-07-19 2008-07-10 Verfahren zur bestimmung der position eines betätigungselements, insbesondere eines fingers, eines nutzers in einem kraftfahrzeug und positionsbestimmungsvorrichtung

Publications (2)

Publication Number Publication Date
EP2183661A1 true EP2183661A1 (de) 2010-05-12
EP2183661B1 EP2183661B1 (de) 2018-04-11

Family

ID=39916337

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08785022.8A Not-in-force EP2183661B1 (de) 2007-07-19 2008-07-10 Verfahren zur bestimmung der position eines betätigungselements, insbesondere eines fingers eines nutzers, in einem kraftfahrzeug und positionsbestimmungsvorrichtung

Country Status (5)

Country Link
US (1) US9001049B2 (de)
EP (1) EP2183661B1 (de)
CN (1) CN101755253B (de)
DE (1) DE102007034273A1 (de)
WO (1) WO2009010308A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3167224A1 (fr) 2024-10-09 2026-04-10 Stellantis Auto Sas Procédé de manipulation d’une interface personne-machine d’un écran tactile d’un véhicule automobile

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
US8421752B2 (en) 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
DE102011011802A1 (de) * 2011-02-19 2012-08-23 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle, insbesondere in einem Fahrzeug
DE102011112448A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
DE102011089419A1 (de) * 2011-12-21 2013-06-27 Bayerische Motoren Werke Aktiengesellschaft Bedienvorrichtung für ein Schiebedach eines Fahrzeugs
US20130297251A1 (en) * 2012-05-04 2013-11-07 Abl Ip Holding, Llc System and Method For Determining High Resolution Positional Data From Limited Number of Analog Inputs
DE102012011177A1 (de) * 2012-06-06 2013-12-24 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Bedienung von Funktionen einesFahrzeuges sowie entsprechende Vorrichtung
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
CN103863121B (zh) * 2012-12-13 2016-08-24 华创车电技术中心股份有限公司 操作面板
JP6094527B2 (ja) * 2013-10-02 2017-03-15 株式会社デンソー スイッチ装置
US9208526B1 (en) * 2014-07-11 2015-12-08 State Farm Mutual Automobile Insurance Company Method and system for categorizing vehicle treatment facilities into treatment complexity levels
DE102014219408A1 (de) * 2014-09-25 2016-04-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Einstellung eines thermischen Komfortzustandes
DE102015205931A1 (de) * 2015-04-01 2016-10-06 Zf Friedrichshafen Ag Bedienvorrichtung und Verfahren zum Bedienen zumindest einer Funktion eines Fahrzeugs
CN109416609B (zh) * 2016-10-27 2022-01-28 瑟克公司 具有接近感测的输入装置中的手指追踪
DE102017201799A1 (de) 2017-02-06 2018-08-09 Volkswagen Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Anwenderunterscheidung
JP7375456B2 (ja) * 2019-10-18 2023-11-08 株式会社アイシン 爪先位置推定装置および指先位置推定装置
JP7454383B2 (ja) * 2020-01-18 2024-03-22 アルパイン株式会社 操作装置
CN115096227B (zh) * 2022-07-04 2025-07-11 长沙行深智能科技有限公司 一种障碍物位置计算方法以及载货装置
CN119502937A (zh) * 2023-08-22 2025-02-25 华为技术有限公司 基于车内中控屏的交互方法及车载终端

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003445A (ja) * 1998-06-15 2000-01-07 Toshiba Corp 情報抽出方法および情報抽出装置および記録媒体
JP3237629B2 (ja) * 1998-10-27 2001-12-10 ぺんてる株式会社 直接触式タッチパネル装置
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
DE19923376A1 (de) * 1999-05-21 2000-06-15 Siemens Ag Verfahren und Vorrichtung zur berührungslosen Positionserfassung eines Gegenstandes
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US20030132922A1 (en) 2002-01-17 2003-07-17 Harald Philipp Touch screen detection apparatus
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US7821425B2 (en) * 2002-07-12 2010-10-26 Atmel Corporation Capacitive keyboard with non-locking reduced keying ambiguity
US8665077B2 (en) 2002-08-15 2014-03-04 Ident Technology Ag Circuit for selectively producing switching signals, especially for a vehicle door locking, a vehicle, system and method equipped therewith for protecting areas of risk as well as a system, system components and method for hermetically transferring validatable data
GB0220712D0 (en) * 2002-09-06 2002-10-16 Ford Global Tech Inc Control systems
DE10242890A1 (de) * 2002-09-16 2004-03-25 Technische Universität München Kostenbewusste visuelle Interaktion über ein Distanzsensorenfeld
DE10321964B4 (de) * 2003-05-15 2008-05-29 Webasto Ag Fahrzeugdach mit einer Bedieneinrichtung für elektrische Fahrzeugkomponenten sowie Verfahren zur Bedienung elektrischer Fahrzeugkomponenten
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
GB0319714D0 (en) 2003-08-21 2003-09-24 Philipp Harald Anisotropic touch screen element
GB0412787D0 (en) 2004-06-09 2004-07-14 Koninkl Philips Electronics Nv Input system
US7091886B2 (en) * 2004-06-09 2006-08-15 Lear Corporation Flexible touch-sense switch
US7432917B2 (en) * 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US20060244733A1 (en) * 2005-04-28 2006-11-02 Geaghan Bernard O Touch sensitive device and method using pre-touch information
WO2006119546A1 (en) 2005-05-06 2006-11-16 Philip John Peyton Pulmonary capnodynamic method for continuous non-invasive measurement of cardiac output
DE102005048840A1 (de) * 2005-10-12 2007-04-19 Daimlerchrysler Ag Bediensystem für ein Fahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009010308A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3167224A1 (fr) 2024-10-09 2026-04-10 Stellantis Auto Sas Procédé de manipulation d’une interface personne-machine d’un écran tactile d’un véhicule automobile

Also Published As

Publication number Publication date
CN101755253A (zh) 2010-06-23
DE102007034273A1 (de) 2009-01-22
US20110175843A1 (en) 2011-07-21
CN101755253B (zh) 2013-03-27
WO2009010308A1 (de) 2009-01-22
US9001049B2 (en) 2015-04-07
EP2183661B1 (de) 2018-04-11

Similar Documents

Publication Publication Date Title
EP2183661B1 (de) Verfahren zur bestimmung der position eines betätigungselements, insbesondere eines fingers eines nutzers, in einem kraftfahrzeug und positionsbestimmungsvorrichtung
EP1302172B1 (de) Medizinisches Instrument mit berührungsempfindlicher Spitze
DE102013012466B4 (de) Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE102010007455A1 (de) System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
DE102010013327A1 (de) Vorrichtung und Verfahren zur optischen Näherungsmessung und Berührungseingabesteuerung
DE102012000586A1 (de) Eingabevorrichtung mit einer berührungssensitiven Eingabefläche
EP2876526B1 (de) Verfahren zur Erkennung von Gesten und Vorrichtung zur Gestenerkennung
EP2643746B1 (de) Bedienvorrichtung
DE202014010352U1 (de) Gestenerkennungsvorrichtung
EP2915022A1 (de) Verfahren zum eingeben eines steuerbefehls für eine komponente eines kraftwagens
EP2870695B1 (de) Berührungsempfindliche bedieneinheit mit rotierender berührschicht
DE102014106837A1 (de) Driftkompensation / Parallelminimierung
DE102016106799A1 (de) Bewegungsbasiertes kapazitives Sensorsystem
DE102016003147B4 (de) Beleuchtungssystem mit einer Beleuchtungseinrichtung und Sensoreinrichtung zur Detektion eines Bewegungsablaufs
DE102009052078A1 (de) Tragbare Fernbedienungsvorrichtung für ein Fahrzeug
WO2014108147A1 (de) Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung
DE102013114794A1 (de) Gekrümmter Bildschirm
EP3366434A1 (de) Verfahren zur überprüfung einer funktion eines fahrzeuges und/oder zumindest einer bedieneinrichtung
DE102008005106A1 (de) Bedienvorrichtung für ein Kraftfahrzeug
DE102017201042A1 (de) Eingabeelement für einen berührungsempfindlichen Bildschirm
DE10138537A1 (de) Taktiles Feedback zur Darstellung von Gewebeelastizität
DE102014106839A1 (de) Driftkompensation / Einschränkung des Lösungsraums
DE102013013166A1 (de) Kraftwagen mit Head-up-Anzeige und zugehöriger Gestenbedienung
DE102007005027A1 (de) Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug mit einer interaktiven Benutzerschnittstelle
WO2024235374A1 (de) Steuern einer funktion eines kraftfahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100219

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

RIN1 Information on inventor provided before grant (corrected)

Inventor name: VIKOLER, PETER

Inventor name: BENDEWALD, LENNART

Inventor name: WAELLER, CHRISTOPH

Inventor name: BACHFISCHER, KATHARINA

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT

17Q First examination report despatched

Effective date: 20160128

RIC1 Information provided on ipc code assigned before grant

Ipc: B60K 37/06 20060101ALI20170912BHEP

Ipc: G06F 3/044 20060101AFI20170912BHEP

Ipc: G06F 3/041 20060101ALI20170912BHEP

Ipc: B60K 35/00 20060101ALI20170912BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20171024

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 988710

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180415

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502008016027

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180411

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180711

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180711

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180712

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180813

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008016027

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20190114

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180710

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20180731

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180710

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180731

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180731

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 988710

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20080710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180811

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502008016027

Country of ref document: DE

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230523

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240731

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240724

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240725

Year of fee payment: 17

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502008016027

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20250710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20260203

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250731