EP3695293A1 - Method for providing a haptic feedback message to an operator of a touch-sensitive display device - Google Patents

Method for providing a haptic feedback message to an operator of a touch-sensitive display device

Info

Publication number
EP3695293A1
EP3695293A1 EP18773992.5A EP18773992A EP3695293A1 EP 3695293 A1 EP3695293 A1 EP 3695293A1 EP 18773992 A EP18773992 A EP 18773992A EP 3695293 A1 EP3695293 A1 EP 3695293A1
Authority
EP
European Patent Office
Prior art keywords
touch
display device
haptic feedback
button
sensitive display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18773992.5A
Other languages
German (de)
French (fr)
Inventor
Markus Langenberg
Ingo Hermanns
Werner Poechmueller
Holger Kussmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3695293A1 publication Critical patent/EP3695293A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Definitions

  • Touchscreen known in which a pressure measurement for detecting a touch of the touch screen is carried out at a certain position, depending on a touch and depending on a one touch of a position associated with the element of a graphical user interface haptic feedback is issued to an operator.
  • a haptic feedback may be dependent on the pressure that is detected when touching the user interface at the location of the element shown in the graphical user interface.
  • Feedback to an operator of a touch-sensitive display device has the advantage that a haptic feedback can also be made for a user interface shown in the touch-sensitive display with buttons shown in the user interface, if in addition to image information itself no information for the design of the
  • a haptic feedback should be given to a user even in such a situation when he touches the touch-sensitive display device in the area of a button, so he a
  • touch-sensitive display device are also performed, for example, in the event that a user does not have the display device in its field of view during operation. In the event that he is the
  • touch-sensitive display with haptic feedback but be known a position to which a haptic feedback should be given, otherwise a targeted haptic feedback is not possible only when a button touch.
  • a button is understood to mean, on the one hand, a surface whose contact, similar to a pushbutton, performs a circuit.
  • a button but also an area for more, different designed controls, such as sliders or rotary elements.
  • the haptic feedback must also be made as soon as possible after a detected touch. If the haptic feedback occurs only one or possibly several seconds later, then a haptic
  • the touch-sensitive display device so that a timely haptic feedback can be done.
  • the display device is able to determine automatically only from the transmitted image data possible positions of buttons in a display of a user interface to be displayed.
  • Display of the touch-sensitive display is not provided externally, e.g. if only image data of a user interface from an external
  • Calculator be transferred or if the position of the button on the touch-sensitive display device by a user or by an application has been changed.
  • haptic feedback it may be possible, for example, for haptic feedback to be given even in the event that a computing device that provides a user interface is not aware that a touch-sensitive display device for a user device is being used
  • Computing device provided user interface at a touch of buttons shown and upon detection of a touch on one of the buttons specifically gives a haptic feedback.
  • touch-sensitive display with haptic feedback from a further computing device are omitted, since all for the haptic
  • buttons in user interfaces represented graphically in a display as a rule differ significantly from a background in the display in terms of their color, brightness and / or texture, since even with a selection without haptic feedback, a user has a
  • buttons should recognize easily. These differences in parameters of the display are exploited for the image analysis, namely by regular structures, such as bounding lines and resulting shapes, especially taking into account a minimum or maximum size or area, for determining a position of such buttons by image analysis be used. Thus, a fast haptic
  • Feedback are also made possible for a user interface, if a layout of the user interface and in particular positions of the buttons were previously known to the touch-sensitive display device.
  • touch-sensitive display device to the arithmetic unit to return from which the image data of the user interface has been provided.
  • This can be assigned to the user interface from the coordinate determine and thus assign a function or a button and then trigger the assigned function.
  • Computing device are processed.
  • Interface advantageous, as well as a connection of an external device, such as a smartphone, to a touch-sensitive device.
  • Display device is enabled.
  • buttons it is advantageous for the stored forms of buttons to include polygons, ellipses or shapes with predefined textures or colors, since in this way a large number of possible buttons can be detected.
  • a shape can be understood to be the outer geometric shape of a button.
  • different shapes can also be understood to mean a same shape in a different color design.
  • a property of the haptic feedback is selected depending on a property of the form identified as a button, which corresponds to the display area of the surface of the
  • Buttons also provide different haptic feedback, for example, different frequencies of vibration or a different number of vibrations. This not only has a user the
  • Computing device such a form specification is transmitted together with the image data. Rather, the touch-sensitive display device can determine such a regulation itself.
  • touch-sensitive display device has been touched several times in the area of this shape.
  • a successful operation of a button causes the design of the user interface to change, either by displaying a confirmation of an operation or by displaying a new operating menu.
  • a user touches the screen at one point and then changes the screen content, completely or partially, it can be deduced that a
  • an analysis of transmitted image data only takes place if the image data remain unchanged for a predetermined period of time.
  • the transmitted image data are data of a user interface which as a rule remain unchanged for at least 10 seconds, at least for the purpose of recording an operation by a user for a predetermined period of time.
  • animations such as the appearance of a Control window by flying in or zooming as well as a representation of moving images from a representation of a user interface for analysis on possible buttons to distinguish a haptic feedback at a touch of these buttons to distinguish.
  • Such a suppression of a haptic feedback during a change of an image representation is not disadvantageous since, as a rule, for example, during an animation carried out a user input usually should not be made.
  • 1 shows a display device with a touch-sensitive
  • Figure 2 shows an example of an assignment in the touch-sensitive
  • FIG. 3 shows an example of a method for providing a haptic
  • Display devices are used.
  • the use for a driver information device in a motor vehicle is advantageous because the driver should concentrate on the driving situation in a vehicle and thus he should direct his view of a traffic environment of the vehicle, which he controls.
  • a haptic feedback By being able to give him an advantageous haptic feedback, he can leave the view on the road, while he can perform a particular blind operation of a user interface with various buttons.
  • a mobile telephone in particular a so-called smartphone
  • various protocols with a driver information device installed in the vehicle.
  • the image of the user interface is generated and preferably rendered by the mobile telephone or the portable computer device, the image data thus generated being sent to the computer
  • Driver information system in the vehicle are transmitted and displayed by this. Additional information about a specific image content itself, such as a position of buttons in a
  • the driver information system can decide from the transmitted image data at which positions of the transmitted image there is a button for which a haptic feedback is to be given in the vehicle when touched at a corresponding point on a touch-sensitive display device of the driver information device , Therefore, the present invention is explained below using the example of a driver information device in a vehicle.
  • FIG. 1 shows a touch-sensitive display device 10 of FIG.
  • Display device 10 has a display unit 11, which has a
  • Display area 12 has.
  • the display unit 11 is embodied, for example, as a liquid crystal display or as an OLED display.
  • the Display surface 12 is formed touch-sensitive, so that a coordinate of a touch of the display surface 12 is determined and from a
  • Processing unit 13 can be evaluated and processed further.
  • An image content displayed in the display area 12 is provided by a computing unit 14.
  • the arithmetic unit 14 prepares for display in the display area 12 image data, which are transmitted in the embodiment shown here via an interface 15 from an external computing device 16 via a data link 17.
  • the computing device 16 For a communication via the data connection 17, the computing device 16 also has a
  • the data connection 17 is
  • a near-field communication running such as
  • Computer 16 which is embodied for example as a portable computer, in particular a mobile telephone or a so-called smartphone, determines the image data of an image displayed in the display device 12.
  • the arithmetic unit 19 determines the computing device 16
  • Image data of a user interface, with which a control of functions of the computing device 16 is to take place For this the data of the
  • FIG. 1 shows an example of a representation of a user interface.
  • a first icon 21, a second icon 22, and a third icon 23 are shown in an upper half of the display area 12.
  • Processing unit 13 detected and transferred to the arithmetic unit 14.
  • the arithmetic unit 14 transmits the coordinate value via the data connection 17 In particular, this coordinate, together with a coordinate with respect to an extension of the total, in the
  • Pass display surface 12 shown user interface For example, a reference to a top left corner of the user interface shown is given.
  • the arithmetic unit 19 can thus a position of the detected
  • the arithmetic unit 19 can determine that a touch has occurred within the first symbol 21.
  • Software now runs in the arithmetic unit 19, according to which a touch of the first symbol 21 is assigned to a specific function of the computing device 16, e.g. a start of a route route navigation.
  • the computing device 16 now performs this function.
  • this changes a display surface 12 to be displayed in the display surface.
  • the second and third symbols 22, 23 may be different
  • the arithmetic unit 19 determines the coordinate that no function is stored for this position and thus the image representation in the display area 12 remains unchanged and also none Function of the computing device 16 is executed.
  • a control element 30 can be controlled and moved within the surface of the slider 29 by a user by detecting a touch of the display surface 12 and a subsequent continuous contact and movement of a contact point, for example a finger on the display surface 12 in the direction of arrow 31, the graphic element 30 is also displaced in the direction of arrow 31.
  • Vibration unit 40 which is controlled by the processing unit 13 and the computing unit 14.
  • a haptic feedback takes place shortly after a detected touch, in the form of a so-called "click", so that a short-term haptic feedback gives a user the feeling of having pressed an actually tactile button
  • Vibration and / or the number of clicks can be specified and generate depending on the selection, if necessary, a tactile different haptic
  • a coordinate table could be provided to which
  • the processing unit 13 or the vibration unit 40 are made available.
  • an additional arithmetic unit 41 is provided which is based on this
  • Coordinate information performs a control of the vibration unit 40, so that as soon as possible after detection of a touch of the
  • Display surface 12 can be given a haptic feedback to a user.
  • Display surface 12 can be given a haptic feedback to a user.
  • User interface for example, as shown in the figure 1, is such information of the arithmetic unit 14 and thus also the additional processing unit 41 initially not available. Therefore, in the event that one
  • Calculation device 16 is transmitted, an analysis method by means of a processing unit 42 is started, which analyzes the transmitted image data. Based on the analysis of the image data, areas and thus coordinates are determined at which a haptic feedback is to take place. Such an analysis occurs when the transmitted image data remains unchanged for a predetermined period of time, for example, two to five seconds. Thus, it is assumed that the computing device 16 does not transmit, for example, a movie or an animation of a user interface, but a provides constant image representation of a user interface.
  • the corresponding determined coordinate information for a button are stored after the analysis and used by the arithmetic unit 41 for controlling the vibration unit 40 until the arithmetic unit 14 determines that the image information transmitted by the computing device 16 has changed and thus also haptic feedback if necessary must be adjusted.
  • buttons in a representation of a user interface differ in a systematic manner from their surroundings. For example, they can be separated from the environment by a border. Furthermore, they may also differ in brightness and / or color of presentation from a background. As a rule, a delimitation of a button from the background is effected by a straight or at least partially rectilinear or smooth line, e.g. a bow.
  • edges For example, in the illustration according to FIG. 1, the first symbol 21 is delimited by a frame 43 from a background of the user interface.
  • Gradient displays for a background gradient are hidden in the background and are ignored. Furthermore, it is advantageous to provide a minimum dimension for a length of an edge, so that, for example, text outputs, such as the text representation 27, 28 in FIG
  • a touch of the optical separation line 25 can be assigned a haptic feedback, in particular due to their length.
  • Slider 29 recognized as those areas where a haptic feedback is to be given.
  • a minimum width for a respective frame as a driving rule for a haptic
  • a user may thus at least feel the edges of buttons shown in the display.
  • no haptic feedback is output because it does not limit a button.
  • buttons are differentiated from backgrounds on the basis of an image texture, such as a pattern, with which the background and / or the buttons are deposited.
  • Such a demarcated area is initially referred to as a shape which occupies a certain area of the surface of the display surface 12 with its surface
  • the arithmetic unit 14 now compares the size, the shape and / or the dimensions of the detected shape with forms or values stored in a memory 44.
  • a minimum size is advantageously provided for detection as a button, which corresponds to an operation by a finger or by a probe element.
  • Stored in the memory 44 are predetermined examples of shapes for buttons, for example polygons, in particular rectangles and ellipses, in particular circles, which are usually used by designers of control surfaces for a function control.
  • a polygon or a rectangle should also be understood to mean polygons or rectangles in which the corners are rounded off.
  • a haptic feedback is to take place at a detected touch at the respective coordinate of the display area 12.
  • Appropriate Coordinate information is transmitted from the arithmetic unit 14 to the additional arithmetic unit 41.
  • the color of the respective shape in particular the filling color of the form, can also be determined and taken into account for the recognition of a button.
  • FIG. 2 schematically illustrates the display surface 12 in a representation 50 in which, when a first surface 51 of the first symbol 21 contacts, a second surface 52 of the second symbol 22, a third surface 53 of the third symbol 23, a fourth surface 54 of the button 26 and a fifth surface 55 of the slider 29, a haptic feedback is issued. If the user interface is actuated outside the surfaces 51, 52, 53, 54, 55, for example at the position 56 designated by X, no haptic feedback occurs. In one embodiment, it is also possible for the haptic feedback, for example, according to a vibration frequency or a number of
  • Ad interface 12 takes place.
  • a first haptic feedback takes place in accordance with one in the figure
  • a second haptic feedback represented by a second hatching of the fourth surface 54 and upon actuation of the slider 29, a third haptic feedback, represented by a third hatching
  • a distinction can also be made as to whether an actuation occurs within the area of the slider element 30 or of the remaining area of the slider 29, in which case a fourth haptic feedback occurs, represented by a hatch of a sixth Area 58.
  • buttons in the form of a learning system in particular in the form of a so-called deep-learning system or a neural network is formed.
  • Learning can be done, for example, by the fact that a form that is not initially detected as a button will in the future be a button is captured and stored.
  • the elliptically shaped button 26 is initially not stored in the memory 44.
  • only rectangular buttons are stored, for example according to the symbols 21, 22, 23 and the slider 29.
  • the arithmetic unit 14 determines a closed shape during its analysis, but determines that this shape is not defined as a button.
  • the touch coordinate is forwarded by the arithmetic unit 14 to the computing device 16. Since a touch is interpreted within the elliptical area 26 but as a touch of a button, as a result of the present operation, the computing device 16 changes the image representation and, for example, displays another operating menu. This is detected by the arithmetic unit 14. It detects this change in the image data as a result of touching the user interface as a touch
  • the arithmetic unit 14 assigns the function of a button for future operations of an elliptical area according to the area 26 and stores this information in the memory 44.
  • a trained neural network which is equipped with a plurality of different, in particular different, possible computing devices, e.g.
  • the memory 44 may be locally associated with the computing unit 14, for example in a vehicle. Furthermore, however, it is also possible that the memory 44 is connected to the arithmetic unit 14 via a data network and is available to a large number of arithmetic units. Thus, a learning algorithm can also be designed as a cloud-based neural network.
  • FIG. 3 shows an exemplary method sequence. Starting from a start step 60, for example, from a connection of a mobile
  • Computing device to a driver information device in the vehicle the process is started.
  • image transfer step 61 image information is transmitted to a computing unit of a touch-sensitive display device.
  • a subsequent first test step 62 it is checked whether the image data has changed within a predetermined period of, for example, two seconds. If this is the case, then that becomes
  • Image transfer step 61 branches back. If this is not the case, i. If the image data remain constant, at least in terms of content, an analysis step 63 is continued in which the transmitted image data are analyzed to determine at which points edges or closed forms are located.
  • Color or texture determines which elements in the image representation are shapes, in particular closed surfaces, to which a switching function is assigned.
  • Image data transfer step 61 branches back. If this is not the case, a branch is made to a third test step 66. In the third test step 66 it is checked whether a touch of the touch-sensitive display device has taken place at a coordinate at which a haptic feedback is to take place. If this is not the case, the system branches back to the second test step 65. If this is the case, a further branch is made to a haptic output step 67. From the haptic output step 67 is branched back to the second test step 65. The method is continued as long as the computing device 16 outputs information via a user interface to the touch-sensitive display device.

Abstract

The invention relates to a method for providing a haptic feedback message to an operator of a touch-sensitive display device (10), comprising provision of an operator interface to be displayed in the form of image data in the display device (10) having at least one button (21, 22, 23, 26, 29) which is associated with a function to be controlled, which button is graphically represented in the operator interface and is graphically differentiated from the other operator interface; comprising analysing the image data with regard to the presence and position of shapes for representing a button, determining an intended display area of a shape identified as a button to be displayed in the touch-sensitive display device (10), representing the image data of the operator interface in the touch-sensitive display device (10), output of a haptic feedback message in when detecting touching of the touch-sensitive display device (10) in the region of a surface (12) of the touch-sensitive display device (10) which is associated with a display area of a shape identified as a button.

Description

Beschreibung Titel  Description title
Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung  A method of providing haptic feedback to an operator of a touch-sensitive display
Stand der Technik State of the art
Aus der US 2008/0024459 AI ist bereits ein Bedienverfahren für einen From US 2008/0024459 AI is already an operating method for a
Touchscreen bekannt, bei dem eine Druckmessung zur Feststellung einer Berührung des Touchscreens an einer bestimmen Position erfolgt, wobei abhängig von einer Berührung und abhängig von einem einer Position der Berührung zugeordneten Element einer grafischen Bedienoberfläche eine haptische Rückmeldung an einen Bediener ausgegeben wird. Zudem kann eine haptische Rückmeldung abhängig von demjenigen Druck sein, der bei einer Berührung der Bedienoberfläche an der Stelle des in der der grafischen Bedienoberfläche dargestellten Elements festgestellt wird. Touchscreen known in which a pressure measurement for detecting a touch of the touch screen is carried out at a certain position, depending on a touch and depending on a one touch of a position associated with the element of a graphical user interface haptic feedback is issued to an operator. In addition, a haptic feedback may be dependent on the pressure that is detected when touching the user interface at the location of the element shown in the graphical user interface.
Offenbarung der Erfindung Disclosure of the invention
Vorteile der Erfindung Das erfindungsgemäße Verfahren zur Bereitstellung einer haptischen Advantages of the Invention The method according to the invention for providing a haptic
Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung hat demgegenüber den Vorteil, dass eine haptische Rückmeldung auch für eine in der berührungssensitiven Anzeigeeinrichtung dargestellte Bedienoberfläche mit in der Bedienoberfläche dargestellten Schaltflächen erfolgen kann, wenn außer einer Bildinformation selbst keine Informationen zur Gestaltung der Feedback to an operator of a touch-sensitive display device has the advantage that a haptic feedback can also be made for a user interface shown in the touch-sensitive display with buttons shown in the user interface, if in addition to image information itself no information for the design of the
Bedienoberfläche und insbesondere zu einer Position von Schaltflächen in der von einer weiteren Recheneinheit an die berührungssensitive Anzeigeeinrichtung mit haptischer Rückmeldung übertragen oder bereitgestellt wurden. User interface and in particular to a position of buttons were transferred or provided by another computing unit to the touch-sensitive display with haptic feedback.
Vorteilhaft soll auch bei einer solchen Ausgangssituation einem Nutzer eine haptische Rückmeldung gegeben werden, wenn er die berührungssensitive Anzeigeeinrichtung im Bereich einer Schaltfläche berührt, damit er eine Advantageously, a haptic feedback should be given to a user even in such a situation when he touches the touch-sensitive display device in the area of a button, so he a
Rückmeldung darüber erhält, ob er tatsächlich die Schaltfläche getroffen und betätigt hat oder ob er gegebenenfalls einen Bereich der Oberfläche der berührungssensitiven Anzeigeeinrichtung berührt hat, der keiner Schaltfläche zugeordnet ist und bei dessen Berührung keine Funktion eines zu steuernden elektrischen Geräts ausgelöst wird. So kann eine Bedienung der Receives feedback on whether he has actually hit the button and pressed or if he has touched any area of the surface of the touch-sensitive display, which is not assigned to a button and the touch of which no function of an electrical device to be controlled is triggered. So can an operation of the
berührungssensitiven Anzeigeeinrichtung auch beispielsweise für den Fall durchgeführt werden, dass ein Benutzer die Anzeigeeinrichtung während der Bedienung nicht in seinem Blickfeld hat. Für den Fall, dass er die touch-sensitive display device are also performed, for example, in the event that a user does not have the display device in its field of view during operation. In the event that he is the
Anzeigeeinrichtung in seinem Blickfeld hat, erhält er haptisch eine direkte Rückmeldung über eine erfolgreiche Bedienung. Hierfür muss der Display device in his field of vision, he receives a haptic feedback directly on a successful operation. For this the must
berührungssensitive Anzeigeeinrichtung mit haptischer Rückmeldung aber eine Position bekannt sein, zu der eine haptische Rückmeldung gegeben werden soll, da sonst eine gezielte haptische Rückmeldung nur bei einer Berührung einer Schaltfläche nicht möglich ist. touch-sensitive display with haptic feedback but be known a position to which a haptic feedback should be given, otherwise a targeted haptic feedback is not possible only when a button touch.
Unter einer Schaltfläche wird hierbei einerseits eine Fläche verstanden, bei deren Berührung ähnlich einem Drucktaster eine Schaltung durchgeführt wird. Darüber hinaus soll unter einer Schaltfläche jedoch auch eine Fläche für weitere, anders gestaltete Bedienelemente zu verstehen sein, beispielsweise Schieberegler oder Drehelemente. In this case, a button is understood to mean, on the one hand, a surface whose contact, similar to a pushbutton, performs a circuit. In addition, under a button but also an area for more, different designed controls, such as sliders or rotary elements.
Um eine Bedienung einer berührungssensitiven Anzeigeeinrichtung mit einer haptischen Rückmeldung für einen Benutzer zielführend und sinnvoll zu gestalten, muss die haptische Rückmeldung zudem möglichst zeitnah nach einer detektierten Berührung erfolgen. Erfolgt die haptische Rückmeldung erst eine oder gegebenenfalls mehrere Sekunden später, so wird eine haptische To make operation of a touch-sensitive display device with a haptic feedback for a user expedient and meaningful, the haptic feedback must also be made as soon as possible after a detected touch. If the haptic feedback occurs only one or possibly several seconds later, then a haptic
Rückmeldung von einem Benutzer möglicherweise nicht mehr als hilfreich empfunden. Wird eine Information, ob eine haptische Rückmeldung auszugeben ist, nach Übermittlung einer erfassten Berührungsposition von einer externen Recheneinheit bereitgestellt, kann die haptische Rückmeldung ggf. nicht mehr rechtzeitig ausgegeben werden. Gemäß der vorliegenden Erfindung wird eine Information über eine haptischeFeedback from a user may not be considered helpful. If information about whether to output a haptic feedback is provided by an external computing unit after transmission of a detected touch position, the haptic feedback may no longer be output in a timely manner. According to the present invention, information about a haptic
Rückmeldung daher von der berührungssensitiven Anzeigeeinrichtung unmittelbar bereitgestellt, damit eine zeitnahe haptische Rückmeldung erfolgen kann. Hierzu ist es nicht erforderlich, Informationen, beispielsweise über eine Anzeigeposition einer Schaltfläche in einer Anzeige, an die berührungssensitive Anzeigeeinrichtung zusätzlich zu übertragenen Bilddaten zu übermitteln. Denn die Anzeigeeinrichtung ist in der Lage, aus lediglich den übermittelten Bilddaten mögliche Positionen von Schaltflächen in einer darzustellenden Anzeige einer Bedienoberfläche selbst automatisch zu ermitteln. Damit ist es auch möglich, eine haptische Rückmeldung für den Fall bei einer Berührung einer Schaltfläche zu geben, wenn eine Position der Schaltfläche auf einer berührungssensitivenFeedback therefore provided directly by the touch-sensitive display device, so that a timely haptic feedback can be done. For this purpose, it is not necessary to transmit information, for example via a display position of a button in a display, to the touch-sensitive display device in addition to transmitted image data. Because the display device is able to determine automatically only from the transmitted image data possible positions of buttons in a display of a user interface to be displayed. Thus, it is also possible to give a haptic feedback for the case of a touch of a button when a position of the button on a touch-sensitive
Anzeige der berührungssensitiven Anzeige nicht extern bereitgestellt wird, z.B. wenn lediglich Bilddaten einer Bedienoberfläche von einer externen Display of the touch-sensitive display is not provided externally, e.g. if only image data of a user interface from an external
Recheneinrichtung übertragen werden, oder wenn die Position der Schaltfläche auf der berührungssensitiven Anzeigeeinrichtung durch einen Benutzer oder durch eine Anwendung verändert wurde. So kann es beispielsweise möglich sein, dass eine haptische Rückmeldung auch für den Fall gegeben wird, dass eine Recheneinrichtung, die eine Bedienoberfläche bereitstellt, keine Kenntnis darüber hat, dass eine berührungssensitive Anzeigeeinrichtung für eine Calculator be transferred or if the position of the button on the touch-sensitive display device by a user or by an application has been changed. Thus, it may be possible, for example, for haptic feedback to be given even in the event that a computing device that provides a user interface is not aware that a touch-sensitive display device for a user device is being used
Bedienung dieser Recheneinrichtung über die von der externen Operation of this computing device over that of the external
Recheneinrichtung zur Verfügung gestellte Bedienoberfläche bei einer Berührung von dargestellten Schaltflächen und bei einer Erfassung einer Berührung einer der Schaltflächen gezielt eine haptische Rückmeldung gibt. Insbesondere kann auf die zusätzliche Übertragung von Ansteuerungsdaten für die Computing device provided user interface at a touch of buttons shown and upon detection of a touch on one of the buttons specifically gives a haptic feedback. In particular, the additional transmission of control data for the
berührungssensitive Anzeigeeinrichtung mit haptischer Rückmeldung von einer weiteren Recheneinrichtung verzichtet werden, da alle für die haptische touch-sensitive display with haptic feedback from a further computing device are omitted, since all for the haptic
Rückmeldung erforderlichen Daten von der berührungssensitiven Feedback required data from the touch-sensitive
Anzeigeeinrichtung selbst bereitgestellt werden. Display device itself be provided.
Die für eine zeitnahe haptische Rückmeldung erforderlichen Daten über in der Anzeige dargestellte Schaltflächen werden dabei mittels einer automatischen Bildanalyse der Bilddaten der Bedienoberfläche gewonnen. Hierbei wird ausgenutzt, dass sich Schaltflächen in grafisch in einer Anzeige dargestellten Bedienoberflächen im Regelfall hinsichtlich ihrer Farbe, ihrer Helligkeit und/oder ihrer Textur von einem Hintergrund in der Anzeige deutlich unterscheiden, da auch bei einer Auswahl ohne haptische Rückmeldung ein Benutzer eine The data required for a timely haptic feedback on the buttons shown in the display are obtained by means of an automatic image analysis of the image data of the user interface. In this context, use is made of the fact that buttons in user interfaces represented graphically in a display as a rule differ significantly from a background in the display in terms of their color, brightness and / or texture, since even with a selection without haptic feedback, a user has a
Schaltfläche leicht erkennen soll. Diese Unterschiede in Parametern der Anzeige werden für die Bildanalyse ausgenutzt, indem nämlich regelmäßige Strukturen, wie beispielsweise begrenzende Linien und sich daraus ergebende Formen, insbesondere auch unter Berücksichtigung einer Mindest- oder Maximalgröße bzw. -fläche, zur Bestimmung einer Position solcher Schaltflächen durch eine Bildanalyse herangezogen werden. Somit kann eine schnelle haptische Button should recognize easily. These differences in parameters of the display are exploited for the image analysis, namely by regular structures, such as bounding lines and resulting shapes, especially taking into account a minimum or maximum size or area, for determining a position of such buttons by image analysis be used. Thus, a fast haptic
Rückmeldung auch für eine Bedienoberfläche ermöglicht werden, wenn ein Layout der Bedienoberfläche und insbesondere Positionen der Schaltflächen zuvor der berührungssensitiven Anzeigeeinrichtung nicht bekannt waren. Feedback are also made possible for a user interface, if a layout of the user interface and in particular positions of the buttons were previously known to the touch-sensitive display device.
Weitere Vorteile ergeben sich aus den abhängigen Ansprüchen. Insbesondere ist es vorteilhaft, eine haptische Rückmeldung dadurch zu geben, dass eine Further advantages emerge from the dependent claims. In particular, it is advantageous to give a haptic feedback in that a
Oberfläche der berührungssensitiven Anzeigeeinrichtung in eine Vibration versetzt wird. Eine solche haptische Rückmeldung ist verhältnismäßig Surface of the touch-sensitive display device is placed in vibration. Such haptic feedback is relative
aufwandsarm zu erzeugen und von einem Benutzer gut fühlbar. to produce little effort and by a user well felt.
Weiterhin ist es vorteilhaft, eine Koordinate einer Berührung der Furthermore, it is advantageous to have a coordinate of a touch of
berührungssensitiven Anzeigeeinrichtung an die Recheneinheit zurück zu übertragen, von der die Bilddaten der Bedienoberfläche bereitgestellt worden sind. Diese kann aus der Koordinate eine Zuordnung zu der Bedienoberfläche ermitteln und somit eine Funktion bzw. eine Schaltfläche zuordnen und dann die zugeordnete Funktion auslösen. Damit kann die von einem Benutzer vorgenommene Eingabe insbesondere auch von einer externen touch-sensitive display device to the arithmetic unit to return from which the image data of the user interface has been provided. This can be assigned to the user interface from the coordinate determine and thus assign a function or a button and then trigger the assigned function. Thus, the input made by a user, in particular by an external
Recheneinrichtung verarbeitet werden. Computing device are processed.
Insbesondere ist ein Datentransport der Bilddaten über eine drahtlose In particular, a data transport of the image data via a wireless
Schnittstelle vorteilhaft, da hiermit auch eine Anbindung eines externen Geräts, beispielsweise eines Smartphones, an eine berührungssensitive Interface advantageous, as well as a connection of an external device, such as a smartphone, to a touch-sensitive
Anzeigeeinrichtung ermöglicht wird. Display device is enabled.
Weiterhin ist es vorteilhaft, dass die gespeicherten Formen von Schaltflächen Vielecke, Ellipsen oder Formen mit vorgegebenen Texturen oder Farben beinhalten, da so eine Vielzahl von möglichen Schaltflächen detektiert werden können. Unter einer Form kann hierbei in einer ersten Ausführungsform die äußere geometrische Form einer Schaltfläche verstanden werden. In einer weiteren Ausführungsform kann unter unterschiedlichen Formen auch eine gleiche Form in einer unterschiedlichen Farbgestaltung verstanden werden. Somit ist es in einer Ausführungsform auch möglich, eine Form einer Furthermore, it is advantageous for the stored forms of buttons to include polygons, ellipses or shapes with predefined textures or colors, since in this way a large number of possible buttons can be detected. In this case, in a first embodiment, a shape can be understood to be the outer geometric shape of a button. In a further embodiment, different shapes can also be understood to mean a same shape in a different color design. Thus, it is also possible in one embodiment, a form of a
Schaltfläche lediglich dadurch zu identifizieren, dass eine von einer Button to identify only by one of a
Hintergrundfarbe abweichende Farbgebung oder eine von einer Background color different color or one of a
Hintergrundtextur abweichende Textur vorliegt.  Background texture deviating texture is present.
Weiterhin ist es vorteilhaft, dass eine Eigenschaft der haptischen Rückmeldung abhängig von einer Eigenschaft derjenigen als Schaltfläche identifizierten Form gewählt wird, die demjenigen Anzeigebereich der Oberfläche der Furthermore, it is advantageous that a property of the haptic feedback is selected depending on a property of the form identified as a button, which corresponds to the display area of the surface of the
berührungssensitiven Anzeigeeinrichtung zugeordnet ist, in dem eine Berührung erfasst wurde. Somit ist es möglich, für unterschiedliche Formen von associated with touch-sensitive display device in which a touch has been detected. Thus, it is possible for different forms of
Schaltflächen auch unterschiedliche haptische Rückmeldungen vorzusehen, beispielsweise unterschiedliche Frequenzen einer Vibration oder eine unterschiedliche Anzahl von Vibrationen. Damit hat ein Benutzer nicht nur dieButtons also provide different haptic feedback, for example, different frequencies of vibration or a different number of vibrations. This not only has a user the
Möglichkeit, festzustellen, dass er eine Schaltfläche und nicht eine funktionslose Umgebung einer Schaltfläche berührt hat, sondern ihm kann auch eine Possibility to determine that he has touched a button and not a non-functional environment of a button, but he may also have one
Rückmeldung darüber gegeben werden, welche Schaltfläche er berührt hat. Indem durch einen Vergleich mit einer gespeicherten Menge an Formen jeweils unterschiedliche Anweisungen für eine haptische Rückmeldung automatisch vorgegeben werden, ist es nicht erforderlich, dass durch eine externe Feedback on which button he touched. By automatically making different instructions for haptic feedback by comparing them with a stored set of shapes be specified, it is not necessary that by an external
Recheneinrichtung eine solche Formvorschrift zusammen mit den Bilddaten übertragen wird. Vielmehr kann die berührungssensitive Anzeigeeinrichtung eine solche Vorschrift selbst bestimmen. Computing device such a form specification is transmitted together with the image data. Rather, the touch-sensitive display device can determine such a regulation itself.
Weiterhin ist es vorteilhaft, dass für den Fall, dass bei einer Berührung einer ermittelten Form, die bisher aber nicht als eine Form einer Schaltfläche identifiziert wurde, tatsächlich eine Berührung in diesem Bereich festgestellt wird, eine mögliche, bisher in dem Speicher nicht abgelegte Form als eine neue Form festgestellt und dem Speicher als mögliche Form für eine Schaltfläche zugeführt wird. Dies kann beispielsweise auch dann erst erfolgen, wenn die Furthermore, it is advantageous that in the event that a touch of a determined shape, which has not yet been identified as a form of a button, a touch is actually detected in this area, a possible, not previously stored in the memory form as a new shape is detected and fed to the memory as a possible form for a button. This can also be done, for example, only when the
berührungssensitive Anzeigeeinrichtung in dem Bereich dieser Form mehrfach berührt wurde. touch-sensitive display device has been touched several times in the area of this shape.
Insbesondere ist es vorteilhaft, die dargestellte Form als eine Schaltfläche zu erkennen, wenn nach Übermittlung einer Koordinate einer Berührung an eine externe Recheneinheit sich diejenigen Bilddaten einer übermittelten In particular, it is advantageous to recognize the illustrated shape as a button if, after transmission of a coordinate of a touch to an external arithmetic unit, those image data are transmitted to one
Bedienoberfläche ändern. Denn im Regelfall führt eine erfolgreiche Bedienung einer Schaltfläche dazu, dass sich auch die Gestaltung der Bedienoberfläche ändert, entweder durch Darstellung einer Bestätigung einer Bedienung oder durch Darstellung eines neuen Bedienmenüs. Wenn also ein Benutzer an einer Stelle den Bildschirm berührt und sich anschließend der Bildschirminhalt ändert, vollständig oder teilweise, so kann daraus abgeleitet werden, dass eine Change user interface. As a rule, a successful operation of a button causes the design of the user interface to change, either by displaying a confirmation of an operation or by displaying a new operating menu. Thus, if a user touches the screen at one point and then changes the screen content, completely or partially, it can be deduced that a
Bestätigung einer Schaltfläche erfolgt ist. Vorteilhaft kann bei einer Berührung einer entsprechenden Fläche zukünftig eine haptische Rückmeldung ausgelöst werden. Confirmation of a button is done. Advantageously, in the event of touching a corresponding area, haptic feedback can be triggered in the future.
Weiterhin ist es vorteilhaft, dass eine Analyse von übertragenen Bilddaten nur dann erfolgt, wenn die Bilddaten für eine vorgegebene Zeitdauer unverändert bleiben. Damit wird sichergestellt, dass es sich bei den übertragenen Bilddaten um Daten einer Bedienoberfläche handelt, die im Regelfall zumindest zur Aufnahme einer Bedienung durch einen Benutzer für einen vorgegebenen Zeitraum von wenigstens 10 Sekunden ungeändert bleiben. Insbesondere ist es damit möglich, Animationen, wie beispielsweise ein Erscheinen eines Bedienfensters durch Einfliegen oder Vergrößern sowie eine Darstellung von bewegten Bildern von einer Darstellung einer Bedienoberfläche für eine Analyse auf mögliche Schaltflächen zur Wiedergabe eines haptischen Feedbacks bei einer Berührung dieser Schaltflächen zu unterscheiden. Furthermore, it is advantageous that an analysis of transmitted image data only takes place if the image data remain unchanged for a predetermined period of time. This ensures that the transmitted image data are data of a user interface which as a rule remain unchanged for at least 10 seconds, at least for the purpose of recording an operation by a user for a predetermined period of time. In particular, it is possible, animations, such as the appearance of a Control window by flying in or zooming as well as a representation of moving images from a representation of a user interface for analysis on possible buttons to distinguish a haptic feedback at a touch of these buttons to distinguish.
Eine solche Unterdrückung einer haptischen Rückmeldung während einer Änderung einer Bilddarstellung ist nicht nachteilig, da im Regelfall, beispielsweise während einer durchgeführten Animation eine Benutzereingabe im Regelfall auch nicht erfolgen soll. Such a suppression of a haptic feedback during a change of an image representation is not disadvantageous since, as a rule, for example, during an animation carried out a user input usually should not be made.
Entsprechende Vorteile ergeben sich bei einer Anzeigeeinrichtung mit einer berührungssensitiven Oberfläche zur Durchführung des Verfahrens sowie einem entsprechenden Computerprogramm bzw. einem computerlesbaren Medium, auf dem das Computerprogramm gespeichert ist. Corresponding advantages result in a display device with a touch-sensitive surface for performing the method and a corresponding computer program or a computer-readable medium on which the computer program is stored.
Zeichnung drawing
Ausführungsformen der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen Embodiments of the invention are illustrated in the drawing and explained in more detail in the following description. Show it
Figur 1 eine Anzeigeeinrichtung mit einer berührungssensitiven 1 shows a display device with a touch-sensitive
Oberfläche in Verbindung mit einer externen Recheneinrichtung,  Interface in conjunction with an external computing device,
Figur 2 ein Beispiel für eine Zuordnung einer in der berührungssensitiven Figure 2 shows an example of an assignment in the touch-sensitive
Anzeige gemäß Figur 1 dargestellten Bedienoberfläche zu Flächen, bei denen eine haptische Rückmeldung erfolgen soll,  Display according to FIG. 1 for surfaces to which a haptic feedback is to occur,
Figur 3 ein Beispiel für ein Verfahren zur Bereitstellung einer haptischen FIG. 3 shows an example of a method for providing a haptic
Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung.  Feedback to an operator of a touch-sensitive display device.
Ausführungsformen der Erfindung Die vorliegende Erfindung kann für beliebige berührungssensitive Embodiments of the invention The present invention may be for any touch-sensitive
Anzeigevorrichtungen verwendet werden. Insbesondere ist die Verwendung für eine Fahrerinformationseinrichtung in einem Kraftfahrzeug vorteilhaft, da sich der Fahrer in einem Fahrzeug auf das Fahrgeschehen konzentrieren soll und er somit seinen Blick auf eine Verkehrsumgebung des Fahrzeugs lenken soll, das er steuert. Indem ihm vorteilhaft eine haptische Rückmeldung gegeben werden kann, kann er den Blick auf der Straße belassen, während er eine insbesondere blinde Bedienung einer Bedienoberfläche mit verschiedenen Schaltflächen durchführen kann. Display devices are used. In particular, the use for a driver information device in a motor vehicle is advantageous because the driver should concentrate on the driving situation in a vehicle and thus he should direct his view of a traffic environment of the vehicle, which he controls. By being able to give him an advantageous haptic feedback, he can leave the view on the road, while he can perform a particular blind operation of a user interface with various buttons.
Ferner ist es in einem Fahrzeug möglich, ein Mobiltelefon, insbesondere ein sogenanntes Smartphone, durch verschiedene Protokolle mit einer im Fahrzeug verbauten Fahrerinformationsvorrichtung zu verbinden. Hierbei wird eine Furthermore, it is possible in a vehicle to connect a mobile telephone, in particular a so-called smartphone, by various protocols with a driver information device installed in the vehicle. Here is a
Bedienoberfläche des Mobiltelefons in einer berührungssensitiven User interface of the mobile phone in a touch-sensitive
Anzeigevorrichtung eines in dem Fahrzeug verbauten Display device of a built in the vehicle
Fahrerinformationssystems dargestellt. Das Bild der Bedienoberfläche wird von dem Mobiltelefon oder der tragbaren Computereinrichtung erzeugt und vorzugsweise gerendert, wobei die somit erzeugten Bilddaten an das  Driver information system shown. The image of the user interface is generated and preferably rendered by the mobile telephone or the portable computer device, the image data thus generated being sent to the computer
Fahrerinformationssystem im Fahrzeug übertragen werden und von diesem angezeigt werden. Zusätzliche Informationen über einen konkreten Bildinhalt selbst, wie beispielsweise eine Position von Schaltflächen in einer Driver information system in the vehicle are transmitted and displayed by this. Additional information about a specific image content itself, such as a position of buttons in a
Bedienoberfläche, werden jedoch nicht mit übertragen. Durch die Anwendung des erfindungsgemäßen Verfahrens kann jedoch das Fahrerinformationssystem aus den übertragenen Bilddaten entscheiden, an welchen Positionen des übertragenen Bildes sich eine Schaltfläche befindet, für die bei einer Berührung an einer entsprechenden Stelle einer berührungssensitiven Anzeigevorrichtung der Fahrerinformationsvorrichtung in dem Fahrzeug eine haptische Rückmeldung gegeben werden soll. Daher wird die vorliegende Erfindung im Folgenden am Beispiel einer Fahrerinformationseinrichtung in einem Fahrzeug erläutert. User interface, but are not transferred. By applying the method according to the invention, however, the driver information system can decide from the transmitted image data at which positions of the transmitted image there is a button for which a haptic feedback is to be given in the vehicle when touched at a corresponding point on a touch-sensitive display device of the driver information device , Therefore, the present invention is explained below using the example of a driver information device in a vehicle.
In der Figur 1 ist eine berührungssensitive Anzeigeeinrichtung 10 einer FIG. 1 shows a touch-sensitive display device 10 of FIG
Fahrerinformationseinrichtung in einem Fahrzeug dargestellt. Die Driver information device shown in a vehicle. The
Anzeigeeinrichtung 10 verfügt über eine Anzeigeeinheit 11, die eine Display device 10 has a display unit 11, which has a
Anzeigefläche 12 aufweist. Die Anzeigeeinheit 11 ist beispielsweise als eine Flüssigkristall-Anzeige oder als eine OLED-Anzeige ausgeführt. Die Anzeigefläche 12 ist berührungssensitiv ausgebildet, so dass eine Koordinate einer Berührung der Anzeigefläche 12 ermittelt und von einer Display area 12 has. The display unit 11 is embodied, for example, as a liquid crystal display or as an OLED display. The Display surface 12 is formed touch-sensitive, so that a coordinate of a touch of the display surface 12 is determined and from a
Verarbeitungseinheit 13 ausgewertet und weiter verarbeitet werden kann. Processing unit 13 can be evaluated and processed further.
Insbesondere ist es beispielsweise möglich, kapazitiv oder durch Auswertung einer Druck- Matrix eine Position einer Berührung auf der Oberfläche 12 zu bestimmen. In particular, it is possible, for example, to determine a position of a contact on the surface 12 capacitively or by evaluating a pressure matrix.
Ein Bildinhalt, der in der Anzeigefläche 12 dargestellt wird, wird von einer Recheneinheit 14 bereitgestellt. Die Recheneinheit 14 bereitet für die Darstellung in der Anzeigefläche 12 Bilddaten auf, die in der hier gezeigten Ausführungsform über eine Schnittstelle 15 von einer externen Recheneinrichtung 16 über eine Datenverbindung 17 übertragen werden. Für eine Kommunikation über die Datenverbindung 17 weist die Recheneinrichtung 16 ebenfalls eine An image content displayed in the display area 12 is provided by a computing unit 14. The arithmetic unit 14 prepares for display in the display area 12 image data, which are transmitted in the embodiment shown here via an interface 15 from an external computing device 16 via a data link 17. For a communication via the data connection 17, the computing device 16 also has a
korrespondierende Schnittstelle 18 auf. Die Datenverbindung 17 ist corresponding interface 18. The data connection 17 is
beispielsweise als eine Nahfeld- Kommunikation ausgeführt, wie beispielweiseFor example, as a near-field communication running, such as
ZigBee oder Bluetooth. Ferner ist auch eine WLAN-Verbindung oder eine Verbindung nach einem anderen Protokoll für eine drahtlose Datenübertragung möglich. Ferner ist alternativ auch eine drahtgebundenen Datenübertragung möglich, z.B. über eine USB-Schnittstelle. Eine Recheneinheit 19 der ZigBee or Bluetooth. Furthermore, a WLAN connection or a connection according to another protocol for a wireless data transmission is possible. Furthermore, wired data transmission is alternatively possible, e.g. via a USB interface. A computing unit 19 of
Recheneinrichtung 16, die beispielsweise als ein tragbarer Computer, insbesondere ein Mobiltelefon bzw. ein sogenanntes Smartphone, ausgeführt ist, bestimmt die Bilddaten eines in der Anzeigevorrichtung 12 dargestellten Bildes. Insbesondere bestimmt die Recheneinheit 19 der Recheneinrichtung 16 Computer 16, which is embodied for example as a portable computer, in particular a mobile telephone or a so-called smartphone, determines the image data of an image displayed in the display device 12. In particular, the arithmetic unit 19 determines the computing device 16
Bilddaten einer Bedienoberfläche, mit der eine Steuerung von Funktionen der Recheneinrichtung 16 erfolgen soll. Hierzu werden die Daten der Image data of a user interface, with which a control of functions of the computing device 16 is to take place. For this the data of the
Bedienoberfläche über die Datenverbindung 17 an die Recheneinheit 14 übertragen, die diese Bilddaten aufbereitet und in der Anzeigefläche 12 zur Anzeige bringt. In der Figur 1 ist ein Beispiel für eine Darstellung einer Bedienoberfläche gezeigt. User interface via the data link 17 transmitted to the arithmetic unit 14, which prepares this image data and brings in the display area 12 for display. FIG. 1 shows an example of a representation of a user interface.
Hierbei sind ein erstes Symbol 21, ein zweites Symbol 22 und ein drittes Symbol 23 in einer oberen Hälfte der Anzeigefläche 12 dargestellt. Bei einer Berührung der Anzeigefläche 12 wird eine Koordinate der Berührung von der Here, a first icon 21, a second icon 22, and a third icon 23 are shown in an upper half of the display area 12. Upon touching the display surface 12, a coordinate of the touch of the
Verarbeitungseinheit 13 festgestellt und an die Recheneinheit 14 übergeben. Die Recheneinheit 14 überträgt den Koordinaten- Wert über die Datenverbindung 17 an die Recheneinrichtung 16. Insbesondere wird diese Koordinate zusammen mit einer Koordinate bezüglich einer Ausdehnung der gesamten, in der Processing unit 13 detected and transferred to the arithmetic unit 14. The arithmetic unit 14 transmits the coordinate value via the data connection 17 In particular, this coordinate, together with a coordinate with respect to an extension of the total, in the
Anzeigefläche 12 dargestellten Bedienoberfläche übergeben. Beispielsweise wird ein Bezug auf eine linke obere Ecke der dargestellten Bedienoberfläche angegeben. Die Recheneinheit 19 kann somit eine Position der erfasstenPass display surface 12 shown user interface. For example, a reference to a top left corner of the user interface shown is given. The arithmetic unit 19 can thus a position of the detected
Koordinaten in Bezug zu einer Position innerhalb der an die Recheneinheit 14 in Form von Bilddaten übermittelten Bedienoberfläche setzen. Erfolgt Set coordinates with respect to a position within the user interface transmitted to the arithmetic unit 14 in the form of image data. He follows
beispielsweise eine Berührung der Bedienoberfläche 12 innerhalb einer Fläche des ersten Symbols 21, so kann die Recheneinheit 19 feststellen, dass eine Berührung innerhalb des ersten Symbols 21 erfolgt ist. In der Recheneinheit 19 läuft nunmehr eine Software ab, gemäß der eine Berührung des ersten Symbols 21 eine bestimmte Funktion der Recheneinrichtung 16 zugewiesen ist, z.B. ein Start einer Fahrtroutennavigation. Die Recheneinrichtung 16 führt nun diese Funktion aus. Gegebenenfalls ändert sich damit eine in der Anzeigefläche 12 darzustellende Bedienoberfläche. Somit werden gegebenenfalls geänderteFor example, a touch of the user interface 12 within an area of the first symbol 21, the arithmetic unit 19 can determine that a touch has occurred within the first symbol 21. Software now runs in the arithmetic unit 19, according to which a touch of the first symbol 21 is assigned to a specific function of the computing device 16, e.g. a start of a route route navigation. The computing device 16 now performs this function. Optionally, this changes a display surface 12 to be displayed in the display surface. Thus, if necessary, changed
Bilddaten zur Darstellung in der Anzeigefläche 12 an die Recheneinheit 14 übertragen. Transfer image data for display in the display area 12 to the arithmetic unit 14.
Dem zweiten und dem dritten Symbol 22, 23 sind gegebenenfalls andere The second and third symbols 22, 23 may be different
Funktionen zugeordnet. Erfolgt eine Berührung an einer Stelle der Functions assigned. If a touch occurs at one point of the
Bedienoberfläche außerhalb eines der Symbole, beispielsweise an der durch ein X in der Figur 1 gekennzeichneten Stelle 24, so stellt die Recheneinheit 19 der Koordinate fest, dass für diese Position keine Funktion hinterlegt ist und somit die Bilddarstellung in der Anzeigefläche 12 ungeändert bleibt und auch keine Funktion der Recheneinrichtung 16 ausgeführt wird.  User interface outside of one of the symbols, for example at the point 24 marked by an X in FIG. 1, the arithmetic unit 19 determines the coordinate that no function is stored for this position and thus the image representation in the display area 12 remains unchanged and also none Function of the computing device 16 is executed.
In der Anzeigefläche 12 ist ferner eine optische Trennungslinie 25 ohne In the display area 12 is also an optical dividing line 25 without
Eingabefunktion, eine ovale Schaltfläche 26, Textinformationen 27, 28 ohne Schaltfunktion und ein Schieberegler 29 dargestellt, bei dem ein Regelelement 30 innerhalb der Fläche des Schiebereglers 29 durch einen Benutzer gesteuert und bewegt werden kann, indem eine Berührung der Anzeigefläche 12 erfasst und bei einer anschließenden kontinuierlichen Berührung und Bewegung eines Kontaktpunktes, beispielsweise eines Fingers auf der Anzeigenfläche 12 in Pfeilrichtung 31, das grafische Element 30 ebenfalls in Pfeilrichtung 31 verschoben wird. Wünschenswert ist es nun, dass bei einer Berührung der Symbole 21, 22, 23 bei einer Darstellung in der Anzeigefläche 12 ebenso wie bei einer Berührung der Schaltfläche 26 oder des Schiebereglers 29 eine haptische Rückmeldung an einen Benutzer erfolgen soll. Hierzu ist die Anzeigefläche 12 mit einer Input function, an oval button 26, text information 27, 28 shown without switching function and a slider 29, in which a control element 30 can be controlled and moved within the surface of the slider 29 by a user by detecting a touch of the display surface 12 and a subsequent continuous contact and movement of a contact point, for example a finger on the display surface 12 in the direction of arrow 31, the graphic element 30 is also displaced in the direction of arrow 31. It is desirable now that when touching the icons 21, 22, 23 as shown in the display area 12 as well as a touch of the button 26 or the slider 29 is to be haptic feedback to a user. For this purpose, the display surface 12 with a
Vibrationseinheit 40 verbunden, die von der Verarbeitungseinheit 13 bzw. der Recheneinheit 14 angesteuert wird. Eine haptische Rückmeldung erfolgt dabei kurzfristig nach einer erfassten Berührung, in Form eines sogenannten„Klicks", so dass eine kurzfristige haptische Rückmeldung einem Benutzer das Gefühl gibt, eine tatsächlich fühlbare Taste betätigt zu haben. Die Frequenz für eine Vibration unit 40, which is controlled by the processing unit 13 and the computing unit 14. A haptic feedback takes place shortly after a detected touch, in the form of a so-called "click", so that a short-term haptic feedback gives a user the feeling of having pressed an actually tactile button
Vibration und/oder die Anzahl der Klicks können dabei vorgegeben werden und erzeugen je nach Auswahl ggf. eine fühlbare unterschiedliche haptische Vibration and / or the number of clicks can be specified and generate depending on the selection, if necessary, a tactile different haptic
Rückmeldung. Für eine Bedienoberfläche, die von der Recheneinheit 14 vollständig berechnet und bereitgestellt wird, beispielsweise für Steuerungen einer Fahrerinformationsfunktion, könnte eine Koordinaten-Tabelle, an welchenFeedback. For a user interface which is completely calculated and provided by the arithmetic unit 14, for example for driver information function controls, a coordinate table could be provided to which
Stellen eine haptische Rückmeldung erfolgen soll, der Verarbeitungseinheit 13 bzw. der Vibrationseinheit 40 zur Verfügung gestellt werden. Vorteilhaft ist eine zusätzliche Recheneinheit 41 vorgesehen, die anhand dieser If a haptic feedback is to take place, the processing unit 13 or the vibration unit 40 are made available. Advantageously, an additional arithmetic unit 41 is provided which is based on this
Koordinateninformationen eine Ansteuerung der Vibrationseinheit 40 vornimmt, so dass möglichst zeitnah nach einer Erfassung einer Berührung der Coordinate information performs a control of the vibration unit 40, so that as soon as possible after detection of a touch of the
Anzeigefläche 12 eine haptische Rückmeldung an einen Benutzer gegeben werden kann. Bei der von der Recheneinrichtung 16 übertragenen  Display surface 12 can be given a haptic feedback to a user. In the transmitted from the computing device 16
Bedienoberfläche, beispielsweise gemäß der Darstellung in der Figur 1, liegt eine derartige Information der Recheneinheit 14 und damit auch der zusätzlichen Recheneinheit 41 zunächst nicht vor. Daher wird für den Fall, dass eine User interface, for example, as shown in the figure 1, is such information of the arithmetic unit 14 and thus also the additional processing unit 41 initially not available. Therefore, in the event that one
Bedienoberfläche ohne eine solche Zusatzinformation von der  User interface without such additional information from the
Recheneinrichtung 16 übertragen wird, ein Analyseverfahren mittels einer Bearbeitungseinheit 42 gestartet, die die übertragenen Bilddaten analysiert. Anhand der Analyse der Bilddaten werden Bereiche und damit Koordinaten bestimmt, an denen eine haptische Rückmeldung erfolgen soll. Eine solche Analyse findet statt, wenn die übertragenen Bilddaten für einen vorgegebenen Zeitraum, beispielsweise zwei bis fünf Sekunden unverändert bleiben. Damit ist davon auszugehen, dass die Recheneinrichtung 16 nicht beispielsweise einen Film oder eine Animation einer Bedienoberfläche übermittelt, sondern eine konstante Bilddarstellung einer Bedienoberfläche liefert. Die entsprechenden ermittelten Koordinateninformationen für eine Schaltfläche werden nach der Analyse gespeichert und von der Recheneinheit 41 für eine Ansteuerung der Vibrationseinheit 40 herangezogen, bis die Recheneinheit 14 ermittelt, dass sich die von der Recheneinrichtung 16 übermittelten Bildinformationen geändert haben und somit auch eine haptische Rückmeldung gegebenenfalls mit angepasst werden muss. Calculation device 16 is transmitted, an analysis method by means of a processing unit 42 is started, which analyzes the transmitted image data. Based on the analysis of the image data, areas and thus coordinates are determined at which a haptic feedback is to take place. Such an analysis occurs when the transmitted image data remains unchanged for a predetermined period of time, for example, two to five seconds. Thus, it is assumed that the computing device 16 does not transmit, for example, a movie or an animation of a user interface, but a provides constant image representation of a user interface. The corresponding determined coordinate information for a button are stored after the analysis and used by the arithmetic unit 41 for controlling the vibration unit 40 until the arithmetic unit 14 determines that the image information transmitted by the computing device 16 has changed and thus also haptic feedback if necessary must be adjusted.
Im Folgenden wird eine Bestimmung derjenigen Koordinaten durch eine In the following, a determination of those coordinates by a
Bildanalyse erläutert, anhand denen eine haptische Rückmeldung erfolgen soll. Für die Analyse wird insbesondere ausgenutzt, dass Schaltflächen in einer Darstellung einer Bedienoberfläche sich in einer systematischen Weise von ihrer Umgebung unterscheiden. Sie können beispielsweise durch einen Rand von der Umgebung abgegrenzt sein. Ferner können sie sich auch in der Helligkeit und/oder der Farbe der Darstellung von einem Hintergrund unterscheiden. Im Regelfall erfolgt eine Abgrenzung einer Schaltfläche gegenüber dem Hintergrund durch eine gerade oder zumindest teilweise geradlinig oder glatt verlaufende Linie, z.B. einen Bogen. Bei einer Bildanalyse ist es möglich, entsprechende Färb- und/oder Helligkeitsunterschiede, sogenannte Kanten, festzustellen. So ist beispielsweise in der Darstellung gemäß der Figur 1 das erste Symbol 21 durch einen Rahmen 43 von einem Hintergrund der Bedienoberfläche abgegrenzt. Somit ist es in einem ersten Ausführungsbeispiel möglich, durch eine Analyse derartige Kanten und deren Position in einer Bilddarstellung zu ermitteln, bei der ein Helligkeits- und/oder Farbunterschied jeweils um mindestens ein Mindestmaß in einem begrenzten Bereich auftritt. Damit können beispielsweise Image analysis explained, based on which a haptic feedback is to take place. For the analysis, particular use is made of the fact that buttons in a representation of a user interface differ in a systematic manner from their surroundings. For example, they can be separated from the environment by a border. Furthermore, they may also differ in brightness and / or color of presentation from a background. As a rule, a delimitation of a button from the background is effected by a straight or at least partially rectilinear or smooth line, e.g. a bow. In an image analysis, it is possible to determine corresponding color and / or brightness differences, so-called edges. For example, in the illustration according to FIG. 1, the first symbol 21 is delimited by a frame 43 from a background of the user interface. Thus, it is possible in a first embodiment to determine by analysis such edges and their position in an image representation in which a difference in brightness and / or color occurs in each case by at least a minimum in a limited area. This can, for example
Verlaufsdarstellungen für einen Farbverlauf im Hintergrund ausgeblendet und nicht weiter berücksichtigt werden. Ferner ist es vorteilhaft, bei einer Länge einer Kante ein Mindestmaß vorzusehen, so dass beispielsweise Textausgaben, wie die Textdarstellung 27, 28 in der Figur 1, nicht ebenfalls als eine Gradient displays for a background gradient are hidden in the background and are ignored. Furthermore, it is advantageous to provide a minimum dimension for a length of an edge, so that, for example, text outputs, such as the text representation 27, 28 in FIG
Begrenzungslinie einer Schaltfläche in einer Anzeige erkannt werden. Limit line of a button in a display.
In einer ersten Ausführungsform kann beispielsweise auch einer Berührung der optischen Trennungslinie 25 eine haptische Rückmeldung zugeordnet werden, insbesondere aufgrund ihrer Länge. In einer weiteren Ausführungsform wird geprüft, ob mehrere gerade Linien einen Fläche einschließen, wobei in diesem Fall eine Schaltfläche erkannt wird und bei einer Berührung einer Begrenzungslinie der Schaltfläche eine haptische In a first embodiment, for example, a touch of the optical separation line 25 can be assigned a haptic feedback, in particular due to their length. In another embodiment, it is checked whether a plurality of straight lines include a surface, in which case a button is detected and a touch of a boundary line of the button a haptic
Rückmeldung ausgegeben wird. Vorteilhaft werden somit die Rahmen der Symbole 21, 22, 23, die Trennlinie 25, ein Rahmen der Schaltfläche 26 und desFeedback is issued. Thus, the frames of the symbols 21, 22, 23, the dividing line 25, a frame of the button 26 and of the
Schiebereglers 29 als diejenigen Bereiche erkannt, an denen eine haptische Rückmeldung gegeben werden soll. Vorzugsweise wird eine Mindestbreite für einen jeweiligen Rahmen als Ansteuerungsvorschrift für eine haptische Slider 29 recognized as those areas where a haptic feedback is to be given. Preferably, a minimum width for a respective frame as a driving rule for a haptic
Rückmeldung vorgesehen. In diesem Ausführungsbeispiel kann ein Benutzer so zumindest die Kanten von Schaltflächen ertasten, die in der Anzeige dargestellt sind. Für die optische Trennungslinie 25 wird keine haptische Rückmeldung ausgegeben, da diese keine Schaltfläche begrenzt. In einer weiteren Feedback provided. In this embodiment, a user may thus at least feel the edges of buttons shown in the display. For the optical separation line 25, no haptic feedback is output because it does not limit a button. In another
Ausführungsform ist es auch möglich, dass Schaltflächen von Hintergründen anhand einer Bildtextur, beispielsweise eines Musters, unterschieden werden, mit dem der Hintergrund und/oder die Schaltflächen hinterlegt sind. Embodiment, it is also possible that buttons are differentiated from backgrounds on the basis of an image texture, such as a pattern, with which the background and / or the buttons are deposited.
Zur Bestimmung einer eingeschlossenen Fläche es möglich, nach einer To determine an enclosed area it is possible to search for a
Identifizierung entsprechender Kanten festzustellen, ob Kanten Identify appropriate edges to determine if edges
zusammenhängen und damit ein geschlossener Bereich abgegrenzt wird. Ein solcher abgegrenzter Bereich wird zunächst als eine Form bezeichnet, die eine bestimmte Fläche der Oberfläche der Anzeigenoberfläche 12 mit ihrer related and thus a closed area is delimited. Such a demarcated area is initially referred to as a shape which occupies a certain area of the surface of the display surface 12 with its surface
Darstellung abdeckt. Die Recheneinheit 14 vergleicht nun die Größe, die Form und/oder die Abmaße der erfassten Form mit in einem Speicher 44 abgelegten Formen oder Werten. So ist vorteilhaft für eine Erkennung als Schaltfläche eine Mindestgröße vorgesehen, die einer Bedienung durch einen Finger oder durch ein Tastelement entspricht. In dem Speicher 44 sind vorbestimmte Beispiele von Formen für Schaltflächen, beispielsweise Vielecke, insbesondere Rechtecke und Ellipsen, insbesondere Kreise, abgelegt, die üblicherweise von Gestaltern von Bedienoberflächen für eine Funktionssteuerung verwendet werden. Unter einem Vieleck bzw. einem Rechteck sollen hierbei auch Vielecke bzw. Rechtecke verstanden werden, bei denen die Ecken abgerundet sind. An den Koordinaten in denjenigen Flächenbereichen, an denen eine Darstellung einer derartigen Form, die als eine Schaltfläche dienen soll, in der Anzeigefläche 12 ermittelt wird, soll eine haptische Rückmeldung bei einer erfassten Berührung an der jeweiligen Koordinate der Anzeigefläche 12 erfolgen. Entsprechende Koordinateninformationen werden von der Recheneinheit 14 an die zusätzliche Recheneinheit 41 übermittelt. In einer weiteren Ausführungsform kann zudem auch die Farbe der jeweiligen Form, insbesondere die Füllfarbe der Form, ermittelt und für die Erkennung einer Schaltfläche berücksichtigt werden. Covering presentation. The arithmetic unit 14 now compares the size, the shape and / or the dimensions of the detected shape with forms or values stored in a memory 44. Thus, a minimum size is advantageously provided for detection as a button, which corresponds to an operation by a finger or by a probe element. Stored in the memory 44 are predetermined examples of shapes for buttons, for example polygons, in particular rectangles and ellipses, in particular circles, which are usually used by designers of control surfaces for a function control. A polygon or a rectangle should also be understood to mean polygons or rectangles in which the corners are rounded off. At the coordinates in those surface areas at which a representation of such a shape, which is to serve as a button, is determined in the display area 12, a haptic feedback is to take place at a detected touch at the respective coordinate of the display area 12. Appropriate Coordinate information is transmitted from the arithmetic unit 14 to the additional arithmetic unit 41. In a further embodiment, moreover, the color of the respective shape, in particular the filling color of the form, can also be determined and taken into account for the recognition of a button.
In der Figur 2 ist schematisch die Anzeigefläche 12 in einer Darstellung 50 dargestellt, bei der bei einer Berührung einer ersten Fläche 51 des ersten Symbols 21, einer zweiten Fläche 52 des zweiten Symbols 22, einer dritten Fläche 53 des dritten Symbols 23, einer vierten Fläche 54 der Schaltfläche 26 und einer fünften Fläche 55 des Schiebereglers 29 eine haptische Rückmeldung ausgegeben wird. Wird die Bedienoberfläche außerhalb der Flächen 51, 52, 53, 54, 55, beispielsweise an der mit X bezeichneten Position 56 betätigt, erfolgt keine haptische Rückmeldung. In einer Ausführungsform ist es auch möglich, die haptische Rückmeldung, beispielsweise gemäß einer Vibrationsfrequenz oder einer Anzahl von FIG. 2 schematically illustrates the display surface 12 in a representation 50 in which, when a first surface 51 of the first symbol 21 contacts, a second surface 52 of the second symbol 22, a third surface 53 of the third symbol 23, a fourth surface 54 of the button 26 and a fifth surface 55 of the slider 29, a haptic feedback is issued. If the user interface is actuated outside the surfaces 51, 52, 53, 54, 55, for example at the position 56 designated by X, no haptic feedback occurs. In one embodiment, it is also possible for the haptic feedback, for example, according to a vibration frequency or a number of
haptischen Rückmeldungsvorgängen abhängig von denjenigen Formen zu wählen, innerhalb deren zugeordneter Fläche eine Berührung der to select haptic feedback operations depending on those shapes within whose associated area a touch of the
Anzeigenoberfläche 12 erfolgt. So erfolgt bei einer Berührung innerhalb eines der Symbole 21, 22, 23 eine erste haptische Rückmeldung gemäß einer in der FigurAd interface 12 takes place. Thus, in the event of a touch within one of the symbols 21, 22, 23, a first haptic feedback takes place in accordance with one in the figure
2 dargestellten ersten Schraffur der zugehörigen Flächen 51, 52, 53, bei einer Berührung der Schaltfläche 26 eine zweite haptische Rückmeldung, dargestellt durch eine zweite Schraffur der vierten Fläche 54 und bei einer Betätigung des Schiebereglers 29 eine dritte haptische Rückmeldung, dargestellt durch eine dritte Schraffur der fünften Fläche 57. Bei dem Beispiel des Schiebereglers 29 kann zudem unterschieden werden, ob eine Betätigung innerhalb des Bereichs des Schiebereglerelements 30 oder des übrigen Bereichs des Schiebereglers 29 erfolgt, wobei in diesem Fall eine vierte haptische Rückmeldung erfolgt, dargestellt durch einer Schraffur einer sechsten Fläche 58. 2 shown first shading of the associated surfaces 51, 52, 53, at a touch of the button 26, a second haptic feedback represented by a second hatching of the fourth surface 54 and upon actuation of the slider 29, a third haptic feedback, represented by a third hatching In the example of the slider 29, a distinction can also be made as to whether an actuation occurs within the area of the slider element 30 or of the remaining area of the slider 29, in which case a fourth haptic feedback occurs, represented by a hatch of a sixth Area 58.
In einer weiteren Ausführungsform ist es auch möglich, dass eine Erkennung von Schaltflächen in Form eines lernenden Systems, insbesondere in Form eines sogenannten Deep-Learning-Systems oder eines neuronalen Netzes ausgebildet ist. Ein Lernen kann beispielsweise dadurch erfolgen, dass eine Form, die zunächst nicht als eine Schaltfläche detektiert wird, zukünftig als Schaltfläche erfasst und gespeichert wird. Beispielhaft sei angenommen, dass die elliptisch geformte Schaltfläche 26 zunächst nicht in dem Speicher 44 abgelegt ist. Hier sind in der Ausgangssituation nur rechteckige Schaltflächen abgelegt, beispielsweise gemäß der Symbole 21, 22, 23 und des Schiebereglers 29. Die Recheneinheit 14 stellt zwar bei ihrer Analyse eine geschlossene Form fest, ermittelt aber, dass diese Form nicht als eine Schaltfläche definiert ist. Erfolgt nun im Anschluss eine Berührung der Anzeigevorrichtung innerhalb dieser Schaltfläche, so wird die Berührungs- Koordinate von der Recheneinheit 14 an die Recheneinrichtung 16 weitergegeben. Da eine Berührung innerhalb der elliptischen Fläche 26, jedoch als eine Berührung einer Schaltfläche interpretiert wird, so ändert die Recheneinrichtung 16 in Folge der vorliegenden Bedienung die Bilddarstellung und zeigt beispielsweise ein anderes Bedienmenü. Dies wird von der Recheneinheit 14 detektiert. Sie erfasst diese Änderung der Bilddaten infolge einer Berührung der Bedienoberfläche als eine Berührung einer In a further embodiment, it is also possible that a recognition of buttons in the form of a learning system, in particular in the form of a so-called deep-learning system or a neural network is formed. Learning can be done, for example, by the fact that a form that is not initially detected as a button will in the future be a button is captured and stored. By way of example, it is assumed that the elliptically shaped button 26 is initially not stored in the memory 44. Here, in the initial situation, only rectangular buttons are stored, for example according to the symbols 21, 22, 23 and the slider 29. The arithmetic unit 14 determines a closed shape during its analysis, but determines that this shape is not defined as a button. If a touch of the display device subsequently ensues within this button, then the touch coordinate is forwarded by the arithmetic unit 14 to the computing device 16. Since a touch is interpreted within the elliptical area 26 but as a touch of a button, as a result of the present operation, the computing device 16 changes the image representation and, for example, displays another operating menu. This is detected by the arithmetic unit 14. It detects this change in the image data as a result of touching the user interface as a touch
Schaltfläche. Damit ordnet die Recheneinheit 14 für zukünftige Bedienungen einer elliptischen Fläche gemäß der Fläche 26 die Funktion einer Schaltfläche zu und legt diese Information in dem Speicher 44 ab. Button. Thus, the arithmetic unit 14 assigns the function of a button for future operations of an elliptical area according to the area 26 and stores this information in the memory 44.
In einer weiteren Ausführungsform ist es auch möglich, eine Erfassung einer Form nicht bereits bei einer ersten möglichen Erfassung als Schaltfläche zuzuordnen, um Fehlzuordnungen infolge einer zufälligen Bildänderung zu vermeiden. In a further embodiment, it is also possible not to assign a detection of a shape as a button already at a first possible detection, in order to avoid misregistrations as a result of a random image change.
Weiterhin ist es auch möglich, vertiefte Methoden der Bildanalyse, beispielsweise eine semantische Bildanalyse oder eine Bildanalyse unter Einbeziehung einer Symbol- oder automatisierten Texterkennung für eine Analyse einer zur Furthermore, it is also possible to use in-depth methods of image analysis, for example a semantic image analysis or an image analysis involving a symbol or automated text recognition for an analysis of the
Verfügung gestellten Bedienoberfläche zu verwenden. To use the user interface provided.
Für den Start einer solchen Funktion ist es auch möglich, dass ein trainiertes neuronales Netz verwendet wird, das mit einer Vielzahl unterschiedlicher, insbesondere von verschiedenen möglichen Recheneinrichtungen, z.B. For the start of such a function, it is also possible to use a trained neural network which is equipped with a plurality of different, in particular different, possible computing devices, e.g.
verschiedenen Smartphones, zur Verfügung stellbaren Bedienoberflächen eingelernt wurde. Damit ist es möglich, dass das neuronale Netz jedem Bildpunkt einer zur Verfügung gestellten Bedienoberfläche anhand einer entsprechenden Analyse eine Information zuordnen kann, ob es sich bei diesem Bildpunkt um einen Teil einer Schaltfläche oder um keinen Teil einer Schaltfläche handelt. various smartphones, available user interfaces has been taught. It is thus possible for the neural network to provide each pixel of an available user interface with a corresponding user interface Analysis can assign information whether this pixel is part of a button or not part of a button.
Der Speicher 44 kann lokal der Recheneinheit 14 beispielsweise in einem Fahrzeug zugeordnet sein. Ferner ist es jedoch auch möglich, dass der Speicher 44 über ein Datennetz mit der Recheneinheit 14 verbunden ist und einer Vielzahl von Recheneinheiten zur Verfügung steht. Damit kann ein lernender Algorithmus auch als ein cloudbasiertes neuronales Netz ausgebildet sein. The memory 44 may be locally associated with the computing unit 14, for example in a vehicle. Furthermore, however, it is also possible that the memory 44 is connected to the arithmetic unit 14 via a data network and is available to a large number of arithmetic units. Thus, a learning algorithm can also be designed as a cloud-based neural network.
In der Figur 3 ist ein beispielhafter Verfahrensablauf gezeigt. Ausgehend von einem Startschritt 60, beispielsweise von einer Anbindung einer mobilen FIG. 3 shows an exemplary method sequence. Starting from a start step 60, for example, from a connection of a mobile
Recheneinrichtung an eine Fahrerinformationseinrichtung im Fahrzeug, wird das Verfahren gestartet. In einem Bildübertragungsschritt 61 wird eine Bildinformation an eine Recheneinheit einer berührungssensitiven Anzeigeeinrichtung übertragen. In einem anschließenden ersten Prüfschritt 62 wird überprüft, ob sich die Bilddaten innerhalb eines vorgegebenen Zeitraums von beispielsweise zwei Sekunden geändert haben. Ist dies der Fall, so wird zu dem Computing device to a driver information device in the vehicle, the process is started. In an image transfer step 61, image information is transmitted to a computing unit of a touch-sensitive display device. In a subsequent first test step 62 it is checked whether the image data has changed within a predetermined period of, for example, two seconds. If this is the case, then that becomes
Bildübertragungsschritt 61 zurück verzweigt. Ist dies nicht der Fall, d.h. bleiben die Bilddaten zumindest inhaltlich konstant, so wird zu einem Analyseschritt 63 weiter verzweigt, in dem die übertragenen Bilddaten daraufhin analysiert werden, an welchen Stellen sich Kanten bzw. geschlossene Formen befinden. Image transfer step 61 branches back. If this is not the case, i. If the image data remain constant, at least in terms of content, an analysis step 63 is continued in which the transmitted image data are analyzed to determine at which points edges or closed forms are located.
In einem anschließenden Auswerteschritt 64 wird durch Vergleich von in den übertragenen Bilddaten erfassten Formen mit gespeicherten Formen, In a subsequent evaluation step 64, by comparing shapes recorded in the transmitted image data with stored shapes,
beispielsweise mit gespeicherten Kanten, Vielecken oder Ellipsen oder beliebigen, hinsichtlich ihrer Form und/oder anderer charakteristischer for example, with stored edges, polygons or ellipses or any, with respect to their shape and / or other characteristic
Eigenschaften wie z.B. Farbe oder Textur ermittelt, welche Elemente in der Bilddarstellung Formen, insbesondere geschlossene Flächen sind, denen eine Schaltfunktion zugeordnet ist. Den diesen Formen zugeordneten Koordinaten der Anzeigefläche, d.h. die von diesen Formen bedeckten Bereiche der Properties such as e.g. Color or texture determines which elements in the image representation are shapes, in particular closed surfaces, to which a switching function is assigned. The coordinates of the display area associated with these shapes, i. the areas covered by these forms of
Anzeigefläche, werden für den Fall einer Erfassung einer Berührung an einer solchen Koordinate der Anzeigefläche eine Ausgabe einer haptischen Display area, in the event of detection of a touch on such a coordinate of the display area, an output of a haptic
Rückmeldung zugeordnet. Die entsprechenden Koordinaten, an denen eine haptische Rückmeldung erfolgen soll und die Koordinaten, an denen keine haptische Rückmeldung erfolgen soll, werden in dem Auswerteschritt festgelegt und beispielsweise in geeigneter Form in einem flüchtigen Speicher abgelegt. Feedback is assigned. The corresponding coordinates at which a haptic feedback is to take place and the coordinates at which no haptic feedback is to be made in the evaluation step and stored, for example, in a suitable form in a volatile memory.
In einem anschließenden zweiten Prüfschritt 65 wird überprüft, ob sich die Bilddaten geändert haben. Ist dies der Fall, so wird zu dem In a subsequent second test step 65 it is checked whether the image data has changed. If this is the case, then that becomes
Bilddatenübertragungsschritt 61 zurück verzweigt. Ist dies nicht der Fall, so wird zu einem dritten Prüfschritt 66 weiter verzweigt. In dem dritten Prüfschritt 66 wird überprüft, ob eine Berührung der berührungssensitiven Anzeigevorrichtung an einer Koordinate erfolgt ist, an der eine haptische Rückmeldung erfolgen soll. Ist dies nicht der Fall, so wird zu dem zweiten Prüfschritt 65 zurück verzweigt. Ist dies der Fall, so wird zu einem haptischen Ausgabeschritt 67 weiter verzweigt. Von dem haptischen Ausgabeschritt 67 wird zu dem zweiten Prüfschritt 65 zurück verzweigt. Das Verfahren wird fortgeführt, solange die Recheneinrichtung 16 Informationen über eine Bedienoberfläche an die berührungssensitive Anzeigeeinrichtung ausgibt. Image data transfer step 61 branches back. If this is not the case, a branch is made to a third test step 66. In the third test step 66 it is checked whether a touch of the touch-sensitive display device has taken place at a coordinate at which a haptic feedback is to take place. If this is not the case, the system branches back to the second test step 65. If this is the case, a further branch is made to a haptic output step 67. From the haptic output step 67 is branched back to the second test step 65. The method is continued as long as the computing device 16 outputs information via a user interface to the touch-sensitive display device.

Claims

Ansprüche claims
1. Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung (10), umfassend ein Bereitstellen einer in der der Anzeigeeinrichtung (10) darzustellenden Bedienoberfläche in Form von Bilddaten mit wenigstens einer einer zu steuernden Funktion zugeordneten, in der Bedienoberfläche grafisch dargestellten und grafisch von der übrigen Bedienoberfläche abgegrenzten Schaltfläche (21, 22, 23, 26, 29), A method for providing a haptic feedback to an operator of a touch-sensitive display device, comprising providing a user interface to be displayed in the display device in the form of image data having at least one graphically assigned function that is to be controlled in the user interface graphically delimited from the rest of the user interface button (21, 22, 23, 26, 29),
ein Analysieren der Bilddaten hinsichtlich eines Vorhandenseins und einer Position von Formen zur Darstellung einer Schaltfläche, analyzing the image data for presence and location of shapes for displaying a button,
einer Bestimmung eines beabsichtigen Anzeigebereichs einer als Schaltfläche identifizierten darzustellenden Form in der berührungssensitiven a determination of an intended display area of a form to be displayed identified as a button in the touch-sensitive
Anzeigeeinrichtung (10), Display device (10),
Darstellen der Bilddaten der Bedienoberfläche in der berührungssensitiven Anzeigeeinrichtung (10),  Representing the image data of the user interface in the touch-sensitive display device (10),
Ausgeben einer haptischen Rückmeldung bei Erfassen einer Berührung der berührungssensitiven Anzeigeeinrichtung (10) in demjenigen Bereich einer Oberfläche (12) der berührungssensitiven Anzeigeeinrichtung (10), der einem Anzeigebereich einer als Schaltfläche identifizierten Form zugeordnet ist.  Outputting a haptic feedback upon detection of a touch of the touch-sensitive display device (10) in that area of a surface (12) of the touch-sensitive display device (10) which is associated with a display area of a form identified as a button.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine haptische Rückmeldung gegeben wird, indem eine Oberfläche (12) der 2. The method according to claim 1, characterized in that a haptic feedback is given by a surface (12) of the
berührungssensitiven Anzeigeeinrichtung (10) in eine Vibration versetzt wird. touch-sensitive display device (10) is put into vibration.
3. Verfahren nach einem der vorhergehenden Ansprüche, umfassend eine3. The method according to any one of the preceding claims, comprising a
Ausgabe einer Koordinate einer Berührung der berührungssensitiven Output of a coordinate of a touch of the touch-sensitive
Anzeigeeinrichtung (10) von der berührungssensitiven Anzeigeeinrichtung (10) an eine Recheneinrichtung (16), von der die Bilddaten der Bedienoberfläche bereitgestellt werden. Display device (10) from the touch-sensitive display device (10) to a computing device (16) from which the image data of the user interface are provided.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 4. The method according to any one of the preceding claims, characterized
gekennzeichnet, dass die Bilddaten über eine drahtlose Schnittstelle (17) bereitgestellt werden. characterized in that the image data is provided via a wireless interface (17).
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 5. The method according to any one of the preceding claims, characterized
gekennzeichnet, dass ein Analysieren der Bilddaten ein Vergleich von erfassten Formen mit in einem Speicher (44) abgelegten Formen umfasst, wobei die gespeicherten Formen von Schaltflächen insbesondere Vielecke, Ellipsen oder Formen mit vorgegebenen Texturen oder Farben beinhalten. characterized in that analyzing the image data comprises a comparison of detected shapes with shapes stored in a memory (44), wherein the stored shapes of buttons include in particular polygons, ellipses or shapes with predetermined textures or colors.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 6. The method according to any one of the preceding claims, characterized
gekennzeichnet, dass eine Eigenschaft der haptischen Rückmeldung bei einer Ausgabe der haptischen Rückmeldung in Abhängigkeit einer Eigenschaft derjenigen als Schaltfläche identifizierten Form erfolgt, die demjenigen characterized in that a property of haptic feedback occurs in an output of the haptic feedback depending on a property of the form identified as a button, the one
Anzeigebereich einer Oberfläche (12) der berührungssensitiven Display area of a surface (12) of the touch-sensitive
Anzeigeeinrichtung (10), in dem eine Berührung erfasst wurde, zugeordnet ist. Display device (10), in which a touch was detected, is assigned.
7. Verfahren nach einem der vorhergehenden Ansprüche, umfassend ein Speichern einer Bestätigung einer erkannten Form als Schaltfläche für den Fall, dass nach Identifizieren einer darzustellenden Form eine Berührung in einem der Form zugeordneten Anzeigebereich erfasst wird. 7. The method according to claim 1, comprising storing an acknowledgment of a recognized shape as a button in the event that, after identifying a shape to be displayed, a touch is detected in a display area associated with the shape.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 8. The method according to any one of the preceding claims, characterized
gekennzeichnet, dass ein Analysieren der Bilddaten nur dann erfolgt, wenn die Bilddaten wenigstens für eine vorgegebene Zeitdauer unverändert bleiben. characterized in that an analysis of the image data takes place only if the image data remain unchanged at least for a predetermined period of time.
9. Anzeigeeinrichtung mit einer berührungssensitiven Oberfläche, mit einer Einrichtung zur Erzeugung einer haptischen Rückmeldung und mit Mitteln, die geeignet sind, die Schritte des Verfahrens nach einem der Ansprüche 1-8 auszuführen. 9. Display device with a touch-sensitive surface, with a device for generating a haptic feedback and with means that are suitable to carry out the steps of the method according to one of claims 1-8.
10. Computerprogramm, umfassend Befehle, die bewirken, dass die 10. Computer program comprising commands that cause the
Vorrichtung des Anspruchs 9 die Verfahrensschritte nach einem der Ansprüche 1-8 ausführt. Apparatus of claim 9, the method steps according to one of claims 1-8 executes.
11. Computerlesbares Medium, auf dem das Computerprogramm nach11. Computer-readable medium on which the computer program is based
Anspruch 10 gespeichert ist. Claim 10 is stored.
EP18773992.5A 2017-10-11 2018-09-20 Method for providing a haptic feedback message to an operator of a touch-sensitive display device Withdrawn EP3695293A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017218120.6A DE102017218120A1 (en) 2017-10-11 2017-10-11 A method of providing haptic feedback to an operator of a touch-sensitive display
PCT/EP2018/075417 WO2019072512A1 (en) 2017-10-11 2018-09-20 Method for providing a haptic feedback message to an operator of a touch-sensitive display device

Publications (1)

Publication Number Publication Date
EP3695293A1 true EP3695293A1 (en) 2020-08-19

Family

ID=63683176

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18773992.5A Withdrawn EP3695293A1 (en) 2017-10-11 2018-09-20 Method for providing a haptic feedback message to an operator of a touch-sensitive display device

Country Status (5)

Country Link
US (1) US11061562B2 (en)
EP (1) EP3695293A1 (en)
CN (1) CN111201501A (en)
DE (1) DE102017218120A1 (en)
WO (1) WO2019072512A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560563B1 (en) * 2019-06-25 2020-02-11 Bouton Sms Inc. Haptic device
US11820215B2 (en) 2019-11-04 2023-11-21 Hyundai Mobis Co., Ltd. System and method for controlling display of vehicle
CN115702409A (en) * 2020-05-29 2023-02-14 三菱电机株式会社 Display device
EP3936971A1 (en) * 2020-07-08 2022-01-12 Leica Microsystems CMS GmbH Auxiliary appliance for a user interface device
FR3115132B1 (en) * 2020-10-13 2023-06-30 Continental Automotive Gmbh Method and device for generating a haptic signal
WO2023126645A1 (en) 2021-12-27 2023-07-06 Bosch Car Multimedia Portugal S.A Interface and alert device with haptic and thermal feedback for autonomous vehicle
WO2023126660A1 (en) 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A Haptic and thermal feedback touchpad device, system and method thereof for an automotive setting
WO2023126664A1 (en) 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A System and method for providing a web browser online user interface with haptic feedback for an automotive setting
WO2023126662A1 (en) 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A Armrest keyboard with haptic and thermal feedback

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4860625B2 (en) * 2004-10-08 2012-01-25 イマージョン コーポレーション Haptic feedback for simulating buttons and scrolling motion on touch input devices
US7382357B2 (en) * 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2008033739A (en) 2006-07-31 2008-02-14 Sony Corp Touch screen interaction method and apparatus based on tactile force feedback and pressure measurement
US10313505B2 (en) * 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US9619143B2 (en) * 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
CA2731042A1 (en) * 2008-07-23 2010-01-28 Research In Motion Limited Portable electronic device and method of controlling same
JP2011048686A (en) * 2009-08-27 2011-03-10 Kyocera Corp Input apparatus
DE102009048832A1 (en) 2009-10-09 2011-04-14 Continental Automotive Gmbh Multi-media system has central arithmetic unit, display unit and operating arrangement, where display unit is provided with unit that is formed to evaluate operation of input fields
JP5635274B2 (en) * 2010-01-27 2014-12-03 京セラ株式会社 Tactile sensation presentation apparatus and tactile sensation presentation method
US10788976B2 (en) * 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
EP2839366A4 (en) * 2012-04-18 2016-05-11 Nokia Technologies Oy A display apparatus with haptic feedback
US9501147B2 (en) * 2013-12-29 2016-11-22 Immersion Corporation Haptic device incorporating stretch characteristics
US9648062B2 (en) * 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
KR102354769B1 (en) * 2014-10-29 2022-01-25 삼성전자주식회사 Terminal apparatus and method for controlling thereof
US9916008B2 (en) 2015-01-12 2018-03-13 International Business Machines Corporation Microfluidics three-dimensional touch screen display
US20170090571A1 (en) * 2015-09-29 2017-03-30 General Electric Company System and method for displaying and interacting with ultrasound images via a touchscreen

Also Published As

Publication number Publication date
DE102017218120A1 (en) 2019-04-11
WO2019072512A1 (en) 2019-04-18
CN111201501A (en) 2020-05-26
US11061562B2 (en) 2021-07-13
US20200264772A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
WO2019072512A1 (en) Method for providing a haptic feedback message to an operator of a touch-sensitive display device
EP3097468B1 (en) User interface and method for adapting a view of a display unit
DE102012219119A1 (en) Intelligent windowing in a graphical user interface
DE102018221024A1 (en) DEVICE AND METHOD FOR OPERATING A STEERING WHEEL BASED ON A TOUCH CONTROL
WO2017211817A1 (en) Operator control comprising eye tracker unit and method for calibrating an eye tracker unit for an operator control
EP2876526B1 (en) Device for gesture recognition and method for recognition of gestures
EP3486805A1 (en) Method for operating an electronic device or an application and corresponding device
DE102012020607B4 (en) A motor vehicle with a gesture control device and method for controlling a selection element
DE112013006066T5 (en) Emulate the pressure sensitivity on multi-touch units
DE102013011689A1 (en) Method and device for processing touch signals of a touchscreen
DE102015116477A1 (en) Data processing method and electronic device
DE102012224365A1 (en) Fast cursor localization
EP2653335A2 (en) Method and apparatus for displaying a hand of an operator of an operating element of a vehicle
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
EP3570164B1 (en) Method and system for generating a mobile application from a desktop application
EP2924551A1 (en) Method and device for providing a graphical user interface in a vehicle
DE102017117393A1 (en) A vehicle display device and method for controlling the vehicle display device
EP3418861A1 (en) Method for operating a display device, and a motor vehicle
DE102014226553A1 (en) Method for operating an input device, input device, motor vehicle
WO2014067774A1 (en) Method and device for operating an input device
WO2017140569A1 (en) Motor vehicle operator control apparatus and method for operating an operator control apparatus in order to cause an interaction between a virtual presentation plane and a hand
DE102016115479A1 (en) User interface for electronic device, input processing method and electronic device
DE102014224599A1 (en) Method for operating an input device, input device
DE10313019A1 (en) Single handed operation of a mobile terminal by gesture recognition, whereby movement of the terminal relative to the user is measured and used to control the positioning of input selection means
EP2555097A1 (en) Method and device for determining a section of an image and triggering imaging using a single touch-based gesture

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200511

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220623

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231121