CN112930518B - 手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法 - Google Patents

手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法 Download PDF

Info

Publication number
CN112930518B
CN112930518B CN201980071248.8A CN201980071248A CN112930518B CN 112930518 B CN112930518 B CN 112930518B CN 201980071248 A CN201980071248 A CN 201980071248A CN 112930518 B CN112930518 B CN 112930518B
Authority
CN
China
Prior art keywords
display
button
monitoring element
hmios
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980071248.8A
Other languages
English (en)
Other versions
CN112930518A (zh
Inventor
乔纳斯·索瑟尔
扬·斯文森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Truck Corp
Original Assignee
Volvo Truck Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Truck Corp filed Critical Volvo Truck Corp
Publication of CN112930518A publication Critical patent/CN112930518A/zh
Application granted granted Critical
Publication of CN112930518B publication Critical patent/CN112930518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明涉及一种用于处理用户的用户输入(3)的手指位置敏感型HMI(2)。HMI(2)包括设置为运行HMI OS的EDPU(4)，并且包括连接至EDPU(4)的手指位置敏感型显示器(6)。HMI OS设置为生成按钮(5)和按钮(5)在显示器(6)上的显示定位，并请求显示器(6)在所生成的显示定位处显示按钮(5)。显示器(6)设置为在所生成的显示定位处显示所生成的按钮(5)，检测显示器(6)上被触摸定位(7)的触摸坐标，将检测到的触摸坐标提供给HMI OS，并检测由被施加到显示器(6)上的压力引起的力信号。显示器(6)连接至监控元件(8)，并且还设置为将检测到的力信号提供给监控元件(8)。EDPU(4)连接至监控元件(8)。HMI OS还设置为：如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则生成与已显示的按钮(5)相关的服务请求并将服务请求提供给监控元件(8)，并且将被请求在所生成的显示定位处显示的按钮(5)的位图的源按钮位图内容指示符提供给监控元件(8)。HMI包括检查单元(10)。检查单元(10)连接至监控元件(8)，并且设置为观测在所生成的显示定位处的已显示的按钮(5)，生成与观测到的已显示的按钮(5)相关的像素区域的观测按钮位图内容指示符，并将观测按钮位图内容指示符提供给监控元件(8)。监控元件(8)设置为：如果满足以下条件，则释放所提供的与已显示的按钮(5)相关的服务请求：提供给监控元件(8)的检测到的力信号指示至少预定义量的压力已经被施加到显示器(6)，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的。

Description

手指位置敏感型人机接口和用于处理手指位置敏感型人机接 口的用户的用户输入的方法
技术领域
本发明涉及一种用于处理用户的用户输入的手指位置敏感型人机接口和一种用于处理手指位置敏感型人机接口的用户的用户输入的方法。
本发明适用于所有类型的车辆，例如卡车、公共汽车、客车，也适用于工业建筑机器或建筑设备领域中的工作机器，例如翻斗车。
虽然本发明将针对翻斗车形式的工作机器进行描述，但是本发明不限于这种特定机器，而是也可以用于其他工作机器，诸如起重机、挖掘机、轮式装载机和挖掘装载机。
在下文中，术语“人机接口”被缩写为术语“HMI”，术语“电子数据处理单元”被缩写为术语“EDPU”，术语“操作系统”被缩写为术语“OS”，术语“现成组件(components off theshelf)”被缩写为术语“COTS”。
背景技术
从美国专利US 2017/0285858 A1中已知一种包括压敏显示器的电子设备。根据US2017/0285858 A1的电子设备包括处理器和存储器，该存储器包括用于管理电子设备的操作的OS。OS被体现为UNIX OS或另一种COTS OS。根据US 2017/0285858 A1的显示器包括耦合至第二盖构件以限定第一腔室的第一盖构件、设置在第一腔室中的流体、以及耦合至腔室以检测设置在第一腔室中的流体的压力变化的压力传感器。压力传感器通信耦合至印刷电路板，从而提供到电子设备的控制器的通信连接。控制器包括显示管理器和本地存储器。显示管理器耦合至压力传感器和流体泵，该流体泵耦合至显示器。显示管理器耦合至显示器的图形处理器和触摸控制器。图形处理器管理显示器上的图形操作，而触摸控制器管理基于对显示器的触摸的操作。来自触摸屏系统的定位传感器将与显示器上触摸的定位有关的信息提供给显示管理器和触摸控制器。触摸屏系统包括电容式触摸屏和定位传感器栅格以确定触摸屏上触摸的定位。本地存储器包括一个或多个位图表，该一个或多个位图表包括在显示器上呈现的图像的位图。图形处理器生成与显示器上呈现的图像相对应的位图。位图可以包括显示器上的例如按钮、文本框的输入/输出设备的坐标。
在操作中，显示管理器接收来自压力传感器和触摸控制器的输入，并且将这些输入进行组合，以便于区分来自用户的有意输入触摸和用户或对象的意外触摸。显示管理器追踪腔室中的流体压力随时间的变化。如果多个手指同时按压显示器，则会在腔室的流体中产生单个压力增加峰值，并且该压力峰值可以大于单个手指的按压。如果多个手指在稍微不同的时间触摸显示器，则会生成多个压力变化。将这些压力变化的定时与触摸定位传感器信息相结合以限定手指触摸的定位和力度。在预定时间段内保持在阈值以上的压力尖峰指示向显示器施加了有意触摸，并且应该将该有意触摸处理为对显示器的输入。保持在该阈值以上达少于该预定时间段的压力尖峰可以指示触摸屏上的意外触摸。将来自压力传感器的信息与来自触摸控制器的信息相结合以区分有意触摸和意外触摸。US 2016/188181A1和WO 2017/175035 A1也公开了压敏显示器。
然而，电子设备的控制器易受软件漏洞和/或电磁场的影响，这两者都可能导致故障。因此，控制器对安全相关命令来说不够可靠。安全相关命令是在该安全相关命令因为故障被错误释放的情况下可能会使人受伤的命令。
发明内容
本发明的目的是提供一种用于处理用户的用户输入的手指位置敏感型HMI和一种用于处理手指位置敏感型HMI的用户的用户输入的方法，其提供了手指位置敏感型HMI的手指位置敏感型显示器也用于安全相关命令的易用性。
根据本发明的第一方面，该目标通过用于处理用户的用户输入的手指位置敏感型HMI来实现。该手指位置敏感型HMI包括设置为运行HMIOS的EDPU，并且包括连接至EDPU的手指位置敏感型显示器。HMIOS设置为生成按钮和该按钮在显示器上的显示定位，并且请求显示器在所生成的显示定位处显示该按钮。显示器设置为在生成的显示定位处显示所生成的按钮，检测显示器上被触摸定位的触摸坐标，将检测到的触摸坐标提供给HMIOS，并检测由被施加到显示器上的压力引起的力信号。手指位置敏感型HMI的特征在于，显示器连接至监控元件，并且还设置为将检测到的力信号提供给监控元件。EDPU连接至监控元件。HMIOS还设置为：如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则生成与已显示的按钮相关的服务请求并将该服务请求提供给监控元件，并且将被请求在所生成的显示定位处显示的按钮的位图的源按钮位图内容指示符提供给监控元件。HMI包括检查单元。该检查单元连接至监控元件，并且设置为观测在所生成的显示定位处的已显示的按钮，生成与观测到的已显示的按钮相关的像素区域的观测按钮位图内容指示符，并将该观测按钮位图内容指示符提供给监控元件。监控元件设置为：如果满足以下条件，则释放所提供的与已显示的按钮相关的服务请求：提供给监控元件的检测到的力信号指示至少预定义量的压力已经施加到显示器，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的。
在本申请中，手指位置敏感型HMI是指HMI对手指相对于HMI的位置敏感。在本申请中，手指位置敏感型显示器是指显示器对手指相对于显示器的位置敏感。
在本申请中，按钮可以是能够在显示器上可视显示的任何类型的图标或符号。在本申请中，按钮位图内容指示符可以是任何类型的指示符，例如一个或多个数字，该指示符指示按钮的位图的内容的一个或多个特征。一种优选的指示符是提供在其他定位出现的可能性非常低的唯一的用于所有实际目的的特征。在本申请中，检测到的触摸坐标可以是平面中的x-y坐标，或者可以是空间中的x-y-z坐标。在本申请中，所生成的显示定位可以是平面中的x-y坐标和/或x-y坐标范围，或者可以是空间中的x-y-z坐标和/或x-y-z坐标范围。在本申请中，与已显示的按钮相关的服务请求可以是任何类型的请求，例如倾斜翻斗车的容器以将负荷从容器中释放出来的请求。
通过提供用于处理用户的用户输入的手指位置敏感型HMI，该HMI的特征在于显示器连接至监控元件并且还设置为将检测到的力信号提供给监控元件；EDPU连接至监控元件；HMIOS还设置为：如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则生成与已显示的按钮相关的服务请求并将该服务请求提供监控元件，并且将被请求在所生成的显示定位处显示的按钮的位图的源按钮位图内容指示符提供给监控元件；该HMI的特征还在于检查单元，该检查单元连接至监控元件并且设置为观测在所生成的显示定位处的已显示的按钮，生成与观测到的已显示的按钮相关的像素区域的观测按钮位图内容指示符并将该观测按钮位图内容指示符提供给监控元件；该HMI的特征还在于监控元件设置为：如果满足以下条件，则释放所提供的与已显示的按钮相关的服务请求：提供给监控元件的检测到的力信号指示至少预定义量的压力已经施加到显示器，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的，从而提供了以下优点：基本上避免了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因此，根据本发明，与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求对于安全相关请求来说是足够可靠的。因而，本发明提供了手指位置敏感型HMI的手指位置敏感型显示器也用于安全相关命令的易用性。
本发明包括这样的认知：即使现有技术的电子设备使用触摸传感器和压力传感器来区分有意触摸和意外触摸，现有技术的电子设备仍然只是一种易受软件漏洞和/或可能导致处理器故障的电磁场影响的电子元件。现有技术的电子设备通常也很复杂，并且包含通常在所有情况下都复杂以确定无故障的软件系统。总之，现有技术的解决方案对于安全相关命令来说不够可靠。
此外，本发明包括这样的认知：可以通过引入第二元件或监控元件来弥补公知系统的这个弱点，该第二元件或监控元件设置为：如果满足以下条件，则释放所提供的与已显示的按钮相关的服务请求：提供给这个监控元件的检测到的力信号指示至少预定义量的压力已经施加到HMI的显示器，并且由附加检查单元观测并提供的按钮位图内容指示符与由HMI的EDPU提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的。
本发明的EDPU可以是任何电子处理器、电路板和/或计算机。本发明的OS可以是任何OS，特别是任何公知的COTS OS，诸如Android、Windows、iOS、macOS等。
根据一个实施例，检测到的力信号也提供给HMIOS，并且HMIOS还设置为：如果还满足以下条件，则生成与已显示的按钮相关的服务请求，并将服务请求提供监控元件：提供给HMIOS的检测到的力信号指示至少预定义量的压力已经施加到显示器。因此，通过将检测到的力信号不仅提供给监控元件还提供给HMIOS，并且使HMIOS还设置为如果提供给HMIOS的检测到的力信号指示至少预定义量的压力已经被施加到显示器，则生成与已显示的按钮相关的服务请求并将服务请求提供给监控元件，提供了对具有第二信道或元件(监控元件)的改进。从而，提供了以下优点：进一步减少了由例如电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动，因此可以基本上避免不期望的启动。因而，该实施例进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，显示器设置为通过优选地在操作上和/或物理上独立于HMIOS的信道将检测到的力信号提供给监控元件。通过独立于HMIOS的信号将检测到的力信号提供给监控元件，对HMIOS的可靠性的任何不期望的影响，例如恶意软件，都不会对提供给监控元件的检测到的力信号有影响。从而，提供了以下优点：更进一步减少了由例如电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，提供给监控元件的检测到的力信号是第一力信号，并且其中显示器还设置为检测由被施加到显示器的例如相同的压力引起的第二力信号，并且其中检测到的第二力信号被提供给HMI OS，并且HMIOS还设置为：如果还满足以下条件，则生成与已显示的按钮相关的服务请求并将服务请求提供给监控元件：提供给HMIOS的检测到的第二力信号指示至少预定义量的压力已经施加到显示器。因此，一方面通过具有检测到的第一和第二力信号，另一方面通过将检测到的第一力信号优选地只提供给监控元件并将检测到的第二力信号优选地只提供给HMIOS，提供了对具有第二信道或元件(监控元件)的有利方面的进一步改进。通过将显示器设置为检测由施加到显示器的例如相同的压力引起的第一和第二力信号，例如由电磁场引起的对提供给HMIOS的第二力信号的任何不期望的影响都不会对提供给监控元件的检测到的第一力信号有影响，反之亦然。从而，提供了以下优点：更进一步减少了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，显示器设置为通过第一信道将检测到的第一力信号提供给监控元件并通过第二信道将检测到的第二力信号提供给HMIOS，第一和第二信道优选地在操作上和/或物理上彼此独立。通过将显示器设置为通过第一信号将检测到的第一力信号提供给监控元件并通过第二信道将检测到的第二力信号提供给HMIOS，例如由电磁场引起的对第一信道的任何不期望的影响都不会对第二信道有影响。从而，提供了以下优点：更进一步减少了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，监控元件包括在操作上和/或物理上独立的另一EDPU。通过将另一EDPU用于监控元件，该另一EDPU在操作上和/或物理上独立于正常运行HMIOS的EDPU，例如由恶意软件或电磁场引起的对运行HMIOS的EDPU的任何不期望的影响都不会对监控元件的EDPU有影响。从而，提供了以下优点：更进一步减少了例如由恶意软件或电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，监控元件包括在操作上和/或物理上独立的另一OS。通过将另一OS用于监控元件，该另一OS在操作上和/或物理上独立于HMIOS，例如由恶意软件引起的对HMIOS的任何不期望的影响都不会对监控元件的OS有影响。从而，提供了以下优点：更进一步减少了例如由恶意软件引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，手指位置敏感型显示器包括诸如翻斗车的车辆的电子控制单元(下文为ECU)的车载显示器。因此，提供了本发明的一种有用实施方式。手指位置敏感型HMI和/或显示器可以永久安装在车辆内，或者可以是分立单元，如便携式设备。
根据另一实施例，源按钮位图内容指示符包括基于被请求在所生成的显示定位处显示的按钮的源位图计算得到的源循环冗余校验(下文为CRC)值。通过使用包括基于被请求在所生成的显示定位处显示的按钮的源位图计算得到的CRC值的源按钮位图内容指示符，可以排除例如由恶意软件或电磁场引起的对观测按钮位图内容指示符与源按钮位图内容指示符的比较结果的不期望的影响。从而，提供了以下优点：更进一步减少了例如由恶意软件或电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据本发明，观测按钮位图内容指示符包括覆盖观测到的已显示的按钮的像素区域的显示内容完整性校验符(下文为DCIC)，该DCIC诸如是观测到的CRC值。通过使用包括与观测到的已显示的按钮相关的像素区域的如DCIC的校验和的观测按钮位图内容指示符，可以排除例如由恶意软件或电磁场引起的对观测按钮位图内容指示符与源按钮位图内容指示符的比较结果的不期望的影响。从而，提供了以下优点：更进一步减少了例如由恶意软件或电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，显示器设置为通过包括检测手指的物理触摸的触敏表面来检测显示器上被触摸定位的触摸坐标。因此，提供了本发明的一种简单、可靠且成本高效的实施方式。
根据另一实施例，显示器设置为通过包括在显示器上的光学栅格来检测显示器上被触摸定位的触摸坐标，该光学栅格检测在显示器的表面上的手指定位。因此，提供了本发明的一种可靠且成本高效的实施方式。
根据另一实施例，显示器设置为通过包括照相机来检测显示器上被触摸定位的触摸坐标，该照相机检测在显示器的表面上的手指定位。因此，提供了本发明的一种可靠且成本高效的实施方式。
根据另一实施例，检查单元设置为：例如通过优选物理地连接至承载从HMIOS到显示器的视频流的、优选物理上不同的线路，通过从由该线路承载的从HMIOS到显示器的已生成输出视频流中提取视频数据和/或通过从在显示器的输入处的已生成输出视频流中提取视频数据来观测在所生成的显示定位处的已显示的按钮。通过从到显示器的已生成输出视频流中提取视频数据和/或通过在显示器的输入处提取视频数据，可以直接观测至显示器的按钮的视频流的视频数据。因此，提供了本发明的一种可靠且成本高效的实施方式。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，HMI包括连接至EDPU的存储器，该存储器存储有图形资源文件，该图形资源文件包含待由HMIOS生成的按钮的位图和按钮坐标，显示器还设置为将检测到的触摸坐标提供给监控元件，HMIOS还设置为将图形资源文件提供给EDPU以生成按钮并提供给监控元件，监控元件还设置为：如果还满足以下条件，则释放所提供的与已显示的按钮相关的服务请求：所提供的观测按钮位图内容指示符与接收到的图形资源文件的参考按钮位图内容指示符的比较指示所提供的服务请求是有效的，并且所提供的按钮的坐标与接收到的图形资源文件中包含的按钮坐标的比较指示所提供的服务请求是有效的。该参考按钮位图内容指示符优选包括参考CRC值。优选地，显示器设置为通过优选地在操作上和/或物理上独立于HMIOS的信道将检测到的触摸坐标提供给监控元件。本实施例进一步改进了本发明的HMI，因为它提供了检测HMI内可能产生的某些错误的可能性，而不具有本实施例的附加机构的实施例可能检测不到这些错误。
根据另一实施例，监控元件还设置为将参考时间和/或时间戳提供给HMIOS，HMIOS还设置为将参考时间和/或时间戳提供给要在所生成的显示定位处显示的所生成的按钮，检查单元还设置为观测所观测到的已显示的按钮的观测参考时间和/或观测时间戳并将该观测参考时间和/或观测时间戳提供给监控元件，并且监控元件还设置为：如果还满足以下条件，则释放所提供的与已显示的按钮相关的服务请求：提供给HMIOS的参考时间和/或时间戳与观测参考时间和/或观测时间戳的比较指示所提供的服务请求是有效的。本实施例进一步改进了本发明的HMI，因为它提供了检测HMI内可能产生的某些错误的可能性，而不具有本实施例的附加机构的实施例可能检测不到这些错误。
根据本发明的第二方面，该目标通过用于处理手指位置敏感型HMI的用户的用户输入的方法来实现。该手指位置敏感型HMI包括设置为运行HMIOS的EDPU，并且包括连接至EDPU的手指位置敏感型显示器。该方法包括生成按钮的步骤。该方法还包括生成按钮在显示器上的显示定位的步骤。该方法还包括请求显示器在所生成的显示定位处显示按钮的步骤。该方法还包括在显示器上所生成的显示定位处显示所生成的按钮的步骤。该方法还包括检测手指位置敏感型显示器上的被触摸定位的触摸坐标的步骤。该方法还包括将检测到的触摸坐标提供给HMIOS的步骤。该方法还包括检测由被施加到显示器上的压力引起的力信号的步骤。该方法还包括将检测到的力信号提供给监控元件的步骤。该方法还包括以下步骤：如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则HMIOS生成与已显示的按钮相关的服务请求并将该服务请求提供给监控元件。该方法还包括观测在所生成的显示定位处的已显示的按钮的步骤。该方法还包括生成与观测到的已显示的按钮相关的像素区域的观测按钮位图内容指示符的步骤。该方法还包括将观测按钮位图内容指示符提供给监控元件的步骤。该方法还包括HMIOS将被请求在所生成的显示定位处显示的按钮的位图的源按钮位图内容指示符提供给监控元件的步骤。该方法还包括以下步骤：如果满足以下条件，则监控元件释放所提供的与已显示的按钮相关的服务请求：提供给监控元件的检测到的力信号指示至少预定义量的压力已经施加到显示器，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的。
通过提供用于处理手指位置敏感型HMI的用户的用户输入的方法，该方法的特征在于将检测到的力信号提供给监控元件；如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则HMIOS生成与已显示的按钮相关的服务请求并将该服务请求提供给监控元件；观测在所生成的显示定位处的已显示的按钮；生成与观测到的已显示的按钮相关的像素区域的观测按钮位图内容指示符；将观测按钮位图内容指示符提供给监控元件；HMIOS将被请求在所生成的显示定位处显示的按钮的位图的源按钮位图内容指示符提供监控元件；如果满足以下条件，则监控元件释放所提供的与已显示的按钮相关的服务请求：提供给监控元件的检测到的力信号指示至少预定义量的压力已经施加到显示器，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的，从而提供了以下优点：基本上避免了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因此，根据本发明，与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求对于安全相关请求来说是足够可靠的。因而，本发明提供了手指位置敏感型HMI的手指位置敏感型显示器也用于安全相关命令的易用性。
根据一个实施例，该方法包括将检测到的力信号也提供给HMI OS，并且如果满足以下条件，则HMIOS生成与已显示的按钮相关的服务请求并将该服务请求提供给监控元件：提供给HMIOS的检测到的力信号指示至少预定义量的压力已经施加到显示器。因此，通过将检测到的力信号不仅提供给监控元件还提供给HMIOS，并且如果满足提供给HMIOS的检测到的力信号指示至少预定义量的压力已经施加到显示器，则使HMIOS生成与已显示的按钮相关的服务请求并将服务请求提供给监控元件，提供了具有第二信道的改进。从而，提供了以下优点：进一步减少了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动，因此可以基本完全避免不期望的启动。
根据另一实施例，该方法包括在不使用HMIOS的情况下将检测到的力信号提供给监控元件。通过在不使用HMIOS的情况下将检测到的力信号提供给监控元件，例如由恶意软件引起的对HMIOS的可靠性的任何不期望的影响都不会对在不使用HMIOS的情况下提供给监控元件的检测到的力信号有影响。从而，提供了以下优点：更进一步减少了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据该方法的另一实施例，提供给监控元件的检测到的力信号是第一力信号，并且该方法包括检测由被施加到显示器的例如相同的压力引起的第二力信号并将检测到的第二力信号提供给HMIOS，并且如果满足以下条件，则HMIOS生成与已显示的按钮相关的服务请求并将服务请求提供给监控元件：提供给HMIOS的检测到的第二力信号指示至少预定义量的压力已经施加到显示器。因此，一方面通过具有检测到的第一和第二力信号，另一方面通过将检测到的第一力信号优选地只提供给监控元件并将检测到的第二力信号优选地只提供给HMI OS，提供了具有第二信道的有利方面的进一步改进。通过检测由施加到显示器的例如相同的压力引起的第一和第二力信号，例如由电磁场引起的对提供给HMIOS的第二力信号的任何不期望的影响都不会对提供给监控元件的检测到的第一力信号有影响，反之亦然。从而，提供了以下优点：更进一步减少了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据另一实施例，该方法包括通过第一信道将检测到的第一力信号提供给监控元件并通过第二信道将检测到的第二力信号提供给HMI OS，第一和第二信道优选地在操作上和/或物理上彼此独立。通过第一信号将检测到的第一力信号提供给监控元件并通过第二信道将检测到的第二力信号提供给HMIOS，例如由电磁场引起的对第一信道的任何不期望的影响都不会对第二信道有影响。从而，提供了以下优点：更进一步减少了例如由电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据该方法的另一实施例，监控元件使用在操作上和/或物理上独立的另一EDPU。通过使监控元件使用另一EDPU，该另一EDPU在操作上和/或物理上独立于正常运行HMIOS的EDPU，例如由恶意软件或电磁场引起的对运行HMIOS的EDPU的任何不期望的影响都不会对由监控元件运行的EDPU有影响。从而，提供了以下优点：更进一步减少了例如由恶意软件或电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据该方法的另一实施例，监控元件运行在操作上和/或物理上独立的另一OS。通过使监控元件运行另一OS，该另一OS在操作上和/或物理上独立于HMIOS，例如由恶意软件引起的对HMIOS的任何不期望的影响都不会对监控元件的OS有影响。从而，提供了以下优点：更进一步减少了例如由恶意软件引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据该方法的另一实施例，源按钮位图内容指示符包括基于被请求在所生成的显示定位处显示的按钮的源位图计算得到的源CRC值。通过使用包括基于被请求在所生成的显示定位处显示的按钮的源位图计算得到的CRC值的源按钮位图内容指示符，可以排除例如由恶意软件或电磁场引起的对观测按钮位图内容指示符与源按钮位图内容指示符的比较结果的任何不期望的影响。从而，提供了以下优点：更进一步减少了例如由恶意软件或电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据本发明的方法，观测按钮位图内容指示符包括覆盖观测到的已显示的按钮的像素区域的DCIC，该DCIC诸如是观测到的CRC值。通过使用包括与观测到的已显示的按钮相关的像素区域的如DCIC的校验和的观测按钮位图内容指示符，可以排除例如由恶意软件或电磁场引起的对观测按钮位图内容指示符与源按钮位图内容指示符的比较结果的不期望的影响。从而，提供了以下优点：更进一步减少了例如由恶意软件或电磁场引起的与HMI的手指位置敏感型显示器上显示的按钮相关的服务请求的不期望的启动。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据该方法的另一实施例，观测在所生成的显示定位处的已显示的按钮包括：例如通过包括物理地连接至承载从HMIOS到显示器的视频流的线路，从到显示器的已生成输出视频流中提取视频数据和/或在显示器的输入处提取视频数据。通过从到显示器的已生成输出视频流中提取视频数据和/或通过在显示器的输入处提取视频数据，可以直接观测至显示器的按钮的视频流的视频数据。因此，提供了本发明的一种可靠且成本高效的实施方式。因而，该实施例更进一步提高了手指位置敏感型HMI的手指位置敏感型显示器用于安全相关命令的易用性。
根据该方法的另一实施例，检测显示器上的被触摸定位的触摸坐标包括通过检测手指对显示器的触敏表面的物理触摸来检测显示器的表面上的手指定位。因此，提供了本发明的一种简单、可靠且成本高效的实施方式。
根据该方法的另一实施例，检测显示器上的被触摸定位的触摸坐标包括通过检测手指对显示器上的光学栅格的干扰来检测显示器的表面上的手指定位。因此，提供了本发明的一种简单、可靠且成本高效的实施方式。
根据该方法的另一实施例，检测显示器上的被触摸定位的触摸坐标包括通过检测显示器的表面的照相机信号来检测显示器的表面上的手指定位。因此，提供了本发明的一种简单、可靠且成本高效的实施方式。
根据该方法的另一实施例，该方法包括储存图形资源文件，优选地储存在连接至EDPU的存储器中，图形资源文件包含待由HMIOS生成的按钮的位图和按钮坐标，优选地通过显示器和/或优选地在不使用HMIOS的情况下将检测到的触摸坐标提供给监控元件，优选地使用HMIOS将图形资源文件提供给EDPU以生成按钮并提供给监控元件，并且如果还满足以下条件，则监控元件释放所提供的与已显示的按钮相关的服务请求：所提供的观测按钮位图内容指示符与接收到的图形资源文件的参考按钮位图内容指示符的比较指示所提供的服务请求是有效的，并且所提供的按钮的坐标与接收到的图形资源文件中包含的按钮坐标的比较指示所提供的服务请求是有效的；参考按钮位图内容指示符优选包括参考CRC值。本实施例进一步改进了本发明的方法，因为它提供了检测HMI内可能产生的某些错误的可能性，而不具有本实施例的附加机构的实施例可能检测不到这些错误。
根据该方法的另一实施例，该方法包括优选地使用监控元件将参考时间和/或时间戳提供给HMIOS，HMIOS将参考时间和/或时间戳提供给所生成的按钮以在所生成的显示定位处显示，优选地使用检查单元观测所观测到的已显示的按钮的观测参考时间和/或观测时间戳并将该观测参考时间和/或观测时间戳提供给监控元件，并且如果还满足以下条件，则监控元件释放所提供的与已显示的按钮相关的服务请求：提供给HMIOS的参考时间和/或时间戳与观测参考时间和/或观测时间戳的比较指示所提供的服务请求是有效的。如上所述，本实施例进一步改进了本发明的方法，因为它提供了检测HMI内可能产生的某些错误的可能性，而不具有本实施例的附加机构的实施例可能检测不到这些错误。
至于本发明的第二方面的方法及其实施例的其他优点，还参考了上述的本发明的第一方面的相应方面和实施例。
本发明还涉及一种车辆，诸如翻斗车，包括本文所述的用于处理用户的用户输入的手指位置敏感型HMI。该手指位置敏感型HMI可以永久安装在车辆内，或者该手指位置敏感型HMI可以是分立单元，如便携式设备。
本发明还涉及一种车辆，诸如翻斗车，执行本文所述的用于处理手指位置敏感型HMI的用户的用户输入的方法。
本发明还涉及至少一种计算机程序，包括程序代码部件，该程序代码部件用于当所述至少一种程序在至少一个计算机上运行时执行本文所述的用于处理手指位置敏感型HMI的用户的用户输入的方法的步骤。
本发明还涉及一种计算机可读介质，该计算机可读介质承载有至少一种计算机程序，该计算机程序包括程序代码装置，该程序代码装置用于当所述至少一种程序在至少一个计算机上运行时执行本文所述的用于处理手指位置敏感型HMI的用户的用户输入的方法的步骤。
本发明还涉及一种用于控制手指位置敏感型HMI的控制单元，HMI使用HMIOS和连接至HMIOS的手指位置敏感型显示器，该控制单元配置为执行本文所述的用于处理手指位置敏感型HMI的用户的用户输入的方法的步骤。
本发明还涉及一种车辆，诸如翻斗车，包括这种控制单元。
本发明的其他优点和有利特征将在下面的描述和从属权利要求中公开。
附图说明
下面参照附图对本发明的用作示例的实施例进行更详细地描述。相同的元件或具有基本相同的功能的元件具有相同的附图标记。除非描述不同，否则相同或相似的原理适用于不同的实施例。
在附图中：
图1是具有本文所述的手指位置敏感型HMI的第一示例性实施例的翻斗车的侧视图，
图2是本文所述的手指位置敏感型HMI的第一示例性实施例的示意图，
图3是本文所述的手指位置敏感型HMI的第二示例性实施例的示意图，以及
图4是本文所述的用于处理手指位置敏感型HMI的用户的用户输入的方法的示例性实施例的流程图。
具体实施方式
图1是翻斗车形式的工作机器1001的侧视图。翻斗车1001具有前部1002和后部1004，该前部1002具有驾驶者的驾驶室1003，该后部1004具有接收负荷的容器1005。容器1005可枢转地连接至后部1004，并且可借助于一对倾斜杠1006——例如液压缸——倾斜。前部1002具有前车架1007和从前车架1007悬挂的一对车轮1008。后部1004具有后车架1009和从后车架1009悬挂的两对车轮1010、1011。前部1002具有覆盖发动机室1012的发动机盖1013。
本文所述的手指位置敏感型HMI 2设置在驾驶室1003内。手指位置敏感型HMI 2可以永久安装在翻斗车1001内，或者可以是分立单元，如便携式设备。例如，手指位置敏感型HMI 2可能是有线/无线连接但物理上分离的手持设备。手指位置敏感型HMI 2提供以处理手指位置敏感型HMI 2的用户的用户输入。例如，用户可以是翻斗车1001的驾驶者。为了使用手指位置敏感型HMI 2，用户可以坐在驾驶室1003中。例如，用户可以使用手指向手指位置敏感型HMI 2进行用户输入。
图2是用于处理用户的用户输入3的手指位置敏感型HMI 2的第一示例性实施例的示意图，特别是用于说明本发明的一般原理。图2的实施例的HMI 2包括EDPU 4。EDPU 4设置为运行HMIOS。HMI 2包括手指位置敏感型显示器6。显示器6连接至EDPU 4。HMIOS设置为生成按钮5。HMIOS设置为生成按钮5在显示器6上的显示定位。HMIOS设置为请求显示器6在所生成的显示定位处显示按钮5。
显示器6设置为在所生成的显示定位处显示所生成的按钮5。显示器6设置为检测显示器6上的被触摸定位7的触摸坐标。显示器6设置为将检测到的触摸坐标提供给HMIOS。显示器6设置为检测由施加到显示器6上的压力引起的力信号。显示器6连接至监控元件8。显示器6还配置为将检测到的力信号提供给监控元件8。EDPU 4连接至监控元件8。HMIOS还设置为：如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则生成与已显示的按钮5相关的服务请求，并将该服务请求提供给监控元件8。HMIOS还设置为将被请求在所生成的显示定位处显示的按钮5的位图的源按钮位图内容指示符提供给监控元件8。
HMI 2包括检查单元10。检查单元10连接至监控元件8。检查单元10也可以连接至EDPU 4。检查单元10设置为观测在所生成的显示定位处的已显示的按钮5。检查单元10设置为生成与观测到的已显示的按钮5相关的像素区域的观测按钮位图内容指示符。检查单元10设置为将观测按钮位图内容指示符提供给监控元件8，如线路10a象征性指示的。
监控元件8设置为：如果满足以下条件，则释放所提供的与已显示的按钮5相关的服务请求，如线路8a象征性指示的：提供给监控元件8的检测到的力信号指示至少预定义量的压力已经施加到显示器6，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的。
例如，所释放的与已显示的按钮5相关的服务请求8a可以提供给翻斗车1001的可倾斜容器1005的倾斜缸1006的未示出的控制模块，并且可以是倾斜容器1005的安全相关请求或命令。
优选地，预定义量的压力以指示人的手指已经有意引起该量的压力的值的方式来选择。
手指位置敏感型显示器6可以包括车辆的ECU(例如图1的翻斗车1001的ECU)的车载显示器。
检测到的力信号也可以提供给HMIOS。HMIOS可以还设置为：如果满足以下条件，则生成与已显示的按钮5相关的服务请求，并将该服务请求提供给监控元件8：提供给HMIOS的检测到的力信号指示至少预定义量的压力已经施加到显示器6。
图3是用于处理用户的用户输入3的手指位置敏感型HMI 2的第二示例性实施例的示意图。根据图3的第二示例性实施例，通过力传感器9检测第一力信号。第一力信号是由施加到力传感器9的压力引起的。力传感器9是显示器6的一部分。显示器6例如通过具有相应的第一接口来设置，以通过第一信道11将第一力信号提供给监控元件8，该第一信道11独立于在EDPU 4上运行的HMIOS。监控元件8可以是任何类型的计算机。监控元件8也可以是诸如翻斗车1001的车辆的ECU的仪表盘的一部分。
显示器6还设置为通过力传感器9检测第二力信号。第二力信号是由施加到力传感器9的压力引起的。引起第二力信号的压力可以与引起第一力信号的压力相同。显示器6例如通过具有相应的第二接口来设置，以将第二力信号提供给在EDPU 4上运行的HMIOS。HMIOS还设置为：如果满足以下条件，则生成与已显示的按钮5相关的服务请求，并将该服务请求提供给监控元件：提供给HMIOS的检测到的第二力信号指示至少预定义量的压力已经施加到显示器6。
显示器6还设置为通过第二信道14将检测到的第二力信号提供给HMIOS。第一信道11和第二信道14在操作上和/或物理上彼此独立。
监控元件8包括在操作上和/或物理上独立的另一EDPU 16。监控元件8包括在操作上和/或物理上独立的在EDPU 16上运行的另一OS。虽然监控元件8的另一OS在操作上和/或物理上独立于HMIOS，但是监控元件8的另一OS可以是相同的品牌。这意味着EDPU 4可以运行例如Android作为HMIOS，并且监控元件8可以运行另一Android作为在操作上和物理上独立的另一EDPU 16上运行的、操作上和物理上独立的另一OS。
源按钮位图内容指示符可以包括源CRC值。该源CRC值可以是基于被请求在所生成的显示定位处显示的按钮5的源位图计算得到的。
观测按钮位图内容指示符可以包括与观测到的已显示的按钮5相关的像素区域的DCIC，该DCIC诸如是观测到的CRC值，该相关例如是覆盖观测到的已显示的按钮5。
显示器6设置为通过包括检测手指的物理触摸12的触敏表面6a来检测显示器6上的被触摸定位7的触摸坐标。在信道18上将检测到的触摸坐标提供给运行HMIOS的EPU 4。
显示器6可以可替代地或附加地设置为通过包括在显示器6上的光学栅格来检测显示器6上的被触摸定位7的触摸坐标，该光学栅格检测在显示器6的表面上的手指定位。
显示器6可以可替代地或附加地设置为通过包括照相机来检测显示器6上的被触摸定位7的触摸坐标，该照相机检测在显示器6的表面上的手指定位。
检查单元10设置为：通过从EDPU 4到显示器6的已生成输出视频流20中提取视频数据，如箭头19指示的，观测在所生成的显示定位处的已显示的按钮5。检查单元10物理地连接至承载从HMIOS到显示器6的视频流20的线路。
可替代地或附加地，检查单元10可以设置为通过在显示器6的输入处提取视频数据来观测在所生成的显示定位处的已显示的按钮5。
HMI 2还包括连接至EDPU 4的存储器30。在存储器30中存储有图形资源文件，该图形资源文件包含待由HMIOS生成的按钮的位图和按钮坐标。显示器6还设置为将检测到的触摸坐标提供给监控元件8。优选地，显示器6设置为通过信道34将表面6a上的检测到的触摸坐标提供给监控元件8，该信道34优选地在操作上和/或物理上独立于HMIOS。HMIOS还设置为将图形资源文件提供给EDPU 4以生成按钮5，并提供给监控元件8。监控元件8还设置为：如果还满足以下条件，则释放所提供的与已显示的按钮5相关的服务请求：所提供的观测按钮位图内容指示符与接收到的图形资源文件的参考按钮位图内容指示符的比较指示所提供的服务请求是有效的，并且所提供的按钮5的坐标与接收到的图形资源文件中包含的按钮坐标的比较指示所提供的服务请求是有效的。参考按钮位图内容指示符优选包括参考CRC值。
监控元件8还设置为将参考时间和/或时间戳根据箭头32提供给HMIOS。HMIOS还设置为将参考时间和/或时间戳提供给所生成的按钮5以在所生成的显示定位处显示。检查单元10还设置为在定位19处观测所观测到的已显示的按钮5的观测参考时间和/或观测时间戳，并经由连接10a将观测参考时间和/或观测时间戳提供给监控元件8。监控元件8还设置为：如果还满足以下条件，则释放所提供的与已显示的按钮5相关的服务请求：提供给HMIOS的参考时间和/或时间戳与观测参考时间和/或观测时间戳的比较指示所提供的服务请求是有效的。
图4是用于处理手指位置敏感型HMI 2的用户的用户输入的方法的示例性实施例的流程图。手指位置敏感型HMI 2优选是上述第二实施例的手指位置敏感型HMI 2。该手指位置敏感型HMI 2包括设置为运行HMIOS的EDPU 4，并且包括连接至EDPU 4的手指位置敏感型显示器6。
图4的方法包括生成按钮5的步骤2000。该方法还包括生成按钮5在显示器6上的显示定位的步骤2002。该方法还包括在显示器6上所生成的显示定位处显示所生成的按钮5的步骤2004。该方法还包括检测手指位置敏感型显示器6上的被触摸定位7的触摸坐标的步骤2006。该方法还包括将检测到的触摸坐标提供给HMIOS的步骤2008。该方法还包括检测由施加到显示器6上的压力引起的力信号的步骤2010。
该方法还包括将检测到的力信号提供给监控元件8的步骤2012。该方法还包括步骤2014：如果满足检测到的触摸坐标与所生成的显示定位相配的条件，则HMIOS生成与已显示的按钮5相关的服务请求，并将该服务请求提供给监控元件8。该方法还包括观测在所生成的显示定位处的已显示的按钮5的步骤2016。该方法还包括生成与观测到的已显示的按钮5相关的像素区域的观测按钮位图内容指示符的步骤2018。该方法还包括将观测按钮位图内容指示符提供给监控元件8的步骤2020。该方法还包括HMIOS将被请求在所生成的显示定位处显示的按钮5的位图的源按钮位图内容指示符提供给监控元件8的步骤2022。
该方法还包括步骤2024：如果满足以下条件，则监控元件8释放所提供的与已显示的按钮5相关的服务请求：提供给监控元件8的检测到的力信号指示至少预定义量的压力已经施加到显示器6，并且所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的。
优选地，该方法包括将检测到的力信号也提供给HMIOS，并且如果满足以下条件，则HMIOS生成与已显示的按钮5相关的服务请求并将该服务请求提供给监控元件8：提供给HMIOS的检测到的力信号指示至少预定义量的压力已经施加到显示器6。
优选地，该方法包括在不使用HMIOS的情况下将检测到的力信号提供给监控元件8。
优选地，为了在该方法中使用，提供给监控元件8的检测到的力信号是第一力信号，并且该方法包括检测由施加到显示器8的例如相同的压力引起的第二力信号并包括将检测到的第二力信号提供给HMI OS，并且包括：如果满足以下条件，则HMIOS生成与已显示的按钮5相关的服务请求并将服务请求提供给监控元件8：提供给HMIOS的检测到的第二力信号指示至少预定义量的压力已经施加到显示器6。
优选地，该方法包括通过第一信道将检测到的第一力信号提供给监控元件8，并且包括通过第二信道将检测到的第二力信号提供给HMI OS。优选地，第一和第二信道优选地在操作上和/或物理上彼此独立。
优选地，在执行该方法时，监控元件8使用在操作上和/或物理上独立的另一EDPU。
优选地，在执行该方法时，监控元件8运行在操作上和/或物理上独立的另一OS。
优选地，在执行该方法时，源按钮位图内容指示符包括基于被请求在所生成的显示定位处显示的按钮5的源位图计算得到的源CRC值。
优选地，在执行该方法时，观测按钮位图内容指示符包括与观测到的已显示的按钮5相关的像素区域的DCIC，该DCIC诸如是观测到的CRC值，该相关例如是覆盖观测到的已显示的按钮5。
优选地，在执行该方法时，观测在所生成的显示定位处的已显示的按钮5包括：例如通过包括物理地连接至承载从HMIOS到显示器6的视频流的线路，从到显示器6的已生成输出视频流中提取视频数据。
优选地，在执行该方法时，观测在所生成的显示定位处的已显示的按钮5包括：从在显示器6的输入处提取视频数据。
优选地，在执行该方法时，检测显示器6上的被触摸定位7的触摸坐标包括：通过检测手指对显示器6的触敏表面的物理触摸来检测显示器6的表面上的手指定位。
优选地，在执行该方法时，检测显示器6上的被触摸定位7的触摸坐标包括：通过检测手指对显示器6上的光学栅格的干扰来检测显示器6的表面上的手指定位。
优选地，在执行该方法时，检测显示器6上的被触摸定位7的触摸坐标包括：通过检测显示器6的表面的照相机信号来检测显示器6的表面上的手指定位。
优选地，该方法包括储存图形资源文件，优选地储存到连接至EDPU 4的存储器30中，图形资源文件包含待由HMIOS生成的按钮5的位图和按钮坐标，优选地通过显示器6和/或优选地不使用HMIOS将检测到的触摸坐标提供给监控元件8，优选地通过使用HMIOS将图形资源文件提供给EDPU 4以生成按钮5并提供给监控元件8，并且如果还满足以下条件，则监控元件8释放所提供的与已显示的按钮5相关的服务请求：所提供的观测按钮位图内容指示符与接收到的图形资源文件的参考按钮位图内容指示符的比较指示所提供的服务请求是有效的，并且所提供的按钮5的坐标与接收到的图形资源文件中包含的按钮坐标的比较指示所提供的服务请求是有效的。参考按钮位图内容指示符优选包括参考CRC值。
优选地，该方法包括优选地使用监控元件8将参考时间和/或时间戳提供给HMIOS，优选地根据箭头32，HMIOS将参考时间和/或时间戳提供给所生成的按钮5以在所生成的显示定位处显示，优选地使用检查单元10观测所观测到的已显示的按钮5的观测参考时间和/或观测时间戳并将该观测参考时间和/或观测时间戳提供给监控元件8，并且如果还满足以下条件，则监控元件8释放所提供的与已显示的按钮5相关的服务请求：提供给HMIOS的参考时间和/或时间戳与观测参考时间和/或观测时间戳的比较指示所提供的服务请求是有效的。
优选地，在执行该方法时，可以使用至少一种计算机程序，该至少一种计算机程序包括程序代码装置，该程序代码装置用于当所述至少一种程序在至少一个计算机上运行时执行本文所述的方法的步骤。
可以提供一种计算机可读介质，该计算机可读介质承载有至少一种计算机程序，该计算机程序包括程序代码装置，该程序代码装置用于当所述至少一种程序产品在至少一个计算机上运行时执行本文所述的方法的步骤。
可以提供一种用于控制手指位置敏感型HMI 2的控制单元，该HMI 2使用HMIOS和连接至HMIOS的手指位置敏感型显示器6，该控制单元配置为执行本文所述的方法的步骤。
应当理解，本发明不限于上面描述的和附图所示的实施例。更确切地说，本领域技术人员将认识到，在所附权利要求书的范围内可以做出许多改变和修改。

Claims (34)

1.一种用于处理用户的用户输入(3)的手指位置敏感型人机接口HMI(2)，所述HMI(2)包括被设置为运行人机接口操作系统HMI OS的电子数据处理单元EDPU(4)并且包括连接至所述EDPU(4)的手指位置敏感型显示器(6)，
所述HMIOS被设置为生成按钮(5)和所述按钮(5)在所述显示器(6)上的显示定位，并请求所述显示器(6)在所生成的显示定位处显示所述按钮(5)，
所述显示器(6)被设置为-在所生成的显示定位处显示所生成的按钮(5)，
-检测所述显示器(6)上的被触摸定位(7)的触摸坐标，
-将检测到的触摸坐标提供给所述HMIOS，
-并且检测由被施加到所述显示器(6)上的压力引起的力信号，
其特征在于：
所述显示器(6)被连接至监控元件(8)，并且还被设置为将检测到的力信号提供给所述监控元件(8)，
所述EDPU(4)被连接至所述监控元件(8)，并且所述HMIOS还被设置为-如果满足以下条件，则生成与已显示的按钮(5)相关的服务请求，并将所述服务请求提供给所述监控元件(8)：检测到的触摸坐标与所生成的显示定位相配，
-并且将被请求在所生成的显示定位处显示的所述按钮(5)的位图的源按钮位图内容指示符提供给所述监控元件(8)，按钮位图内容指示符是指示按钮的位图的内容的一个或多个特征的指示符，
检查单元(10)被连接至所述监控元件(8)并且被设置为
-观测在所生成的显示定位处的已显示的按钮(5)，
-生成与观测到的已显示的按钮(5)相关的像素区域的观测按钮位图内容指示符，
-并且将所述观测按钮位图内容指示符提供给所述监控元件(8)，
所述监控元件(8)被设置为：如果满足以下条件，则释放所提供的与已显示的按钮(5)相关的服务请求：
-提供给所述监控元件(8)的检测到的力信号指示至少预定义量的压力已经被施加到所述显示器(6)，以及
-所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的，
所述观测按钮位图内容指示符包括覆盖观测到的已显示的按钮(5)的像素区域的显示内容完整性校验符DCIC。
2.根据权利要求1所述的手指位置敏感型人机接口HMI(2)，其中，检测到的力信号也被提供给所述HMIOS，并且所述HMIOS还被设置为：如果满足以下条件，则生成与已显示的按钮(5)相关的服务请求，并将所述服务请求提供给所述监控元件(8)：
提供给所述HMIOS的检测到的力信号指示至少预定义量的压力已经被施加到所述显示器(6)。
3.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，所述显示器(6)被设置为通过信道将检测到的力信号提供给所述监控元件(8)。
4.根据权利要求3所述的手指位置敏感型人机接口HMI(2)，其中，所述显示器(6)被设置为通过在操作上和/或物理上独立于所述HMIOS的信道将检测到的力信号提供给所述监控元件(8)。
5.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，提供给所述监控元件(8)的检测到的力信号是第一力信号，并且其中，所述显示器(6)还被设置为检测由被施加到所述显示器(6)的相同的压力引起的第二力信号，并且其中，检测到的第二力信号被提供给所述HMIOS，并且所述HMIOS还被设置为：如果满足以下条件，则生成与已显示的按钮(5)相关的服务请求并将所述服务请求提供给所述监控元件(8)：
提供给所述HMIOS的检测到的第二力信号指示至少预定义量的压力已经被施加到所述显示器(6)。
6.根据权利要求5所述的手指位置敏感型人机接口HMI(2)，其中，所述显示器(6)被设置为通过第一信道将检测到的第一力信号提供给所述监控元件(8)，并通过第二信道将检测到的第二力信号提供给所述HMIOS。
7.根据权利要求6所述的手指位置敏感型人机接口HMI(2)，其中，所述第一信道和所述第二信道在操作上和/或物理上彼此独立。
8.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，所述监控元件(8)包括在操作上和/或物理上独立的另一EDPU，和/或包括在操作上和/或物理上独立的另一操作系统OS。
9.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，所述手指位置敏感型显示器(6)包括车辆的电子控制单元ECU的车载显示器。
10.根据权利要求9所述的手指位置敏感型人机接口HMI(2)，其中，所述车辆包括翻斗车。
11.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，
所述源按钮位图内容指示符包括基于被请求在所生成的显示定位处显示的按钮(5)的源位图计算得到的源循环冗余校验CRC值。
12.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，所述显示器(6)被设置为通过包括以下部件来检测所述显示器(6)上的被触摸定位(7)的触摸坐标：
-触敏表面(6a)，所述触敏表面(6a)检测手指的物理触摸(12)，和/或
-在所述显示器(6)上的光学栅格，所述光学栅格检测在所述显示器(6)的表面上的手指定位，和/或
-照相机，所述照相机检测在所述显示器(6)的表面上的手指定位。
13.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，包括连接至所述EDPU(4)的存储器(30)，所述存储器存储有图形资源文件，所述图形资源文件包含待由所述HMIOS生成的所述按钮(5)的位图和按钮坐标，
所述显示器(6)还被设置为将检测到的触摸坐标提供给所述监控元件(8)，
所述显示器(6)被设置为通过信道将检测到的触摸坐标提供给所述监控元件(8)，
所述HMIOS还被设置为将所述图形资源文件既提供给所述EDPU(4)以生成所述按钮(5)，并且也提供给所述监控元件(8)，
所述监控元件(8)还被设置为：如果还满足以下条件，则释放所提供的与已显示的按钮(5)相关的服务请求：
-所提供的观测按钮位图内容指示符与接收到的图形资源文件的参考按钮位图内容指示符的比较指示所提供的服务请求是有效的，并且
-所提供的所述按钮(5)的坐标与接收到的图形资源文件中包含的按钮坐标的比较指示所提供的服务请求是有效的。
14.根据权利要求13所述的手指位置敏感型人机接口HMI(2)，其中，所述显示器(6)被设置为通过在操作上和/或物理上独立于所述HMIOS的信道将检测到的触摸坐标提供给所述监控元件(8)。
15.根据权利要求13所述的手指位置敏感型人机接口HMI(2)，其中，所述参考按钮位图内容指示符包括参考CRC值。
16.根据权利要求1或2所述的手指位置敏感型人机接口HMI(2)，其中，
所述监控元件(8)还被设置为将参考时间和/或时间戳提供给所述HMIOS，
所述HMIOS还被设置为将所述参考时间和/或所述时间戳提供给要在所生成的显示定位处显示的所生成的按钮(5)，
所述检查单元(10)还被设置为观测所观测到的已显示的按钮的观测参考时间和/或观测时间戳并将所述观测参考时间和/或观测时间戳提供给所述监控元件(8)，以及
所述监控元件(8)还被设置为：如果还满足以下条件，则释放所提供的与已显示的按钮(5)相关的服务请求：
-提供给所述HMIOS的所述参考时间和/或时间戳与所述观测参考时间和/或观测时间戳的比较指示所提供的服务请求是有效的。
17.一种车辆，包括根据权利要求1至16中任一项所述的手指位置敏感型人机接口HMI(2)，所述手指位置敏感型人机接口HMI(2)被永久安装在所述车辆内，或者是分立单元。
18.根据权利要求17所述的车辆，其中，所述车辆包括翻斗车。
19.根据权利要求17所述的车辆，其中，所述分立单元包括便携式设备。
20.一种用于处理手指位置敏感型HMI(2)的用户的用户输入(3)的方法，所述HMI(2)包括被设置为运行HMIOS的EDPU(4)并且包括连接至所述EDPU(4)的手指位置敏感型显示器，所述方法包括以下步骤：
-生成按钮(5)并且生成所述按钮(5)在所述显示器(6)上的显示定位，并且请求所述显示器(6)在所生成的显示定位处显示所述按钮(5)，
-在所述显示器(6)上所生成的显示定位处显示所生成的按钮(5)，
-检测所述手指位置敏感型显示器(6)上的被触摸定位(7)的触摸坐标，并且将检测到的触摸坐标提供给所述HMIOS，
-检测由被施加到所述显示器(6)上的压力引起的力信号，
其特征在于：
-所述显示器(6)将检测到的力信号提供给连接至所述显示器监控元件(8)，
-如果满足以下条件，则所述HMIOS生成与已显示的按钮(5)相关的服务请求，并将所述服务请求提供给所述监控元件(8)：检测到的触摸坐标与所生成的显示定位相配，
-观测在所生成的显示定位处的已显示的按钮(5)，
-生成与观测到的已显示的按钮(5)相关的像素区域的观测按钮位图内容指示符，
-将所述观测按钮位图内容指示符提供给所述监控元件(8)，
-所述HMIOS将被请求在所生成的显示定位处显示的所述按钮(5)的位图的源按钮位图内容指示符提供给所述监控元件(8)，
-如果满足以下条件，则所述监控元件(8)释放所提供的与已显示的按钮(5)相关的服务请求：
提供给所述监控元件(8)的检测到的力信号指示至少预定义量的压力已经被施加到所述显示器(6)，以及
所提供的观测按钮位图内容指示符与所提供的源按钮位图内容指示符的比较指示所提供的服务请求是有效的，
所述观测按钮位图内容指示符包括覆盖观测到的已显示的按钮(5)的像素区域的DCIC。
21.根据权利要求20所述的方法，所述HMIOS包括Andriod。
22.根据权利要求20所述的方法，所述方法包括将检测到的力信号也提供给所述HMIOS，并且如果满足以下条件，则所述HMIOS生成与已显示的按钮(5)相关的服务请求并将所述服务请求提供给所述监控元件(8)：
提供给所述HMIOS的检测到的力信号指示至少预定义量的压力已经被施加到所述显示器(6)。
23.根据权利要求20至22中任一项所述的方法，包括在不使用所述HMIOS的情况下将检测到的力信号提供给所述监控元件(8)。
24.根据权利要求20至22中任一项所述的方法，其中，提供给所述监控元件(8)的检测到的力信号是第一力信号，并且所述方法包括检测由被施加到所述显示器(6)上的相同的压力引起的第二力信号并将检测到的第二力信号提供给所述HMIOS，并且如果满足以下条件，则所述HMIOS生成与已显示的按钮(5)相关的所述服务请求并将所述服务请求提供给所述监控元件(8)：
提供给所述HMIOS的检测到的第二力信号指示至少预定义量的压力已经被施加到所述显示器(6)。
25.根据权利要求24所述的方法，包括通过第一信道将检测到的第一力信号提供给所述监控元件(8)，并通过第二信道将检测到的第二力信号提供给所述HMIOS。
26.根据权利要求25所述的方法，其中，所述第一信道和所述第二信道在操作上和/或物理上彼此独立。
27.根据权利要求20至22中任一项所述的方法，所述监控元件(8)使用在操作上和/或物理上独立的另一EDPU，和/或运行在操作上和/物理上独立的另一OS。
28.根据权利要求20至22中任一项所述的方法，其中，
所述源按钮位图内容指示符包括基于被请求在所生成的显示定位处显示的按钮(5)的源位图计算得到的源CRC值。
29.根据权利要求20至22中任一项所述的方法，其中，检测所述显示器(6)上的被触摸定位(7)的触摸坐标包括通过检测以下项来检测所述显示器(6)的表面上的手指定位：
-所述手指对所述显示器(6)的触敏表面的物理触摸，和/或
-所述手指对所述显示器(6)上的光学栅格的干扰，和/或
-所述显示器(6)的表面的照相机信号。
30.根据权利要求20至22中任一项所述的方法，包括：
将图形资源文件储存在连接至所述EDPU(4)的存储器(30)中，所述图形资源文件包含待由所述HMIOS生成的按钮(5)的位图和按钮坐标，
通过所述显示器(6)和/或不使用所述HMIOS，将检测到的触摸坐标提供给所述监控元件(8)，
通过使用所述HMIOS，将所述图形资源文件既提供给所述EDPU(4)以生成所述按钮(5)，并且也提供给所述监控元件(8)，以及
如果还满足以下条件，则所述监控元件(8)释放所提供的与已显示的按钮(5)相关的服务请求：
-所提供的观测按钮位图内容指示符与接收到的图形资源文件的参考按钮位图内容指示符的比较指示所提供的服务请求是有效的，并且
-所提供的所述按钮(5)的坐标与接收到的图形资源文件中包含的按钮坐标的比较指示所提供的服务请求是有效的。
31.根据权利要求30所述的方法，其中，所述参考按钮位图内容指示符包括参考CRC值。
32.根据权利要求20至22中任一项所述的方法，其中，
通过使用所述监控元件(8)，将参考时间和/或时间戳提供给所述HMIOS，
所述HMIOS将所述参考时间和/或时间戳提供给要在所生成的显示定位处显示的所生成的按钮(5)，
通过使用检查单元(10)，观测所观测到的已显示的按钮的观测参考时间和/或观测时间戳并将所述观测参考时间和/或观测时间戳提供给所述监控元件(8)，以及
如果满足以下条件，则所述监控元件(8)释放所提供的与已显示的按钮(5)相关的服务请求：
-提供给所述HMIOS的所述参考时间和/或时间戳与所述观测参考时间和/或观测时间戳的比较指示所提供的服务请求是有效的。
33.一种计算机可读介质，所述计算机可读介质承载有至少一种计算机程序，所述至少一种计算机程序包括程序代码装置，所述程序代码装置用于当所述至少一种计算机程序在至少一个计算机上运行时执行根据权利要求20至32中任一项所述的方法的步骤。
34.一种用于控制手指位置敏感型HMI(2)的控制单元，所述HMI(2)使用HMIOS和连接至所述HMIOS的手指位置敏感型显示器(6)，所述控制单元被配置为执行根据权利要求20至32中任一项所述的方法的步骤。
CN201980071248.8A 2018-11-06 2019-10-28 手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法 Active CN112930518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EPPCT/EP2018/080310 2018-11-06
PCT/EP2018/080310 WO2020094214A1 (en) 2018-11-06 2018-11-06 A finger-position sensitive human machine interface for handling a user input of a user and a method for handling a user input of a user of a finger-position sensitive human machine interface
PCT/EP2019/079406 WO2020094444A1 (en) 2018-11-06 2019-10-28 A finger-position sensitive human machine interface for handling a user input of a user and a method for handling a user input of a user of a finger-position sensitive human machine interface

Publications (2)

Publication Number Publication Date
CN112930518A CN112930518A (zh) 2021-06-08
CN112930518B true CN112930518B (zh) 2024-05-24

Family

ID=64184085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980071248.8A Active CN112930518B (zh) 2018-11-06 2019-10-28 手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法

Country Status (4)

Country Link
US (1) US11520428B2 (zh)
EP (1) EP3877833A1 (zh)
CN (1) CN112930518B (zh)
WO (2) WO2020094214A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101401397A (zh) * 2006-03-14 2009-04-01 西门子技术至商业中心有限责任公司 用于开发和/或使用电话用户接口的系统
CN101529368A (zh) * 2006-09-06 2009-09-09 苹果公司 用于从手指与触摸屏显示器的接触来确定光标位置的方法
CN102609185A (zh) * 2010-12-29 2012-07-25 微软公司 用于触摸显示器的虚拟控制器
JP2013058136A (ja) * 2011-09-09 2013-03-28 Kddi Corp 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
CN104995593A (zh) * 2012-12-12 2015-10-21 英国电讯有限公司 用于处理列表的触摸屏设备
CN105045377A (zh) * 2014-04-28 2015-11-11 福特全球技术公司 使用模拟纹理用于触觉反馈的机动车触摸屏幕控制部
CN105700793A (zh) * 2014-12-15 2016-06-22 佳能株式会社 图像形成设备、用户接口设备及其控制方法
CN108292570A (zh) * 2015-11-20 2018-07-17 Fm销售股份有限公司 具有设计为电容式传感器的稳定膜的远程控制器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274484B2 (en) * 2008-07-18 2012-09-25 Microsoft Corporation Tracking input in a screen-reflective interface environment
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20170285858A1 (en) 2016-03-30 2017-10-05 Intel Corporation Intelligent pressure sensitive display
CN109074186B (zh) * 2016-04-08 2022-12-06 希迪普公司 压力传感器、含其的触摸输入装置及用其的压力检测方法
KR20180074875A (ko) * 2016-12-23 2018-07-04 삼성디스플레이 주식회사 변속 레버 및 이를 포함하는 차량 제어 시스템
US10871847B2 (en) * 2017-09-29 2020-12-22 Apple Inc. Sensing force and press location in absence of touch information
CN116775177A (zh) * 2018-06-27 2023-09-19 中兴通讯股份有限公司 显示控件调整方法、装置、终端及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101401397A (zh) * 2006-03-14 2009-04-01 西门子技术至商业中心有限责任公司 用于开发和/或使用电话用户接口的系统
CN101529368A (zh) * 2006-09-06 2009-09-09 苹果公司 用于从手指与触摸屏显示器的接触来确定光标位置的方法
CN102609185A (zh) * 2010-12-29 2012-07-25 微软公司 用于触摸显示器的虚拟控制器
JP2013058136A (ja) * 2011-09-09 2013-03-28 Kddi Corp 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
CN104995593A (zh) * 2012-12-12 2015-10-21 英国电讯有限公司 用于处理列表的触摸屏设备
CN105045377A (zh) * 2014-04-28 2015-11-11 福特全球技术公司 使用模拟纹理用于触觉反馈的机动车触摸屏幕控制部
CN105700793A (zh) * 2014-12-15 2016-06-22 佳能株式会社 图像形成设备、用户接口设备及其控制方法
CN108292570A (zh) * 2015-11-20 2018-07-17 Fm销售股份有限公司 具有设计为电容式传感器的稳定膜的远程控制器

Also Published As

Publication number Publication date
WO2020094444A1 (en) 2020-05-14
WO2020094214A1 (en) 2020-05-14
CN112930518A (zh) 2021-06-08
EP3877833A1 (en) 2021-09-15
US11520428B2 (en) 2022-12-06
US20220004278A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US9442619B2 (en) Method and device for providing a user interface, in particular in a vehicle
US8564560B2 (en) Method for operating a control system for a vehicle and control system for a vehicle
WO2006027924A1 (ja) 入力装置
KR20150012300A (ko) 터치 스크린의 오조작 방지방법, 터치 스크린, 이동단말장치, 프로그램 및 기록매체
JP2006059238A (ja) 情報入力表示装置
JPH07281810A (ja) マルチデバイス入力システムを有するコンピュータシステム
EP2551787B1 (de) Vorrichtung und Verfahren für eine sicherheitsrelevante Eingabe über ein Anzeigegerät mit Berührungseingabe
CN102473057A (zh) 操作单元、医疗设备和操作该设备的方法
JP2005063024A (ja) 故障診断装置
KR101928637B1 (ko) 차량에서의 조작 방법 및 조작 시스템
CN104423836A (zh) 信息处理装置
US10114474B2 (en) Method and device for operating an input device
US20130082969A1 (en) Electronic device using touch panel input and method for receiving operation thereby
CN112930518B (zh) 手指位置敏感型人机接口和用于处理手指位置敏感型人机接口的用户的用户输入的方法
CN108108107B (zh) 显示系统
JP2006085218A (ja) タッチパネル操作装置
KR101573287B1 (ko) 전자기기에서 터치 위치 디스플레이 방법 및 장치
US20200192546A1 (en) Display device, machine tool and abnormality determination method
JP6390380B2 (ja) 表示操作装置
JPH11191036A (ja) ウィンドウ移動装置
EP3796147A1 (en) Method for coordinating an electronic control unit and a touch screen input device in a motor vehicle and vehicle operating apparatus and motor vehicle
WO2024050221A1 (en) Integrated control display system and construction machinery with the same
JPH08161115A (ja) タッチパネル入力装置
JPH09152854A (ja) 画面制御方法及び装置及び部品実装機
KR20160068934A (ko) 디스플레이 요소를 표시하기 위한 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant