CN110488994A - 用于降低不规则运动的影响的仪器界面 - Google Patents

用于降低不规则运动的影响的仪器界面 Download PDF

Info

Publication number
CN110488994A
CN110488994A CN201910768736.6A CN201910768736A CN110488994A CN 110488994 A CN110488994 A CN 110488994A CN 201910768736 A CN201910768736 A CN 201910768736A CN 110488994 A CN110488994 A CN 110488994A
Authority
CN
China
Prior art keywords
filter
image
instrument
user
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910768736.6A
Other languages
English (en)
Other versions
CN110488994B (zh
Inventor
P·潘迪
R·斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics International NV
Original Assignee
STMicroelectronics International NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics International NV filed Critical STMicroelectronics International NV
Priority to CN201910768736.6A priority Critical patent/CN110488994B/zh
Publication of CN110488994A publication Critical patent/CN110488994A/zh
Application granted granted Critical
Publication of CN110488994B publication Critical patent/CN110488994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及用于降低不规则运动的影响的仪器界面。描述了用于在通过图形用户界面操作仪器期间降低不规则运动输入的影响的装置和方法。从用户接收的空间运动输入可以使用在校准过程期间获得的滤波器参数来滤波。经滤波的运动输入可以被用于预测用来选择图标或文本的光标或对象的轨迹。该图标或文本可以被锁定到接近的光标或对象。运动平滑和锁定的结合可以改善对于具有神经肌肉障碍的个体或在高振动环境下操作仪器的用户的图形用户界面的易操作性。

Description

用于降低不规则运动的影响的仪器界面
本申请是申请日为2015年9月2日、申请号为201510557947.7、发明名称为“用于降低不规则运动的影响的仪器界面”的专利申请的分案申请。
技术领域
本技术涉及一种在旨在控制仪器的图形用户输入期间降低不期望的不规则运动(erratic motion)的影响的仪器界面和/或控制器。这样的伪运动可能是环境振动或神经肌肉障碍的结果。
背景技术
如今,许多仪器可以通过图形用户界面(GUI)操作,其在1973年首先在帕洛阿尔托研究中心实施。GUI已发现在计算机、智能电话、个人数字电子设备、商用仪器、汽车、电视以及一些现代家用电器上的应用。大多数GUI提供能够由用户选择的图标和/或文本菜单。在一些情况下,利用鼠标(例如,指向-点击(point-and-click))或其他远程控制器完成选择。在一些情况下,可以通过在显示器屏幕上以手指或触笔追踪、接触和/或轻敲图标或文本来完成选择。例如,显示器屏幕可以包括能够检测接近屏幕或接触屏幕的对象并确定对象的位置的电容式传感器。
尽管GUI提供用于多种仪器的方便且用户友好的界面,但是在一些环境和/或对于一些用户来说GUI可能难于操作。例如,当处于在地形条件恶劣地区的交通工具中旅行时,很难精确地指向并点击到期望的图标或文本。另外,具有神经肌肉损伤或疾病的用户,诸如从中风后恢复的或有帕金森症疾病的用户,经受着无意识的肌肉活动,这些无意识的肌肉活动会使他们不能做出指向GUI上的特定位置所需的精准受控运动。
发明内容
描述了一种用于能够在图形用户输入期间降低不规则运动的影响的仪器界面的装置和方法。在一些实施例中,仪器界面包括能够针对一个或多个用户进行校准以对运动输入数据进行滤波的空间-滤波电路。在一些实施例中,用于运动的至少两个坐标轴的滤波器可以独立地被校准。仪器界面还可以被配置为预测有可能出现的继续运动的路径。仪器界面可以为一个或多个处于预测路径内的能选择的图像进行加权,并且将能选择的图像中的至少一个图像“锁定”到用于选择图像并激活与图像相关联的功能的接近的光标或对象。对输入运动进行滤波和锁定的组合能够改善用于神经肌肉障碍的个体的图形用户界面的用户友善性。
依据一些实施例,用于操作仪器的仪器界面可以包括:一个或多个运动传感器,被配置为在至少两个维度上感测表示用户输入的运动并产生二维的运动数据;第一滤波器,被配置为对与第一维度对应的运动数据进行滤波;以及第二滤波器,被配置为对与第二维度对应的运动数据进行滤波,其中用于所述第一滤波器的第一参数能由用户独立地通过软件操作从用于第二滤波器的第二参数进行重新配置。在一些实施例中,仪器界面还可以包括处理器和与所述处理器通信的视觉显示器。依据一些实施例,视觉显示器可以包括计算机的屏幕或智能电话的屏幕,并且处理器可以包括用于仪器的中央电子处理器。
在一些方面中,第一参数以及第二参数可以基于至少由处理器执行的校准过程被独立地重新配置。在一些实施方案中,所述第一滤波器或所述第二滤波器包括具有能够通过软件操作独立地被重新配置的截止频率的低通滤波器。所述第一滤波器或所述第二滤波器可以包括多抽头有限脉冲响应滤波器。依据一些实施方案,抽头的数量可以大于10。
在一些实施方案中,用于仪器界面的处理器可以被配置为基于从所述第一滤波器接收的经滤波的第一运动数据和从所述第二滤波器接收的经滤波的第二运动数据来标识对应于所述用户输入的运动。在一些方面中,处理器还被配置为显示并且移动在视觉显示器上表示经标识的所述运动的光标。依据一些方面,处理器还可以被配置为基于经标识的所述运动预测用于所述用户输入的路径并且向所述路径上的至少一个能选择的图像分配加权值。
在一些方面中,处理器还可以被配置为至少基于在所述路径中的能选择的图像的加权值来锁定所述能选择的图像。依据一些实施例,当所述能选择的图像被锁定时,被锁定的能选择的图像可以是能由所述用户选择的唯一的能选择的图像。在一些情况下,处理器被配置为当所述能选择的图像被锁定时,改变被锁定的能选择的图像的外观。
在一些实施方案中,仪器界面可以实施为远程控制器或还可以包括远程控制器,其中所述运动传感器、所述第一滤波器以及所述第二滤波器位于所述远程控制器处。
一些实施例包括用于操作仪器的远程控制器,所述远程控制器可以包括一个或多个运动传感器,被配置为在至少两个维度上感测表示用户输入的运动并产生二维的运动数据;第一滤波器,被配置为对与第一维度对应的运动数据进行滤波;以及第二滤波器,被配置为对与第二维度对应的运动数据进行滤波。在一些实施例中,用于所述第一滤波器的第一参数能由用户独立地通过软件操作从用于第二滤波器的第二参数进行重新配置。
在一些方面中,远程控制器可以被配置为计算机鼠标。在一些实施方案中,所述远程控制器被配置为从与所述远程控制器通信的外部设备接收所述第一参数和所述第二参数。所述外部设备可以是计算机。
在一些实施方案中,远程控制器还包括含所述第一滤波器和所述第二滤波器的专用集成电路。
上文中的方面、特征以及实施方案可以以任何适合的组合的方式使用在一个或多个被配置为降低不规则的用户输入运动的影响的仪器界面的实施例中。
依据一些实施例,用于操作仪器界面的方法可以包括以下动作:(a)利用运动传感器在至少两个维度上感测第一用户输入运动,(b)产生表示所述第一用户输入运动的二维的运动数据,(c)利用具有能调节的第一滤波器参数的第一滤波器对针对第一维度的运动数据进行滤波,(d)利用具有能调节的第二滤波器参数的第二滤波器对针对第二维度的运动数据进行滤波。在一些实施例中,用于操作仪器界面的方法还可以包括至少基于第一用户输入运动、从第二滤波器参数独立地重新配置至少所述第一滤波器参数。该重新配置可以通过软件操作来完成。
在一些方面中,用于操作仪器界面的方法还可以包括在所述仪器界面的视觉显示器上显示参考路径,其中所述第一用户输入运动表示追踪所述参考路径。在一些实施方案中,方法还可以包括:从针对所述第一维度和所述第二维度的经滤波的运动数据计算平滑路径,通过减少在所述平滑路径和所述参考路径之间的第一方向上的误差来确定所述第一滤波器的第一滤波器参数,以及通过减少在所述平滑路径和所述参考路径之间的第二方向上的误差来确定所述第二滤波器的第二滤波器参数。
依据一些实施方案,至少所述第一滤波器包括具有第一截止频率的第一低通滤波器,并且其中独立地重新配置的动作包括独立于改变所述第二滤波器的参数来更改所述第一截止频率。在一些方面中,至少所述第一滤波器包括多抽头有限脉冲响应滤波器。在一些情况下抽头的数量可以大于10。
在一些方面中,用于操作仪器界面的方法还可以包括显示并且移动在所述仪器界面的视觉显示器上表示第二用户输入运动的光标。在一些情况下,方法可以包括:基于经滤波的、所述第二用户输入运动的运动数据来确定所述第二用户输入运动的预测路径,以及将加权值分配给在路径中的至少一个能选择的图像。
在一些实施方案中,用于操作仪器界面的方法还可以包括:至少基于在所述预测路径中的能选择的图像的加权值,对所述能选择的图像进行锁定。在一些方面中,当所述能选择的图像被锁定时,方法可以仅允许选择锁定的能选择的图像。在一些方面中,用于操作仪器界面的方法还可以包括当所述能选择的图像被锁定时,改变被锁定的能选择的图像的外观。
上文中的方面、特征的实施方案以及动作可以以任何适合的组合的方式被包括在一个或多个用于操作仪器界面的方法的实施例中。此外,上面描述的一个或多个方法可以被实施在上面描述的仪器界面的不同实施例中。
上面的发明内容通过示例的方式提供而并非旨在限制。
附图说明
本领域的技术人员将理解在这里描述的附图仅仅出于示例的目的。同样理解的是在一些情况下,实施例的不同方面可以被夸大或放大地示出以易于理解实施例。在附图中,相同的参考标记一般涉及相同的特征,在全部附图中的功能相似和/或结构相似的元件。附图不必按比例绘制,而是强调说明教导的原理。附图并非旨在以任何方式限制本教导的范围。
图1示出了仪器的图形用户界面和在一些情况下可能出现的不规则的输入运动;
图2描绘了依据一些实施例的具有图形用户界面和外围控制器的仪器的实施例;
图3A描绘了在一些实施例中的包括图形用户界面的仪器的部件;
图3B描绘了依据一些实施例的外围控制器的部件;
图4A描绘了依据一些实施例的对不规则运动的平滑化;
图4B示出了依据一些实施例的校准例程的方面;
图4C描绘了依据一些实施方案的与运动输入数据相关联的方向矢量V[n];
图5A-5D示出了依据一些实施方案的将图标锁定到接近的光标的方面;
图6表示了依据一些实施例的一些可以用于降低不规则运动输入的影响的算法的动作;
图7表示了依据一些实施例的一些可以用于校准运动输入滤波器以降低伪运动输入的影响的算法的动作;以及
图8表示了依据一些实施例的可以用于降低不规则运动输入的影响的算法的动作。
本教导的方面、实施例以及特征能够结合附图从下面的说明书中更加充分地被理解。
具体实施方式
如上面描述的,图形用户界面(GUI)能够提供用于操作不同类型仪器(例如计算机、智能电话、PDA、智能家电等)的方便的用户界面。然而,发明人意识到,GUI对于一些用户(例如患有像帕金森症疾病的神经肌肉损伤的用户)以及在一些环境下(例如高振动环境)可能难于操作。图1示出了这些困难的实例。
仪器的视觉显示器100可以被呈现给用户,并且可以包括屏幕或触敏屏幕105,该屏幕或触敏屏幕105包括一个或多个能选择的图像120。能选择的图像可以包括图标、菜单的文本栏、URL链接、单选按钮等等。图像120的选择可以启动仪器的某个特定功能或在仪器的操作上的应用的执行。在一些使用条件下,用户可在朝向能选择的图像的期望方向上沿着相当笔直的路径150移动光标140(或触笔或手指)并且通过点击鼠标、轻敲触敏平板设备或触摸屏幕105来选择图像。对于具有神经肌肉障碍的用户或试图在高振动的环境下操作仪器的用户来说,可能不能在光标140的位置上执行精准的控制。相反的,光标140可能不规则地沿着迂回的路径170移动,并且可能由于无意识的肌肉运动或振动运动而无法稳定地放置在能选择的图像上。由于缺乏精准的位置控制,所以会难于选择期望的图像。
发明人已经领会到,一些操作系统提供了用于降低显示在GUI上的光标的速度的措施。例如,光标速度可以通过鼠标降低或增加。改变速度本质上是改变鼠标到光标(mouse-to-cursor)运动的放大率并且同等地应用到水平轴和竖直轴二者上。一些系统允许用户改变图标或能选择的图像的大小(其可能减少能够在屏幕上显示的图像的数量),并且一些系统示出拖尾的光标。尽管这些措施能够帮助一些用户,然而它们提供有限的功能上的辅助并且本质上并没有改善。
在这些困难的角度上,发明人已经开发了用于改善仪器的界面的方法和装置,以便在用户旨在控制仪器的运动输入期间降低不规则运动的影响。图2描绘了依据一些实施例的仪器200,在该仪器200上可以实施用于降低不规则运动输入的影响的方法和装置。总体上看,仪器200可包括至少一个视觉显示器210,图形用户界面可以在其上被呈现给用户。依据一些实施例,视觉显示器可以是触敏的,例如包括能检测用户的手指或触笔的接触或接近以及其在屏幕上的位置的传感器。在一些实施例中,仪器200可包括远程控制器230(例如包括一个或多个运动传感器以感测在两个方向上的运动的鼠标,包含被配置用于感测由用户提供的运动输入的加速度计和/或陀螺仪的手持控制器,包含RF或光辐射源的手持控制器,等等)。远程控制器可以经由有线的或无线的通信链路与仪器200进行通信。仪器200例如可以包括至少一个处理器和被配置为提供特定功能的电子设备,特定功能例如是与联网的仪器通信、执行数学计算、提供文字处理或电子表格功能、提供导航信息、控制制造设备、管理对机器或如汽车或飞机之类的交通工具的控制、管理对器械的控制、以及管理对加热设备、空气设备和/或通风设备的控制。在一些实施方案中,仪器可以提供多个特定的功能。
在进一步的详述中,并且参考图3A,仪器200可以包括总线105上通信的硬件和电路。依据一些实施例,仪器200可以包括至少一个处理器301a,310b。至少一个处理器可以被配置为管理或控制仪器和外围设备(如存在)的操作。至少一个处理器可以结合存储器设备320a,320b来使用。存储器可以包括任意类型和形式的RAM型存储器设备以及ROM型存储器设备。存储器设备可以存储能够被加载到至少一个处理器并由该处理器执行的机器可读指令,以特别地使至少一个处理器适合于执行由机器可读指令限定的功能。存储器还用于存储由一个或多个与仪器通信的传感器收集的数据或在操作仪器期间产生的数据。在操作时,操作系统可以在至少一个处理器上执行并且提供用于用户交互和仪器的操作,其可以包括在设备上运行一个或多个软件应用。
根据一些实施例,处理器310a,310b可以包括任意类型和形式的电子数据处理设备,例如任意一个微处理器或其组合、微控制器、数字信号处理器、专用集成电路(ASIC)以及现场可编程门阵列(FPGA)。在一些实施例中,在系统中可能存在多于一个的处理器,例如,双核或多核处理器,或多个与至少一个控制处理器通信的处理器。
电子设备还可以包括一个或多个显示元件340(例如字母数字显示器,LED指示器等),其可以是除了视觉显示器210之外的。在一些实施例中,仪器200还可以包括一个或多个输入/输出设备360(例如键盘、按钮、开关、麦克风、扬声器、打印机)以及通信部件330(例如网卡或联网板以及相关联的软件或固件、无线收发器和/或物理插槽)。仪器200可以包括设备驱动器350,例如特别地被设计用于在一个或多个处理器上执行的并且使处理器适合于与控制系统部件进行通信的软件模块。在一些实施例中,仪器200可以包括加密/解密硬件和/或可以被用于为选择的传出的数据传输加密以及为传入的加密数据传输进行解密的软件370。仪器200的部件可以在承载数据并控制部件之间的信号的总线305上通信。该总线可以提供用于系统的扩展以包括未在图3A中示出的其他部件。
在一些实施例中,仪器200包括至少一个被布置为检测由用户提供的并旨在控制仪器200的操作的运动输入的传感器380。至少一个传感器380可以包括任意适合类型的运动传感器或多个运动传感器(例如在鼠标中使用的光学传感器,加速度计,旋转编码器等)。传感器380可以在一些实施方案中包括电容式触板,或在一些实施例中包括触屏。触敏传感器可以包括电容式阵列。一些传感器380可以包括射频源和/或用于检测用户输入运动的RF检测器。例如,在一些实施例中,运动可以由RF信号的三角测量来检测。一些传感器380可以包括光源和/或用于检测用户输入运动的检测器或成像器。在不同的实施例中,一个或多个运动传感器可以被配置为在至少两个维度上产生旨在控制仪器200的表示用户输入运动的运动数据。
在一些实施例中,远程控制器230可以同样包括在图3B中描绘的电路和硬件。例如,计算机鼠标或手持远程控制器可以包括或可以不包括在处理器310中。控制器可以包括存储器320以及如上所述的通信装置330。远程控制器还可以包括输入/输出设备360(例如按钮,旋钮,操纵杆等)。在一些实施例中,远程控制器可以包括一个或多个被配置为检测远程控制器230的运动的传感器385。例如一些传感器385可以包括用于感测用户输入运动的至少一个加速度计、陀螺仪或磁强计。一些传感器385可以包括射频源和/或用于检测用户输入运动的RF检测器。例如,运动可以由RF信号的三角测量来检测。一些传感器385可以包括光源和/或用于检测使远程控制器移动的用户输入运动的检测器或成像器。在不同的实施例中,一个或多个运动传感器可以被配置为在至少两个维度上产生表示使远程控制器移动并且旨在控制仪器200的用户输入运动的运动数据。在一些实施例中,原始的或经滤波的运动数据可以从在远程控制器230上的传感器被传输至仪器200用于处理。
依据一些实施例,远程控制器230还可以包括特别地用于为从一个或多个传感器385接收的运动输入数据进行滤波的专用集成电路(ASIC)390、置于处理器310上的操作系统中的机器可读指令或现场可编程门阵列(FPGA)。在一些实施例中,ASIC、机器可读指令或FPGA可以被实施在仪器200上而不是远程控制器上。在不同的实施例中,ASIC、机器可读指令或FPGA提供对运动输入数据的空间滤波,以便如图4A中描绘的那样使不规则的运动平滑。
例如,用户可以沿着不规则地朝向能选择的图像120行进的实际路径410移动光标140,并且一个或多个传感器380、385可以生成表示不规则路径410的原始运动数据。原始运动数据可以由ASIC、被适配有机器可读指令的处理器或FPGA接收并滤波以产生表示平滑路径420的经平滑的运动数据。仪器的处理器310a,310b可以接收经平滑的运动数据并且根据经平滑的运动数据、而不是不规则的运动数据410来标识用户的运动输入。
在一些实施例中,ASIC、机器可读指令或FPGA可以被配置为利用具有截止频率Fc的有限脉冲响应(FIR)滤波器实施对原始运动数据的滤波。在一些实施例中,ASIC、机器可读指令或FPGA可以被配置为利用针对每一坐标轴的不同FIR滤波器分别地对与GUI相关联的每一方向坐标轴(例如沿着视觉显示器的X轴和Y轴)的原始运动数据进行滤波。可以为每一坐标轴独立地设定滤波器参数,并且滤波器可具有不同的并且能分别调节的截止频率Fc,x和Fc,y。依据一些实施例,可以利用下面示出形式的用于x轴数据的等式数字地实施对每一坐标轴的滤波,但在其他的实施例中可以采用其他的滤波方法。
其中a[k]为用于相应坐标轴的滤波器系数。在一些实施例中,可以使用下面的滤波器。
在等式1A和1B中,xs[n]表示对于离散的x轴运动数据的平滑值,并且N和M可以通过软件操作被选择以调节将包括在每一平滑数据值的计算中的周围数据点的数量。在一些实施例中,N和M的值可以大约是2至20之间的任意整数值。依据一些实施例,N和M的和可以大约是在15至25之间。在一些实施方案中,N≈M≈10。在一些实施例中,每个FIR滤波器包括21抽头低通滤波器,其中在校准过程期间估计截止频率。
尽管等式1A和1B计算了用于位置值(例如用于第n个数据点的光标的x位置)的平滑值,但是一些实施例可以如下地计算用于位置Δx的改变的平滑值。
依据一些实施例,位置值x[n]、y[n]或位置的改变可以被表达为以视觉显示器210的像素为单位。
在一些实施例中,位置值、或位置的改变可以以规则的频率进行采样或确定。采样的频率可以等于或高于用于常规图形用户界面的采样频率。在一些实施例中,采样频率可以在大约20Hz至大约500Hz之间。在一些实施例中,采样频率可以在大约50Hz至大约200Hz之间。在一些实施例中,采样频率大约可以是100Hz。随着由运动传感器产生用户运动数据,数据可以被提供到适合于计算经平滑的运动数据值(例如依据等式1A、1B或等式2或其他适合的滤波的等式)并且随后由仪器200的处理器310a、310b使用以标识表示用户运动输入的平滑路径420。
依据一些实施例,用于运动滤波器的参数可以通过软件操作由用户设定。滤波器参数可以包括但并不限于用于数字滤波器的滤波器系数。在一些实施例中,截止频率、增益以及相位可以通过软件操作由用户设定。例如并参考等式1A,仪器200可以包括使处理器310a,310b适合于在视觉显示器上显示对话框或面板的机器可读指令,借助对话框或面板,用户可以输入或选择用于每个滤波器的N和M的值。可选的或附加的,用户可以利用对话框或面板来输入或选择截止频率。
在一些实施例中,滤波器参数可以利用由仪器200执行的校准过程通过软件操作确定。例如并参考图4B,仪器200可以包括使仪器适合于显示参考路径430并且将光标140定位在参考路径的端部处的机器可读指令。仪器可以促使用户沿着路径移动光标。由于神经肌肉损伤,例如,用户可能沿着实际路径440移动光标。然后仪器可以计算在实际路径440上的采样数据点与在参考路径430上的对应点之间的运动误差ErrX[n],ErrY[n],如在附图中指示的那样。(在一些实施例中,运动误差可以基于位置上的改变或基于方向来计算。)在一些实施方案中,在参考路径上的相应位置可以是处于与动作位置P最近距离的参考路径430上的位置。滤波器参数可以被调节使得经计算的滤波路径(在图4B中未示出)可以引起位置误差ErrX[n],ErrY[n]或它们的和的减小。在一些实施例中,显示参考路径430、接收表示用户追踪路径的运动输入数据、计算运动误差以及调节滤波器参数的方面可以被重复直到位置误差小于预定值。在一些实施方案中,经调节的滤波器参数的平均值可以从用于用户的所有试验的结果中计算。
滤波器参数的平均值可以被存储并且随后在仪器200的操作的一般模式期间使用。依据一些实施例,可以为不同的用户执行校准,并且滤波器参数可以被存储并随后用于每个用户。在一些情况下,校准可以被执行用于使用环境(例如乘坐在地形条件恶劣地区上的交通工具)以及被用于该环境。仪器200可以被配置为在用于运动输入操作的一般模式(例如使用常规技术处理运动输入的模式)和其中校准或使用用户特定或环境特定的运动输入滤波器参数的“智能”运动输入模式之间切换。
除了对用户提供的运动输入进行滤波之外,仪器200还可以被配置为预测用户的运动输入的路径并“锁定”在路径中的能选择的图像。预测的路径可以基于经滤波的运动数据,并且可以包含可能发生继续运动的区域。在一些实施例中,仅在预测路径中的能选择的图像可被赋予表示用户想要选择能选择的图像的可能性的加权值。在其他实施例中,在显示器上的所有能选择的图像可以被分配有加权值。在一些实施方案中,光标可以被锁定到具有最高加权值的能选择的图像。
例如并参考图4A,随着用户的运动输入可能描绘出实际路径410,运动输入数据可以被滤波以产生平滑路径420(其可以显示在屏幕105上或可以不显示在屏幕105上)。随着用户朝向能选择的图像移动,仪器200可以计算预测路径,并且该路径可以随着用户继续朝向能选择的图像移动而改变。例如,当用户达到在图4A中的点P时,仪器200可以及时在这一时刻预测由虚线划定的路径415。预测路径415可以包含用户可能移动光标、触笔、手指或一些其他的选择设备的区域。在一些实施例中,完全地处在路径内(例如图像E5)的能选择的图像可以被加权。在一些实施方案中,进入预测路径415的能选择的图像(例如图像A1,B2)可以同样利用指示它们用于被选择的相似性的值被加权。
预测路径415可以基于任意适合的算法。在一些实施例中,预测路径可以至少基于与平滑路径420相关联的平均的或非平均的方向矢量。例如,用于平滑路径的方向矢量可以在之前的M运动增量上求平均。图4C描绘了可以由在平滑路径420上的两个连续数据点(x[n],y[n]),(x[n-1],y[n-1])计算的方向矢量V[n]。例如可以由下面的公式计算方向矢量的大小。
在一些实施方案中,x[n]和y[n]的值可以是在视觉显示器上的像素坐标。在一些实施例中,预测路径415的长度可以与方向矢量或M个先前方向矢量的平均值的大小成比例。例如,如果用户更快地移动光标,预测路径的长度可以比在用户放慢光标的运动时更长。
方向矢量V[n]的方向例如可以随着角度β[n]关于x轴来计算。β[n]的值可以处在下面的值范围:0≤β[n]≤360度。作为示例,可以使用下式来计算矢量V[n]关于x轴的角度。
分子和分母的符号(+/-)(在取绝对值之前)可以被用于确定是否从另一值加上或减去βi[n]以确定β[n]的值。例如,如果分子和分母均为正值,则β[n]=βi[n]。如果分子为正值而分母为负值,则β[n]=180-βi[n]。如果分子和分母均为负值,则β[n]=180+βi[n]。如果分子为负值而分母为正值,则β[n]=306-βi[n]。等式4不能用于分母为零的情况,以避免与正切函数的奇异点相关联的问题。代替地,这种情况可以根据分子的极性被分配90°或270°的角度。在其他实施例中,角度可以参考y轴或其他合适的参考方向来计算。
为了估计预测路径415所处的方向或预测角度θp,可以使用一个或多个最近计算的β[n]的值。例如,在一些实施例中,可以利用下式对最近值求平均,但在其他的实施方案中也可以使用其他的算法。
M的值可以是小于所计算的平滑数据点的数量的、包括零在内的任意非负整数。在一些实施例中,0≤M≤40。
预测路径415的宽度可以被预定。再次参考图4A,预测路径的宽度可以在接近最近被评估的平滑数据点P的路径的端部变窄,并且在更加远离该点处增加宽度。依据一些实施例,预测路径的变窄的端部的宽度可以在视觉显示器的大约1像素至大约100像素之间。在一些实施例中,预测路径的远端的宽度可以在大约5像素至300像素之间。
一旦预测路径415被计算出,处在路径内的能选择的图像可以利用表示图像将要被用户选择的可能性的值加权。例如,与位于预测路径的侧部或部分地位于预测路径内的能选择的图像相比,在预测路径内处于更加中心的位置的能选择的图像可以被赋予更高的加权值。对于较快速移动的光标,更远离的能选择的图像可能被加权地更高,以及对于较慢的光标,更接近光标的能选择的图像可能被加权地更高。例如,在图4A中,能选择的图像E5可以由仪器200分配在对于在点P处计算的预测路径415的图像A1,B2和E5中的最高加权值。该加权值可以随着朝向能选择的图像运动的发展以及预测路径的改变而改变。
在一些实施例中,仪器200可以被配置为将具有最高加权值的能选择的图像“锁定”到光标、触笔或手指。锁定可以采用任何适合的方式。可以由仪器200实施的锁定的两个示例被描绘在图5A-5D中,但其他的实施例也是可能的。
如在图5A示出的那样,依据一些实施例,仪器200可以向每个能选择的图像510分配与能选择的图像相关联的活跃区域520。最初,活跃区域520可以全部是相同的大小。活跃区域可以由仪器200标识为包含像素组的视觉显示器105的区域。当一个或多个在有源区域中的像素由例如光标的至少一个像素重叠,并且选择操作由仪器200(例如鼠标点击)接收时,在活跃区域中的与能选择的图像相关联的功能将被执行。在一些情况下,活跃区域可以和能选择的图像大小相同,或者在其他情况下可以小于或大于能选择的图像。附加地,仪器200可以被配置为构建在活跃区域520之间的不活跃的缓冲区151(例如非活跃像素)。
当用户例如朝向能选择的图像(B2)移动光标并且能选择的图像具有在预测路径中的最高加权值时,仪器200可以将该能选择的图像以及其活跃区域锁定到接近的光标。依据一些实施例,当图像由仪器锁定时,与锁定的能选择的图像相关联的活跃区域520可以如图5B所描绘的那样扩展。扩展的活跃区域能使用户更易于选择图像。在一些实施例中,仪器200也可以锁定或扩展具有较高被选择的可能性的其他附近的能选择的图像的活跃区域。例如,在一些实施例中,具有大约大于30%的可能性的能选择的图像可以被仪器200锁定。在一些实施方案中,具有大约大于50%的可能性的能选择的图像可以被该仪器锁定。
在一些实施方案中,如图5C所描绘的,只有能选择的图像的图像区域是活跃的。例如,能选择的图像可以在使用在仪器200中运行的、例如“微软自动化框架”API的自动化API的软件应用中被标识。如果这样的API不可用或被配置为与应用一起工作,则被显示在视觉显示器上的图像可以由仪器200捕捉并且采用边缘检测算法以确定由仪器显示的一个或多个能选择的图像的活跃区域。在一些实施例中,仪器200可以如在图5D中描绘的那样被配置为随着用户将光标移向图像,在视觉上扩展锁定的能选择的图像的大小。
例如当用户将光标移动过图像或将光标沿着远离被锁定的图像的方向移动时,能选择的图像可以被解锁(例如返回初始状态)。在一些实施例中,如果用户越过图像并且返回朝向能选择的图像的方向,则该能选择的图像可以重新被锁定。
依据一些实施例,仪器200可以被配置为更改具有最高加权值的锁定的能选择的图像的外观。例如,图像可以被闪烁、被标记轮廓或改变颜色。更改的外观可以向用户发出信号通知该能选择的图像被仪器200确定为用户最有可能将选择的图像,并且指示仪器200准备好接收对于该图像的选择输入。在一些实施例中,仪器200可以被配置为与光标位置无关地接受在任何时间的、用于经锁定的在外观被更改或者其加权值为最大时具有更改的外观或最高加权值的能选择的图像的选择输入。最高加权值可以通过能选择的图像的增加的大小来指明。这能够进一步便于用户对图像的选择,因为例如光标可以在视觉显示器的任意位置处。在一些实施方案中,仪器200可以将更改的外观保持最小时间量(例如大约0.5秒至大约4秒之间的时间间隔),以提供给用户选择图像的合适的时间量。
图6描绘了依据一些实施例的可以在仪器200上实施的、用来降低不规则运动输入的影响的方法600。方法600可以由在仪器200上的开机或启动605来开始。在一些实施例中,仪器可以被配置为向用户提供校准询问610。校准询问可以向用户询问运动输入校准是否是被期望的。在一些实施方案中,运动输入校准例程是可以由用户在任意时间选择的,而无需向用户提供询问。如果请求运动输入校准,则仪器可以运行620运动输入校准过程。在一些实施例中,在执行校准过程之后,仪器200可以返回到可以接收对于运动输入校准的随后请求的状态。
如果不请求运动输入校准(例如之前已经执行过校准),则仪器可以确定612期望的是操作的智能运动输入模式还是一般运动输入模式。例如,一些用户可以在一般运动输入模式下操作系统,而其他用户可以请求智能运动输入模式。在一些实施例中。仪器可以基于用户标识来确定哪个模式要被使用。在一些实施方案中,用户可以手动选择运动输入模式。在一些情况下,仪器200可以向用户提供用以选择运动输入模式的提示。在一些情况下,仪器200可以包括检测仪器的运动的加速度计并且基于由加速度计检测到的过度振动或仪器运动来自动地确定612需要智能运动输入模式。
如果由仪器确定612不使用智能运动输入模式,则仪器可以在一般运动输入模式下继续运行。一般运动输入模式可以是采用常规的运动追踪特性(例如常规的鼠标追踪特性)的常规模式。在完成系统操作后,方法可以结束650。
如果确定612要使用智能运动输入模式,则仪器可以施加640或提供信号以使滤波器参数应用到至少一个空间滤波器,该至少一个空间滤波器被用于处理从一个或多个仪器的被配置为检测用户的运动输入的运动传感器接收的运动输入数据。如依据一些实施例在上面描述的,一个或多个滤波器可以包括FIR滤波器,但在其他的实施方式中也可以使用其他的滤波器。例如上面描述的,参数可以包括在校准过程期间计算的值,并且可以包括滤波器抽头参数的值、滤波器阶数、截止频率、极点位置、零点位置和/或其他相关值。滤波器参数可以是用户特定的。如上面所提到的,可以针对不同的运动输入方向(例如x轴和y轴)独立地计算和应用滤波器参数。
之后,接收到的运动输入数据可以由一个或多个被配置有所应用的滤波器参数的滤波器进行空间滤波642。在一些方面中,滤波包括对用户输入的实际路径410的图像进行空间滤波。在不同的实施例中,滤波产生平滑路径420,该平滑路径420可以被仪器200使用以标识或表示用户的输入运动。平滑路径420可以在一些实施例中不被显示在视觉显示器105上。
依据一些实施方案,方法600还包括对随后的用户输入运动的路径进行预测,并且锁定在该预测路径中的至少一个能选择的图像。如上面描述的,预测路径可以包括其中用户可能移动光标、触笔或手指的视觉显示器的区域。在该区域中的一个或多个能选择的图像可以由仪器200利用表示图像将要被用户选择的可能性的值来加权。在一些实施方案中,具有最高加权值的能选择的图像可以被锁定到光标、触笔或手指,并且其外观可能改变以指明其为最有可能被选择的。当完成仪器200的操作时,方法600可以结束650。
在一些实施方案中,如由图6中的虚线描绘的那样,仪器200可以被配置为返回到确定612所期望的是一般运动输入操作还是智能运动输入操作的状态。在一些实施例中,仪器可以被配置为返回到确定610是否期望运动输入校准的状态。例如,如果用户完成与仪器的会话并登出(自动地登出),则仪器可以被配置为返回到其中能够接受可以请求或可以不请求操作的智能运动输入模式的来自其他用户的输入的状态。
在图7中描述的校准过程620的实施例是出于教导的目的而并非旨在仅限于示出的动作。在其他的实施例中可以采用校准过程的修改。校准过程的方面可以参考图4B得以更好的理解。依据一些实施例,仪器可以被配置为使得用户可以在任何时间、例如通过选择校准图标或菜单项来开始校准过程620。
校准过程620可以包括被运行多次以计算滤波器参数的多个设定的迭代处理。依据一些实施例,来自不同的校准运行的滤波器参数可以被平均以获得最终的参数值。对于每次运行,参考线430可以被显示并且用户可以试图追踪该线。
依据一些实施例,校准过程包括由仪器200在视觉显示器105上显示750参考路径(L[i])430。光标140可以被显示在参考路径的一端处。参考路径可以是直线或曲线。在一些实施方案中,参考路径可以在某一时间仅沿着一个坐标轴延伸(例如沿着x轴的第一路径,沿着y轴的第二路径)。然后用户可以沿着参考路径430移动光标140。随着用户移动该光标,仪器200可以接收710用于表示用户运动的运动输入数据的值(x,y)和/或(Δx,Δy)以追踪参考路径430。用户的实际运动可以沿着实际路径440行进,该实际路径440可以明显不同于参考路径。
之后仪器200可以计算720并加和表示在参考路径430与实际路径440或平滑路径420之间的差异量的运动误差值。在一些实施例中,对于每个运动输入坐标轴分离地计算误差值(例如ErrX[n],ErrY[n])。在一些实施例中,运动误差的值可以从在实际路径440或平滑路径420上的点P以及在参考路径430上的对应位置R来计算。对应位置可以是参考路径430与点P相交的垂线处的位置。之后依据一些实施例,误差值ErrX[n],ErrY[n]可以被计算为在点P和R之间的x和y坐标中的差异的绝对值。
在一些实施方案中,误差值可以依据Δx,Δy的值来计算。例如,从光标140的初始位置,沿着参考路径的第一运动增量可以是(Δxr[n],Δyr[n])。用户可以沿着引起(Δxa[n],Δya[n])的第一运动增量的实际路径440移动光标。因此,运动输入误差的值可以被计算为ErrX[n]=│Δxa[n]-Δxr[n]│以及ErrY[n]=│Δya[n]-Δyr[n]│。
在一些情况下,针对初次通过校准过程620,可以使用针对实际路径的运动输入数据值。之后可以使用针对平滑(经滤波的)路径的运动输入数据值。在一些实施方案中,最初可以使用默认的滤波器参数,使得初次和随后通过校准过程620使用针对平滑路径的运动输入数据值。
针对每个坐标轴的误差值可以被加和并且与对应的阈值(Errthrx,Errthry)相比较750。可以选择该阈值以限制平滑路径420与参考路径430的偏差量。可以由建立发生了改进的用户操作的阈值范围的研究试验确定合适的阈值。
如果确定730针对x轴的误差值的和∑ErrX大于x轴的阈值,则可以调节用于x轴的滤波器的至少一个参数。例如,截止频率Fc,x[i]可以通过预选量来减小。在一些实施方案中,截止频率可以通过将等式1A或1B中的N和/或M的值增加1来改变。如果确定730针对x轴的误差值的和小于或等于x轴的阈值,则不对于x轴的滤波器参数做出改变。如图7所示,可以针对y轴滤波器执行确定误差量735和调节滤波器参数737的类似动作。
在滤波器参数已经被调节之后,经滤波的或平滑路径420(在图4B中未示出)可以利用经调节的滤波器参数来计算740。之后校准过程620可以循环回到计算720在平滑路径和参考路径之间的误差值。动作725、730、732、735、737和740可以被重复直到滤波器参数使得在平滑路径和参考路径430之间的误差值的和∑ErrX,∑ErrY低于对应的阈值。之后仪器可以存储滤波器参数,并且确定750是否执行少于N次的校准运行。N可以是具有1至10之间的任意值的预定整数。在一些实施例中,N具有在1至5之间的值。如果少于N次的校准运行已经被执行,则仪器可增大755校准计数器[i],并且循环回到显示705新的参考线(L[i+1])。之后可以执行附加的校准运行。
依据一些实施例,如果预定数量的校准运行已经完成,之后为每个校准运行(i=1,2,…N)计算的滤波器参数可以被处理760以确定最终的滤波器参数。例如,x轴滤波器截止频率Fc,x可以如下地计算。
以相似的方式可以处理其他的滤波器参数,例如,可以由若干校准运行的结果来计算对于每个参数的平均值。在一些实施例中,可以采用值的模式、不是平均值。在其他实施例中可以使用用于确定最终滤波器参数的其他方法。
一旦最终的滤波器参数已经计算出来,仪器200可以存储该参数以供后续使用。在一些实施例中,参数可以与用户ID相关联地被存储,使得滤波器参数能在稍后被重新取回并且用于参数已经被确定的特定用户。在一些实施方案中,最终滤波器参数可以被导出到鼠标或远程控制器230以在那里存储或立即使用。在一些实施方案中,最终的滤波器参数可以被应用到仪器200或远程控制器230处的车载运动输入滤波器上(例如车载ASIC滤波器、FPGA滤波器、数字信号处理器或实施在软件中的滤波器)。
在一些实施例中,校准过程620的一部分可以在仪器200上运行,并且一部分可以在远程控制器230上运行。例如,远程控制器230可以包括被配置为对接收的运动数据进行滤波的ASIC或FPGA,并将经滤波的数据传输至在仪器200上的处理器以用于进一步分析。仪器可以计算滤波器参数并将得出的参数传输回远程控制器230以用于在远程控制器处的滤波器中的后续使用。
最终的滤波器参数可以在校准过程620之后被实施在仪器200的运动输入滤波器中,或者可以基于用户标识从存储器被加载。在一些实施例中,用户可以将为其他仪器计算的滤波器参数加载到仪器200上。当在运动输入滤波器上实施时,之后仪器200可以特别地适合于处理运动输入以降低伪运动的影响,例如通过在图8中示出的方法800。
依据一些实施例,仪器200可以接收810来自一个或多个运动传感器的运动输入数据(x[n],y[n]),其中运动输入表示由用户产生的、旨在经由图形用户界面操作仪器的输入运动。运动输入数据可以表示在其上用户可以在界面上移动光标、触笔或手指的运动的实际路径。仪器200可以利用校准数据(例如一个或多个由校准例程获得的滤波器参数)对运动数据进行滤波820。滤波可以包括利用针对运动的每个坐标轴的不同滤波器对运动数据分离地进行滤波。例如,x轴的运动数据可以利用具有第一滤波器参数集合的第一滤波器来滤波,并且y轴的运动数据可以利用具有第二滤波器参数集合的第二滤波器来滤波,该第二滤波器参数集合不同于第一滤波器参数集合。依据一些实施例,滤波器可以是具有不同的截止频率的FIR滤波器。
在一些实施例中,仪器可以依据经滤波的运动输入数据在视觉显示器上显示光标的运动。经滤波的运动输入数据可以提供仪器200用于标识用户的运动输入的平滑路径,平滑路径可以显示出与由用户执行的实际路径相比明显较少的伪运动。
在一些实施方案中,仪器200可以预测830预计发生进一步运动的路径。预测路径415可以包含视觉显示器105的区域并取决于结合图4A-4B在上面描述的移动光标、触笔或手指的平均方向和/或速度。可以存在一个或多个在预测路径415中或部分在预测路径415中的能选择的图像。在一些实施例中,一个或多个处于或部分处于预测路径中的能选择的图像可以根据能选择的图像将被用户选择的可能性来被加权840。加权值可以取决于图像在预测路径内的所处的中心程度和/或光标、触笔或手指的速度。
依据一些实施例,仪器可以确定850是否被加权的图像是能够锁定的。例如仪器200可以确定一个能选择的图像的加权是否明显大于其他能选择的图像的加权。在一些实施例中,当一个能选择的图像的加权大于任意其他能选择的图像的加权至少25%时,当一个能选择的图像的加权大于任意其他能选择的图像的加权至少50%时,当一个能选择的图像的加权大于任意其他能选择的图像的加权至少100%时,以及当一个能选择的图像的加权大于任意其他能选择的图像的加权至少200%时,图像可以被锁定。如果确定不能锁定,仪器200可以继续接收810运动输入数据。
如果确定能选择的图像能被锁定,仪器200可以将能选择的图像锁定852到接近的光标、触笔或手指。在一些实施方案中,当图像被锁定时,锁定的图像可以是唯一能够被选择的能选择的图像。在一些实施例中,可以锁定多个图像并且图像的方面可以根据其加权值来改变,这如同在上面结合图5A-5D所描述的那样。在一些实施方案中,具有最高加权值的锁定的图像可以在被锁定时改变外观并且在具有改变的外观时能由光标在屏幕上的任意位置处选择。之后仪器可以确定854是否接收到用户对于锁定图像的选择。如果已经接收到用户选择,则仪器可以执行860与能选择的图像相关联的功能,并且返回到接收810运动输入数据的状态。
如果用于能选择的图像的用户选择还没有被接收,则仪器200可以确定是否已经退出用于锁定的能选择的图像的活跃区域。例如,用户可能将光标移出锁定的图像,或沿着远离锁定的图像的方向移动光标。如果确定已经退出图像区域,仪器200可以解锁858图像并且返回到接收810运动输入数据的状态。
上面描述的方法可以被实施为存储在至少一个已制成的存储设备上,例如ROM,RAM,CD-ROM,DVD-ROM,磁盘,CMOS存储器芯片,可移除的存储器设备等。机器可读指令当由至少一个处理器执行时特别地使得至少一个处理器和仪器200适合于执行在上面描述的方法中阐述的一些或全部动作。
因此,一个或多个实施例包括含有机器可读指令的已制成的存储设备,机器可读指令当由与仪器界面相关联的至少一个处理器执行时使得仪器特别地适合于:(a)利用运动传感器在至少两个维度上感测第一用户输入运动,(b)产生表示所述第一用户输入运动的二维运动数据,(c)利用具有能调节的第一滤波器参数的第一滤波器对针对第一维度的所述运动数据进行滤波,(d)利用具有能调节的第二滤波器参数的第二滤波器对针对第二维度的所述运动数据进行滤波。在一些实施例中,已制成的存储设备还包括机器可读指令,使得至少基于第一用户输入运动,由第二滤波器参数独立地重新配置至少所述第一滤波器参数。该重新配置可以通过软件操作(例如通过用户对滤波器值的手动选择或通过自动化或半自动化的校准过程)来完成。
在一些方面中,机器可读指令还可以使仪器适合于在仪器界面的视觉显示器上显示参考路径,其中第一用户输入运动表示追踪参考路径。在一些实施方式中,机器可读指令还可以使仪器适合于从经滤波的运动数据计算平滑路径,通过降低在平滑路径和参考路径之间的第一方向上的误差来确定用于第一滤波器的第一滤波器参数,并且通过降低在平滑路径和参考路径之间的第二方向上的误差来确定用于第二滤波器的第二滤波器参数。
依据一些实施方式,至少所述第一滤波器包括具有第一截止频率的第一低通滤波器,并且其中独立地重新配置的动作包括独立于改变用于所述第二滤波器的参数来更改所述第一截止频率。在一些方面中,至少所述第一滤波器包括多抽头有限脉冲响应滤波器。在一些情况下抽头的数量可以大于10。
在一些方面中,机器可读指令还可以使仪器适合于显示并且移动在所述仪器界面的视觉显示器上表示第二用户输入运动的光标。在一些情况下,机器可读指令还可以使仪器适合于基于经滤波的、所述第二用户输入运动的运动数据来确定所述第二用户输入运动的预测路径,以及将加权值分配给在路径中的至少一个能选择的图像。
在一些实施方式中,机器可读指令还可以使仪器适合于至少基于能选择的图像的加权值在预测路径中锁定所述能选择的图像。在一些方面中,当所述能选择的图像被锁定时,机器可读指令还可以使仪器适合于允许仅选择锁定的能选择的图像。在一些方面中,机器可读指令还可以使仪器适合于当所述能选择的图像被锁定时,改变被锁定的能选择的图像的外观。
上述的机器可读指令的方面和实施方式可以以任意组合的形式被包括在数据存储设备中。当实施在能够提供图形用户界面的仪器的至少一个处理器中时,机器可读指令特别地使仪器适合于降低伪用户输入运动的影响。降低伪用户输入运动数据或不规则的用户输入运动数据的影响能够使仪器对于具有神经肌肉损伤的个体来说更加容易达到并且改善了在高振动环境下的仪器的可操作性。所描述的装置和方法可以减少手部拉伤,减小选择或点击误差,并且可以提高生产率。
在本申请中描述的技术可以被实施为方法,已经提供了方法的至少一个实例。作为方法的一部分来执行的动作可以以任何合适的方式来安排。因此,可以构建以不同于示出的顺序来执行动作的实施例,其可以包括同时执行一些动作,即使在示出的实施例中动作被示出为顺序动作。附加地,方法可以在一些实施例中包括比示出的那些更多的动作,也可以在另外的实施例中包括比示出的那些更少的动作。
尽管上面已经描述的结构和方法主要针对二维的运动输入被描述,但在一些实施例中结构和方法可以被实施用于三维的运动输入。例如,远程控制器230可以包括沿着三个坐标轴感测运动的手持控制器。在一些实施方案中,结构和方法可以被延伸至附加的自由度,例如除了线性运动之外的旋转的自由度。运动输入滤波器可以在一些实施例中针对每个自由度而被校准。
一些仪器200可以包括能够检测仪器本身的运动的车载运动传感器。例如,智能手机可以被装配有一个或多个车载加速度计。在一些实施例中,仪器可以被配置为在至少一个车载传感器检测到仪器运动的水平大于预定的阈值时自动地切换到智能运动输入模式。在一些实施例中,在至少一个车载传感器检测到仪器运动的水平大于预定的阈值时仪器可以向用户提供提示以询问用户是否想要切换到智能运动输入模式。之后用户可以使用面板来激活智能运动输入模式。
因此,在已经描述了本发明的至少一个图示的实施例之后,不同的变化、修改以及改进对于本领域的技术人员来说将是容易想到的。旨在将这样的变化、修改以及改进包括在本发明的精神和范围内。因此,上面的描述仅仅是以示例的方式而并非旨在限制。本发明仅如下面的权利要求及其等同方案中所限定的那样被限制。

Claims (28)

1.一种仪器界面,包括:
运动传感器,被配置为在至少两个维度上感测表示第一用户输入和第二用户输入的运动,并针对所述第一用户输入和所述第二用户输入分别产生二维的运动数据;
第一滤波器,被配置为对与第一维度对应的所述运动数据进行滤波;
第二滤波器,被配置为对与第二维度对应的所述运动数据进行滤波;以及
处理器,被配置为接收运动输入校准的请求,以及响应于接收所述运动输入校准的请求:
使参考路径和位于所述参考路径末端的光标被显示,
提示用户沿所述参考路径移动所述光标,
基于从所述第一滤波器接收的经滤波的第一运动数据和从所述第二滤波器接收的经滤波的第二运动数据来标识对应于所述第二用户输入的运动,
基于由所述第一用户输入产生的实际路径上的多个采样数据点和所述参考路径上的多个对应点来计算误差,
基于所计算出的误差重新配置所述第一滤波器的所述第一参数,以及
基于所计算出的误差重新配置所述第二滤波器的所述第二参数,所述第二滤波器的所述第二参数独立于所述第一滤波器的所述第一参数而被重新配置。
2.根据权利要求1所述的仪器界面,其中所述第一滤波器或所述第二滤波器包括具有能通过软件操作重新配置的截止频率的低通滤波器。
3.根据权利要求1所述的仪器界面,其中所述第一滤波器或所述第二滤波器包括多抽头有限脉冲响应滤波器。
4.根据权利要求3所述的仪器界面,其中抽头的数量大于10。
5.根据权利要求1所述的仪器界面,还包括:
与所述处理器通信的视觉显示器,其中所述视觉显示器被配置为显示所述参考路径,
其中所述软件操作包括通过调整所述滤波器参数中的至少一个滤波器参数,减少所述误差中的至少一个误差。
6.根据权利要求5所述的仪器界面,其中所述处理器还被配置为显示并且移动在所述视觉显示器上表示经标识的所述运动的所述光标。
7.根据权利要求1所述的仪器界面,其中所述处理器还被配置为向在所述路径中的所述至少一个能选择的图像分配加权值。
8.根据权利要求7所述的仪器界面,其中所述处理器还被配置为至少基于所述能选择的图像的加权值来锁定在所述路径中的能选择的图像。
9.根据权利要求8所述的仪器界面,其中当所述能选择的图像被锁定时,被锁定的所述能选择的图像是能由所述用户选择的唯一的能选择的图像。
10.根据权利要求8所述的仪器界面,其中所述处理器还被配置为当所述能选择的图像被锁定时,改变被锁定的所述能选择的图像的外观。
11.根据权利要求1所述的仪器界面,其中所述视觉显示器包括计算机的屏幕或智能电话的屏幕。
12.根据权利要求1所述的仪器界面,被实施为远程控制器,其中所述运动传感器、所述第一滤波器以及所述第二滤波器位于所述远程控制器处。
13.根据权利要求1所述的仪器界面,其中所述处理器被配置为基于经标识的所述运动来预测用于所述第二用户输入的路径。
14.根据权利要求13所述的仪器界面,其中所述处理器被配置为:扩展与在所预测的路径中的至少一个能选择的图像相关联的至少一个活跃区域。
15.一种用于操作仪器界面的方法,所述方法包括:
通过处理器接收运动输入校准的请求;
响应于接收所述运动输入校准的请求:
通过所述处理器使参考路径和位于所述参考路径末端的光标被显示;
通过所述处理器提示用户沿所述参考路径移动所述光标;
利用运动传感器在至少两个维度上感测第一用户输入,所述第一用户输入与所述用户试图沿所述参考路径移动所述光标所产生的实际路径对应;
产生表示所述第一用户输入的二维的第一运动数据;
利用第一滤波器对针对第一维度的所述第一运动数据进行滤波;
利用第二滤波器对针对第二维度的所述第一运动数据进行滤波;以及
基于由所述实际路径上的多个采样数据点和所述参考路径上的多个对应点,通过所述处理器来计算误差;
基于计算所述误差,通过所述处理器重新配置所述第一滤波器的所述第一参数,以及
基于计算所述误差,通过所述处理器重新配置所述第二滤波器的所述第二参数,对所述第二滤波器的所述第二参数的重新配置独立于对所述第一滤波器的所述第一参数的重新配置;
利用所述运动传感器在至少两个维度上感测第二用户输入;
产生表示所述第二用户输入的二维的第二运动数据;
利用所述第一滤波器对针对所述第一维度的所述第二运动数据进行滤波;
利用所述第二滤波器对针对所述第二维度的所述第二运动数据进行滤波;以及
基于从所述第一滤波器接收的经滤波的第一运动数据和从所述第二滤波器接收的经滤波的第二运动数据,通过所述处理器来标识对应于所述第二用户输入的运动。
16.根据权利要求15所述的方法,还包括:
从经滤波的针对所述第一维度和所述第二维度的所述运动数据计算平滑路径;
通过减少在所述平滑路径和所述参考路径之间的第一方向上的误差,来确定用于所述第一滤波器的第一滤波器参数;以及
通过减少在所述平滑路径和所述参考路径之间的第二方向上的误差,来确定用于所述第二滤波器的第二滤波器参数。
17.根据权利要求15所述的方法,其中至少所述第一滤波器包括具有第一截止频率的第一低通滤波器,并且其中独立地重新配置的动作包括:独立于改变用于所述第二滤波器的参数来更改所述第一截止频率。
18.根据权利要求15所述的方法,其中至少所述第一滤波器包括多抽头有限脉冲响应滤波器。
19.根据权利要求18所述的方法,其中抽头的数量大于10。
20.根据权利要求15所述的方法,还包括:显示并且移动在所述仪器界面的视觉显示器上表示第二用户输入运动的光标。
21.根据权利要求20所述的方法,还包括:
基于经滤波的、用于所述第二用户输入运动的运动数据,确定用于所述第二用户输入运动的预测路径;以及
将加权值分配给在所述路径中的至少一个能选择的图像。
22.根据权利要求21所述的方法,还包括:至少基于所述能选择的图像的加权值来锁定在所述预测路径中的能选择的图像。
23.根据权利要求22所述的方法,还包括:当所述能选择的图像被锁定时,允许选择唯一的被锁定的所述能选择的图像。
24.根据权利要求22所述的方法,还包括:当所述能选择的图像被锁定时,改变被锁定的所述能选择的图像的外观。
25.根据权利要求24所述的方法,还包括:当被锁定的所述能选择的图像的外观被改变时,允许与光标位置无关地选择被锁定的所述能选择的图像。
26.根据权利要求15所述的方法,其中所述重新配置包括:通过调整所述滤波器参数中的至少一个滤波器参数,减少所述误差中的至少一个误差。
27.根据权利要求15所述的方法,还包括:基于经标识的所述运动来预测用于所述第二用户输入的路径。
28.根据权利要求27所述的方法,还包括:扩展与在所预测的路径中的至少一个能选择的图像相关联的至少一个活跃区域。
CN201910768736.6A 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面的方法和装置 Active CN110488994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910768736.6A CN110488994B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面的方法和装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/474,908 US9880631B2 (en) 2014-09-02 2014-09-02 Instrument interface for reducing effects of erratic motion
US14/474,908 2014-09-02
CN201910768736.6A CN110488994B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面的方法和装置
CN201510557947.7A CN105389043B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510557947.7A Division CN105389043B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面

Publications (2)

Publication Number Publication Date
CN110488994A true CN110488994A (zh) 2019-11-22
CN110488994B CN110488994B (zh) 2023-07-28

Family

ID=54145559

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910768736.6A Active CN110488994B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面的方法和装置
CN201510557947.7A Active CN105389043B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510557947.7A Active CN105389043B (zh) 2014-09-02 2015-09-02 用于降低不规则运动的影响的仪器界面

Country Status (3)

Country Link
US (1) US9880631B2 (zh)
EP (1) EP2993560B1 (zh)
CN (2) CN110488994B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150003560A (ko) 2013-07-01 2015-01-09 삼성전자주식회사 사용자의 모션 정보에 기초하여 사용자 인터페이스(ui)를 변경시키는 방법 및 장치
US20170139556A1 (en) * 2014-10-01 2017-05-18 Quantum Interface, Llc Apparatuses, systems, and methods for vehicle interfaces
US9898107B1 (en) * 2016-03-31 2018-02-20 Rockwell Collins, Inc. Tactile input contol data modifying system, device, and method
EP3513302B1 (en) 2016-10-07 2020-07-01 Google LLC Identifying and displaying smooth and demarked paths
CN110869897A (zh) * 2017-07-14 2020-03-06 株式会社和冠 修正笔坐标与指示器的显示位置之间的偏离的方法
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
CN111344658A (zh) 2018-06-29 2020-06-26 深圳市汇顶科技股份有限公司 触摸屏调整方法、触控芯片及电子终端
US11256342B2 (en) * 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
US12032801B2 (en) * 2021-11-23 2024-07-09 Cirque Corporation Adjusting cursor speed
US11561629B1 (en) * 2021-11-23 2023-01-24 Cirque Corporation Adjusting cursor speed

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163502A1 (en) * 1998-12-03 2002-11-07 Robert Julian Kamper Method and apparatus for enabling the adaptation of the input parameters for a computer system pointing device
CN1567165A (zh) * 2003-07-08 2005-01-19 胜华科技股份有限公司 触控面板的坐标预估与估测滤波方法
US20060168548A1 (en) * 2005-01-24 2006-07-27 International Business Machines Corporation Gui pointer automatic position vectoring
CN101379827A (zh) * 2006-01-31 2009-03-04 汤姆森许可贸易公司 基于边缘的时空滤波方法和装置
CN101916142A (zh) * 2008-12-12 2010-12-15 株式会社和冠 扫描触摸屏的指示体位置检测装置及方法
JP2011103028A (ja) * 2009-11-10 2011-05-26 Denso Corp 遠隔操作デバイス用表示制御装置
TW201229820A (en) * 2011-01-10 2012-07-16 Meng-Da Yang Method for reducing index signal jittering of 3-D input apparatus, 3-D input apparatus and module producing 3-D index signal

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5302968A (en) 1989-08-22 1994-04-12 Deutsche Itt Industries Gmbh Wireless remote control and zoom system for a video display apparatus
US6031218A (en) * 1992-10-05 2000-02-29 Logitech, Inc. System and method for generating band-limited quasi-sinusoidal signals
CA2140164A1 (en) * 1994-01-27 1995-07-28 Kenneth R. Robertson System and method for computer cursor control
US5757362A (en) 1995-01-05 1998-05-26 International Business Machines Corporation Recursive digital filter using fixed point arithmetic
US7102616B1 (en) 1999-03-05 2006-09-05 Microsoft Corporation Remote control device with pointing capacity
US7286115B2 (en) * 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
EP1804154A3 (en) * 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
US20070188455A1 (en) * 2006-02-15 2007-08-16 Logitech Europe S.A. Single element digital and analog input for a control device
KR101100290B1 (ko) * 2006-03-30 2011-12-28 노키아 코포레이션 커서 제어
WO2007124613A1 (en) * 2006-04-27 2007-11-08 Apexone Microelectronics Ltd. Optical motion sensing process
US20100020016A1 (en) * 2008-07-25 2010-01-28 Monahan Michael J Computer Mouse
TW201117064A (en) * 2009-11-05 2011-05-16 Wistron Corp Method of testing a cursor of a pointing device shown on a display device
TWI481871B (zh) * 2010-09-28 2015-04-21 J Mex Inc 與在操作區域中的目標互動的裝置及系統及方法
US8769444B2 (en) * 2010-11-05 2014-07-01 Sap Ag Multi-input gesture control for a display screen
US8698746B1 (en) * 2012-04-24 2014-04-15 Google Inc. Automatic calibration curves for a pointing device
US8775128B2 (en) * 2012-11-07 2014-07-08 Sensor Platforms, Inc. Selecting feature types to extract based on pre-classification of sensor measurements
EP2770413A3 (en) * 2013-02-22 2017-01-04 Samsung Electronics Co., Ltd. An apparatus for providing a cursor in electronic devices and a method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163502A1 (en) * 1998-12-03 2002-11-07 Robert Julian Kamper Method and apparatus for enabling the adaptation of the input parameters for a computer system pointing device
CN1567165A (zh) * 2003-07-08 2005-01-19 胜华科技股份有限公司 触控面板的坐标预估与估测滤波方法
US20060168548A1 (en) * 2005-01-24 2006-07-27 International Business Machines Corporation Gui pointer automatic position vectoring
CN101379827A (zh) * 2006-01-31 2009-03-04 汤姆森许可贸易公司 基于边缘的时空滤波方法和装置
CN101916142A (zh) * 2008-12-12 2010-12-15 株式会社和冠 扫描触摸屏的指示体位置检测装置及方法
JP2011103028A (ja) * 2009-11-10 2011-05-26 Denso Corp 遠隔操作デバイス用表示制御装置
TW201229820A (en) * 2011-01-10 2012-07-16 Meng-Da Yang Method for reducing index signal jittering of 3-D input apparatus, 3-D input apparatus and module producing 3-D index signal

Also Published As

Publication number Publication date
EP2993560A1 (en) 2016-03-09
CN105389043A (zh) 2016-03-09
EP2993560B1 (en) 2018-08-15
CN110488994B (zh) 2023-07-28
CN105389043B (zh) 2019-09-06
US20160062470A1 (en) 2016-03-03
US9880631B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
CN105389043B (zh) 用于降低不规则运动的影响的仪器界面
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US9223422B2 (en) Remote controller and display apparatus, control method thereof
JP6053803B2 (ja) 情報入力装置及びその制御方法
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
EP2677399A2 (en) Virtual touch device without pointer
US20180239429A1 (en) Electronic device and methods for determining orientation of the device
US20110037727A1 (en) Touch sensor device and pointing coordinate determination method thereof
US20130342459A1 (en) Fingertip location for gesture input
EP2840478B1 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
CN105474150B (zh) 信息处理装置、信息处理方法和程序
US10203837B2 (en) Multi-depth-interval refocusing method and apparatus and electronic device
JP2011075559A (ja) 動き検出装置および方法
Kratz et al. Pointpose: finger pose estimation for touch input on mobile devices using a depth sensor
US8525780B2 (en) Method and apparatus for inputting three-dimensional location
KR20130099570A (ko) 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
US20120249417A1 (en) Input apparatus
Kim et al. Oddeyecam: A sensing technique for body-centric peephole interaction using wfov rgb and nfov depth cameras
US10969899B2 (en) Dynamically adaptive sensing for remote hover touch
KR101337429B1 (ko) 입력 장치
EP2932347B1 (en) Selection system for an interactive display
JP6488946B2 (ja) 制御方法、プログラム及び制御装置
KR20140045865A (ko) 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법
KR101185594B1 (ko) 포인팅 디바이스의 더블클릭 수행방법
KR20200065732A (ko) 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant