CN104160362A - 针对不利使用条件调整移动用户界面 - Google Patents

针对不利使用条件调整移动用户界面 Download PDF

Info

Publication number
CN104160362A
CN104160362A CN201380013366.6A CN201380013366A CN104160362A CN 104160362 A CN104160362 A CN 104160362A CN 201380013366 A CN201380013366 A CN 201380013366A CN 104160362 A CN104160362 A CN 104160362A
Authority
CN
China
Prior art keywords
mobile device
undesirable
motion
undesirable motion
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380013366.6A
Other languages
English (en)
Inventor
P·李宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evernote Corp
Original Assignee
Evernote Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evernote Corp filed Critical Evernote Corp
Publication of CN104160362A publication Critical patent/CN104160362A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

针对不利使用条件调整移动用户界面包括检测移动装置的不合需要的运动,及根据不合需要的运动对移动装置用户界面进行调整,其中调整包括至少下述之一:放大移动装置的图形元素,提供移动装置上的图像的数字稳定,对关键操作提供另外的警告和用户输入选项,使用修改的手势识别算法,及调节对打字和绘图的系统响应。不合需要的运动可以是瞬间或持续运动。所进行的调整可根据不合需要的运动是瞬间运动还是持续运动而变化。不合需要的瞬间运动可以是颠簸、猛冲和/或急转弯。不合需要的持续运动可包括铁路振动、飞机振动、和/或船只纵摇。不合需要的运动可通过强度分类为低、中和高强度。

Description

针对不利使用条件调整移动用户界面
相关申请交叉引用
本申请要求2012年3月7日申请的、题为“METHOD FOR OPTIMIZINGUSER INTERFACE ON MOBILE DEVICES TO ADAPT TO UNFAVORABLEUSAGE CONDITIONS”的美国临时申请61/607,820的优先权,其通过引用组合于此。
技术领域
本申请涉及移动装置上的人-机交互作用领域及前述装置上可视及其它信息的呈现领域。
背景技术
在2012年,约1亿人已在其日常生活中使用具有多点触摸屏的平板装置,如Apple的iPad、Amazon的Kindle Fire或Samsung的Galaxy Tab。根据市场预测,到2015年,随着包括数据编辑的生产力应用加速增长,平板使用将快速增长到约五亿。
作为真正的移动装置,平板由许多用户在上班的路上用于阅读和娱乐。它们的轻巧、强力处理器、具有足够大小的高质量屏幕(通常7-11英寸,但一些厂商正开发具有5英寸屏幕的“大号智能电话”)、多种特色的无缝因特网连接、及成千上万的有用应用程序使这些装置成为非常想得到的日常伙伴。
然而,火车、汽车、飞机和轮船乘客、某些工业设置、及其它不利情形下的使用条件可能实质上不同于舒适办公室或家庭环境的条件。装置可能遭受随机出现的坠下、颠簸、猛冲、倾斜、抖动及其它干扰。用户不想要及不受其控制的装置运动可能影响与装置及应用程序的交互作用,从而导致一系列不合需要的后果。例子包括按压触控装置上的错误动作按钮及可能在编辑期间因前述错位点击而导致数据损失、虚拟键盘上的错误录入、笔激活的触屏应用中手绘图及手写文本的变形、错误识别多点触摸手势等。根据在不利使用条件下移动装置暴露于其的干扰的频率和振幅,屏幕甚至可能看上去模糊或太不稳定以至不能查看,这进而可能促使用户较长时间段中断其装置上的屏幕编辑甚或所显示信息的查看。
因而,对于移动生产力应用程序及对于实现令人满意的移动使用体验,建立新一代用户界面(UI)是有用的,其通过减少移动装置的不受控运动的有害后果而提高在路上及在其它不利使用条件下的生产力。
发明内容
根据在此所述的系统,针对不利使用条件调整移动用户界面包括检测移动装置的不合需要的运动,及根据不合需要的运动对移动装置用户界面进行调整,其中调整包括至少下述之一:放大移动装置的图形元素,提供移动装置上的图像的数字稳定,对关键操作提供另外的警告和用户输入选项,使用修改的手势识别算法,及调节对打字和绘图的系统响应。不合需要的运动可以是瞬间或持续运动。所进行的调整可根据不合需要的运动是瞬间运动还是持续运动而变化。不合需要的瞬间运动可以是颠簸、猛冲和/或急转弯。不合需要的持续运动可包括铁路振动、飞机振动、和/或船只纵摇。不合需要的运动可通过强度分类为低、中和高强度。调节对打字和绘图的系统响应可根据不合需要的运动的强度变化。响应于不合需要的运动的强度为高,阻止打字和绘画输入。响应于不合需要的运动的强度为中,可在不合需要的运动消除后执行拼写检查和线平滑验证。响应于拼写检查和/或线平滑验证检测到多个错误,可废除用户变化。响应于不合需要的运动的强度为低,系统可拒绝不满足最低持续时间和/或压力水平标准的用户触摸。响应于检测到不合需要的运动,多点触摸手势识别的参数可进行调节以对不合需要的运动负责。不合需要的运动可基于来自加速计和陀螺仪中的至少一个的输入使用移动装置轨迹的光谱分析、重力加速、定向和/或旋转参数进行检测。调整可仅响应于移动装置设置在旅行模式时进行。移动装置可由用户手动设置成旅行模式,或通过移动装置和网络的交互作用半自动地设置成旅行模式。针对不利使用条件调整移动用户界面还可包括使用移动装置用户的惯常行经路线增强干扰的检测。增强检测可包括分析沿惯常路线的干扰或可包括使用户标记惯常路线图以指明干扰区域。
进一步根据在此所述的系统,提供在非短暂计算机可读介质中的计算机软件针对不利使用条件调整移动用户界面。该软件包括检测移动装置的不合需要的运动的可执行代码,及根据不合需要的运动对移动装置用户界面进行调整的可执行代码,其中调整包括至少下述之一:放大移动装置的图形元素,提供移动装置上的图像的数字稳定,对关键操作提供另外的警告和用户输入选项,使用修改的手势识别算法,及调节对打字和绘图的系统响应。不合需要的运动可以是瞬间或持续运动。所进行的调整可根据不合需要的运动是瞬间运动还是持续运动而变化。不合需要的瞬间运动可以是颠簸、猛冲和/或急转弯。不合需要的持续运动可包括铁路振动、飞机振动、和/或船只纵摇。不合需要的运动可通过强度分类为低、中和高强度。调节对打字和绘图的系统响应可根据不合需要的运动的强度变化。响应于不合需要的运动的强度为高,打字和绘画输入可被阻止。响应于不合需要的运动的强度为中,可在不合需要的运动消除后执行拼写检查和线平滑验证。响应于拼写检查和/或线平滑验证检测到多个错误,可废除用户变化。响应于不合需要的运动的强度为低,系统可拒绝不满足最低持续时间和/或压力水平标准的用户触摸。响应于检测到不合需要的运动,多点触摸手势识别的参数可进行调节以对不合需要的运动负责。不合需要的运动可基于来自加速计和陀螺仪中的至少一个的输入使用移动装置轨迹的光谱分析、重力加速、定向和/或旋转参数进行检测。调整可仅响应于移动装置设置在旅行模式时进行。移动装置可由用户手动设置成旅行模式,或通过移动装置和网络的交互作用半自动地设置成旅行模式。该计算机软件还可包括使用移动装置用户的惯常行经路线增强干扰的检测的可执行代码。增强检测可包括分析沿惯常路线的干扰或可包括使用户标记惯常路线图以指明干扰区域。
减少移动装置的不受控运动的有害后果包括识别移动装置的运动并改变UI元素、应用程序及操作系统行为以有助于用户与软件应用程序交互作用并在不受控运动引起不想要的效果之后部分消除不想要的效果。本发明系统的目标在于通过使在路上及在其它不利条件下能舒适、连续的工作而增加用户生产力,不利条件指可能中断装置使用而等待下一平稳搭乘时间段或使用条件的其它改善的条件;或者用户可能因反复“颠簸”、“猛冲”和“倾斜”而生气并完全停止使用生产力应用程序。
用于识别不想要的运动的技术众所周知并包括基于加速计和/或陀螺仪运动检测而在笛卡尔和/或角坐标系统中对装置轨迹进行光谱分析。这应用于摇动、振动、抖动、摇晃(加速度变化)、颠簸、猛冲或倾斜检测计算等。检测到的干扰可通过持续时间归类为单个(瞬间或短期,如颠簸、猛冲、倾斜或急转弯)和持续(如铁路或飞机振动或船只纵摇)干扰;在归类时也可包括其它类型的持续时间。干扰可通过强度归类为低、中和高强度运动;更细的强度分级标准也是可能的。
在这里描述的系统的实施例中,前述检测技术及UI的相应动态变化在移动装置的专用旅行模式(类似于移动电话上的旅行/飞行模式)下应用。旅行模式可由用户手动启用或通过用户装置与车辆或船上存在的无线或其它网络交互作用而半自动地启用。限制永久性运动跟踪及超前的旅行模式UI行为可保持电池寿命并避免对不同类型的用户控制的装置运动进行不合理的反应,例如用户带着平板在办公室或家中走动或者用户玩需要装置运动的视频游戏。
在这里描述的系统的另一实施例中,不想要的装置运动的检测可通过针对惯常路线定制检测而增强,如家和办公室之间乘火车或汽车的日常行程(例如合伙使用汽车时的乘客)。在该情形下,沿反复路线的装置运动可首先进行记录然后分析典型的干扰,例如当火车沿该路线急转弯时或者在沿该路线的站点附近加速/减速时。路线障碍图或路线简图可由系统建立并呈现给用户,从而使用户能在随后的行程期间标记继而识别突出的干扰,并通知移动装置响应于沿该路线的特定不想要的条件改变UI元素或行为。
一旦已检测到移动装置的不利运动,根据该运动的特性、强度和持续时间及根据伴随干扰或干扰之后的用户活动,系统可改变UI外观和行为。在不同实施例中,前述变化可包括下述任何或所有动作中的一个或多个。
当用户在遭受永久性干扰的移动装置上的应用程序中进行关键操作时,如保存或删除内容,系统可显示在有利使用条件下不需要的、另外的警告消息。该消息可要求用户另外确认想要的操作。
当检测到持续性干扰时,系统可显示放大的应用程序图标、按钮、菜单标题及其它交互性UI元素,以有助于用户使用手指或笔触、操纵杆、触控板式鼠标或其它可用输入接口进行按压、点击及其它操作。
当影响移动装置的持续性干扰包括振动、摇动或抖动时,这些干扰可使用户清楚地看见装置屏幕内容的能力受损,因为查看距离和角度可能快速变化。根据干扰的频谱和振幅,屏幕可能模糊、跳动或展现其它不合需要的效果。在该情形下,系统可调用屏幕图像的实时数字稳定,其通过将屏幕的几像素宽的外框占用为像素缓冲区、根据传感器数据重新计算实时屏幕外观、及刷新屏幕使得屏幕对用户表现为静止图像而进行。
无论何时检测到具有多点触摸屏的移动装置的不想要的运动,均可对手势识别的参数进行改变,其通常由系统软件和/或软件驱动器进行。例如,当用户进行双手指轻敲手势时,装置振动或摇动,屏幕可能在手指轻敲后刚离开屏幕时朝向轻敲手指跳动从而可能再次接触手指,进而导致不合需要的二次双手指轻敲效果。在正常条件下,前述轻敲将被手势识别系统软件解释为双手指双次轻敲,这并非用户想要的,及在许多情形下这将执行不同于响应于单次双手指轻敲的功能,因而可能导致错误。为避免这样的问题,系统可使用于接受该轻敲及双次轻敲手势的参数区变窄,从而要求手指和触敏屏之间出现更加截然不同和可靠的交互作用,以将手势归类为单次或双次轻敲。对应地,拒绝区可能变宽,即系统不进行手势选择和不执行动作而等待重复及更准确的手势的参数区可扩展。类似动作可应用于在装置出现不想要的运动时系统可能混淆的任意一对类似手势;例子包括单手指轻敲对单手指双次轻敲、双手指收聚对旋转等。
正像在不利使用条件下针对输入手势改变响应一样,系统可能加严屏幕触摸键盘的文本输入要求。由于摇动、振动或抖动装置可导致手指滑动及偶尔触摸错误的键,在持续性干扰情形下的输入模式可能要求更可靠的键触摸,具有更高的压力水平及更长的触摸间隔,以考虑该输入有效。另外,系统可使用其它手段提高不利使用条件下的文本输入准确度。在一实施例中,系统记录在摇动、摇晃或其它不合需要的运动条件下输入的文本输入部分并对这些文本部分自动应用拼写检查;如果错误数量明显超出该用户的常规错误率,该部分被自动放弃(取消)并需要特殊的用户指令重做该部分。在另一实施例中,每当干扰强度超出某一水平时,系统另外完全阻止键盘输入;因而,每当汽车颠簸或倾斜、碰见粗糙表面或进行急转弯时,系统将阻止非驾驶员汽车乘客的文本输入。
在这里描述的系统的实施例中,与针对文本输入提供的类似的控制可用于其它类型的输入。输入的部分可记录在临时缓冲器内,检查其一致性,如果输入满足一致性标准则将其添加到主输入流内。在一实施例中,系统可检查徒手画及手写文本输入的线平滑并取消具有表明笔或绘画手指滑动的过度抖动或快速射击段的线。
附图说明
在此所述的系统的实施例现在将结合附图进行更详细地说明,附图简要说明如下。
图1A和1B示意性地示出了根据在此所述的系统的实施例的在不利使用条件下自动放大应用程序图标和按钮。
图2示出了根据在此所述的系统的实施例的在不利使用条件下对进行的关键操作显示另外的警告。
图3示意性地示出了根据在此所述的系统的实施例的在屏幕遭受导致模糊或阻止用户清楚地看见屏幕内容的其它效果的抖动或其它不利使用条件时进行的数字稳定。
图4A-4B示出了根据在此所述的系统的实施例的在无妨碍条件下及在持续性干扰条件下手势识别模式之间的差别。
图5A-5D为描述与在此所述的系统的不同实施例相关联的处理的系统流程图。
图4A-4B上的手势图标已由Gestureworks设计,参见http://gestureworks.com。
具体实施方式
在此描述的系统提供多种不同的、针对不利使用条件调整移动装置上的用户界面和使用体验的技术,不利使用条件通常归类为持续性或单个干扰,如通过装置传感器如加速计和陀螺仪检测的摇动、抖动、摇晃、振动、颠簸、倾斜、猛冲及其它不想要的装置运动。一旦来自传感器的输入信号已被分析及已检测到干扰类型和强度,系统可修改UI的不同方面及部分交互作用参数和行为,并向用户呈现有助于使不想要的效果最小化的更新。
图1A-1B提供了响应于检测到与不利使用条件相关联的持续性干扰,装置桌面上放大的应用程序图标及装置软件中放大的动作按钮的多种不同类型的示意性图示。图1A示出了屏幕图标的大小可根据不利使用条件的强度改变的实施例。在正常(相对静止)无妨碍条件下,装置屏幕110以常规大小显示应用程序图标120,用户可方便地用手指130轻敲屏幕图标。一旦检测到干扰140,其分析和归类为持续性干扰,用户明显更难轻敲屏幕图标。因而,如本说明书别处所述,系统显示更大的图标图像150,并使用户通过用手指轻敲图标图像150或使用其它输入接口选择图标图像150而较容易调用安装的应用程序。在一些实施例中,线性图标大小可翻倍(正方形大小,四倍)以有助于应用程序运行。当然,其它大小的增加也可能。
图1B示出了应用程序动作按钮可响应于持续性干扰放大的实施例。应用程序窗口160包括正常显示大小的应用程序图标170。一旦检测到干扰180并归类为持续性干扰,应用程序按钮190可按更大的大小重画以有助于触摸屏上的手指操作及使用其他输入接口选择按钮190。放大系数取决于干扰强度、工具条设计、工具条中自由空间的可用性、相关联的操作的重要性等。在图1B所示的例子中,负责保存或删除笔记的关键操作的动作按钮的线性大小在不利条件下已增加50%,而编辑工具条中的格式化按钮的大小(即非关键操作)增加40%。当然,其它大小的增加也可能。
图2为系统实施例的示意性图示200,其中除放大应用程序按钮之外,当进行应用程序中的关键操作及检测到单个干扰时,还可显示另外的警告。应用程序窗口210具有用户按压即取消笔记中的内容捕获的取消按钮220。在具有强单个干扰的不利使用条件下,如颠簸、倾斜或猛冲,当用户的手指相当靠近屏幕表面时,因不合需要的装置运动而可能意外轻敲。由于内容捕获过程的取消可导致数据损失,系统发出要求用户确认意图的警告220。在图2所示的实施例中,可邀请用户通过再次轻敲取消按钮220而确认操作。如果在某一短时间段内按钮220保持未被轻敲,警告消息从屏幕消失及第一次轻敲被视为错误。
图3为系统实施例的示意性图示300,其中提供屏幕图像的数字稳定。当不利使用条件310影响装置时,由系统或应用程序软件绘图的桌面或应用程序图像320可能显得模糊或抖动,因为屏幕330和用户眼睛350之间的距离和查看角度340快速变化。为消除表观缺陷,可使用传统数字稳定:外像素缓冲框360添加到屏幕图像上,及根据运动和角度传感器的测量结果实时刷新屏幕330,使得移位和角度变化由缓冲框吸收,框内刷新屏幕后的图像370看上去稳定,即产生眼睛350以固定角度和距离390查看屏幕330的印象。在用户有意移动和转动装置的情形下,角度和距离可连同屏幕视图一起变化,角度和距离不由系统和像素缓冲框补偿,因为系统基于传感器测量结果及其分析可在持续性干扰和单个运动之间区分。
图4A-4B组合为比较示意性图示400,其示出了在正常(相对静止)条件下及在不利使用条件下的多点触摸手势识别的差别。在图4A中,手势识别图通过在两个多点触摸手势之间区分进行例示:双手指单次轻敲410和双手指双次轻敲420。在正常(相对静止)使用条件下,在从触摸事件的输入流提取参数之后,第一手势备选方案430和第二手势备选方案440在以时间坐标为特征的空间中的接受区域重叠相当窄的区域450。区域450表示无把握的区域,即系统不选择胜者并放弃该手势(响应于输入不做任何响应)的拒绝区。
图4B示出了在不利使用条件460下双手指单次轻敲和双手指双次轻敲的系统处理。在以时间坐标为特征的空间中,接受区域470、480被系统收缩,用于拒绝的无把握参数区490大于用于正常条件的区域450。较大的区域490说明不想要的装置运动干扰手势的正确解释的情形,如本说明书别处所述。
参考图5A,流程图500示出了结合检测干扰和用户活动及定制UI以减少不利使用条件的影响所执行的处理。处理开始于步骤501,系统从装置的传感器接收数据以检测干扰。在步骤501之后,处理进行到测试步骤502,确定是否存在持续性干扰。如果否,则处理进行到测试步骤506。否则,处理进行到步骤503,响应于确认的持续性干扰和根据装置桌面上或装置上的运行软件应用程序内的用户动作放大UI元素,如本说明书别处所述。在步骤503之后,处理进行到步骤504,像素缓冲框添加到屏幕上,及桌面图像被数字稳定,如本说明书别处所述。在步骤504之后,处理进行到步骤505,用于在不同对的类似多点触摸手势之间进行区分的、以时间坐标为特征的空间中的接受和拒绝区域由系统改变。
在步骤505之后,处理进行到测试步骤506,确定是否检测到单个干扰如汽车颠簸或倾斜、飞机由于涡流而猛冲、或火车急转弯。应注意,测试步骤506还从测试步骤502到达,如上所述,如果不存在持续性干扰。如果存在单个干扰,处理进行到步骤507,检测当前用户活动。在步骤507之后,处理进行到步骤508,根据检测到的用户活动处理检测到的单个干扰。在步骤508进行的处理在本说明书别处详细描述。在步骤508之后,处理进行到测试步骤509,确定是否必须继续跟踪不利使用条件和用户活动。应注意,测试步骤509还从步骤506到达,如上所述,如果未检测到单个干扰。如果继续跟踪,控制返回到开始步骤501,如上所述。如果不继续跟踪(例如用户已推出移动装置上的旅行模式),则处理结束。
参考图5B,流程图510提供根据用户活动在步骤508处理单个干扰的更详细的描述。用户活动包括点击应用程序图标或按钮、多点触摸手势、或在支持手写输入的应用程序中在触摸屏上画/写。处理开始于测试步骤512,确定用户是否点击应用程序图标或按钮。如果是,则处理进行到测试步骤514,确定用户是否正执行关键UI操作(例如通过将当前操作与预先确定的关键操作列表进行比较)。如果是,则处理进行到步骤516,系统显示另外的警告,使得如果按钮或图标点击为因装置摇动、颠簸、倾斜、猛冲或其它干扰引起的不想要的动作,用户有机会取消或忽略不必要的操作,如本说明书别处所述(参见图2)。如果在测试步骤514确定用户未执行关键操作,则处理进行到步骤518以继续用户操作。应注意,步骤518还跟随步骤516。在步骤518之后,处理结束。
如果在测试步骤512确定用户未点击图标或按钮,则控制从测试步骤512转到测试步骤522,确定用户是否正进行多点触摸手势。如果是,则处理进行到测试步骤524,确定该手势(目前为止通过系统软件的初步手势识别而识别)是否在预先确定的易出错的手势列表中(即可能因不利使用条件下装置的不想要的运动而导致系统误识别)。如果否,则控制转到步骤526,系统使用常规(正常条件)手势识别算法和参数。如果该手势在易出错手势列表中,则处理进行到步骤528,修改的手势识别算法和参数用于更费力的需要以使手势得以可靠地识别,如本说明书别处所述(参见图4B)。在步骤526、528任一之后,处理结束。
如果在测试步骤522确定用户未进行多点触摸手势,则控制从测试步骤522转到测试步骤532,确定用户是否正画或写。如果否,则处理结束。否则,控制从测试步骤532转到步骤534,系统进行画/写处理,如本说明书别处更详细描述的。在步骤534之后,处理结束。
参考图5C,流程图540提供在步骤534进行的处理的更详细的描述,如上所述,其与处理屏幕触摸键盘上的打字或装置上运行的适当应用程序中的绘画/手写有关。处理开始于测试步骤542,测量干扰强度并将其归类为低、中或高。在低强度干扰情形下,如在移动的车中具有0.05g到0.1g的峰值加速度的颠簸或倾斜,处理进行到步骤544,对打字、写或画的系统响应加严,例如通过系统忽略不满足最小压力和/或接触时间要求的键触摸。在步骤544之后,处理进行到步骤546,用户在加严的系统响应下继续打字、写或画。
在步骤546之后,处理进行到测试步骤548,确定干扰条件/状态是否结束。这例如可通过向与结合图5A的步骤501使用的类似的干扰跟踪系统发送查询或从其接收信号而实现。如果干扰持续,处理回到步骤523,继续在加严系统响应下的打字、写或画。如果干扰状态/条件结束,则处理进行到步骤552,重置系统以提供对打字、写或画的正常响应。在步骤552之后,处理结束。
在中等干扰强度的情形下,例如在移动的车中具有0.1g到0.2g的峰值加速度,处理从测试步骤542进行到步骤554,其与步骤544类似,加严对打字、写或画的系统响应,需要另外的压力,及总的来说,减慢对触摸的处理以在该模式下成功确认。在步骤554之后,处理进行到步骤556,用户在加严系统响应下继续打字、写或画,及系统记录打字文本、手写或绘画的片断以用于随后验证。在步骤556之后,处理进行到测试步骤558,确定干扰条件/状态是否结束。如果否,则处理返回到步骤556,用户在加严条件下继续当前活动。如果干扰结束,处理进行到步骤562,验证记录是数据及执行对应的动作。在不同实施例中,验证可包括打字文本的拼写检查及比较错误率和该用户的平均错误率;分析手划线的平滑,不存在抖动或“射击线”(写器具滑动的指示)等。在步骤562进行的处理在本说明书别处更详细地描述。在步骤562之后,处理结束。
在步骤542检测到强、高强度干扰的情形下,例如在移动的车中具有高于0.2g的加速度的颠簸或倾斜,处理进行到步骤564,系统完全(及临时)阻止任何屏幕触摸键盘上的打字及装置上运行的所有或部分应用程序中的写和/或画。在步骤564之后,处理进行到测试步骤566,验证干扰是否结束。如果否,则处理进行到步骤568,用户继续当前操作(不包括被阻止的活动)。在步骤568之后,处理返回到步骤566,确定干扰条件/状态是否已终止。如果在测试步骤536确定干扰结束,则处理进行到步骤572,所有先前阻止的活动如打字、写和画解锁。在步骤572之后,处理结束。
参考图5D,流程图580更详细地示出了在步骤562进行的处理,如上所述,其中进行记录数据的验证。流程图580关于结合图5C所述的干扰后情形。处理开始于步骤582,执行拼写检查(在打字情形下)或平滑检查(在画情形下)。在步骤582之后为步骤584,决定用户的打字、画或写是否在可接受的参数内或是否已受不想要的装置运动影响(即打字文本具有过分的拼写检查错误率或手写/手画线展现强抖动或手写器具滑动记号)。如果数据可接受,则处理进行到步骤588,将系统响应重置为标准值。如果数据被干扰显著影响,处理进行到步骤586,系统删除(取消)受影响的文本段、手写字或绘画。在步骤586之后,处理进行到步骤588,如上所述。在步骤588之后,处理结束。
在此所述的多个不同实施例可按在此所述的系统的适当组合彼此组合。另外,在某些情形下,只要适当,流程图和/或描述的流水处理的步骤顺序可修改。随后,在屏幕布局中描述的屏幕元素及区域可不同于在此提出的实例。另外,在此所述的系统的多个不同方面可使用软件、硬件、软件和硬件的组合和/或具有所述功件并执行所述功能的其它计算机实施的模块或装置进行实施。移动装置可以是平板电脑或移动电话,尽管其它装置也可能。应注意,除移动装置之外,在此所述的系统还可与台式电脑、膝上型电脑、和/或任何其它计算装置一起使用。
在此所述的系统的软件实施可包括保存在计算机可读介质中并由一个或多个处理器执行的可执行代码。计算机可读介质可以是非短暂介质并包括计算机硬盘驱动器、ROM、RAM、闪存、便携计算机存储介质如CD-ROM、DVD-ROM、闪盘驱动器、SD卡、和/或例如具有通用串行总线(USB)接口的其它驱动器,和/或任何其它适当的有形或非短暂计算机可读介质或可执行代码可保存于其上并由处理器执行的计算机存储器。在此所述的系统可结合任何适当的操作系统使用。
对于本领域技术人员,基于在此公开的发明的说明或实施,本发明的其它实施方式将显而易见。说明和例子仅视为示例,本发明的真实范围和精神由权利要求指明。

Claims (38)

1.针对不利使用条件调整移动用户界面的方法,包括:
检测所述移动装置的不合需要的运动;及
根据所述不合需要的运动对移动装置用户界面进行调整,其中所述调整包括至少下述之一:放大移动装置的图形元素,提供移动装置上的图像的数字稳定,对关键操作提供另外的警告和用户输入选项,使用修改的手势识别算法,及调节对打字和绘图的系统响应。
2.根据权利要求1所述的方法,其中不合需要的运动为下述之一:瞬间或持续运动。
3.根据权利要求2所述的方法,其中所进行的调整根据不合需要的运动是瞬间运动还是持续运动而变化。
4.根据权利要求2所述的方法,其中不合需要的瞬间运动至少包括下述之一:颠簸、猛冲和急转弯。
5.根据权利要求2所述的方法,其中不合需要的持续运动至少包括下述之一:铁路振动、飞机振动、和船只纵摇。
6.根据权利要求1所述的方法,其中不合需要的运动通过强度分类为低、中和高强度。
7.根据权利要求6所述的方法,其中调节对打字和绘图的系统响应根据不合需要的运动的强度变化。
8.根据权利要求7所述的方法,其中响应于不合需要的运动的强度为高,阻止打字和绘画输入。
9.根据权利要求7所述的方法,其中响应于不合需要的运动的强度为中,在不合需要的运动消除后执行拼写检查和线平滑验证。
10.根据权利要求9所述的方法,其中响应于拼写检查和线平滑验证中的至少一个检测到多个错误,废除用户变化。
11.根据权利要求7所述的方法,其中响应于不合需要的运动的强度为低,系统拒绝不满足持续时间和压力水平中的至少一个的最低标准的用户触摸。
12.根据权利要求1所述的方法,其中响应于检测到不合需要的运动,调节多点触摸手势识别的参数以说明不合需要的运动。
13.根据权利要求1所述的方法,其中不合需要的运动基于来自加速计和陀螺仪中的至少一个的输入使用移动装置轨迹的光谱分析、重力加速、定向和旋转参数进行检测。
14.根据权利要求1所述的方法,其中调整仅响应于移动装置设置在旅行模式时进行。
15.根据权利要求14所述的方法,其中移动装置由用户手动设置成旅行模式。
16.根据权利要求14所述的方法,其中移动装置通过其和网络的交互作用半自动地设置成旅行模式。
17.根据权利要求1所述的方法,还包括:
使用移动装置用户的惯常行经路线增强干扰的检测。
18.根据权利要求17所述的方法,其中增强检测包括分析沿惯常路线的干扰。
19.根据权利要求17所述的方法,其中增强检测包括使用户标记惯常路线图以指明干扰区域。
20.提供在非短暂计算机可读介质中的计算机软件,其针对不利使用条件调整移动用户界面,所述软件包括:
检测移动装置的不合需要的运动的可执行代码;及
根据不合需要的运动对移动装置用户界面进行调整的可执行代码,其中所述调整包括至少下述之一:放大移动装置的图形元素,提供移动装置上的图像的数字稳定,对关键操作提供另外的警告和用户输入选项,使用修改的手势识别算法,及调节对打字和绘图的系统响应。
21.根据权利要求20所述的计算机软件,其中不合需要的运动为下述之一:瞬间或持续运动。
22.根据权利要求21所述的计算机软件,其中所进行的调整根据不合需要的运动是瞬间运动还是持续运动而变化。
23.根据权利要求21所述的计算机软件,其中不合需要的瞬间运动至少包括下述之一:颠簸、猛冲和急转弯。
24.根据权利要求21所述的计算机软件,其中不合需要的持续运动至少包括下述之一:铁路振动、飞机振动、和船只纵摇。
25.根据权利要求20所述的计算机软件,其中不合需要的运动通过强度分类为低、中和高强度。
26.根据权利要求25所述的计算机软件,其中调节对打字和绘图的系统响应根据不合需要的运动的强度变化。
27.根据权利要求26所述的计算机软件,其中响应于不合需要的运动的强度为高,阻止打字和绘画输入。
28.根据权利要求26所述的计算机软件,其中响应于不合需要的运动的强度为中,在不合需要的运动消除后执行拼写检查和线平滑验证。
29.根据权利要求28所述的计算机软件,其中响应于拼写检查和线平滑验证中的至少一个检测到多个错误,废除用户变化。
30.根据权利要求26所述的计算机软件,其中响应于不合需要的运动的强度为低,系统拒绝不满足持续时间和压力水平中的至少一个的最低标准的用户触摸。
31.根据权利要求20所述的计算机软件,其中响应于检测到不合需要的运动,调节多点触摸手势识别的参数以说明不合需要的运动。
32.根据权利要求20所述的计算机软件,其中不合需要的运动基于来自加速计和陀螺仪中的至少一个的输入使用移动装置轨迹的光谱分析、重力加速、定向和旋转参数进行检测。
33.根据权利要求20所述的计算机软件,其中调整仅响应于移动装置设置在旅行模式时进行。
34.根据权利要求20所述的计算机软件,其中移动装置由用户手动设置成旅行模式。
35.根据权利要求20所述的计算机软件,其中移动装置通过其和网络的交互作用半自动地设置成旅行模式。
36.根据权利要求20所述的计算机软件,还包括:
使用移动装置用户的惯常行经路线增强干扰的检测的可执行代码。
37.根据权利要求36所述的计算机软件,其中增强检测包括分析沿惯常路线的干扰。
38.根据权利要求36所述的计算机软件,其中增强检测包括使用户标记惯常路线图以指明干扰区域。
CN201380013366.6A 2012-03-07 2013-02-21 针对不利使用条件调整移动用户界面 Pending CN104160362A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261607820P 2012-03-07 2012-03-07
US61/607,820 2012-03-07
US13/727,189 2012-12-26
US13/727,189 US20130234929A1 (en) 2012-03-07 2012-12-26 Adapting mobile user interface to unfavorable usage conditions
PCT/US2013/027018 WO2013133977A1 (en) 2012-03-07 2013-02-21 Adapting mobile user interface to unfavorable usage conditions

Publications (1)

Publication Number Publication Date
CN104160362A true CN104160362A (zh) 2014-11-19

Family

ID=49113635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013366.6A Pending CN104160362A (zh) 2012-03-07 2013-02-21 针对不利使用条件调整移动用户界面

Country Status (4)

Country Link
US (1) US20130234929A1 (zh)
EP (1) EP2823378A4 (zh)
CN (1) CN104160362A (zh)
WO (1) WO2013133977A1 (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055116A (zh) * 2016-07-26 2016-10-26 广东欧珀移动通信有限公司 控制方法及控制装置
CN106874338A (zh) * 2015-03-08 2017-06-20 苹果公司 用于利用视觉和/或触觉反馈操纵用户界面对象的设备、方法和图形用户界面
CN106921890A (zh) * 2015-12-24 2017-07-04 上海贝尔股份有限公司 一种用于促进设备中的视频渲染的方法和装置
CN107430488A (zh) * 2015-03-07 2017-12-01 苹果公司 基于活动的阈值和反馈
US10599331B2 (en) 2015-03-19 2020-03-24 Apple Inc. Touch input cursor manipulation
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10698598B2 (en) 2015-08-10 2020-06-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10705718B2 (en) 2015-06-07 2020-07-07 Apple Inc. Devices and methods for navigating between user interfaces
CN111443810A (zh) * 2020-03-30 2020-07-24 南京维沃软件技术有限公司 一种信息显示方法及电子设备
US10771606B2 (en) 2014-09-02 2020-09-08 Apple Inc. Phone user interface
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10841484B2 (en) 2015-06-07 2020-11-17 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
US10872318B2 (en) 2014-06-27 2020-12-22 Apple Inc. Reduced size user interface
CN112130941A (zh) * 2020-08-28 2020-12-25 华为技术有限公司 一种界面的展示方法以及相关设备
US10884608B2 (en) 2015-08-10 2021-01-05 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10884591B2 (en) 2012-05-09 2021-01-05 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10915243B2 (en) 2012-12-29 2021-02-09 Apple Inc. Device, method, and graphical user interface for adjusting content selection
US10942570B2 (en) 2012-05-09 2021-03-09 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10990270B2 (en) 2012-05-09 2021-04-27 Apple Inc. Context-specific user interfaces
US10996788B2 (en) 2012-05-09 2021-05-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11148007B2 (en) 2016-06-11 2021-10-19 Apple Inc. Activity and workout updates
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11604571B2 (en) 2014-07-21 2023-03-14 Apple Inc. Remote user interface
US11740776B2 (en) 2012-05-09 2023-08-29 Apple Inc. Context-specific user interfaces

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130009915A1 (en) * 2011-07-08 2013-01-10 Nokia Corporation Controlling responsiveness to user inputs on a touch-sensitive display
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US10613743B2 (en) 2012-05-09 2020-04-07 Apple Inc. User interface for receiving user input
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9547425B2 (en) 2012-05-09 2017-01-17 Apple Inc. Context-specific user interfaces
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2014000203A1 (en) * 2012-06-28 2014-01-03 Intel Corporation Thin screen frame tablet device
US8825234B2 (en) * 2012-10-15 2014-09-02 The Boeing Company Turbulence mitigation for touch screen systems
CA2901601C (en) * 2012-12-04 2021-04-27 L-3 Communications Corporation Touch sensor controller responsive to environmental operating conditions
KR102000253B1 (ko) 2012-12-29 2019-07-16 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP3435220B1 (en) 2012-12-29 2020-09-16 Apple Inc. Device, method and graphical user interface for transitioning between touch input to display output relationships
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
JP6322364B2 (ja) * 2013-01-29 2018-05-09 矢崎総業株式会社 電子制御装置
WO2015037792A1 (ko) * 2013-09-10 2015-03-19 엘지전자(주) 전자기기
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドApple Inc. 関連するユーザインターフェースオブジェクトの表示
KR20150073378A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
US10254948B2 (en) 2014-09-02 2019-04-09 Apple Inc. Reduced-size user interfaces for dynamically updated application overviews
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9818171B2 (en) * 2015-03-26 2017-11-14 Lenovo (Singapore) Pte. Ltd. Device input and display stabilization
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9798413B2 (en) 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US10725627B2 (en) * 2016-07-15 2020-07-28 International Business Machines Corporation Managing inputs to a user interface with system latency
EP3507721B1 (en) 2016-09-02 2022-11-23 FutureVault Inc. Real-time document filtering systems and methods
EP3507723A4 (en) 2016-09-02 2020-04-01 FutureVault Inc. SYSTEMS AND METHODS FOR SHARING DOCUMENTS
SG11201901778YA (en) 2016-09-02 2019-03-28 Futurevault Inc Automated document filing and processing methods and systems
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
KR102488580B1 (ko) 2017-01-12 2023-01-13 삼성전자주식회사 적응적인 사용자 인터페이스를 제공하기 위한 장치 및 방법
US10788934B2 (en) 2017-05-14 2020-09-29 Microsoft Technology Licensing, Llc Input adjustment
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
WO2019199561A1 (en) * 2018-04-09 2019-10-17 Cambridge Mobile Telematics Inc. Vehicle classification based on telematics data
GB2577480B (en) * 2018-09-11 2022-09-07 Ge Aviat Systems Ltd Touch screen display assembly and method of operating vehicle having same
US10694078B1 (en) 2019-02-19 2020-06-23 Volvo Car Corporation Motion sickness reduction for in-vehicle displays
US11768536B2 (en) * 2021-09-09 2023-09-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for user interaction based vehicle feature control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906565A (zh) * 2004-01-09 2007-01-31 诺基亚公司 自适应用户界面输入设备
US20100321286A1 (en) * 2009-06-19 2010-12-23 Myra Mary Haggerty Motion sensitive input control
CN102239471A (zh) * 2008-12-05 2011-11-09 微软公司 运动自适应用户界面服务

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579467A (en) * 1992-05-27 1996-11-26 Apple Computer, Inc. Method and apparatus for formatting a communication
US6047300A (en) * 1997-05-15 2000-04-04 Microsoft Corporation System and method for automatically correcting a misspelled word
US20030038825A1 (en) * 2001-08-24 2003-02-27 Inventec Corporation Intuitive single key-press navigation for operating a computer
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US20090009482A1 (en) * 2007-05-01 2009-01-08 Mcdermid William J Touch sensor pad user input device
US8204684B2 (en) * 2007-06-28 2012-06-19 Apple Inc. Adaptive mobile device navigation
US8185601B2 (en) * 2008-05-11 2012-05-22 Nokia Corporation Sharing information between devices
US20100117959A1 (en) * 2008-11-10 2010-05-13 Samsung Electronics Co., Ltd. Motion sensor-based user motion recognition method and portable terminal using the same
US8217800B2 (en) * 2009-02-06 2012-07-10 Research In Motion Limited Motion-based disabling of messaging on a wireless communications device
US8315617B2 (en) * 2009-10-31 2012-11-20 Btpatent Llc Controlling mobile device functions
US8326333B2 (en) * 2009-11-11 2012-12-04 Sony Ericsson Mobile Communications Ab Electronic device and method of controlling the electronic device
US20110187651A1 (en) * 2010-02-03 2011-08-04 Honeywell International Inc. Touch screen having adaptive input parameter
US10976784B2 (en) * 2010-07-01 2021-04-13 Cox Communications, Inc. Mobile device user interface change based on motion
TWI407346B (zh) * 2010-07-30 2013-09-01 Ind Tech Res Inst 觸控輸入裝置之軌跡補償方法與系統,及其電腦程式產品
US20120249792A1 (en) * 2011-04-01 2012-10-04 Qualcomm Incorporated Dynamic image stabilization for mobile/portable electronic devices
US8644884B2 (en) * 2011-08-04 2014-02-04 Qualcomm Incorporated Sensor-based user interface control
US8825234B2 (en) * 2012-10-15 2014-09-02 The Boeing Company Turbulence mitigation for touch screen systems
US20140181715A1 (en) * 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906565A (zh) * 2004-01-09 2007-01-31 诺基亚公司 自适应用户界面输入设备
CN102239471A (zh) * 2008-12-05 2011-11-09 微软公司 运动自适应用户界面服务
US20100321286A1 (en) * 2009-06-19 2010-12-23 Myra Mary Haggerty Motion sensitive input control

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10996788B2 (en) 2012-05-09 2021-05-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US11947724B2 (en) 2012-05-09 2024-04-02 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10990270B2 (en) 2012-05-09 2021-04-27 Apple Inc. Context-specific user interfaces
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11740776B2 (en) 2012-05-09 2023-08-29 Apple Inc. Context-specific user interfaces
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10884591B2 (en) 2012-05-09 2021-01-05 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects
US10942570B2 (en) 2012-05-09 2021-03-09 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10915243B2 (en) 2012-12-29 2021-02-09 Apple Inc. Device, method, and graphical user interface for adjusting content selection
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US11250385B2 (en) 2014-06-27 2022-02-15 Apple Inc. Reduced size user interface
US10872318B2 (en) 2014-06-27 2020-12-22 Apple Inc. Reduced size user interface
US11720861B2 (en) 2014-06-27 2023-08-08 Apple Inc. Reduced size user interface
US11604571B2 (en) 2014-07-21 2023-03-14 Apple Inc. Remote user interface
US10771606B2 (en) 2014-09-02 2020-09-08 Apple Inc. Phone user interface
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
CN107430488A (zh) * 2015-03-07 2017-12-01 苹果公司 基于活动的阈值和反馈
US10860177B2 (en) 2015-03-08 2020-12-08 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11977726B2 (en) 2015-03-08 2024-05-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
CN106874338A (zh) * 2015-03-08 2017-06-20 苹果公司 用于利用视觉和/或触觉反馈操纵用户界面对象的设备、方法和图形用户界面
US11550471B2 (en) 2015-03-19 2023-01-10 Apple Inc. Touch input cursor manipulation
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US10599331B2 (en) 2015-03-19 2020-03-24 Apple Inc. Touch input cursor manipulation
US11835985B2 (en) 2015-06-07 2023-12-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10705718B2 (en) 2015-06-07 2020-07-07 Apple Inc. Devices and methods for navigating between user interfaces
US10841484B2 (en) 2015-06-07 2020-11-17 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11681429B2 (en) 2015-06-07 2023-06-20 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US10884608B2 (en) 2015-08-10 2021-01-05 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10963158B2 (en) 2015-08-10 2021-03-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10698598B2 (en) 2015-08-10 2020-06-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10754542B2 (en) 2015-08-10 2020-08-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11740785B2 (en) 2015-08-10 2023-08-29 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN106921890A (zh) * 2015-12-24 2017-07-04 上海贝尔股份有限公司 一种用于促进设备中的视频渲染的方法和装置
US11148007B2 (en) 2016-06-11 2021-10-19 Apple Inc. Activity and workout updates
US11660503B2 (en) 2016-06-11 2023-05-30 Apple Inc. Activity and workout updates
US11161010B2 (en) 2016-06-11 2021-11-02 Apple Inc. Activity and workout updates
US11918857B2 (en) 2016-06-11 2024-03-05 Apple Inc. Activity and workout updates
CN106055116A (zh) * 2016-07-26 2016-10-26 广东欧珀移动通信有限公司 控制方法及控制装置
CN106055116B (zh) * 2016-07-26 2019-09-06 Oppo广东移动通信有限公司 控制方法及控制装置
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
CN111443810B (zh) * 2020-03-30 2023-06-30 南京维沃软件技术有限公司 一种信息显示方法及电子设备
CN111443810A (zh) * 2020-03-30 2020-07-24 南京维沃软件技术有限公司 一种信息显示方法及电子设备
WO2022042429A1 (zh) * 2020-08-28 2022-03-03 华为技术有限公司 一种界面的展示方法以及相关设备
CN112130941A (zh) * 2020-08-28 2020-12-25 华为技术有限公司 一种界面的展示方法以及相关设备

Also Published As

Publication number Publication date
EP2823378A4 (en) 2016-03-30
US20130234929A1 (en) 2013-09-12
WO2013133977A1 (en) 2013-09-12
EP2823378A1 (en) 2015-01-14

Similar Documents

Publication Publication Date Title
CN104160362A (zh) 针对不利使用条件调整移动用户界面
JP7078808B2 (ja) リアルタイム手書き認識の管理
KR101967593B1 (ko) 터치 입력 커서 조작
CN110362245B (zh) 触摸输入光标操控
US7697002B2 (en) Varying hand-drawn line width for display
US8400476B2 (en) Display device, method and program
CN100390718C (zh) 信息处理系统、以及其方法
KR20140063500A (ko) 오프-스크린 가시 객체들의 표면화
KR20060051265A (ko) 플릭 제스쳐
EP2998846B1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US20120297336A1 (en) Computer system with touch screen and associated window resizing method
US20150264205A1 (en) Image display device, image display system, image display method, and computer-readable storage medium for computer program
US10534527B2 (en) Relative pen scroll
CN104346072A (zh) 显示控制装置及其控制方法
WO2015145571A1 (ja) 端末装置、表示制御方法及びプログラム
US20060195800A1 (en) Apparatus for displaying screen and recording medium recording a program thereof
US10802702B2 (en) Touch-activated scaling operation in information processing apparatus and information processing method
CN108885556B (zh) 控制数字输入
US20150234587A1 (en) Information processing apparatus, non-transitory readable medium, and handwriting input method
US9377853B2 (en) Information processing apparatus and information processing method
US11755114B2 (en) Input device
US10073616B2 (en) Systems and methods for virtually weighted user input elements for performing critical actions
KR20240024809A (ko) 신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템
US20140359434A1 (en) Providing out-of-dictionary indicators for shape writing
WO2022168603A1 (ja) 画像描画方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141119