CN102870065A - 用于调整图形用户界面上显示的图形数据的呈现的方法 - Google Patents

用于调整图形用户界面上显示的图形数据的呈现的方法 Download PDF

Info

Publication number
CN102870065A
CN102870065A CN2011800037566A CN201180003756A CN102870065A CN 102870065 A CN102870065 A CN 102870065A CN 2011800037566 A CN2011800037566 A CN 2011800037566A CN 201180003756 A CN201180003756 A CN 201180003756A CN 102870065 A CN102870065 A CN 102870065A
Authority
CN
China
Prior art keywords
graph data
gui
electronic equipment
existing
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800037566A
Other languages
English (en)
Other versions
CN102870065B (zh
Inventor
杰森·泰勒·格力芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maliki Innovation Co ltd
Original Assignee
Research in Motion Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research in Motion Ltd filed Critical Research in Motion Ltd
Publication of CN102870065A publication Critical patent/CN102870065A/zh
Application granted granted Critical
Publication of CN102870065B publication Critical patent/CN102870065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Ecology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了用于对电子设备的图形用户界面(GUI)上显示的图形数据进行调整的方法和系统。所述方法可以包括：监视电子设备的移动，以及识别电子设备的预定移动。所述方法还可以包括：响应于预定移动，将新图形数据覆盖至GUI上显示的现有图形数据。

Description

用于调整图形用户界面上显示的图形数据的呈现的方法
技术领域
本公开涉及调整在便携式电子设备的图形用户界面上显示的图形数据，更具体地，涉及响应于这种设备的预定移动将新图形数据覆盖至现有图形数据。
背景技术
电子设备(包括便携式电子设备)已经得到广泛使用，并且可以提供多种功能，包括例如电话、电子消息和其他个人信息管理器应用功能。便携式电子设备包括例如移动台、蜂窝电话、智能电话、无线个人数字助理和具有无线能力的膝上计算机。
这种设备包括提供图形用户界面(GUI)的显示器和操作系统，GUI向用户告知关于设备提供的应用和服务的图形数据等等。可以根据正在执行的功能和操作来修改所显示的图形数据。在特定实例中，用户可以例如通过经由键盘等等输入命令和功能，来突出显示、添加或移除GUI上显示的图形数据。
对于特定应用，使用户访问键盘来控制和修改GUI上显示的图形数据可能是繁琐和/或不利的。相应地，需要简化修改GUI上显示的图形数据的方式。
附图说明
应理解，以下详细描述仅是示例性和解释性的，不限制要求保护的这里公开的概念。并入并构成本说明书的一部分的附图与描述一起示意了多个实施例。在附图中：
图1是根据所公开实施例的便携式电子设备的框图；
图2是根据所公开实施例的便携式电子设备的顶面视图；
图3是根据所公开实施例用于调整在便携式电子设备的显示器上显示的图形数据的呈现的示例过程的流程图；
图4至5示意了根据所公开实施例调整在便携式电子设备的显示器上显示的图形数据的示例；
图6至7示意了根据所公开实施例调整在便携式电子设备的显示器上显示的图形数据的另一示例；
图8至10示意了根据所公开实施例调整在便携式电子设备的显示器上显示的图形数据的另一示例；以及
图11至13示意了根据所公开实施例调整在便携式电子设备的显示器上显示的图形数据的另一示例；
图14至16示意了根据所公开实施例调整在便携式电子设备的显示器上显示的图形数据的另一示例。
具体实施方式
现在具体参照在附图中示意的示例实施例。为了示意简明清楚，参考标号可能在图之间重复，以指示相应或相似的元件。所阐述的许多细节提供了对这里描述的实施例的理解。没有这些细节，也可以实现实施例。在其他实例中，未详细描述公知方法、过程和组件，以免模糊所描述的示例实施例。描述不应认为是限制这里描述的示例实施例的范围。
本公开总体涉及便携式电子设备。便携式电子设备的示例包括移动或手持无线通信设备，如寻呼机、蜂窝电话、蜂窝智能电话、无线组织器、个人数字助理、平板电脑以及具有无线能力的笔记本计算机。便携式电子设备还可以是没有无线通信能力的便携式电子设备，如手持电子游戏设备、数字相册或其他便携式设备。
图1示意了便携式电子设备1的示例的框图。便携式电子设备1包括多个组件，如处理器2，处理器2被配置为控制便携式电子设备1的总体操作。在一个实施例中，处理器2包括微处理器。通过通信子系统3来执行通信功能(包括数据和语音通信)。在一个实施例中，设备1被配置为接收压缩数据并使用解码器4来解压缩和解密数据。通信子系统3从无线网络5接收消息，并向无线网络5发送消息。无线网络5可以是任何类型的无线网络，包括但不限于数据无线网络，语音无线网络、以及支持语音和数据通信的网络。电源6(如一个或多个可再充电电池或对外部电源的端口)向便携式电子设备1供电。
此外，处理器2与便携式电子设备1的其他组件交互，如随机存取存储器(RAM)7、显示器8、扬声器9、键盘10、辅助I/O设备11、数据端口12、麦克风13、闪存14和时钟15。
为了识别订户以进行网络接入，便携式电子设备1使用订户识别模块或可移除用户识别模块(SIM/RUIM)卡16以与网络(如无线网络5)通信。备选地，可以将用户识别信息编程至闪存14。
便携式电子设备1包括操作系统17和软件程序或应用18，包括操作系统17和软件程序或应用18由处理器2执行，并且可以存储在永久性可更新存储器(如闪存14)中。附加应用或程序可以通过无线网络5、辅助I/O子系统11、数据端口12、短距离通信子系统19或任何其他合适子系统20加载至便携式电子设备1。
接收信号(如文本消息、电子邮件消息或网页下载)由通信子系统3处理，并输入至处理器2。处理器2处理接收信号以输出至显示器8和/或辅助I/O子系统11。用户可以产生数据项，例如电子邮件或文本消息，数据项可以通过通信子系统3在无线网络5上传输。对于语音通信，便携式电子设备1的总体操作可以是类似的。扬声器9输出从电信号转换而来的可听信息，麦克风13将可听信息转换为电信号以便处理。
电子设备1还包括定位模块21。定位模块21可以包括例如GPS模块，可以被配置为接收和解释来自卫星系统的GPS信号，以对设备1的当前位置进行三角定位。
电子设备1还包括图形系统22，图形系统22被配置为管理显示器8上显示的图形数据。在一个实施例中，图形系统22包括移动检测模块23和GUI调整模块24。
移动检测模块23被配置为检测电子设备1的移动，并向处理器2输入移动数据。在一个实施例中，移动检测模块23包括：运动传感器，被配置为响应于电子设备的朝向的改变来产生信号。在本实施例中，运动传感器25包括低g微电子机械系统(MEMs)加速度计。加速度计可以是任何类型，包括电容性、压电、压阻或基于气体的加速度计。加速度计感测从电子设备1的运动或移动(例如倾斜、旋转、惯性、或振动)或重力检测到的加速度并将其转换为电信号，加速度计可以可用于1、2或3轴配置。加速度计产生数字或模拟信号。在其他示例实施例中，运动传感器25包括倾斜、运动或朝向传感器，如陀螺仪。
GUI调整模块24被配置为接收移动检测模块23确定的移动数据，并基于移动数据，将新图形数据与显示器8上显示的现有图形数据相关联。例如，GUI调整模块24被配置为将新图形数据覆盖至现有图形数据。图形数据包括例如文本、图标、图形、对话框和用户的任何其他视觉信息。图形数据以及与例如图形数据的当前视图、布局、位置和朝向相关的信息存储在闪存14中，并由GUI调整模块24来访问和修改。
图2中总体示出了便携式电子设备1的顶面视图。图2中示意的示例便携式电子设备1包括外壳200，在外壳200中可以布置如图1所示的各种组件。例如，各种输入设备和输出设备，处理器2与用于存储至少程序和/或应用18的闪存14布置在外壳200中。处理器2响应来自输入设备(如键盘10)的输入信号，并向输出设备(如显示器8或扬声器9)提供输出信号。处理器2还与闪存14接口连接，并能够执行程序18。
屏幕图像26在显示器8上产生，并包括与闪存14中存储的一个或多个应用和/或程序相关的图形数据。例如，应用和/或程序可以产生和控制屏幕图像26上的图形数据。在图2的示例实施例中，屏幕图像26包括与地图应用27相关的图形数据。地图应用27提供了图形界面，以允许用户确定用户的位置并在用户位置附近的地理区域周围进行导航。与地图应用27相关的图形数据包括例如描述街道、兴趣点的图像以及识别街道名称和目的地的文本。相应地，GUI包括与显示器8上呈现的程序或应用相关的图形数据和用户操作的功能。
从图2中可以理解，输出设备包括显示器8和扬声器9，显示器8和扬声器9中的每一个对来自处理器2的一个或多个输出信号进行响应。输出设备包括键盘10。键盘10包括输入构件25，如使用例如机械圆顶开关促动器的机械键。备选地，键盘10上的输入构件225可以是显示器8的一部分，显示器具有本领域已知的触摸敏感配置。在特定示例实施例中，输入构件225形成QWERTY键盘(具有缩减或完整形式)。在缩减键盘中，向多个输入构件225分配有两个或更多字符。在其他示例实施例中，按字母顺序向输入构件225分配字符。
尽管在图2中没有示出，应当认识到，手持电子设备1的一些实施例包括其他输入设备，如滚轮、光学轨迹板或位于设备1的面上或侧边上的球。这些输入设备向处理器2提供附加输入。例如，滚轮在旋转时向处理器2提供一个输入，而在促动时向处理器2提供第二输入。光学触摸板在扫动时向处理器2提供一个输入，在按压或敲击时向处理器2提供第二输入。
图3示意了用于调整电子设备1的显示器8上显示的图形数据的呈现的示例过程的流程图。在一个实施例中，该过程由作为程序18的一部分存储并由处理器2执行的软件来执行。
在步骤300，用户打开应用或程序，如上述地图应用27，然后，处理器2在显示器8上产生与用户选择的应用(例如地图应用27)相关的缺省图形数据(步骤301)。缺省图形数据包括与用户选择的应用相关联的图像、图形和/或文本的初始集合。在电子设备1的基本条件下，如当电子设备1相对于用户无运动或平放时，在显示器8上产生和放置缺省图形数据。
在步骤302，图形系统22监视电子设备1的移动。即，移动检测模块23检测电子设备1的移动(例如偏移、倾斜、旋转、振动等等)，并将与所检测的移动相对应的移动数据传送至处理器2。处理器2将移动数据存储在闪存14中，GUI调整模块24从闪存14接收移动数据。如果已经检测到移动，则GUI调整模块24获得移动数据并分析以确定所检测的移动是否在预定移动的范围内(步骤303)。
预定移动是阈值运动或移动，阈值运动或移动启动GUI调整模块24来调整显示器8上呈现的缺省图形数据。例如，预定移动具有闪存14中存储的特定运动特性，如方向、朝向和加速度。如果GUI调整模块24获得与所存储的运动特性至少实质上相似的移动数据，则GUI调整模块24对缺省图形数据进行调整。在一个示例实施例中，电子设备1以预设加速度相对于用户向左或向右旋转构成了适于对GUI调整模块24的图形调整进行初始化的预定移动。此外或备选地，以预设加速度将电子设备1向前或向后倾斜可以是预定移动。换言之，预定移动是任何其他运动或移动，如上下和/或左右偏移或摇动电子设备1。
如果电子设备1的移动不在预定移动的范围内，则图形系统22继续监视电子设备1的移动(步骤302)。如果电子设备的移动在预定移动的范围内，则GUI调整模块24将新的图形数据与显示器8上呈现的缺省图形数据相关联(步骤304)。
在步骤304，GUI调整模块24将新的图形数据覆盖在显示器8上现有的缺省图形数据之上。例如，响应于电子设备1的移动，GUI调整模块24向显示器8上的现有缺省图像和图形添加新的图像、文本、对话框和/或图形。新的图形数据向用户呈现与用户选择的应用相关的附加信息。此外，在一些示例实施例中，在电子设备1移动之前，显示器8不显示新的图形数据。新的图形、文本和/或图形直接置于现有图像和图形之上，以突出显示缺省图形数据先前呈现的信息。此外，新的图像、文本和/或图形置于显示器8上的现有图形数据相邻、附近或与其分离。在一个实施例中，新的图形数据覆盖或掩盖显示器8上呈现的至少一些现有图形数据。此外或备选地，新的图形数据直接置于现有图形数据之上，并以透明模式显示，以暴露现有图形数据。这种布置允许用户在新的和现有的图形数据之间进行区分，并且仍能够识别两组图形数据。
GUI调整模块24还移除显示器8上现有的缺省图形数据中的至少一些。例如，响应于电子设备1的合适移动(例如预定移动范围内的移动)，GUI调整模块24从显示器8上隐藏或消除现有图像、图形和/或文本。通过移除特定图形数据，显示器8仅呈现图形数据的预定选择，这可以向用户提供图形上的清晰和组织。换言之，GUI调整模块24通过仅显示特定图形、文本和/或图形，向用户突出显示图形数据。还应当认识到，在覆盖新图形数据或移除现有图形数据时，GUI调整模块24提供平滑过渡。
在覆盖新图形数据或移除移动现有图形数据时，GUI调整模块24维持显示器8上所保持的现有图形数据的位置和朝向。换言之，特定的现有图像、图形和/或文本保持显示器8上的空间布置。例如，使用显示器8上的x、y和z笛卡尔坐标，现有图像、图形和/或文本象征性地相对于彼此放置。在添加新的图像、图形和/或文本或者在去除特定现有图形数据时，GUI调整模块24将现有图像、图形和/或文本固定在其对应x、y和z坐标处。即，在将新的图形数据添加至显示器8，并且在从显示器8消除某些图形数据时，现有图形数据的位置不移动。
图形系统22继续监视电子设备1的移动(步骤302)，并在合适时将新图形数据覆盖至缺省图形数据。在一个实施例中，如果模块24获得的移动数据指示了基本条件(例如在预定移动之前设备的初始位置和配置)，则GUI调整模块24在显示器上重新产生缺省图形数据(步骤301)。即，如标记为“基本条件”的箭头所示，当电子设备1移动并返回初始缺省位置时，移除任何新图形数据，并恢复任何被移除的缺省图形数据。此外，如标记为“超时”的箭头所示，如果电子设备1在设置时间段内未移动，则GUI调整模块24重新产生缺省图形数据。例如，当电子设备1从基本位置移至新位置时，向显示器8上的缺省图形数据添加新图形数据。如果电子设备1在新位置处在设置时间段内保持静止(或未移动)，则逐渐从显示器8上移除新图形数据，显示器8呈现在基本条件期间初始显示的缺省图形数据。此外，如果在新位置从显示器8中移除特定缺省图形数据，则在电子设备1在设置时间段内保持在该新位置的情况下，将被移除的先前呈现的图形数据重新产生在显示器8上。该设置时间段存储在闪存14中，处理器2经由例如时钟15来监视电子设备1处于新位置的时间，并将数据数据存储在闪存14中。GUI调整模块24获得时间数据，并基于上述“超时”条件来重新产生缺省图形数据。
图4-5示意了用于调整电子设备1的显示器8上显示的与地图应用27相关的图形数据的呈现的过程的示例。地图应用27呈现与位置模块21提供的设备1的地理位置相关的图形数据。例如，地图应用27提供描述街道28和以街道28为边界的地理区域29的图像。地图应用27还包括目的地标记30，目的地标记30在地理上指示期望目的地的地理位置，如餐馆、加油站等等。图4描述了基本条件下的电子设备1。即，电子设备1保持不动，显示器8的平面相对于用户平放。相应地，如图4所示，地图应用27的图形数据(例如街道28、地理区域29和目的地标记30)表示电子设备1的基本条件下的缺省图形数据。
图5示意了图4的电子设备1，电子设备1旋转至相对于用户的向左位置。由于电子设备1旋转，移动检测模块23检测到移动，GUI调整模块24确定该移动在预定移动的范围内。然后，GUI调整模块24将新图形数据与显示器8上呈现的现有缺省图形数据相关联。例如，GUI调整模块24将新文本31覆盖在现有街道图像28上。文本31向街道图像28提供街道名称，在电子设备1的基本条件下，可以先前已经在显示器8上呈现街道图像28。文本31直接置于现有街道图像28上，并简单地通过用户控制的设备1的运动来提供与地图应用27相关的附加图形数据。此外，在分离的图形布置中呈现文本31防止了混乱的GUI。电子设备1的移动还启动GUI调整模块24移除目的地标记30。移除目的地标记30以使得与街道图形28相关联的文本31清晰并突出显示。较小的目的地定点32取代目的地标记30以提高GUI清晰度。
通过将电子设备1移动回到基本条件定义的位置来重新产生图4中呈现的缺省图形布置，或在旋转后的位置等待设置时间量，使得上述“超时”功能逐渐将显示器8回复到缺省图形布置。如图4-5中所示，在覆盖新图形数据时，在显示器8上保持现有图形数据的相对位置。例如，在将街道文本31覆盖至现有街道图像28上时，固定街道图像28和地理区域29的位置。换言之，在向显示器8添加新图形数据(例如街道文本31)时，现有图形数据(例如街道图像28和地理区域29)的x、y和z坐标不变。
尽管图4-5示意了电子设备1向左旋转以启动GUI调整模块24的图形调整，但是应当认识到，任何其他运动启动GUI调整模块24，如向右旋转、摇动和/或向上和向下倾斜。
图6-7示意了用于调整电子设备1的显示器8上显示的与视频应用33相关的图形数据的呈现的过程的另一示例。如图6所示，视频应用33以任何已知形式(如AVI、MPEG、MP4等等)向用户呈现视频数据。例如，可以播放RAM 7或闪存14中存储的或者从无线网络5下载的电影以在显示器8上显示。与图4的实施例类似，图6描述了基本条件下的电子设备1。即，当电子设备1保持不动时，显示器8的平面相对于用户平放。因此，视频应用33的图形数据(例如电影的场景)呈现缺省图形数据。
图7示意了向用户、向下位置倾斜的图6的电子设备1。由于电子设备1倾斜，移动检测模块23检测到移动，GUI调整模块24确定该移动在预定移动的范围内。然后，GUI调整模块24直接在视频应用33呈现的场景之上添加播放条34。换言之，播放条34覆盖在先前显示的场景上。播放条34通过指示正在播放的电影的进程和过去的时间来向用户提供新图形数据。在一些示例实施例中，播放条34允许控制视频回放，如暂停、快进、反向播放等。如上所述，可以通过将电子设备1移动回到基本条件定义的位置，或者通过在倾斜位置等待设置时间量，来重新产生图6中呈现的缺省图形布置(无播放条34的视频)。
应当认识到，任何其他运动可以启动GUI调整模块24来调整与显示器8上显示的视频应用33相关的图形数据的呈现。
图8-10示意了用于调整电子设备1的显示器8上显示的与日历应用35相关的图形数据的呈现的过程的另一示例。日历应用35以图形方式记录与用户和设备1相关的约会和其他状态事务。日历应用35按日、周和/或月提供约会、会议和事件的电子安排。在图8-10的示例实施例中，日历应用35在安排38上组织并显示与特定事件(例如社交事件36(实心条)和工作相关事件37(交叉斜线条))相关的图形数据。图8描述了基本条件下的电子设备1。即，电子设备1保持不动，显示器8的平面相对于用户平放。相应地，日历应用35的图形数据(例如安排38、社交事件36、工作相关事件37)表示电子设备1的基本条件下的缺省图形数据。
图9示意了旋转至相对于用户向左位置的图8的电子设备1。由于电子设备1旋转，移动检测模块23检测到移动，GUI调整模块24确定该移动在预定移动的范围内。然后，GUI调整模块24移除显示器8上呈现的至少一些现有图形数据。在一个实施例中，例如，GUI调整模块24移除社交事件36图像，从而在安排38上仅留下工作相关事件37图像。类似地，将电子设备1旋转至相对于用户向右的位置移除工作相关事件37图像，如图10所示，可以在安排38上仅留下显示社交事件36图像。通过仅仅移动电子设备1来移除特定现有图形数据简化了组织和向用户呈现图形数据的方式。例如，用户仅仅通过向右旋转设备1来突出显示和/或确定要安排哪些社交事件36。
与上述实施例类似，在从显示器8中移除特定图形数据时，现有图形数据(例如安排38、社交事件36、工作相关事件37)保持其相对位置。此外，通过将电子设备1移动回到基本条件，或者通过等待“超时”功能启动，来重新产生图8中呈现的缺省图形布置。应当认识到，任何其他运动可以启动GUI调整模块24调整在显示器8上显示的与日历应用35相关的图形数据的呈现。
图11-13示意了用于调整电子设备1的显示器8上显示的与另一地图应用39相关的图形数据的呈现的过程的另一示例。图11描述了基本条件下的电子设备1。地图应用39显示了突出显示的导航路线40(实线)和与街道图像42相关联的突出显示的交通数据41(即特定街道上的拥堵程度，描述为交叉斜线)。当电子设备1旋转至相对于用户向左的位置时，GUI调整模块24从显示器8中移除突出显示的交通数据41，留下街道图像42和突出显示导航路线40，如图12所示。此外，如图13所示，当电子设备1旋转至相对于用户向右的位置时，GUI调整模块24从显示器8中移除突出显示的导航路线40，留下街道图像42和突出显示的交通数据41。
与上述示例实施例类似，在从显示器8移除特定图形数据时，现有图形数据(例如突出显示的导航路线40、突出显示的交通数据41、以及街道图像42)保持其相对位置。此外，通过将电子设备1移动回到基本条件，或者通过等待“超时”功能启动，来重新产生图11中呈现的缺省图形布置。还应当认识到，任何其他运动可以启动GUI调整模块24调整在显示器8上显示的与地图应用39相关的图形数据的呈现。
图14-16示意了用于调整电子设备1的显示器8上显示的与日历应用350相关的图形数据的呈现的过程的另一示例。日历应用350以图形方式记录与用户和设备1相关的约会和其他状态事务。日历应用350按日、周和/或月提供约会、会议和事件的电子安排。在图14-16的示例实施例中，日历应用350组织和显示与例如在特定一天安排的事件的数目或一个或多个事件的持续时间相关的图形数据。换言之，事件条370基于事件条370的相对长度来向用户指示：相对于其他天，在特定一天安排的事件的数目和一个或多个事件的持续时间。图14描述了基本条件下的电子设备1。即，电子设备1保持不动，显示器8的平面相对于用户平放。相应地，日程应用350的图形数据(例如，表示一月中的天的窗口以及事件条370)表示电子设备1的基本条件下的缺省图形数据。
图15示意了旋转至相对于用户向左位置的图14的电子设备1。由于电子设备1旋转，移动检测模块23检测到移动，GUI调整模块24确定该移动在预定移动的范围内。然后，GUI调整模块24将三维块380覆盖在具有安排事件的天的窗口上。每个三维块380对应于特定事件条370。换言之，每个三维块380的高度向用户指示：相对于其他天，在特定一天安排的事件的数目和一个或多个事件的持续时间。。因此，三维块380提供了在日历应用350中安排的事件的附加视图。类似地，如图16所示，将电子设备1旋转至相对于用户向右的位置将三维块380覆盖在天的窗口上，并提供每个块380的左侧的透视图。此外，通过将电子设备1移动回到基本条件，或者通过等待“超时”功能启动，来重新产生图14中呈现的缺省图形布置。应当认识到，任何其他运动可以启动GUI调整模块24来调整在显示器8上显示的与日历应用350相关的图形数据的呈现。
此外，应当认识到，用户可以控制启动GUI调整模块24以调整图形数据的呈现的旋转角度。换言之，用户可以改变启动GUI调整模块24的电子设备1向左或向右旋转的程度。用户可以输入所需旋转角度作为电子设备1的设置。
在不脱离本公开的精神或实质特征的前提下，可以以其他具体形式来实现本公开。所描述的实施例应在所有方面被认为仅是示意性的，而非限制性。因此，本公开的范围由所附权利要求而不是以上描述来限定。在权利要求的等效物的含义和范围内的所有改变包括在权利要求的范围内。
考虑这里公开的概念的说明和实现，其他实施例对本领域技术人员而言将是显而易见的。应当认为说明书和示例仅是示例性的，这里公开的概念的真实范围和精神由所附权利要求来指示。

Claims (20)

1.一种用于对电子设备的图形用户界面GUI上显示的图形数据进行管理的图形系统，所述系统包括：
移动检测模块，被配置为检测电子设备的移动；以及
GUI调整模块，被配置为从移动检测模块接收移动数据，并基于移动数据将新图形数据覆盖至GUI上显示的现有图形数据。
2.根据权利要求1所述的图形系统，其中，GUI调整模块被配置为：
响应于电子设备的预定移动，将新图形数据直接置于GUI上显示的现有图形数据之上。
3.根据权利要求2所述的图形系统，其中，在电子设备的预定移动之前，不在GUI上显示新图形数据。
4.根据权利要求1所述的图形系统，其中，GUI调整模块被配置为：
响应于电子设备的预定移动，移除GUI上显示的至少一些现有图形数据。
5.根据权利要求1所述的图形系统，其中，GUI调整模块被配置为：
在覆盖新图形数据时，保持现有图形数据相对于GUI的位置。
6.根据权利要求1所述的图形系统，其中，GUI调整模块被配置为：
在移动设备的移动之后过去预定时间时，在GUI上设置缺省布置。
7.根据权利要求1所述的图形系统，其中，移动检测模块包括：
传感器，被配置为响应于电子设备的朝向的改变来产生信号。
8.根据权利要求2所述的图形系统，其中，响应于电子设备的预定移动，新图形数据改变现有图形数据的外观。
9.根据权利要求5所述的图形系统，其中，在将新图形数据覆盖至现有图形数据时，现有图形数据的位置相对于GUI固定。
10.一种用于对电子设备的图形用户界面GUI上显示的图形数据进行调整的方法，包括：
监视电子设备的移动；
识别电子设备的预定移动；
响应于预定移动，将新图形数据覆盖至GUI上显示的现有图形数据。
11.根据权利要求10所述的方法，还包括：
覆盖新图形数据时，相对于GUI固定现有图形数据的位置。
12.根据权利要求11所述的方法，还包括：
响应于预定移动，将新图形数据直接置于GUI上显示的现有图形数据之上。
13.根据权利要求11所述的方法，还包括：
响应于预定移动，移除GUI上显示的至少一些现有图形数据。
14.根据权利要求10所述的方法，在识别预定移动之后过去预定时间时，在GUI上设置缺省布置。
15.根据权利要求14所述的方法，其中，缺省布置包括在覆盖新图形数据之前的现有图形数据的初始布置。
16.一种用于对电子设备的图形用户界面GUI上显示的图形数据进行调整的方法，包括：
监视电子设备从初始位置的移动；
识别电子设备的预定移动；
在识别出预定移动时，相对于GUI固定现有图形数据的位置，并将新图形数据覆盖至现有图形数据。
17.根据权利要求16所述的方法，还包括：
将新图形数据直接置于现有图形数据之上。
18.根据权利要求16所述的方法，还包括：
移除GUI上显示的至少一些现有图形数据。
19.根据权利要求16所述的方法，还包括：
当电子设备返回初始位置时，回复至现有图形数据的初始布置。
20.根据权利要求19所述的方法，其中，初始布置包括添加新图形数据之前的现有图形数据的布置。
CN201180003756.6A 2011-05-04 2011-05-04 用于调整图形用户界面上显示的图形数据的呈现的方法 Active CN102870065B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CA2011/050270 WO2012149627A1 (en) 2011-05-04 2011-05-04 Methods for adjusting a presentation of graphical data displayed on a graphical user interface

Publications (2)

Publication Number Publication Date
CN102870065A true CN102870065A (zh) 2013-01-09
CN102870065B CN102870065B (zh) 2016-01-20

Family

ID=46026292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003756.6A Active CN102870065B (zh) 2011-05-04 2011-05-04 用于调整图形用户界面上显示的图形数据的呈现的方法

Country Status (5)

Country Link
CN (1) CN102870065B (zh)
CA (1) CA2834914C (zh)
DE (1) DE112011100058T5 (zh)
GB (1) GB2504256B (zh)
WO (1) WO2012149627A1 (zh)

Cited By (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264524A (zh) * 2013-06-09 2016-01-20 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
CN105637445A (zh) * 2013-10-14 2016-06-01 雅虎公司 用于提供基于环境的用户界面的系统和方法
CN105807952A (zh) * 2016-03-07 2016-07-27 联想(北京)有限公司 一种信息处理方法及电子设备
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10521070B2 (en) 2015-10-23 2019-12-31 Oath Inc. Method to automatically update a homescreen
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10831766B2 (en) 2015-12-21 2020-11-10 Oath Inc. Decentralized cards platform for showing contextual cards in a stream
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10845949B2 (en) 2015-09-28 2020-11-24 Oath Inc. Continuity of experience card for index
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12014118B2 (en) 2021-12-17 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103454A1 (en) * 2005-04-26 2007-05-10 Apple Computer, Inc. Back-Side Interface for Hand-Held Devices
US20070176898A1 (en) * 2006-02-01 2007-08-02 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20080030360A1 (en) * 2006-08-02 2008-02-07 Jason Griffin System and method for adjusting presentation of text and images on an electronic device according to an orientation of the device
CN101626427A (zh) * 2008-07-07 2010-01-13 Lg电子株式会社 移动终端及其操作控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834249B2 (en) * 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
US20030001863A1 (en) * 2001-06-29 2003-01-02 Brian Davidson Portable digital devices
US20100014094A1 (en) * 2008-07-21 2010-01-21 Cole Barrett E Distributed gas detection
US20100149094A1 (en) * 2008-10-24 2010-06-17 Steve Barnes Snow Globe Interface for Electronic Weather Report
US8547326B2 (en) * 2009-02-24 2013-10-01 Blackberry Limited Handheld electronic device having gesture-based control and a method of using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103454A1 (en) * 2005-04-26 2007-05-10 Apple Computer, Inc. Back-Side Interface for Hand-Held Devices
US20070176898A1 (en) * 2006-02-01 2007-08-02 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20080030360A1 (en) * 2006-08-02 2008-02-07 Jason Griffin System and method for adjusting presentation of text and images on an electronic device according to an orientation of the device
CN101626427A (zh) * 2008-07-07 2010-01-13 Lg电子株式会社 移动终端及其操作控制方法

Cited By (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105264524B (zh) * 2013-06-09 2019-08-02 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
CN105264524A (zh) * 2013-06-09 2016-01-20 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN105637445A (zh) * 2013-10-14 2016-06-01 雅虎公司 用于提供基于环境的用户界面的系统和方法
US10834546B2 (en) 2013-10-14 2020-11-10 Oath Inc. Systems and methods for providing context-based user interface
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US10845949B2 (en) 2015-09-28 2020-11-24 Oath Inc. Continuity of experience card for index
US10521070B2 (en) 2015-10-23 2019-12-31 Oath Inc. Method to automatically update a homescreen
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10831766B2 (en) 2015-12-21 2020-11-10 Oath Inc. Decentralized cards platform for showing contextual cards in a stream
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
CN105807952B (zh) * 2016-03-07 2020-01-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN105807952A (zh) * 2016-03-07 2016-07-27 联想(北京)有限公司 一种信息处理方法及电子设备
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US12014118B2 (en) 2021-12-17 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Also Published As

Publication number Publication date
CA2834914C (en) 2016-06-28
CN102870065B (zh) 2016-01-20
GB2504256B (en) 2019-12-25
DE112011100058T5 (de) 2013-02-07
GB201204199D0 (en) 2012-04-25
GB2504256A (en) 2014-01-29
WO2012149627A1 (en) 2012-11-08
CA2834914A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
CN102870065B (zh) 用于调整图形用户界面上显示的图形数据的呈现的方法
US8606330B2 (en) Method of displaying geo-tagged images on a mobile terminal
US8271047B2 (en) Mobile terminal using flexible display and method of controlling the mobile terminal
EP2141574B1 (en) Mobile terminal using proximity sensor and method of controlling the mobile terminal
EP2549727B1 (en) Mobile terminal
US9262867B2 (en) Mobile terminal and method of operation
EP2293530A1 (en) Mobile terminal and method of controlling the mobile terminal
EP2770708A1 (en) Device, system and method for generating application data
CN102541432A (zh) 移动终端及其控制方法和移动终端的图像显示方法
CN102238282A (zh) 能够提供多层游戏的移动终端及其操作方法
US20140240216A1 (en) Devices And Methods For Displaying Data In Response To Detected Events
US9128598B2 (en) Device and method for processing user input
CN110058754A (zh) 一种选项显示方法及终端设备
EP2846518A1 (en) Device and method for identifying data
CN111309431B (zh) 群组会话中的显示方法、装置、设备及介质
EP2378752A2 (en) Mobile terminal and method of controlling operation of the mobile terminal
CN109829070A (zh) 一种图像查找方法及终端设备
CN109976611A (zh) 终端设备的控制方法及终端设备
CN106961524A (zh) 一种信息显示方法及装置
CN112825040A (zh) 用户界面的显示方法、装置、设备及存储介质
CN112905280A (zh) 页面显示方法、装置、设备及存储介质
WO2018068364A1 (zh) 用于页面显示的方法、装置、图形用户界面及移动终端
CN111418197A (zh) 移动终端以及其控制方法
WO2013164351A1 (en) Device and method for processing user input
EP2660695B1 (en) Device and method for processing user input

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Voight, Ontario, Canada

Applicant after: BlackBerry Ltd.

Address before: Voight, Ontario, Canada

Applicant before: Research In Motion Ltd.

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240523

Address after: Ai Erlandubailin

Patentee after: Maliki Innovation Co.,Ltd.

Country or region after: Ireland

Address before: Voight, Ontario, Canada

Patentee before: BlackBerry Ltd.

Country or region before: Canada