CN106164834B - 具有设备感知型缩放的沉浸式文档交互 - Google Patents

具有设备感知型缩放的沉浸式文档交互 Download PDF

Info

Publication number
CN106164834B
CN106164834B CN201580018275.0A CN201580018275A CN106164834B CN 106164834 B CN106164834 B CN 106164834B CN 201580018275 A CN201580018275 A CN 201580018275A CN 106164834 B CN106164834 B CN 106164834B
Authority
CN
China
Prior art keywords
attachment
display
layout
view
content item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580018275.0A
Other languages
English (en)
Other versions
CN106164834A (zh
Inventor
J·马斯特森
J·德索扎
J·马
E·卡特里内斯库
N·瓦杜普斯
K·弗恩
D·L·小迈尔斯
D·P·里芒特
M·B·帕尔玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106164834A publication Critical patent/CN106164834A/zh
Application granted granted Critical
Publication of CN106164834B publication Critical patent/CN106164834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

一种自适应布局和工作流引擎。所述自适应布局和工作流引擎允许各种应用基于用来消费内容的设备上的显示器的特性来动态呈现内容的缩放的视图。所述自适应布局和工作流引擎可以选择内容的合适视图以便基于显示器的大小、分辨率或横纵比来呈现。相对于显示器的特性来评估内容的所呈现的大小和/或内容应用的用户界面。实施例可以基于显示器和/或内容的特性经由用户界面来提供不同控件。自适应布局和工作流引擎可以经由用户界面来提供自定义的工作流，以便根据用于消费内容的设备的显示能力来改善用户体验。

Description

具有设备感知型缩放的沉浸式文档交互
背景技术
用户经常与多种形式的内容(例如，电子邮件和文档)一起工作来传送相关的信息。许多任务涉及一起使用两种形式的内容。传统的解决方案通常将这两种形式的内容作为单独项目来对待，这需要对项目和/或一起包含在其中的信息进行手动并且通常是低效率的操作以完成任务。例如，在传统的工作流中，为了编辑电子邮件附件并将其返回至发送者，用户必须下载该附件、使用合适的软件应用来进行编辑、编写新的电子邮件消息、定位并且将经编辑的附件附至新的电子邮件消息、并且发送新的电子邮件消息。由于不同设备的能力(例如，显示能力)的差异，效率取决于用于完成工作流的设备而不同。
关于这些和其它考虑而进行了本发明。尽管已经讨论了相对具体的问题，但应该理解的是，在本文中所公开的方面不应该限于解决在背景技术中所标识的具体问题。
发明内容
提供了该发明内容以用简化的形式介绍在下文的具体实施方式中所进一步描述的概念的选择。应当理解的是，该发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用来帮助确定所要求保护的主题的范围。
针对具有设备感知型缩放的沉浸式文档交互的系统的方面包括自适应布局和工作流引擎，它们用于基于用来消费内容的设备的显示能力/配置来动态地呈现内容的经缩放的视图。所述自适应布局和工作流引擎与用于查看、生成和编辑内容项的一个或多个应用进行通信。由应用所提供的内容可以包括复合内容。复合内容包括承载或者以其它方式与一个或多个附加的或嵌入的内容项(即，附件)相关联的主要内容项(即，容器)。当用户使用与系统相关联的应用来与附件进行交互时，自适应布局和工作流引擎收集关于请求附件的设备的信息。基于显示能力(例如，设备的横纵比)，自适应布局和工作流引擎选择用于向用户呈现附件的默认布局。
具有受限的显示器(例如，具有小横纵比和/或小的物理尺寸的)的设备可能不能很好地适用于同时显示附件和容器。在这样的情况下，由自适应布局和工作流引擎自动选择的默认布局可以是仅仅呈现附件的全屏布局。其它布局可用于由用户手动选择，例如但不限于：并排布局以及其它多区域布局。另一方面，对于具有更丰富的显示能力(例如，大的横纵比、多个显示器、和/或大型物理显示器)的设备来说，由自适应布局和工作流引擎所选择的默认布局可以是并排布局，并且其它多区域布局可以被认为适用于同时显示附件和容器。
自适应布局和工作流引擎还可以基于用来消费内容的设备的显示能力，以及可选地基于内容的性质和/或由用户采取的操作，而经由用户界面来提供自适应工作流。自适应工作流提供上下文敏感的任务控件，该任务控件允许用户以最小化由受限的显示而引起的限制的方式来执行并入来自复合内容的信息的操作序列。上下文敏感的任务控件发起任务序列，该任务序列允许用户实质上专注于处理内容，而不是逻辑上管理个体的内容项以及在各种应用之间进行切换以发起完成实质任务时所涉及的多个操作(例如，加载、保存、编辑、创建、回复或发送)，这在具有受限显示器的设备上可能是尤其低效的或者是过于复杂或困难的。
附图说明
通过参考以下附图，本公开的进一步的特征、方面和优点将变得更好地被理解，其中，元素不是按比例绘制的，以便更加清楚地示出细节，并且其中，相同的附图标记在几个视图通篇中指示相同的元素：
图1是示出针对具有设备感知型缩放的沉浸式文档交互的系统的方面的系统图；
图2A-2D示出了由系统所提供的、允许用户选择性地在针对具有宽度受限的显示器的设备而优化的经呈现的各种视图中显示电子邮件及其附件的用户界面的方面；
图3A和3B示出了由系统所提供的、允许用户选择性地在针对具有大横纵比的显示器的设备而优化的经呈现的各种视图中显示电子邮件及其附件的用户界面的方面；
图4A-4F示出了实现由系统所实现的、用于向用户提供沉浸式交互体验的自定义的工作流的用户界面的方面，该沉浸式交互体验使得用户专注于执行实质性工作而不是尝试导航通过与具有宽度受限的显示器的设备上的任务相关联的附加功能；
图5A-5C示出了实现由系统所实现的、用于向用户提供沉浸式交互体验的自定义的工作流的用户界面的方面，该沉浸式交互体验使得用户专注于执行实质性工作而不是尝试浏览与具有大横纵比的显示器的设备上的任务相关联的附加功能；
图6是示出了用于提供具有设备感知型缩放的沉浸式文档交互的方法的方面的高层流程图；
图7是利用其可以实践本发明的方面的计算设备的架构的简化框图；
图8A示出了利用其可以实践本发明的方面的移动计算设备；
图8B是利用其可以实践本发明的方面的移动计算设备的架构的简化框图；并且
图9是用于实践本发明的方面的分布式计算系统的简化框图。
具体实施方式
参考形成了本文的一部分并且示出了具体的示例性实施例的附图以在下文中更加充分地描述了各种实施例。然而，实施例可以以不同的形式来实现，并且不应该被理解为限于在本文中所阐述的实施例；相反，提供了这些实施例以使得该公开将是彻底的和完整的，并且将会向本领域技术人员完全传达实施例的范围。实施例可以被实践为方法、系统、或设备。从而，实施例可以采取硬件实现、完全软件实现、或者组合了软件和硬件方面的实现的形式。因此，以下的详细描述将不被理解为限制意义。
在本文中描述并且在附图中示出了针对具有设备感知型缩放的沉浸式文档交互的系统的方面。所述系统包括用于基于用来消费内容的设备的显示能力/配置来动态地呈现内容的经缩放的视图的自适应布局和工作流引擎。系统可以基于显示器的大小、分辨率、或横纵比而选择内容的合适视图来呈现。可以相对于显示能力来评估内容的所呈现的大小和/或内容应用的用户界面。实施例可以基于设备类型、显示能力、和/或任务上下文而经由用户界面来提供不同控件。系统还可以经由用户界面来提供自定义的工作流以根据设备类型、显示能力、和/或任务上下文来改善用户体验。
图1是示出针对具有设备感知型缩放的沉浸式文档交互的系统的方面的系统图。系统100包括横纵比感知布局和工作流引擎102，纵比感知布局和工作流引擎102与用于查看、生成、和编辑内容项的一个或多个应用104进行通信。合适的应用的示例包括但不限于：文字处理、电子表格、数据库、幻灯片演示、电子邮件、绘图、网络浏览器、媒体播放器、和游戏应用。
在所示出的实施例中，系统是在网络计算环境中操作的分布式系统。在分布式系统中，自适应布局和工作流引擎102和/或应用104可以在服务器106上运行，并且经由网络110(例如但不限于：互联网、内联网、局域网、或广域网)与用户代理108进行通信。用户代理提供允许用户112与由应用104所提供的内容进行交互的用户界面。将用户界面显示在运行用户代理的客户端设备114的显示器上。
服务器和客户端设备可以是计算设备，例如但不限于：服务器或台式计算机114a、膝上型计算机114b、平板计算机114c、智能电话114d、智能手表、以及智能家电。在分布式系统中，向用户代理提供内容的应用可以不知晓用于与内容进行交互的客户端设备的显示能力。分布式系统的一个非限制性示例是基于网络的办公应用程序套件，其使用电子邮件或其它消息传送技术(例如，即时消息或短信传送)来提供通信以及对多个办公应用文档类型的查看/编辑。
由应用所提供的内容116可以包括复合内容。复合内容包括承载或以其它方式与一个或多个附加或嵌入的内容项116b相关联的主要内容项116a。为了方便起见，主要内容项可以被称为容器116a，而附加或嵌入的内容可以被称为附件116b。复合内容的常见示例是具有附加的文档(附件)的电子邮件消息(容器)。复合内容的其它示例包括：演示、电子表格、文字处理文档、以及具有其它链接或嵌入的文档、媒体文件、或使用另一个应用可单独查看或编辑的内容片段的固定格式的文档(容器)。
当用户使用与系统相关联的应用与附件进行交互时，自适应布局和工作流引擎收集关于请求附件的设备的信息118。在系统的分布式实施例中，用户可以在各个时刻从不同的客户端设备访问应用。例如，用户可以当在办公室中工作时从台式计算机、从家中的膝上型计算机、以及从几乎任何其他地方的平板计算机或智能电话来访问应用。从而，自适应布局和工作流引擎可以每当进行针对附件的请求时、周期性地、或者仅在特定用户的单个连续会话的第一次附件请求时收集信息。
可以通过宽泛的多种技术来请求信息，所述技术包括但不限于：对由客户端设备上的操作系统所提供的应用编程接口(API)的调用、远程过程调用(RPC)和其它过程间通信、结构化查询语言(SQL)查询、电子数据交换(EDI)通信、以及使用适用于获得关于客户端设备的一般或专用协议的请求。可以由系统所使用的信息包括可以直接使用以访问设备的显示能力(例如，分辨率、每英寸点数、每英寸像素数、朝向、或横纵比)的信息。系统还可以获得间接地允许设备的显示能力被确定的信息。例如，系统可以接收可以用来定位对应的显示能力的、与设备相关联的模型号，所述模型号可以存储在数据库、表格、列表、或其它参考源中。这样的信息可以包括设备通常不利用的扩展的信息，例如，显示器的物理尺寸。
基于显示能力(例如，设备的横纵比)，自适应布局和工作流引擎选择用于向用户呈现附件的默认布局。对默认布局的选择可以基于设备的显示特性、内容的类型和/或格式、内容的量、或者用于呈现内容的应用。具有受限显示器(例如，具有小横纵比和/或小物理尺寸)的设备可能不能很好地适用于同时显示附件和容器。在这样的情况下，由自适应布局和工作流引擎自动选择的默认布局可以是仅仅呈现附件的全屏布局。其它布局可用于由用户手动选择，例如但不限于：并排布局和其它多区域布局。另一方面，对于具有更丰富的显示能力(例如，大的横纵比、多个显示器、和/或大型物理显示器)的设备而言，由自适应布局和工作流引擎所选择的默认布局可以是并排布局，并且其它多区域布局可以被认为适用于同时显示附件和容器。各种布局可以预先定义并存储为布局定义120。
布局选择可以仅仅基于显示特性。基本布局选择可以涉及对显示尺寸的评估，以及当适当的时候，涉及对横纵比或朝向的评估。一些确定可以仅仅基于显示器尺寸。例如，具有小分辨率或小物理尺寸的一些显示器(例如，智能手表或智能电话)可能不管朝向如何都不适合并排视图。然而，在一些实例中，取决于显示器的朝向(例如，当在横向朝向时)，并排视图可以是合适的。
类似地，布局选择可以涉及对以下的评估：针对可用的显示区域的、用于在有意义的并排视图中显示容器和附件的经选择的可使用或可接受宽度。可以针对容器和附件而建立不同的经选择的宽度。当容器和附件的经选择的宽度之和大于可用的显示宽度时，自适应布局和工作流引擎选择全屏视图作为默认布局以用于显示附件。经选择的宽度可以表示成比例的视图布局的最小宽度或者固定视图布局中的附件和/或容器中的至少一个的绝对宽度。例如，可以通过以下操作来定义并排视图：假设显示器具有1000像素的最小宽度或者附件或容器具有经选择的最小宽度(即，在该示例中，容器宽度是至少600像素)，则向附件分配固定的400个像素或者显示宽度的40％的比例，并且向容器分配剩余的像素。
除了显示特性以外，更复杂的布局选择还可以考虑内容的上下文或特性。布局选择还可以将内容的格式、内容的类型、内容的量、以及用于呈现内容的应用考虑在内。例如，如果内容具有不可编辑的类型(即，只读)，则与如果内容是可编辑的相比较小的最小宽度是可以接受的，这是因为以下的因素：例如相对于对用户界面(例如，虚拟键盘)进行编辑的额外的显示要求和进行编辑通常所需要的增加的精度，对内容进行操纵以用于查看(例如，主要是滚动)的需要是有限的。
在布局选择中也可以将内容的类型和格式考虑在内。如果内容具有可重排(reflowable)格式而不是固定格式，则并排视图可以是可接受的，这是因为可以对内容进行重新格式化以适配在可用的区域内而无需水平滚动，从而显著地降低了待适配在所分配的空间内的内容的大小或字体大小，或以其它方式降低了内容的可读性。在许多情况下，由于用户习惯于处理内容的方式，水平滚动比垂直滚动更加难以接受。相反，显示超过并排视图中分配的可用宽度的固定格式内容必然需要降低内容的大小或者进行水平滚动。在固定格式文档的情况下，避免水平滚动所需要的大小减小的量可能在小形状因子、低分辨率、和小横纵比的设备上以视觉上不可读的方式来呈现内容。尽管可重排的内容通常与文本相关联，但可重排内容还可以包括图像、表格、和具有固定大小或者由于其它原因而不能很好地重排的其它元素。从而，当确定默认布局时，自适应布局和工作流引擎可以对这样的固定大小的元素与可重排元素的比例应用阈值。
布局选择还可以考虑附件中的内容的量。即使在演示是按宽度压缩(即，每行仅仅几个词语)的情况下，如果内容的量小，当整个内容是可以一次显示的或者可以利用有限的滚动(例如，垂直滚动)显示的时，则并排视图是可以接受的。相反，即使可以在并排视图的所分配的空间中呈现，但长文档可能更适合于全屏视图以最小化所需的垂直滚动的量。
额外地，在布局选择中可以将所涉及的应用用户界面考虑在内。当所涉及的应用用户界面需要很大量的显示空间(尤其是对内容的两侧)时，可以选择全屏布局。
自适应布局和工作流引擎可以将布局选择的各种方面中的一些或所有方面并入任何组合。例如，对应用用户界面的考虑可以与对内容是否可编辑的确定进行组合。因此，针对可编辑内容的默认布局是并排视图还是全屏视图可以取决于应用用户界面。
除了基于用于消费内容的设备而自动调整用于向用户呈现复合内容的默认布局以外，自适应布局和工作流引擎还可以基于用于消费内容的设备的显示能力以及可选地，基于内容的性质和/或由用户采取的操作而经由用户界面来提供自适应工作流。自适应工作流提供上下文敏感的任务控件，其允许用户以最小化由受限的显示而引起的限制的方式来执行并入来自复合内容的信息的操作序列。上下文敏感的任务控件发起任务序列，该任务序列允许用户专注于实质上处理内容而不是逻辑上管理个体内容项以及在各个应用之间进行切换以发起完成实质任务时所涉及的多个操作(例如，加载、保存、编辑、创建、回复、或发送)，这在具有受限的显示器的设备上可能是尤其低效或者过于复杂或困难的。基于上下文的自适应工作流可以被预先定义并存储为工作流定义122。
所考虑的内容的性质和/或由用户采取的操作可由自适应布局和工作流引擎使用以预测用户可以或很可能执行的任务。例如，如果内容是不可编辑的(例如，固定格式的文档)，则自适应工作流将不提供涉及对文档进行编辑的上下文敏感的任务控件，但可以提供与对电子邮件进行响应或在新的电子邮件中重新分配附件(相对于转发原始邮件)相关联的上下文敏感的任务控件。如果用户打开了可编辑的电子邮件附件以进行查看，则自适应布局和工作流引擎可以预测：用户很有可能参与基于或包括附件的进一步的通信而不对附件进行编辑，并且可以经由查看应用的用户界面来提供用于对电子邮件进行回复或者在新的电子邮件中重新分配附件的上下文敏感的任务控件。
尽管作为从所提供的设备感知的自适应布局和工作流功能中受益的具体的示例而在分布式系统的上下文中在本文中进行了描述，但可以合适地在其它上下文中使用该系统，包括纯粹的本地上下文，其中，自适应布局和工作流引擎以及相关联的应用在客户端设备上运行。
图2A-2D示出了由系统所提供的、允许用户选择性地在针对具有宽度受限的显示器的设备而优化呈现的各种视图中显示电子邮件及其附件的用户界面的方面。宽度受限的显示器通常是其物理尺寸、分辨率、每英寸点数(dpi)、每英寸像素(ppi)数和/或横纵比不能很好地适用于一次显示多个文档的任意显示器。宽度受限的显示器可以具有比高度更小的宽度(例如，3:2或71:40的横纵比)，或者可以具有仅比高度稍大的宽度(例如，4:3的横纵比)。本文中提到的具体横纵比是代表性的，并非意在以任何方式进行限制。具有宽度受限的显示器的设备的示例包括但不限于智能电话和一些平板计算机、以及一些膝上型计算机和与台式计算机一起使用的显示器。
图2A示出了用于由具有宽度受限的显示器的设备上的自适应横纵比系统呈现的电子邮件应用的用户界面的方面。在所示出的实施例中，具有宽度受限的显示器202的设备200是具有4:3的横纵比的平板计算机。尽管比智能电话更大，但与台式计算机的显示器相比，平板计算机上的显示器仍然在尺寸和分辨率上是受限的。尽管在作为代表性计算设备的平板计算机的上下文中进行了描述，但自适应横纵比系统可以与宽泛的多种计算设备一起操作，所述宽泛的多种计算设备包括但不限于：经由例如基于文本的界面、图形用户界面(GUI)、自然用户界面(NUI)、口头语言界面(即，语音识别系统)而使用宽泛的多种用户界面和输入类型(例如但不限于：语音、打字、触摸手势、和菜单导航)的智能电话、平板计算机、膝上型计算机、以及台式计算机。
经由用户代理所提供的电子邮件应用的用户界面204示出了两面板视图：收件箱206和包含附件210的所选择的电子邮件消息208。希望查看附件的用户在电子邮件消息用户界面中对附件控件212进行点击。此时，自适应布局和工作流引擎确定可用于呈现电子邮件附件的显示区域的大小。在该情况下，在具有相对受限的显示器和4:3的横纵比的平板计算机上呈现用户界面。自适应布局和工作流引擎还可以考虑附件的大小和察看器的用户界面。附件是具有相对于平板计算机上的显示器的尺寸来说大小较大的文档。因此，自适应布局和工作流引擎确定应该以全屏视图在平板计算机显示器上呈现附件以供用户消费。
图2B示出了基于使用该系统的宽度受限的平板计算机的可用显示区域的默认全屏视图的方面。尽管自适应横纵比系统选择附件214的全屏视图作为在给定可用显示区域的情况下最合适的默认视图，但查看器应用的用户界面216可以向用户提供手动选择一个或多个替代的视图的选项。例如，自适应布局和工作流引擎可以在文档查看器/编辑器应用的用户界面中显示替代视图控件218。在所示出的实施例中，替代视图控件是并排视图控件。
图2C示出了与文档查看器/编辑器应用的用户界面的交互以用于使用该系统来选择替代视图的方面。例如，用户可以希望回顾包含附件的电子邮件同时也查看附件，并对文档查看器/编辑器应用的用户界面中的并排视图控件218进行点击，从而使得自适应横纵比显示系统在用户界面中显示附件和电子邮件的经缩放的并排视图。
图2D示出了由自适应布局和工作流引擎所呈现的用户界面的方面，所述用户界面在具有受限宽度的显示器的设备上示出了电子邮件附件和电子邮件的经放缩的并排视图。在替代视图中，用户界面可以呈现允许用户手动返回默认布局并以全屏视图来个别地查看附件的默认视图控件220。
图3A和3B示出了由系统所提供的、允许用户选择性地在针对具有大横纵比(例如，16:9或16:10横纵比)显示器的设备优化呈现的各种视图中显示电子邮件及其附件的用户界面的实施例。具有大横纵比的显示器的设备的示例包括但不限于一些平板计算机、膝上型计算机、以及与台式计算机一起使用的监视器。
图3A示出了针对由具有大横纵比显示器的设备上的自适应横纵比系统呈现的电子邮件应用的用户界面的方面。在所示出的实施例中，具有大横纵比显示器302的设备300是具有16:9的横纵比的平板计算机。像之前一样，用户点击电子邮件消息中的附件控件，并且系统选择默认显示。
图3B示出了使用该系统的具有大横纵比显示器的平板计算机上的附件和电子邮件消息的默认并排视图。在该实例中，由系统所选择的默认布局是并排视图，这是因为平板计算机的较大宽度适合于在有限的重叠的情况下显示这两个文档的实质部分。系统可以对并排视图进行缩放以显示一个内容项的较宽的视图和另一个内容项的较窄的视图。例如，当附件是固定格式文档时，系统可以将更多可用的显示区域用于示出附件，并使用最少量的空间来显示通常基于可用的视图窗口重新格式化的流动文档的电子邮件消息。具有大横纵比显示器的设备上的用户界面仍然可以提供可替代的视图控件，该可替代的视图控件给予用户改变至任一个内容项的全屏视图或者另一个可用的布局的能力。
图4A-4F示出了实现由系统所实现的、用于给用户提供沉浸式交互体验的自定义的工作流的用户界面的实施例，该沉浸式交互体验使得用户专注于执行实质性工作而不是试图导航通过与具有宽度受限的显示器的设备上的任务相关联的附加(ministerial)功能。
图4A示出了用户发起与附件的交互；然而，该附件是可编辑文档(例如，演示)。再一次，系统确定请求文档的设备具有宽度受限的显示器，并为附件选择默认的全屏视图。
图4B示出了最初在查看模式中、在具有宽度受限的显示器的设备上在全屏视图布局中打开的可编辑演示。系统最初预测用户对查看文档感兴趣，并且在演示应用模式(例如，幻灯片演示模式)的仅可查看的用户界面405中对演示进行显示。然而，系统呈现编辑控件410(上下文敏感的工作流控件)，以提供对演示应用的演示编辑模式的访问。图4C示出了用户通过激活编辑控件而手动发起对演示的编辑。
图4D示出了在编辑模式中在具有宽度受限的显示器的设备上在全屏视图布局中打开的可编辑演示。用户可以经由演示应用模式的演示编辑用户界面415对演示进行编辑。基于任务上下文，系统预测：一旦进行了改变，用户就可能想要向另外的某人发送经编辑的附件。从而，系统提供保存和分享控件420，以促进经由电子邮件发送经修改的附件的任务。图4E示出了在演示被改变之后，用户手动选择保存和分享控件。
图4F示出了用于使用该系统来修改和发送电子邮件附件的动态自定义的工作流的结束的方面。保存和分享控件生成电子邮件消息草稿、附上经修改的演示的副本425、并且在适合于设备的布局中显示得到的电子邮件消息草稿430(在该布局中该消息可以由用户编辑以用于发送)。最后，可以由自适应布局和工作流引擎提供上下文敏感的发送控件435以作为演示编辑用户界面415或者电子邮件的用户界面216的一部分，以实际地发送定稿的电子邮件消息。
这些预测的操作是从演示编辑用户界面415完成的，并且不需要用户在演示应用、电子邮件应用、以及各种文件系统对话框之间进行切换来将信息编译成准备好定稿并发送的电子邮件消息。由该系统所实现的自适应工作流给用户提供了沉浸式的交互体验，该沉浸式的交互体验使得用户专注于执行实质性工作而不是试图导航通过与任务相关联的附加功能(例如，定位经修改的演示的所保存的副本以附到电子邮件草稿上)。
尽管操作是在具有受限显示器的设备上执行的，但系统可以在并排布局中显示电子邮件消息草稿以及演示，而不是在全屏视图中单独地显示(像图示实施例中那样)。这可以发生是因为自适应布局和工作流引擎识别出该情况的上下文是：用户已经基本完成了关于演示的工作，但可能希望回看或者将来自经修改的演示的信息并入电子邮件消息的主体。此外，已知电子邮件消息通常是可流动(flowable)文档，因此它可以在相对较小的显示区域中有效地编写/编辑。类似地，对已完成修改的演示的查看和/或消费可以使用比在编写和/或编辑期间通常所需的更少的显示区域来完成。然而，可以在不同设备上选择不同的布局。例如，在智能电话上，可以在全屏布局中呈现电子邮件消息草稿。
图5A-5C示出了实现由系统所实现的、用于给用户提供沉浸式交互体验的自定义的工作流的用户界面的实施例，该沉浸式交互体验使得用户专注于执行实质性工作而不是试图导航通过与使用该系统的、具有大横纵比的显示器的设备上的任务相关联的附加功能。图5A示出了用户发起与可编辑附件212(电子表格)的交互。图5B示出了基于由自适应布局和工作流引擎所确定的平板计算机具有可用于使用电子表格应用的查看模式用户界面510以合理有效的方式来呈现附件和电子邮件消息的足够的显示区域的、附件和电子邮件消息的并排视图的默认布局。再一次，用户决定使用上下文敏感的编辑控件410来编辑该电子表格。
图示的实施例还示出了已经以由自适应布局和工作流引擎所预测的方式对并排布局进行了缩放以优化可用显示区域的使用的方式。与图2D的视图模式实施例相反，由于自适应布局和工作流引擎进行的可选缩放(例如，布局缩放)，电子邮件消息占据较少的总体显示区域，并且可以占据较少的实际显示区域。在图2D中，分配给到来的电子邮件消息的布局的部分占据受限显示平板计算机上的可用显示区域的一半以上。在图5B中，已经缩小了分配给到来的电子邮件消息的布局的部分，以将布局的更大的部分用于显示电子表格内容的布局。由自适应布局和工作流引擎应用的对缩放的确定可以基于设备的显示能力，以及额外的因素，例如但不限于内容类型和特性。例如，可以缩小流动内容(例如，电子邮件消息)以显示通常受益于在较大的显示区域中显示的更多固定(例如，图像)或大型(例如，电子表格)的格式的文档。
图5C示出了用于修改和发送电子邮件附件的动态自定义的工作流的结束的方面。因为较大的横纵比使得在显示和编写电子邮件草稿以发送经修改的附件的同时对附件进行显示和编辑是可行的，因此自适应布局和工作流可以使用该系统来动态地缩短工作流。在该实例中，自适应布局和工作流引擎动态地更新编辑控件410以提供编辑和共享功能。激活编辑控件410引起切换至电子表格应用的编辑模式用户界面515、生成电子邮件消息草稿、附上经修改的传播的副本425、以及显示所得到的电子邮件消息草稿430。
在该实例中，由系统为具有大横纵比的显示器的平板计算机所选择的默认布局是并排视图，这是因为平板计算机的较大的宽度适合于在有限重叠的情况下显示这两个文档的实质部分。系统对并排视图进行缩放以显示一个内容项的较宽的视图和另一个内容项的较窄的视图。例如，当附件是固定格式的文档时，系统可以使更多的可用的显示区域用于显示附件，并且使用最少量的空间来显示电子邮件消息，这通常是基于可用视图窗口重新格式化的流动文档。具有大横纵比的显示器的设备上的用户界面仍然可以提供替代视图控件，这给予用户改变至任一个内容项的全屏视图或者另一个可用的布局的能力。
图6是示出了用于提供具有设备感知型缩放的沉浸式文档交互的方法的方面的高级流程图。方法600开始于初始内容显示操作602，在该操作中，系统经由用户界面在客户端设备上呈现具有相关联的附件的初始内容项。接着，在内容交互操作604中，系统接收指示用户希望与附件进行交互的请求。
信息收集操作606收集关于用于进行请求的设备的信息。所收集的信息可以包括但不限于：设备的类型、显示器的物理尺寸、显示器的分辨率、以及显示器的横纵比。所收集的信息还可以包括关于可以由应用用来呈现内容的显示器的量的信息。例如，可以保留显示器的一部分用于显示操作系统或其它程序的组件。
布局选择操作608使用所收集的信息来自动确定用于在设备上显示附件的合适的默认布局。在具有物理上小的、具有低分辨率、或具有受限的宽度(即，小的横纵比)的显示器的设备上，默认布局可以是呈现附件本身的视图(即，全屏)。在具有物理上大的、具有高分辨率、或具有较宽宽度(即，大的横纵比)的显示器的设备上，默认布局可以是并排呈现附件和初始内容项的视图(即，分屏)。分配给初始内容项和附件的显示器的量可以针对设备而缩放。
默认的视图呈现操作610使用所选择的默认布局来呈现附件。如果默认布局呈现了附件本身(即，全屏)，则可以在用户界面中呈现替代的视图控件。该替代的视图控件允许用户手动地请求替代的布局(如并排布局)，以显示初始内容项和附件两者。
在替代的视图请求接收操作612中，系统接收指示用户希望使用该替代的布局与附件进行交互的请求。替代的视图呈现操作614使用该替代的布局(例如，并排布局)来呈现附件。再一次，分配给初始内容项和附件的显示器的量可以针对设备而缩放。在替代的视图布局中，默认视图控件可以在用户界面中被呈现，并且与默认视图请求操作616相关联。默认视图控件允许用户手动返回至默认布局，并且在全屏视图中个别地查看附件。可以提供允许用户手动返回至以在全屏视图中个别地显示初始内容项的初始布局的其它视图控件(例如，初始视图控件)。
方法可以可选地包括工作流自定义。工作流自适应操作618可以基于设备显示能力以及与内容项的用户交互的当前的上下文来动态地选择操作的序列(即，工作流)。例如，如果用户直接从电子邮件发起对附件的编辑而不是将附件存储在本地并编辑本地副本，则可以预测：用户打算重新发送或以其它方式分发经编辑的附件。
工作流自适应操作还可以基于设备显示能力来考虑与来自该序列操作中的一个或多个操作相关联的适合于设备的布局。当与在具有有限显示区域的设备上达到相同的最终结果的工作流相比，在具有允许用户同时处理两个内容项的足够的显示区域的设备上，可以将工作流分解成较少或不同的步骤。
例如，在具有大横纵比的显示器的设备上，用于编辑附件并发送包括经修改的附件的回复的工作流可以允许用户在上下文敏感的控件被点击时在并排布局中同时编辑附件和编写回复。经修改的附件可以与电子邮件草稿相关联(例如，通过引用而预先附上)，并且上下文敏感的发送控件可以用于保存附件并且将电子邮件发送给指定的接收者。
相比之下，在具有小横纵比的显示器的设备上，工作流将设备更适合于使用全屏布局而独立于编写回复来单独地编辑附件考虑在内。最初，上下文敏感的编辑控件在全屏布局中带来附件。工作流添加上下文灵敏的共享控件，该控件保存经修改的附件并将其附到使用适合于设备的电子邮件编写布局来显示的电子邮件草稿中，该布局可以是全屏布局或并排布局。在电子邮件编写上下文中所提供的上下文敏感的发送控件可以将电子邮件发送给指定的接收者。
该申请的主题可以以多种系统、设备和其它制品来实践或者被实践为方法，并且可以被实现为硬件、软件、计算机可读介质、或其组合。在本文中所描述的发明的方面可以经由多个计算系统来实现，这些计算系统包括但不限于：台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或板型计算机、笔记本计算机、以及膝上型计算机)、手持设备、多处理器系统、基于微处理器的或可编程消费型电子产品、小型计算机、以及大型计算机。
可以经由板载计算设备的显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示各种类型的用户界面和信息。例如，各种类型的用户界面和信息可以在各种类型的用户界面和信息所投射到的墙面上显示或者与这样的墙面进行交互。与发明的方面可以利用其实践的多个计算系统的交互可以通过以下各项来完成，其不限于：击键输入、触摸屏输入、语音或其它音频输入、手势输入，其中相关联的计算设备装备有检测(例如，相机)功能以用于捕获和解译用户手势，从而控制计算设备的功能等。
图7至图9以及相关联的描述提供了对用于实践本发明的方面的各种操作环境的讨论。然而，图示并讨论的设备和系统是出于示例和说明的目的，而不限制可用于实践在本文中所描述的本发明的方面的大量的计算设备配置。
图7是利用其可以实践本发明的方面的计算设备的架构的框图。在下文中所描述的计算设备组件可以适用于实施计算设备，包括但不限于：个人计算机、平板计算机、平面计算机、以及智能电话、或者在本文中所讨论的任何其它计算设备。在基本配置中，计算设备700可以包括至少一个处理单元702和系统存储器704。取决于计算设备的配置和类型，系统存储器704可以包括但不限于：易失性存储设备(例如，随机存取存储器)、非易失性存储设备(例如，只读存储器)、闪速存储器、或者这样的存储器的任何组合。系统存储器704可以包括操作系统705以及一个或多个程序模块706，其适用于运行诸如自适应布局和工作流引擎102之类的软件应用720。例如，操作系统705可以适用于控制计算设备700的操作。此外，可以结合图形库、其它操作系统、或任意其它应用程序来实践本发明的实施例，并且所述实施例不限于任何特定的应用或系统。该基本配置是由虚线708内的那些组件所示出的。计算设备700可以具有额外的特征或功能。例如，计算设备700还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、或磁带。这样的额外的存储设备是由可移动存储设备709和不可移动存储设备710所示出的。
如上所述，可以将多个程序模块和数据文件存储在系统存储器704中。当在处理单元702上执行时，软件应用720可以执行过程，包括但不限于方法600的步骤中的一个或多个步骤。可以根据本发明的方面来使用的其它程序模块可以包括电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、或计算机辅助绘图应用程序等。
此外，可以在包括分立电子元件、包含逻辑门的封装的或集成的电子芯片、利用微处理器的电路、或包含电子元件或微处理器的单个芯片的电路中实践本发明的实施例。例如，可以经由片上系统(SOC)来实践本发明的实施例，其中，所示出的组件中的每个或多个可以集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，这些全都作为单个集成电路集成(或“烧制”)到芯片衬底上。当经由SOC操作时，在本文中关于软件应用720所描述的功能可以经由与单个集成电路(芯片)上的计算设备700的其它组件一起集成的专用逻辑来操作。还可以使用能够执行逻辑运算(例如，与、或、非)的其它技术来实践本发明的实施例，所述技术包括但不限于：机械、光学、流体、和量子技术。另外，可以在通用计算机中或者在任何其它电路或系统中实践本发明的实施例。
计算设备700还可以具有一个或多个输入设备712，例如，键盘、鼠标、笔、声音输入设备、触摸输入设备等。还可以包括诸如显示器、扬声器、打印机等之类的输出设备714。前述设备是示例并且可以使用其它设备。计算设备700可以包括允许与其它计算设备718进行通信的一个或多个通信连接716。适当的通信连接716的示例包括但不限于：RF发射机、接收机、和/或收发机电路；通用串行总线(USB)、并行、和/或串行端口。
如在本文中所使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块之类的信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动的介质。系统存储器704、可移动存储设备709、和不可移动存储设备710全都是计算机存储介质的示例(即，存储器存储)。计算机存储介质可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电可擦除只读存储器(EEPROM)、闪速存储器或其他存储器技术、压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光存储、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储信息并且可以由计算设备700所访问的任何其他制造物。任何这样的计算机存储介质都可以是计算设备700的一部分。
图8A示出了可以利用其实践本发明的方面的移动计算设备800。适当的移动计算设备的示例包括但不限于：移动电话、智能电话、平板计算机、以及膝上型计算机。在基本配置中，移动计算设备800是既具有输入元件又具有输出元件的手持式计算机。移动计算设备800通常包括显示器805以及允许用户将信息输入到移动计算设备800中的一个或多个输入按钮810。移动计算设备800的显示器805也可以充当输入设备(例如，触摸屏显示器)。如果被包括，则可选的侧输入元件815允许进一步的用户输入。侧输入元件815可以是旋转开关、按钮或任何其他类型的手动输入元件。在可替代的实施例中，移动计算设备800可以包含更多或更少的输入元件。例如，显示器805不需要是触摸屏。移动计算设备800还可以包括可选的小键盘835。可选的小键盘835可以是物理小键盘或者在触摸屏显示器上生成的“软”小键盘。输出元件包括用于示出图形用户界面(GUI)的显示器805、视觉指示器820(例如，发光二极管)、和/或音频换能器825(例如，扬声器)。移动计算设备800可以包含用于给用户提供触觉反馈的振动换能器。移动计算设备800可以包含用于向外部设备发送信号或从外部设备中接收信号的输入和/或输出端口，例如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)、和视频输出(例如，HDMI端口)。
图8B是示出了利用其可以实践本发明的方面的移动计算设备的架构的框图。作为示例，移动计算设备800可以在系统802中被实现，所述系统802例如能够运行一个或多个应用(例如，浏览器、电子邮件客户端、记事本、联系人管理器、消息传送客户端、游戏、和媒体客户端/播放器)的智能电话。
一个或多个应用程序865可以被加载到存储器862中，并且在操作系统864上运行或者与操作系统864相关联地运行。应用程序的示例包括：电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统802还包括存储器862内的非易失性存储区域868。非易失性存储区域868可以用于存储在系统802断电时不应丢失的永久信息。应用程序865可以使用信息并将信息存储在非易失性存储区域868中，例如电子邮件应用程序所使用的电子邮件或其他消息等。同步应用(未示出)也驻留在系统802上，并且被编程为与驻留在主机计算机上的对应的同步应用进行交互，以将存储在非易失性存储区域868中的信息与存储在主机计算机上的对应的信息保持同步。应当理解的是，包括在本文中所描述的软件应用720的其他应用可以被加载到存储器862中并且在移动计算设备800上运行。
系统802具有电源870，其可以被实现为一个或多个电池。电源870还可以包括外部电源，例如，AC适配器或者对电池供电或充电的加电对接托架。
系统802还可以包括执行发送和接收射频通信的功能的无线电设备872。无线电设备872促成经由通信运载服务提供商或私有网络的系统802和外部世界之间的无线连通性。往来于无线电设备872的传输是在操作系统864的控制下进行的。换句话说，由无线电设备872所接收到的通信可以经由操作系统864散播至应用程序865，反之亦然。
视觉指示器820可以用于提供视觉通知，并且/或音频接口874可以用于经由音频换能器825来产生可听见的通知。如图所示，视觉指示器820可以是发光二极管(LED)，而音频换能器825可以是扬声器。这些设备可以直接耦合至电源870，使得当被激活时，即使为了保存电池电量可以关闭处理器860和其他组件，它们也在由通知机制所规定的期间内保持通电。LED可以被编程为保持无限期地通电以指示设备的通电状态，直到用户采取动作为止。音频接口874用于向用户提供可听见的信号并从用户处接收可听见的信号。例如，除了耦合至音频换能器825之外，音频接口874还可以耦合至麦克风以接收可听见的输入，从而例如促成电话对话。麦克风也可以充当音频传感器以促进对通知的控制，如将在下文中所描述的。系统802还可以包括使能够操作板载相机830来记录静止的图像、视频流等的视频接口876。
实现系统802的移动计算设备800可以具有额外的特征或功能。例如，移动计算设备800还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、或磁带。由非易失性存储区域868示出了这样额外的存储。
由移动计算设备800所生成或捕获的、并且经由系统802所存储的数据/信息可以本地地存储在移动计算设备800上，如上所述，或者所述数据可以存储在可以由设备通过无线电设备872或者经由移动计算设备800和与移动计算设备800相关联的分离的计算设备之间的有线连接来访问的任何数量的存储介质中，例如，分布式计算网络(例如，互联网)中的服务器计算机。应当理解的是，这样的数据/信息可以通过移动计算设备800经由无线电设备872或者经由分布式计算网络来访问。类似地，这样的数据/信息可以根据公知的数据/信息传输和存储单元(包括电子邮件和协作数据/信息共享系统)而容易地在计算设备之间进行存储和使用。
图9是用于实现本发明的架构的分布式计算系统的简化的框图。与软件应用720相关联地开发、交互、或编辑的内容可以存储在不同的通信信道中或其他存储器类型中。例如，可以使用目录服务922、门户网站924、邮箱服务926、即时消息存储928、或社交网站930来存储各种文件。如在本文中所描述的，软件应用720可以使用这些类型的系统中的任何一种等来启用数据利用。服务器920可以将软件应用720提供至客户端。作为一个示例，服务器920可以是通过网络提供软件应用720的网络服务器。服务器920可以通过网络915将软件应用720通过网络提供至客户端。作为示例，客户端计算设备可以被实现为计算设备700，并且在个人计算机902a、平板计算机902b、和/或移动计算设备902c(例如，智能电话)中实施。这些客户端设备中的任何一个客户端设备都可以从存储916中获得内容。
在该申请中所提供的对一个或多个实施例的描述和说明旨在向本领域技术人员提供对主题的完整范围的完全彻底和完整的公开，而不旨在以任何方式限制或约束本发明的范围。在该申请中所提供的实施例、示例、和细节被认为足以表达所有权，并且使得本领域技术人员能够实践所要求保护的发明的最佳模式。被认为是本领域技术人员所公知的对结构、资源、操作、和动作的描述可以是简短的或者被省略，以避免使得该申请的主题的较少人知道的方面或独特的方面难以理解。除非在本文中明确地指出，否则，所要求保护的发明都不应该被解释为限于在该申请中所提供的任何实施例、示例、或细节。无论是组合还是单独地被示出和描述，各种特征(包括结构和方法)都旨在被选择性地包括或省略，以产生具有一组特定特征的实施例。此外，任何或所有示出或描述的功能和动作可以以任意顺序或同时执行。在已经提供了本申请的描述和说明之后，本领域技术人员可设想变型、修改和替代实施例，其落入到在该申请中所实施的总体构思的更宽泛的方面的精神内，而不脱离所要求保护的发明的更宽泛的范围。

Claims (14)

1.一种用于具有设备感知型缩放的沉浸式文档交互的方法，所述方法包括下列各项操作：
显示包含附件的初始内容项；
接收与所述附件进行交互的请求；
收集关于经由显示器呈现所述初始内容项的计算设备的显示配置的信息，所述信息包括所述显示器的物理尺寸；
基于所述显示配置选择用于显示所述附件的布局；
经由所述显示器使用所述布局来呈现所述附件；
显示具有适用于所述附件和所述初始内容项的多个操作的上下文敏感的任务控件；以及
当所述上下文敏感的任务控件被激活时，执行所述多个操作中的每个操作。
2.根据权利要求1所述的方法，其中，所述信息还包括：所述显示器的分辨率。
3.根据权利要求1所述的方法，其中，基于所述显示配置来选择用于显示所述附件的所述布局的操作还包括：为所述布局选择全屏视图以便用于当所述初始内容项和所述附件的宽度的总和大于显示器宽度时来呈现所述附件的操作。
4.根据权利要求1所述的方法，其中，基于所述显示配置来选择用于显示所述附件的所述布局的操作还包括：为所述布局选择全屏视图以便用于当所述显示器具有4：3的横纵比时来呈现所述附件的操作。
5.根据权利要求1所述的方法，其中，基于所述显示配置来选择用于显示所述附件的所述布局的操作还包括：为所述布局选择并排屏幕布局以便用于当所述显示器具有16：9或者16：10的横纵比时来呈现所述附件的操作。
6.一种用于具有设备感知型缩放的沉浸式文档交互的方法的系统，所述系统包括：
计算设备，其可操作用于：运行用于与包含附件的初始内容项进行交互的第一应用以及用于与所述附件进行交互的第二应用，
与所述计算设备相关联的显示配置；
自适应布局和工作流引擎，其可操作用于：
显示包含所述附件的所述初始内容项；
基于所述显示配置来选择视图，所述视图是全屏视图或并排视图，并且所述显示配置包括显示器尺寸；
接收显示所述附件的请求；
使用所述视图来显示所述附件；
显示具有适用于所述附件和所述初始内容项的多个操作的上下文敏感的任务控件；以及
当所述上下文敏感的任务控件被激活时，执行所述多个操作中的每个操作。
7.根据权利要求6所述的系统，还可操作用于显示允许对另一种视图的选择来覆盖所述视图的布局控件。
8.根据权利要求6所述的系统，其中，所述第一应用是电子邮件应用，所述第二应用是附件编辑应用，并且所选择的视图是全屏视图，所述上下文敏感的任务控件可操作用于：生成新的电子邮件消息，将所述附件保存为经修改的附件，将所述经修改的附件附到所述新的电子邮件消息，以及打开所述新的电子邮件消息来进行编辑。
9.根据权利要求6所述的系统，其中，所述第一应用是电子邮件应用，所述初始内容项是电子邮件，所述第二应用是用于只读附件的查看器，并且所选择的视图是全屏视图，所述上下文敏感的任务控件可操作用于：关闭所述附件并基于所述初始内容项来生成新的电子邮件。
10.根据权利要求6所述的系统，其中，所述自适应布局和工作流引擎还可操作用于：当所述显示配置与4：3的横纵比相对应时，选择全屏视图作为所述视图。
11.根据权利要求6所述的系统，其中，所述自适应布局和工作流引擎还可操作用于：当所述显示配置与16：9或16：10的横纵比相对应时，选择并排视图作为所述视图。
12.根据权利要求6所述的系统，其中，所述附件打开用于查看，所述自适应布局和工作流引擎可操作用于：显示用于重新分发所述附件的上下文敏感的任务控件。
13.根据权利要求6所述的系统，其中，所述初始内容项是电子邮件，所述自适应布局和工作流引擎还可操作用于：基于所述初始内容项和所述附件而在并排视图中显示新的电子邮件。
14.一种包含计算机可执行指令的计算机可读介质，当由计算机执行时，所述指令执行具有设备感知型缩放的沉浸式文档交互的方法，所述方法包括：
显示包含附件的初始内容项；
接收与所述附件进行交互的请求；
收集关于经由显示器呈现所述初始内容项的计算设备的显示配置的信息，所述信息包括所述显示器的物理尺寸；
基于所述显示配置经由所述显示器，在全屏视图中显示所述附件或者在并排视图中显示所述初始内容项和所述附件；以及
显示上下文敏感的任务控件，当所述上下文敏感的任务控件被激活时，基于上下文和所述显示配置来执行操作序列。
CN201580018275.0A 2014-03-31 2015-03-26 具有设备感知型缩放的沉浸式文档交互 Active CN106164834B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461973111P 2014-03-31 2014-03-31
US61/973,111 2014-03-31
US14/461,275 2014-08-15
US14/461,275 US10698591B2 (en) 2014-03-31 2014-08-15 Immersive document interaction with device-aware scaling
PCT/US2015/022609 WO2015153247A1 (en) 2014-03-31 2015-03-26 Immersive document interaction with device-aware scaling

Publications (2)

Publication Number Publication Date
CN106164834A CN106164834A (zh) 2016-11-23
CN106164834B true CN106164834B (zh) 2019-08-06

Family

ID=54190370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580018275.0A Active CN106164834B (zh) 2014-03-31 2015-03-26 具有设备感知型缩放的沉浸式文档交互

Country Status (5)

Country Link
US (1) US10698591B2 (zh)
EP (1) EP3126943B1 (zh)
KR (1) KR102383972B1 (zh)
CN (1) CN106164834B (zh)
WO (1) WO2015153247A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD751082S1 (en) * 2013-09-13 2016-03-08 Airwatch Llc Display screen with a graphical user interface for an email application
USD748129S1 (en) * 2014-03-28 2016-01-26 Microsoft Corporation Display screen with transitional graphical user interface
USD748665S1 (en) * 2014-03-28 2016-02-02 Microsoft Corporation Display screen with transitional graphical user interface
CN107683458B (zh) * 2015-06-07 2021-03-26 苹果公司 用于操纵相关应用程序窗口的设备、方法和图形用户界面
US10310719B2 (en) 2015-06-09 2019-06-04 Whatsapp Inc. Techniques for media album display and management
US20160364108A1 (en) * 2015-06-09 2016-12-15 Whatsapp Inc. Techniques for interactive media album display and management
USD783650S1 (en) * 2015-06-11 2017-04-11 Airwatch Llc Display screen, or portion thereof, with a navigational graphical user interface component
USD797771S1 (en) * 2015-06-11 2017-09-19 Airwatch Llc Display screen, or portion thereof, with a navigational graphical user interface component
USD783665S1 (en) * 2015-06-11 2017-04-11 Airwatch Llc Display screen, or portion thereof, with a navigational graphical user interface component
USD803846S1 (en) * 2016-04-01 2017-11-28 Google Inc. Display screen portion with a transitional graphical user interface
CN110675949A (zh) 2016-09-27 2020-01-10 比格福特生物医药公司 药物注射和疾病管理系统、设备和方法
USD817988S1 (en) * 2016-11-17 2018-05-15 Trivver, Inc. Display screen or portion thereof with tab based graphical user interface
USD836769S1 (en) 2016-12-12 2018-12-25 Bigfoot Biomedical, Inc. Insulin delivery controller
US11096624B2 (en) 2016-12-12 2021-08-24 Bigfoot Biomedical, Inc. Alarms and alerts for medication delivery devices and systems
USD839294S1 (en) 2017-06-16 2019-01-29 Bigfoot Biomedical, Inc. Display screen with graphical user interface for closed-loop medication delivery
WO2019014594A1 (en) 2017-07-13 2019-01-17 Desborough Lane MULTI-SCALE DISPLAY OF GLYCEMIA INFORMATION
USD863343S1 (en) 2017-09-27 2019-10-15 Bigfoot Biomedical, Inc. Display screen or portion thereof with graphical user interface associated with insulin delivery
US10788972B2 (en) * 2017-10-02 2020-09-29 Fisher-Rosemount Systems, Inc. Systems and methods for automatically populating a display area with historized process parameters
US10409895B2 (en) * 2017-10-17 2019-09-10 Qualtrics, Llc Optimizing a document based on dynamically updating content
USD883309S1 (en) * 2018-01-04 2020-05-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11199944B2 (en) * 2018-09-24 2021-12-14 Salesforce.Com, Inc. System and method for navigation within widget-sized browser panels
US11379104B2 (en) * 2019-06-07 2022-07-05 Microsoft Technology Licensing, Llc Sharing user interface customization across applications
US11507251B2 (en) * 2019-09-17 2022-11-22 Fisher-Rosemount Systems, Inc. Guided user interface (GUI) based systems and methods for regionizing full-size process plant displays for rendering on mobile user interface devices
CN110830645B (zh) * 2019-09-24 2021-05-18 华为技术有限公司 一种操作方法和电子设备及计算机存储介质
CN113190196B (zh) * 2021-04-27 2023-09-05 北京京东振世信息技术有限公司 多设备联动实现方法、装置、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253836A (zh) * 2010-07-15 2011-11-23 微软公司 用于移动设备的显示器无关的用户界面
CN102591568A (zh) * 2010-12-15 2012-07-18 微软公司 全屏视图阅读和编辑用户界面
CN103261994A (zh) * 2010-10-01 2013-08-21 Flex Electronics ID Co.,Ltd. 桌面显露扩展

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046001A (en) 1988-06-30 1991-09-03 Ibm Corporation Method for accessing selected windows in a multi-tasking system
US5818447A (en) 1996-06-06 1998-10-06 Microsoft Corporation System and method for in-place editing of an electronic mail message using a separate program
US6023714A (en) * 1997-04-24 2000-02-08 Microsoft Corporation Method and system for dynamically adapting the layout of a document to an output device
US6134566A (en) 1997-06-30 2000-10-17 Microsoft Corporation Method for controlling an electronic mail preview pane to avoid system disruption
US6785867B2 (en) * 1997-10-22 2004-08-31 Siemens Information And Communication Networks, Inc. Automatic application loading for e-mail attachments
US6883140B1 (en) 2000-02-24 2005-04-19 Microsoft Corporation System and method for editing digitally represented still images
US7210093B1 (en) 2000-03-09 2007-04-24 International Business Machines Corporation Method, system, and program for displaying pages downloaded from over a network in an application window
US7424676B1 (en) 2000-06-16 2008-09-09 Microsoft Corporation System and method for improved electronic mail processing with introductory text
US20020188524A1 (en) * 2001-04-26 2002-12-12 Hidetaka Shimizu Method for placing/receiving order using electronic mail
JP4014495B2 (ja) * 2002-11-29 2007-11-28 松下電器産業株式会社 映像表示装置
US7640506B2 (en) 2003-06-27 2009-12-29 Microsoft Corporation Method and apparatus for viewing and managing collaboration data from within the context of a shared document
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
JP4145746B2 (ja) * 2003-07-17 2008-09-03 シャープ株式会社 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体
EP1652048A4 (en) 2003-07-21 2009-04-15 Fusionone Inc ORDERING NEWS MANAGEMENT SYSTEM
TWI366110B (en) * 2004-02-26 2012-06-11 Ibm Providing a portion of an electronic mail message based upon a transfer rate, a message size, and a file format
KR20050116661A (ko) * 2004-06-08 2005-12-13 이상백 제한된 크기의 화면을 가진 단말기를 이용해서 콘텐츠를표시하는 방법 및 그 단말기
US20060056604A1 (en) * 2004-09-15 2006-03-16 Research In Motion Limited Method for scaling images for usage on a mobile communication device
US7243298B2 (en) 2004-09-30 2007-07-10 Microsoft Corporation Method and computer-readable medium for previewing and performing actions on attachments to electronic mail messages
US7647559B2 (en) * 2004-09-30 2010-01-12 Microsoft Corporation Method and computer-readable medium for navigating between attachments to electronic mail messages
US8140975B2 (en) 2005-01-07 2012-03-20 Apple Inc. Slide show navigation
US20060227153A1 (en) 2005-04-08 2006-10-12 Picsel Research Limited System and method for dynamically zooming and rearranging display items
US20060294476A1 (en) 2005-06-23 2006-12-28 Microsoft Corporation Browsing and previewing a list of items
US7433895B2 (en) 2005-06-24 2008-10-07 Microsoft Corporation Adding dominant media elements to search results
KR100665821B1 (ko) * 2005-09-13 2007-01-09 엘지전자 주식회사 이동통신단말기 및 파일의 출력방법
KR100764787B1 (ko) * 2005-09-14 2007-10-11 엘지전자 주식회사 액티브 콘텐츠를 송수신하기 위한 방법 및 단말기
WO2007036935A2 (en) * 2005-09-27 2007-04-05 Ceedo Technologies (2005) Ltd A self-contained portable device
US8185591B1 (en) 2005-09-30 2012-05-22 Google Inc. Systems and methods for viewing email attachments as thumbnails
US20070079236A1 (en) * 2005-10-04 2007-04-05 Microsoft Corporation Multi-form design with harmonic composition for dynamically aggregated documents
US8434021B2 (en) 2005-11-30 2013-04-30 Microsoft Corporation Centralized user interface for displaying contextually driven business content and business related functionality
TW200723150A (en) 2005-12-07 2007-06-16 Era Digital Media Co Business website system
US7814425B1 (en) 2005-12-30 2010-10-12 Aol Inc. Thumbnail image previews
US9880702B2 (en) 2006-02-03 2018-01-30 Yahoo Holdings, Inc. Content structures and content navigation interfaces
US8108464B1 (en) 2006-03-31 2012-01-31 Google Inc. Collaborative workflow through messaging conversations
US7511723B2 (en) * 2006-03-31 2009-03-31 Research In Motion Limited Method for requesting and viewing an attachment image on a portable electronic device
US8601063B2 (en) 2006-03-31 2013-12-03 Blackberry Limited Method for presenting an attachment within an email message
US20070239831A1 (en) 2006-04-06 2007-10-11 Yahoo! Inc. Interface for editing, binding, and displaying an annotation for a message
US20080005149A1 (en) * 2006-06-29 2008-01-03 Adobe Systems Incorporated Collection presentation
US7769144B2 (en) 2006-07-21 2010-08-03 Google Inc. Method and system for generating and presenting conversation threads having email, voicemail and chat messages
US8527907B2 (en) 2006-07-31 2013-09-03 Adobe Systems Incorporated Screen relayout
US20080046518A1 (en) 2006-08-16 2008-02-21 James I Tonnison Enhanced E-Mail System
US20080208963A1 (en) 2006-10-19 2008-08-28 Aviv Eyal Online File Sharing
US20080104515A1 (en) 2006-10-30 2008-05-01 Dan Dumitru System and method for slide presentation
US8134727B1 (en) 2006-11-27 2012-03-13 Ringcentral, Inc. Message preview control
JP4956202B2 (ja) * 2007-01-16 2012-06-20 キヤノン株式会社 情報処理装置及び情報処理方法及びプログラム
US20080189647A1 (en) 2007-02-01 2008-08-07 Research In Motion Limited System and method for inline viewing of file content
US8024400B2 (en) 2007-09-26 2011-09-20 Oomble, Inc. Method and system for transferring content from the web to mobile devices
US7730146B1 (en) 2007-03-30 2010-06-01 Emc Corporation Local email archive store size management
FI124000B (fi) 2007-12-11 2014-01-31 Documill Oy Menetelmä ja järjestely tiedonhakutulosten käsittelemiseksi
US8024412B2 (en) 2008-02-15 2011-09-20 Microsoft Corporation User interface reading email conversations
US8631079B2 (en) 2008-06-20 2014-01-14 Microsoft Corporation Displaying a list of file attachments associated with a message thread
KR101472591B1 (ko) * 2008-11-14 2014-12-17 삼성전자주식회사 컨텐츠의 확대 영역 선택 방법, 컨텐츠 제공 장치 및 시스템
US9582807B2 (en) 2009-02-20 2017-02-28 Facebook, Inc. Engagement interface advertising in a social network
US9064424B2 (en) 2009-02-20 2015-06-23 Jackson Fish Market, LLC Audiovisual record of a user reading a book aloud for playback with a virtual book
US8320479B2 (en) 2009-02-25 2012-11-27 Alcatel Lucent Ranking and grouping of transmissions in communication system
US20100223542A1 (en) 2009-02-27 2010-09-02 Research In Motion Limited Method, system and apparatus for providing pinned bookmarks
KR101640460B1 (ko) * 2009-03-25 2016-07-18 삼성전자 주식회사 휴대 단말기의 분할 화면 운용 방법 및 이를 지원하는 휴대 단말기
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8832802B2 (en) * 2010-02-01 2014-09-09 Protextion Technologies, Llc System for distribution permissions for network communications
US9418356B2 (en) 2010-05-07 2016-08-16 Microsoft Technology Licensing, Llc Streamlined collaboration on document
US9612715B2 (en) 2010-06-28 2017-04-04 International Business Machines Corporation Real-time preview of uniform resource identifier addressable dynamic content
US10083423B2 (en) 2010-07-09 2018-09-25 BombBomb, LLC Real time electronic mail
JP2012027848A (ja) * 2010-07-27 2012-02-09 Canon Inc 印刷制御装置、印刷装置、及び印刷プレビュー方法
US20120144331A1 (en) 2010-12-03 2012-06-07 Ari Tolonen Method for Arranging Application Windows on a Display
US9245259B2 (en) 2011-01-14 2016-01-26 Apple Inc. Presenting E-mail on a touch device
US8756121B2 (en) 2011-01-21 2014-06-17 Target Brands, Inc. Retail website user interface
US20120204125A1 (en) 2011-02-07 2012-08-09 Megan Shia User interface incorporating sliding panels for listing records and presenting record content
US8682989B2 (en) 2011-04-28 2014-03-25 Microsoft Corporation Making document changes by replying to electronic messages
US8826148B2 (en) * 2011-05-05 2014-09-02 Microsoft Corporation Simultaneous email and attachment viewing
US20130007602A1 (en) 2011-06-29 2013-01-03 Apple Inc. Fixed layout electronic publications
US8872855B2 (en) 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
US9037696B2 (en) * 2011-08-16 2015-05-19 Amazon Technologies, Inc. Managing information associated with network resources
US20130227398A1 (en) 2011-08-23 2013-08-29 Opera Software Asa Page based navigation and presentation of web content
US9495012B2 (en) 2011-09-27 2016-11-15 Z124 Secondary single screen mode activation through user interface activation
CN102387481B (zh) 2011-10-08 2018-04-17 中兴通讯股份有限公司 一种彩信编辑方法及装置
US20130097546A1 (en) 2011-10-17 2013-04-18 Dan Zacharias GÄRDENFORS Methods and devices for creating a communications log and visualisations of communications across multiple services
US8627204B2 (en) 2011-10-18 2014-01-07 Microsoft Corporation Custom optimization of web pages
US20130111391A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Adjusting content to avoid occlusion by a virtual input panel
US9606972B2 (en) 2011-11-09 2017-03-28 Microsoft Technology Licensing, Llc Document collaboration with collaboration context data
US20130159082A1 (en) 2011-12-16 2013-06-20 Comcast Cable Communications, Llc Managing electronic mail
US10248278B2 (en) * 2011-12-30 2019-04-02 Nokia Technologies Oy Method and apparatus for intuitive multitasking
EP2618246B1 (en) 2012-01-19 2020-03-18 BlackBerry Limited Simultaneous display of multiple maximized applications on touch screen electronic devices
US9032292B2 (en) 2012-01-19 2015-05-12 Blackberry Limited Simultaneous display of multiple maximized applications on touch screen electronic devices
EP2631743B1 (en) 2012-02-24 2018-05-02 BlackBerry Limited Handheld device with notification message viewing
WO2013179151A1 (en) * 2012-05-31 2013-12-05 Ohayon Shimon A system and method for creating and delivering complex graphic emails which automatically adapt to fit a variety of different recipient devices
US9299063B2 (en) 2012-06-05 2016-03-29 International Business Machines Corporation Receiver side indication of preview content for template emails
US20140208203A1 (en) * 2013-01-23 2014-07-24 Steven Shu Hsiang Tang Key-Frame based Authoring and Generation of Highly Resizable Document Layout
US20140053065A1 (en) * 2012-08-16 2014-02-20 Motorola Mobility Llc System and method for adjusting website displays
US9704189B2 (en) 2012-09-05 2017-07-11 Rakuten Kobo, Inc. System and method for a graphical user interface having recommendations
US20140223291A1 (en) 2013-01-07 2014-08-07 Mobilemotion Technologies Private Limited System and method for restructuring content on reorientation of a mobile device
US9467750B2 (en) 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
KR102104651B1 (ko) 2013-07-12 2020-04-24 삼성전자주식회사 파일 첨부 방법 및 그 전자 장치
US9898451B2 (en) * 2013-11-26 2018-02-20 Adobe Systems Incorporated Content adaptation based on selected reviewer comment
US20150278234A1 (en) 2014-03-31 2015-10-01 Microsoft Corporation Inline web previews with dynamic aspect ratios
US20150281148A1 (en) 2014-03-31 2015-10-01 Microsoft Corporation Immersive document view
US20150277711A1 (en) 2014-03-31 2015-10-01 Microsoft Corporation User interaction and motion driving updates to components in an immersive document view

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253836A (zh) * 2010-07-15 2011-11-23 微软公司 用于移动设备的显示器无关的用户界面
CN103261994A (zh) * 2010-10-01 2013-08-21 Flex Electronics ID Co.,Ltd. 桌面显露扩展
CN102591568A (zh) * 2010-12-15 2012-07-18 微软公司 全屏视图阅读和编辑用户界面

Also Published As

Publication number Publication date
US20150277722A1 (en) 2015-10-01
EP3126943B1 (en) 2022-12-14
KR102383972B1 (ko) 2022-04-06
CN106164834A (zh) 2016-11-23
WO2015153247A1 (en) 2015-10-08
KR20160138435A (ko) 2016-12-05
EP3126943A1 (en) 2017-02-08
US10698591B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
CN106164834B (zh) 具有设备感知型缩放的沉浸式文档交互
CN105009062B (zh) 浏览被显示为瓦块的电子消息
CN103370689B (zh) 跨环境应用兼容
CN106062705B (zh) 跨平台渲染引擎
CN105378623B (zh) 插入式动态内容预览窗格
CN105593848B (zh) 在协作式环境中对共享电子文档的更新
CN105492999B (zh) 多设备环境中的应用/文档协作
US20130339831A1 (en) Dynamic reports connected to project data
CN102105862B (zh) 实体交互的自动用户界面生成
USRE46386E1 (en) Updating a user session in a mach-derived computer system environment
US20120166985A1 (en) Techniques to customize a user interface for different displays
US20170053626A1 (en) Wet ink texture engine for reduced lag digital inking
CN104081384B (zh) 用于为在线文档提供计算web服务的系统和方法
CN106164891A (zh) 幻灯片展示表面
CN104205140A (zh) 包括自由形式输入电子日历表面的现代电子日历系统
CN105308943B (zh) 从电子内容储存库中自动隔离和选择截屏
CN105830056B (zh) 与表格应用函数记号交互
CN102770840A (zh) 数据结构映射和导航
CN110168539A (zh) 混合应用中的快速页面加载
CN105359133A (zh) web内容与电子应用文档的交互
CN103778526A (zh) 日历项上的个人笔记
JP6439266B2 (ja) タッチスクリーンを有する電子装置におけるテキスト入力方法及び装置
CN105378769A (zh) 导航日历
CN103295122A (zh) 包括空白笔记触发器的电子笔记记录特征
CN105359135A (zh) 用墨水来创作演示

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant