CN115190996A - 使用增强现实的协作文档编辑 - Google Patents

Abstract

本文描述了使用消费者技术通过增强现实内容进行协作文档编辑的方法和系统。本公开的实施例涉及结合AR特征和通信平台进行协作文档编辑，以促进通过单个AR用户界面进行实时协作文档编辑。可以在AR场景内的表面上呈现AR文件。实施例还接收文档修改数据，将文档修改数据转换为数字信息，使用数字信息提供更新的AR文件，使用更新的AR文件更新AR场景数据，使用更新的AR文件生成更新的文档文件，将更新的文档文件存储在数据存储中。

Description

使用增强现实的协作文档编辑

技术领域

本发明涉及增强现实(augmented reality，AR)技术领域，尤其涉及用于在AR环境中进行协作文档编辑的方法、系统、以及非暂时性计算机可读介质。

背景技术

AR将虚拟内容叠加在真实世界的用户视图上。随着AR软件开发工具包(softwaredevelopment kit，SDK)的发展，移动行业将移动设备AR平台引入主流。AR SDK通常提供六自由度(six degrees-of-freedom，6DoF)追踪能力。用户可以使用电子设备(例如，智能手机或AR系统)中包括的摄像头扫描环境，并且电子设备实时执行视觉惯性里程计(visualinertial odometry，VIO)。一旦持续追踪摄像头姿势，即可将虚拟物体放置到AR场景中，以产生一种真实物体和虚拟物体融合在一起的错觉。

虽然在AR领域取得了进展，但本领域仍需要改进的协作文档编辑方法，以直观的方式实现AR特征。

发明内容

本公开一般涉及与增强现实(AR)应用相关的方法和系统。更具体地，本公开的实施例提供了使用消费者技术通过增强现实内容进行协作文档编辑的方法和系统。本公开的实施例适用于增强现实和基于计算机的显示系统中的各种应用。

本公开的一个实施例涉及一种计算机系统实现的用于在增强现实(AR)环境中进行协作文档编辑的方法。该方法包括获得文档文件，使用文档文件生成AR文件，并提供：AR场景数据和包括一个或多个交互元素的用户界面。从AR场景数据生成的AR场景用于在该AR场景中呈现设置在真实世界物体的表面上的AR文件。一个或多个交互元素用于接收用户交互。该方法还包括：接收文档修改数据；将文档修改数据转换为数字文本信息；使用数字文本信息提供更新的AR文件；使用更新的AR文件更新AR场景数据；使用更新的AR文件生成更新的文档文件；将更新的文档文件存储在数据存储中。

本公开的另一实施例涉及一种系统，该系统包括：处理器；包括指令的存储器，当由处理器执行时，指令使系统至少：获得文档文件，使用文档文件生成AR文件，并提供AR场景数据(从AR场景数据生成的AR场景用于在该AR场景中呈现设置在真实世界物体的表面上的AR文件)和包括一个或多个交互元素(一个或多个交互元素用于接收用户交互)的用户界面。上述指令还使系统接收文档修改数据，将文档修改数据转换为数字文本信息，使用数字文本信息提供更新的AR文件，使用更新的AR文件更新AR场景数据，使用更新的AR文件生成更新的文档文件，将更新的文档文件存储在数据存储中。

本公开的又一实施例涉及一种存储特定计算机可执行指令的非暂时性计算机可读介质，当由处理器执行时，上述指令使计算机系统至少：获得文档文件，使用文档文件生成AR文件，并提供AR场景数据(从AR场景数据生成的AR场景用于在该AR场景中呈现设置在真实世界物体的表面上的AR文件)和包括一个或多个交互元素(一个或多个交互元素用于接收用户交互)的用户界面。上述指令还使计算机系统接收文档修改数据，将文档修改数据转换为数字文本信息，使用数字文本信息提供更新的AR文件，使用更新的AR文件更新AR场景数据，使用更新的AR文件生成更新的文档文件，将更新的文档文件存储在数据存储中。

与传统技术相比，通过本公开实现了许多益处。例如，本公开的实施例涉及在移动设备上提供用于自动结合到AR内容中的可编辑数字文档的方法和系统。结合下面的文本和附图更详细地描述了本公开的这些实施例和其他实施例及其诸多优点和特征。

附图说明

图1示出了根据本公开的实施例的使用增强现实(AR)应用进行协作文档编辑的技术的示例。

图2是示出根据本公开的实施例的用于在AR环境中进行协作文档编辑的系统的示例系统架构的图。

图3A是示出根据本公开的实施例的使用AR应用进行协作文档编辑的示例技术的图。

图3B是示出根据本公开的实施例的使用AR应用进行协作文档编辑的另一示例技术的另一图。

图3C是示出根据本公开的实施例的使用AR应用进行协作文档编辑的另一示例技术的另一图。

图4描绘了根据本公开的实施例的对包括AR特征的文档进行协作编辑的技术的说明性示例。

图5是示出根据本公开的实施例的使用AR应用进行协作文档编辑的方法的简化流程图。

图6示出了根据本公开的实施例的示例计算机系统。

具体实施方式

在以下描述中，将描述各种实施例。出于解释的目的，阐述了具体配置和细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，实施例也可以在没有具体细节的情况下实施。此外，为了不模糊所描述的实施例，可以省略或简化众所周知的特征。

本公开一般涉及与虚拟现实应用相关的方法和系统。更具体地，本公开的实施例尤其涉及用于结合AR特征和通信平台进行协作文档编辑，以促进通过单个AR用户界面(user interface，UI)进行实时协作文档编辑的系统、方法。

图1示出了根据本公开的实施例的使用增强现实(AR)应用进行协作文档编辑的技术100的示例。在一些实施例中，如参考图2更详细描述的实现移动应用的一个或多个用户设备102接收数字文档文件104，用于在AR应用中协作编辑。在一些情况下，用户设备110(例如，AR耳机、平板电脑、智能手机、VR耳机等)(用户设备110可以与用户设备102不同)可以使用物理文档120的一个或多个图像从物理文档120生成数字文档文件104，物理文档120的一个或多个图像是使用与用户设备110通信的摄像头捕获和/或生成的。例如，用户设备110可以捕获和/或生成物理文档120的第一页的图像，使得以相对于图像中的一个或多个消失点的视角描绘该第一页。在一些情况下，用户设备110可以实现一个或多个软件模块，以根据该图像实现物理文档120的一个或多个页面的提取的图像的平面校正。例如，用户设备110可以实现边缘查找器模块，以定义该图像中出现的物理文档120的页面的一个或多个边缘，然后用户设备可以从中分离出该页面的图像，调整和/或缩放上述提取的图像以形成符合一个或多个标准文档页面尺寸的矩形图像，并补偿提取的图像中出现的图像和/或文本的分辨率的失真效应。在一些实施例中，如参考图2更详细地描述的，附加地和/或替代地，可以由通过网络与用户设备102通信的移动应用服务器执行上述一个或多个软件模块。

在一些实施例中，物理文档120可以包括打印文本和手写笔迹。打印文本还可以包括源自多个作者的打印文本，例如以多个不同的视觉格式(例如，文本颜色、文本字体、文本样式等)指示的打印文本。在一些实施例中，来自每个相应作者的文本可以与数字文档文件104中的不同标识符相关联，标识符又可以链接到一个或多个视觉属性和/或文本属性。例如，打印文本可以(例如，通过如参考图2所述的帐户数据)与一个或多个作者相关联，并且可以通过由用户设备110实现或由移动应用服务器远程实现的一个或多个光学字符识别(optical character recognition，OCR)模块转换为可编辑文本。此外，可以识别手写笔迹，并且可以将其转换为打印文本和/或渲染为数字笔迹元素(例如，作为文档物体呈现的矢量图形元素)。来自不同作者的文本可以被分配到数字文档文件104的不同层，使得用户设备可以例如响应于用户选择(例如，通过在后续段落中更详细地讨论的AR场景中的一个或多个UI元素)来显示和/或隐藏来自一个或多个作者的文本。类似地，翻译模块可以为OCR模块提供语言支持，以例如根据用户设备102中的用户设备的用户的一个或多个偏好来生成和/或识别数字文档文件104中的打印文本和/或笔迹的翻译。例如，翻译模块可以由移动应用服务器托管，并且可以为用户设备102生成多个翻译，其中，用户设备102与具有多个不同语言偏好的用户相关联。附加地和/或可选地，用户设备102中的每个用户设备可以包括翻译器模块的实例，用于在不参考移动应用服务器的情况下翻译数字文档文件104。

在一些实施例中，用户设备和/或移动应用服务器生成AR场景140以将数字文档文件104呈现为AR投影。具体地，用户设备102和/或移动应用服务器可以生成和/或呈现AR场景140，其中，一个或多个AR元素覆盖在用户设备102中的每个相应用户设备周围的环境的摄像头视场上。例如，用户设备110可如上所述从物理文档120准备数字文档文件104，可以从数字文档文件104生成AR文件152。在一些实施例中，AR文件可以包括可编辑文本文档，该可编辑文本文档被编码以可视化为三维(three dimensional，3D)环境中的投影。使用AR文件152，用户设备110可以生成和/或呈现AR场景140，该AR场景140包括虚拟平面150，在虚拟平面150上可以呈现AR文件152的全息投影。在一些实施例中，AR文件152可以呈现为在用户设备的环境中的物体的表面上的投影。例如，虚拟平面150可以平行于物体(例如，桌面、墙壁、门等)的平坦表面，使得AR文件152可以呈现为虚拟平面150上的2D投影，其视角被调整为与AR场景140中确定的一个或多个消失点对齐。如参考图2更详细地描述的，在生成和呈现AR场景140及其元素中所涉及的识别物体、确定一个或多个消失点、呈现AR文件152、调整AR文件152、以及其他处理可由AR生成模块来完成，由此，用户设备(例如，用户设备102)可以生成摄像头姿势、坐标映射，并且可以确定用户设备的环境中的物体的一个或多个特征。例如，可以在其中提供AR场景140的房间可以包括多个物体(例如，桌子、椅子、墙壁等)。用户设备102中的AR生成模块可以检测和追踪多个物体的一个或多个特征，例如使用边缘检测来辨别多个物体的轮廓。根据特征数据，AR生成模块可以确定坐标图，该坐标图定义和/或描绘AR场景140中的一个或多个平坦表面，使得AR生成模块处理边缘以确定一个或多个消失点。AR生成模块可以使用消失点数据和特征数据确定调整因子，调整因子用于在AR场景140中投影图像，以使图像看起来像是AR场景140的3D环境中的真实物体。

在一些实施例中，在AR场景140中投影的AR文件152包括文本编辑和/或注释功能，由此，呈现AR场景140的用户设备的用户可以将注释156和/或修改154引入到AR场景140中呈现的文本中。在一些实施例中，修改154和注释156可以由用户设备接收，作为从对用户设备102的用户的手势的图像识别生成的数据。例如，用户设备可以识别用户设备的用户的指尖的动作，并且可以向AR场景140中投影的AR文件154引入修改154和/或注释156。在一些实施例中，当在虚拟平面150的边界的给定距离内沿垂直于虚拟平面150所投影在的物体表面的方向做出手势时，可以识别该手势。例如，为了提高姿势识别的质量和准确性，用户设备的用户可能需要在与虚拟平面150所投影在的物体表面接触的情况下做出修改姿势。在一些实施例中，如参考图4更详细地描述的，手势和/或工具可用于多个不同类型的修改154。例如，指尖姿势可用于添加注释156，而张开手挥舞的动作可用于擦除注释156。

为了促进用户交互，AR场景140可以包括呈现为覆盖在用户设备的3D环境上的UI元素的视听通信元素160。用户设备可以使用由AR生成模块实现的视听通信应用来生成和/或呈现视听通信元素160。在一些实施例中，视听通信模块与AR生成模块分离，并且由用户设备和/或移动应用服务器实现。例如，用户设备可以通过语音聊天162平台和/或视频聊天164平台实现多方通信。通过语音聊天162和视频聊天164发送和/或接收的通信可以通过移动应用服务器和/或直接从一个用户设备传输到另一用户设备(例如，通过蓝牙连接)。如参考图3更详细地描述的，通过实现多个AR场景，数字文档文件104可以由多个用户设备实时编辑。

可以更新AR文件152以包括修改154和/或注释作为数字标记。例如，如果实现AR场景140的用户设备的用户做出由用户设备识别为向AR文件152添加修改154的姿势(例如，在虚拟平面150中移动指尖或工具)，则AR生成模块可以修改AR文件152以包括修改154的可视化。该可视化可以包括但不限于可缩放矢量图像物体(描绘从上述姿势识别的修改154)、位图图像(描绘嵌入在AR文件152中作为图像物体的修改154)等。在一些实施例中，AR生成模块可以通过将修改154转换为可编辑文本插入164来生成和/或呈现更新的AR文件161，例如，通过将笔迹转换为打印(包括语言识别、翻译和渲染)来生成可编辑文本插入164。类似地，在更新的AR文件161的页面中，可以将注释156转换为在注释156的位置处插入的可编辑文本或物体166。可以通过用更新的AR文件161更新AR文件152的呈现来在AR场景140中反映这些改变。在一些实施例中，将作为笔迹或可编辑文本的修改154和注释156结合到更新的数字文档文件中，该更新的数字文档文件被存储到数据存储170中，例如，如参考图2更详细地描述的，存储在设备存储器172上或通过内容网络174存储。这样，用户设备的用户可以通过AR场景140编辑数字文档文件。

在一些实施例中，可以基于用户设备的用户标识符和/或基于用户设备102中的用户设备的标识符来限制访问数字文档文件的各部分。例如，在使用协作编辑应用的团队中，用户设备的用户可以被分配具体角色，以编辑涵盖多个分配的文档(例如，为用户分配了部分或子部分的团队报告)。在一些实施例中，AR文件152可以允许用户查看AR文件152的所有部分，但AR文件152可以不接受用户在没有编辑权限的部分中对AR文件152进行的修改或注释行为。类似地，AR文件152可以是限制查看的，其中，用户必须被授权才能查看AR场景140中的AR文件152的各部分。在一些实施例中，用户设备102的用户可以实时锁定和解锁AR文件152的各部分(例如，AR场景140可包括用于锁定和/或解锁AR文件152的各部分的用户界面元素)。

图2是示出根据本公开的实施例的用于在AR环境中进行协作文档编辑的系统的示例系统架构的图。在图2中，用户设备202可以与至少包括移动应用服务器204的多个其他组件通信。移动应用服务器204可以执行安装在用户设备上的移动应用所需的处理功能的至少一部分。用户设备202可以是参考图1描述的用户设备102的示例。

用户设备202可以是能够提供本文描述的能力的至少一部分的任何合适的电子设备。具体地，用户设备202可以是能够呈现增强现实(AR)场景的任何电子设备，该AR场景包括覆盖在用户设备202的真实世界环境的视场上的一个或多个AR特征。在一些实施例中，用户设备能够与另一电子设备(例如，移动应用服务器204)建立通信会话，并向该电子设备发送数据或从该电子设备接收数据。用户设备可以包括用于下载和/或执行移动应用的能力。用户设备可以包括移动通信设备以及个人计算机和瘦客户端(thin-client)设备。在一些实施例中，用户设备可以包括具有与通信相关的主要功能的任何便携式电子设备。例如，用户设备可以是智能手机、个人数据助理(personal data assistant，PDA)、或任何其他合适的手持设备。用户设备可以实现为自包含单元(self-contained unit)，该自包含单元具有集成在用户设备中的各种组件(例如，输入传感器、一个或多个处理器、存储器等)。在本公开中提及组件的“输出”或传感器的“输出”不一定意味着输出被传输到用户设备之外。各种组件的输出可以保留在定义用户设备的自包含单元中。

在一个说明性配置中，用户设备202可以包括至少一个存储器206和一个或多个处理单元(或处理器)208。处理器208可以适当地以硬件、计算机可执行指令、固件、或其组合来实现。处理器208的计算机可执行指令实现或固件实现可以包括以任何合适的编程语言编写的计算机可执行指令或机器可执行指令，以执行描述的各种功能。用户设备202还可以包括用于接收用户和/或环境输入的一个或多个输入传感器210。可以存在能够检测用户或环境输入的各种输入传感器210，例如加速度计、摄像器件、深度传感器、麦克风、全球定位系统(例如，GPS)接收器等。一个或多个输入传感器210可以至少包括能够生成距离图像(range image)的测距摄像器件(例如，深度传感器)，以及用于捕获图像信息的摄像器件。

出于本公开的目的，测距摄像头(例如，深度传感器)可以是用于识别物体与测距摄像头的距离的任何设备。在一些实施例中，测距摄像头可以生成距离图像(或距离图)，其中，像素值对应于该像素的检测距离。可以直接以物理单位(例如，米)给出像素值。在本公开的至少一些实施例中，3D成像系统可以采用使用结构光(structured light)来工作的测距摄像头。在使用结构光来工作的测距摄像头中，投影仪以结构图案将光投影到一个或多个物体上。上述光可以是可见范围之外(例如，红外或紫外)的光。测距摄像头可以配备一个或多个摄像器件，摄像器件用于获得具有反射图案的物体图像。然后可以基于检测到的图案中的失真来生成距离信息。应注意，上述系统可以使用任何类型合适的测距摄像头，包括那些使用立体三角测量(stereo triangulation)、激光三角测量(sheet of lighttriangulation)、飞行时间(time-of-flight)、干涉测量(interferometry)、编码孔径(coded aperture)、或任何其他合适技术进行距离检测的摄像头。

存储器206可以存储在可在处理器208上加载和执行的程序指令，以及在执行这些程序期间生成的数据。根据用户设备202的配置和类型，存储器206可以是易失性存储器(例如随机存取存储器(random access memory，RAM))和/或非易失性存储器(例如只读存储器(read-only memory，ROM)、闪存等)。用户设备202还可以包括附加存储器212，例如可移动存储器或不可移动存储器(包括但不限于磁存储器、光盘、和/或磁带存储器)。盘驱动器及其相关联的计算机可读介质可以为计算设备提供计算机可读指令、数据结构、程序模块、以及其他数据的非易失性存储。在一些实现中，存储器206可以包括多种不同类型的存储器，例如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、或ROM。更详细地考虑存储器206的内容，存储器206可以包括操作系统214和用于实现本文公开的特征的一个或多个应用程序或服务，上述应用程序或服务至少包括移动应用216。存储器206还可以包括应用数据218，应用数据218提供由移动应用216生成和/或由移动应用216消费的信息。在一些实施例中，应用数据218可以存储在数据库中。

出于本公开的目的，移动应用可以是安装在用户设备202上并从用户设备202执行的任何一组计算机可执行指令。用户设备的制造商或另一实体可以将移动应用安装在用户设备上。在一些实施例中，移动应用可以使用户设备与为移动应用216提供后端支持的移动应用服务器204建立通信会话。移动应用服务器204可以维护与特定用户设备和/或用户相关联的帐户信息。在一些实施例中，可以要求用户登录到移动应用，以访问由移动应用216提供的功能。

根据至少一些实施例，移动应用216可以用于识别用户设备202周围的环境内的物体。根据至少一些实施例，移动应用216可以接收来自输入传感器210的输出，并识别该输出内的物体或潜在物体。例如，移动应用216可以从深度传感器(例如，测距摄像头)接收深度信息(例如，距离图像)，该深度传感器例如是先前参照输入传感器210描述的深度传感器。基于该信息，移动应用216可以确定要识别的物体的边界。例如，深度信息中深度的突然变化可能指示物体的边界或轮廓。在另一示例中，移动应用216可以使用一个或多个机器视觉技术来识别物体的边界。在该示例中，移动应用216可以从摄像头输入传感器210接收图像信息，并且可以基于在图像内检测到的颜色或纹理数据的变化来识别图像信息内的潜在物体。在一些实施例中，移动应用216可以使用户设备202将从输入传感器210获得的输出发送到移动应用服务器204，移动应用服务器204随后可对该输出执行一个或多个物体识别技术。此外，移动应用216可以使用户设备202将用户设备202的当前位置以及用户设备202的方向(例如，面对)发送到移动应用服务器204。

用户设备202还可以包含使用户设备202能够与任何其他合适的电子设备通信的通信接口220。在一些实施例中，通信接口220可以使用户设备202能够与网络上(例如，专用网络上)的其他电子设备通信。例如，用户设备202可包括蓝牙无线通信模块，蓝牙无线通信模块允许用户设备与另一电子设备(例如，实现上述移动应用的不同用户设备等)通信。用户设备202还可以包括输入/输出(input/output，I/O)设备和/或端口222，例如用于实现与键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机等的连接。

在一些实施例中，用户设备202可以通过通信网络与移动应用服务器204通信。通信网络可以包括许多不同类型的网络(例如电缆网络、互联网、无线网络、蜂窝网络、以及其他专用和/或公共网络)中的任何网络或这些网络的组合。此外，通信网络可以包括多个不同的网络。例如，用户设备202可以使用无线局域网(wireless local area network，WLAN)与无线路由器通信，然后无线路由器可以通过公共网络(例如，互联网)将通信路由到移动应用服务器204。

移动应用服务器204可以是用于代表用户设备202上的移动应用216执行一个或多个计算的任何计算设备或多个计算设备。在一些实施例中，移动应用216可以与移动应用服务器204周期性通信。例如，移动应用216可以从移动应用服务器204接收更新、推送通知、或其他指令。在一些实施例中，移动应用216和移动应用服务器204可以使用专有加密和/或解密方案来保护两者之间的通信。在一些实施例中，移动应用服务器204可由在托管的计算环境中实现的一个或多个虚拟机执行。托管的计算环境可以包括一个或多个快速提供和释放的计算资源，计算资源可以包括计算设备、网络设备、和/或存储设备。托管的计算环境也可以称为云计算环境。

在一个说明性配置中，移动应用服务器204可以包括至少一个存储器224和一个或多个处理单元(或处理器)226。处理器226可以适当地以硬件、计算机可执行指令、固件、或其组合来实现。处理器226的计算机可执行指令实现或固件实现可以包括以任何合适的编程语言编写的计算机可执行指令或机器可执行指令，以执行描述的各种功能。

存储器224可以存储可在处理器226上加载和执行的程序指令，以及在执行这些程序期间生成的数据。根据移动应用服务器204的配置和类型，存储器224可以是易失性存储器(例如随机存取存储器(RAM))和/或非易失性存储器(例如只读存储器(ROM)、闪存等)。移动应用服务器204还可以包括附加存储器228，例如可移动存储器或不可移动存储器(包括但不限于磁存储器、光盘、和/或磁带存储器)。盘驱动器及其相关联的计算机可读介质可以为计算设备提供计算机可读指令、数据结构、程序模块、以及其他数据的非易失性存储。在一些实现中，存储器224可以包括多种不同类型的存储器，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、或ROM。更详细地考虑存储器224的内容，存储器224可以包括操作系统230和用于实现本文公开的特征的一个或多个应用程序或服务，上述应用程序或服务至少包括用于映射由移动应用216识别的物体表面以生成AR场景数据的模块(AR生成模块232)和/或用于管理文档数据的模块(文档管理模块234)。存储器224还可以包括帐户数据236、AR数据238、和/或文档数据库240，帐户数据236提供与由上述系统维护的用户帐户相关联的信息(例如，访问权限、许可等)，AR数据238提供与物体/用户位置有关的信息以及AR接口信息，文档数据库240提供文档文件的联网数据存储器(例如，云存储器)。在一些实施例中，帐户数据236、AR数据238、或文档数据库240中的一个或多个可以存储在数据库中。

可移动和不可移动的存储器224和附加存储器228都是计算机可读存储介质的示例。例如，计算机可读存储介质可以包括通过用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性或非易失性、可移动或不可移动介质。如本文所使用的，术语“模块”可以指由安装在移动应用服务器204上和/或从移动应用服务器204执行的计算系统(例如，处理器)执行的编程模块。移动应用服务器204还可以包含通信连接242，通信连接238允许移动应用服务器204与存储的数据库、另一计算设备或服务器、用户终端、和/或描述的系统的其他组件通信。移动应用服务器204还可以包括输入/输出(I/O)设备和/或端口244，例如用于实现与键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机等的连接。

更详细地考虑存储器224的内容，存储器224可以包括增强现实(AR)模块232、文档管理模块234、包含帐户数据236的数据库、包含AR数据238的数据库、和/或包含文档数据240的数据库。在一些实施例中，存储器224和/或AR生成模块232还可以包括通信应用模块(未示出)以实现如参考图1更详细地描述的多方通信应用。

在一些实施例中，AR生成模块232可以用于结合处理器226从用户设备202接收输入传感器数据，并识别输入传感器数据内的一个或多个物体。如上所述，系统可以使用任何合适的物体识别技术来识别输入传感器数据内的物体。在一些实施例中，AR生成模块232可以使用一个或多个技术将接收的输入传感器数据的至少一部分映射到用户设备202的环境中的物体的一个或多个表面。虽然在识别用户设备202和物体之间的距离中描述了深度传感器输出的使用，但应注意，可以使用其他技术来确定该距离。例如，AR生成模块232可以实现视觉同时定位和建图(visual simultaneous localization and mapping，vSLAM)以检测和追踪物体的特征，并根据这些特征计算输入传感器的坐标映射和输出姿势。这样，AR生成模块232可以使用接收的传感器输入数据将AR文件(例如，图1的AR文件152)映射到一个或多个物体表面上的虚拟平面(例如，图1的虚拟平面150)。在一些实施例中，AR生成模块232可以生成描述vSLAM数据的AR数据238，AR数据238可以被存储并由其他用户设备访问以在共享AR场景(例如，图3的共享AR场景340)中使用。例如，可以基于视场和由主用户设备生成的vSLAM数据来生成共享AR场景中的虚拟平面的方向、位置和视角映射。为了在第二视场中保持虚拟平面的方向，第二用户设备可以接收用于在虚拟平面中投影AR文件的AR数据238。在一些实施例中，AR生成模块232还用于提供用户界面数据，用于生成用户界面以接收用户输入，并在用户设备202的视场中呈现一个或多个界面元素(包括但不限于如参考图1更详细地描述的视听通信应用)。在一些实施例中，用户界面还用于在虚拟平面中出现姿势和目标物体运动时，识别姿势和目标物体运动以作为输入形式。

在一些实施例中，文档管理模块234可以用于结合处理器226管理文档文件和由AR生成模块232在AR场景中实现的AR文件的信息。在一些实施例中，可以参照特定帐户或用户来获得文档信息。文档管理模块234可以提供与数字文档文件相关联的AR文件，以供AR生成模块232呈现。为此，文档管理模块234可以使用用户设备202的成像传感器来如参考图1更详细地描述的从物理文档生成数字文档文件。文档管理模块234可以使用平面校正技术将物理文档的图像从倾斜透视图校正为标准矩形文档尺寸。文档管理模块234还可以使用光学字符识别、翻译、以及笔迹到文本转换技术(例如，实现为自然语言处理的形式)来识别物理文档上的文本。然后，文档管理模块234可以存储数字文档文件，并从数字文档文件生成用于在AR场景中呈现的AR文件。

文档管理模块234还可以生成、接收、以及存储文档数据240，包括但不限于在协作编辑期间进行的修改和/或注释。例如，文档数据240可以包括通过一个或多个用户输入设备做出的可编辑文本插入。文档数据240还可以包括由用户设备202通过AR接口接收的作为姿势或目标物体运动被识别的修改。文档管理模块234可以实时更新数字文档文件，生成结合最新修改和编辑的更新的数字文档文件，可以将该更新的数字文档文件提供给用户设备以用于在更新的AR场景中呈现。在一些实施例中，文档数据240可以包括元数据，元数据包括在协作编辑期间转录的聊天记录和/或评论。在一些实施例中，文档管理模块234可以接收帐户数据236，用于实现访问限制和用于限制参与协作编辑的一个或多个用户设备的编辑权限。

图3A是示出根据本公开的实施例的使用AR应用进行协作文档编辑的示例技术的图。如参考图1更详细地描述的，AR场景140可以包括AR文件在实现AR场景140的用户设备的环境中的物体的表面上的投影。为了实现协作编辑，AR场景140可以包括与同样实现AR场景的其他用户设备的其他用户的视听通信。例如，使用姿势识别或编辑工具(例如，手写笔(stylus)或其他目标物体)对AR文件做出的修改可以在用户设备之间共享，并且该修改可以在对AR场景做出的实时更新中实现。如参考图1更详细地描述的，可以使用在AR场景140中做出的修改来更新数字文档文件。

图3B是示出根据本公开的实施例的使用AR应用进行协作文档编辑的另一示例技术的另一图。在实时协作编辑系统中，第二用户设备(例如，图1的用户设备102)可以在与图3A中呈现的AR场景(例如，图3A的AR场景140)的位置不同的位置生成和/或呈现第二AR场景310。例如，生成和/或呈现第二AR场景310的用户设备的用户可以在另一城市中，或者可以在与生成图3A中呈现的AR场景的用户设备的用户相同的建筑物中的另一办公室中。在第二AR场景310中，可以在用户设备的环境中的物体的表面上(例如，在墙壁或桌面上)确定和/或定义第二虚拟平面320。虚拟平面320可以定义和/或描绘AR文件322的投影的边界，调整该投影以使其看起来像是覆盖在第二AR场景310的环境中的真实世界物体。同样类似于图3A中呈现的AR场景，第二AR场景310可以包括协作通信接口330，协作通信接口330包括参与协作文档编辑的用户之间的语音和/或视频通信。

图3C是示出根据本公开的实施例的使用AR应用进行协作文档编辑的另一示例技术的另一图。在一些实施例中，协作文档编辑可以包括用户设备的多个用户在单个位置查看AR场景。在这种情况下，共享AR场景340可以包括主用户设备346，从主用户设备346的视角来看，共享虚拟平面350定义在共享AR场景340的环境中的物体表面上。在该虚拟平面中，共享AR文件352可以被投影为看起来像是覆盖在表面上的真实物体。在共享AR场景340中，共享AR文件352可以例如通过根据主用户设备346的用户选择的位置定位，来以与主用户设备346对齐的方向出现。在一些实施例中，主用户设备346自动生成和/或呈现(例如，无需用户输入)共享虚拟平面350和共享AR文件352。

描述共享虚拟平面350的位置以及共享AR文件352的方向和/或呈现的信息可以在主用户设备346和参与共享AR场景340的附加用户设备之间共享。例如，与主用户设备346位于同一位置的从用户设备344可以接收该信息，并且可以根据主用户设备346的视角再现共享虚拟平面350和共享AR文件352的位置和方向。在一些实施例中，这包括第二用户设备344可以查看作为面向主用户设备346的文档的共享AR文件352，就好像共享AR文件352是放置在主用户设备346的用户之前的表面上的物理文档一样。

在一些实施例中，共享AR文件352可以投影在垂直平面上(例如，图3B的虚拟平面320)，使得多个用户设备可以在同一方向上从多个不同的视角来查看共享AR文件352。为此，参与共享AR场景340的每个用户设备可以基于在共享环境中检测和追踪的相同特征集来调整共享AR文件352的呈现以匹配不同的坐标图。作为实时协作编辑的一部分，一个或多个用户342可在位于分离和/或远程环境时提供和/或接收更新和文档修改，生成单独的AR场景，例如一个环境中的单独的垂直AR场景354和/或不同环境中的单独的水平AR场景356，由此每个AR场景根据各自的方向、位置、以及视角呈现更新的AR文件。

图4描绘了根据本公开的实施例的对包括AR特征的文档进行协作编辑的技术400的说明性示例。如参考图1更详细地描述的，在AR场景中(例如，图1的AR场景140、图3的共享AR场景340)，AR文件410可以由参与的协作编辑的多个用户编辑。协作编辑可以包括实现AR生成模块的用户设备使用手势和/或目标物体识别做出的修改412和注释414。在一些实施例中，可以例如通过将修改412转换为在更新的AR文件420中呈现的可编辑文本422，来实时更新AR文件410以包括编辑。可以通过进一步的编辑来修改更新的AR文件420，上述编辑例如是指示将从更新的AR文件420中表示的数字文档文件(例如，图1的数字文档文件104)中移除424一行的手势。可以通过例如AR文件中的标记426来示出上述移除编辑424。

在一些实施例中，可以将AR特征432添加到AR文件和/或更新的AR文件420以提供动态AR文件430。AR特征432可以包括动画AR元素，呈现AR元素以使得这些AR元素在AR场景中看起来像是动态AR文件430的所呈现在的虚拟平面(例如图1的虚拟平面150)之外的物理物体。例如，AR特征432可以包括作为评论标志的用户图标或徽章，用户图标或徽章在动态AR文件430的平面之外并在动态AR文件430上投射阴影。在一些实施例中，可以将AR特征432转换为平坦AR文件440中的图形元素442。平坦AR文件440可以包括AR特征432的平面透视形式，例如包括动态元素(例如，动画)，但在AR场景中看起来不像是虚拟平面之外的真实物体。

图5是示出根据本公开的实施例的使用AR应用进行协作文档编辑的方法500的简化流程图。结合作为本文描述的计算机系统的示例的计算机系统来描述该流程。流程的一些或全部操作可以通过计算机系统上的特定硬件实现和/或可以实现为存储在计算机系统的非暂时性计算机可读介质上的计算机可读指令。存储的计算机可读指令表示可编程模块，可编程模块包括可由计算机系统的处理器执行的代码。这种指令的执行将计算机系统配置为执行相应的操作。与处理器结合的每个可编程模块代表用于执行相应操作的装置。虽然以特定顺序说明操作，但应理解，特定顺序不是必须的并且可以省略、跳过和/或重新排序一个或多个操作。

方法500包括获得文档文件(502)。如参考图1更详细地描述的，文档文件可以包括数字文档文件(例如，图1的数字文档文件104)，包括但不限于被编码以在计算机系统上呈现和/或编辑的文本文档或便携式文档格式。可选地，获得文档包括例如使用与计算机系统(例如，图1的用户设备102和/或图2的移动应用服务器204)通信的摄像头获得物理文档(例如，图1的物理文档120)的图像。可选地，获得文档还包括使用物理文档的图像生成可编辑文档格式的文档文件。如参考图1更详细地描述的，这可以包括实现图像处理应用以调整在物理文档的图像中描绘的文本和书写的形状，并且还可以包括光学字符识别以生成可编辑文档。可选地，获得文档还包括生成新的(空的)文档文件。在一些实施例中，当物理文档包括手写笔迹或多种字体类型或文本样式时，该方法还包括将打印文本转换为可编辑文本数据，并将手写笔迹转换为注释数据。如参考图1更详细地描述的，注释数据可以包括嵌入在数字文档文件中的图像物体。

该方法还包括将数字文档文件转换为AR格式文件(504)。如参考图更详细地描述的，AR格式文件(例如，图1的AR文件152)可以包括数字文档文件，该数字文档文件以某种格式被编码以呈现为覆盖在计算机系统的环境中。例如，该数字文档文件可以被编码以可视化为在计算机系统的用户的视场中占据空间的虚拟物体，该虚拟物体遮挡了用户的三维环境。

该方法还包括在具有用户界面的AR场景中呈现AR格式文件(506)。如参考图1更详细地描述的，AR场景(例如，图1的AR场景140)可以包括识别用户环境中的真实物体表面上的虚拟平面(例如，图1的虚拟平面150)，AR文件投影在该虚拟平面上。可选地，用户设备可以使用由移动应用服务器生成的AR场景数据来呈现AR场景。可选地，移动应用服务器将AR场景数据提供给用户设备以呈现AR场景。或者，用户设备可以生成AR场景数据。可选地，AR场景数据包括计算机可读指令，计算机可读指令用于使用与第一用户设备的真实世界环境相关联的特征追踪数据、坐标图、以及姿势数据来调整AR文件以在AR场景中呈现。例如，如参考图3更详细地描述的，主用户设备可以确定虚拟平面的位置和方位以及共享AR场景中AR文件的可视化，其中，多个用户设备根据单个方向从多个不同的视角查看AR文件。例如，主用户设备可以使用该用户设备相对于环境中的其他用户设备的位置和定位数据来确定物体的位置和方向。类似地，特征追踪数据可以在用户设备之间共享，以定义公共坐标图，基于该公共坐标图，可以调整AR文件的可视化以针对不同的视场或视角进行校正。可选地，不同的虚拟平面、AR文件的可视化、以及AR特征可以通过不同物理位置中的用户设备的不同AR数据集引入。例如，当两个用户设备位于不同的物理位置时，可能不存在基于环境中特征的公共坐标系，因此可以定义不同的虚拟平面。在这种情况下，每个用户设备的特征追踪、坐标映射、以及姿势数据将用于确定AR文件在单独的AR场景中的位置和方向。可选地，用户界面包括双向通信应用(例如，群组聊天)，双向通信应用包括音频通信和视觉通信。附加地和/或可选地，如参考图1更详细地描述的，用户界面可以包括姿势输入和/或目标物体识别。

该方法还包括从一个或多个源接收文档修改数据(508)。如参考图1更详细地描述的，文档修改数据可以包括但不限于计算机系统通过用户界面元素接收的修改、注释、文本编辑等。例如，虚拟平面中使用指尖注释AR文件的手势可以被接收为对AR文件的修改。类似地，目标物体(例如，手写笔、钢笔、铅笔等)的使用可以被识别为编辑工具。可选地，文档修改数据可以从数据存储(例如，图1的存储器170)接收和/或通过直接通信方法(例如，蓝牙)或网络从不同的用户设备接收。

该方法还包括将文档修改数据转换为数字文本(510)。这涉及将文档修改数据中包括的手写文本转换为数字文本，以及将(例如，用另一应用制作的)草图、图表、或其他说明性表示转换为该数据的数字表示。如参考图1和图4更详细地描述的，方法500可以包括多个用户设备的多个用户通过一个或多个物理位置中的AR场景的多个实例来进行数字文档文件的协作编辑。在一些实施例中，方法500包括通过多个用户设备中的用户设备的用户界面接收的文档修改数据实时更新数字文档文件，以结合在AR场景中呈现的AR文件的修改、注释、编辑等。实时更新可以包括为在AR场景中呈现AR文件的每个用户设备提供更新的AR文件。实时更新可以包括在做出编辑时用这些编辑更新数字文档文件(512)。该方法还包括在AR场景中呈现更新的文件，作为更新的AR场景的一部分(514)。通过实时提供AR文件的更新的可视化数据，协作编辑可以包括修改、注释、以及后续编辑。该方法还包括存储更新的文档文件(516)。在一些实施例中，计算机系统与数据存储和/或分布式存储网络(例如，云存储系统)通信，其中，可以存储更新的数字文档文件。这样，更新的数字文档文件可用于提供给附加的计算机系统，以用于协作编辑或用于其他目的(例如，发布)。

应理解，图5所示的特定步骤提供了根据本公开的实施例的通过增强现实环境进行协作文档编辑的特定方法。如上所述，也可以根据替代实施例执行其他步骤顺序。例如，本公开的替代实施例可以以不同的顺序执行上面概述的步骤。此外，图5所示的各个步骤可以包括多个子步骤，这些子步骤可以以适用于各个步骤的各种序列执行。此外，可以根据特定应用添加或删除附加步骤。本领域普通技术人员将认识到许多变化、修改、以及替代方案。

图6示出了根据特定实施例的计算机系统600的组件的示例。计算机系统600是上文描述的计算机系统的示例。虽然这些组件被示为属于同一计算机系统600，但是计算机系统600也可以是分布式的。

计算机系统600至少包括处理器602、存储器604、存储设备606、输入/输出外围设备(I/O)608、通信外围设备610、以及接口总线612。接口总线612用于在计算机系统600的各个组件之间通信、发送、以及传送数据、控制、以及命令。存储器604和存储设备606包括计算机可读存储介质，例如RAM、ROM、电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory，EEPROM)、硬盘驱动器、CD-ROM、光存储设备、磁存储设备、电子非易失性计算机存储器(例如

存储器)、以及其他有形存储介质。任何这样的计算机可读存储介质可以用于存储实现本公开各方面的指令或程序代码。存储器604和存储设备606还包括计算机可读信号介质。计算机可读信号介质包括传播的数据信号，其中包含计算机可读程序代码。这种传播的信号采用多种形式中的任何一种，包括但不限于电磁、光学、或其任何组合。计算机可读信号介质包括不是计算机可读存储介质并且可以通信、传播或传输用于与计算机系统600结合使用的程序的任何计算机可读介质。

此外，存储器604包括操作系统、程序、以及应用。处理器602用于执行存储的指令，并且包括例如逻辑处理单元、微处理器、数字信号处理器、以及其他处理器。存储器604和/或处理器602可以被虚拟化并且可以在诸如云网络或数据中心的另一计算机系统内托管。I/O外围设备608包括用户接口，例如键盘、屏幕(例如触摸屏)、麦克风、扬声器、其他输入/输出设备、计算组件(例如图形处理单元、串行端口、并行端口、通用串行总线)、以及其他输入/输出外围设备。I/O外围设备608通过耦合到接口总线612的任何端口连接到处理器602。通信外围设备610用于促进计算机系统600和其他计算设备之间通过通信网络的通信，并且包括例如网络接口控制器、调制解调器、无线接口卡和有线接口卡、天线、以及其他通信外围设备。

虽然本主题已针对其特定实施例进行了详细描述，但应理解，本领域技术人员在获得对前述内容的理解后，可以容易地产生对这样的实施例的改变、变化和等同物。因此，应理解，本公开是为了示例而非限制的目的而呈现的，并且不排除包括对于普通技术人员来说是显而易见的对本主题的这种修改、变化和/或添加。实际上，本文描述的方法和系统可以以多种其他形式实施；此外，在不背离本公开的精神的情况下，可以对本文描述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等价物旨在覆盖落入本公开的范围和精神内的此类形式或修改。

除非另有明确说明，否则应了解，贯穿本说明书的讨论使用诸如“处理”、“计算”、“运算”、“确定”和“识别”等术语是指计算设备(例如一个或多个计算机或类似的电子计算设备)的动作或过程，计算设备在计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备中操纵或转换表示为物理电子或磁量的数据。

本文讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入为条件的结果的任何合适的组件布置。合适的计算设备包括访问存储的软件的基于微处理器的多用途计算机系统，该软件将计算机系统从通用计算装置编程或配置为实现本主题的一个或多个实施例的专用计算装置。任何合适的编程、脚本或其他类型的语言或语言的组合可用于在用于编程或配置计算设备的软件中实施本文中包含的教导。

本文公开的方法的实施例可以在这样的计算设备的操作中执行。以上示例中呈现的框的顺序可以改变——例如，框可以被重新排序、组合和/或分解成子框。某些框或过程可以并行执行。

本文使用的条件性语言，例如“可以”、“可能”、“例如”等，除非另有明确说明，或在所使用的上下文中以其他方式理解，通常旨在传达某些示例包括而其他示例不包括某些特征、元素和/或步骤。因此，这种条件性语言通常并不意味着一个或多个示例以任何方式需要特征、元素和/或步骤，或者一个或多个示例必须包括用于在有或没有作者输入或提示的情况下决定是否包括或将在任何特定示例中执行这些特征、元素和/或步骤的逻辑。

术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包容性地使用，并且不排除其他元素、特征、动作、操作等。此外，术语“或”以其包容性(而不是排他性)使用，从而当例如用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。此处使用的“适用于”或“用于”是指开放和包容性的语言，不排除适用于或用于执行附加任务或步骤的设备。此外，“基于”的使用意味着开放和包容，因为“基于”一个或多个列举的条件或值的过程、步骤、计算或其他动作实际上可以基于列举的之外的附加条件或值。类似地，“至少部分基于”的使用意味着开放和包容，因为“至少部分基于”一个或多个列举的条件或值的过程、步骤、计算或其他动作在实践中可以基于列举的附加条件或值。本文包括的标题、列表和编号仅是为了便于解释，并不意味着限制。

上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合使用。所有可能的组合和子组合旨在落入本公开的范围内。此外，在一些实施方式中可以省略某些方法或过程框。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的框或状态可以以其他适当的顺序来执行。例如，所描述的框或状态可以以不同于具体公开的顺序执行，或者多个框或状态可以组合在单个框或状态中。示例框或状态可以串行、并行或以某种其他方式执行。可以将框或状态添加到公开的示例中或从公开的示例中删除。类似地，本文描述的示例系统和组件可以被配置为与所描述的不同。例如，与公开的示例相比，可以添加、移除、或重新排列元素。

Claims (20)

1.一种计算机系统实现的方法，所述方法用于在增强现实(AR)环境中进行协作文档编辑，所述方法包括：

所述计算机系统获得文档文件；

所述计算机系统使用所述文档文件生成AR文件；

所述计算机系统提供：

AR场景数据，从所述AR场景数据生成的AR场景用于在所述AR场景中呈现设置在真实世界物体的表面上的所述AR文件；以及

用户界面，包括一个或多个交互元素，所述一个或多个交互元素用于接收用户交互；

所述计算机系统接收文档修改数据；

所述计算机系统将所述文档修改数据转换为数字信息；

所述计算机系统使用所述数字信息提供更新的AR文件；

所述计算机系统使用所述更新的AR文件更新所述AR场景数据；

所述计算机系统使用所述更新的AR文件生成更新的文档文件；以及

所述计算机系统将所述更新的文档文件存储在数据存储中。

2.根据权利要求1所述的方法，其中，获得文档文件包括：

所述计算机系统获得包括打印文本的物理文档的图像；以及

所述计算机系统使用所述物理文档的所述图像生成可编辑文档格式的文档文件。

3.根据权利要求2所述的方法，其中，所述物理文档还包括笔迹，并且其中，生成可编辑文档格式的文档文件还包括：

将所述物理文档的所述图像的打印文本转换为可编辑文本数据；以及

将所述物理文档的所述图像的笔迹转换为注释数据。

4.根据权利要求1所述的方法，其中，所述AR文件包括被编码以在所述AR场景的三维(3D)环境中可视化的可编辑文本文档。

5.根据权利要求1所述的方法，其中，所述AR场景数据包括计算机可读指令，所述计算机可读指令用于使用与第一用户设备的真实世界环境相关联的特征追踪数据、坐标图、以及姿势数据来调整所述AR文件以在所述AR场景中呈现。

6.根据权利要求5所述的方法，其中，提供AR场景数据包括向多个用户设备提供多个AR场景数据集，并且其中，所述多个用户设备中的每个用户设备调整所述AR文件以在所述多个用户设备中的每个用户设备的相应AR场景中呈现。

7.根据权利要求6所述的方法，其中：

所述多个用户设备中的第二用户设备位于与所述第一用户设备的所述真实世界环境不同的真实世界环境中；以及

所述AR场景数据包括计算机可读指令，所述计算机可读指令用于使用与所述不同的真实世界环境相关联的特征追踪数据、坐标图、以及姿势数据来调整所述AR文件以在所述AR场景中呈现。

8.根据权利要求6所述的方法，其中，所述多个用户设备中的一个或多个用户设备位于所述第一用户设备的所述真实世界环境中，使得所述多个用户设备中的所述一个或多个用户设备使用由所述第一用户设备确定的方向来调整所述AR文件以在所述AR场景中呈现。

9.根据权利要求1所述的方法，其中，所述一个或多个交互元素包括双向视听通信应用。

10.根据权利要求1所述的方法，其中，所述用户交互包括与所述AR场景中呈现的所述AR文件相关联的手势或目标物体交互中的至少一个。

11.根据权利要求10所述的方法，其中，接收文档修改数据包括：

所述计算机系统通过所述用户界面接收所述用户交互；以及

所述计算机系统从内容网络或数据存储中的至少一个接收与所述文档文件相关联的文档编辑数据，其中，所述文档编辑数据由多个用户设备生成。

12.一种系统，包括：

处理器；以及

存储器，包括指令，当由所述处理器执行时，所述指令使所述系统至少：

获得文档文件；

使用所述文档文件生成AR文件；

提供：

AR场景数据，从所述AR场景数据生成的AR场景用于在所述AR场景中呈现设置在真实世界物体的表面上的所述AR文件；以及

用户界面，包括一个或多个交互元素，所述一个或多个交互元素用于接收用户交互；

接收文档修改数据；

将所述文档修改数据转换为数字信息；

使用所述数字信息提供更新的AR文件；

使用所述更新的AR文件更新所述AR场景数据；

使用所述更新的AR文件生成更新的文档文件；以及

将所述更新的文档文件存储在数据存储中。

13.根据权利要求12所述的系统，其中，获得文档文件包括：

获得包括打印文本的物理文档的图像；以及

使用所述物理文档的所述图像生成可编辑文档格式的文档文件。

14.根据权利要求12所述的系统，其中，所述AR场景数据包括计算机可读指令，所述计算机可读指令用于使用与第一用户设备的真实世界环境相关联的特征追踪数据、坐标图、以及姿势数据来调整所述AR文件以在所述AR场景中呈现。

15.根据权利要求14所述的系统，其中，提供AR场景数据包括向多个用户设备提供多个AR场景数据集，并且其中，所述多个用户设备中的每个用户设备调整所述AR文件以在所述多个用户设备中的每个用户设备的相应AR场景中呈现。

16.根据权利要求15所述的系统，其中：

所述多个用户设备中的第二用户设备位于与所述第一用户设备的所述真实世界环境不同的真实世界环境中；以及

所述AR场景数据包括计算机可读指令，所述计算机可读指令用于使用与所述不同的真实世界环境相关联的特征追踪数据、坐标图、以及姿势数据来调整所述AR文件以在所述AR场景中呈现。

17.根据权利要求15所述的系统，其中，所述多个用户设备中的一个或多个用户设备位于所述第一用户设备的所述真实世界环境中，使得所述多个用户设备中的所述一个或多个用户设备使用由所述第一用户设备确定的方向来调整所述AR文件以在所述AR场景中呈现。

18.一种非暂时性计算机可读介质，存储特定计算机可执行指令，当由处理器执行时，所述指令使计算机系统至少：

获得文档文件；

使用所述文档文件生成AR文件；

提供：

AR场景数据，从所述AR场景数据生成的AR场景用于在所述AR场景中呈现设置在真实世界物体的表面上的所述AR文件；以及

用户界面，包括一个或多个交互元素，所述一个或多个交互元素用于接收用户交互；

接收文档修改数据；

将所述文档修改数据转换为数字信息；

使用所述数字信息提供更新的AR文件；

使用所述更新的AR文件更新所述AR场景数据；

使用所述更新的AR文件生成更新的文档文件；以及

将所述更新的文档文件存储在数据存储中。

19.根据权利要求18所述的非暂时性计算机可读介质，其中，获得文档文件包括：

获得包括打印文本的物理文档的图像；以及

使用所述物理文档的所述图像生成可编辑文档格式的文档文件。

20.根据权利要求18所述的非暂时性计算机可读介质，其中，所述AR场景数据包括计算机可读指令，所述计算机可读指令用于使用与第一用户设备的真实世界环境相关联的特征追踪数据、坐标图、以及姿势数据来调整所述AR文件以在所述AR场景中呈现。

Images