CN109643212B - 3d文档编辑系统 - Google Patents

Abstract

本发明公开了一种包括虚拟现实和/或增强现实设备以及实现用于检测由用户做出的手势的感测技术的输入设备(例如，键盘)的3D文档编辑系统和图形用户界面(GUI)。使用该系统，文档的各个部分可被放置在或移动到由VR设备提供的3D虚拟空间中的各种Z深度处，以在文档中提供3D效果。该感测技术可允许用户当经由小键盘输入文本时做出手势，从而允许用户在打字时指定文档中的3D效果。该系统还可监测使用小键盘所作的条目，将规则应用于条目以检测特定类型的条目诸如URL，以及在Z轴上相对于文档中的其余内容向前或向后自动移位所检测到的类型的条目。

Description

3D文档编辑系统

技术领域

本公开的实施例总体涉及电子系统，并且更具体而言，涉及用于对3D文档进行编辑的电子系统。

背景技术

用于文本生成和编辑系统的常规图形用户界面(GUI)在二维(2D)空间(例如，2D屏幕或屏幕上的页面)中工作。使用这些GUI突出显示文本的区域或部分通常涉及在2D中添加一些效果，诸如粗体或斜体文本、下划线或着色。虚拟现实(VR)允许用户体验和/或与沉浸式人工三维(3D)环境交互。例如，VR系统可向用户显示立体场景以便创建深度幻觉，并且计算机可实时调整场景内容以提供用户在场景内交互的错觉。类似地，增强现实(AR)和混合现实(MR)将计算机生成的信息与现实世界的视图相结合，以增强用户对其环境的视图或向其添加内容。VR的模拟环境和/或AR/MR的增强内容可因此用于为多个应用程序提供交互式用户体验，诸如与虚拟训练环境、游戏、远程控制无人机或其他机械系统交互，查看数字媒体内容，与互联网交互等。

常规VR、AR和MR系统可允许内容消费者在3D环境中查看内容并与其交互。常规VR系统可提供允许VR内容创建者创建和编辑3D对象的工具和应用程序，并且可提供具有常规2D GUI的文本生成和编辑系统，其允许内容创建者生成可附加到3D对象的文本内容。然而，这些常规VR系统通常不提供具有GUI的文本生成和编辑系统，该GUI允许内容创建者在VR3D环境中生成和编辑具有3D效果的文本。

发明内容

用于为3D虚拟视图空间中的文本内容生成和编辑具有三维(3D)效果的文档的方法和设备的各种实施方案。描述了3D文档编辑系统、方法和图形用户界面(GUI)的实施方案，其可包括虚拟现实(VR)设备，诸如用于在3D虚拟空间中显示文档的VR头戴式耳机、头盔、护目镜或眼镜，以及用于输入和编辑文档中的文本或其他内容并且包括用于检测由用户所作的手势的感测技术的输入设备(例如，键盘)。VR设备和输入设备可经由有线或无线(例如，蓝牙)连接来耦接。VR设备可被配置为在虚拟空间中显示3D文本生成和编辑GUI，该虚拟空间包括用于经由输入设备的小键盘输入或编辑文档中的文本的虚拟屏幕。与常规2D图形用户界面不同，使用3D文档编辑系统的实施方案，文档的文本区域或文本字段可被放置在或移动到3D虚拟空间中的各种Z深度处。输入设备(例如，键盘)可包括感测技术，例如键盘上的运动、触摸和/或压力感测区域，用于检测用户的手势，例如在感测区域上或附近时的用户的拇指的运动。VR设备可通过感测技术检测用户做出的手势，并且作为响应，可根据检测到的手势在3D虚拟空间中的Z轴上相对于文档的其余部分向前或向后移动文档中的所选内容(例如，字词、段落、区段、列、句子、文本框、统一资源定位符(URL)或其他活动文本等)。键盘的感测技术可被配置为允许用户在经由键盘输入文本时做出手势，从而允许用户在键入时向文本提供3D效果。

在一些实施方案中，手势可包括在3D空间中的Z轴上相对于文档向前移动文档的区域(例如，段落、区段、列、文本字段、文本框等)的手势(例如，在键盘的感测区域上向下移动两个拇指)。在一些实施方案中，手势可包括在3D空间中的Z轴上相对于文档向后移动文档的区域的手势(例如，将两个拇指向上移动到感应区域)。在一些实施方案中，手势可包括在3D空间中的Z轴上相对于文档的其他内容向前移动文档中的一部分文本(例如，统一资源定位符(URL)、句子、字词、题目或标题等)的手势(例如，在感测区域上向下移动一个拇指)。在一些实施方案中，手势可包括相对于文档的其他内容向后移动文档中的一部分文本的手势(例如，在感测区域上向上移动一个拇指)。

在一些实施方案中，VR设备可代替或者也监测使用键盘的小键盘进行的文本输入，将规则应用于文本条目以确定特定类型的文本项，例诸如URL，以及在Z轴上相对于文档中的其余内容向前或向后自动移动特定种类的文本项(例如，URL)。

在一些实施方案中，使用3D文本编辑系统生成的文档可经由VR设备显示给3D虚拟空间中的内容消费者，将文档的某些部分(例如，段落、文本框、URL、句子、字词、区段、列等)在Z轴上相对于文档中的其余内容向后或向前移动，以突出显示或区分文档的这些部分。例如，活动文本字段或之热链接诸如URL可相对于文档中的其他内容向前移动，使得它们更可见并且消费者在3D虚拟空间中使用设备诸如控制器或手势更容易访问它们。

在一些实施方案中，VR设备还可通过将计算机生成的信息与用户环境的视图相结合来增强用户的世界视图或者添加内容到用户的世界视图以提供增强现实(AR)或混合现实(MR)。在这些实施方案中，3D文本生成和编辑GUI可显示在用户环境的AR或MR视图中。

附图说明

图1A示出了根据一些实施方案的3D文档编辑系统。

图1B示出了根据一些实施方案的3D文档查看系统。

图2A至2C示出了根据一些实施方案的响应于用户手势在Z轴上相对于3D虚拟空间中的文档向前或向后移动文本区域。

图3A至3C示出了根据一些实施方案的响应于用户手势在Z轴上相对于3D虚拟空间中文档中的其他内容向前或向后移动文本区域。

图4A和4B为根据一些实施方案的用于响应于用户手势在Z轴上相对于文档向前或向后移动文本内容的方法的流程图。

图5为根据一些实施方案的用于响应于用户文本输入在Z轴上相对于文档向前或向后自动移动文本内容的示例方法的流程图。

图6为示出根据一些实施方案的3D文档编辑系统的部件的框图。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”。该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的设备”此类权利要求不排除该设备包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”。如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或者”当在权利要求中使用时，术语“或”被用作为包含性的“或”而不是排他性的“或”。例如，短语“x，y或z中的至少一者”表示x，y和z中的任何一者，以及它们的任何组合。

具体实施方式

用于3D虚拟视图空间中的文本内容来生成和编辑具有三维(3D)效果的文档的方法和设备的各种实施方案。描述了3D文档编辑系统、方法和图形用户界面(GUI)的实施方案，其可包括虚拟现实(VR)设备，诸如用于在3D虚拟空间中显示文档的VR头戴式耳机、头盔、护目镜或眼镜，以及用于输入和编辑文档中的文本或其他内容并且包括用于检测由用户所作的手势的感测技术的输入设备(例如，键盘)。与常规2D图形用户界面不同，使用3D文档编辑系统的实施方案，文档的文本区域或文本字段可被放置在或移动到3D虚拟空间中的各种Z深度处，以为文档中的文本区域或部分提供3D效果。感测技术可允许用户在通经由小键盘输入文本时做出手势，从而允许用户在键入时为文本区域或字段(段落、文本框、区段、列等)或文本部分(句子、字词、URL等)指定3D效果。在一些实施方案中，VR设备可代替或者也监测使用键盘的小键盘进行的文本输入，将规则应用于文本条目以确定特定类型的文本项，诸如URL，以及在Z轴上相对于文档中的其余内容向前或向后自动移动特定种类的文本项(例如，URL)。

在一些实施方案中，使用3D文本编辑系统生成的文档可经由VR设备显示给3D虚拟空间中的内容消费者，在Z轴上相对于文档中的其余内容向后或向前移动文档的某些部分(例如，段落、区段、列、文本框、URL等)，以突出显示或区分文档的这些部分。例如，活动文本字段或热链接诸如URL可相对于文档中的其他内容向前移动，使得它们更可见并且消费者在3D虚拟空间中使用设备诸如控制器或手势更容易访问它们。

在一些实施方案中，手势可包括在3D空间中的Z轴上相对于文档向前移动文档的区域(例如，段落、区段、列、文本字段、文本框等)的手势(例如，在键盘的感测区域上向下移动两个拇指)。在一些实施方案中，手势可包括在3D空间中的Z轴上相对于文档向后移动文档的区域的手势(例如，将两个拇指向上移动到感应区域)。在一些实施方案中，手势可包括在3D空间中的Z轴上相对于文档的其他内容向前移动文档中的一部分文本(例如，URL、句子、字词、题目或标题等)的手势(例如，在感测区域上向下移动一个拇指)。在一些实施例中，手势可包括相对于文档的其他内容向后移动文档中的一部分文本的手势(例如，在感测区域上向上移动一个拇指)。虽然这些手势是以示例的方式给出的，但是在一些实施方案中用于产生这些3D效果的其他手势是支持的，和/或可支持其他手势以为文档中的文本提供其他3D效果，诸如相对于文档中的其他内容使文本的区域或一部分倾斜或旋转的手势。

如本文所用，“文本”是指可在文档中输入或编辑的任何字母数字和/或符号内容，例如使用键盘设备的小键盘(例如，常规的“QWERTY”键盘)。如本文所用，“文档”是指各种类型的文本文档中的任何一种，文档包括但不限于文本，或者更一般地，包括可包括文本内容，并且可在3D虚拟空间中输入、编辑和查看文本的图形用户界面构造(例如，窗口、框或屏幕)。可在如本文所述的3D文档编辑系统中创建或编辑的“文档”的实施例可包括但不限于：书籍、论文、表格、电子邮件消息、文本消息窗口、网页或其他网页内容、留言板帖子等等。如本文所用，“文本区域”是指文档中的任何文本分组，诸如段落、页面上的列、文档的区段、或文本字段或文本框(例如，包含文本的文档中的图形矩形或窗口)。如本文所用，“文本部分”是指文档中的任何文本字符串，诸如字词、句子或句子的一部分、短语、题目或标题、名称或活动文本字段或热链接诸如统一资源定位符(URL)。

3D文档编辑系统的实施方案可实现为独立文本生成、编辑和查看应用程序，或者可集成到其他应用程序中以为应用程序提供3D文本生成、编辑和查看功能。在一些实施方案中，VR设备还可通过将计算机生成的信息与用户环境的视图相结合来增强用户的世界视图或者添加内容到用户的世界视图以提供增强现实(AR)或混合现实(MR)。在这些实施方案中，3D文本生成和编辑GUI可在世界的AR或MR视图中显示。

图1A示出了根据一些实施方案的3D文档编辑系统10。在一些实施方案中，3D文档编辑系统10可包括虚拟现实(VR)设备100A，诸如VR头戴式耳机、头盔、护目镜或眼镜，以及输入设备(例如，键盘120)。VR设备100A和键盘120可经由有线或无线(例如，蓝牙)连接来耦接。尽管未在图1A中示出，在一些实施方案中，文档编辑系统10可包括一个或多个其他部件。例如，该系统可包括用于在3D虚拟空间102A中移动虚拟光标、选择文本或其他内容的部分或区域等等的光标控制设备(例如，鼠标)。又如，在一些实施方案中，3D文档编辑系统10可包括经由有线或无线(例如，蓝牙)连接耦接到VR设备100A和键盘120的计算设备，其实现文档编辑系统10的至少一些功能，例如处理用户对键盘120的输入，并生成要由VR设备100A在3D虚拟空间102A中显示的图像和图像内容。图6还示出了根据一些实施方案的示例3D文档编辑系统的组件。

参考图1A，VR设备100A可实现各种类型的VR投影仪系统中的任何一种。例如，VR设备100A可包括近眼VR投影仪，其在由受试者观看的屏幕上投影左图像和右图像，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术VR投影仪。又如，VR设备100A可包括直接视网膜VR投影仪，其逐个像素地将左图像和右图像直接扫描到受试者的眼睛。为了创建三维(3D)效果，两个图像中不同深度或距离的对象作为距离三角测量的函数向左或向右移动，其中更近的对象比更远的对象移动更多。

键盘120例如可是物理键盘设备，其包括键盘122，例如QWERTY键盘，用于输入字母数字文本、标点符号、符号等。键盘120还可实现感测技术，例如在键盘122的空格键正下方的区域124处，其被配置为感测由用户做出的手势，例如利用用户190A的拇指做出的动作。感测区域124可例如实现运动感测、压力/力感测或电容(触摸)感测技术中的一者或多者。在一些实施方案中，键盘120可替代地实现为数字键盘，例如显示在设备诸如pad或平板电脑的触摸屏幕上。在一些实施方案中，键盘120可替代地被实现为在3D虚拟空间102A中显示的虚拟键盘。

VR设备100A可被配置为根据由VR设备100A提供的3D文本生成和编辑GUI在3D虚拟空间102A中来显示虚拟文档110，VR设备100A允许用户190A经由键盘120的小键盘122(例如，标准QWERTY键盘)输入或编辑文档110中的文本。与常规2D图形用户界面不同，使用3D文档编辑系统10的实施方案，文档110的文本区域或文本字段可放置在或者移动到3D虚拟空间102A中的各种Z深度处。键盘120可包括感测技术，例如键盘120上的运动、触摸和/或压力的感测垫、区域或区124，用于检测用户190A的手势，例如在感测区域124上或附近的用户190A的拇指的运动。VR设备100A可经由感测区域124检测由用户190A做出的手势，并且作为响应，可根据检测到的手势，在3D虚拟空间102A中的Z轴上相对于文档110的其余部分向前(112A)或向后(112B)移动文档110中的所选内容(例如，段落、区段、列、句子、文本框、URL等)。键盘120的感测区域124可被配置为允许用户190A在经由键盘122输入文本时做出手势，从而允许用户190A在键入时将3D效果112A或112B提供给文档110中的文本区域或部分。

在一些实施方案中，手势可包括在3D虚拟空间102A中的Z轴上相对于文档110向前移动文档110中的文本区域(例如，段落、区段、列、文本字段、文本框等)的手势(例如，在感测区域124上向下移动两个拇指)。在一些实施方案中，手势可包括在3D虚拟空间102A中的Z轴上相对于文档110向后移动文档110的区域的手势(例如，在感测区域124上向上移动两个拇指)。在一些实施方案中，手势可包括在3D虚拟空间102A中的Z轴上相对于文档110的其他内容向前移动文档110中的文本的一部分(例如，URL、句子、字词、题目或标题等)的手势(例如，在感测区域124上向下移动一个拇指)。在一些实施方案中，手势可包括在3D虚拟空间102A中的Z轴上相对于文档110的其他内容向后移动文档110中的文本的一部分的手势(例如，在感测区域124上向上移动一个拇指)。图2A至2C和图3A至3C进一步示出了根据一些实施方案的各种示例手势。图4A和4B描述了根据一些实施方案的用于处理添加3D效果至可在如图1A所示的3D文档编辑系统10中使用的文档110的手势的示例方法。

再次参考图1A，在一些实施方案中，VR设备100A可代替或者也监视使用键盘124的小键盘122进行的文本输入，将规则应用于输入的文本以确定特定类型的文本项诸如URL，以及在Z轴上相对于文档110中的其余内容向前或向后自动地移动特定类型的文本项(例如，URL)。图5描述了根据一些实施方案的用于处理文本输入以将3D效果添加到文档110的示例方法，该文档110可在如图1A所示的3D文档编辑系统10中使用。

在一些实施方案中，VR设备100A还可通过将计算机生成的信息与用户190A的环境的视图相结合来增强用户的世界视图或者添加内容到用户的世界视图以提供增强现实(AR)或混合现实(MR)。例如，VR设备100A可允许来自用户190A的环境的至少一些光通过用户190A的眼睛；VR设备100A同时将虚拟内容投影到用户的眼睛，从而提供用户190A的环境的AR或MR视图。另选地，VR设备100A可包括捕获环境视图的摄像机；然后，由设备100生成的虚拟内容与视频帧合成，以提供世界的AR或MR视图。在这些实施方案中，3D虚拟空间102A是AR或MR空间，并且虚拟文档110可在用户190的环境的AR或MR视图中显示。

图1B示出了根据一些实施方案的3D文档查看系统20。在一些实施方案中，使用如图1A所示的3D文档编辑系统10所生成的文档110可经由VR设备100B显示给3D虚拟空间102B中的用户190，其中文档110的部分112A和112B(例如，段落、区段、列、文本框、URL等)在Z轴上相对于文档110中的其余内容向前或向后移位，以突出显示或区分文档110的这些部分。例如，活动内容诸如URL可相对于文档110中的其他内容向前移动，使得它在3D虚拟空间102B中更加可见和更容易访问。

在一些实施方案中，3D文档查看系统20可包括虚拟现实(VR)设备100B，诸如VR头戴式耳机、头盔、护目镜或眼镜。虽然未在图1B中示出，在一些实施方案中，文档查看系统20可包括一个或多个其他部件。例如，该系统可包括用于在3D虚拟空间102B中移动虚拟光标以控制虚拟文档110的显示(例如，滚动、缩放等)的光标控制设备(例如，鼠标)。又如，在一些实施方案中，3D文档查看系统20可包括经由有线或无线(例如，蓝牙)连接耦接到VR设备100B的计算设备，其实现文档查看系统20的至少一些功能，例如，生成要由VR设备100B在3D虚拟空间102B中显示的图像和图像内容。

VR设备100B可实现为各种类型的VR系统中的任何一种。例如，VR设备100B可为近眼VR系统，其在由受试者观看的屏幕上投影左图像和右图像，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术的VR系统。又如，VR设备100B可为直接视网膜投影仪系统，其逐个像素地将左图像和右图像直接扫描到受试者的眼睛。为了创建三维(3D)效果，两个图像中不同深度或距离的对象作为距离的三角测量的函数向左或向右移动，其中更近的对象比更远的对象移动得更多。在一些实施方案中，VR设备100B可被配置为根据VR设备100B提供的允许用户190B查看文档110的3D文本查看GUI在3D虚拟空间102B中显示虚拟文档110。与常规2D图形用户界面不同，文档110的不同文本区域或文本部分112可出现在3D虚拟空间102B中的各种Z深度处。

图2A至2C和图3A至3C描述了可在3D文档编辑系统的实施方案中使用以将示例3D效果添加到文档中的文本的若干示例手势。注意，这些实施例不是限制性的。在一些实施方案中，除了所描述的那些手势之外的其他手势可用于将与所描述的那些3D效果类似的3D效果添加到文档中的文本。此外，一些实施方案可支持手势，以添加除了那些所描述的3D效果之外的3D效果到文档。

图2A至2C以图形方式示出了根据一些实施方案的响应于用户手势在Z轴上相对于3D虚拟空间中的文档向前或向后移动文本区域。如图2A所示，文档创建者和/或编辑者(用户290)可使用3D文档编辑系统的VR设备(未示出)和键盘220来查看和编辑由VR设备投影的3D虚拟空间202中的文档210。该文档可包括文本区域212(例如，段落、区段、列、文本字段、文本框等)，用户290可使用键盘220的小键盘222将文本输入到该文本区域212中。图2A示出了与在与3D虚拟空间202中的文档210相同的深度处显示的文本区域212。键盘220可包括感测区域224，其实现位于键盘222下方的运动感测、压力/力感测或电容(触摸)感测技术中的一者或多者，以便用户290的拇指可容易地访问。图2A示出了用户290的左拇指和右拇指在感测区域224中的相应接触点226处接触。

在一些实施方案中，3D文档编辑系统的GUI可支持在3D虚拟空间202中的Z轴上相对于文档210向前移动文档中的文本区域212(例如，段落、区段、列、文本字段、文本框等)的手势。图2B示出了根据一些实施方案的在Z轴上向前移动文本区域212的示例手势。如所示图2B，用户290可在感测区域224上向前或向下(远离键盘222或朝向用户)移动或滑动两个拇指以使文本区域212向前移动，使得文本区域212对3D虚拟空间202中的用户290看起来其深度比文档210的其余部分的深度更近。这可使得文本区域212看起来从文档210中脱颖而出。该手势还可用于使文本区域212处于更深的深度，直至文档210的深度。

在一些实施方案中，3D文档编辑系统的该GUI可支持在3D虚拟空间202中的Z轴上相对于文档210向后移动文档中的文本区域212(例如，段落、区段、列、文本字段、文本框等)的手势。图2C示出了根据一些实施方案的在Z轴上向后移动文本区域212的示例手势。如图2C所示，用户290可在感测区域224上向后或向上(朝向键盘222，或远离用户)移动或滑动两个拇指以向后移动文本区域212，使得文本区域212对于3D虚拟空间202中的用户290来说看起来比文档210的其余部分的深度处于更深的深度。这可能导致文本区域212看起来嵌入文档210中。该手势还可用于将处于更近深度的文本区域212移动回到文档210的深度。

图3A至3C以图形方式示出了根据一些实施方案的响应于用户手势在Z轴上相对于3D虚拟空间中的文档中的其他内容向前或向后移动文本的一部分。在Z轴上相对于文档中的其他内容向前或向后移动文本的一部分(字词、句子、URL等)允许文本部分显示在3D虚拟空间中的不同Z深度处，从而提供除了如常规2D文本生成和编辑系统中通过改变字体颜色、厚度和/或尺寸之外用于强调或突出显示文档中的文本部分的方法。

如图3A所示，文档创建者和/或编辑者(用户390)可使用3D文档编辑系统的VR设备(未示出)和键盘320来查看和编辑由VR设备投影的3D虚拟空间302中的文档310。用户390可使用键盘320的小键盘322将文本输入到文档310。例如，用户可输入文本的特定部分或单元(句子、URL等)。图3A示出了作为文本312的示例部分或单元的URL。图3A示出了在与3D虚拟空间302中的文档310相同的深度处显示的文本部分312。键盘320可包括感测区域324，其实现位于键盘322下方的运动感测、压力/力感测或电容(触摸)感测技术中的一者或多者，以便被用户390的拇指容易地访问。图3A示出了用户390的左拇指触摸感测区域324中的接触点326。

在一些实施方案中，3D文档编辑系统的GUI可支持在3D虚拟空间302中的Z轴上相对于文档310中的其他内容(例如，文本的其他部分)向前移动文档中的文本部分312(例如，URL、句子、字词、题目或标题等)的手势。图3B示出了根据一些实施方案的在Z轴上向前移动文本部分312的示例手势。如所示图3B，用户390可在感测区域324上向前或向下(远离键盘322，或朝向用户)移动或滑动一个拇指(在该实施例中为左拇指)以使文本部分312向前移动，使得文本部分312对于3D虚拟空间302中的用户390来说看起来处于比文档310中的其他内容的深度更近的深度处。这可导致文本部分312看起来从文档310中脱颖而出。该手势还可用于使文本部分312处于更深的深度，直至文档310中的其他内容的深度。

在一些实施方案中，3D文档编辑系统的GUI可支持在3D虚拟空间302中的Z轴上相对于文档210中的其他内容(例如，文本的其他部分)向后移动文档中的文本部分312(例如，URL、句子、字词、题目或标题等)的手势。图3C示出了根据一些实施方案的在Z轴上向后移动文本部分312的示例手势。如图3C所示，用户390可在感测区域324上向后或向上(朝向键盘322，或远离用户)移动或滑动一个拇指以向后移动文本部分312，使得文本部分312对于3D虚拟空间302中的用户390来说看起来比文档210中的其他内容的深度更深的深度处。这可导致文本部分312看起来嵌入文档310中。该手势还可用于将处于更近深度的文本部分312移动回到文档310中的其他内容的深度处。

图2A至2C和图3A至3C总体上描述了使用电容或触摸感测技术感测的手势，其他感测技术可单独使用或与触摸感测技术结合使用以检测手势。例如，在一些实施方案中，用户利用一个或两个拇指向下按压键盘的感测区域的压力或力可用于指示特定手势。又如，一些实施方案可实现运动感测技术，其使用相机或其他传感器来跟踪用户在感测区域中的运动(例如，一个或两个拇指的运动)并且解释用户的运动(例如，用一个或两个拇指向前或向后运动)，以检测特定手势。进一步需要注意的是，虽然总体描述了用户使用他们的拇指做出手势的实施方案，但是用户的其他手指或者他们的整个手也可用于做出手势，该手势可被3D文档编辑系统检测并解释以将各种3D效果添加到文档中的文本。

图4A和4B为根据一些实施方案的用于响应于用户手势在Z轴上相对于文档向前或向后移动文本内容的方法的流程图。图4A和图4B的方法可例如由如图1A或图6中所示的3D文档编辑系统的组件来执行。

图4A为根据一些实施方案的用于响应于用户手势在Z轴上相对于文档向前或向后移动文本内容的方法的高级流程图。如在1000处所指示的，3D文档编辑系统可向3D虚拟空间中的用户显示文档，例如如图1A、2A和3A中所示的。如1010处所指示的，3D文档编辑系统可经由键盘的小键盘(例如，QWERTY小键盘)接收到文档的文本输入并且显示文档中的文本，例如如图1A、2A和3A中所示的。如1020处所指示的，3D文档编辑系统可检测到键盘的感测区域的手势输入，例如如图2B、2C、3B和3C中所示的。如1030处所指示的，3D文档编辑系统可根据检测到的手势输入在虚拟空间的Z轴上向前或向后移动文档中文本的区域或者文本的一部分，例如如图2B、2C、3B和3C中所示的。

图4B为根据一些实施方案的用于处理用户的手势以在Z轴上相对于文档向前或向后移动文本内容的方法的更详细的流程图。图4B的方法例如可在1040处的元素1030处执行，在用户使用3D文档编辑系统的感测技术检测到手势时，3D文档编辑系统可确定手势是利用一个拇指还是利用两个拇指做出的。如果使用一个拇指做出手势，则该方法转到元素1050。如果使用两个拇指做出手势，则该方法转到元素1060。

在1050处，3D文档编辑系统可确定用户使用一个拇指是做出向前手势(远离小键盘，或者朝向用户)还是向后手势(朝向小键盘，或者远离用户)。如果该手势是前向手势，则该方法继续到元素1052，并且文本的一部分(例如，字词、句子、URL等)相对于其他文档内容向前移动，如图3B中所示。如果该手势是向后手势，则方法继续到元素1054，并且文本的一部分相对于其他文档内容向后移动，如图3C中所示。

在1060处，3D文档编辑系统可确定用户使用两个拇指是做出向前手势(远离小键盘，或者朝向用户)还是向后手势(朝向小键盘，或者远离用户)。如果该手势是向前手势，则方法继续到元素1062，并且文本区域(例如，段落、区段、列、文本框等)相对于文档向前移动，如图2B中所示。如果该手势是向后手势，则方法继续到元素1064，并且文本区域相对于文档向后移动，如图2C中所示。

图5为根据一些实施方案的用于响应于用户文本输入而在Z轴上相对于文档向前或向后自动移动文本内容的示例方法的高级流程图。如1100处所指示的，3D文档编辑系统可向3D虚拟空间中的用户显示文档，例如如图1A、2A和3A中所示的。如1110处所指示的，3D文档编辑系统可接收经由键盘的小键盘到文档的输入，例如如图1A、2A和3A中所示的。如1120处所指示的，3D文档编辑系统可监测经由小键盘到文档的输入，并且可应用规则到键盘条目(例如，字母数字、标点符号和/或符号字符串)以监测特定类型的文本项，或者由规则定义的其他键盘条目(例如，URL、特定字符串、句子或短语、关键字、题目或标题、组合键、特殊字符等)。例如，一个规则可应用于字符串“http：//”(和/或其他协议标识符，例如“https：//”)，以将该字符串标识为协议标识符，从而将该文本输入识别为URL。

例如，规则的示例格式可以是：

(<rule string>,<direction>)

其中<rule string>定义与要检测的键盘条目相对应的字符串(例如，“http：//”)，并且<direction>指定Z轴上的方向(例如，向前或向后)以移动键盘条目。应用规则的示例伪代码可以是：

if(<string>contains<rule string>),move_string(<start>,<length>,<direction>)

其中mov_estring()是一个函数，它将start和length参数所标识的文本字符串在Z轴上以指定方向相对于文档中的其他文本或文档的文本区域移动。如1130处所指示的，3D文档编辑系统可检测键盘输入，该键盘输入指示由规则定义的特定类型的键盘条目(例如，URL)。如1140处所指示的，3D文档编辑系统可响应于检测到特定类型的键盘条目，在虚拟空间的Z轴上相对于文档向前或向后移动文档中文本的一部分或区域，包括所识别的键盘条目(例如，URL)。

图6为示出根据一些实施方案的3D文档编辑系统的组件的框图。在一些实施方案中，3D文档编辑系统1900可包括虚拟现实(VR)设备2000，诸如VR耳机、头盔、护目镜或眼镜、以及键盘2050。VR设备2000和键盘2050可经由有线或无线(例如，蓝牙)连接来耦接。

VR设备2000可实现各种类型的VR投影仪系统中的任何一种。例如，VR设备2000可包括近眼VR投影仪，其在由受试者观看的屏幕上投影包括左图像和右图像的帧，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术VR投影仪。又如，VR设备2000可包括直接视网膜VR投影仪，其逐像素将包括左图像和右图像的帧直接扫描到受试者的眼睛。为了在VR投影仪系统中创建三维(3D)效果，两个图像中不同深度或距离的对象作为距离三角测量的函数向左或向右移位，其中更近的物体比更远的物体移动得更多。

VR设备2000可包括实现VR投影技术的3D投影仪2020，其生成由用户观看的3D虚拟空间2002，例如近眼VR投影技术或直接视网膜投影技术。VR设备2000还可包括控制器2030，其被配置为实现如本文所述的VR系统和3D文档编辑系统的功能并生成由3D投影仪2020投影或扫描到3D虚拟空间2002中的帧(每个帧包括左图像和右图像)。VR设备2000还可包括存储器2032，其被配置为存储VR系统和3D文档编辑系统的可由控制器2030执行的软件(代码2034)并在控制器2030上执行时可由VR系统和/或3D文档编辑系统使用的数据2038。在一些实施方案中，存储器2032可存储规则2036，规则2036可由3D文档编辑系统应用于键盘2060条目，以检测特定类型的文本项、字符串或参考图5所述的其他条目。VR设备2000还可包括一个或多个接口2040(例如，蓝牙技术接口)，其被配置为经由有线或无线连接从键盘2050接收用户输入，并将接收的输入提供给控制器2030。

在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统、或者包括若干个处理器(例如，两个、四个、八个或另一个适当数量)的多处理器系统。控制器2030可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器2030可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微码技术的电路。控制器2030可包括各自被配置为执行指令的一个或多个处理核心。控制器2030可包括一个或多个级别的高速缓存，其可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括图形处理单元(GPU)，其可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲器中(例如，包括整个帧的像素数据的帧缓冲器)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。

存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

键盘2050例如可为物理键盘设备，其包括键盘2060，例如QWERTY键盘，用于输入字母数字文本、标点符号、符号等。键盘2050还可包括实现感测技术的手势感测组件2070，例如在键盘2070正下方的键盘2050的区域，以感知用户做出的手势，例如用用户的拇指做出的动作。手势感测组件2070可例如实现运动感测、压力/力感测或电容(触摸)感测技术中的一者或多者。在一些实施方案中，键盘2050可替代地实现为数字键盘，例如显示在设备诸如平板或平板电脑的触摸屏幕上。在一些实施方案中，键盘2050可替代地由3D文档编辑系统1900经由VR设备2000实现为在3D虚拟空间2002中显示的虚拟键盘。

VR设备2000可被配置为根据3D文本生成和编辑系统1900经由VR设备2000提供的3D文本生成和编辑GUI在3D虚拟空间2002中来显示虚拟文档2010，VR设备2000允许用户通过键盘2050的小键盘2060(例如，标准QWERTY键盘)输入或编辑文档2010中的文本。与常规2D图形用户界面不同，使用3D文档编辑系统1900的实施方案，文档2010中的文本的区域或部分2012(例如，文本区域、文本字段、文本框、段落、区段、列、句子、字词、URL等)可被放置在或移动到3D虚拟空间2002中的各个Z深度处。键盘2050的手势感测组件2070可检测手势，例如在手势感测组件2070上或附近时用户拇指的运动。VR设备2000可经由手势感测组件2070接收用于指示由用户做的手势的用户输入，并且作为响应，根据检测到的手势在3D虚拟空间2002中的Z轴上相对于文档2010的其余部分向前或向后移动文档2010中的所选内容2012(例如，段落、区段做出、列、句子、文本框、URL等)。键盘2050的手势感测组件2070可被配置为允许用户在经由小键盘2060输入文本时做出手势，从而允许用户在键入时向文档2010中的区域或文本部分提供3D效果。

在一些实施方案中，VR设备可代替或者也监测使用键盘2050的小键盘2070进行的文本输入，将规则应用于文本条目以确定特定类型的文本项，诸如URL，以及在Z轴上相对于文档2010中的其余内容向前或向后自动移动特定种类的文本项(例如，URL)。图5描述了根据一些实施方案的用于处理文本输入以将3D效果添加到文档2010的示例方法，该文档2010可在如图6所示的3D文档编辑系统1900中使用。

尽管未在图6中显示，在一些实施方案中，3D文档编辑系统1900可包括一个或多个部件。例如，系统1900可包括用于在3D虚拟空间2002中移动虚拟光标、选择所显示的文档2010中的文本或其他内容的部分或区域等等的光标控制设备(例如，鼠标)。又如，在一些实施方案中，3D文档编辑系统1900可包括经由有线或无线(例如，蓝牙)连接耦接到VR设备2000和键盘2050的计算设备，该计算设备实现3D文档编辑系统1900的至少一些功能，例如处理到键盘120的用户输入以及生成待由VR设备2000在3D虚拟空间2002中显示的图像和图像内容。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其它分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其它变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种电子系统，包括：

输入设备，所述输入设备包括：

小键盘，所述小键盘用于输入文本；和

感测区域，所述感测区域被配置为根据感测技术感测手势；

虚拟现实(VR)设备，所述虚拟现实(VR)设备被配置为：

在3D虚拟空间中显示文档以用于由用户进行查看；

接收由所述用户进行的到所述小键盘的文本输入以编辑所述文档的文本区域或文本部分中的文本并显示所述文档中的所接收的文本；

接收由所述用户进行的到所述输入设备的所述感测区域的手势输入的指示，其中每个手势与所述文档的相应文本区域或文本部分相对应；

根据所述手势将3D效果添加到所述文档，其中所述3D效果在Z轴上相对于所述3D虚拟空间中的所述文档向前或向后移动所述文档的所述相应文本区域或文本部分。

2.根据权利要求1所述的电子系统，其中所述手势包括以下中的一者或多者：

用于在所述Z轴上相对于所述文档向前移动所述文档的相应文本区域的第一手势；

用于在所述Z轴上相对于所述文档向后移动所述文档的相应文本区域的第二手势；

用于相对于所述文档中的其他文本向前移动所述文档的相应文本部分的第三手势；或者

用于在所述Z轴上相对于所述文档中的其他文本向后移动所述文档中的相应文本部分的第四手势。

3.根据权利要求2所述的电子系统，其中文本区域为以下中的一者：段落、列、区段、文本字段或文本框。

4.根据权利要求2所述的电子系统，其中文本部分为以下中的一者：字词、句子、题目、标题或者统一资源定位符(URL)。

5.根据权利要求1所述的电子系统，其中所述感测区域位于相对于所述输入设备上的所述小键盘的位置处，所述位置允许所述用户当经由所述小键盘将文本输入到所述文档时利用其拇指执行所述手势。

6.根据权利要求1所述的电子系统，其中所述感测技术包括以下中的一者或多者：触摸感测技术、运动感测技术或力感测技术。

7.根据权利要求1所述的电子系统，其中所述虚拟现实(VR)设备被进一步配置为：

经由所述小键盘将一个或多个规则应用于到所述文档的文本输入，以检测由所述规则指定的特定类型的小键盘条目；以及

在所述Z轴上相对于由相应规则指定的所述3D虚拟空间中的所述文档向前或向后自动移动所述文档的包括根据相应规则检测到的小键盘条目的文本区域或文本部分。

8.一种电子设备，包括：

控制器；和

投影仪，所述投影仪被配置为在3D虚拟空间中显示文档，以用于由用户在所述控制器的控制下进行查看；

其中所述控制器被配置为：

接收由所述用户进行的文本输入以编辑所述文档的相应文本区域或文本部分中的文本；

接收由所述用户做出的手势的指示，其中所述手势与所述文档的所述相应文本区域或文本部分相对应；以及

根据所述手势将3D效果添加到所述文档，其中所述3D效果在Z轴上相对于所述3D虚拟空间中的所述文档向前或向后移动所述文档的所述相应文本区域或文本部分。

9.根据权利要求8所述的电子设备，还包括输入设备，所述输入设备经由有线或无线连接耦接到所述控制器并被配置为根据感测技术感测所述用户的手势，其中，所述控制器被配置为从所述输入设备接收所述手势的所述指示。

10.根据权利要求9所述的电子设备，其中所述输入设备包括：

小键盘，所述小键盘用于输入文本；和

感测区域，所述感测区域被配置为根据所述感测技术感测所述用户的所述手势，其中所述感测区域位于相对于所述输入设备上的所述小键盘的位置处，所述位置允许所述用户当经由所述小键盘将文本输入到所述文档时利用其拇指执行所述手势。

11.根据权利要求10所述的电子设备，其中所述控制器被进一步配置为：

经由所述小键盘将一个或多个规则应用于到所述文档的文本输入，以检测由所述规则指定的特定类型的小键盘条目；以及

在所述Z轴上相对于由相应规则指定的所述3D虚拟空间中的所述文档向前或向后自动移动所述文档的包括根据所述相应规则检测到的小键盘条目的文本区域或文本部分。

12.根据权利要求9所述的电子设备，其中所述感测技术包括以下中的一者或多者：触摸感测技术、运动感测技术或力感测技术。

13.根据权利要求8所述的电子设备，其中所述手势是以下中的一者：

用于在所述Z轴上相对于所述文档向前移动所述文档的文本区域的第一手势；

用于在所述Z轴上相对于所述文档向后移动所述文档的文本区域的第二手势；

用于相对于所述文档中的其他文本向前移动所述文档的文本部分的第三手势；或者

用于在所述Z轴上相对于所述文档中的其他文本向后移动所述文档中的文本部分的第四手势。

14.根据权利要求13所述的电子设备，其中文本区域为以下中的一者：段落、列、部分、文本字段或文本框。

15.根据权利要求13所述的电子设备，其中文本部分为以下中的一者：字词、句子、题目、标题或者统一资源定位符(URL)。

16.根据权利要求8所述的电子设备，其中所述投影仪为以下中的一者：将包括左图像和右图像的帧投影到由所述用户进行查看的屏幕上的近眼VR投影仪，或者将包括左图像和右图像的帧逐像素直接扫描到所述用户的眼睛的直接视网膜VR投影仪。

17.一种用于处理文档的方法，所述方法包括：

由虚拟现实(VR)设备执行：

在3D虚拟空间中显示所述文档，以用于由用户进行查看；

接收由所述用户进行的文本输入以编辑所述文档的文本区域或文本部分中的文本；

从输入设备接收由所述用户做出的手势的指示，其中每个手势与所述文档的相应文本区域或文本部分相对应；

根据所述手势将3D效果添加到所述文档，其中所述3D效果在Z轴上相对于所述3D虚拟空间中的所述文档向前或向后移动所述文档的所述相应文本区域或文本部分。

18.根据权利要求17所述的方法，其中所述输入设备包括用于输入文本的小键盘和用于检测所述用户的手势的感测区域，其中所述方法还包括所述感测区域检测当所述用户经由所述小键盘将文本输入到所述文档时由所述用户利用其拇指做出的手势。

19.根据权利要求18所述的方法，还包括：

经由所述小键盘将一个或多个规则应用于到所述文档的文本输入，以检测由所述一个或多个规则指定的特定类型的小键盘条目；以及

在所述Z轴上相对于由相应规则指定的所述3D虚拟空间中的所述文档向前或向后自动移动所述文档的包括根据所述相应规则检测到的小键盘条目的文本区域或文本部分。

20.根据权利要求17所述的方法，其中从输入设备接收由所述用户做出的手势的指示包括：

接收利用两个拇指做出的手势的指示，以在所述Z轴上相对于所述文档向前或向后移动所述文档的相应文本区域，其中文本区域为以下中的一者：段落、列、区段、文本字段或文本框；以及

接收利用一个拇指做出的手势的指示，以相对于所述文档中的其他文本向前移动所述文档的相应文本部分，其中文本部分为以下中的一者：字词、句子、题目、标题或者统一资源定位符(URL)。

Images