CN108604125A - 用于基于凝视跟踪生成虚拟标记的系统和方法 - Google Patents

Abstract

电子系统基于指示器的尖端与表面的接近度和用户眼睛的凝视，在显示器上与指示器相对于表面的跟踪运动相对应来生成虚拟书写。电子系统基于由场景相机捕获的图像来确定指示器的尖端相对于表面的运动，并且基于由面向用户的相机捕获的图像来确定用户的眼睛的焦点和凝视方向。通过基于指示器的尖端与表面的接近度并且基于用户的眼睛的焦点和凝视方向在显示器处与所跟踪的指示器的运动相对应来生成虚拟书写，电子系统可以实现虚拟书写和相关联的协作服务，而无需专门的书写表面或指示器。

Description

用于基于凝视跟踪生成虚拟标记的系统和方法

相关申请的交叉引用

本申请涉及并且要求下述共同未决申请的优先权，其全部内容在此引入以供参考：美国临时专利申请序列号No.62/314,872(代理人案卷号No.1500-G16029)，名为“Methods and Systems for Wearable Writing and Drawing(用于可穿戴书绘的方法和系统)”。

技术领域

本公开大体涉及影像(imagery)捕获和处理，更具体涉及使用捕获的影像的虚拟书写和绘画。

背景技术

传统上，电子书写和绘画以及在这类活动中与其他人合作是使用在诸如触敏(电容)屏幕的表面上的诸如笔、铅笔和触控笔的书写工具来执行的。最近，智能笔被开发用于辨识书写表面中的微结构以确定智能笔相对于书写表面的位置。但是，在这两种情况下，用户必须能使用与书写工具或智能笔兼容的表面。

附图说明

通过参考附图，可以更好地理解本公开，并且其许多特征和优点对于本领域技术人员变得显而易见。在不同的图中使用相同的附图标记表示相似或相同的项目。

图1是示出根据本公开的至少一个实施例的电子系统的图，该电子系统被配置为生成与基于指示器的末端与书写表面的接近度以及用户的眼睛的凝视的、所跟踪的指示器的末端相对于书写表面的运动相对应的标记。

图2是示出根据本公开的至少一个实施例的、图1的电子系统的实施例的图，其中，指示器是手指并且标记是字母。

图3是示出根据本公开的至少一个实施例的、图1的电子系统的实施例的图，其中，指示器是笔并且标记是图。

图4是示出根据本公开的至少一个实施例的、图1的电子系统的实施例的图，其中，指示器是与多个表面交互的手指。

图5是示出根据本公开的至少一个实施例的、图1的电子系统的实施例的图，其中，指示器是笔并且表面是笔记本。

图6是示出根据本公开的至少一个实施例的、图1的电子系统的操作以基于指示器的尖端与表面的接近度并且基于所跟踪的用户的眼睛的凝视来跟踪指示器相对于表面的运动并且在显示器上与所跟踪的指示器的运动相对应记录标记的流程图。

具体实施方式

下述描述旨在通过提供涉及以下的多个具体实施例和细节来传达对本公开的透彻理解：与基于指示器的尖端与表面的接近度和用户的眼睛的凝视的、所跟踪的指示器的尖端相对于表面的运动相对应的虚拟书写和绘图。“书写”指代形成标记的所有方式，包括刻写(inscribing)、涂画(painting)、绘画(drawing)、雕刻(engraving)、素描(sketching)和描画(outlining)。因此，除了形成字母、符号和单词之外，书写可以指代绘图、创建略图、或形成计算机代码的过程。然而，应理解到，本公开不限于这些仅为示例的具体实施例和细节，因此本公开的范围旨在仅由所附权利要求书及其等同物限制。进一步理解到，本领域的普通技术人员鉴于已知的系统和方法，将意识到根据具体的设计和其他需要，在任何数目的替选实施例中，将本公开用于其意图的目的和益处。

图1-6示出了用于采用电子设备来在显示器处生成虚拟书写的各种技术，所述虚拟书写对应于基于指示器的尖端与表面的接近度和用户眼睛的凝视的、所跟踪的指示器的尖端相对于表面的运动。例如，电子设备的场景相机跟踪指示器的尖端相对于表面的运动。电子设备的处理器从场景相机接收图像，并且基于该图像来确定指示器的尖端相对于表面的位置和运动。面向用户的检测器(例如相机)捕获用户眼睛的图像，并且将用户的眼睛的图像提供给处理器，该处理器基于眼睛图像来确定用户的眼睛的焦点和凝视方向。处理器在显示器处生成标记，该标记对应于1)基于如由场景相机提供的图像指示的指示器的尖端与表面的接近度，以及2)基于如由所捕获的用户的眼睛的图像指示的用户的眼睛的焦点和凝视方向的，所跟踪的指示器的尖端相对于表面的运动。通过在显示器处生成与基于指示器的尖端与表面的接近度以及基于用户的眼睛的焦点和凝视方向的、所跟踪的指示器的尖端的运动相对应的标记，电子设备可以支持虚拟书写以及关联的协作服务，而不需要专门的书写表面或指示器。

图1图示了根据本公开的至少一个实施例的电子系统100，该电子系统100被配置成生成与基于指示器的末端与书写表面的接近度以及用户的眼睛的凝视的、所跟踪的指示器的末端相对于书写表面的运动相对应的标记。标记可以是符号、字符、密文、字母、单词、图标、绘图、图表、漫画、音符、示意图、流程图、标志、组织图等的形式。电子系统100可以包括用户便携式移动设备，诸如平板计算机、支持计算的蜂窝电话(例如“智能电话”)、头戴式显示器(HMD)、笔记本计算机、个人数字助理(PDA)、游戏系统遥控器、电视遥控器等。在其他实施例中，电子系统100可以包括另一类型的移动设备，诸如汽车、机器人、遥控无人机或其他机载设备等。为了便于说明，本文通常在诸如平板计算机、HMD或智能电话的移动设备的示例场境(context)中描述电子系统100；然而，电子系统100不限于这些示例实施方式。在所描绘的示例中，系统100包括处理单元(未示出)、至少一个场景相机120,130、至少一个面向用户的相机或检测器110、深度传感器115、照明源125、表面160、具有尖端145的指示器140以及显示器170。

电子系统100包括获得关于电子系统100的本地环境112的信息的多个传感器。电子系统100经由场景相机120和130以及深度传感器115，获得本地环境112的视觉信息(影像)。在一些实施例中，场景相机120和130以及深度传感器115被布置在HMD或眼镜的面向前方的表面处，并且面向用户的相机或检测器110被布置在HMD或眼镜的面向用户的表面处。在一个实施例中，场景相机120被实现为具有鱼眼镜头或其他广角镜头的广角成像传感器，以提供面向表面160的局部环境112的广角视图。场景相机130被实现为具有典型视角镜头的窄角成像传感器，以提供面向表面160的局部环境112的更窄角视图。因此，场景相机120和场景相机130在本文中也被分别称为“广角场景相机120”和“窄角场景相机130”。如下文更详细所述，广角场景相机120和窄角场景相机130可以被定位且定向在HMD或眼镜的面向前方的表面上，使得它们的视场在离HMD或眼镜的特定距离处开始重叠，由此经由图像分析来实现局部环境112中位于重叠视场的区域中的对象的深度感测。面向用户的相机110可以被用来捕获用户的至少一只眼睛105的图像数据。

在一个实施例中，深度传感器115使用调制光投影仪来将调制光图案从HMD或眼镜的面向前方的表面投影到局部环境112中，并且使用场景相机120和130中的一个或其二者以在调制光图案从局部环境112中的对象反射回来时捕获其反射。这些调制光图案可以是空间调制光图案或时间调制光图案。所捕获的调制光图案的反射在本文中被称为“深度影像”。然后，深度传感器115可以基于深度影像的分析来计算对象的深度，即，对象距HMD或眼镜的距离。从深度传感器115获得的得出的深度数据可以被用来校准或以其他方式增进从由场景相机120和130捕获的图像数据的图像分析(例如，立体分析)获得的深度信息。替选地，可以使用来自深度传感器115的深度数据来代替从图像分析获得的深度信息。为了说明，多视点分析通常更适合于明亮的照明条件，并且当对象相对远时，而基于调制光的深度感测更适合于较低的光线条件或当观察的对象相对近时(例如，在4-5米内)时。因此，当电子系统100感测到其处于室外或者以其他方式处于相对好的照明条件下时，电子系统100可以选择以使用基于多视点的重建来确定对象深度。相反，当电子系统100感测到其在室内或者以其他方式在相对差的照明条件下时，电子系统100可以切换到使用经由深度传感器115的基于调制光的深度感测。

面向用户的相机或检测器110被配置为检测用户的眼睛105的焦点和凝视方向。在一些实施例中，面向用户的相机或检测器110可以是CMOS(互补金属氧化物)或CCD(电荷耦合器件)检测器。通过跟踪眼睛运动，电子系统100可以辨别用户的意图。在至少一个实施例中，电子系统100跟踪下述类型的眼睛运动中的一种或多种：1)前庭眼动(vestibulo-ocular)、2)辐辏(vergence)、3)平滑追随(smooth pursuit)，以及4)扫视(saccadic)。电子设备100可以基于诸如运动范围、速度剖面、双眼是否执行共轭(与不相似方向相对)运动以及头部或视场是否也在运动的参数来区分不同类型的运动。每种眼睛运动中涉及不同的神经电路。不同的眼睛运动涉及与不自主(即反射)神经通路相对的不同自主(即有意识控制)程度。在辨别眼睛信号的过程中，电子设备100可以分析眼睛的自主运动以识别电子系统100的用户的有意识的意图。

例如，平滑追随眼睛运动是眼睛的缓慢的、自主运动，其将运动目标对象的投影保持在眼睛的高分辨率中央凹区域中心上。因此，平滑追随运动的总速度通常对应于观察中的运动目标的速度。大多数个体很难在没有实际观看运动目标的情况下执行平滑的追随运动。换言之，除非观察者进行了大量和专门的训练，否则尝试发起平滑的追随而没有跟踪运动目标的能力只会导致观察者进行一次或多次扫视运动。相反，扫视眼睛运动是突然改变眼睛的注视点的快速运动。扫视在一旦发起便仅由扫视启始(launch)来管控由扫视覆盖的方向和距离的意义上是“弹道式”的。换言之，即使在扫视发起和/或其执行期间目标的位置改变，在扫视期间也不可能进行中期矫正。扫视是人体产生的最快运动，达到高达900°/秒的角速度。扫视就其速度剖面而言也是“弹道式”的。响应于未预料到的刺激，扫视的发起部分需要大约200毫秒。发起导致快速加速阶段，其中(类似于其他弹道速度剖面)峰值速度大致与待行进的距离成比例。扫视的运动阶段持续20到200毫秒，取决于行进的总角距。通常，只要头部保持静止，扫视不会在扭转轴上旋转眼睛(即，所谓的Listing定律)。大于约20°的扫视通常伴有头部运动，尽管这在个体之间变化很大。

当瞄准方向落在新目标位置上时，存在快速减速阶段。在非常短的延迟之后，大的扫视通常伴有至少一次较小的矫正扫视，以进一步接近目标位置。即使目标已经消失，也可能发生矫正扫视，进一步支持扫视运动的投射弹道性性质。但是，如果目标保持可见，则矫正扫视更为频繁。因此，在至少一个实施例中，电子设备100可以检测扫视以识别用户的很可能的意图。

作为另一示例，“追随”是指示用户意图激活或动作的附加机制。“追随”是专门围绕人眼使用平滑追随来跟随对象的能力而设计的。电子系统100可以在两种功能模式中的一种中使用“追随”：1)如果期望N选1的选择，则以恒定速度径向向外投射两个或更多个图形元素，远离原始目标位置的大致中心位置，或者2)如果不需要选择(仅激活)，则本身可交互的目标追随可以远离其原始位置移动。跟随对象达一段时间和/或距离导致激活。在达到阈值时间和/或距离之前，远离平滑追随的扫视(或极少数情况下，前庭眼动或辐辏)眼睛运动终止眼睛运动序列而不激活。所有运动都要被仔细地控制(例如，角速度良好地维持在30°/秒以下)，使得能够经由平滑追随、神经调节机制来观看它们。

因此，可以在自主控制下被直接或间接执行的最常见类型的眼睛运动是：1)扫视、2)平滑追随、3)辐辏，以及4)前庭眼动。使用由面向用户的相机110捕获的一系列眼睛图像确定的眼睛位置数据，电子设备100可以应用算法“过滤器”以实时地识别和区分扫视或平滑追随眼睛运动的存在。例如，在一个实施例中，电子设备可以采用扫视过滤器。扫视过滤器主要依赖于扫视是快速的事实。事实上，如前所述，扫视是人体内速度最快的运动，其角速度可达每秒900°。扫视速度剖面是弹道式的，其中(高达约60°的位移)峰值速度是行进的距离的线性函数。例如，10°扫视具有大致每秒300°的角速度，而30°位移的峰值角速度大致为每秒500°。在本文的系统和方法内，基于扫视实现眼信号的方面是明确地耦合或连接位于观察者的视场内的任何位置的两个位置(即，扫视启始位置和扫视着陆位置)处的虚拟或真实对象而不受沿着两个位置之间的视觉通路的对象的干扰的能力。通过执行一系列扫视，任何数目的对象或位置可以在自主用户控制下逻辑地连接以辨别意图。

扫视运动比与平滑追随相关联的最快运动快一定数量级。该速度差是平滑追随过滤器内的关键区别。平滑追随眼动的整体方向和速度也必须与观察下的对象的速度剖面相匹配(除非观察者已经接受了广泛的训练以避免这种情况)。因此，电子设备100可以基于速度来区分平滑追随和扫视，并且可以基于是否存在与显示或真实对象的速度剖面相比的匹配来区分平滑追随与其他眼睛运动(即，辐辏和前庭眼动运动)。

更具体而言，当观察缓慢移动的对象时，在大约100毫秒的时延之后，通过紧密跟随对象，可以辨识平滑追随。通常以低于每秒约30°的角速度辨识平滑追随；尽管可能出现一定程度下更高的速度，特别是在水平方向上。在对象运动速度大于可以由平滑追随跟随的那些对象运动速度时，人们使用所谓的“追赶式(catch-up)扫视”来跟踪环境中的对象。电子系统100可以基于总体速度以及扫视序列的开始/停止速度剖面来区分扫视固定序列和平滑追随。

在本文的系统和方法内实现平滑追随过滤器的另一方面是明确地确定用户何时自主地跟随特定对象的能力。通过将意义或目的指派给可以四处移动的不同对象，电子系统100可以通过测量正在跟随哪个对象(如果有的话)来识别用户意图。在至少一个实施例中，如果存在如由捕获的影像指示的四处移动的N个“可跟踪”对象，则电子系统100选择N个状态中的1个状态(或不跟踪任何对象)。

为了辨别眼睛焦点和凝视方向，电子系统100可以依赖于瞳孔数据、反光(glint)数据或虹膜数据中的任何一个或其组合。例如，瞳孔可以是可见的并且产生稳定的边缘，可以由系统的照明电路产生恰当数目的间隔适宜的角膜反光，可以检测角膜缘并且其直径在人群平均值的范围内，和/或虹膜可以是可视的，具有能够确定其姿态的足够的信息。面向用户的相机或检测器110被配置为与一个或多个照明源125一起工作。照明源125可以包括一个或多个发光二极管(LED)以提供一般照明和/或在眼睛105的表面上产生参考“反光”106的照明。照明源125可以利用不可见(例如，近红外)光来避免干扰用户并且仍然可以由CMOS或CCD检测器检测。在一些实施例中，面向用户的相机或检测器110包括一个或多个镜头111并且可以包括一个或多个滤光器114以阻挡例如耦合到检测器的不期望的、杂散或环境光。

为了促进虚拟书写和绘画，面向用户的相机110获取眼睛105的图像，包括眼睛的结构，诸如瞳孔106、虹膜、和反光(从角膜反射的光)107。电子系统100可以使用反光结合照明源125、面向用户的相机110的已知位置来确定眼睛105的相对凝视方向。通过相对于平滑追随眼睛运动过滤扫视，电子系统100可以确定是否用户的眼睛是否聚焦在和/或跟随指示器140的尖端145。

表面160可以是物理表面或虚拟表面。对于表面160是物理表面的那些实施例，表面160可以是纸、平板计算机、桌面、墙壁、地板、天花板、窗户、板、显示器、或其他表面。表面160可以是平坦的或弯曲的，诸如剧院的弯曲壁或圆柱的外部。表面160还可以包括许多非平坦表面，诸如建筑物的一侧。在表面160是虚拟表面的那些实施例中，虚拟表面可以被显示在用户和查看书写和绘画的动作和/或结果的任何本地或远程观察者的HMD内。虚拟表面的位置可以相对于用户的本地环境112内的静止对象(例如墙壁或家具)，或相对于可移动对象(诸如可以交给不同作者或观察者的记号)，或者相对于用户的参考部位(诸如肩膀和/或胸部区域)。

指示器140可以是笔、铅笔、触控笔、粉笔、激光指示器、棒、可擦除标记、手指、拳头、手臂等。指示器140可以在表面160正被使用时在表面160上沉积真实墨水(或其他物质)或制作真实标记。在不包括真实墨水或其他标记的情况下，虚拟标记可以被叠加在预期真实标记出现在由用户和/或观察书写的动作的一个或多个(远程或附近)个体穿戴的增强现实或混合现实显示器内的位置处。在一些实施例中，当在还充当显示器170的表面160上或附近书写时，可以将标记添加到显示器170，向用户以及任何观察者提供反馈。

在一些实施例中，指示器140可以从(位于尖端145处或遍及指示器140的主体的)一个或多个源发出可以在场景相机图像中被检测到的某些形式的电磁辐射(例如，红外光)来帮助识别指示器位置。可以以预定速率调制该辐射(例如打开和关闭)以进一步帮助识别指示器140的位置和取向。在一些实施例中，以确保通过或不通过发射的辐射均能获得图像的速率打开和关闭一个或多个电磁辐射发射器。通过比较(例如，以数字方式减去)这样的图像，可以容易地将辐射源的位置与所获取的图像内的其他(静止)分量区分开。

在一些实施例中，场景相机120和130可以确定表面160内，相对于指示器140的参考位置。表面160上的参考位置可以包括表面160的边缘161和/或角162、表面160上的标记150、附着或固定到表面160的可辨识对象、包含在表面160内或周围的可见或不可见发光设备(例如，发光二极管)，和/或在表面160充当显示器的情形下可以使用的一个或多个显示对象。

显示器170可以是屏幕、投影仪或其他显示器，其被配置为指示可见标记——诸如书写或绘画，其对应于当指示器140的尖端145与表面160接触时所跟踪的指示器140的尖端145相对于表面160的运动。使得标记出现在显示器170上可以被认为是用“虚拟墨水”书写。

在一些实施例中，每当用户的眼睛105观看指示器140时，电子系统100可以在显示器170处沉积“虚拟墨水”。当电子系统100确定用户的眼睛105已经从指示器140转移视线时，即使用户的手和/或指示器140可以继续移动，电子系统100也停止在显示器170处沉积“虚拟墨水”。电子系统100可以基于导致沉积虚拟墨水的指示器140的尖端145的区域中的面积大小和/或区域内和区域周围的眼睛运动的定时，识别不经意的书写。例如，电子系统100可以过滤指示器尖端区域中的快速扫瞥而不沉积虚拟墨水。

在操作中，场景相机120和130捕获用户的环境112的图像，包括指示器140和表面160的图像。在表面160是虚拟表面的那些实施例中，场景相机120和130捕获指示器140相对于虚拟表面的图像，其坐标为电子系统100已知。电子系统100的处理单元(未示出)使用来自场景相机120和130的捕获的影像和/或来自深度传感器115的深度数据来确定从指示器140的尖端145到表面160的距离。面向用户的相机110捕获用户的至少一只眼睛105的图像。电子系统100的处理单元(未示出)使用所捕获的用户的眼睛105的影像基于瞳孔跟踪反光和/或虹膜跟踪、以及相对于平滑追随眼睛运动过滤扫视，来确定用户的眼睛是否聚焦在指示器140的尖端145上和/或跟踪指示器140的尖端145的运动。

当指示器140的尖端145接触表面160并且作出标记150时，处理单元(未示出)基于确定当尖端145作出标记150时用户的眼睛105正凝视指示器140的尖端145，在显示器170处记录与表面160处的标记150相对应的虚拟墨水标记155。处理单元基于指示器140的尖端145继续接触表面160并且基于所跟踪的用户的眼睛105的凝视，继续在显示器170处沉积与所跟踪的指示器140的尖端145的运动相对应的虚拟墨水。在一些实施例中，当用户的眼睛105停止凝视指示器140的尖端145时，处理单元停止在显示器170处沉积虚拟墨水。在一些实施例中，当用户的眼睛105的凝视离开指示器140的尖端145少于阈值时间量时，处理单元继续在显示器170处沉积虚拟墨水。

在一些实施例中，第二组场景相机(未示出)被配置为跟踪第二指示器(未示出)相对于第二表面(未示出)的运动并且第二面向用户的相机(未示出)被配置为跟踪第二用户的至少一只眼睛(未示出)的凝视。基于确定第二指示器与第二表面接触并且基于所跟踪的第二用户的眼睛的凝视，同一处理单元或第二处理单元(未示出)在显示器170处沉积与所跟踪的第二指示器的运动相对应的虚拟墨水。以这种方式，电子系统100在显示器上沉积与两个或更多个用户在同一或分开的表面上所做的标记相对应的虚拟墨水，允许两个或更多个用户在虚拟书写或绘画中协作。

图2是电子设备100的示例操作的图示。在该示例中，指示器是手指210并且表面212也用作显示器。当电子设备100的处理单元(未示出)基于由面向用户的相机或检测器(未示出)捕获的图像，确定用户的至少一只眼睛213观看手指210的尖端211时，处理单元(未示出)基于由场景相机(未示出)捕获的图像，确定基于手指210的尖端211相对于其主体的位置的手指210的指示方向215。如果指示器210的方向215与表面212相交，则处理单元在交点217处，在表面212处沉积标记或虚拟墨水。只要处理单元基于由面向用户的相机或检测器(图2中未示出)捕获的图像，确定用户的至少一只眼睛213继续观看指示器211的尖端并且基于由场景相机捕获的图像，确定指示方向215与书写表面212相交，则沉积过程继续。每当处理单元确定用户的至少一只眼睛213已经停止跟随手指210的尖端211或者手指210已经停止指向表面212时，则书写停止。在图2所示时的快照处，用户已经完成了字符“A”216的书写。

图3图示了电子系统100的示例操作。在该示例中，电子系统100将铅笔或触控笔320用作指示器，其中，笔或触控笔320或者按压书写表面322或者极接近表面322。指示器321的尖端与书写表面322之间的这种极接近减少了电子系统100精确地确定铅笔或触控笔320的指示方向的需要。相反，电子系统100将(可能近距离投射的)笔或触控笔320的尖端的位置视为书写位置。在笔或触控笔320位于与书写表面相距一定距离的情形下，可以在笔或触控笔320的主体上放置一个或多个标记321a(例如，着色区域、照明源)以帮助电子系统100确定笔或触控笔320的取向。

当电子系统100基于由面向用户的相机或检测器110捕获的图像而确定：用户的至少一只眼睛323正在观看铅笔或触控笔320的尖端321时，处理单元(未示出)在尖端321附近沉积标记或虚拟墨水。只要至少电子系统100确定用户的至少一只眼睛323继续观看指示器321的尖端并且确定指示器保持接近书写表面322，则处理单元继续沉积虚拟墨水。图3图示了电子系统100使用虚拟书写来绘制任意形状(例如，脸326)。

图4图示采用多个书写表面452、452a、452b、452c、452d的电子系统100的示例。在所图示的实施例中，电子系统100将手指450用作指示器。当电子系统100的处理单元基于由面向用户的相机捕获的图像而检测到用户的一只眼睛或双眼453的凝视454指向手指450的尖端451时，处理单元计算手指450的指示方向457。如果处理单元确定指示方向457与主要书写表面452的区域相交，则处理单元建立活动模式。在该示例中，手指450控制连续或所谓的“滑块”456显示，其中，指示位置和方向457确定滑块456a的活动部分的位置。电子系统100进而基于滑块456a的活动部分来调整连续可调参数，诸如音频系统的音量、图像亮度、线条粗细等。

在图4所示的示例中，除了主要书写表面452之外，电子系统100还包括书写表面452a、452b、452c、452d。电子系统100通过跟踪手指450相对于书写表面的位置和指示方向或通过检测用户正在四处移动一个或多个表面，检测相对于书写表面的用户的意图。电子系统100可以基于人机界面(HMI)的眼睛信号语言或其他形式，通过命令(例如移动、复制、擦除、交换、沉积)来检测用户的意图。在图4所示的示例中，三个附加书写表面452a、452b、452c出现在主要书写表面452上方，并且一个附加表面452d位于主要表面452的右侧。如图4所示，表面的大小和形状可以不同。另外，表面可以位于距用户任何距离处、处于任何取向和/或在多个平面中。表面可以包含文本452a、数字控件452b、图像452c或被用来启动包括超链接、URL(通用记录定位符)等的其他应用或信息源452d的图标。电子系统100可以使书写表面的任何子集或全部可用于位于世界任何地方的协作者和共同作者。

图5图示了采用笔560来将信息转录到笔记本562中同时使用虚拟墨水记录记笔记的过程的电子系统100的示例。当电子系统100基于由面向用户的相机110以及场景相机120和130捕获的图像，确定用户的至少一只眼睛563指向笔560或其他书写用具的尖端561时记录笔记。记笔记可以包括将记录的信息转录成一个或多个机器可读形式和/或其他语言的字符/对象辨识和/或翻译。电子系统100可以在包括虚拟油墨记录的数据集中同时并入记录的音频以及书写会话的其他属性(例如，作者身份、地理位置、日期、时间)。

在设置特征或书写特性的眼睛运动控制的情况下，电子系统100将意图与计算设备交互的自主眼睛运动检测为“眼睛信号”。在2015年5月9日提交的申请序列号No.14/708,234，Systems and Methods for Biomechanically based Eye Signals for Interactingwith Real and Virtual Objects(用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法)中描述了眼睛信号控制，其全部公开内容通过引用明确并入本文。

在一些实施例中，电子系统100基于指示器使用“眼睛信号”来增强书写过程。例如，当一个或多个用户正在采用一个或多个“虚拟墨水”显示器时，电子系统100响应于检测到眼睛信号语言来检索组件，并且将组件添加到工作主体。例如，电子系统100可以检测到正在搜索短语、图像、或者素描，并且可以响应于检测到眼睛信号语言的命令而检索短语、图像或者素描，并且可以将该短语、图像、或素描叠加在正在进行的作品上。电子系统检索和插入先前书写或制作的材料的能力大大增强了创作过程。

在一些实施例中，电子系统100单独或结合其他HMI设备检测眼睛信号来控制创意作品的一个或多个部分的删除或擦除。在一些实施例中，电子系统100被配置成允许用户通过选择与用于书写的指示器不同的擦除指示器来调用擦除模式。在一些实施例中，诸如图3描绘的电子系统，指示器320包括用于书写的一端321和用于擦除的另一端321a，并且电子系统100基于指示器的哪一端更接近表面160和用户的眼睛的凝视方向来检测用户选择哪一端。一旦该部分的表示被在不同的书写表面上移动和/或被存储在位于本地和/或远程的存储器设备内，电子系统100可以删除或擦除创意作品的一部分。在一些实施例中，电子系统100被配置为检测用户何时在表面160的区域的边界周围擦除，并且响应于边界已经被擦除或从用户接收到另一信号，擦除该边界内的任何标记。

在一些实施例中，电子系统100分组或群集标记以进一步帮助创作过程。电子系统100可以是群组标记，例如以形成字母、单词、短语、句子、段落或甚至更大的群集。电子系统100还可以分组标记以形成符号、素描、图像、图像分量、图像群组等。电子系统100自动地映射群组标记。例如，电子系统100可以自动地分组标记以形成字母、单词和短语。电子系统100还可以基于用户的命令来分组标记，例如以将句子或图题与特定图像相关联。通过分组标记，电子系统100可以诸如通过移动、复制、删除、插入、存储和/或搜索来更有效率地操纵标记(即涉及更少的操作)。

电子系统将虚拟墨水用于书写特别适合于多个体亲自和/或经由远程电话会议/远程即席的协作创意工作。在这些示例性应用中，电子系统100可以将全部属性指派给创意结果的任何细节层级(直至个体标记)。例如，电子系统100可以将单词、图像和其他信息块的作者身份指派给特定的共同作者或作者的子群组。电子系统100可以时间标记和地理定位标记和/或标记分组(例如，文字、图像)以供将来参考。电子系统100可以使用虚拟墨水，类似地跟踪现有文档和图像的编辑以记录“谁在什么地点和什么时间在干什么”。电子系统100可以将这样的信息合并为标准化数据属性和存储系统的一部分，其中，内容可以例如具有法律约束力。在一些实施例中，电子系统100可以使用个人的书写或绘制的签名来将个人与书写内容链接起来。

此外，电子系统100可以经由生物识别，验证签名或任何其他标记组的作者的真实身份。在2015年5月9日提交的申请序列号No.14/708,241，Systems and Methods forDiscerning Eye Signals and Continuous Biometric Identification(用于辨别眼睛信号和连续生物识别的系统和方法)中描述了用于辨识设备用户的过程，其全部公开内容明确地通过引用并入本文。在这种情况下，电子系统100可以基于手和/或指示器的辨识、其移动、和尺寸(与距场景相机的距离成反比)来将签名和/或其他移动的过程识别为头戴设备穿戴者的移动签名和/或移动；可以基于生物识别来确认设备穿戴者的身份；并且可以将具有法律约束力的属性指派给书面内容。

在一些实施例中，电子系统100通过使用“虚拟墨水”来采用远程即席。任何或所有参与者可以对书写过程作出贡献。同样地，任何或所有参与者都可以查看创作过程的结果。在2015年5月9日提交的申请序列号No.14/708,229，Systems and Methods for Using EyeSignals with Secure Mobile Communications(用于与安全移动通信一起使用眼睛信号的系统和方法)中描述了这样的交换中涉及的通信过程，其全部公开内容通过引用明确地并入本文。

在一些实施例中，电子系统100可以转换标记和/或标记群组和/或将标记和/或标记群组变换成用于个体、个体群组、协作群组的所有成员和/或档案库的替选表示。例如，电子系统100可以以一种或多种替选语言翻译并且显示以一种语言书写的单词和短语。

电子系统100可以将语音转换为文本(视需要进行翻译)并且将文本沉积到书写表面上。相反，电子系统100可以将已经书写或检索的文本转换(并且视需要进行翻译)为语音。电子系统100可以将传统书写(例如，使用钢笔或铅笔)扫描并且转换为“虚拟墨水”。电子系统100可以将这样的扫描或捕获的图像用作进入虚拟书写会话的起点或插入。电子系统100可以将例如示意图或组织图上的粗略绘制的符号(自动地)转换为图中适当位置处的正式符号和表示。电子系统100可以识别不规则的线、矩形、圆形和其他形状，并且将它们转换成这些形状的增强(例如，平滑、拉直、对齐的)图形表示。电子系统100可以扩大或缩小在特定时间期间以一个比例显示或绘制的图像，以供当显示、指向或编辑时，适合由任何或所有参与者观看。

在一些实施例中，电子系统100可以使用其他模态(modality)来增强由“虚拟墨水”形成的书写。例如，电子系统100可以将从一个或多个(本地或远程)位置记录的音频与书写过程同步。类似地，电子系统100可以同时由一般环境或特定现实世界对象(广告牌、显示器、体育赛事等)的一个或多个共同作者同时记录图像。电子系统100还可以与虚拟墨水数据集一起，将可用于共同作者的可穿戴系统的任何其他数据流(心率、加速度等)同步并且存档。

当电子系统100检索并且重放虚拟墨水数据组时，电子系统100可以可选地与虚拟墨水作品一起以时间锁定方式，重放同时记录的数据。同时，电子系统100可以将所记录的数据组用在搜索算法中以检索作品。电子系统100可以基于所写的内容、所说的内容、日期和/或时间戳等来执行搜索。只要检索到，电子系统100可以拾取虚拟书写事件以在包括参与者何时何地结束先前会话的任何点继续。电子系统100可以附加任何数目的书写会话以便完成一个或多个书写作品。

除了将凝视方向用作有目的的书写运动发生的指示符之外，电子系统100还可以使用凝视方向来隔离被用来记录书写过程的场景相机图像内的感兴趣区域。例如，如果电子系统100在用户凝视的区域中没有检测到指示器(例如，触控笔、手指)，则电子系统100可以确定书写没有发生并且可以将计算资源投入到其他任务，或者节省电力。

电子系统100可以基于已预先印刷或随后添加到笔记本或其他书写表面(地图、标志、文档、纸张、书本、电子平板等)的信息，将附加属性和链接包括在数据集中。例如，一个或多个场景相机(图5中未示出)可以确定属于该书籍、章或页的标题或横幅565。类似地，一个或多个场景相机可以辨识已经预先印刷或添加到特定页的页码566。一个或多个场景相机还可以辨识现有文本567、图形、图标等。电子系统100可以使用现有文本567、图形、图标等将在一次书写会话期间记录的信息与一个或多个先前的书写会话相关联。电子系统100可以归档所有这些附加属性和链接，并且随后将它们用在搜索策略内来检索所存储的数据集。

在一些实施例中，不同于查看“指示器”，用户作为替代可以查看用以指向显示书写或其他标记的位置。在这种情况下，一个或多个相机可以继续跟踪指示器(即使当用户不直接看向指示器时)，或者以通常与所谓的“数字笔”相关联的多个替选方式来跟踪书写设备。这样的笔可以使用识别环境中的参考位置的一个或多个随载(即，笔内)相机、加速度计、嵌入式轨迹球、磁性线圈(与平板计算机内的栅格线结合)、检测广播的声学参考信号和/或触敏屏幕的两个或更多个麦克风。

由电子系统100使用用户的眼睛凝视识别的书写区域可以是诸如通常在会议室或教室中找到的投影显示、可以由任何数目的个体观看的一个或多个显示监视器——包括以远程方式观看、用户可观看并且复制到任何数目的其他这样的头戴装置以供其他人观看的一个或多个增强或虚拟现实显示头戴装置、标牌和类似的显示设备。由多个显示设备组成的书写表面不一定需要被联合。例如，用户可以查看分布在会议室或教室周围的多个移动平板计算机或手提设备中的任何一个内的区域，以将内容添加到共享演示的特定区域。

电子系统100直接利用眼睛快速移动以指向待要书写标记的区域的能力。如前所述，眼睛运动利用人体中的最快移动的肌肉。使用快速眼睛运动，电子系统100通常可以比当使用利用计算机鼠标、跟踪球、手指指示手势、或类似设备的指示过程时更快地指定这样的书写/绘图区域。电子系统100可以从一个或多个显示器的一个区域切换到另一个区域以便快速和直观地增加信息的嵌块(mosaic)。通过基于这样的快速眼睛信号确定随后将进行书写或绘图的区域，电子系统100允许通过合适的书写设备(利用高空间分辨率)执行书写过程所需的更详细的空间信息，而无需进一步依赖于眼睛凝视(其具有有限的空间分辨率)。即使用户没有直接观看手动书写的区域，但看到用户正在观看的区域中正在书写的内容的视觉反馈仍然允许发生自然书写或绘图过程。

图6是示出根据本公开的至少一个实施例的方法600的流程图，通过该方法600，图1的电子系统100跟踪指示器相对于表面的运动并且基于指示器的尖端与表面的接近度并且基于所跟踪的用户的眼睛的凝视，记录显示器上与所跟踪的指示器的运动相对应的标记。该方法在框602开始，其中，电子系统100从一个或多个眼睛跟踪(面向用户)的相机110获取图像。在框604，电子系统100从一个或多个场景相机120、130获取图像。基于这些图像，在框606，电子系统100确定用户的至少一只眼睛是否正在观看指示器140的尖端145。如果不是，则不采取进一步的动作，并且方法流程进行到框602，在该框602处，电子系统100获取下一组图像。如果在框606处，电子系统100确定用户的至少一只眼睛正在观看指示器140的尖端145，则方法流程继续到框608，在该框608处，电子系统100确定指示器140是否被指向书写表面160。如果不是，则不采取进一步的动作，并且方法流程进行到框602，在框602处，电子系统100获取下一组图像。如果在框608处，电子系统100确定指示器140被指向书写表面160，则方法流程进行到框610，在该框610处，电子系统100沉积虚拟墨水以在显示器170上与指示器140相对于书写表面160的位置相对应的位置处生成标记。在表面160还用作显示器的那些实施例中，电子系统100在表面160上指示器140指向的位置处沉积虚拟墨水。在一些实施例中，电子系统100确定新添加的标记是否完成书写表面上的字符、符号或可辨识对象。如果是，则电子系统100可以以与新形成的字符、符号或对象有关的方式起作用。这可以包括执行动作或重绘字符、符号或对象。

在附加实施例中，书写的特性可以由书写者控制。这些特性可以包括虚拟墨水的颜色和亮度、虚拟墨水显示的透明度、线条的粗细、书写“笔尖”的书法特征、是否在书写/绘画对象上执行字符和/或对象辨识等。这些特性可以在书写过程之前和/或过程中设置。个体设置特性(例如，颜色)可以被指派给个体书写者。此特征可以有助于展示多位书写者贡献“谁写了什么”。一个或多个设置特征也可以全局地应用于所有书写者。设置可以涉及传统的HMI技术，诸如使用键盘或触摸屏。在一些实施例中，可以由语音命令或使用眼睛运动来控制特性。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非瞬时计算机可读存储介质上存储或以其他方式有形体现的一个或多个可执行指令集。软件可以包括指令和某些数据，所述指令和数据在由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非瞬时计算机可读存储介质可以包括例如磁性或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或其他非易失性存储设备等。存储在非瞬时计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码、或可由一个或多个处理器解释或以其他方式执行的其他指令格式。

计算机可读存储介质可以包括在使用期间，可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统RAM或ROM)中、固定附接到计算系统(例如，磁性硬盘)、可移动地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

注意，并非要求在一般性描述中描述的所有活动或元素，可以不要求特定活动或设备的一部分，并且除了所述的那些外，可以执行一个或多个其他活动。更进一步，列出活动的顺序不一定是执行它们的顺序。此外，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离如所附权利要求书中阐述的本公开的范围的情况下，可以进行各种改进和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的改进意图被包括在本公开的范围内。

在下文中，参考具体实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点或问题的解决方案以及会导致任何益处、优点或解决方案发生或变得更明显的任何特征都不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上文公开的特定实施例仅仅是示例性的，因为可以以对受益于本文的教导的本领域的技术人员显而易见的不同但等同的方式改进和实施所公开的主题。除了所附权利要求书中所述的以外，并不对本文所示的构造或设计的细节具有限制。因此，很明显，可以变更或改进上文公开的特定实施例，并且所有这些变化被认为在所公开的主题的范围内。因此，本文要求的保护如在所附权利要求书中所述。

Claims (20)

1.一种方法，包括：

由处理单元基于由第一场景相机捕获的图像，跟踪第一指示器相对于书写表面的运动；

由所述处理单元基于由第一面向用户的相机捕获的图像，跟踪第一用户的眼睛的凝视；以及

由所述处理单元基于所跟踪的所述第一指示器相对于所述书写表面的运动并且基于所跟踪的所述第一用户的眼睛的凝视，在显示器处记录所述书写表面上的所述第一指示器的第一标记。

2.如权利要求1所述的方法，其中，记录所述标记是基于所述第一指示器接触所述书写表面。

3.如权利要求1所述的方法，其中，记录所述标记是基于所述第一用户的眼睛的凝视聚焦在所述第一指示器的末端。

4.如权利要求1所述的方法，其中，记录所述标记包括：在所述书写表面上沉积虚拟墨水。

5.如权利要求1所述的方法，其中，所述第一指示器包括虚拟对象。

6.如权利要求1所述的方法，其中，所述书写表面包括虚拟表面。

7.如权利要求1所述的方法，进一步包括：

由所述处理单元基于由第二场景相机捕获的图像，跟踪第二指示器相对于所述书写表面的运动；

由所述处理单元基于由第二面向用户的相机捕获的图像，跟踪第二用户的眼睛的凝视；以及

由所述处理单元基于所跟踪的所述第二指示器相对于所述书写表面的运动并且基于所跟踪的所述第二用户的眼睛的凝视，在所述显示器处记录所述书写表面上的所述第二指示器的标记。

8.一种方法，包括：

由处理单元在与所跟踪的第一书写工具的末端相对于表面的运动相对应的显示器处生成标记，其中，所述第一书写工具的末端的运动是由所述处理单元基于由第一场景相机捕获的图像来跟踪的，并且其中，生成所述标记是基于所述第一书写工具与所述表面的接近度和所跟踪的第一用户的眼睛的凝视，其中，所述第一用户的眼睛的凝视是由所述处理单元基于由第一面向用户的检测器捕获的图像来跟踪的。

9.如权利要求8所述的方法，其中，生成所述标记包括：响应于识别出所述第一书写工具与所述表面接触，在与所述第一书写工具的末端的运动相对应的所述表面处沉积虚拟墨水。

10.如权利要求8所述的方法，其中，生成所述标记包括：响应于识别出所述第一书写工具与所述表面接触以及所述第一用户的眼睛的凝视聚焦在所述第一书写工具的末端，在与所述第一书写工具的末端的运动相对应的所述表面处沉积虚拟墨水。

11.如权利要求8所述的方法，进一步包括：响应于识别出所述第一书写工具的末端未与所述表面接触而中断生成所述标记，以及响应于识别出所述第一书写工具的末端已重新与所述表面接触而恢复生成所述标记。

12.如权利要求8所述的方法，进一步包括：

利用所述场景相机跟踪擦除器相对于所述表面的运动；以及

响应于识别出所述擦除器与所述表面接触以及所述第一用户的眼睛的凝视聚焦在所述擦除器上，擦除所述标记中与所跟踪的所述擦除器的运动相对应的至少一部分。

13.如权利要求12所述的方法，其中，所述擦除器包括虚拟擦除器。

14.如权利要求8所述的方法，进一步包括：

由所述处理单元基于由第二场景相机捕获的图像，跟踪第二书写工具的末端相对于所述表面的运动；

由所述处理单元基于由第二面向用户的检测器捕获的图像，跟踪第二用户的眼睛的凝视；以及

基于所述第二书写工具的末端与所述表面的接近度并且基于所述第二用户的眼睛的凝视，在所述电子设备处生成与所述第二书写工具的末端的运动相对应的标记。

15.一种电子设备，包括：

第一场景相机，所述第一场景相机被配置为跟踪第一指示器的末端相对于表面的运动；

第一面向用户的相机，所述第一面向用户的相机被配置为跟踪第一用户的眼睛的凝视；以及

处理器，所述处理器被配置为基于所述第一指示器的末端与所述表面的接近度和所述第一用户的眼睛的凝视，来生成标记，所述标记与所跟踪的所述第一指示器的末端相对于所述表面的运动相对应。

16.如权利要求15所述的电子设备，其中，所述处理器被配置为通过以下方式来生成所述标记：响应于识别出所述第一指示器与所述表面接触，来在与所述第一书写工具的末端的运动相对应的所述表面处沉积虚拟墨水。

17.如权利要求15所述的电子设备，其中，所述处理器被配置为通过以下方式来生成所述标记：响应于识别出所述第一指示器与所述表面接触并且所述第一用户的眼睛的凝视聚焦在所述第一指示器的末端，来在与所述第一指示器的末端的运动相对应的所述表面处沉积虚拟墨水。

18.如权利要求15所述的电子装置，其中，所述处理器被进一步被配置为响应于识别出所述第一指示器的末端未与所述表面接触而中断生成所述标记，以及响应于识别出所述第一指示器的末端已重新与所述表面接触而恢复生成所述标记。

19.如权利要求15所述的电子设备，其中，所述第一场景相机进一步被配置为跟踪擦除器相对于所述表面的运动，并且所述处理器进一步被配置为响应于识别出所述擦除器与所述表面接触以及所述第一用户的眼睛的凝视聚焦在所述擦除器上，擦除所述标记中与所跟踪的所述擦除器的运动相对应的至少一部分。

20.如权利要求15所述的电子设备，进一步包括：

第二场景相机，所述第二场景相机被配置为跟踪第二指示器的末端相对于所述表面的运动；以及

第二面向用户的相机，所述第二面向用户的相机被配置为跟踪第二用户的眼睛的凝视，其中，所述处理器进一步被配置为基于所述第二指示器的末端与所述表面的接近度以及所述第二用户的眼睛的凝视，来生成标记，所述标记与所跟踪的所述第二指示器的末端相对于所述表面的运动相对应。