CN106030458B - 用于基于凝视的媒体选择和编辑的系统和方法 - Google Patents

Abstract

本文呈现可以在可穿戴装置中实施的系统。所述系统经设计以允许用户编辑用所述可穿戴装置捕获的媒体图像。所述系统采用眼睛跟踪数据来控制各种编辑功能，无论是在捕获时间之前、在捕获时间期间或在捕获时间之后。还呈现用于确定用户或观看者可能较多关注媒体图像的哪些区段或区的方法。所述方法采用眼睛跟踪数据来对所捕获媒体指派突出性。在所述系统和所述方法两者中，眼睛跟踪数据可以与来自额外传感器的数据组合以便增强操作。

Description

用于基于凝视的媒体选择和编辑的系统和方法

技术领域

本发明大体上涉及用于监视人眼的设备、系统和方法，例如用于基于眼睛、眼睑和/或人的单眼或双眼的其它部分的移动而监视疲劳、有目的地通信和/或控制装置。此外，本发明更具体来说涉及允许用户编辑用可穿戴装置捕获的媒体图像的系统和方法。所述系统采用眼睛跟踪子系统，所述眼睛跟踪子系统将参考系投影到眼睛上且使投影的参考系与显示器的第二参考系关联以用于捕获用户的至少一只眼睛的眼睛跟踪数据来控制各种编辑功能，无论是在捕获时间之前、捕获时间期间或在捕获时间之后。

背景技术

随着便携式电子装置的激增且变得越来越强力且有能力，它们常用的特征已经转换。随着口袋大小的装置从纯通信装置转变为内容消费装置，变为内容创建装置，用户也已经朝向庞大的内容创建者转变。估计曾经捕获的所有照片中的百分之十是在2012年拍摄。类似的创建速率适用于视频录像。例如Go-Pro相机和Google眼镜等头部安装式视频捕获装置的出现加速了在用户的一般视野中捕获的视频。很遗憾，此过剩的图像捕获尚未提高所创建内容的质量。尤其对于视频录像，检查、处理、编辑和/或导出所关注剪辑所需的时间与所记录的录像的量成比例。因此，如果所捕获的录像的量增加，那么提取有价值的内容所需的时间量以大致线性型式增加。

对于本申请内的所有公开和权利要求，将“媒体图像”定义为视频图像和静止图像中的至少一者。

对于任何类型的媒体图像，内容创建者的典型目标是为特定观众产生合意的内容。“合意的”的定义可以基于观众而改变。特定关于视频图像，用于选择和编辑视频图像的一种方法或一组准则可能适用于一个观众，但可能不适用于另一观众。此外，在时间上接近其它图像捕获的图像出于不同原因可能是合意的。合意性和相关性的这些各种具体化可以简单地称为“突出性”。

出于任何数目的原因可以将媒体图像视为突出的：其可以含有著名的事件，其可以包含特定的朋友或亲戚，其可以含有其他人在社交媒体渠道中视为关注的事情，其可以是在特定位置捕获，和/或其可以含有用户希望捕获的情感。假定将眼睛跟踪添加到其它传感器允许用户在此过程期间进行某一水平的分析和控制，这在没有出现眼睛跟踪的情况下将是不可用的。

当讨论词语“编辑”既定的范围时需要谨慎考虑。在典型的照片和视频应用程序中，“编辑”通常意味着对图像的操纵，或者在视频的情况下，还包含将经修整的图像再布置为更合意的次序的过程。“编辑”多次不包含选择或标记将对其执行另外步骤的图像的步骤，即使那些步骤会被正式地视为编辑过程的部分也是如此。然而，为了本申请内的公开和权利要求的目的，“编辑”应包含选择和标记步骤。此外，在数字媒体创建之前的时期中，所有编辑(包含选择和标记)必然相当晚于捕获时间而发生。然而，视频和静止相机中现在包含允许编辑过程紧接在捕获时间之后或“在相机中”发生的特征。本文的公开描述了编辑过程可以如何转换为包含在捕获期间或甚至捕获之前的时间。然而，如此做法在实施本文描述的系统和方法之前尚未实际上可行。

很遗憾，对于许多用户，将即时捕获的视频图像转换为可消费的完成视频所需的时间承诺是对过程的终端障碍。在遇到此障碍之后存在两种常见结果。第一个是整个过程被放弃，且不曾有视频图像与观众共享。第二个常见结果是避开了所有编辑，且极低质量和相关性的图像与观众共享。对于创建者且对于观众，这两个结果都不是合意的。对于创建者，知道太难以将视频编辑为可呈现的形式后，这可能减少他或她记录视频的意愿。对于消费者，观看差的视频图像为他们提供负面增强，且可能使他们在未来不想观看视频图像。

随着技术进步，用户可以携带来创建内容的装置的形状因数也已经转换。内容创建装置曾经不含有其它技术。接着智能电话和平板计算机变得能够捕获视频，在先前不可想象的微型化的时期中展现。现在，头部安装式显示器开始变为可以作为消费型装置，表明可穿戴技术的转换，这允许创建内容而不是仅记录来自传感器或别处的数据。此外，隐形眼镜和人工视网膜是对人类视觉系统的可行增强。本文的系统和方法也适用于捕获视频、跟踪眼睛方向和编辑突出视频的这些模式，且被视为本发明的部分。由于用于通过眼睛跟踪确定用户的凝视的必要技术现在可以并入到可穿戴和植入式装置中，因此眼睛变为用于装置输入和编辑的可行工具。

发明内容

虽然从下文呈现的说明书和权利要求书的详尽阅读中将得到本发明的最佳理解，但提供本发明内容以便使读者了解本申请中描述的系统和方法的一些新的和有用的特征。当然，本发明内容不希望是本文的系统和方法的所有特征的完整陈述，也不希望以任何方式限制权利要求的广度，所述权利要求是在本申请的详细描述的末尾呈现。

本发明提供可以在可穿戴装置中实施的系统和方法。所述系统经设计以允许用户编辑用所述可穿戴装置捕获的媒体图像。所述系统可采用眼睛跟踪数据来控制各种编辑功能，无论是在捕获时间之前、在捕获时间期间或在捕获时间之后。还呈现用于确定用户或观看者可能较多关注媒体图像的哪些区段或区的方法。所述方法可采用眼睛跟踪数据来对所捕获媒体指派突出性。在所述系统和所述方法两者中，眼睛跟踪数据可以与来自额外传感器的数据组合以便增强操作。

鉴于前述内容，本申请描述用于编辑媒体图像的设备、系统和方法，其包括：可穿戴装置；场景相机，其安装于所述装置上以使得所述场景相机捕获用户的周围环境的媒体图像；眼睛跟踪子系统，其将参考系投影到眼睛上且使所述投影的参考系与显示器的第二参考系关联以用于捕获用户的至少一只眼睛的眼睛跟踪数据；以及一个或多个处理器，其与所述场景相机和眼睛跟踪子系统通信以用于至少部分地基于所述眼睛跟踪数据而标记由所述场景相机捕获的媒体图像。

在另一实施例中，所述设备、系统和方法可以定量地评估由接近定位的可穿戴装置确定的视频图像中的比较突出性，目的是从不同视点记录相关事件，包含：多个可穿戴装置，其经配置以由个别用户穿戴，每一可穿戴装置包含：安装于其上的场景相机，使得所述场景相机捕获个别用户的周围环境的媒体图像；一个或多个传感器；以及通信接口；服务器，其用于经由每一可穿戴装置的通信接口与所述可穿戴装置通信。

在再另一实施例中，提供一种用于选择或编辑来自由用户穿戴的可穿戴装置的媒体图像的方法，包含：使用所述可穿戴装置上的场景相机捕获所述用户的周围环境的媒体图像；使用所述可穿戴装置上的眼睛跟踪子系统捕获用户的至少一只眼睛的眼睛跟踪数据；以及至少部分地基于从所述眼睛跟踪数据识别的至少一个眼睛事件的动作而进行选择和编辑所述媒体图像中的至少一者。

此处呈现的本发明的方面和应用在下文中在本发明的附图和详细描述中描述。除非具体说明，否则希望说明书和权利要求书中的词语和短语被赋予其平常、普通且为适用领域的普通技术人员所习惯的意义。本发明人完全了解他们在需要时可以是他们自己的词典编纂者。本发明人作为其自己的词典编纂者明确地选择在说明书和权利要求书中仅使用术语的平常和普通意义，除非他们清楚地另外陈述，且接着进一步明确阐述所述术语的“特殊”定义且解释其如何不同于平常和普通意义。在没有应用“特殊”定义的意图的这些清楚陈述的情况下，本发明人的意图和希望是将术语的简单、平常和普通意义应用于说明书和权利要求书的解释。

附图说明

通过参考当结合以下说明性附图考虑时的详细描述可以得出本发明的更完整理解。在附图中，相同参考标号贯穿附图指代相同元件或动作。在附图中说明本发明的当前示范性实施例，其中：

图1是医院的患者的透视图，所述患者佩戴用于基于患者的眼睛和/或眼睑的移动而监视患者的设备的实施例。

图2是图1的实施例的放大透视图，包含检测装置和处理盒。

图3是用于基于人的眼睛和/或眼睑的移动而监视人的另一系统的透视图。

图4是图3的框架上的相机的细节。

图5A到5I是可以用图3的系统监视的若干参数的图形显示。

图6是从图3的框架上的相机输出的视频的细节。

图7是示出用于处理来自五元件传感器阵列的信号的电路的示范性实施例的示意图。

图8A和8B示出并入到飞行员头盔中的用于监视眼睛移动的设备的另一实施例。

图9是可以包含于图8A和8B的设备中的相机的示意图。

图10A和10B是图形图像，示出了来自多个相机的同时输出，分别示出了人的眼睛张开和闭合。

图11A到11C是图形显示，示出了正创建以识别瞳孔的周边以促进监视眼睛移动的椭圆形图形。

图12A和12B是流程图，示出了用于对穿戴用于监视人眼睛的移动的设备的人进行警觉测试的方法。

图13是流程图，示出了用于基于眼睛的移动而控制计算装置的方法。

图14是用于将光经皮传输到眼睛且检测从眼睛的瞳孔退出的所发射光的设备的前视图。

图15是用于基于人的眼睛和/或眼睑的移动而监视人的设备的又一实施例的透视图。

图16是示出图15的设备获取穿戴设备的人的眼睛的图像的细节。

图17示出可以包含于本文的系统和方法中的系统架构的示范性实施例。

图18示出用于本文的系统和方法的架构的示范性实施例。

图19是示出可用以选择和/或编辑媒体图像的示范性因素的流程图。

图20是示出用于共享媒体图像的示范性过程的流程图。

具体实施方式

转到附图，图1示出了床12上的患者10佩戴用于检测患者10的眼睛和/或眼睑移动的检测装置30。检测装置30可以包含本文描述的任何生物传感器装置，其可用于监视眼睛的主动移动，例如用于有目的的通信，用于监视非主动眼睛移动，例如睡意或其它条件，和/或用于控制一个或多个电子装置(未图示)。检测装置30可以耦合到处理盒130，所述处理盒将检测到的眼睛和/或眼睑移动转换为数据流、可理解的消息和/或其它信息，这些可以例如使用视频显示器50而传送到医疗护理提供者40。

转到图2，示出了设备或系统14的示范性实施例，其包含可瞄准的且可聚焦的检测装置30，所述装置可附接到常规的一副眼镜20。眼镜20包含附接到框架22的一对透镜21，所述框架包含在透镜21之间延伸的桥托24，以及承载耳承26的侧部件或边撑件25，以上全部是常规的。替代地，因为透镜21可能不是必要的，所以框架22也可能不具有透镜21。

检测装置30包含用于附接到侧部件25中的一者的夹具或其它机构27，以及上面安装有一个或多个发射体32和传感器33(示出一个)的可调整臂31。发射体32和传感器33成预定关系而安装，使得发射体32可以朝向佩戴眼镜20的人的眼睛300发射信号，且传感器33可以检测从眼睛300和眼睑302的表面反射的信号。替代地，发射体32和传感器33可以彼此邻近而安装。

在一个实施例中，发射体32和传感器33例如在红外范围内分别产生和检测连续或脉动的光，以最小化对佩戴者的正常视觉的分心或干扰。发射体32可以在预定频率下以脉冲发射光，且传感器33经配置以检测处于预定频率的光脉冲。此脉冲操作可以减少发射体32的能量消耗，和/或可以最小化对其它光源的干扰。

替代地，可以使用超出可见光谱或在可见光谱内的光(例如紫外光)的其它预定频率范围，或者例如无线电波、声波等其它形式的能量。

处理盒130通过电缆34耦合到检测装置30，所述电缆在其中包含一个或多个电线(未图示)。处理盒130可以包含中央处理单元(CPU)和/或其它电路。处理盒130还可以包含用于控制发射体32和/或传感器33的控制电路，或者CPU可以包含内部控制电路。

举例来说，在一个实施例中，控制电路可以控制发射体32以产生在预定频率下脉动的闪烁红外信号，从高达每秒数千个脉冲到低达每秒约4到5个脉冲，例如每秒至少约5到20个脉冲，从而促进短达每次眨眼约200毫秒的无目的或有目的眨眼的检测。可以控制传感器33以检测仅处于对发射体32的闪烁频率特定的预定频率的光脉冲。因此，通过将发射体32和传感器33同步到预定频率，系统10可以在多种环境条件下使用，且输出信号大体上不受例如明亮日光、完全黑暗、环境红外光背景或者在不同闪烁频率下操作的其它发射体的影响。可以调整闪烁频率以最大化对每单位时间眨眼次数(例如，每分钟约十到约二十次眨眼)、每次眨眼的持续时间(例如，约200毫秒到约300毫秒)和/或PERCLOS(即，完全或部分闭合眼睑的时间百分比)的有效测量，或者最大化系统的效率，同时将功率消耗保持为最小值。

控制电路和/或处理盒130可以包含手动和/或软件控制件(未图示)，用于调整由发射体32发射的光的频率、焦点或强度，断开和接通发射体32，调整传感器33的阈值灵敏度，和/或允许关于从闭合眼睑的最大红外反射的自聚焦，如本领域的技术人员将了解。

另外，处理盒130还可以包含用于对发射体32、传感器33、CPU和/或处理盒130中的其它组件提供电力的电源。处理盒130可以由常规DC电池供电，例如九伏电池或可再充电的锂、镉或氢产生电池，和/或由附接到系统14或建置于系统14内的太阳能电池供电。替代地，适配器(未图示)可以连接到处理器盒130，例如常规AC适配器或十二伏汽车点烟器适配器。

替代地，接收器156可以直接耦合到多种装置(未图示)，例如无线电或电视控制件、灯、风扇、加热器、电机、振动触觉座椅、遥控交通工具、交通工具监视或控制装置、计算机、打印机、电话、生命线单元、电子玩具或增强性通信系统，以提供人与装置之间的直接接口。

在额外替代方案中，可以提供一个或多个透镜或滤光器以用于控制由生物传感器装置、个别发射体和/或检测器发射和/或检测的光。举例来说，所发射的光的角度可以用棱镜或其它透镜来改变，或者光可以通过狭缝而聚集或聚焦以产生指向眼睛的预定形状的光束，或由传感器接收反射光。可以提供透镜阵列，其可调整以控制所发射的光束的形状(例如，宽度等)或调整传感器的灵敏度。透镜可以与发射体一起封入塑料和类似物中，或者提供为单独的附件，如本领域的技术人员将了解。

转到图3，示出了用于监视眼睛移动的系统810的又一实施例。一般来说，系统810包含框架812，所述框架可包含桥件814和一对耳支撑件816、一个或多个发射体820、一个或多个传感器822，和/或一个或多个相机830、840。框架812可以包含一对透镜(未图示)，例如处方透镜、遮阳透镜或保护透镜，但它们可以省略。替代地，所述系统可以提供于用户的头部可以佩戴的其它装置上，例如飞行员的氧气面罩、保护性眼睛护具、患者的呼吸机、水下呼吸器或游泳面罩、头盔、帽子、头带、无顶帽、保护性头部护具，或在保护头部和/或面部的封闭套件和类似物(未图示)内。系统的组件可以提供于装置上的一般使对用户的视觉和/或装置的正常使用的干扰最少的多种位置处。

如图示，发射体820的阵列提供于框架812上，例如成垂直阵列820a和水平阵列820b。另外或替代地，发射体820可以用其它配置提供，例如圆形阵列(未图示)，且可以或可以不包含滤光器和/或漫射器(也未图示)。在示范性实施例中，发射体820是经配置以发射处于预定频率的脉冲的红外发射体，类似于本文别处描述的其它实施例。发射体820可以布置于框架上，使得它们将参考系850投影到用户面部的包含用户的一只眼的区上。如图示，所述参考系包含一对交叉带850a、850b，这将所述区划分为四个象限。在示范性实施例中，在主要凝视期间，即当用户正一般笔直向前看时，所述交叉带的相交点可以安置于大体上对应于眼睛瞳孔的位置处。替代地，可以提供其它参考系，例如包含垂直和水平分量、角度和径向分量或者其它正交分量。任选地，甚至保持大体上静止的一个或两个参考点可以提供用于确定眼睛的相对移动的足够参考系，如下文进一步阐释。

传感器822的阵列也可以提供于框架812上，用于检测来自发射体820的从用户的眼睑反射的光。传感器822可以产生具有识别眼睑是闭合或是打开的强度的输出信号，类似于本文别处描述的其它实施例。传感器822可以邻近于相应发射体820安置以用于检测从眼睑的相应部分反射的光。替代地，传感器822可以仅以垂直阵列来提供，例如沿着桥件814，用于监视眼睑闭合的量，类似于本文别处描述的实施例。在又一替代方案中，发射体820和传感器822可为固态生物传感器(未图示)，其在单个装置中提供发射和感测功能两者。任选地，例如如果相机830、840提供足够的信息，那么可以消除发射体820和/或传感器822，如下文进一步阐释。

可以提供电路和/或软件以用于使用由传感器阵列产生的信号测量PERCLOS或其它参数。举例来说，图7示出了可以用于处理来自五元件阵列的信号以例如获得PERCLOS测量值或其它警示参数的示范性示意图。

返回到图3，系统810还包含一般朝向用户的单眼或双眼定向的一个或多个相机830。每一相机830可以包含光纤束832，所述光纤束包含安装到或邻近桥件814(或在框架812上的别处，例如在最小化对用户视觉的干扰的位置)的第一末端，以及耦合到检测器838(例如，CCD或CMOS传感器)的第二末端837，所述检测器可以将图像转换为数字视频信号。物镜834可以提供于光纤束832的第一末端上，如图4中所示，以例如将图像聚焦到光纤束832上。任选地，光纤束832可以包含一个或多个照明光纤，所述照明光纤可邻近透镜834而终止以提供发射体836，也如图4中所示。照明光纤可以耦合到光源(未图示)，例如类似于图9中示出且下文进一步描述的实施例。虽然图3中示出仅一个相机830(例如，用于监视用户的左眼)，但将了解，可以对称配置提供另一相机(未图示)以用于监视用户的另一只眼(例如，右眼)，包含类似的组件，例如光纤束、透镜、发射体和/或检测器(但任选地，相机可以共享共同的检测器，如下文进一步阐释)。

任选地，可能合意的是具有例如从面对眼睛的不同角度指向每一只眼的多个相机(未图示)。任选地，这些相机可以包含光纤延伸件、棱镜透镜和/或反射镜(例如，反射红外光)，透镜的面对眼睛的侧上的不可穿透或阻挡的镜射表面，和类似物。可以提供这些配件以用于按所需方式对传输到相机的眼睛的图像进行弯曲、转动、反射或反转。

相机830可以经配置以用于检测由发射体820和/或836发射的光的频率，例如红外光或超出可见范围的其它光。任选地，如果光纤束832包含用于发射体836的一个或多个照明光纤，那么可以消除框架812上的发射体820。在此实施例中，也可能消除传感器822，且使用相机830来监视用户眼睛的移动，例如如下文进一步阐释。任选地，系统810可以包含远离用户头部而定向的第二相机840，例如用以监视用户的周围环境，例如在用户面部正前方的区域。相机840可以包含类似于相机830的组件，例如光纤束841、透镜(未图示)和/或发射体(也未图示)。任选地，相机830可以充分灵敏以在环境照明条件下产生图像，且可以省略发射体。相机840可以耦合到如图3中所示的单独检测器839，或者可以与相机830共享检测器838，如下文进一步阐释。

耳支撑件816中的一者或两者可以包含面板818，用于安装一个或多个组件，例如控制器或处理器，例如示范性处理器842、发射器844、天线845、检测器838、839和/或电池846。处理器840可以耦合到发射体820、传感器822和/或相机830、840(例如，到检测器838、839)以用于控制其操作。发射器844可以耦合到处理器842和/或检测器838、839以用于接收来自传感器822和/或相机830、840的输出信号，例如以将信号发射到远程位置，如下文描述。替代地，发射器844可以直接耦合到来自传感器822和/或相机830、840的输出引线。框架812还可以包含例如在耳支撑件816上的手动控制件(未图示)，例如以断开和接通电力，或调整发射体820、传感器822和/或相机830、840的强度和/或阈值。

如果需要，则系统810还可以包含位于框架812上的一个或多个额外传感器，例如生理传感器，例如用于与用户的认知、情感和/或行为状态相关的额外生物生理或神经生理数据的整合及交叉相关。所述传感器可以耦合到处理器842和/或发射器844，以使得来自传感器的信号可以被监视、记录和/或发射到远程位置。举例来说，可以提供一个或多个位置传感器852a、852b，例如用于确定框架812且因此用户头部的空间定向。举例来说，可以提供活动图形化传感器(actigraphic sensor)以测量头部的倾斜或移动，例如监视用户头部是否向前下垂或向侧面倾斜。可以提供声学传感器(例如，麦克风854)用于检测环境噪声或由用户产生的声音。

另外，系统810可以包含位于框架812上的一个或多个反馈装置。这些装置可以向用户提供反馈，例如当检测到预定条件(例如，睡意或无意识的状态)时警示和/或唤醒用户。反馈装置可以耦合到可控制其激活的处理器842。举例来说，可以在可接触用户的位置处(例如，在耳支撑件816上)提供机械振动器装置860，所述装置可通过皮肤接触而提供触觉振动刺激。可以提供电极(未图示)，其可产生相对低功率电刺激。可见的白色或有色光发射体，例如一个或多个LED，可以提供于所需位置处，例如桥件814上方。替代地，可以提供例如蜂鸣器或其它警报的音频装置862，类似于本文别处描述的其它实施例。在又一替代方案中，可以在框架812上，例如在桥件814上或邻近于桥件814而提供芳香发射体。

另外或替代地，可以提供一个或多个反馈装置，其与框架812分开，但以能够向用户提供反馈响应的方式定位。举例来说，音频、视觉、触觉(例如，振动座椅)或嗅觉发射体可以提供于用户的附近，例如本文别处描述的任何装置。在又一替代方案中，可以提供热或冷产生装置，其能够对用户产生热学刺激，例如遥控风扇或空调单元。

系统810还可以包含远离框架812的组件，类似于本文别处描述的其它实施例。举例来说，系统810可以包含位于远离框架812的位置的接收器、处理器和/或显示器(未图示)，例如在同一房间中、在附近的监视站，或在更远的位置。接收器可以接收由发射器842发射的信号，包含来自传感器822、相机830、840或框架812上提供的任何其它传感器的输出信号。

处理器可以耦合到接收器以用于分析来自框架812上的组件的信号，例如以准备所述信号用于图形显示。举例来说，处理器可以准备来自传感器822和/或相机830、840的信号用于在监视器上显示，从而允许用户被他人监视。同时，可以在单个或单独显示器上显示其它参数。举例来说，图5A到5I示出了指示可位于框架812上的各种传感器的输出的信号，所述信号可以沿着共同时间轴显示或者另外相关到例如用户眼睛的移动和/或睡意水平。处理器可以结合其它感测到的参数而叠加或另外同时显示视频信号，以允许医生或其它个体监视这些参数且个人地使这些参数相关到用户的行为。

可以处理来自相机830的视频信号以监视各种眼睛参数，例如瞳孔大小、位置(例如在由交叉带850界定的四个象限内)、眼睛跟踪移动、眼睛凝视距离和类似参数。举例来说，因为相机830可能够检测由发射体820发射的光，所以相机830可检测由发射体投影到用户眼睛的区上的参考系。图6示出了来自系统中包含的相机的示范性视频输出，所述系统具有以垂直布置安置的二十个发射体。

相机可以检测布置为垂直带的二十个离散光区。相机还可以检测“闪耀”点G和/或移动的明亮瞳孔P。因此，可以与闪耀点G相关和/或与垂直带1到20相关来监视瞳孔的移动。

因为发射体820固定到框架812，所以参考系850可以相对于用户保持大体上静止。因此，处理器可以在相对于参考系850的正交坐标(例如，x-y或角度-半径)方面确定瞳孔的位置。替代地，如果消除参考系，那么可以相对于用户眼睛的任何静止“闪耀”点或其它预定参考点来确定瞳孔的位置。举例来说，相机830自身可以将光点投影到眼睛上，所述光点可被反射且由相机检测。此“闪耀”点可以保持大体上静止，因为相机830固定到框架812，从而提供可用以确定眼睛的后续相对移动的所需参考点。

返回到图3，在替代实施例中，相机832、840可以耦合到单个检测器(未图示)，类似于图9中所示的配置。光纤束832、841可以耦合到一个或多个透镜以用于将来自相机830、840的图像递送和/或聚焦到检测器的相应区上。检测器可以是CCD或CMOS芯片，其在横截面中例如约五与十毫米(5-10mm)之间具有有效成像区域。在示范性实施例中，检测器的有效成像区域可以是正方形、矩形、圆形或椭圆形，只要存在用于接收来自相机830和相机840的同时图像的足够区域即可。图10A和10B中示出且下文进一步描述显示来自相机830、840的同时视频图像的示范性输出。在此替代方案中，通过足够的分辨率和处理，可能从系统810消除发射体820和/或传感器822。

转到图8A和8B，示出设备910的另一实施例，用于监视佩戴设备910的个体的眼睑移动。如本文别处描述，设备910可以用作生物传感器、通信器和/或控制器，和/或可以包含在系统中，例如用于监视用户的单眼或双眼的主动有目的和/或非主动无目的移动。

如图示，设备910包含可佩戴于用户头部上的头盔912，以及生物传感器组合件920。头盔912可以是标准飞行员头盔，例如由直升机或喷气式飞机飞行员使用的那些头盔，例如包含安装于其上的一对夜视管或其它护目镜914。任选地，头盔912可以包含一个或多个平视显示器，例如安装于单眼或双眼前方或邻近处的小型平板LCD(未图示)。

替代地，头盔912可以用经配置以佩戴于用户头部上的框架或其它装置代替。举例来说，图15示出了设备1010的示范性实施例，其包含框架1012和生物传感器组合件1020，如本文别处进一步描述。一般来说，框架1012包含桥件1012a、界定开口1012c的在每一只眼上方或周围延伸的边沿1012b，和/或一对耳支撑件1012d，类似于本文描述的其它实施例。框架1012可以包含安装于开口1012c内或跨越开口1012c的一对透镜(也未图示)，例如处方透镜、遮阳透镜和/或保护透镜，但它们对于设备1010的操作不是必要的。举例来说，所述透镜可以包含蓝色或灰色滤光器、偏光透镜和类似物。在示范性实施例中，可以选择透镜以过滤对应于由相机1024检测到的带宽的光的预定带宽，例如以减少由相机1024获取的图像中发生的过饱和、闪耀和类似情况。

替代地，一个或两个透镜可以用显示器来代替，例如相对小型平板LCD，或者可以包含其上可以投影图像的区，例如类似于平视显示器(未图示)，其可用作模拟器和/或娱乐装置，如下文进一步阐释。在另外的替代方案中，本文的设备可以包含可佩戴于用户头部上的其它装置，例如帽子、无边帽、头带、无顶帽、保护性眼睛和头部护具、面罩、氧气面罩、呼吸机面罩、水下呼吸器或游泳面罩，和类似物(未图示)。

设备910或1010的组件可以提供于头盔912或框架1012(或其它头部佩戴装置)上的多种位置处，以例如在佩戴设备910或1010的同时一般最小化对用户视觉和/或正常活动的干扰，如本文别处进一步描述。

如图8A和8B中所示，生物传感器组合件920包含例如使用魔术贴(Velcro)、绑带和/或其它临时或可移除式连接器(未图示)安装于头盔912的顶部上的相机922。这可允许相机922在不使用时移除。替代地，相机922可以大体上永久连接到头盔912，直接并入到头盔912(或其它框架)中，连接到头部安装式电视、LCD监视器或其它数字显示器和类似物，类似于本文描述的其它实施例。

生物传感器组合件920还包含一个或多个光纤束924，所述光纤束从相机922延伸到头盔912的前方以提供用于成像用户的眼睛的一个或多个“内部相机”。示出一对光纤束924，其从相机922延伸到护目镜914的相应管。在示范性实施例中，光纤束924可以足够长以从相机922延伸到护目镜914，例如在约十二与十八英寸长之间，但替代地，光纤束924可以更长，例如在约二与四英尺长之间，或者更短，这取决于相机922在头盔910上的位置(或者如果相机922与头盔910分开地提供)。

光纤束924的末端926可以永久或可移除地附接到护目镜914，例如附接到托架916，所述托架连接到护目镜914或另外从护目镜914延伸。替代地，光纤束924可以使用夹子、紧固件、粘合剂和类似物(未图示)临时或大体上永久固持到护目镜914上。如图示，光纤束924的末端926安装于护目镜914下方且朝向用户的眼睛向上成角度。末端926的角度可以是可调整的，例如从约四十五度的基本角度向上或向下约十五度。替代地，光纤束924的末端926可以提供于头盔912和/或护目镜914上的其它位置，仍指向用户的眼睛。

额外参考图9，每一光纤束924可以包含光纤图像导件928，即一束光学成像纤维，以及照明光纤束930，其例如封入收缩管道(未图示)中，在相机922与光纤束924的末端926之间延伸。每一照明光纤束930可以包含耦合到例如相机922内的光源的一个或多个光纤。举例来说，相机922可以包含发光二极管(LED)外壳932，所述外壳包含一个或多个LED 934(为了简单而示出一个)，且照明光纤束930可以耦合到LED外壳932以将光递送到末端926。

由光源934发射的光可以在正常人类视觉范围之外，例如在红外范围中，例如具有在约八百四十与八百八十纳米(840-880nm)之间的标称输出波长，使得所发射的光不会大体上干扰用户的正常视觉。所述光源可以大体上连续产生光或处于所需频率的光脉冲，类似于本文别处描述的实施例。举例来说，控制器(未图示)可以耦合到光源934以在需要时调整所发射脉冲的频率、持续时间和/或振幅中的一者或多者。

替代地，可以提供用于照明用户的面部和/或单眼或双眼的其它光源来替代照明光纤束930。举例来说，类似于本文别处描述的实施例，可以提供一个或多个发射体(未图示)，例如沿着头盔912和/或护目镜914的一个或多个区安置的发射体阵列。

每一光纤束924的末端926可以包含一个或多个透镜，例如物镜936(图8A中所示)，所述透镜可以所需方式例如朝向用户的眼睛而聚焦图像导件928。每一图像导件928可以具有向前视线(零度(0°)视野)，且物镜936可以提供较宽的视野，例如约四十五度(45°)。任选地，通过调整物镜936，所述视线可以是可调整的，例如在约三十与六十度(30°-60°)之间。此外，物镜936可以将观看距离优化到例如约两英寸(2in.)，从而改善用户眼睛上的聚焦。因此，图像导件928可以将用户眼睛的图像通过光纤束924载运到相机922。

如图9中所示，相机922可以包含一个或多个透镜，例如放大区段938，用于将来自图像导件928(和/或相机944)的图像递送和/或聚焦到成像装置940的有效区域942上。成像装置940可以是提供用于接收图像的二维有效区域的多种已知装置，例如CMOS或CCD检测器。在示范性实施例中，成像装置940可以是CMOS装置，例如由Sensovation制造的型号cmosSamBa HR-130的装置，或者由Micron Imaging制造的型号MI-MV13的Fast Camera 13。放大区段938可以经由C型卡口或其它连接(未图示)机械地配合到相机922。

在示范性实施例中，每一图像导件928可能够提供多达一万到五万(10,000到50,000)像素的图像数据，例如类似于本文别处描述的光纤束，其可投影到成像装置940的有效区域942上。对于图8A和8B中所示的设备910，来自两个光纤束924的图像投影到单个成像装置940上，如图9中所示，即使得来自用户的每一只眼的图像占据有效区域942的少于一半。

任选地，设备910可以包含“外部相机”944，所述相机远离用户头部而定向，例如以监视用户的周围环境，类似于本文别处描述的实施例。

举例来说，如图8A中所示，可以提供从相机922延伸的另一光纤束945。如图示，光纤束945“向前”定向，即大体上与当用户笔直前视时候在相同的方向上，且终止于微透镜946。此光纤束945可以相对短和/或大体上刚性的，使得其视野相对于头盔912是大体上固定的。替代地，外部相机944可以提供于头盔912和/或护目镜914上的其它位置处，例如包含柔性光纤束，类似于上文描述的外部相机840。因此，外部相机944可以提供远离用户的图像，例如在用户面部的笔直前方。

外部相机944可以或可以不包含一个或多个照明光纤，但可以包含图像导件，所述图像导件可以例如经由放大区段938或者单独地耦合到成像装置940。因此，来自外部相机944的图像可以递送到与从图像导件928接收的用户的每一只眼的图像相同的有效区域942上，类似于本文描述的其它实施例。此配置可以允许或促进时间和/或空间同步，从而允许在外部相机图像上上覆或叠加内部相机图像，或者通过“三角测量”或用于眼睛跟踪目的的其它算法以相对于用户头部方向位置识别用户的眼睛在看着“何处”、“什么”和/或“多久”(凝视的持续时间)。

因此，相机922可以同时从一个或多个“内部相机”，即从光纤束924以及从外部相机944捕获图像。这可以确保由每一装置捕获的图像彼此同步，即在时间上链接在一起，使得在特定时间拍摄的一只眼睛的图像对应于在大体上相同时间拍摄的另一只眼睛的图像。此外，这些图像可以与来自其它传感器(例如，一个或多个生理传感器)的数据大体上同步，这可以增强监视和/或诊断用户和/或预测用户行为的能力。由于此同步，因此可以相对高速率捕获图像数据，例如在约五百与七百五十帧/秒或赫兹(500-750Hz)之间。替代地，可以提供单独的检测器，其捕获图像数据，所述图像数据可以例如通过接收所述数据的处理器而同步。在此替代方案中，可以使用较慢的捕获速率，例如在约三十与六十赫兹(30-60Hz)之间，以在捕获之后通过处理器或其它装置来促进同步。任选地，相机922和/或相关联处理器可能够捕获相对缓慢的眼度量参数，例如以约十五与六十(15-60)帧/秒之间的速率。

图10A和10B说明来自相机的示范性输出，所述相机接收来自两个内部相机2010和一个外部相机2020(或来自对来自单独相机和/或检测器的图像进行编译的装置)的同时图像信号。如图示，内部相机指向用户的每一只眼，且外部相机向外指向用户的周围环境(即，大体上在用户面部的笔直前方)。在图10A中，用户的两只眼睛2010L、2010R是打开的，且外部相机图像2020示出了在用户前方的房间的水平视图。相反，在图10B中，用户的一只眼睛2010L是完全闭合的，且另一只眼睛2010R是部分闭合的，使得眼睑覆盖大部分瞳孔。外部相机图像2020示出了用户的头部已经开始向左倾斜且向前下垂。

返回到图8A、8B和9，来自相机922(和/或相机944)的图像可以经由电缆948从设备910传送(在图8A中最佳所见)。举例来说，成像装置940可以将来自有效区域942的光学图像转换为电信号，所述电信号可以经由电缆948载运到一个或多个处理器和/或控制器(未图示)，类似于本文别处描述的其它实施例。替代地，来自光纤束924和/或外部相机944的图像可以从设备910载运到一个或多个远程装置，例如相机、检测器和/或处理器(未图示)，类似于本文描述的其它实施例。在此替代方案中，束924可以在约二与六英尺长之间，例如提供足够长度以允许用户正常移动，还保持耦合到远程装置。

替代地或另外，设备910可以包含例如使用蓝牙或其它协议的无线发射器(未图示)，例如短程或长程射频(RF)发射器，所述发射器可以耦合到相机922。所述发射器可以位于相机922中或头盔912上的别处。所述发射器可以将表示图像数据的图像信号发射到远程位置处的接收器，类似于本文别处描述的其它实施例。在又一替代方案中，替代于发射器和/或电缆948或除了发射器和/或电缆948之外，设备910可以包含用于存储图像数据的存储器(也未图示)。举例来说，数据可以存储在记录器装置中，例如类似于飞机中使用的“黑匣子”记录器，使得记录器可以在稍后时间被检索，例如用于在交通事故、医疗事故和类似情况之后进行分析。

任选地，设备910可以包含一个或多个控制器(未图示)，例如在相机922内，和/或在头盔912上或头盔912中，用于控制设备910的各种组件。举例来说，控制器可以耦合到一个或多个LED 934，使得LED 934以预定脉冲或可变脉冲发光，例如改变脉冲的频率、持续时间和/或振幅中的一者或多者，以例如减少设备910的能量消耗。另外，设备910可以包含一个或多个电源，例如电池和/或电缆，用于对设备910的一个或多个组件提供电力。举例来说，在相机922中可以提供一个或多个电池(未图示)以用于对成像装置940和/或LED 934提供电力。

转到图15，示出了替代的生物传感器组合件1020，其可以提供于本文描述的任何其它实施例上，和/或可以任选地包含本文描述的其它实施例的任何组件。不同于组合件920，多个光源1030提供于框架1012上的若干位置处。举例来说，每一光源1030可以包含经配置以用于发射相对窄或宽带宽的光的发光二极管，例如处于约640到700纳米之间的一个或多个波长的红外光、宽带可见光(例如，白光)和类似的光。光源1030可以包含例如用于照明用户的眼睛和/或面部的透镜、漫射器或其它特征(未图示)，类似于本文的其它实施例。光源1030可以彼此间隔开，例如在一个或多个垂直阵列中或者在框架1012中的相应开口1012c周围定位的其它阵列中。

另外，可以提供个别微相机1024、1046以用于监视用户的单眼或双眼，且任选地监视用户的周围环境。举例来说，如图示，CMOS、CCD或其它检测器1024可以提供于框架1012上，例如每一开口1012c下方，此检测器1024朝向佩戴设备1010的用户的相应眼睛定向。如图16中所示，每一检测器1024可以从框架1012中的相应开口1012c偏移，以例如使检测器1024远离佩戴框架的人的一般视野。举例来说，如图示，所述框架可以一般界定延伸穿过开口1012c的眼睛凝视轴线1013，例如正交于由框架1012一般界定的平面。眼睛凝视轴线1013可以对应于佩戴框架的人在通过开口1012c笔直前视时的方向。检测器1024可以安装到框架1012，使得检测器1024的中心线成像轴线1025(例如，识别检测器1024的有效区域的视野的中心)从眼睛凝视轴线1013偏移。在一个实施例中，眼睛凝视轴线1013和中心线成像轴线1025可以例如在调整检测器1024的定向之前或之后彼此相交，从而界定所述轴线之间的锐角。

举例来说，每一检测器1024可以提供于转座1026中，所述转座可允许对检测器1024的定向的调整。一个或多个透镜、滤光器和类似物(未图示)也可以在检测器1024上方紧固到转座1026，或例如在其有效区域上方直接紧固到检测器1024，类似于相机922。

转座1026可以围绕一个或多个轴线是可调整的，例如可围绕朝向用户的眼睛或面部定向的枢转轴线而旋转，例如对角向上且远离框架1012，例如中心线成像轴线1025。转座1026可以允许对检测器1024的定向的调整，以例如使个别用户的眼睛在检测器1024的有效区域内位于中心。转座1026可以包含紧定螺钉、配合螺纹、轴环和/或其它特征(未图示)以用于在所需定向上选择性锁定转座1026(且因此检测器1024)，还允许在需要时释放和调整转座1026。

检测器1024可以包含用于将图像聚焦到检测器1024的有效区域上的透镜(未图示)。任选地，滤光器(未图示)可以提供于检测器1024上，例如用于从由检测器1024获得的图像过滤掉不需要的波长的光。举例来说，所述滤光器可以减小强度或完全移除原本在检测器1024的有效区域上接收的可见光和/或紫外光，所述光可原本产生图像上的闪耀或其它不需要的假象，可使检测器1024饱和，及类似情况。

另外或替代地，有色透镜可以提供于框架1012上以过滤掉不需要的带宽的外部光，所述光可原本产生眼睛的图像上的闪耀或其它假象，如本文别处描述。举例来说，所述透镜可以在使用期间静止地或动态地减小光强度或移除所需波长的光，所述光可原本造成瞳孔、眼睑或正监视的眼睛的其它结构的不需要的反应。在进一步替代方案中，检测器1024可以经配置以仅用于捕获所需带宽的光内的图像，例如在约640到700纳米之间的波长的红外光。

另外，一个或多个外部相机1046、1047可以提供于框架1012上，用于获取佩戴设备1010的人的周围环境的图像。如图示，第一检测器1046安装到框架1012的桥件1012a且远离用户而定向，类似于先前实施例。检测器1046可以固定地安装到框架1012，或者可以是可调整的，例如包含转座、可弯曲尖端和类似物，类似于本文的其它检测器或相机。

任选地，例如除了检测器1046之外或替代于检测器1046，一对检测器1047可以例如提供于边沿1012b的左侧和右侧上。举例来说，左和右检测器1047可以促进由检测器1047在三个维度中获取的图像中的物体的三角测量或其它识别。

外部相机1046、1047在需要时可以具有类似或不同的视野、分辨率、焦距或其它特征。举例来说，不同的外部相机可以具有相对较宽或较窄的视野，可以沿着不同轴线延伸以用于获取佩戴框架的人周围的不同区域的图像，和/或可以包含较高和较低的相对分辨率、焦距和类似物。举例来说，相对低分辨率、宽角度第一检测器可以结合相对高分辨率、窄角度第二检测器而使用，例如使得来自第一检测器的图像可以用于一般分析，而来自第二检测器的图像可以在需要较高粒度时使用。另外或替代地，第一和第二检测器可以具有不同的焦距，例如使得一个检测器比另一检测器更近地获取物体或场景的图像。

每一检测器1024、1046可以耦合到个别电缆、一组电线和类似物，使得由相应检测器1024、1046产生的信号(即，对应于在检测器1024、1046的有效区域上接收的图像)被传送离开检测器1024、1046。举例来说，如图15中所示，电缆1048可以从框架1012延伸，其包含耦合到检测器1024、1046的个别电缆或电线组。电缆1048还可以包含耦合到相应光源1030的个别电缆或电线组。所述个别电缆或电线组可以例如从相应检测器1024、1046或光源1030沿着边沿1012b嵌入于框架1012中直到捕获于电缆1048内，以例如在需要时缩减设备1010的总体轮廓。

电缆1048可以延伸到与框架1012分离的处理器盒1050，例如类似于本文的其它实施例。举例来说，处理器盒1050可以包含用于控制光源1030的一个或多个控制器或处理器、用于存储来自检测器1024、1046的图像信号的存储器，和类似物。另外，处理器盒1050可以包含例如用于操作设备1010的组件的一个或多个电源。替代地，一个或多个处理器、电源和类似物可以提供于框架1012上，类似于本文的其它实施例。任选地，框架1012也可以包含用于发射数据、接收指令和类似操作的一个或多个发射器和/或接收器(未图示)、一个或多个传感器(也未图示)和/或其它组件，类似于本文的其它实施例。

包含设备910(或1010)的系统可以包含远离设备910的组件，类似于本文别处描述的其它实施例。举例来说，参考图8A和8B的设备910(但相等地应用于设备1010)，系统可以包含位于远离设备910的位置的一个或多个接收器、处理器和/或显示器(未图示)，例如在同一房间中、在附近的监视站或在更远的位置。接收器可以接收由设备910上的发射器发射的信号，包含来自相机922的图像信号和/或来自设备910上的其它传感器的信号。

处理器可以耦合到接收器以用于分析来自设备910的信号，例如以准备所述信号用于图形显示。举例来说，处理器可以准备来自相机922的视频信号用于在监视器上显示，类似于图10A和10B中所示的图像，从而允许用户由第三方监视，例如医疗专业人员、监督者或其它同事和类似人员。同时，可以在单个监视器上或在单独的显示器上显示其它参数，类似于本文别处描述的其它实施例。处理器可以单独或结合其它感测到的参数而叠加或另外同时显示用户眼睛的视频信号和/或外部相机图像，以允许医生或其它个体监视这些参数且个人地使这些参数相关到用户的行为。

另外，转到图11A到11C，处理器可以将显示器上的图形叠加到例如视频图像上以促进识别和/或监视眼睛300的瞳孔301。如图示，由于瞳孔301的边缘与周围虹膜304之间的对比度，处理器可以近似此边界，且创建图形光晕、椭圆或其它图形306，其可以叠加在单眼或双眼的图像数据上(为了简单而在图11A到11C中示出仅一只眼睛300)。观测者可以使用此图形306来促进监视设备910的用户。

另外或替代地，处理器可以虚拟地确定所述光晕的大小和/或形状以促进监视用户，而不会在显示器上实际显示光晕。举例来说，处理器可以识别瞳孔301的边缘，且基于所识别边缘而确定瞳孔301的大小和形状，而不会实际显示光晕。因此，处理器可以实时确定光晕306和/或瞳孔301的横截面积或直径。另外或替代地，处理器可以使用所述大小和/或形状来识别光晕306或瞳孔301的中心，从而例如在x-y坐标系中确定光晕306或瞳孔301的中心的坐标。

另外或替代地，处理器可以自动分析关于瞳孔301(或图形306)的大小和/或形状的信息，从而使视频信号相关以确定人的睡意水平或其它身体和/或精神状况。此分析可以包含例如随着时间而监视瞳孔的相对位置、瞳孔的大小和/或瞳孔的偏心率。举例来说，处理器可以随着时间而监视瞳孔300的直径，其可以图表形式显示，随着时间而变存储在存储器中，和/或例如实时叠加在眼睛的图像上。

举例来说，图11A可示出在环境条件下处于松弛状态的瞳孔301，例如对应于具有直径“d₁”的图形306。如图11B中所示，如果用户眨眼或闭合眼睛300，那么瞳孔301可扩大，使得当眼睛300再张开时瞳孔301初始地扩大，如具有直径“d₂”的图形306表示。处理器可以比较图形306或瞳孔301自身的直径的改变以确定在眨眼或其它眼睛闭合之后瞳孔301返回到直径“d₁”的延迟。此延迟或者对可见或不可见光闪烁的反应性损失可至少部分地指示睡意水平、损伤水平(例如，醉酒)和/或医疗事件的开始，包含致命或终点事件，例如由于血氧不足、血糖过低、中风、心肌梗死、毒素、毒药和类似物所致的脑损伤或脑死亡。

另外或替代地，处理器可以确定瞳孔的近似偏心率，例如在其被眼睑302部分地覆盖时。举例来说，如图11C中所示，当眼睑302部分地闭合时，叠加在图像上(或由处理器另外虚拟地确定而不实际显示)的光晕306可以采用对应于瞳孔301的暴露部分的宽度“w”和高度“h”的椭圆形状。高度“h”可以相关于直径“d₁”，即高度“h”与直径“d₁”的比率可以等于或小于一(h/d₁≥1)，作为眼睑302覆盖瞳孔301的程度的指示符。举例来说，一旦瞳孔301被眼睑302完全覆盖，此比率便可以从一减小到零。

类似地，宽度“w”也可以相关于直径“d₁”(w//d₁≥1)，作为眼睑302覆盖瞳孔301的程度的指示符，例如在眼睑302开始覆盖瞳孔301的超过一半时。另外或替代地，高度与宽度的比率(h/w≥1)可例如基于眼睑302的覆盖而涉及关于瞳孔301的偏心率的信息。类似地，可以计算和监视瞳孔301的面积(例如，在光晕306内)。可以个别地、共同地和/或连同其它眼度量和/或生理参数一起分析这些参数，以监视、分析和/或预测用户的未来行为。

转到图12A，示出了用于测试用户对本文描述的任何设备和系统的警惕性的示范性方法。举例来说，用户可以佩戴图3中所示的系统810，所述系统监视用户的单眼或双眼，如上文进一步描述。在步骤2210处，可以在相关状态下确定用户眼睛的基础或参数。举例来说，可以在环境条件下测量或另外监视瞳孔的松弛直径。

在步骤2220处，可以朝向眼睛发射一个或多个光脉冲，这可使眼睛从松弛状态扩大和/或收缩，例如以与脉动光闪烁的频率大体上相同的频率。举例来说，可以预定顺序激活系统810上的一个或多个发射体以使眼睛扩大。随后，在步骤2230中，可以例如用相机830或传感器822下意识地或无意识地监视用户的眼睛，以确定眼睛返回到松弛状态的反应时间。可以将反应时间与经验数据库或其它数据进行比较以确认用户有意识、醒着和/或活着。如果需要，那么可以重复步骤2220和2230一次或多次，以确认反应时间和/或在需要时提供平均反应时间，以例如避免错误否定确定。

例如在阈值测试期间产生单个光闪烁且监视瞳孔的响应可为足够的。替代地，可以使用一系列闪烁来监视随着时间的瞳孔响应，以例如研究趋势或消除可能从单个闪烁引起的错误数据。对于一系列闪烁，脉冲速率应当长于瞳孔在响应于光闪烁而扩大之后自然返回到其松弛状态所花费的时间，例如至少在约五十与一百毫秒(50-100ms)之间。替代地，例如近红外光(具有约640到700纳米之间的波长)的光脉冲可以指向用户的眼睛。系统可以检测瞳孔响应中的节奏波动。这些响应可以来自于基本眼度量响应，可能涉及夜视，例如在黑暗中“看见”或在黑暗中感测红外光源。

此瞳孔响应测试也可用以识别错误肯定，例如当用户死亡时，系统也不能检测到任何眼睛闭合和/或移动。类似地，瞳孔响应测试也可能够确定用户是否睡着或无意识。另外，瞳孔响应测试可用以确定用户是否在酒精、毒品和类似物的影响下，这可影响瞳孔在响应于光闪烁而扩大之后收缩回到其松弛状态的速率。另外或替代地，取决于眼度量指标与对应科学确定的血中浓度之间的相关，瞳孔响应测试也可用以确定用户身体中的毒品或酒精的血液浓度或量。

转到图12B，示出了用于测试阈值警惕性的另一方法。此方法一般涉及在步骤2240处提供刺激，其指示用户以所需方式有意地移动其眼睛，且在步骤2250处监视眼睛，例如是否存在有意的移动，从而确认用户已经按所需方式遵循指令且移动其眼睛。本文描述的任何设备可以包含一个或多个刺激装置，例如扬声器、灯、振动或其它触觉装置。替代地，这些装置可以远离用户而提供，例如在交通工具的仪表板、视频显示器和类似物上。

举例来说，如果设备上的可见光被激活，则可以指示用户闭合其眼睛达预定时间。一旦光被激活，系统便可以监视眼睛以确认用户在预定时间范围内和/或以预定方式(例如，以预定顺序的一次或多次眨眼)作出响应。替代地，可以提供其它刺激替代光闪烁，例如显示器上(设备上或与设备分开)的可见指令、可听信号(例如，来自装置上或装置附近的扬声器的口头命令)、触觉信号和类似物。在这些实施例中，可以指示用户执行一系列动作，例如向上或向下看、向左或向右看、以所需顺序眨眼、闭合其眼睛直到收到指示、跟随显示器上的指针和类似动作。此测试可有用于例如确认在一系列测试期间或在执行各种活动时测试主体是否醒着、知道和/或警觉。

在另一实施例中，例如本文别处描述的那些设备和系统可用以控制计算机系统，例如类似于计算机鼠标、操纵杆和类似物。举例来说，参考参见图3所示和描述的系统810，相机830可用以监视用户瞳孔的位置以引导和/或激活计算机屏幕或其它显示器上的鼠标指针。接收来自相机922的图像数据的处理器可以分析图像数据以确定检测器940的有效区域942内瞳孔的相对位置。任选地，一个或多个显示器可以相对于安置在用户的单眼或双眼前方或视野内的框架812固定。举例来说，平板LCD或其它显示器(未图示)可以代替透镜安装到框架812。此设备可用于例如在医疗或其它研究设施内的模拟、用于娱乐用途(例如，作为视频游戏控制台)和类似情况。

转到图13，示出了用于使用本文描述的任何设备和系统基于检测到的眼睛移动而控制计算装置的示范性方法。举例来说，可使用图8A中所示的设备910，其包含用于对用户的单眼或双眼进行成像的光纤束924。任选地，如下文进一步阐释，所述设备还可以载运例如邻近用户的单眼或双眼安置的一个或多个外部相机，所述外部相机可沿着用户的向前视线向外定向。首先，在步骤2310处，可能希望初始化包含此设备的系统，即建立参考系，例如基础或参考位置、具有正交分量的参考系和类似物。举例来说，可以指示用户看着显示器上的指针或其它预定位置，从而维持用户的眼睛且因此用户的瞳孔大体上静止。处理器可以在用户眼睛大体上静止的同时分析来自相机830的图像数据，以例如确定图像上对应于参考点或“基础位置”的瞳孔的位置。举例来说，指针或基础位置可以位于用户瞳孔的大体上笔直前方。任选地，可以指示用户循序地看着显示器上的两个或更多个所识别位置，从而提供用户眼睛的相对移动的尺度。在此替代方案中，可能需要使用户看着显示器的相对拐角，以例如识别相对于显示器的适当眼睛移动的极限。

一旦初始化完成，用户便可以例如相对于指针和/或显示器的其余部分自由移动其眼睛，例如左和右、上和下。在步骤2320处，系统可以监视眼睛的此移动，即处理器可以分析图像数据以确定用户瞳孔距基础位置的相对位置。举例来说，如果用户从基础位置向上和向右移动他/她的眼睛，即相对于计算机屏幕上的指针向上和向右，那么处理器可以确定此移动。作为响应，在步骤2330处，处理器可以向上和向右移动指针，即从而跟踪用户的凝视。当用户停止移动他/她的眼睛时，处理器可以在一旦指针到达显示器上用户当前正看着的位置便停止指针。

任选地，在步骤2340处，用户可能够在一旦指针已移动到显示器上的所需位置便执行命令，例如类似于激活鼠标上的按钮。举例来说，处理器可以监视图像数据是否有来自用户的信号，例如成预定顺序的一次或多次有目的的眨眼。这可以与预定持续时间的单次眨眼(例如，几秒长)到较复杂的一系列眨眼(例如，包含用户的单眼或双眼)一样简单。替代地，所述信号可以是无眨眼的预定周期，例如三、五或更多秒长。当处理器识别出信号时，处理器可以激活命令。举例来说，用户可以当眼睛到达显示器上的图标、文字命令和类似物时停止移动其眼睛，且处理器可以移动点直到其上覆或另外位于所述图标或命令处。用户可以随后眨眼或动作，如上文阐释，类似于计算机鼠标上的按钮的“双击”，从而指示处理器完成选定命令或将选定命令传送到所需目的地。举例来说，选定命令可以导致执行计算机程序，或者以所需方式激活、去活或另外控制一件设备或其它装置。因此，系统可用以完成多种任务，从控制耦合到处理器和/或显示器的计算机装置到接通或断开灯开关或交通工具。这些设备和/或系统从而可以提供用于使用计算机免提的方法，即仅使用用户眼睛的移动。

举例来说，在一个应用中，系统可用以操作例如直升机、喷气式飞机或其它飞机等交通工具，以例如激活或另外控制武器、导航或其它机载系统。在另一应用中，系统可用于视频游戏或其它模拟中，以例如增强虚拟现实专注。举例来说，系统可以允许用户快速导览通过多个菜单、场景或其它活动，同时使用户的手自由执行其它功能，例如除了眼睛控制功能之外或与眼睛控制功能同时执行其它活动，这可以允许同时进行更多和/或更复杂的任务。

另外，可以使用一个或多个外部相机来增强和/或另外促进相对于显示器上的指针来跟踪眼睛移动。举例来说，外部相机可以邻近至少一只眼睛而提供，例如在距眼睛的预定距离或其它关系处，即朝向显示器定向。因此，外部相机可以提供显示器的图像，例如实时示出指针的移动，所述移动可与用内部相机监视的眼睛的移动同步。处理器可以使用三角测量或其它算法使此数据相关以增强以眼睛移动跟踪指针的准确性。这可以确保如下准确性：当用户既定通过对命令上的指针眨眼而执行命令时，既定命令实际上被选定，例如当显示器示出多个可用命令时。

在替代实施例中，处理器可以接收和处理来自内部相机的视频信号以基于内部相机图像识别眼睛的瞳孔的边缘，且使用所识别边缘来近似瞳孔相对于内部相机图像的参考系的坐标。举例来说，处理器可以将x-y坐标系指派给内部相机图像，且使用瞳孔的边缘来识别瞳孔在此坐标系内的中心。处理器还可以接收和处理来自外部相机的图像，且使从内部相机图像获得的坐标与人的周围环境的外部相机图像相关，以近似佩戴装置的人相对于人的周围环境正看着的位置。

举例来说，显示器(未图示)可以耦合到处理器以用于显示外部相机图像，且处理器可以在显示器上示出的外部相机图像上叠加图形(例如，一组十字准线、光标和类似物)，以识别人正看着的近似位置。如果显示器是对佩戴设备的人展示的计算机显示器，例如在设备外部或并入到框架中，那么所述人可以使用所述图形在显示器上导览。举例来说，人可以例如通过眨眼或注视预定持续时间而将光标移动到显示器上示出的对象且“点击”所述对象，以请求动作，例如请求关于所述对象的识别或额外信息。

转到图14，在另一实施例中，可以提供设备2410用于经皮照明佩戴设备2410的用户的眼睛300。设备2410可以大体上类似于本文描述的任何实施例，例如图3中所示的框架812。

转到图17，示出了总体系统架构的示范性实施例，其可用以执行本文描述的任何功能。如图示，所述系统架构一般包含处理器1035和存储器1040、硬件抽象层(HAL)1030和到外部硬件的物理连接1235、操作系统1025、控制件1000，所述控制件处置用于头部安装式装置的中间件服务，下文称为EF-EyeP。以上中间件服务是软件层1015，其含有软件以促进EF-EyeP对象与第三方应用程序的软件集成。以上中间件服务还是用于第三方硬件集成和调试的一组软件工具1020，包含例如通过由IEEE 1149.1标准测试存取端口和边界扫描架构支持的联合测试行动组(JTAG)的单步法和断点法等操作。以上工具和集成层是API1010，之后是应用程序1005。

图18描绘对象1000的分解，在顶部处的应用程序1100、1105、1110、1115和1116描绘在软件对象块1000内运行的各种实用工具。题为EyeC的块1110表示称为EyeClips或EC的视频图像方面，其一般用以指代可以使用本文描述的系统执行以例如获取、编辑、操纵和/或处理媒体图像的方法。

对于本申请内的所有公开和权利要求，将“媒体图像”定义为视频图像和静止图像中的至少一者。对于任何类型的媒体图像，内容创建者的典型目标是为特定观众产生合意的内容。“合意的”的定义可以基于观众而改变。特定关于视频图像，用于选择和编辑视频图像的一种方法或一组准则可能适用于一个观众，但可能不适用于另一观众。此外，在时间上接近其它图像捕获的图像出于不同原因可能是合意的。合意性和相关性的这些各种具体化可以简单地称为“突出性”。

出于任何数目的原因可以将媒体图像视为突出的：其可以含有著名的事件，其可以包含特定的朋友或亲戚，其可以含有其他人在社交媒体渠道中视为关注的事情，其可以是在特定位置捕获，和/或其可以含有用户希望捕获的情感。假定将眼睛跟踪添加到其它传感器允许用户在此过程期间进行某一水平的分析和控制，这在没有出现眼睛跟踪的情况下将是不可用的。

当讨论词语“编辑”既定的范围时需要谨慎考虑。在典型的照片和视频应用程序中，“编辑”通常意味着对图像的操纵，或者在视频的情况下，还包含将经修整的图像再布置为更合意的次序的过程。“编辑”的动作经常不包含选择或标记将对其执行另外步骤的图像的步骤，即使那些步骤会被正式地视为编辑过程的部分也是如此。然而，为了本申请内的本公开和权利要求的目的，“编辑”应包含选择和标记步骤。此外，在数字媒体创建之前的时期中，所有编辑(包含选择和标记)必然相当晚于捕获时间而发生。然而，视频和静止相机中现在包含允许编辑过程紧接在捕获时间之后或“在相机中”发生的特征。本文的公开描述了编辑过程可以如何转换为包含在捕获期间或甚至捕获之前的时间。然而，如此做法在实施本文描述的系统和方法之前尚未实际上可行。

很遗憾，对于许多用户，将即时捕获的视频图像转换为可消费的完成视频所需的时间承诺是对过程的终端障碍。在遇到此障碍之后存在两种常见结果。第一个是整个过程被放弃，且不曾有视频图像与观众共享。第二个常见结果是避开了所有编辑，且极低质量和低相关性的图像与观众共享。对于创建者且对于观众，这两个结果都不是合意的。对于创建者，知道太难以将视频编辑为可呈现的形式后，这可能减少他或她记录视频的意愿。对于消费者，观看差的视频图像为他们提供负面增强，且可能使他们在未来不想观看视频图像。

随着技术进步，用户可以携带来创建内容的装置的形状因数也已经转换。内容创建装置曾经不含有其它技术。接着智能电话和平板计算机变得能够捕获视频，从而在先前不可想象的微型化的时期中展现。现在，头部安装式显示器开始变为可以作为消费型装置，表明可穿戴技术的转换，这允许创建内容而不是仅记录来自传感器或别处的数据。此外，隐形眼镜和人工视网膜是对人类视觉系统的可行增强。本文的系统和方法也适用于捕获视频、跟踪眼睛方向和编辑突出视频的这些模式，且被视为本发明的部分。由于用于通过眼睛跟踪确定用户的凝视的必要技术现在可以并入到可穿戴和植入式装置中，因此眼睛变为用于装置输入和编辑的可行工具。

为了确保将较好的视频剪辑最终递送到观众而要克服的第一个障碍是选择或“标记”所关注图像。通常，这是在第一编辑步骤期间完成。然而，在近年来已经对静止相机添加允许运行中图像分级的能力。转而考虑在可穿戴装置中允许此能力需要不同的标记方法，但也开放了使用来自一个或多个传感器的输入进行标记的可能性。

用于标记输入的一种此类传感器是眼睛跟踪系统。以捕获眼睛可以看见的事物的目的记录视频，因此自然推断出在记录过程期间关于用户的凝视的信息可有益于标记过程。例如用户凝视方向、凝视持续时间(“停留”)、瞳孔直径以及扫视活动等度量仅仅是在记录事件期间关于用户的意图的有价值信息的几个实例。

本文的系统和方法的一些实施例可以采用围绕单眼(一只眼睛)眼睛跟踪技术设计的眼睛跟踪子系统，且系统的其它实施例可以采用围绕双眼(两只眼睛)眼睛跟踪技术设计的眼睛跟踪子系统。这些实施例对于可穿戴装置的设计和既定用途是特定的。可穿戴装置的一些实施例可以采用呈现给用户的单个显示器，而其它实施例可以采用呈现给用户的两个显示器。眼睛跟踪子系统的实施例可能不一定匹配于显示器配置的实施例。

本文的眼睛跟踪子系统的一些实施例可以采用图像传感器作为用于子系统的主要输入，而另外的实施例可以采用能够产生合适数据以确定用户凝视的方向的替代传感器。

可见，可以与眼睛跟踪数据一致地使用其它传感器。举例来说，用户可以口头地放置与陈述词语“保存”一样简单的标签，或者容易稍后检索的较复杂的口头线索，例如朋友的姓名(或图像中的个体的其它识别符)。组合来自多个传感器的输入的较复杂的方法可以包含加速度计数据、位置和/或定向数据、来自相机传感器的开窗数据、麦克风数据、触摸传感器数据等，且那些方法可以包含对来自那些传感器中的一者或多者的数据的解译。

举例来说，面对场景的相机的传感器的对应于用户正凝视的位置的区中的饱和度的快速改变是可以具有高于平均的被保存概率的视频区段的明显实例。另外，装置的麦克风中的快速且持续的改变可以对应于大声喝彩的人群，且这可以对应于视频图像是合意的较高概率。

清楚且简单的使用情况涉及用户有意识地决定刚记录的视频是尤其重要的。用户可能够提供额外信息以特定关于应当对特定事情的多少进行标记来辅助系统的操作；例如，a)视频的最后十(10)秒，b)特定的人在媒体图像中出现多久，和/或c)紧接于用户对剪辑的端点(或中间点)进行标记之前用户的凝视指向同一个人或位置多久。较复杂的使用情况涉及具有较复杂的试探法的系统，借助所述试探法将作出其自身对用户可能认为重要的事件的分析。举例来说，用户可以预先指定系统标记其中特定面部出现的任何视频，或者标记加速度计记录>0.5G期间的任何视频，或甚至针对大量传感器数据的试探法的组合。

所有这些描述的系统特征经设计以辅助标记的过程，其仅为编辑过程中的第一步骤。下文描述和/或在图19和20中示出用于进一步改进编辑过程的方法。

对于可穿戴装置上流行的宽视野相机，极有可能的是用户会希望将他或她的完成视频录像裁剪到较紧密的窗。在任何给定实例，场景中用户正看着的位置(“注意点”)具有较高的概率含有他或她在编辑时可能希望裁剪的元素。因此，在基本视频记录期间或者在简单或复杂标记程序期间捕获注意点信息对编辑过程增值。

对于双眼眼睛跟踪，除了确定视野内的平面(x-y)位置之外，还可针对凝视计算深度(z)位置。这允许相机聚焦于目标距离，或调整景深以用于较专业的记录，无论是视频或是静止帧拍摄。

此外，在所记录视频的实例期间的扫视活动可以指示就用户来说的不同关注水平。凝视目标的快速改变可以不仅指示不同的目标关注区域，而且可以用作元数据以指示用户的精神状态或正记录的场景的元素的属性。另外，可以发现用户扫视的范围可以指示在编辑过程期间将裁剪的区域的界限。

其它常见的视频编辑功能性包含创建慢动作或快动作剪辑，创建帧的不同区域之间的平滑平移，以及稳定晃动的录像。所有这些特征可以单独地通过眼睛跟踪来增强，或者通过当与如上文论述的面向外部的相机组合时将眼睛跟踪数据与来自一个或多个其它传感器的数据组合来增强。

举例来说，稳定晃动的视频经常是通过识别帧之间的类似特征且将邻近帧正规化以保持那些特征静止来完成。很遗憾，这也需要裁剪视频，因为正规化过程从帧的边缘移除像素。组合眼睛跟踪数据可以辅助确定稳定化的可接受量，例如如果用户关注于整个帧，那么可以应用最小水平的稳定化以保留尽可能多的像素。然而，如果用户仅关注于帧的特定区，那么可以应用最大稳定化以得到最佳的可能图像。

任选地，瞳孔扩大和收缩可以用作用户兴奋的指标，以例如确定是否应当将特定剪辑拉伸为慢动作剪辑。另外，可以将进一步的传感器数据与扩大数据组合以确定用户的情感状态，其延伸可以是当分析关注区时将适用于视频剪辑的不同的一组准则。

所述系统可经配置以辨识通常关注的事情，例如彩虹、日出、日落和月出。这些对应于其中来自装置中的罗盘(或其它方向传感器)的输入也可以是标记视频图像的决策的部分的实例。

存在其中人群中的大量可穿戴装置可用于执法组织的实例。考虑其中炸弹引爆和恐慌随之而来的实例。如果人群中的多个人穿戴着配备有此系统的装置，那么所有装置可以用其麦克风同时辨识爆炸的声音，和/或同时辨识环境光和/或像素饱和度的较大且快速改变。此广泛的传感器输入和分析可以提示所有装置保存引导到事故的视频图像(“失事相机”)，和/或提示它们在事故之后的时间继续保存视频图像。来自所有装置的这些视频图像的收集可以给予执法部门许多角度来扫描人群以找到证据和嫌疑犯。此外，在事故的时刻对麦克风和相机数据的空间分析可以允许执法部门重构在事故之前、期间和之后的时刻。

可以针对穿戴配备眼睛跟踪的相机安装式可穿戴装置的多个人组合共同凝视数据与所捕获的视频。处理由多个可穿戴相机捕获的视频以确定相机观察到共同目标涉及大量的图像处理。在观看者观察到共同元素的倾向下，包含眼睛跟踪数据可以急剧减少对准过程且降低处理功率。此外，如果意图是提取共同的人群观测目标，那么使用眼睛跟踪数据避免了与上覆较大视野图像以宣告人群的已知百分比观察到共同目标相关联的推测概率性处理。

可存在其中眼睛跟踪子系统能够当用户凝视相对于指向眼睛的相机而指向特定区时产生较高凝视准确性或者当凝视移动到别处时产生较低准确性的实例。举例来说，如果跟踪眼睛的相机定位于眼睛的正前方，那么在用户眼睛向下看时，睫毛或眼睑会部分地遮挡在眼睛跟踪中使用的眼睛的关键特征，因此降低所计算凝视的准确性。随着眼睛移动到某些凝视位置的此降低的准确性在本文称为“适度降级”，且指示随着眼睛跟踪系统的性能降级但不完全失效，可以如此标示降级信息，且当提供到编辑系统时可以被处理为具有降低准确性的折衷数据。

在此情况下，在从多个传感器计算突出性时可以用不同的重要性或有效性权重来处理眼睛跟踪数据。在眼睛跟踪数据是针对突出性考虑的仅有传感器数据的情况下，可以界定裕度以使得较低准确性(降级)数据不会造成系统的不合意性能。随着准确性减小，用户体验应为可预测的且一致的，且从此性能的适度降级不会带来挫折。

取决于面对眼睛和显示器的传感器的几何形状，眼睛跟踪子系统的准确性最高的区可以对应于用户的视野由系统的显示器占据的区。然而，随着显示器的大小和/或位置在系统的不同实施例中改变，所述区中的眼睛跟踪子系统的精度可改变。此外，眼睛跟踪子系统可经设计以在用户视野的较大的区上具有比由显示器占据的区更高的精度，但仍自然的是假定将存在眼睛跟踪子系统的精度将降级的区。在此情况下，所述降级也会是对用户来说适度的且不突出的。

与来自音频传感器的大笑的声音组合(或不组合)，所述系统可经配置以将眯着的眼睛解译为快乐或微笑的指示。这可以经配置为系统用来对视频图像指派突出性的度量。此外，可以根据由眯眼的开始与结束限定的时间周期或者根据由大笑的开始与结束限定的时间周期来修整视频图像。也可以使用由EEG传感器测量的脑波活动。

许多可穿戴电子装置依赖于激进的功率管理方案以便保存电池寿命。这些装置中的实质上的功率吸收点之一是显示器，且这些方案经常包含对显示器操作状态的激进管理。因此，在捕获媒体图像的过程期间可以将装置显示器断电。虽然系统的设计的一些方面可能必要地包含与装置显示器的交互以确保所需的控制，但所有系统功能不需要依赖于装置显示器被通电以便恰当地起作用。装置显示器不需要被通电的情形的一个此类实例可以是基于来自音频传感器的输入将视频图像标记为突出的。可仍为合意的是用户具有系统正如设计那样操作的反馈，因此系统可以指示装置的扬声器(如果配备)输出与众不同的音调或可由用户辨识的其它音频。

在另一实施例中，系统可经配置以自动辨识“神奇时刻”，或者具有超过用户可预期的突出性的媒体图像。这些神奇时刻可能是第三方关注的，例如其产品在视频图像中可能出现在重要时间的公司。此情况的实例可为徒步旅行到山脉中的遥远山峰的一群朋友。由于这些朋友中的一者或多者穿戴着配备此系统的装置，因此在所述群组登顶时捕获视频图像。所述群组的一个成员说了让每个其他人笑的笑话；碰巧在同一时刻，群组的另一成员从他的包里拿出有商标名称的软饮料且将其打开。所述软饮料公司可能另外花费数十万美元来通过广告代理来产生所述时刻，因此他们会改为关注于为此用户的“神奇时刻”偿付给所述用户。

在再另一实施例中，系统可经配置以辨识用户的手势以裁剪媒体图像。用户可以具有用他或她的手和手指创建图片帧的选项，所述系统将把所述图片帧解译为媒体图像应裁剪的矩形区域。此虚拟图片帧可以由用户在任何方向上移动，且系统可以跟踪帧的大小和/或位置以连续调整输出视频图像。

在又另一实施例中，系统可经配置以接收来自并不实体位于装置上或连接到装置的传感器的输入。这些传感器的实例可以包含心率监视器、EEG、脉搏血氧仪，或例如自行车力量计等健身装置。举例来说，系统可经编程以自动标记对应于骑车者在他的输出超过预定水平的任何时间的任何视频剪辑，因为这些时刻可对应于比赛的兴奋时期。

在另一实施例中，系统可经配置以迎合希望容易地创建指导或指示视频的用户。这可以通过组合基于凝视的裁剪与标记来完成，所述标记是通过辨识例如“在下一步骤中”或“我们在此看到什么”或“对此紧密注意”等预先配置的短语来完成。在这些实例中，用户的观众可能关注于确切知道在场景中正看着什么，因此用户的注意点可以自动上覆到媒体图像上，或者可以单独保存以在编辑过程中的稍后时间点上覆。

在再另一实施例中，系统可经配置以与社交媒体应用程序介接，从而允许对用户可为透明的动态突出性。举例来说，如果特定位置由于著名的且有新闻价值的事件而在Twitter上流行，那么系统可以基于用户可能靠近的任何此类位置而周期性地更新其对突出性的度量和试探法。随后，如果用户进入任何此类位置，那么可以对在那里捕获的媒体图像指派比它们原本的情况更高的突出性。此过程可以由用户配置为被拒绝或鼓励，且此特征的操作对用户可为明显的或透明的。

在另一实施例中，可以定制用于选择和编辑媒体图像的方法以适合用户的特定需要。然而许多时候，用户可能希望简单地选择涵盖基于来自一或多个传感器的输入的多个度量和试探法的预定义模板，所述传感器并入在系统内或位于远离系统处。

在另一实施例中，穿戴者(例如，Mary)可能正在向也穿戴着具有显示器的配备眼睛跟踪的装置的远处的个人(例如，John)广播视频。在John在显示器上观察视频时，他的凝视信息可以经由网络(例如，电信网络、因特网和类似物)广播给Mary以引导Mary的注意和视频捕获。此外，John可以通过凝视他显示器上具有相关联意义的图标而引导Mary转动她的头部，指示他希望在指定方向上移动Mary的视频捕获，或者让Mary向前或向后或向上或向下移动。举例来说，Mary可以记录冒险视频以为John提供同感的观看，或者她可以记录新闻或娱乐视频。提供给Mary的指令可以由多个远程观看者/控制器聚集，其聚集的所需方向可以提供给Mary。

在另一示范性实施例中，本文的系统可以用于凝视控制、头部安装式或身体安装式相机变焦、聚焦、旋转和/或平移。举例来说，许多HMD具有面向外部的相机。一些具有高分辨率相机和透镜。根据另一实施例，可以提供用于耦合集成或可附接配件的系统和方法，所述配件具有电子控制的机械或电子/光学变焦、聚焦或平移能力，所述能力可以用用户凝视来跟踪、由用户凝视控制或者以某种方式响应于用户凝视。

控制可以导致光学组件的物理移动和/或将在相机芯片内使用的像素的电子选择，和/或捕获目标或所需光的其它方式。此系统可以包含可穿戴装置，所述装置具有经安装以捕获用户周围环境的媒体图像的场景相机；集成或可附接机构，其为数字可控的以聚焦、变焦、平移或另外控制相机的透镜或相机系统；眼睛跟踪系统，其捕获用户的至少一只眼睛的眼睛跟踪数据；以及一个或多个处理器，其与所述数字(电子)可控的机构、场景相机和眼睛跟踪子系统通信，用于引导控制机构至少部分地基于眼睛跟踪数据而对场景进行变焦、聚焦或平移。

所述系统可以解译眼睛跟踪数据以基于用户的眼睛凝视活动而执行图像捕获(静止或视频)的多种模式。相机的控制可以通过由系统捕获的个别或复合数据确定，包含以下各项中的一者或多者：2d或3d空间(由单眼或双眼确定)中的用户凝视点，凝视持续时间，大体上的扫视活动的样式，在观看实体或情形的情境中的扫视活动的样式(在文字、面部、场景、具有内容的显示器屏幕、电影、商店显示器、手术室、军事演习、安全代理的安全活动、体育活动上的眼睛移动)，扫视的频率，包含凝视身体部位的个人特定的凝视(眼睛，具有相互的眼睛交互)，服装等；其它眼度量参数，包含眨眼速率和持续时间，瞳孔扩大，眯眼，使眼色(有意的眨眼)，可预测的以上元素的预定义组合，经确定为匹配于使用搜集的用户眼睛的数据确定的突出性活动的组合活动。

所述系统可以收集多个用户之间的数据，包含大量的用户(大数据)，以识别和提取有意活动(例如，由穿戴者明确希望以控制变焦、聚焦或平移的眼睛示意动作)的样式或无意活动(例如，这些样式的解译和/或这些样式与场景图像的突出捕获的关联以及对相机变焦、平移和聚焦机构的合意控制)的样式。

耦合到所捕获图像数据的输出加上关于眼睛活动的元数据的编辑系统是预期的。用户用编辑系统执行的活动可以被编目录和/或存储。任选地，可以包含其它传感器以捕获贡献于相机控制以及上述系统的性能、分析和增强的数据。这些可以包含一个或多个惯性、音频、生物计量和/或其它传感器，如本文别处描述。

可以提供透镜控制机构作为对头部安装式装置(HMD)的可附接配件，或者可以提供其作为HMD内的集成硬件和软件解决方案。当作为配件提供时，硬件可以具有额外另外的可更换组件，例如具有可变光学倍率的透镜。在安装过程期间可以通过用户的凝视来校准系统。此校准可以并入有场景相机和/或显示器，使得配件相机到场景相机的相对位置得以确定。所述校准可以涉及进行中的自动更新。

可以创建数据模板以通过使用观看者眼睛、场景、声音和/或其它输入的先验知识而最佳地提取可预测视频剪辑的实例，以指定剪辑的开始和/或结束点。此先验知识可以推测方式界定，随后在视频记录环境范围中的用户之间收集和精炼。这意味着用户可以通过足够的电池电力来接通其相机来用于整个事件；例如棒球比赛。可以剪辑关键击打、跑垒、出局和其它行动并组成为引人入胜的视频。这些视频可以手动或自动地私人共享、经由社交媒体共享，或甚至出售给买家或者维持为生活博客库元素。其它可模板化的视频可以包含：

·生日宴会：吹灭蜡烛时唱生日歌；

·跟踪/越野赛跑：父母(带有HMD)带着女儿/儿子跑步或者越过终点线；

·橄榄球比赛：四分卫向接收者投出橄榄球，接收者接住球且跑到触地得分区；

·棒球比赛：投手向击球手投球，击球手击出全垒打，以及其它事件，使得用户可以记录整个比赛且可以从用户的实际视点提取突出事件。此外，可以通过用适当控制的相机设备的自动变焦、聚焦、景深和平移来增强剪辑，如本文别处描述；

·晚餐宴会扫描在晚餐桌上的人：穿戴者环视客人。眼睛剪辑的视频从用户扫描末端回到开始，或反之亦然。可以进一步再选择，例如在祝酒期间；

·在远景前方的度假的家庭/群组视频：针对最关注的群组组合提取的视频或图像；

·假期；

·特定工作功能；

·颁奖事件；

·庆典。

当以额外数据置入上下文中时，这些视频模板可以用关于时间、地点、人、事件、子事件、性能信息等等的补充文字来自动增强。

在另一实施例中，多个用户的场景可以包含针对共同位置处的多个用户记录的剪辑，由如上文所述的模板信息化，且随后建置为复合的一组场景拍摄以形成引人入胜的视频制作(实时地或非实时地)。这些将可能具有穿戴HMD的许多用户，带有通过模板、凝视数据和其它感觉输入而驱动的高质量电子控制相机。视频馈送和剪辑可以经过凝视同步、地理同步和/或时间同步以产生高质量实时或非实时“众包”视频。此外，可以针对实时或非实时用途而捕获和出售与视频捕获组合的来自名人、专业人员或专家的凝视数据的经许可的凝视增强视频。另一场景是球类比赛，其中场景相机具有从选手的视角广播的凝视数据。所述视频可以被上覆选手的凝视方向的指示符(十字线)，或者所述视频可以通过由选手的凝视(如上文概括)和/或其它传感器驱动的变焦等等来增强。上覆有十字线的视频或凝视增强(经变焦增强)的视频可以实时提供/出售给比赛的观看者、给选手的教练以用于训练回顾、给有抱负的学龄体育选手，或者给视频游戏制作者。这些增强视频的价值可以延伸到体育和娱乐的广大范围的活动、军事训练、手术等等。

EyeClips的另一实施例是用于广告商的视频剪辑。广告商花费大量金钱来创建现实生活、引人入胜的情感情景，所述情景可能含有产品拍摄或与产品拍摄相关。可以激发HMD穿戴者让他们的相机运行(当被充分供电时)以用于特定活动(激流泛舟、山地骑行、滑雪、跳伞)，意图是记录对广告商有价值的有质量视频；例如含有Coca Cola罐的剪辑。可以提供用以将选定剪辑传输到广告商以及用于广告商支付有价值的剪辑的系统。

另一实施例包含称为集体意识的事物，一种用以预测个别股票、股票市场方向、国际事件、政治结果、电影结果、剧场结果、实时体育事件预测、健康威胁和其它事情的系统和方法，这些事情可以基于人类观察、感觉输入和相关联可测量的人类反应的某种方式来预测。

具有如本文所述的感觉捕获数据的可穿戴计算机实现迄今尚未存在的预测性数据创建。可以请求计算机的穿戴者捕获特定数据，且可能找出需要图像、声音、人类反应和/或其它感觉输入的特定位置。或者，可以请求穿戴者的许可以允许在无他们参与的情况下个人地捕获数据或者匿名地聚集和制作数据。通过相关眼睛跟踪数据、眼度量、生物计量和其它传感器对视频捕获的增生，可以提供利用集体意识或集体潜意识来预测未来事件和结果的系统。举例来说，佛罗里达柑桔场的劳动工人可能配备具有相机和显示器的具有眼睛跟踪功能的可穿戴计算机。可以收集关于他们的收获行为和观察的数据以预测即将到来的橙汁的前景。有时候，可以经由显示信息引导个别工人采取捕获更有用数据的某些动作，例如更靠近地检查柑桔，或者响应于询问他们关于农作物的意见或其它信息的问题。可以监视穿戴具有相机和显示器的具有眼睛跟踪功能的可穿戴计算机的白领工人的电视观看、广播收听或网络浏览习惯和/或其对电视广播(便携式、配备感觉捕获的Neilson监视装置)、广播节目和/或网络内容的反应。可从这些数据得出的集体意识也可以被解译且可驱动可以实时或非实时递送回到穿戴者的问题、指令和/或动作。

另一实施例包含使用单眼显示器上的双眼眼睛跟踪来为UI、UX和/或其它增强现实双眼/单眼跟踪提供3D增强。以两个相机进行跟踪以捕获三维(3D)凝视数据(除了从单眼提供的平面x-y轴数据之外还具有z轴)提供了三维注意点。系统可以不配备显示器、配备用于单眼的一个显示器、用于双眼的一个显示器或用于每一只眼的一个显示器，以用多种方式使用双眼跟踪数据。

当提供两个显示器时，对显示器的选项可以包含每一只眼一个显示器，无论是部分视野、具有通过显示器的透明度以及增强现实信息覆盖的完整视野，或是被外部世界的所有图像以及在另外不透明显示器上呈现的任何增强现实覆盖所遮挡的完整视野。

使用指向眼睛的两个相机来获得双眼凝视信息，计算凝视信息的处理器可以将信息发送到控制显示数据的处理器以呈现UI信息的三维覆盖图像或“增强现实”(或“AR”)信息/图像，以在单眼可观看的单个单眼显示器、双眼可观看的单个单眼显示器或者双眼分开地可观看的两个单眼显示器上产生某一量的模拟立体图像。以此方式，双眼跟踪可以实现单个显示屏幕上的有效三维显示或三维对话。在用户汇聚他们的眼睛或发散他们的眼睛时，显示器可以改变为产生一种维度。当用户的眼睛都聚焦于距离Z处的项目时，他们经由配偶肌协同移动，即使当用户使用仅一只眼睛来观看呈现的场景(可能用优势眼)时也是如此。用于呈现信息以模仿维度的系统可能对单眼优势敏感。

UI在显示器上呈现未聚焦的元素的图像，从而激发用户通过发散或汇聚他们的眼睛来聚焦。如果例如图像表面上较靠近，且用户选择在图像上聚焦，那么通过在用户汇聚他的眼睛(以较靠近观看，如可由双眼眼睛跟踪相机测量)或发散(以较远离观看)时的恰当反馈，图像可以相对于彼此而移位，且从而聚焦或散焦。当用户想要较靠近观看可能在模糊图像中不自然地呈现的某物时，如果用户的眼睛汇聚/发散，那么可以如单眼或双眼所见而修改图像。

另外或替代地，也可以跟踪瞳孔扩大以确定何时改变场景视图内的所感知维度。举例来说，当以单个优势眼看着远处的物体时，将在前景中示出的物体可能示出为未聚焦。在用户移位此优势眼时，即使对散焦前景图像的少量(例如0.5度)凝视，也可能将图像带到聚焦，从而使用户的瞳孔反应，以及产生新目标较靠近的感觉。同时，可以修改远处的图像以产生较大的距离感知。

有意/潜意识标记或编辑允许通过以多种方式与显示器进行交互来对潜在有价值的剪辑的开始和/或结束进行实时有意用户标记。此标记可以经由与显示器或不与显示器的交互而发生。当与显示器交互时，可能存在用户与显示器之间的对话，并入有用户凝视的视觉菜单，以定格、停留、扫视、屏幕上、屏幕外、开/关屏幕动作来控制显示器。显示器可以是不透明的、半透明的或透明的。其可以是部分视野显示器或完整视野显示器。所述对话可以辅助用户推进标记活动、决定是否进行标记、决定标记什么、获得关于剪辑应当是多久的信息、聚焦于视野内的突出区域、以文字增强剪辑、语音注释、特殊效果、并入有可能可见或作为元数据可用的其它感觉信息。标记媒体图像的额外选项可以包含以下各项中的一者或多者：

·标记可以在记录剪辑之前或之后为非实时的；

·可以用其它输入或控制来执行标记而不使用显示器；

·当系统并入有可带有眼睛跟踪和/或显示能力的隐形眼镜的用户时，标记可以发生。

用户与处理器之间用以控制标记和编辑的对话可以并入有来自EEG或其它生物计量来源的数据收集，且可以经由脑波刺激或感觉反馈对用户提供反馈。处理以计算编辑剪辑、覆盖、效果和增强可以本地执行，在分布式用户处理器之间共享，或者可以在远程服务器上执行。

本发明支持其中显示器在用户的部分视野、多个部分视野或直到用户的完整视野内可观察的操作。显示器可以从完全透明到上覆于现实世界图像上的任何图像的任何亮度等级，从而看穿所述显示以增强用户对世界和显示的观看。此外，并入有完全以电子方式产生图像的不透明显示(通常称为虚拟现实显示)的配置可以与补充图像或视觉控制以及如上文所述上覆的反馈一起使用，且清楚地证明且支持视频剪辑的开始点的试探法选择，所述视频剪辑的结束点由用户的明确动作来标记。

为了方便，将本文示出和描述的操作描述为各种互连的功能块或相异的软件模块。然而这不是必要的，且可能存在这些功能块或模块等效地聚集到单个逻辑装置、程序或操作中而具有不明显界限的情况。在任何情况下，功能块和软件模块或所描述特征可以自身地或者在硬件或软件中与其它操作组合而实施。这些功能块清楚地支持以下各者的使用：包含将图像投影到视网膜上的可穿戴显示器技术，具有集成、投影或其它显示的可穿戴隐形眼镜，以及具有集成眼睛跟踪能力的可穿戴隐形眼镜。

Claims (38)

1.一种用于编辑媒体图像的系统，所述系统包括：

可穿戴装置；

场景相机，其安装于所述可穿戴装置上以使得所述场景相机捕获用户的周围环境的媒体图像；

眼睛跟踪子系统，其将参考系投影到所述用户的至少一只眼睛上且使所述投影的参考系与显示器的第二参考系关联以用于捕获所述用户的所述至少一只眼睛的眼睛跟踪数据；

显示器，所述显示器安装于所述可穿戴装置上以使得所述显示器对所述用户可见；

在所述显示器上或邻近于所述显示器的一个或多个区或指示符；

一个或多个处理器，其与所述场景相机和眼睛跟踪子系统通信以用于至少部分地基于所述眼睛跟踪数据而标记由所述场景相机捕获的媒体图像，其中所述一个或多个处理器经配置以分析所述眼睛跟踪数据以识别所述用户何时朝向所述一个或多个区或指示符凝视以使标记与所述媒体图像关联；以及

存储器，所述存储器用于存储所述标记和所述媒体图像。

2.根据权利要求1所述的系统，其中所述一个或多个处理器经配置以利用在所述眼睛跟踪数据中识别的所述用户的有意或潜意识眼睛移动来标记来自所述场景相机的一个或多个媒体图像。

3.根据权利要求2所述的系统，其中所述一个或多个处理器经配置以用于使标记与来自所述场景相机的媒体图像关联，以界定所述媒体图像内的视频剪辑的开始点和结束点中的至少一者。

4.根据权利要求2所述的系统，其中所述一个或多个处理器经配置以用于至少部分地基于在所述眼睛跟踪图像中识别的所述用户的眼睛移动而确定来自所述场景相机的媒体图像的突出性值。

5.根据权利要求1所述的系统，其进一步包括所述可穿戴装置上的一个或多个传感器，所述一个或多个处理器与所述一个或多个传感器通信以用于至少部分地基于来自所述一个或多个传感器的传感器信号而标记由所述场景相机捕获的媒体图像。

6.根据权利要求5所述的系统，其中所述一个或多个传感器包括惯性传感器、图像传感器、音频传感器、位置传感器、定向传感器、光传感器、生物计量传感器、手势传感器、或者EEG传感器中的至少一者，其中所述一个或多个传感器可以本地或远程地耦合。

7.根据权利要求5所述的系统，其中所述一个或多个处理器经配置以至少部分地基于所述传感器信号和所述眼睛跟踪数据而告知由所述场景相机捕获的媒体图像的标记或突出性。

8.根据权利要求5所述的系统，其中所述一个或多个处理器经配置以使来自所述一个或多个传感器的数据与所述媒体图像和所述眼睛跟踪数据中的一者或两者同步以用于使所述数据与所述媒体图像相关。

9.根据权利要求1所述的系统，其中所述一个或多个处理器经配置以用于至少部分地基于所述眼睛跟踪数据而标记由所述场景相机捕获的媒体图像而无需激活所述显示器。

10.根据权利要求1所述的系统，其中所述一个或多个处理器经配置以选择所述媒体图像的与所述用户相关的区段，且通过按所需次序对所述区段进行修整、裁剪、旋转、平移、变焦和布置中的至少一者来编辑所述媒体图像的所述区段。

11.根据权利要求1所述的系统，其中所述一个或多个处理器耦合到所述眼睛跟踪子系统并且经配置以将所述眼睛跟踪子系统的操作频率调整为对应于多个操作模式。

12.根据权利要求1所述的系统，其中所述系统经设计以接受来自用户的输入或经处理数据中的一者或两者以标记或确定媒体图像的突出性值。

13.根据权利要求1所述的系统，其进一步包括用于存储原始媒体图像的存储器，且其中所述一个或多个处理器经配置以非破坏性地编辑所述原始媒体图像以使得所述原始媒体图像可在稍后时间由所述一个或多个处理器从所述存储器恢复。

14.根据权利要求1所述的系统，其中所述一个或多个处理器经配置以利用所述眼睛跟踪数据的眼睛跟踪精度的适度降级。

15.根据权利要求1所述的系统，其进一步包括收发器或其它无线通信接口，所述收发器或其它无线通信接口与所述一个或多个处理器通信以将所述媒体图像传输到远程位置。

16.根据权利要求1所述的系统，其进一步包括收发器或其它无线通信接口，所述收发器或其它无线通信接口与所述一个或多个处理器通信以从远离所述可穿戴装置的一个或多个传感器接收数据。

17.一种用以定量地评估视频图像中的比较突出性的系统，视频图像中的所述比较突出性由接近定位的可穿戴装置来确定以从不同视点记录相关事件，所述系统包括：

多个可穿戴装置，其经配置以由个别用户穿戴，每一可穿戴装置包含：

安装于其上的场景相机，使得所述场景相机捕获所述个别用户的周围环境的媒体图像；

一个或多个传感器；

通信接口；

眼睛跟踪子系统，其将参考系投影到所述个别用户的眼睛上且使所述投影的参考系与显示器的第二参考系关联，以用于捕获所述个别用户的眼睛的眼睛跟踪数据；以及

显示器，所述显示器安装于所述可穿戴装置上以使得所述显示器对所述用户可见；

在所述显示器上或邻近于所述显示器的一个或多个区或指示符；

一个或多个处理器，其与所述场景相机、所述一个或多个传感器、所述通信接口以及所述眼睛跟踪子系统通信，所述一个或多个处理器用于至少部分地基于所述眼睛跟踪数据来标记由所述场景相机捕获的媒体图像，其中所述一个或多个处理器经配置以分析所述眼睛跟踪数据以识别所述用户何时朝向所述一个或多个区或指示符凝视以使标记与所述媒体图像关联；以及

服务器，其用于经由每一可穿戴装置的所述通信接口与该可穿戴装置通信。

18.根据权利要求17所述的系统，其中每一可穿戴装置上的所述一个或多个处理器用于监视所述一个或多个传感器以识别阈值事件，借此所述一个或多个处理器经由所述通信接口与其它可穿戴装置通信以进行以下各项中的至少一者：

确认所述阈值事件已经发生，以及

共享与所述阈值事件相关的媒体图像。

19.根据权利要求17所述的系统，其中每一可穿戴装置上的所述一个或多个处理器用于监视所述一个或多个传感器以识别阈值事件，借此所述一个或多个处理器经由所述通信接口与所述服务器通信以进行以下各项中的至少一者：

a)确认所述阈值事件已经发生，以及

b)共享与所述阈值事件相关的媒体图像。

20.根据权利要求17所述的系统，其中每一可穿戴装置上的所述一个或多个处理器用于监视所述一个或多个传感器以识别阈值事件，借此所述一个或多个处理器经由所述通信接口与其它可穿戴装置且与所述服务器通信以进行以下各项中的至少一者：

确认所述阈值事件已经发生，以及

共享与所述阈值事件相关的媒体图像。

21.根据权利要求17所述的系统，其中每一可穿戴装置的所述眼睛跟踪子系统捕获对应的个别用户的眼睛的眼睛跟踪数据；每一可穿戴装置包括一个或多个处理器，所述一个或多个处理器与所述场景相机和眼睛跟踪子系统通信，用于借助其它可穿戴装置的通信接口且与所述服务器通信以将眼睛跟踪数据并入到突出性评估和图像选择中。

22.一种用于选择或编辑来自由用户穿戴的可穿戴装置的媒体图像的方法，所述可穿戴装置包括显示器，所述显示器安装于所述可穿戴装置上以使得所述显示器对所述用户可见，所述方法包括：

使用所述可穿戴装置上的场景相机捕获所述用户的周围环境的媒体图像；

使用眼睛跟踪子系统捕获眼睛跟踪数据，所述眼睛跟踪子系统将参考系投影到所述用户的至少一只眼睛上且使所述投影的参考系与显示器的第二参考系关联以用于捕获所述用户的所述至少一只眼睛的眼睛跟踪数据；以及

至少部分地基于从所述眼睛跟踪数据识别的一个或多个眼睛事件而进行选择和编辑所述媒体图像中的至少一者，所述选择和编辑所述媒体图像中的所述至少一者包括分析所述眼睛跟踪数据以识别所述用户何时朝向在所述显示器上或邻近于所述显示器的一个或多个区或指示符凝视以使标记与所述媒体图像关联；以及

将所选择和编辑的图像中的至少一者存储在所述可穿戴装置的存储器中。

23.根据权利要求22所述的方法，其进一步包括：

基于所述可穿戴装置上的加速度计而检测包含事故的阈值事件；且

其中选择和编辑所述媒体图像中的至少一者包括在紧接于所述阈值事件的确定之前的预定时间中自动标记所述媒体图像。

24.根据权利要求23所述的方法，其中，阈值事件功能性的确定超驰其它突出性确定以辅助用于保存所述媒体图像的完整视野的事故重构努力，即使用户的定格已经另外提示所述系统裁剪所述媒体图像。

25.根据权利要求22所述的方法，其中所述可穿戴装置辨识所述媒体图像中的媒体图像内的预定面部。

26.根据权利要求22所述的方法，其中所述可穿戴装置从惯性传感器、图像传感器、音频传感器、位置传感器、定向传感器、光传感器、生物计量传感器、或手势传感器中的一者或多者辨识用户或系统确定的阈值读数。

27.根据权利要求22所述的方法，其进一步包括：

使用所述可穿戴装置上的通信接口从远程位置接收度量或试探法；以及

其中选择和编辑所述媒体图像中的至少一者包括基于所述度量或试探法而对所述媒体图像的一个或多个片段指派突出性值。

28.根据权利要求22所述的方法，其进一步包括使用来自社交媒体应用程序的数据作为输入，以用于对与所述用户的所述媒体图像相关联的突出性值的确定。

29.根据权利要求22所述的方法，其进一步包括将媒体图像裁剪到由用户的手运动表明的边界以创建图片帧。

30.根据权利要求22所述的方法，其进一步包括至少部分地基于来自多个传感器的输入而对媒体图像指派突出性值，所述输入包括与大笑的声音组合的眯眼、微笑或大笑。

31.根据权利要求22所述的方法，其中所述用户可以选择在所述可穿戴装置上的重放期间且在单独装置上编辑媒体图像之前标记所述媒体图像。

32.根据权利要求22所述的方法，其进一步包括将所述媒体图像自动裁剪到其中所述用户正在定格的区或者所述用户正在定格的区外部的图像。

33.根据权利要求22所述的方法，其进一步包括将媒体图像自动裁剪到由所述用户的扫视移动限定的区。

34.根据权利要求22所述的方法，其进一步包括至少部分地基于所述用户的瞳孔直径而自动调整所述媒体图像的视频图像的重放速度。

35.根据权利要求22所述的方法，其进一步包括至少部分地基于来自额外传感器的数据而自动调整所述媒体图像的视频图像的重放速度，所述用户的情感状态可以从所述数据推断。

36.根据权利要求22所述的方法，其中所述可穿戴装置经配置以通过音频线索的辨识而创建指导或指示内容。

37.根据权利要求22所述的方法，其中所述可穿戴装置经配置以进行以下操作中的至少一者：存储所述用户的凝视数据以及用所述媒体图像的数据上覆所述用户的凝视数据。

38.根据权利要求22所述的方法，其进一步包括：

至少部分地基于所述一个或多个眼睛事件而检测阈值事件；以及

其中选择和编辑所述媒体图像中的至少一者包括在紧接于所检测的阈值事件之前的预定时间中自动标记所述媒体图像。

Images