CN114601462A

CN114601462A - 情感/认知状态触发记录

Info

Publication number: CN114601462A
Application number: CN202210210355.8A
Authority: CN
Inventors: J·C·戈唐; C·科斯金
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2016-05-18
Filing date: 2017-05-10
Publication date: 2022-06-10
Also published as: WO2017200806A1; US10154191B2; EP3458936A1; US10484597B2; US20170339338A1; CN109154860A; CN109154860B; EP3458936B1; US20190075239A1

Abstract

描述了情感/认知状态触发记录。缓冲区用于临时存储所捕获的视频内容，直到检测到用户的情感或认知状态中的改变。指示用户的情感或认知状态中的改变的传感器数据触发基于缓冲区的当前内容视频段的创建。

Description

情感/认知状态触发记录

相关申请引用

本申请是国际申请号为PCT/US2017/031841、国际申请日为2017年5月10日、进入中国国家阶段日期为2018年11月16日、中国国家申请号为201780030728.0、发明名称为“情感/认知状态触发记录”的发明专利申请的分案申请。

技术领域

本公开的实施例涉及情感/认知状态触发记录。

背景技术

数字媒体使得人们越来越容易通过照片或者视频记录他们的生活中有意义的时刻。然而，经常，在用户意识到这是他们想要捕获的时刻之前，有意义的时刻已经开始。此外，用户经常如此专注于想要捕获重要的时刻，使得他们花费更多的时间尝试捕获照片或视频，而不是享受时刻。

此外，尽管社交媒体应用程序使得用户容易与其他人分享他们的情感(例如，响应于另一用户的发布而发布情感符号)，社交和数字媒体的盛行对于改进面对面的用户交互几乎没有作用。

发明内容

本公开描述了用于情感/认知状态触发记录的技术。在一个示例中，一个或多个传感器收集传感器数据，而相机将视频内容捕获到缓冲区。基于传感器数据，确定用户的情感或认知状态。一旦检测到用户的情感或认知状态中的改变，就基于当前在缓冲区中的视频内容创建视频段。附加的视频内容可以被捕获并且被添加到视频段中，例如直到检测到用户的情感或认知状态中的另一改变。以这种该方式，创建视频段，其对应于在用户经历情感或认知状态中的改变期间的时间段。例如，当观看孩子的运动事件时，如果孩子得分一分，使得用户(父母)变得激动、开心或者骄傲，那么将创建和存储包括在孩子得分之前和之后的几分钟的视频段。

本公开还描述了情感/认知状态呈现系统，其使得用户能够动态地并且自动地与使用电子设备的另一用户共享他们的情感或认知状态。例如，具有信任关系的两个用户可以各使用被配置为实现情感/认知状态呈现的设备。可以收集与每个用户相关联的传感器数据，其被用于确定相应的用户的当前情感或认知状态。然后，分享并且呈现数据，使得每个用户能够知道其他用户的当前情感或认知状态。

提供本发明内容是为了以简化的方式介绍一些概念，这些概念在下面的具体实施方式中被进一步描述。本发明内容不旨在标识所要求保护的主题的关键或者必要特征，也不旨在用于辅助确定所要求保护的主题的范围。术语“技术”例如可以指代系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作，如整个说明书和上面所描述的上下文所允许的。

附图说明

具体实施方式是参照附图描述的。在附图中，附图标记的最左侧数字标识附图标记最初出现的附图。在不同的附图中，相同的附图标记指示相似或相同的项。

图1是图示其中可以实现情感/认知状态触发记录系统的示例环境的示意图。

图2是图示情感/认知状态触发记录系统的示例组件的框图。

图3是用于执行情感/认知状态触发记录的示例方法的流程图。

图4是图示其中可以实现情感/认知状态呈现系统的示例环境的示意图。

图5是图示情感/认知状态呈现系统的示例组件的框图。

图6是用于执行情感/认知状态呈现的示例方法的流程图。

图7是图示使用注视追踪技术标识对象的示例系统的框图。

图8A-图8C图示通过追踪个体的注视来标识注视目标的示例细节。

图9A-图9F描述用于获得针对注视追踪的校准数据的示例技术。

图10A-图10F描述用于处理校准数据和其它数据以标识注视目标的示例技术。

图11是图示用于从注视追踪数据确定注视目标的示例过程的方面的流程图。

图12是图示可用于使用注视追踪技术实现标识对象的方面的示例计算机架构的示意图。

图13是图示能够使用注视追踪技术实现标识对象的方面的示例分布式计算环境的示意图。

图14是图示可用于使用注视追踪技术实现标识对象的方面的另一示例计算设备架构的示意图。

具体实施方式

概述

本文描述了用于情感/认知状态触发记录的技术。在本文描述的示例实现中，可穿戴相机持续将视频记录到缓冲区。任意数目的各种类型的传感器可以用于确定用户的情感或认知状态。一旦检测到特定的情感或认知状态，或者一旦检测到超过阈值的情感或认知状态的程度，缓冲区的内容和附加的记录的视频内容被保存为视频段，该视频段对应于对于用户有意义的时刻。如本文中所使用的，情感状态可以包括但不限于开心、悲伤、愤怒、恐惧、失望或者骄傲。类似于认知状态可以包括但不限于专注、投入、分心、无聊、困倦、困惑或者沮丧。

本文还描述了用于情感/认知状态呈现的技术。在示例实施方式中，带有被配置为呈现情感/认知状态的设备的个体可以互相交互，使得每个用户的情感/认知状态被呈现给另一用户。任意数目的各种类型的传感器可以用于确定用户的情感或认知状态。如果另一用户在接近度内并且正在使用也被配置为呈现用户的情感/认知状态的设备，那么每个用户的设备使得相应的用户的情感/认知状态能够被呈现给另一用户。在示例实现中，另一用户的情感/认知状态被呈现为增强现实内的用户周围的光环，该光环例如是通过头戴式显示设备察看的。

情感/认知状态触发记录

图1图示其中可以实现情感/认知状态触发记录的示例环境100。示例环境100包括情感/认知状态触发记录系统102，其包括感测设备104、相机106、麦克风108和记录设备110。在示例实现中，感测设备104、相机106、麦克风108和记录设备110的任意组合可以被实现为单个设备。例如，感测设备104、相机106、麦克风108和记录设备110可以被实现为单个可穿戴设备，诸如，头戴式显示(HMD)设备112。

在另一设备中，感测设备104、相机106、麦克风108和/或记录设备110可以被实现为多个设备。例如，感测设备104可以被实现为一个或多个设备，该一个或多个设备可以由用户114穿戴或携带。例如，传感器可以是HMD设备112、蜂窝电话116和任意数目的其它设备的组件。作为另一示例，相机106和麦克风108可以被实现为由用户114穿戴或携带的设备的组件。例如，相机106和麦克风108可以是HMD设备112或蜂窝电话116的组件。作为又一示例，记录设备110可以被实现为HMD设备112、蜂窝电话116和/或计算设备118的组件的任意组合。例如，感测设备104、相机106和麦克风108可以被通信连接到记录设备110。HMD设备112、蜂窝电话116和计算设备118的任意组合可以经由例如蓝牙或者其它短程无线通信协议或者经由网络120来互相通信。

在至少一个示例中，感测设备104可以是被配置为生理监测用户114的任意设备或者设备的组合。一个或多个感测设备104的个体传感器可以包括但不限于：用于测量皮肤电反应的皮肤电反应传感器；用于测量皮肤的表面上的温度的皮肤温度传感器；用于测量大脑的电活动的脑电图(EEG)设备；用于测量心脏的电活动的心电图(ECG或者EKG)设备；用于追踪眼睛运动、面部表情、瞳孔放大和/或收缩等的相机；用于测量语音音量、语音速度等的声音传感器。在示例实现中，传感器数据可以包括与用户114的生理属性相关联的测量，其可以是情感或认知状态的指示符。

在一个示例中，感测设备104是特定设备的一部分或者被内置于特定设备中。例如，如图1所示，HMD设备112可以包括相机传感器104A和与HMD设备112的鼻梁组件相关联的皮肤电反应传感器104B。

情感/认知状态触发记录系统102的用户可以激活该系统，以便基于例如经由用户界面或者硬件开关所检测的用户的情感/认知状态来捕获视频段。在图1中图示的示例中，时间线122表示在示例的一天中的用户活动。在图示的示例中，用户在早上9:00和早上10:00之间参加工作会议，并且在下午5:30和下午7:00之间参加她的儿子的棒球比赛。在大约早上9:10时，同事宣布所有的公司雇员将在下周收到奖金。该宣布唤起用户的开心的感受，触发情感/认知状态触发记录系统102记录基于开心的视频段124。稍后在同一会议中，关于在处理顾客订单中做出的错误的热烈讨论唤起用户愤怒的感受。情感/认知状态触发记录系统102检测到用户的愤怒，并且作为响应，记录基于愤怒的视频段126。

在5:30时，用户参加她的儿子的棒球比赛。当她的儿子首次击球时，用户变得激动。情感/认知状态触发记录系统102检测到用户的激动，并且作为响应，记录基于激动的视频段128。稍后在比赛中，用户的儿子击中全垒打，使得用户为她的儿子感到骄傲。情感/认知状态触发记录系统102检测到用户的骄傲的感受，并且作为响应，记录基于骄傲的视频段130。再后来在比赛中，用户的儿子与另一运动员相撞并且跌倒到地上，显然很疼痛。该场景唤起用户中担心的感受。情感/认知状态触发记录系统102检测到用户的担心，并且作为响应，记录基于担心的视频段132。

在一天结束的时候，用户能够回顾在一天中记录的各种视频段。在一些示例中，视频段还包括元数据，元数据可以包括例如触发记录的所检测的情感/认知状态的指示、在视频段期间进行的或周期性的情感/认知状态指示符、和/或当正在记录视频时用户正在观看的位置的点、高亮或者其它可视指示符的叠加。在一个示例中，在察看所记录的视频段时，可用元数据的任何一个或多个组件可以选择性地可视。

图2图示可以在单个设备上实现或者可以跨多个设备(诸如HMD设备112、蜂窝电话116和计算设备118)分布的情感/认知状态触发记录系统102的选择组件。示例情感/认知状态触发记录系统102包括缓冲区202、传感器数据分析模块204、记录模块206、注视检测模块208和视频段存储库210。

缓冲区202被配置为当从相机106和麦克风108接收到视频和音频数据时存储视频和音频数据。在一个示例中，缓冲区202被实现为五分钟环形缓冲区。

传感器数据分析模块204接收来自感测设备104的传感器数据，并且分析所接收的传感器数据，以确定用户的情感或认知状态。在示例实现中，所接收的传感器数据指示情感或认知状态。在备选的实现中，使用例如深度神经网络(DNN)分析传感器数据，以确定用户的情感或认知状态。传感器数据分析模块204形成指示用户的情感或认知状态的可用数据。

记录模块206基于指示用户的情感或认知状态的数据确定是否记录视频段。在一个示例中，记录模块206可以被配置为基于用户的情感或认知状态的改变开始记录视频段。例如，记录模块206可以被配置为当用户的情感或认知状态从中性状态改变到非中性状态时开始记录视频段。在另一示例中，记录模块206可以被配置为当表示用户的情感或认知状态的值超过阈值时开始记录视频段。

记录模块206还确定何时停止记录特定的视频段。例如，记录模块206可以基于预定时间段、用户的情感或认知状态中的改变或者两者的组合来记录视频段。例如，当记录模块206开始记录视频段时，记录模块206可以使得记录持续预定时间段(例如，10分钟)。备选地，记录模块206可以使得记录持续直到传感器数据指示用户的情感或认知状态已经改变或者已经降低到低于阈值。在另一示例中，预定时间段可以指示要记录的视频段的最小或者最大长度。在该示例中，如果预定时间段指示最小记录时间，那么记录模块206可以使得视频段被记录直到满足预定时间段，或者直到用户的情感或认知状态改变，无论哪个稍晚发生。如果预定时间段指示最大记录时间，那么记录模块206可以使得视频段被记录直到满足预定时间段，或者直到用户的情感或认知状态改变，无论哪个首先发生。

注视检测模块208追踪用户的注视以确定用户正在观看的方向。注视检测模块208可以被配置为产生例如包括关于在捕获视频时用户注视的方向的有色的点、高亮或者其它可视指示符的视频叠加。

视频段存储库210被配置为存储基于用户的情感或认知状态所记录的视频段。例如，当记录模块206开始记录时，缓冲区202中存储的视频和音频数据被复制到新的视频段，该新的视频段被存储在视频段存储库210中。此外，记录模块206将要被记录的附加的视频和音频数据引导到上述视频段。在示例实现中，视频段存储库210还存储与视频段相关联的元数据，该元数据可以包括但不限于：触发记录的用户的情感或认知状态的指示符；当正在记录视频段时用户的情感或认知状态的一个或多个指示符；和用于当正在记录视频时提供用户的注视的位置的可视指示符(例如，点或高亮)的叠加。

图3图示用于执行情感/认知状态触发记录的示例方法。示例过程被图示为逻辑流程图中的块集合，其表示可以以硬件、软件或其组合实现的一系列操作。通过数字引用块。在软件的上下文中，块表示在一个或多个计算机可读介质上存储的计算机可执行指令，该计算机可执行指令当由一个或多个处理单元(诸如，硬件微处理器)执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或者实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。所描述的操作的顺序不旨在被解释为限制，并且任意数目的所描述的块可以以任意顺序和/或并行地组合，以实现过程。

图3图示用于执行情感/认知状态触发记录的示例方法300。在框302，将视频/音频记录到缓冲区。例如，当相机106和麦克风108捕获视频/音频数据时，情感/认知状态触发记录系统102将视频/音频数据写入到缓冲区202。如上所述，缓冲区202可以被实现为环形缓冲区，使得缓冲区202持续地存储来自最近的时间段的数据。

在框304，接收传感器数据。例如，传感器数据分析模块204接收来自一个或多个感测设备104的数据。如上所述，传感器数据可以包括但不限于：指示皮肤电反应的数据、指示皮肤温度的数据、指示大脑的电活动的数据、指示心脏的电活动的数据、指示眼睛运动的数据、指示面部表情的数据、指示瞳孔放大和/或收缩的数据、指示语音音量的数据或者指示语音速度的数据。

在框306，分析所接收的传感器数据，以确定用户的情感或认知状态。例如，传感器数据分析模块基于所接收的传感器数据，确定用户的情感或认知状态。例如，传感器数据分析模块使用深度神经网络分析所接收的传感器数据，以确定用户的情感或认知状态。

在框308，确定是否应该记录数据。例如，基于所确定的用户的情感或认知状态，记录模块206确定是否开始记录视频段。例如，如上所述，记录模块206可以基于用户的情感或认知状态的改变或者基于表示用户的情感或认知状态的值超过阈值的确定来确定开始记录视频段。

如果确定不应该记录数据(来自框308的“否”分支)，那么处理如上面参照框302所描述的继续进行。

另一方面，如果确定应该记录数据(来自框308的“是”分支)，那么在框310，创建视频段。例如，记录模块206通过将缓冲区202的内容保存到视频段存储库210来创建视频段。还可以与视频段相关联地存储附加的数据，诸如例如为，用户的当前情感或认知状态的指示符和/或用户的注视的当前位置的指示符。在示例实施方式中，可以通过注视检测模块208确定用户的注视的方向。

在块312，将视频/音频记录到视频段。例如，除了将视频/音频记录到缓冲区之外，或者取代将视频/音频记录到缓冲区，记录模块206使得附加的所捕获的视频/音频被记录到如上面参照框310所述所创建的视频段。

在框314，确定是否应该停止记录。例如，如上所述，记录模块206可以确定应该在预定时间段之后和/或基于用户的情感/认知状态的改变来停止记录。例如，在记录视频的同时，传感器数据分析模块204可以继续分析所接收的传感器数据，其可以标识用户的情感/认知状态中的改变(例如，回到中性)。

如果确定应该停止记录(来自框314的“是”分支)，那么到视频段的记录停止，并且处理如上面参照框302所描述的继续进行。

另一方面，如果确定不应该停止记录(来自块314的“否”分支)，那么处理如上面参照框312所描述的继续进行，其中视频/音频数据继续被记录到视频段。

情感/认知状态呈现

图4图示其中可以实现情感/认知状态呈现的示例环境400。示例环境400包括情感/认知状态呈现系统402，其使得情感/认知状态数据能够在与两个或多个用户相关联的设备之间被分享。在图示的示例中，第一感测/呈现设备404与第一用户406相关联，并且第二感测/呈现设备408与第二用户410相关联。

在示例实施方式中，用户406经由设备404选择分享指示她的情感/认知状态的数据。类似地，用户410经由设备408选择分享指示他的情感/认知状态的数据。与设备404相关联的传感器指示用户406的情感/认知状态，而与设备408相关联的传感器指示用户408的情感/认知状态。设备404和设备408可以例如经由蓝牙(Bluetooth)连接或者经由网络上的情感/认知状态呈现系统402来彼此直接通信。

当确定设备404和设备408彼此在接近度内时，指示用户406的情感/认知状态的数据被与设备408共享，并且指示用户410的情感/认知状态的数据被与设备404共享。一旦接收指示其它用户的情感/认知状态的数据，感测/呈现设备408呈现用户406的情感/认知状态的指示。在示例实现中，感测/呈现设备408提供包括用户406的周围的可视光环414的增强现实视图412。例如，不同的有色光环可以用于指示不同的情感或认知状态。任何数目的其它技术可以用于指示另一用户的情感或认知状态，包括但不限于音频指示符、文本指示符或者可视指示符。

示例情感/认知状态呈现系统402包括感测设备414和呈现设备416。如所述的非限制性示例，设备404和设备408被实现为包括感测设备414和呈现设备416的单个设备。

类似于上面参照图1的描述，感测设备414可以被实现为一个或多个设备，该一个或多个设备可以由用户穿戴或携带。例如，传感器可以是HMD设备(诸如，设备404或设备408)的组件，或者可以实现为蜂窝电话或者任意数目的其它设备的组件。

在至少一个示例中，感测设备414可以是被配置为生理监测用户的任意设备或者设备的组合。一个或多个感测设备414的个体传感器可以包括但不限于：用于测量皮肤电反应的皮肤电反应传感器；用于测量皮肤的表面上的温度的皮肤温度传感器；用于测量大脑的电活动的脑电图(EEG)设备；用于测量心脏的电活动的心电图(ECG或者EKG)设备；用于追踪眼睛运动、面部表情、瞳孔放大和/或收缩等的相机；用于测量语音音量、语音速度等的声音传感器。在示例实现中，传感器数据可以包括与用户的生理属性相关联的测量，其可以是情感或认知状态的指示符。

呈现设备416被配置为向用户呈现另一用户的情感或认知状态的指示。在图4中图示的示例中，HMD设备408包括用于呈现增强现实的显示器，其可以包括另一用户的情感或认知状态的可视指示符。在备选的实施方式中，呈现设备416可以被实现为任何其它设备(诸如智能手机)的组件。

图5图示示例情感/认知状态呈现系统的选择组件。如图5中所示，示例情感/认知状态呈现系统402包括设备接近度检测模块502、感测设备504、传感器数据分析模块506、情感/认知状态共享参数508、通信接口510和输出设备512。

设备接近度检测模块502被配置为检测在接近度内的另一设备。例如，参照图4，设备接近度模块可以确定何时设备404和设备408彼此在预定的接近度内。在各种示例中，可以基于全球定位系统(GPS)数据、蓝牙可用性、用户输入等确定接近度。

感测设备504可以是被配置为生理监测用户的任意设备或者设备的组合。一个或多个感测设备504的个体传感器可以包括但不限于：用于测量皮肤电反应的皮肤电反应传感器；用于测量皮肤的表面上的温度的皮肤温度传感器；用于测量大脑的电活动的脑电图(EEG)设备；用于测量心脏的电活动的心电图(ECG或者EKG)设备；用于追踪眼睛运动、面部表情、瞳孔放大和/或收缩等的相机；用于测量语音音量、语音速度等的声音传感器。在示例实现中，传感器数据可以包括与用户406或410的生理属性相关联的测量，其可以是情感或认知状态的指示符。

传感器数据分析模块506接收来自感测设备504的传感器数据，并且分析所接收的传感器数据，以确定用户的情感或认知状态。在示例实现中，所接收的传感器数据指示情感或认知状态。在备选的实现中，使用例如深度神经网络(DNN)分析传感器数据，以确定用户的情感或认知状态。传感器数据分析模块506形成指示用户的情感或认知状态的可用数据。

情感/认知状态共享参数508可以限定例如用于共享情感/认知状态数据的与其它用户的用户的信任水平。情感/认知状态共享参数508可以包括与情感/认知状态共享相关联的默认的和/或用户指定的参数。例如，用户可以选择可共享的特定情感和/或认知状态，同时指定其它为私密的(不可分享的)。作为另一示例，用户可以选择他们愿意与其共享情感/认知状态数据的特定用户和/或他们不愿意与其共享情感/认知状态数据的特定用户。

通信接口510被配置为促进在处于彼此的接近度内的两个用户设备之间情感/认知状态数据的分享。通信接口510可以包括用于验证设备之间的信任水平(例如，基于情感/认知状态共享参数508或者来自用户的输入)，以及用于促进使用蓝牙协议或者其它网络接口的设备之间数据的传输的逻辑。

输出设备512被配置为呈现指示另一用户的情感或认知状态的数据。例如，输出设备512可以包括但不限于显示设备，该显示设备被配置为允许通过硬件显示表面的对象的真实世界视图，同时还提供计算机产生的内容或场景的绘制显示(例如，围绕个体的光环)。

图6图示用于执行情感/认知状态呈现的示例方法。示例过程被图示为逻辑流程图中的框集合，其表示可以以硬件、软件或其组合实现的一系列操作。通过数字引用框。在软件的上下文中，块表示在一个或多个计算机可读介质上存储的计算机可执行指令，该计算机可执行指令当由一个或多个处理单元(诸如，硬件微处理器)执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或者实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。所描述的操作的顺序不旨在被解释为限制，并且任意数目的所描述的块可以以任意顺序和/或并行地组合，以实现过程。

图6图示用于执行情感/认知状态呈现的示例方法600。在框602，检测被配置为共享情感/认知状态的另一设备的接近度。例如，设备接近度检测模块502检测另一设备的接近度。

在块604，接收传感器数据。例如，传感器数据分析模块506接收来自一个或多个感测设备504的数据。如上所述，传感器数据可以包括但不限于：指示皮肤电反应的数据、指示皮肤温度的数据、指示大脑的电活动的数据、指示心脏的电活动的数据、指示眼睛运动的数据、指示面部表情的数据、指示瞳孔放大和/或收缩的数据、指示语音音量的数据或者指示语音速度的数据。

在框606，确定用户的情感或认知状态。例如，传感器数据分析模块506基于所接收的传感器数据，确定用户的情感或认知状态。例如，传感器数据分析模块506使用深度神经网络分析所接收的传感器数据，以确定用户的情感或认知状态。

在框608，共享指示所确定的情感/认知状态的数据。例如，经由通信接口510将用户的当前的情感或认知状态的指示发送到另一设备。在示例实现中，通信接口510在发送用户的当前的情感或认知状态的指示之前，验证用户与另一设备的用户之间的信任关系。例如基于情感/认知状态共享参数508来验证信任关系。

在框610，接收指示另一用户的情感/认知状态的数据。例如，经由通信接口510接收指示另一用户的情感/认知状态的数据。

在框612，呈现另一用户的情感/认知状态。例如，输出设备512可以通过硬件显示表面提供对象的真实世界视图，同时还提供计算机产生的内容或场景的绘制显示(例如，围绕个体的光环)。

示例架构

图7是图示用于基于情感或认知状态记录视频或者用于呈现情感或认知状态的示例系统700的框图。系统700包括计算设备702，其可以用于执行至少一部分操作，以确定用户的情感或认知状态以及呈现所确定的情感或认知状态或者基于所确定的情感或认知状态来记录视频。计算设备702可以与作为服务提供商的实体相关联，该服务提供商提供与情感/认知状态呈现或者视频记录相关的服务。附加地，计算设备702可以与电子设备706的制造商、电子设备706的发行商或者两者相关联。计算设备702可以包括一个或多个网络接口(未示出)，以经由一个或多个网络704来与其它计算设备通信。一个或多个网络704可以包括因特网、有线网络、卫星网络、广域无线通信网络、有线局域网、无线局域网或公共交换电话网(PSTN)中的一个或多个。

在特定实施例中，计算设备702可以经由一个或多个网络704来与和个体708相关联的电子设备706通信。电子设备706可以包括膝上型计算设备、平板计算设备、移动通信设备(例如，移动电话)、可穿戴计算设备(例如，手表、眼镜、健身追踪设备、头戴式显示器、珠宝)、便携式游戏设备、其组合等。个体708可以利用电子设备706来基于所检测的个体708的情感/认知状态记录视频或者共享/呈现数据。

计算设备702可以包括一个或多个处理器，诸如处理器710。一个或多个处理器710可以包括至少一个硬件处理器，诸如微处理器。在一些情况中，一个或多个处理器710可以包括中央处理单元(CPU)、图形处理单元(GPU)、或者CPU和GPU两者、或者其它处理单元。附加地，一个或多个处理器710可以包括本地存储器，其可以存储程序模块、程序数据和/或一个或多个操作系统。

附加地，计算设备702可以包括一个或多个计算机可读存储介质，诸如，计算机可读存储介质712。计算机可读存储介质712可以包括以任意类型的技术实现的、用于信息(诸如，计算机可读指令、数据结构、程序模块或其它数据)的存储的易失性和非易失性存储器和/或可去除和不可去除介质。这种计算机可读存储介质712可以包括但不限于：RAM、ROM、EEPROM、闪速存储器或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储装置、盒式磁带、磁带、固态存储装置、磁盘存储装置、RAID存储系统、存储阵列、网络附加存储装置、存储区域网络、云存储装置、可去除存储介质、或者可以用于存储所需信息并且可以由计算设备访问的任何其它介质。根据计算设备702的配置，计算机可读存储介质712可以是一种有形计算机可读存储介质，并且可以是非暂态存储介质。

计算机可读存储介质712可以用于存储由一个或多个处理器710可执行的任意数目的功能性组件。在许多实现中，这些功能性组件包括指令或者程序，该指令或者程序是由一个或多个处理器710可执行的，并且在被执行时实现用于执行归于计算设备702的操作的操作逻辑。如本文中所述，可以在一个或多个处理器710上执行的用于基于所检测的情感/认知状态实现与记录音频/视频数据有关的各种功能和特征的计算设备702的功能性组件包括传感器数据分析模块714、记录模块716和注视检测模块718，其分别对应于图2中示出的例如传感器数据分析模块204、记录模块206和注视检测模块208。模块714、716、718中的一个或多个模块可以用于实现图1和图2的情感/认知状态触发记录系统102。

如本文中所述，可以在一个或多个处理器710上执行的、用于实现与呈现情感/认知状态据有关的各种功能和特征的计算设备702的功能性组件包括传感器数据分析模块714和设备接近度检测模块720，其分别对应于图5中示出的例如传感器数据分析模块504和设备接近度检测模块502。模块714和720中的一个或多个可以用于实现图4和图5的情感/认知状态呈现系统402。

在各种实施方式中，计算设备702的组件中的功能性组件中的一个或多个功能性组件可以被实现为作为计算设备702的部分或者计算设备702可访问的集成电路的一部分。例如，传感器数据分析模块可以至少部分地被实现为使用专用于深度神经网络(DNN)的执行的专用集成电路(ASIC)。

计算设备702还可以包括或者被耦合到数据存储库728和缓冲区730，其可以包括但不限于：RAM、ROM、EEPROM、闪存、一个或多个硬盘、固态驱动、光存储器(例如CD、DVD)或其它非暂态存储器技术。数据存储库728可以维持由计算设备702利用以执行与情感/认知状态触发记录或情感/认知状态呈现有关的操作的信息。例如，数据存储库728可以包括情感/认知状态信息732、与确定个体的注视有关的注视追踪信息734、视频段存储库736和/或情感/认知状态共享参数738。

情感/认知状态信息732可以包括例如对应于各种情感和认知状态的传感器值。

在数据存储库728中存储的注视追踪信息734可以包括用于确定个体的注视的信息。在一些情况中，注视追踪信息734可以包括针对一个或多个个体的眼睛位置数据。附加地，注视追踪信息734可以包括个体的面部特征的距离、参考点和可以用于确定个体的注视的其它信息。可选地，当执行注视计算时，可以缓存或者以其它方式临时存储注视追踪信息734的部分。在执行注视计算之后，注视追踪信息734的至少一部分可以被丢弃，以最小化用于使用注视追踪技术标识对象的存储器资源。

视频段存储库736可以被配置为存储基于所检测的用户的情感或认知状态所记录的视频/音频段和相关的元数据。例如，视频段存储库736可以对应于图2中示出的视频段存储库210。

情感/认知状态共享参数738可以包括与情感/认知状态共享相关联的默认的和/或用户指定的参数。例如，用户可以选择可共享的特定情感和/或认知状态，同时指定其它是私密的(不可分享的)。作为另一示例，用户可以选择他们愿意与其共享情感/认知状态数据的特定用户和/或他们不愿意与其共享情感/认知状态数据的特定用户。

缓冲区730被配置为当情感/认知状态触发记录活动时，存储视频/音频数据。例如，在由用户(例如，通过用户界面或者经由硬件开关)激活情感/认知状态触发记录系统102时，期待在情感/认知状态中所检测到的、将会触发到视频段存储库736中的视频段的记录的改变，视频/音频数据被连续地记录到缓冲区730。

传感器数据分析模块714可以包括计算机可读指令，该计算机可读指令由处理器710可执行以接收传感器数据和分析所接收的传感器数据，以确定用户的情感或认知状态。在示例实现中，所接收的数据指示情感或认知状态。在备选的实现中，使用例如深度神经网络(DNN)分析传感器数据，以确定用户的情感或认知状态。传感器数据分析模块714使得可用数据指示用户的情感或认知状态。

记录模块716可以包括计算机可读指令，该计算机可读指令由处理器710可执行以基于指示用户的情感或认知状态的数据确定是否记录以及何时停止记录视频段。

注视检测模块718可以包括计算机可读指令，该计算机可读指令由处理器710可执行以获得可以用于确定个体的注视路径的数据。在一些情况中，注视检测模块718可以获得来自电子设备706的数据，该数据可以用于确定个体(诸如，个体708)的注视。例如，注视检测模块718可以获得指示个体的至少一个眼睛的位置的数据。在各种实现中，注视检测模块718可以获得个体的至少一个眼睛的图像，并且分析图像以确定个体的眼睛位置。个体的眼睛位置可以用于确定个体的注视路径。在特定实现中，个体的眼睛位置可以用于确定个体正在观看的方向。在一些情况中，个体的注视路径可以近似为对场景的圆锥形状的视场或者三棱柱形状的视场。

注视检测模块718还可以产生视频叠加以作为元数据与视频段一起被存储在视频段存储库736中，其中视频叠加包括在记录视频段时个体的注视路径的可视点、高亮或者其它可视指示符。

设备接近度检测模块720可以包括由处理器710可执行的以检测在接近度内的另一设备的计算机可读指令。

计算设备702还可以包括通信接口740，通信接口740被配置为支持与其它设备共享数据，诸如共享指示用户的情感或认知状态的数据。

系统700的电子设备706可以包括处理器742、计算机可读存储介质744、缓冲区746、输入/输出设备748和通信接口750。处理器742可以包括硬件处理单元，诸如中央处理单元、图形处理单元、DNN芯片或者其任意组合。在一个实施现中，计算机可读存储介质744可以包括以任意类型的技术实现的、用于信息(诸如，计算机可读指令、数据结构、程序模块或其它数据)的存储的易失性和非易失性存储器和/或可去除和不可去除介质。这种计算机可读存储介质744可以包括但不限于：RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储装置、固态存储装置、磁盘存储装置、可去除存储介质、或者可以用于存储所需信息并且可以由电子设备706访问的任何其它介质。根据电子设备706的配置，计算机可读存储介质744可以是一种有形计算机可读存储介质，并且可以是非暂态存储介质。电子设备706还可以包括一个或多个网络接口(未示出)，以经由一个或多个网络704来与其它计算设备通信。

缓冲区746可以被配置为记录视频/音频，以支持情感/认知状态触发视频记录。如图7所示，缓冲区746可以是计算设备702和/或电子设备706的组件。

输入/输出设备748可以包括一个或多个传感器。在至少一个示例中，输入/输出设备748可以包括传感器，该传感器可以包括被配置为感测个体708的或者个体708的周围的状况任意设备或者设备的组合。输入/输出设备748可以包括图1中示出的感测设备104。输入/输出设备748可以包括用于追踪用户的眼睛运动或注视、面部表情、瞳孔放大和/或收缩、手势和/或其它特点的一个或多个面向用户的相机或者其它传感器。在一些示例中，输入/输出设备748可以包括用于捕获个体708的真实世界对象和周围的图像的一个或多个面向外部的或者环境相机，诸如例如为上面参照图1所描述的相机106。输入/输出设备748可以附加地或者备选地包括一个或多个生物计量传感器(例如，用于测量皮肤电反应的皮肤电反应传感器、心率监视器、用于测量皮肤的表面上的温度的皮肤温度传感器、用于测量大脑的电活动的脑电图(EEG)设备、用于测量心脏的电活动的心电图(ECG或者EKG)设备)、一个或多个其它相机(例如，网络相机、红外相机、深度相机等)、麦克风(例如，麦克风108)或者用于测量语音音量、语音速度等的声音传感器、光传感器、光学扫描器等。

输入/输出设备748可以将数据输出到用于合适的处理的一个或多个模块，诸如传感器数据分析模块752、记录模块754、注视检测模块756和接近度检测模块758。例如，生物计量传感器可以捕获传感器数据，该传感器数据可以由传感器数据分析模块752处理，以确定用户的情感或认知状态。然后，传感器数据分析模块752可以将用户的情感或认知状态的指示符输出到记录模块754，然后记录模块可以处理由麦克风和相机所捕获的音频和视频数据，以产生要被存储在视频段存储库736中的视频段。

作为另一示例，面向用户的相机可以捕获注视追踪数据，注视追踪数据可以由注视检测模块756处理，以确定个体708的注视路径。然后，注视检测模块756可以将注视路径输出到记录模块754或者计算设备702，以产生将要与视频段存储库736中的视频段相关联地存储的元数据。

在附加的和/或备选的示例中，输入/输出设备748可以包括被配置为检测电子设备706以及其它对象的位置或运动的任意设备或者设备的组合。例如，输入/输出设备748可以附加地和/或备选地包括深度地图传感器、光场传感器、陀螺仪、声纳传感器、红外传感器、罗盘、加速度计、全球定位系统(GPS)传感器和/或用于检测电子设备706和/或其它对象的位置或运动的任何其它设备或组件。输入/输出设备748还可以支持特征化与电子设备706的交互(诸如，用户手势)的数据的产生。出于说明的目的，输入/输出设备748可以支持限定一个或多个对象的位置和运动的方面(例如，速度、方向、加速度)的数据的产生，该一个或多个对象可以包括电子设备706、靠近电子设备706的物理项和/或用户。

在一些实现中，至少一些输入/输出设备748可以是电子设备706的一部分或者被内置于电子设备706中。更具体地，电子设备706可以包括面向用户的相机传感器和/或环境相机，其被布置在电子设备706的鼻梁组件中或者与电子设备的鼻梁组件集成。如上所述，电子设备706可以包括作为电子设备706的一部分或者被内置于电子设备706中的一个或多个输入/输出设备748的任意配置。然而，在一些示例中，输入/输出设备748中的一个或多个输入/输出设备可以可去除地被耦合到电子设备706，或者与电子设备706分离并且被通信耦合到电子设备706。在后面的情况中，来自输入/输出设备748的数据可以例如经由有线和/或无线网络(诸如，网络704)从输入/输出设备748被传送到电子设备706。

附加地，输入/输出设备748可以包括一个或多个输入接口，其可以包括键盘、小键盘、鼠标、麦克风、触控传感器、触控屏、操纵杆、控制按钮、滚动按钮、相机、神经接口或者适合于产生限定与电子设备706的用户交互的信号和/或数据的任意其他设备。通过示例而非限制的方式，输入/输出设备748可以包括显示器(例如，全息显示器、抬头显示器、保护器、触控屏、液晶显示器(LCD)等)、扬声器、触觉接口等。

在至少一个示例中，电子设备706的显示设备可以包括硬件显示表面，其可以被配置为通过硬件显示表面的对象的真实世界视图，同时还提供计算机产生的内容或场景的绘制显示(例如，围绕个体的光环)。硬件显示表面可以包括一个或多个组件，诸如投影仪、屏幕或者用于产生对象和/或数据的显示的其它适合的组件。在一些配置中，硬件显示表面可以被配置为覆盖用户的至少一只眼睛。在一个说明性示例中，硬件显示表面可以包括被配置为覆盖用户的两只眼睛的屏幕。硬件显示表面可以绘制或者导致用于产生一个或多个计算机产生的虚拟对象的视图或者立体图像的一个或多个图像的显示。出于说明的目的，对象可以是项、数据、设备、人、位置或者任意类型的实体。在至少一个示例中，对象可以与和应用相关联的特征或功能相关联。一些配置可以使得电子设备706能够将全息用户界面和其它图形元件与通过硬件显示表面看到的或者在电子设备706的硬件显示表面上显示的绘制的对象图像化地关联。

电子设备706的硬件显示表面可以被配置为允许个体708察看来自不同环境的对象。在一些配置中，硬件显示表面可以显示计算机产生的虚拟对象的绘制。此外，硬件显示表面的一些配置可以允许个体708通过具有可控的透明度水平的硬件显示表面的可选择的段观看，使得个体708察看在他或她的周围环境中的对象。出于说明的目的，正在通过硬件显示表面观看对象的个体708的视角可以在本文中被称为对象的“真实世界视图”或者“物理对象的真实世界视图”。计算机产生的对象的绘制和/或数据的可以被显示为在硬件显示表面的所选择的部分内、周围或者附近，使得个体708能够通过硬件显示表面的所选择的部分察看计算机产生的绘制以及对象的真实世界视图。

本文中描述的一些配置提供“透视显示”和“增强现实显示”两者。出于说明的目的，“透视显示”可以包括可以具有在其上显示有内容的透明透镜。“增强现实显示”可以包括被配置为在图像的绘制之上显示内容的不透明的显示，其可以来自任意源，诸如来自用于捕获环境的图像的相机的视频馈送。出于说明的目的，本文中描述的一些示例描述了在图像的显示之上绘制的内容的显示。此外，本文中描述的一些示例描述了在“透视显示”之上显示绘制的内容，使得用户看到具有内容的对象的真实世界视图。可以理解，本文中描述的技术的示例可以应用于“透视显示”、“增强现实显示”或者其变型和组合。出于说明的目的，被配置为支持“透视显示”、“增强现实显示”或者其组合的设备在本文中被称为能够提供“混合环境”或者“混合现实场景”的设备。

在一些实现中，由传感器数据分析模块752执行的操作的至少一部分可以包括由传感器数据分析模块714执行的操作，由记录模块754执行的操作的至少一部分可以包括由记录模块716执行的操作，由注视检测模块756执行的操作的至少一部分可以包括由注视检测模块718执行的操作，并且由接近度检测模块758执行的操作的至少一部分可以包括由设备接近度检测模块720执行的操作，或者其组合。

通信接口750被配置为支持与其它设备共享数据，诸如共享指示用户的情感或认知状态的数据。在一些实现中，由通信接口750执行的操作的至少一部分可以包括由通信接口740执行的操作。

现在参照图8A-8C、图9A-9F、图10A-10F和图11，下面的部分描述用于检测注视路径的技术。技术是在具有面向用户的注视追踪相机的头戴式计算设备的上下文中描述的。然而，在这些部分中描述的技术还可以应用于具有用于注视追踪的面向用户的相机的其它类型的计算设备(例如，具有网络相机的计算机、具有面向用户的相机的平板或智能电话、具有面向用户的相机的游戏控制器等)。图8A是具有一个或多个硬件显示表面802和一个或多个显示器804和804’的设备800(例如，HMD设备112、404、408或706)的后视图。在至少一个示例中，传感器804’是面向用户的，并且可以被配置为追踪用户的至少一只眼睛的位置。此外，至少另一传感器804可以是面向场景的相机(例如，相机106)，并且可以被引导朝向真实世界对象，用于产生真实世界对象的图像数据。如下面将详细描述的，示例可以处理眼睛位置数据、图像数据和其它数据，以标识用户的注视路径。如下面还将描述的，本文中描述的示例还可以确定用户是否正在观看硬件显示表面802的特定部分、真实世界对象的特定部分或者所绘制的对象的特定部分。这种信息对于从注视追踪数据确定注视目标可以是有用的，其中注视目标可以在所记录的视频段中被标识。

在图8A中，设备800包括两个面向用户的传感器804’，用于产生指示用户的至少一只眼睛的位置或者运动的数据或信号。传感器804’可以以相机或者其它合适的设备的形式，用于追踪用户的至少一只眼睛的位置或者运动。设备800还可以包括至少一个硬件显示表面802，用于允许用户察看一个或多个对象。硬件显示表面802可以通过硬件显示表面802提供真实世界对象的视图以及提供可以在硬件显示表面802上显示的绘制的对象的图像，如上所述。

图8B是图8A中示出的设备800的侧剖视图。图8B包括用户的眼睛808通过硬件显示表面802观看。硬件显示表面802被配置为创建透明部分，使得用户能够通过硬件显示表面802察看对象。图8B示出示例布置，其中真实世界对象810与硬件显示表面802的透明部分对齐，该透明部分允许用户通过硬件显示表面802察看真实世界对象810。硬件显示表面802可以显示一个或多个绘制的对象。设备800还包括被引导朝向用户的至少一只眼睛808的至少一个传感器804’。

图8C图示可以由用户经由硬件显示表面802观察的示例场景或视图812。粗双线814图示硬件显示表面802的边界。在该说明性示例中，场景或视图812包括在硬件显示表面802上显示的真实世界对象816、第一绘制的对象818和第二绘制的对象820。真实世界对象816通过硬件显示表面802被察看。

设备800可以利用用于校准设备800的一个或多个技术。下面的部分与图9A-图9F相结合描述了用于获得校准数据的技术的各个方面。后续的部分与图10A-图10F相结合描述了其中设备800处理校准数据和其它数据以标识注视目标的示例场景。

设备800可以利用若干方式进行校准。在一个示例中，设备800可以利用在预定位置处的若干图形元件的显示器。在显示图形元件时，设备800可以提示用户观看特定的图形元件，以及提供输入以验证用户正在观看特定的图形元件。当用户验证他或她正在观看特定的图形元件时，传感器804’可以产生限定至少一只眼睛的位置的眼睛位置数据。眼睛位置数据可以响应于接收来自用户的验证而被存储在存储器中的数据结构中。

图9A图示可以由设备800的传感器804’捕获的示例视图900。从这种视角，设备800可以确定限定用户的至少一只眼睛808的位置的一个或多个值。在一个说明性示例中，值可以包括指示用户的眼睛之间的距离的第二值(D2)以及指示用户的至少一只眼睛与参考点902之间的距离的第三值(D3)、第四值(D4)和第五值(D7)。可以理解，通过使用一个或多个图像处理技术，可以标识和利用眼睛的一个或多个方面(诸如，瞳孔)以确定眼睛位置。

此外，通过利用一个或多个合适的技术，可以选择参考点902。参考点902可以基于用户的特征(例如，鼻尖、眼眉、美人痣)，或者参考点902可以在任意位置。在图9A的示例中，用户的眼睛之间的点被用作参考点902。该示例参考点902是出于说明的目的提供的，并且不被解释为限制。可以理解，参考点902可以在任一合适的位置，其可以基于用户或者任意对象的可标识的特征或特点。

如上所述，设备800可以在硬件显示表面802的预定位置处产生若干图形元件。当图形元件被显示在硬件显示表面802上时，设备800可以提示用户观看图形元件并且提供输入以验证用户正在观看图形元件。图9B图示图形元件906的示例视图904，其可以由设备800产生以促进校准过程。在该示例中，设备800在察看区域的中心处产生图形元件906的绘制。尽管图形元件906被显示，但是设备800可以产生针对用户的提示，以验证他或她正在观看图形元件906。提示以及对提示的用户响应可以包括手势、声音命令或者其它合适的输入类型。

当设备800验证用户正在观看图形元件906时，设备800可以记录指示用户的至少一只眼睛808的位置和/或运动的一个或多个值。例如，上面所描述的以及在图8B和图9A所示出的一个或多个值可以被存储在存储器中的数据结构中。可以理解，可以存储或者利用任意合适的值或值的组合，包括但不限于：指示传感器804’与用户的至少一只眼睛808之间的距离的第一值(D1)；指示用户的眼睛之间的距离的第二值(D2)；以及指示至少一只眼睛808与参考点902之间的距离的其它值(D3、D4和D7)。这些值是出于说明的目的提供的，并且不被解释为限制。可以理解，这些值、这些值的子集以及其它测量的其它值可以用于确定用户的一只或多只眼睛的运动和/或位置。

在在各种位置中显示的其它图形元件的显示期间，可以测量其它组的值。例如，如图9C所示，在显示如图9D所示的第二图形元件908时可以测量第二组的值(D2’、D3’、D4’和D7’)。如图9E所示，在显示如图9F所示的第三图形元件910时可以测量第三组的值(D2”、D3”、D4”和D7”)。

图形元件的这些示例测量和位置是出于说明的目的提供的。可以理解，任意数目的图形元件可以被放置于不同的位置处，以获得可以用于校准设备800的测量。例如，设备800可以顺序地显示在视图904的预定位置处的图形元件，诸如视图904的每个角。如可以理解的，更多或更少的图形元件可以用于校准过程中。

指示在每个预定位置处至少一只眼睛808的位置的值可以用于产生校准数据。校准数据可以被配置为将眼睛位置数据集与标识图形元件的位置的数据相关联。

可以使用用于产生校准数据的任意已知的技术。可以理解，校准数据的产生可以包括外推、投影和/或估计技术，其可以投影眼睛位置数据集与硬件显示表面802的各种部分和/或硬件显示表面802的像素之间的相关性。这些示例是出于说明的目的而提供的，并且不被解释为限制，并且值和/或校准数据可以以其它方式来获得，包括从一个或多个远程资源接收这种校准数据。

一旦产生或者获得校准数据，这种数据或者其它数据就可以由设备800利用以确定是否用户正在观看特定的注视目标，其可以包括硬件显示表面802的一部分、绘制的对象、绘制的对象的一部分、真实世界对象或者真实世界对象的一部分。图10A-图10F描述了示例场景的方面，其中具有至少一个传感器804’的设备800被用于追踪用户的至少一只眼睛808的运动，以标识注视目标。

现在参照图10A和图10B，示出和描述了示出注视目标的标识的示例景象。在该示例中，用户正在观看示例视图812。如上面参照图8C所概述的，示例视图812包括在硬件显示表面802上的绘制的对象(例如，第一绘制的对象818和第二绘制的对象820)的视图以及通过硬件显示表面802的真实世界对象816的视图。当用户正在观看视图812时，传感器804’可以使得产生一个或多个测量的值，诸如图10A中示出的值。在一些示例中，使用合适的技术的任意组合，这些值可以与校准数据和/或其它数据相比较，以标识注视目标。在该示例中，在图10A中描述的场景中所测量的一个或多个值可以利用校准数据进行处理，以确定用户正在观看真实世界对象816。在这种示例中，图10A中示出的一个或多个所测量的值还可以用于确定用户正在观看界面的预定部分，诸如图10B中的硬件显示表面802的第一部分1000。

继续本示例，在图10C中描述的场景中测量的一个或多个值可以利用校准数据进行处理，以确定用户正在观看第二绘制的对象818。在这种示例中，图10C中示出的一个或多个测量的值还可以用于确定用户正在观看图10D中硬件显示表面802的第二部分1002。

继续本示例，在图10E中描述的场景中测量的一个或多个值可以利用校准数据进行处理，以确定用户正在观看第二绘制的对象820。在这种示例中，图10E中示出的一个或多个测量的值还可以利用校准数据进行处理，以确定用户正在观看图10F中硬件显示表面802的第三部分1004。

在一些示例中，设备800可以利用来自资源的组合的数据来确定是否用户正在通过硬件显示表面802观看第二绘制的对象820。如上面所概述的，安装到设备800的相机或者其它类型的传感器804(图8A)可以被引导朝向用户的视场。可以分析从相机生成的图像数据，以确定是否视场中的对象是否在图像数据的图像的预定位置中。如果对象被定位在图像的预定区域内，诸如图像的中心，那么设备可以通过利用眼睛位置数据处理这些数据来确定注视目标。这些数据可以被用来补充其它类型的数据，诸如来自GPS的位置数据和/或从罗盘或加速度计产生的数据，以辅助设备800确定注视方向(例如，左、右、上或下)和/或注视目标。

图11是图示用于确定注视目标的示例过程1100的各方面的流程图。在图11中，为了方便起见，在设备800的上下文中描述了操作。然而，操作还可应用于其它设备，包括但不限于：HMD设备112、HMD设备404、HMD设备408、或者电子设备706。

块1102图示获得校准数据。在至少一个示例中，操作系统、应用或者另一模块可以获得校准数据。校准数据可以被存储在计算机可读存储介质的数据结构中，用于稍后时间的访问。可以由设备800产生校准数据，或者可以从远程资源接收校准数据。在一些示例中，计算设备800的传感器可以被定位以追踪用户的至少一只眼睛的位置。传感器可以使得产生一个或多个值，该一个或多个值将用户的至少一只眼睛的位置与硬件显示表面的特定部分或位置相关联。这种示例可以利用初始化过程，其中设备800在预定位置处显示一个或多个图形元件。在一个或多个图形元件的显示期间，来自用户的一个或多个输入可以指示他们正在查看一个或多个图形元件。响应于输入，设备800可以产生校准数据，该校准数据包括将用户的至少一只眼睛的位置与标识硬件显示表面的特定位置或部分的数据相关联的值。

块1104图示获得指示用户的至少一只眼睛的位置的传感器数据。在至少一个示例中，操作系统、应用或者另一模块可以从一个或多个传感器获得传感器数据。传感器数据可以被存储在传感器数据收集模块中的数据结构中或者计算机可读存储介质中的其它位置，用于在稍后时间的访问。如上面所概述的，被引导朝向用户的至少一只眼睛的传感器可以导致产生指示用户的至少一只眼睛的位置的传感器数据(例如，注视追踪数据)。传感器数据可以被处理以产生指示用户的注视方向的数据。如下面将要描述的，可以利用校准数据处理指示用户的注视方向的数据，以确定是否用户正在观看注视目标，该注视目标可以包括在硬件显示表面上显示的绘制的对象。

框1106图示获得对象的图像数据。在至少一个示例中，操作系统、应用或者与计算机可读介质相关联的另一模块可以获得传感器数据。图像数据或者关于对象的其它信息可以被存储在传感器数据收集模块中的数据结构中或者计算机可读存储介质中的其它位置，用于在稍后时间的访问。在一些示例中，被安装到计算设备800或者以其它方式与计算设备800通信的相机或者其它类型的传感器可以被引导朝向用户的视场。相机或者其它类型的传感器可以使得产生图像数据，该图像数据可以包括在用户的视场中的对象的一个或多个图像。图像数据可以以任意合适的格式，并且由任意合适的传感器产生，其可以包括使用深度图传感器、相机等。

框1108图示利用图像数据或者传感器数据来确定注视目标。在至少一个示例中，操作系统、应用或者与计算机可读介质相关联的另一模块可以确定注视目标。例如，如果用户正在通过硬件显示表面802观看对象的真实世界视图，那么被引导朝向用户的视场的传感器可以产生真实世界对象的图像数据。图像数据可以被分析以确定视场中的对象是否处在图像数据的图像的预定位置中。例如，如果对象被定位在图像的预定区域内，诸如图像的中心，那么计算设备800可以确定对象是注视目标。在另一示例中，指示用户的至少一只眼睛的位置的传感器数据(例如，注视追踪数据)可以利用校准数据和/或图像数据进行处理，以确定是否用户正在查看在硬件显示表面上显示的绘制的对象。这种示例可以被用于确定在硬件显示表面上显示的绘制的对象是注视目标。

图12示出用于计算机(诸如，HMD设备112、移动计算设备116、HMD设备404、HMD设备408、计算设备702、和/或者电子设备706)的示例计算机架构1200的附加的细节，该计算机能够执行上面所描述的程序组件，以用于基于所检测的用户的情感或认知状态记录或共享数据。因此，图12中图示的计算机架构1200图示用于服务器计算机、移动电话、PDA、智能电话、台式计算机、上网本计算机、平板计算机、膝上型计算机和/或可穿戴计算机的架构。计算机架构1200是可以用于整体或部分地执行本文中呈现的软件组件的各方面的示例架构。

图12中图示的计算机架构1200包括中央处理单元1202(“CPU”)、包括随机存取存储器1206(“RAM”)和只读存储器(“ROM”)1208的系统存储器1204、以及将存储器1204耦合到CPU 1202的系统总线1210。在ROM 1208中存储包含基本例程的基本输入/输出系统(“BIOS”)，该基本例程有助于在计算机架构1200内的元件之间传递信息，诸如在启动期间。计算机架构1200进一步包括用于存储操作系统1214、程序、模块1216(例如，图1和图2的情感/认知状态触发记录系统102，图4和图5的情感/认知状态呈现系统402，图2的模块204、206和208，图5的模块502、506、508和510，以及图7的模块714、716、718、720、728、752、754、756和/或758)的大容量存储设备1212。附加地和/或备选地，大容量存储设备可以存储传感器数据1218、图像数据1220(例如，照片、计算机产生的图像、关于场景中的真实和/或虚拟对象的对象信息、关于前述任意的元数据等)、校准数据1222、内容数据1224(例如，计算机产生的图像、视频、场景等)等，如本文中描述的。

大容量存储设备1212通过被连接到总线1210的大容量存储控制器(未示出)而被连接到CPU 1202。大容量存储设备1212及其相关联的计算机可读介质提供用于计算机架构1200的非易失性存储装置。大容量存储设备1212、存储器1204、计算机可读存储介质712和计算机可读存储介质738是根据本公开的计算机可读介质的示例。尽管本文中所包含的计算机可读介质的描述指代大容量存储设备(诸如，固态驱动、硬盘或者CD-ROM驱动)，本领域技术人员应当理解，计算机可读介质可以是可以由计算机架构1200访问的任意可用的计算机存储介质或者通信介质。

通信介质包括计算机可读指令、数据结构、程序模块或者调制数据信号中的其它数据(诸如，载波或者其它传输机制)并且包括任意递送介质。术语“调制数据信号”指的是具有以在信号中编码信息的方式被改变或者设置的其特征中的一个或多个的信号。作为示例而非限制，通信介质包括有线介质(诸如有线网络或者直接有线连接)以及无线介质(诸如声学、RF、红外以及其它无线介质)。上面的任意的组合还应该被包括在通信介质的范围内。

通过示例而非限制的方式，计算机存储介质包括以任意方法或技术实现的、用于信息(诸如，计算机可读指令、数据结构、程序模块或其它数据)的存储的易失性和非易失性、可去除和不可去除介质。例如，计算机存储介质包括但不限于：RAM、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪速存储器或其它固态存储器技术、压缩碟只读存储器(“CD-ROM”)、数字多功能盘(“DVD”)、高清晰度/密度数字多功能多功能/视频碟(“HD-DVD”)、BLU-RAY碟或其它光学存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备或者可以用于存储所需信息并且可以由计算机架构1200访问的任何其它介质。出于权利要求的目的，词组“计算机存储介质”、“计算机可读存储介质”及其变型不包括通信介质。

根据各种配置，计算机架构1200可以使用通过网络1226和/或另一网络(未示出)到远程计算机的逻辑连接在联网的环境中进行操作。计算机架构1200可以通过被连接到总线1210的网络接口单元1228连接到网络1226。应当理解，网络接口单元1228还可以被用来连接到其它类型的网络或远程网络系统。计算机架构1200还可以包括输入/输出控制器1230，用于接收和处理来自输入设备或输入接口的输入，以及将输出提供到输出设备或输出接口。

应当理解，本文中描述的软件组件可以在被加载到CPU 1202并且被执行时，将CPU1202和总体计算机架构1200从通用计算系统变换到被定制为促进本文中呈现的功能的专用计算系统。CPU1202可以由任意数目的晶体管或者其它分立电路元件构造，其可以单独地或者统一地假设任意数目的状态。更具体地，响应于本文中描述的软件模块内的可执行指令，CPU 1202可以作为有效状态机器来操作。这些计算机可执行指令可以通过指定CPU1202如何在状态之间转变来变换CPU 1202，从而变换构成CPU 1202的晶体管或其它分立硬件元件。在一些示例中，处理器710和/或处理器742可以对应于CPU 1202。

本文中呈现的编码软件模块还可以变换本文中呈现的计算机可读介质的物理结构。在本说明书的不同实现中，物理结构的具体变换可以取决于各种因素。这种因素的示例可以包括但不限于用于实现计算机可读介质的技术，无论计算机可读介质是否被表征为主要的或辅助存储装置等。例如，如果计算机可读介质被实现为基于半导体的存储器，那么本文中描述的软件可以通过变换半导体存储器的物理状态在计算机可读介质上进行编码。例如，软件可以变换构成半导体存储器的晶体管、电容器或者其它分立电路元件的状态。软件还可以变换这种组件的物理状态，以便在其上存储数据。

作为另一示例，本文中描述的计算机可读介质可以使用磁或光技术来实现。在这种实现中，当在其中对软件进行编码时，本文中呈现的软件可以变换磁或光介质的物理状态。这些变换可以包括变更给定的磁介质内的特定位置的磁特点。这些变换还可以包括变更给定的光学介质内的特定位置的物理特征或特点，以改变这些位置的光学特点。在不偏离本说明书的范围和精神的情况下，物理介质的其它变换是可能的，其中所提供的前述示例仅仅促进该讨论。

鉴于以上，应当理解，很多类型的物理变换发生在计算机架构1200中，以便存储和执行本文中呈现的软件组件。还应当理解，计算机架构1200可以包括其他类型的计算实体，包括手持式计算机、嵌入式计算机系统、个人数字助理和本领域技术人员已知的其它类型的计算实体。还可以预期，计算机架构1700可以不包括图12中示出的组件的全部，可以包括图12中没有明确示出的其它组件，或者可以利用与图12中示出的架构完全不同的架构。

图13描绘了能够执行本文中描述的软件组件用于使用注视追踪技术实现对象的标识的分布式计算环境1300。因此，图13中图示的分布式计算环境1300可以被用来执行本文中呈现的软件组件的任意方面，以实现本文中描述的技术的各方面。

根据各种实施方式，分布式计算环境1300包括计算环境1302，计算环境1302在网络1304上、与网络1304通信或者作为网络1304的一部分进行操作。在至少一个示例中，计算环境1300中的至少一些可以对应于HMD设备112、移动计算设备116、HMD设备404、HMD设备408、计算设备702、和/或者电子设备706。网络1304可以是或者可以包括上面参照图1和图7所描述的网络120和704。网络1304还可以包括各种访问网络。一个或多个客户端设备1306A-1306N(以下统一地和/或一般地称为“客户端1306”)可以经由网络1304和/或其它连接(图13中未示出)与计算环境1302通信。通过示例的方式，HMD设备112、移动计算设备116、HMD设备404、HMD设备408、和/或者电子设备706可以对应于客户端设备1306A-1306Q(统称为“客户端1306”)中的一个或多个客户端设备，其中Q可以是根据所需的架构的大于或者等于1的任意整数。在一个图示的配置中，客户端1306包括：计算设备1306A(诸如，膝上型计算机、台式计算机或其它计算设备)；写字板或平板计算设备(“平板计算设备”)1306B；移动计算设备1306C(诸如，移动电话、智能电话或其它移动计算设备)；服务器计算机1306D；可穿戴设备1306E，和/或其它设备1306N。应当理解，任何数目的客户端1306可以与计算环境1302通信。本文中参考图12和图14图示和描述了针对客户端1306的两个示例计算架构。应当理解，所图示的客户端1306和本文所说明和描述的计算架构是说明性的，并且不应该被解释为以任何方式限制。

在所图示的配置中，计算环境1302包括应用服务器1308、数据存储装置1310和一个或多个网络接口1312。根据各种实现，应用服务器1308可以由作为网络1304的一部分或者与网络1304通信来执行的一个或多个服务器计算机来提供。在一些示例中，计算环境1302可以对应于或者代表图7中的一个或多个计算设备702，一个或多个计算设备702经由网络704和/或1304与一个或多个计算设备706通信并且可由一个或多个计算设备706访问。

在至少一个示例中，应用服务器1308可以托管各种服务、虚拟机、门户和/或其它资源。在所图示的配置中，应用服务器1308可以托管一个或多个虚拟机1314，用于执行应用或其它功能。根据各种实现，虚拟机1314可以执行一个或多个应用和/或软件模块，用于使用注视追踪技术实现对象标识。应用服务器1308还托管或提供对一个或多个门户、链接页面、网站和/或其它信息(“网络门户”)1316的访问。网络门户1316可以用于与一个或多个客户端计算机通信。应用服务器1308可以包括一个或多个邮箱服务1318。

根据各种实现，应用服务器1308还包括一个或多个邮箱消息传送服务1320。邮箱服务1318和/或消息传送服务1320可以包括电子邮件(“电子邮件”)服务、各种个人信息管理(“PIM”)服务(例如，日历服务、联系人管理服务、协作服务)、即时消息服务、聊天服务、论坛服务和/或其它通信服务。

应用服务器1308还可以包括一个或多个社交联网服务1322。社交联网服务1322可以包括各种社交网络服务，包括但不限于：用于共享或者发布状态更新、即时消息、链接、图片、视频和/或其它信息的服务；用于评论或显示对文章、产品、博客或其它资源的兴趣的服务和/或其它服务。在一些配置中，社交联网服务1322由

社交联网服务、

专业联网服务、

社交联网服务、

地理联网服务、

办公室同事联网服务等提供，或者包括这些服务。在其它配置中，社交联网服务1322由可以或者不可以明确地被称为社交网络提供商的其它服务、站点和/或提供商来提供。例如，在各种活动和/或上下文(诸如，阅读已发表的文章、对商品或服务评论、发表、协作、做游戏等)期间，一些网站允许用户经由电子邮件、聊天服务和/或其它工具来进行交互。这些服务的示例包括但不限于：来自华盛顿雷蒙德的微软公司的WINDOWS

服务和XBOX

服务。其它服务是可能的，并且是预期的。

社交联网服务1322还可以包括评论、博客和/或微博服务。这种服务的示例包括但不限于：

评论服务、

评价服务、

企业微博服务、

消息传送服务、GOOGLE

服务和/或其它服务。应当理解，出于简洁起见，上面的服务列表不是穷举的，并且本文中没有提及大量附加的和/或备选的社交联网服务1322。这样，上述配置是说明性的，并且不应该被解释为以任何方式限制。根据各种实现，社交联网服务1322可以托管一个或多个应用和/或软件模块，用于提供本文所描述的用于为计算设备提供上下文感知的位置共享服务的功能。例如，应用服务器1308中的任何一个应用服务器可以通信或促进本文所描述的功能和特征。例如，社交联网应用、邮件客户端、消息客户端、在电话上运行的浏览器或任何其它客户端1806可以与社交网络服务1322通信。

如图13所示，应用服务器1308还可以托管其它服务、应用、门户和/或其它资源(“其它资源”)1324。其它资源1324可以部署面向服务的架构或任何其它客户端-服务器管理软件。因此，可以理解，计算环境1302可以提供本文所描述的基于注视的对象标识概念和技术与各种邮箱、消息、社交联网和/或其它服务或资源的集成。

如上面所提及的，计算环境1302可以包括数据存储装置1310。根据各种实现，由在网络1304上操作的或者与网络1304通信操作的一个或多个数据库来提供数据存储装置1310的功能。还可以由被配置为托管用于计算环境1302的数据的一个或多个服务器计算机来提供数据存储装置1310的功能。数据存储装置1310可以包括、托管或提供一个或多个真实的或虚拟的容器1326A-1326N(统一地和/或一般地被称为“容器1326”)。尽管图13中未示出，但是容器1326还可以托管或者存储用于由远程计算设备的一个或多个模块(例如，图1和图2的情感/认知状态触发记录系统102，图2的模块204、206和/或208，图4和图5的情感/认知状态呈现系统402，图5的模块502、506、508、510和512，和/或图7的模块714、716、718、720、752、754、756、758)执行的数据结构和/或算法。存储库1326的方面可以与数据库程序、文件系统和/或具有安全访问特征的任何数据存储程序相关联。容器1326的各方面还可以使用诸如ACTIVE

或者

的产品或服务来实现。

计算环境1302可以与网络接口1312通信或者由网络接口1312访问。网络接口1312可以包括各种类型的网络硬件和软件，用于支持两个或多个计算实体之间的通信，两个或多个计算实体包括但不限于客户端1306和应用服务器1308。应当理解，网络接口1312还可以被用来连接到其它类型的网络和/或计算机系统。

应当理解，本文所描述的分布式计算环境1300可以向本文所描述的软件元件的任何方面提供任意数目的虚拟计算资源和/或其它分布式计算功能，该虚拟计算资源和/或其它分布式计算功能可以被配置为执行本文所描述的软件组件的任意方面。根据本文所公开的概念和技术的各种实现，分布式计算环境1300将本文所描述的软件功能作为服务提供给客户端1306。应当理解，客户端1306可以包括真实或虚拟机，其包括但不限于：服务器计算机、网络服务器、个人计算机、平板计算机、游戏控制器、智能电视、移动计算实体、智能电话和/或其它设备。由此，本文所描述的概念和技术的各种配置使得被配置为访问分布式计算环境1300的任何设备能够利用本文所描述的功能，以用于提供基于用户的情感或认知状态的记录和分享。在一个具体示例中，如上面所概述的，本文所描述的技术可以至少部分地由可以与图13的应用服务器1308结合地工作的浏览器应用来实现。

图14是针对能够执行所描述的各种软件组件的计算设备的说明性计算设备架构1400，在一些示例中，计算设备架构1400能够用于实现情感/认知状态触发记录或者情感/认知状态呈现的各方面。计算设备架构1400可应用于计算实体，该计算实体部分地由于形成因素、无线连接和/或电池供电操作而促进移动计算。在一些配置中，计算设备包括但不限于：移动电话、平板设备、写字板设备、可穿戴设备、便携式视频游戏设备等。此外，计算设备架构1400的各方面可以适用于传统台式计算机、便携式计算机(例如，膝上型计算机、笔记本计算机、超便携式计算机和上网本)、服务器计算机以及其它计算机设备。作为示例而非限制，计算设备架构1400可应用于图1、图4、图7、图12和图13中示出的客户端中的任何一个。

图14中所图示的计算设备架构1400包括处理器1402、存储器组件1404、网络连接组件1406、传感器组件1408、输入/输出组件1410和功率组件1412。在所图示的配置中，处理器1402与存储器组件1404、网络连接组件1406、传感器组件1408、输入/输出(“I/O”)组件1410和功率组件1412通信。尽管没有示出图14中所图示的个体组件之间的连接，但是组件可以交互以实施设备功能。在一些配置中，组件被布置以便经由一个或多个总线(未示出)来通信。

处理器1402包括中央处理单元(“CPU”)，该中央处理单元被配置为处理数据、执行一个或多个应用程序的计算机可执行指令以及与计算设备架构1400的其它组件通信，以便执行本文所描述的各种功能。处理器1402可以被用来执行本文所呈现的软件组件的方面。在一些示例中，处理器1402可以对应于如上面参照图7和图12所描述的处理器710、742和/或CPU 1202。

在一些配置中，处理器1402包括图形处理单元(“GPU”)，其被配置为加速由CPU执行的操作，该操作包括但不限于：由执行通用科学和/或工程计算应用以及图形密集型计算应用(诸如，高分辨率视频(例如，1080i、1080P以及更高的分辨率)、视频游戏、三维(“3D”)建模应用等)而执行的操作。在一些配置中，处理器1402被配置为与分立的GPU(未被示出)通信。在一些示例中，处理器1402可以附加地或备选地包括全息处理单元(HPU)，全息处理单元被专门设计以处理和集成来自头戴式计算设备的多个传感器的数据，以及处理诸如空间映射、手势识别以及声音和语音识别的任务。在任何情况下，CPU、GPU和/或HPU可以根据共同处理CPU、GPU和/或HPU计算模型来配置，其中处理任务在CPU、GPU和/或HPU之间根据它们各自的强度来划分。例如，应用的序列部分可以在CPU上执行，计算密集型部分由GPU来加速，并且某些专用功能(例如，空间映射、手势识别以及声音和语音识别)可以由HPU执行。

在一些配置中，处理器1402是片上系统(“SOC”)连同本文中在下面所描述的其它组件中的一个或多个组件，或者处理器1402被包括在SoC连同本文中在下面所描述的其它组件中的一个或多个组件中。例如，SoC可以包括处理器1402、GPU、一个或多个网络连接组件1406和一个或多个传感器组件1408。在一些配置中，部分地利用封装堆叠封装(“PoP”)集成电路封装技术来制造处理器1402。处理器1402可以是单核处理器或多核处理器。

处理器1402可以根据ARM架构来创建，该ARM架构可从英国剑桥的ARM HOLDINGS获得许可证。备选地，处理器1402可以根据x86架构(诸如，可从加利福尼亚山景城的INTELCORPORATION等获得的)来创建。在一些配置中，处理器1402是可从加利福尼亚圣地亚哥的QUALCOMM获得的SNAPDRAGON SoC、可从加利福尼亚圣克拉拉的NVIDIA获得的TEGRA SoC、可从韩国首尔的SAMSUNG获得的HUMMINGBIRD SoC、可从德克萨斯达拉斯的TEXASINSTRUMENTS获得的开放式多媒体应用平台(“OMAP”)SoC、上述任何SoC的定制版本或者专有的SoC。

存储器组件1404包括随机存取存储器(“RAM”)1414、只读存储器(“ROM”)1416、集成存储存储器(“集成存储装置”)1418和可去除存储存储器(“可去除存储装置”)1420。在一些配置中，RAM 1414或其一部分、ROM 1416或其一部分和/或RAM1414和ROM 1416的某种组合被集成在处理器1402中。在一些配置中，ROM 1416被配置为存储固件、操作系统或其一部分(例如，操作系统内核)和/或引导加载程序，以从集成存储装置1418或可去除存储装置1420加载操作系统内核。在一些示例中，存储器组件1404可以对应于上面分别参考图7和图12所描述的计算机可读存储介质712、计算机可读存储介质738和/或存储器1204。

集成存储装置1418可以包括固态存储器、硬盘或者固态存储器和硬盘的组合。集成存储装置1418可以被焊接或者以其它方式连接到逻辑板，处理器1402或本文所描述的其它组件也可以被连接到逻辑板上。这样，集成存储装置1418被集成到计算设备中。集成存储装置1418可以被配置为存储操作系统或其一部分、应用程序、数据或本文所描述的其它软件组件。

可去除存储装置1420可以包括固态存储器、硬盘或者固态存储器和硬盘的组合。在一些配置中，可去除存储装置1420被提供以代替集成存储装置1418。在其它配置中，可去除存储装置1420被提供为附加的可选存储装置。在一些配置中，可去除存储装置1420与集成存储装置1418逻辑地组合，以使得总可用存储装置可用作为总的组合存储容量。在一些配置中，集成存储装置1418和可去除存储装置1420的总组合容量被显示给用户，而不是集成存储装置1418和可去除存储装置1420的单独的存储容量。

可去除存储装置1420被配置为将被插入可去除存储存储器槽(未被示出)或者其它机构中，通过可去除存储存储器槽或者其它机构将可去除存储装置1420插入和固定以促进连接，可去除存储装置1420通过该连接可以与计算设备的其它组件(诸如，处理器1402)通信。可去除存储装置1420可以被实施为各种存储器卡格式，包括但不限于：PC卡、压缩闪存卡、存储器棒、安全数字(“SD”)、miniSD、microSD、通用集成电路卡(“UICC”)(例如，用户识别模块(“SIM”)或者通用SIM(“USIM”))、专有格式等。

可以理解，存储器组件1404中的一个或多个存储器组件可以存储操作系统。根据各种配置，操作系统包括但不限于：来自SYMBIAN LIMITED的SYMBIAN OS、来自华盛顿雷蒙德的微软公司的WINDOWS MOBILE OS、来自微软公司的WINDOWS PHONE OS、来自微软公司的WINDOWS、来自加利福尼亚帕洛阿尔托的Hewlett-Packard Company的PALM WEBOS、来自加拿大安大略滑铁卢的Research In Motion Limited的BLACKBERRY OS、来自加利福尼亚库比蒂诺的苹果公司的IOS以及来自加利福尼亚山景城的谷歌公司的ANDROID OS。其它操作系统也是被预期的。

网络连接组件1406包括无线广域网组件(“WWAN组件”)1422、无线局域网组件(“WLAN组件”)1424和无线个人区域网组件(“WPAN组件”)1426。网络连接组件1406促进向网络1427或另一网络的通信以及来自网络1427或另一网络的通信，网络1427或另一网络可以是WWAN、WLAN或者WPAN。尽管仅说明了网络1427，但是网络连接组件1406可以促进与多个网络(包括图14的网络1427)的同时通信。例如，网络连接组件1406可以促进经由WWAN、WLAN或WPAN的一个或多个的与多个网络的同时通信。在一些示例中，网络1427可以对应于如图1、图7、图12和图13所示的网络120、网络704、网络1226和/或网络1304的全部或者部分。

网络1427可以是WWAN或者可以包括WWAN，诸如利用一个或多个移动电信技术以经由WWAN组件1422来向利用计算设备架构1400的计算设备提供语音和/或数据服务的移动电信网络。移动电信技术可以包括但不限于：全球移动通信系统(“GSM”)、码分多址(“CDMA”)ONE、CDMA2000、通用移动电信系统(“UMTS”)、长期演进(“LTE”)和全球微波接入互操作性(“WiMAX”)。此外，网络1427可以利用各种通道访问方法(其可以由上述标准使用或者不可以由上述标准使用)，包括但不限于：时分多址(“TDMA”)、频分多址(“FDMA”)、CDMA、宽带CDMA(“W-CDMA”)、正交频分复用(“OFDM”)、空分多址(“SDMA”)等。可以使用通用分组无线业务(“GPRS”)、全球演进的增强数据速率(“EDGE”)、高速分组接入(“HSPA”)协议族(包括高速下行链路分组接入(“HSDPA”)、增强上行链路(“EUL”)或者另外被称为高速上行链路分组接入(“HSUPA”)、演进的HSPA(“HSPA+”))、LTE以及各种其它当前或未来的无线数据接入标准来提供数据通信。网络1427可以被配置为利用上面的技术的任何组合来提供语音和/或数据通信。网络1427可以被配置为或者适配为根据未来一代技术来提供语音和/或数据通信。

在一些配置中，WWAN组件1422被配置为提供到网络1427的双多模连接性。例如，WWAN组件1422可以被配置为提供到网络1427的连接性，其中网络1427经由GSM和UMTS技术或者经由技术的一些其它组合来提供服务。备选地，多个WWAN组件1422可以被用来执行这种功能和/或提供附加的功能来支持其它不兼容的技术(即，不能够由单个WWAN组件支持)。WWAN组件1422可以促进到多个网络(例如，UMTS网络和LTE网络)的类似的连接性。

网络1427可以是WLAN，其根据一个或多个电气与电子工程师协会(“IEEE”)802.17标准来操作，诸如IEEE 802.17a、802.17b、802.17g、802.17n和/或未来的802.17标准(在本文中被统一称为WI-FI)。草案802.17标准也是预期的。在一些配置中，利用一个或多个无线WI-FI接入点来实现WLAN。在一些配置中，一个或多个无线WI-FI接入点是与用作WI-FI热点的WWAN连接的另一计算设备。WLAN组件1424被配置为经由WI-FI接入点来连接到网络1427。这种连接可以经由各种加密技术来保护，这些加密技术包括但不限于：WI-FI保护访问(“WPA”)、WPA2、有线等效隐私(“WEP”)等。

网络1427可以是WPAN，其根据红外数据协会(“IrDA”)、BLUETOOTH、无线通用串行总线(“USB”)、Z波、ZIGBEE或一些其它短程无线技术来操作。在一些配置中，WPAN组件1426被配置为经由WPAN来促进与其它设备(诸如，外围设备、计算机或者其它计算设备)的通信。

在至少一个示例中，传感器组件1408包括磁力计1428、环境光传感器1430、接近度传感器1432、加速计1434、陀螺仪1436和全球定位系统传感器(“GPS传感器”)1438。可以预期，其它传感器(诸如但不限于，温度传感器或冲击检测传感器、应变传感器、湿度传感器)也可以被并入计算设备架构1400中。

磁力计1428被配置为测量磁场的强度和方向。在一些配置中，磁力计1428向被存储在存储器组件1404中的一个存储器组件内的罗盘应用程序提供测量，以便为用户在包括基本方向(北、南、东、西)的参考系中提供准确的方向。可以向包括罗盘组件的导航应用程序提供类似的测量。由磁力计1428获得的测量的其它用途被预期。

环境光传感器1430被配置为测量环境光。在一些配置中，环境光传感器1430向被存储在一个存储器组件1404中的应用程序提供测量，以便自动调整显示器(下面所描述的)的亮度，以补偿微光和强光环境。由环境光传感器1430获得的测量的其它用途被预期。

接近度传感器1432被配置为在不直接接触的情况下检测接近计算设备的接近度内的对象或物体的存在。在一些配置中，接近度传感器1432检测用户的身体(例如，用户的脸部)的存在，并且将该信息提供给被存储在存储器组件1404中的一个存储器组件内的应用程序，该应用程序利用接近度信息来启用或禁用计算设备的一些功能。例如，电话应用程序可以响应于接收到接近度信息而自动禁用触摸屏(下面所描述的)，以便在通话期间用户的脸部不会无意中结束通话或者启用/禁用电话应用程序中的其它功能。由接近度传感器1432检测到的接近度的其它用途被预期。

加速计1434被配置为测量适当的加速度。在一些配置中，来自加速计1434的输出由应用程序用作输入机制，以控制应用程序的一些功能。例如，应用程序可以是其中响应于经由加速计1434所接收的输入而移动或以其它方式操纵字符、其一部分或者对象的视频游戏。在一些配置中，来自加速计1434的输出被提供给应用程序，用于在景观模式和肖像模式之间切换、计算坐标加速度或者检测降落。加速计1434的其它用途被预期。

陀螺仪1436被配置为测量和维持取向。在一些配置中，来自陀螺仪1436的输出由应用程序用作输入机制，以控制应用程序的一些功能。例如，陀螺仪1436可以被用于在视频游戏应用或者一些其它应用中的3D环境内精确识别移动。在一些配置中，应用程序利用来自陀螺仪1436和加速计1434的输出来加强对应用程序的一些功能的控制。陀螺仪1436的其它用途被预期。

GPS传感器1438被配置为接收来自GPS卫星的信号，用于在计算位置中使用。需要或者受益于位置信息的任意应用程序可以使用由GPS传感器1438计算的位置。例如，由GPS传感器1438计算的位置可以与导航应用程序一起使用，以提供从该位置到目的地的方向或者从目的地到该位置的方向。此外，GPS传感器1438可以被用来向外部基于位置的服务(诸如，E1717服务)提供位置信息。GPS传感器1438可以利用一个或多个网络连接组件1406来获得经由WI-FI、WIMAX和/或蜂窝三角技术生成的位置信息，以帮助GPS传感器1438获得位置固定。GPS传感器1438还可以被用在辅助GPS(“A-GPS”)系统中。

在至少一个示例中，I/O组件1410可以对应于上面参照图12所描述的输入/输出设备740。附加地和/或备选地，I/O组件包括显示器1440、触摸屏1442、数据I/O接口组件(“数据I/O”)1444、音频I/O接口组件(“音频I/O”)1446、视频I/O接口组件(“视频I/O”)1448和相机1470。在一些配置中，显示器1440和触摸屏1442被组合起来。在一些配置中，数据I/O组件1444、音频I/O组件1446和视频I/O组件1448中的两个或更多个被组合。I/O组件1410可以包括被配置为支持下面所描述的各种接口的分立的处理器，或者可以包括内置于处理器802的处理功能。

显示器1440是被配置为以视觉形式呈现信息的输出设备。特别地，显示器1440可以呈现图形用户界面(“GUI”)元件、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息数据、互联网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息和能够以视觉形式呈现的任何其它信息。在一些配置中，显示器1440是利用任何有源或无源矩阵技术和任何背光技术(如果被使用)的液晶显示器(“LCD”)。在一些配置中，显示器1440是有机发光二极管(“OLED”)显示器。在一些配置中，显示器1440是全息显示器。其它显示器类型被预期。

在至少一个示例中，显示器1440可以对应于计算设备112和/或电子设备706的硬件显示表面。如上所述，硬件显示表面可以被配置成以图形方式将全息用户界面和其它图形元件与通过硬件显示表面看到的对象或显示在硬件显示表面上的绘制的对象相关联。

触摸屏1442(本文中也被称为“触控屏”)是被配置为检测触摸的存在和位置的输入设备。触摸屏1442可以是电阻式触摸屏、电容性触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声脉冲识别触摸屏，或者可以利用任何其它触摸屏技术。在一些配置中，触摸屏1442作为透明层被并入在显示器1440的顶部上，以使得用户能够使用一次或多次触摸来与在显示器1440上所呈现的对象或其它信息交互。在其它配置中，触摸屏1442是触摸板，其被并入在不包括显示器1440的计算设备的表面上。例如，计算设备可以具有被并入在显示器1440的顶部上的触摸屏以及在与显示器1440相对的表面上的触摸板。

在一些配置中，触摸屏1442是单点触摸触摸屏。在其它配置中，触摸屏1442是多点触摸触摸屏。在一些配置中，触摸屏1442被配置为检测离散触摸、单点触摸手势和/或多点触摸手势。为了方便，这些在本文中被统一称为“手势”。现在将描述几个手势。应当理解，这些手势是说明性的，并且不旨在限制所附的权利要求的范围。此外，所描述的手势、附加的手势和/或备选的手势可以在软件中被实现，以用于与触摸屏1442一起使用。这样，开发人员可以创建特定于具体应用程序的手势。

在一些配置中，触摸屏1442支持轻敲手势，其中用户在显示器1440上所呈现的项上轻敲触摸屏1442一次。轻敲手势可以用于执行各种功能，包括但不限于打开或启动用户轻敲的任何内容。在一些配置中，触摸屏1442支持双击手势，其中用户在显示器1440上所呈现的项上轻敲触摸屏1442两次。双击手势可以用于执行各种功能，包括但不限于分阶段放大或缩小。在一些配置中，触摸屏1442支持轻敲和保持手势，其中用户轻敲触摸屏1442并且维持接触达至少预定时间。轻敲和保持手势可以用于执行各种功能，包括但不限于打开特定于上下文的菜单。

在一些配置中，触摸屏1442支持平移手势，其中用户将手指放置在触摸屏1442上并且维持与触摸屏1442的接触，同时在触摸屏1442上移动手指。平移手势可以被用于执行各种功能，包括但不限于以受控速率移动通过屏幕、图像或菜单。多指平移手势也被预期。在一些配置中，触摸屏1442支持轻拂手势，其中用户在用户想要屏幕移动的方向上挥动手指。轻拂手势可被用于执行各种功能，包括但不限于水平或垂直滚动通过菜单或页面。在一些配置中，触摸屏1442支持捏和伸的手势，其中用户在触摸屏1442上利用两个手指(例如，拇指和食指)进行捏的动作或者移动将两个手指分开。捏和伸的手势可以用于执行各种功能，包括但不限于逐渐放大或缩小网站、地图或图片。

尽管已经参照使用一个或多个手指以用于执行手势来描述了上述手势，但是其它附属物(诸如脚趾)或者对象(诸如触笔)可以被用来与触摸屏1442交互。这样，上面的手势应该被理解为说明性的，而不应该被解释为以任何方式限制。

数据I/O接口组件1444被配置为促进数据向计算设备的输入以及数据从计算设备的输出。在一些配置中，数据I/O接口组件1444包括连接器，其被配置为提供计算设备和计算机系统之间的有线连接，例如，用于同步操作的目的。连接器可以是专用连接器或标准连接器，诸如USB、微型USB、迷你USB等。在一些配置中，连接器是对接连接器，用于将计算设备与另一设备(诸如对接站、音频设备(例如，数字音乐播放器)或者视频设备)对接。

音频I/O接口组件1446被配置为向计算设备提供音频输入和/或输出的能力。在一些配置中，音频I/O接口组件1446包括被配置为收集音频信号的麦克风。在一些配置中，音频I/O接口组件1446包括被配置为向耳机或者其它外部扬声器提供连接的耳机插孔。在一些配置中，音频I/O接口组件1446包括用于音频信号的输出的扬声器。在一些配置中，音频I/O接口组件1446包括光学音频电缆输出。

视频I/O接口组件1448被配置为向计算设备提供视频输入和/或输出的能力。在一些配置中，视频I/O接口组件1448包括视频连接器，其被配置为从另一设备(例如，视频媒体播放器，诸如DVD或BLU-RAY播放器)接收视频作为输入或者向另一设备(例如，监视器、电视或者一些其它外部显示器)发送视频作为输出。在一些配置中，视频I/O接口组件1448包括高清晰度多媒体接口(“HDMI”)、迷你HDMI、微型HDMI、DisplayPort或者专用连接器，以输入/输出视频内容。在一些配置中，视频I/O接口组件1448或其部分与音频I/O接口组件1446或其部分组合在一起。

相机1470可以被配置为捕获静止图像和/或视频。相机1470可以利用电荷耦合设备(“CCD”)或者互补金属氧化物半导体(“CMOS”)图像传感器来捕获图像。在一些配置中，相机1470包括闪光灯，以帮助在弱光环境中拍摄图片。针对相机1470的设置可以被实现为硬件或软件按钮。由相机1470捕获的图像和/或视频可以附加地或备选地用于检测非接触式手势、面部表情、眼睛运动或用户的其它运动和/或特征。

尽管未图示，但是一个或多个硬件按钮还可以被包括在计算设备架构1400中。硬件按钮可以用于控制计算设备的一些操作方面。硬件按钮可以专用按钮或多用按钮。硬件按钮可以是机械式的或者基于传感器的。

所图示的功率组件1412包括一个或多个电池1472，其可以被连接到电池量表1474。电池1472可以是可充电的或者一次性的。可充电电池类型包括但不限于：锂聚合物、锂离子、镍镉和镍金属氢化物。电池1472中的每个电池可以由一个或多个电池单元制成。

电池量表1474可以被配置为测量电池参数，诸如电流、电压和温度。在一些配置中，电池量表1474被配置为测量电池的放电速率、温度、年龄和其它因素的影响，以在一定误差百分比内预测剩余寿命。在一些配置中，电池量表1474向应用程序提供测量，该应用程序被配置为利用测量来向用户呈现有用的功率管理数据。功率管理数据可以包括使用的电池百分比、剩余的电池百分比、电池状态、剩余时间、剩余容量(例如，以瓦时为单位)、电流消耗和电压中的一个或多个。

功率组件1412还可以包括功率连接器，其可以与前述I/O组件1410中的一个或多个I/O组件组合起来。功率组件1412可以经由功率I/O组件来与外部功率系统或充电装备对接。

示例条款

A.一种系统，包括：相机，被配置为捕获视频数据；缓冲区，被配置为存储由相机捕获的视频数据的最近窗口；传感器数据分析模块，被配置为至少部分地基于表示用户的生理状况的传感器数据来确定用户的情感或认知状态；以及记录模块，被配置为：检测用户的情感或认知状态中的改变；以及响应于检测到用户的情感或认知状态中的改变，存储包括缓冲区的内容的视频段。

B.根据段落A所述的系统，其中缓冲区被配置为环形缓冲区。

C根据段落A或者段落B所述的系统，其中用户的生理状况包括以下中的一项或多项的任意组合：皮肤电反应、皮肤温度、大脑的电活动、心脏的电活动、眼睛运动、面部表情、瞳孔放大、瞳孔收缩、语音音量或者语音速度。

D.根据段落A至段落C中任一段落所述的系统，其中记录模块进一步被配置为将元数据与视频段相关联，其中元数据指示在记录视频段时用户的情感或认知状态。

E.根据段落A至段落D中任一段落所述的系统，进一步包括生物计量传感器，用于产生传感器数据。

F.根据段落A至段落E中任一段落所述的系统，进一步包括：注视检测模块，被配置为确定用户的注视目标；其中记录模块进一步被配置为将元数据与视频段相关联，其中元数据指示在视频段被记录时用户的注视目标。

G.根据段落A至段落F中任一段落所述的系统，进一步包括被配置为捕获音频数据的麦克风，其中缓冲区进一步被配置为存储由麦克风捕获的音频数据的最近窗口

H.根据段落A至段落G中任一段落所述的系统，其中记录模块进一步被配置为将附加的视频数据记录到视频段。

I.根据段落H所述的系统，其中记录模块进一步被配置为至少部分地基于用户的情感和认知状态的另一改变来停止将附加的视频数据记录到视频段。

J.根据段落H或段落I所述的系统，其中记录模块进一步被配置为至少部分地基于预定时间段来停止将附加的视频数据记录到视频段。

K.根据段落J所述的系统，其中预定时间段包括以下中的至少一项：视频段的最小持续时间，或者视频段的最大持续时间。

L.根据段落A至段落K中任一段落所述的系统，至少部分地被现为头戴式显示设备。

M.一种方法，包括：利用相机捕获视频数据；将视频数据记录到缓冲区；接收传感器数据；分析传感器数据以检测用户的情感或认知状态中的改变；以及响应于检测到用户的情感或认知状态中的改变，创建包括当前在缓冲区中的视频数据的视频段。

N.根据段落M所述的方法，其中接收传感器数据包括使用生物计量传感器捕获传感器数据。

O.根据段落M或段落N所述的方法，进一步包括将元数据与视频段相关联，其中元数据指示在视频数据被捕获时用户的情感或认知状态。

P.根据段落M至段落O所述的方法，进一步包括：检测在捕获视频数据时的用户的注视目标；以及将元数据与视频段相关联，其中元数据指示在视频数据被捕获时用户的注视目标。

Q.根据段落M至段落P所述的方法，进一步包括：在视频段被创建之后继续捕获附加的视频数据；将附加的视频数据添加到视频段。

R.一种或多种计算机可读介质，具有被存储在其上的计算机可执行指令，该计算机可执行指令在由计算设备执行时使得计算设备执行操作，该操作包括：将视频内容捕获到缓冲区；接收传感器数据；至少部分地基于传感器数据，检测用户的情感或认知状态中的改变；至少部分地基于用户的情感或认知状态中的改变，存储视频段，视频段包括在检测到用户的情感或认知状态中的改变时缓冲区中的视频内容。

S.根据段落R所述的一种或多种计算机可读介质，其中视频段进一步包括在用户的情感或认知状态中的改变被检测到之后捕获的附加的视频内容。

T.根据段落R或段落S所述的一个或多个计算机可读介质，操作进一步包括将元数据与视频段相关联，其中元数据指示在捕获视频内容时用户的情感或认知状态。

结论

尽管已经以特定于结构特征和/或方法动作的语言描述了技术，应该理解，所附的权利要求不一定限于所描述的特征或行为。相反地，特征和动作被描述为这种技术的示例实现。

示例过程的操作在个体框中进行说明，并且参照这些框进行概述。过程被图示为框的逻辑流，逻辑流的每个框可以表示可以以软件、硬件或其组合中实现的一个或多个操作。在软件的上下中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，计算机可执行指令当由一个或多个处理器执行时，使得一个或多个处理器能够执行所记载的操作。一般地，计算机可执行指令包括执行特定功能或者实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。所描述的操作的顺序不旨在被解释为限制，并且任意数目的所描述的操作可以以任意顺序、以任意顺序组合、细分为多个子操作执行和/或并行地执行，以实现所描述的过程。所描述的过程可以由与一个或多个设备112、116、118、404、408、702和706(诸如，一个或多个内部或外部CPU或GPU)和/或硬件逻辑的一个或多个片段(诸如，FPGA、DSP或者其它类型的加速器)相关联的资源执行。

上面描述的所有方法和过程可以在专用计算机硬件被实施，并且经由专用计算机硬件被完全自动化。方法的一些或者全部可以备选地在由一个或多个通用计算机或者处理器执行的软件代码模块中被实施。代码模块可以被存储在任何类型的计算机可读存储介质或者其它计算机存储设备中。

除非另有指明，否则诸如其中的“可以”“能够”“可能会”或者“可能”的条件语言在上下文中被理解为呈现表示某些示例包括某些特征、元件和/或步骤，而其它示例不包括某些特征、元件和/或步骤。因此，这种条件语言通常不旨在暗示某些特征、元件和/或步骤对于一个或多个示例以任何方式是必需的，或者一个或多个示例必须包括用于决定在有用户输入或提示或者没有用户输入或提示的情况下某些特征、元件和/或步骤是否被包括在任何特定的示例中或者是否要在任何特定的示例中执行的逻辑。除非另有指明，否则诸如短语“X、Y或者Z中的至少一个”的连接语言将被理解为呈现项、术语等可以或者是X、Y或Z，或者其组合。

本文所描述和/或附图中所描绘的的流程图中任何例程描述、元件或者框应该被理解为潜在地表示包括用于实现例程中的具体逻辑功能或元件的一个或多个可执行指令的代码的模块、段或者部分。本领域技术人员将理解，备选的实现被包括在本文所描述的示例的范围内，其中取决于所涉及的功能，元件或功能可以被删除、或者以与所示出的或所讨论的顺序不一致的顺序执行，包括基本上同步地或者以相反地顺序。应该强调，可以对上面所描述的示例来进行很多变型和修改，其中的元件应当被理解为在其它可接受的示例之中。所有这种修改和变型旨在被包括在本文中本公开的范围内，并且由所附的权利要求保护。

Claims

1.一种系统，包括：

相机，被配置为捕获视频数据；

一个或多个处理器；

一个或多个传感器，被配置为获取传感器数据；以及

存储器，存储指令，所述指令在由所述一个或多个处理器执行时，使所述系统：

至少部分地基于所述传感器数据检测从用户的第一情感或认知状态到所述用户的第二情感或认知状态的变化；

响应于检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化，将由所述相机正在捕获的所述视频数据的至少一部分添加到视频段；

至少部分地基于附加传感器数据检测从所述用户的所述第二情感或认知状态到所述用户的第三情感或认知状态的变化；以及

至少部分地基于检测到从所述用户的所述第二情感或认知状态到所述用户的所述第三情感或认知状态的所述改变，停止将所述视频数据的所述至少一部分添加到所述视频段。

2.根据权利要求1所述的系统，其中所述指令还使所述系统响应于检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化而启动所述视频段的记录。

3.根据权利要求1所述的系统，其中：

所述视频段在与检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化相关联的第一时间开始；和

所述视频段在与检测到从所述用户的所述第二情感或认知状态到所述用户的所述第三情感或认知状态的所述变化相关联的第二时间结束。

4.根据权利要求1所述的系统，还包括缓冲区，所述缓冲区被配置为存储由所述相机捕获的所述视频数据。

5.根据权利要求4所述的系统，其中所述缓冲区被配置为环形缓冲区。

6.根据权利要求1所述的系统，其中所述一个或多个传感器被配置为基于以下一项或多项获得所述传感器数据和所述附加传感器数据：皮肤电反应、皮肤温度、大脑的电活动、心脏的电活动、眼睛运动、面部表情、瞳孔放大、瞳孔收缩、语音音量或者语音速度。

7.根据权利要求1所述的系统，其中所述指令还使所述系统生成指示所述用户的所述第二情感或认知状态的视频段元数据。

8.根据权利要求7所述的系统，其中所述指令还使所述系统确定所述用户的注视目标，其中所述视频段元数据指示所述用户的所述注视目标。

9.根据权利要求1所述的系统，至少部分地实现为头戴式显示设备。

10.一种方法，包括：

从一个或多个传感器接收传感器数据；

至少部分地基于所述传感器数据来检测从用户的第一情感或认知状态到所述用户的第二情感或认知状态的变化；

响应于检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化，通过一个或多个处理器将由相机捕获的视频数据的至少一部分添加到视频段；

响应于检测到从所述用户的所述第二情感或认知状态到所述用户的所述第三情感或认知状态的所述变化，停止将所述视频数据的所述至少一部分添加到所述视频段。

11.根据权利要求10所述的方法，还包括响应于检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化，启动所述视频段的记录。

12.根据权利要求10所述的方法，其中：

所述视频段在与检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化相关联的第一时间开始；并且

13.根据权利要求10所述的方法，还包括通过所述一个或多个传感器基于以下一项或多项获得所述传感器数据和所述附加传感器数据：皮肤电反应、皮肤温度、大脑的电活动、心脏的电活动、眼睛运动、面部表情、瞳孔放大、瞳孔收缩、语音音量或者语音速度。

14.根据权利要求10所述的方法，还包括生成指示所述用户的所述第二情感或认知状态的视频段元数据。

15.根据权利要求14所述的方法，还包括确定所述用户的注视目标，其中所述视频段元数据指示所述用户的所述注视目标。

16.一种系统，包括：

一个或多个处理器；以及

存储器，存储指令，当所述指令由所述一个或多个处理器执行时，使所述系统：

从一个或多个传感器接收传感器数据；

响应于检测到从所述用户的所述第一情感或认知状态到所述用户的所述第二情感或认知状态的所述变化，启动包括由相机捕获的视频数据的视频段的记录或存储；

至少部分地基于检测到从所述用户的所述第二情感或认知状态到所述用户的所述第三情感或认知状态的所述变化来停止所述视频段的所述记录或存储。

17.根据权利要求16所述的系统，其中：

18.根据权利要求16所述的系统，其中所述指令还使所述系统生成指示所述用户的所述第二情感或认知状态的视频段元数据。

19.根据权利要求18所述的系统，其中所述指令还使所述系统确定所述用户的注视目标，其中所述视频段元数据指示所述用户的所述注视目标。

20.根据权利要求16所述的系统，至少部分地实现为头戴式显示设备。