CN117769694A - 用于选择智能眼镜中的摄像头的视场的用户接口 - Google Patents

Abstract

提供了一种用于沉浸式现实应用中的可穿戴设备。该可穿戴设备包括：目镜，该目镜用于向用户提供前向图像；第一前视摄像头，该第一前视摄像头安装在框架上并具有视场；处理器，该处理器被配置为对前向图像内的感兴趣区域进行识别；以及接口设备，该接口设备用于向用户指示第一前视摄像头的视场与感兴趣区域未对准。还提供了该设备的使用方法、存储指令的存储器和执行指令以使设备执行该使用方法的处理器。

Description

用于选择智能眼镜中的摄像头的视场的用户接口

技术领域

本公开涉及智能眼镜设备中的用户接口，所述智能眼镜设备包括用于记录图像和视频的一个或多个摄像头。更具体地，本公开涉及如下方法：所述方法用于使用眼动追踪工具来识别用户视野中的感兴趣区域并向用户提供非侵入性反馈，以使用户的感兴趣区域与智能眼镜中的一个或多个摄像头的视场一致。

背景技术

当代许多电子装置包括嵌入在可穿戴框架内的一个或多个摄像头，用户可以激活该一个或多个摄像头来采集照片或视频。然而，在许多情况下，用户采集的图像和视频与在采集时用户视野的感兴趣区域不匹配。发生这种情况是因为该一个或多个摄像头的角度和视场通常不同于用户的角度和视野。在某些类型的电子装置中，这种不一致可以通过在显示器上直接向用户提供对一个或多个摄像头附件的视场的反馈来解决。然后，用户可以手动修改摄像头位置和光学配置(放大倍率和光圈大小等)以使该一个或多个摄像头附件的视场与感兴趣区域一致。然而，这种方法需要使用显示器，这在一些装置中可能是不可用的，并且需要用户集中注意力来校正不一致。在一些具有显示器的装置中，可能仍然期望使用这些装置中的不动产以用于最大化用户享受而不是用于硬件调整。

发明内容

在第一实施例中，一种设备包括：框架，该框架包括目镜，该目镜用于向用户提供前向图像；第一前视摄像头，该第一前视摄像头安装在框架上；处理器，该处理器被配置为对用户视野内的感兴趣区域进行识别；以及接口设备，该接口设备用于向用户指示第一前视摄像头的视场与感兴趣区域未对准。

在另一实施例中，提供了一种设备，该设备包括：框架，该框架包括目镜，该目镜用于向用户提供前向图像；第一前视摄像头，该第一前视摄像头安装在框架上；处理器，该处理器被配置为对前向图像内的感兴趣区域进行识别；以及接口设备，该接口设备用于向用户指示第一前视摄像头的视场与感兴趣区域未对准。

在一些实施例中，该设备还可以包括传感设备，该传感设备面向用户以用于追踪用户的瞳孔位置，其中，该处理器基于用户的瞳孔位置来识别感兴趣区域。

在一些实施例中，处理器可以基于用户在视野内的注视方向来识别感兴趣区域。

在一些实施例中，该设备还可以包括存储器，该存储器存储指令，所述指令在由处理器执行时，使该设备查找指示用户的视野内的感兴趣区域的中心的注视向量。

在一些实施例中，接口设备可以包括音频设备，该音频设备用于为用户提供信号，以对头部姿势进行调整并将第一前视摄像头的视场与感兴趣区域对准。

在一些实施例中，接口设备可以包括振动部件，该振动部件被配置为指示用户朝期望方向移动头部位置，以使第一前视摄像头的视场与感兴趣区域对准。

在一些实施例中，目镜可以包括液晶，该液晶被配置为在被激活时遮挡目镜的竖直部分或目镜的水平部分，以引导用户分别水平或竖直移动头部位置，以使第一前视摄像头的视场中心与感兴趣区域对准。

在一些实施例中，该设备还可以包括致动器，该致动器被配置为对目镜的与感兴趣区域相对应的视场的一部分的颜色进行修改。

在一些实施例中，该设备还可以包括传声器，该传声器用于接收来自用户的、识别视场内的感兴趣对象的语音命令。

在一些实施例中，该设备还可以包括第二前视摄像头，其中，该接口设备被配置为在第一前视摄像头的视场与感兴趣区域未对准时，向用户提供用于激活第二前视摄像头的选项。

在另一实施例中，一种计算机实现的方法包括：接收来自智能眼镜的用户的、对用户观看的前向图像内的感兴趣对象的指示；将以感兴趣对象为中心的感兴趣区域与第一前视摄像头的视场进行比较，该第一前视摄像头安装在智能眼镜的框架上；以及经由安装在智能眼镜上的接口致动器，基于感兴趣区域与第一前视摄像头的视场之间的相对位置向用户提供反馈，可选地，其中，该反馈用于使用户调整相对于感兴趣对象的头部位置。

在一些实施例中，接收对用户的视野内的感兴趣对象的指示可以包括：追踪用户的瞳孔的位置，并基于用户的瞳孔的位置来识别感兴趣对象。

在一些实施例中，接收对用户的视野内的感兴趣对象的指示可以包括接收智能眼镜的用户的眼睛位置，该眼睛位置指示在用户的视野内的感兴趣对象的位置。

在一些实施例中，接收对用户视野内的感兴趣对象的指示可以包括基于用户的两个瞳孔的位置来确定用户的注视方向。

在一些实施例中，接收对用户视野内的感兴趣对象的指示可以包括接收用户的两个瞳孔的位置，并且确定注视方向包括确定用户的两个瞳孔的位置的聚散度。

在一些实施例中，该计算机实现的方法还可以包括确定感兴趣区域，该感兴趣区域具有第一前视摄像头的视场的、以感兴趣对象为中心的区域。

在一些实施例中，智能眼镜可以包括第二前视摄像头，还包括在感兴趣区域与第一前视摄像头的视场未对准时，接收来自用户的、打开第二前视摄像头的指令。

在一些实施例中，智能眼镜可以包括第二前视摄像头，并且其中，向用户提供反馈包括确定感兴趣区域与第二前视摄像头的视场的相对位置。

在一些实施例中，智能眼镜可以包括扬声器，并且向用户提供反馈包括向用户提供使智能眼镜在给定方向上移动的指令。

在一些实施例中，智能眼镜可以包括光发射器，并且向用户提供反馈包括用光发射器指示使用户的注视移动的方向。

在另一实施例中，一种用于智能眼镜中的摄像头接口的、计算机实现的方法包括：对以用户的感兴趣对象为中心的感兴趣区域与第一摄像头的视场之间的不匹配进行识别，该第一摄像头安装在智能眼镜上。该计算机实现的方法包括：在不通知用户的情况下，对第一摄像头的位置、方向或其它设置进行自动更新，或者选择智能眼镜上的相对于感兴趣区域更好定位的第二摄像头。

在另一实施例中，一种系统包括一个或多个处理器和存储指令的存储器，所述指令在由该一个或多个处理器执行时，使该系统执行方法。该方法包括：接收来自智能眼镜的用户的、对用户的视野内的感兴趣对象的指示；将以感兴趣对象为中心的感兴趣区域与第一前视摄像头的视场进行比较，该第一前视摄像头安装在智能眼镜的框架上；以及经由安装在智能眼镜上的接口致动器，基于感兴趣区域与第一前视摄像头的视场之间的相对位置向用户提供反馈，该反馈用于使用户调整相对于感兴趣对象的头部位置。

在又一实施例中，一种系统包括：用于存储指令的第一装置，以及用于执行所述指令并使该系统执行方法的第二装置。该方法包括：接收来自智能眼镜的用户的、对用户的视野内的感兴趣对象的指示；将以感兴趣对象为中心的感兴趣区域与第一前视摄像头的视场进行比较，该第一前视摄像头安装在智能眼镜的框架上；以及经由安装在智能眼镜上的接口致动器，基于感兴趣区域与第一前视摄像头的视场之间的相对位置向用户提供反馈。

基于以下公开，这些和其它实施例将是清楚的。将理解的是，本文描述为适合于结合到本公开的一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有的方面和实施例中具有普遍性。根据本公开的说明书、权利要求书和附图，本领域技术人员可以理解本公开的其它方面。上述总体性描述和以下具体实施方式仅是示例性和说明性的，并不对权利要求进行限制。

附图说明

图1示出了根据一些实施例的包括一个或多个可穿戴设备的架构，该一个或多个可穿戴设备彼此耦合，耦合到移动设备、远程服务器以及耦合到数据库。

图2A至图2C示出了根据一些实施例的由穿戴着智能眼镜的用户观看的场景。

图3示出了根据一些实施例的智能眼镜的目镜中的视觉指示符，该视觉指示符用于帮助用户基于感兴趣区域来调整摄像头视场以用于图像捕获。

图4示出了根据一些实施例的智能眼镜中的多个前视摄像头，以及对多个对前视摄像头中的一个前视摄像头的视场的干扰。

图5示出了根据一些实施例的具有玻璃遮光能力的智能眼镜。

图6A至图6B示出了根据一些实施例的对跨目镜的透明状态和遮光状态进行空间调制的示例。

图7A至图7B示出了根据一些实施例的具有面向场景的处于单一透射状态的两个目镜的智能眼镜。

图8是示出了根据一些实施例的用于将感兴趣区域与智能眼镜中的摄像头的视场相匹配的方法中的步骤的流程图。

图9是示出了根据一些实施例的示例性计算机系统的框图，头戴式设备(headset)及其使用方法可以用该计算机系统来实现。

在附图中，除非另有明确说明，否则具有相同或相似标记数字的元素共享相同或相似的特征。

具体实施方式

在以下具体实施方式中，阐述了许多具体的细节，以提供对本公开的充分理解。然而，对于本领域普通技术人员来说将是显而易见的是，可以在没有这些具体细节中的一些具体细节的情况下对本公开的实施例进行实践。在其它实例中，没有详细示出众所周知的结构和技术，以免模糊本公开。本文公开的实施例应该在本文的附图中所示的特征和其它实施例的范围内考虑，如下所示。

传统的摄像头或成像系统允许用户从摄像头的视角观看正被捕获的对象或场景。一些方法包括取景器、目镜、具有预览的显示器和实时流。然而，其中摄像头不具有取景器、显示器或其它这样的方式来从摄像头的视角观看正被捕获的对象或场景的系统，会向用户呈现关于摄像头视场的不期望的不确定性。虽然可以触发通过摄像头进行拍摄，但是当在触发捕获之前没有用于校正摄像头视场的反馈时，用户在捕获的瞬间可能不知道正被捕获的准确场景或视角。

为了解决在具有摄像头附件的可穿戴设备的技术领域中出现的上述问题，本文所公开的实施例允许用户了解待由摄像头覆盖的视场。在一些实施例中，系统包括智能眼镜，该智能眼镜具有内置的或附接的摄像头。该系统可能有或可能没有用于用户的显示器。如果存在显示器，该显示器可能不可用于摄像头视场，或者可能优选地专用于其它实用程序。

此外，为了解决在具有视频摄像头附件的可穿戴设备(例如，“智能眼镜”)的技术领域中出现的上述问题，本文所公开的实施例允许用户了解待由摄像头覆盖的视场。在一些实施例中，系统包括智能眼镜，该智能眼镜具有内置的或附接的摄像头。

本文公开的智能眼镜设备包括：框架，该框架包括目镜，这些目镜用于向用户提供视场；前视摄像头，该前视摄像头安装在该框架上；传感设备，该传感设备面向用户以用于追踪用户的瞳孔位置；处理电路，所述处理电路被配置为对用户的视野内的感兴趣区域(region of interest，ROI)进行识别；以及接口设备，所述接口设备用于向用户指示前视摄像头的视场与感兴趣区域未对准。在一些实施例中，存储器可以存储指令，所述指令在由处理器执行时使智能眼镜执行与本公开一致的方法中的一个或多个步骤。存储器还可以存储数据，例如前视摄像头相对于用户视野的位置和取向的校准数据。

本文公开的实施例使用眼动追踪工具以对通过如上所述的智能眼镜观看的场景中的感兴趣区域进行识别。此外，本文公开的实施例读取用户手势，以对通过如上所述的智能眼镜观看的场景中的感兴趣区域进行识别。在一些实施例中，系统被设计成使得摄像头捕获场景，包括来自用户的一些示例手势。通过手势识别系统来运行包括手势的帧，以识别由用户呈现适当手势的时刻，并基于读取来自用户的手势来识别感兴趣区域。

图1示出了根据一些实施例的包括一个或多个可穿戴设备100-1(例如，智能眼镜)和100-2(例如，智能手表)(在下文中，统称为“可穿戴设备100”)的架构10，这些可穿戴设备彼此耦合，耦合到移动设备110、远程服务器130并且耦合到数据库152。智能眼镜100-1可以被配置用于增强现实(AR)/虚拟现实(VR)应用，并且移动设备110可以是智能手机，所有这些设备可以经由无线通信彼此通信并交换第一数据集103-1。数据集103-1可以包括所记录的视频、音频或一些其它文件或流媒体。可穿戴设备100的用户101也是移动设备110的所有者或与移动设备110相关联。在一些实施例中，智能眼镜可以经由网络与远程服务器、数据库或任何其它客户端设备(例如，不同用户的智能手机等)直接通信。移动设备可以经由网络150与远程服务器和数据库通信地耦合，并且彼此传输/共享信息、文件等，例如数据集103-2和数据集103-3(在下文中，统称为“数据集103”)。例如，网络150可以包括局域网(local area network，LAN)、广域网(wide area network，WAN)和互联网等中的任何一者或多者。此外，网络可以包括但不限于以下网络拓扑中的任何一者或多者：这些网络拓扑包括总线网络、星型网络、环形网络、网状网络、星型总线网络以及树形或分层网络等。

智能眼镜100-1可以包括框架105，该框架包括目镜107，这些目镜用于向用户101提供前向图像。(例如，前视)摄像头115安装在框架105上。面向用户的传感设备128被配置为追踪用户的瞳孔位置。处理器112被配置为识别用户101的感兴趣区域(ROI)。接口设备129向用户101指示摄像头115的视场(FOV)与ROI未对准。在一些实施例中，智能眼镜100-1可以通过应用诸如对象识别或场景理解等算法来自动识别ROI与摄像头115的FOV之间未对准。在摄像头115的FOV与ROI之间存在静态偏移的情况下，可以实施用户校准以在显示器中为用户应用应变计(strain gauge)。在一些实施例中，智能眼镜100-1还可以包括触觉致动器125以及扬声器127，该触觉致动器用于向用户重建触觉以用于VR/AR应用，该扬声器用于向用户101传送指示调整注视方向的语音或声音信号，以用于改善摄像头115的FOV。例如，在一些实施例中，触觉致动器125可以包括振动部件，该振动部件用于指示用户朝期望方向移动其头部位置(例如，在用户的左镜腿上施加振动以使用户注视稍微向左移动等)以使前视摄像头115的FOV与ROI对准。

在一些实施例中，智能眼镜100-1可以包括多个传感器121，例如惯性测量单元(IMU)、陀螺仪、传声器和被配置作为用户的触摸接口的电容式传感器。其它触摸传感器可以包括压力传感器、温度计等。

此外，可穿戴设备100或移动设备110可以包括存储器电路120和处理器电路112，该存储器电路存储指令，该处理器电路被配置为执行这些指令以使智能眼镜100-1至少部分地执行与本公开一致的方法中的一些步骤。存储器电路120还可以存储数据，例如摄像头115相对于用户的FOV的位置和取向的校准数据。在一些实施例中，智能眼镜100-1、移动设备110、服务器130和/或数据库152还可以包括通信模块118，该通信模块使设备能够经由网络150与远程服务器130无线通信。因此，智能眼镜100-1可以从远程服务器130下载多媒体在线内容(例如，数据集103-1)，以至少部分地执行本文公开的方法中的一些操作。在一些实施例中，存储器120可以包括指令，所述指令使处理器112接收来自传感器121的信号并对来自传感器121的信号进行组合、避免假肯定以及在从用户接口接收到输入信号时更好地评估用户意图和命令。

在一些实施例中，智能手表或腕带设备100-2可以包括接触式和运动传感器，这些接触式和运动传感器捕获用户101的手势。手势可以用于根据用户101的ROI来增加、扩展、摇摄或移动一个或多个摄像头115的FOV。在一些实施例中，处理器112可以被配置为对由多个可穿戴设备100中的任何一个传感器提供的用户手势进行识别，并相应地调整摄像头115的FOV。

图2A至图2C示出了根据一些实施例的由穿戴着智能眼镜200的用户观看的场景210。可以用眼动追踪机制228来识别用户注视，例如注视向量229A。例如，用户可以朝相框(例如，ROI 238)扫视。在一些实施例中，ROI 238的中心被选择为注视向量229A的聚散度点。如图所示，根据一些实施例，注视向量229A与第一前视摄像头215-1或第二前视摄像头215-2(在下文中，统称为“前视摄像头215”)的FOV对准，该FOV在此处用黄色虚线方框示出。在一些实施例中，存储在存储器中的先前校准设置可以允许系统估计期望取景(framing)以捕获ROI 238内的感兴趣对象。

当注视向量229B位于前视摄像头215-1的FOV之外时，系统可以向用户提供如下反馈：该反馈指示ROI 238在多个前视摄像头215中的一个前视摄像头的FOV之外。这种指示可以例如使用以下方式来提供：来自传声器227的、智能眼镜200的用户听得见的音频提示；或眼镜右侧的触觉；或一些其它方式。然后，在接收到该反馈时，用户可以选择移动其头部以及目镜207和前视摄像头215，从而将ROI 238带入前视摄像头215的视场。当眼睛注视与多个前视摄像头215中的至少一个前视摄像头的FOV重叠或同心时，系统可以给出“绿灯”通知以指示ROI 238已被传送到捕获系统。

根据一些实施例来选择智能眼镜用户的ROI 238。在一些实施例中，系统可以捕获/触发静态捕获或视频捕获。在一些实施例中，系统可以将优化技术应用于感兴趣区域(例如，曝光优化、摄像头对焦优化等)或应用于受益于感兴趣区域信息的一些其它模块/事件。

图3示出了根据一些实施例的智能眼镜300的目镜307中的视觉指示符350，以帮助用户基于感兴趣区域来调整第一前视摄像头315-1的FOV 338以用于图像捕获。也可以由第二前视摄像头315-2(在下文中，第一前视摄像头315-1和第二前视摄像头315-2在下文中将被称为“摄像头315”)来捕获场景310。事实上，在一些实施例中，系统可以对注视向量329指示FOV 338之外的对象进行识别。为此，该系统可以包括眼动追踪传感器328。因此，系统可以向用户指示朝给定方向稍微(例如，向右并稍微向上)移动其头部，或者可以确定第二前视摄像头315-2的FOV更好地与用户的ROI对准。因此，系统可以打开第二前视摄像头315-2并关闭第一前视摄像头315-1。

图4示出了根据一些实施例的智能眼镜400中的前视摄像头415-1和415-2(在下文中，统称为“前视摄像头415”)，以及对多个前视摄像头415中的至少一个前视摄像头的FOV438的干扰410。智能眼镜400包括目镜407。例如，干扰410可以是用户佩戴着的帽子的帽檐，该帽檐无意阻挡了FOV 438。在一些实施例中，系统可以自动将干扰410从图像中裁剪出来，并通知用户已经使用了自动裁剪。因此，在这样的配置中，处理器412可以对干扰进行识别，并通过扬声器427提醒用户帽子或“异物”阻挡了FOV 438。

在一些实施例中，用户实际上可能已经用摄像头415-1采集了多个包括干扰410的图像。因此，可以经由无线数据传输将这些图像上传到移动设备(参见移动设备110和数据集103-1)。在移动设备110中的处理器上运行的算法可以对干扰410进行识别，并经由传声器427向智能眼镜400提供语音建议。

在一些实施例中，使用眼动追踪传感器428确定的注视向量429可能选择了来自第一前视摄像头415-1的FOV 438。显然，眼动追踪传感器428可能无法识别甚至无法感知干扰410，该干扰也可能阻挡第二前视摄像头415-2的FOV的一部分。响应于来自扬声器427的信息，用户可以调整帽子，或者将帽子完全移除。一旦FOV 438不受干扰410，系统就可以发出如下清除通知：该清除通知向用户指示现在可以使用各前视摄像头415中的任何一个拍摄照片。

图5示出了根据一些实施例的具有玻璃遮光能力的智能眼镜500。在一些实施例中，具有偏振部件(例如，线偏振器、半波片和或四分之一波片等)的有源液晶可以被切换以提高或降低穿过眼镜的镜片或目镜的光的透射性。因此，可以向目镜507提供透明状态501A(高透明度)和遮光状态501B(低透明度，“太阳镜”状态)。跨目镜507对该特性进行空间调制可以用于向用户提供关于摄像头视场与用户观看的前向图像的相对位置的反馈。

在一些实施例中，每个目镜507包括致动器，该致动器被配置为修改目镜的至少一部分的光学透明度。智能眼镜还包括摄像头515，该摄像头安装在框架505上。摄像头515面向前方，朝向用户视野(FOV)。在一些实施例中，智能眼镜500还包括处理器512，该处理器被配置为将摄像头515的FOV与用户观看的前向图像进行比较。处理器512可以被配置为通过调整目镜507的至少一部分的光学透明度来向用户指示摄像头的FOV缺少用户观看的前向图像的一部分。存储器520存储指令，所述指令在由处理器512执行时，使得智能眼镜500执行本文所公开的方法中的步骤。

图6A至图6B示出了根据一些实施例的对跨目镜607的如下项进行空间调制的示例：部分竖直透明状态601A和部分水平透明状态601B(在下文中，统称为“透明状态601”)以及部分竖直遮光状态602A和部分水平透明状态602B(在下文中，统称为“遮光状态602”)。智能眼镜600可以包括一个或两个前视摄像头615-1和615-2(在下文中，统称为“摄像头615”)。两个摄像头615中的任一个或两个摄像头在任何时间点都可以是活跃的，以确保根据用户ROI更好地捕获前向图像。为了充分利用智能眼镜600使用的电力，系统可以被配置为在任何给定时间仅保持多个摄像头615中的一个摄像头‘开启’。因此，经适当设计的液晶可以被配置为在每个目镜607内以局部方式进行切换。在所示的示例中，目镜607的竖直部分可以被遮挡，并使所述竖直部分或多或少地透光，以向用户提供反馈。该反馈可以指示多个摄像头615中的一个摄像头的FOV是活跃的。例如，当目镜607的遮光601A在用户观看的前向图像的中间提供清晰的竖直条纹时，这可以指示摄像头FOV在水平方向上正确地居中。类似地，沿着目镜607向左或向右移动部分透明状态601A可以向用户提供如下清晰的指示：活跃的多个摄像头615中的一个摄像头的视锥体(frustum)在水平方向上未被对准，并且在分别通过向左或向右移动来采集图像或视频之前可能需要对头部姿势进行调整，或者用户应该激活多个摄像头615中的另一个摄像头。

以类似的方式，在用户视野中间的清晰的水平条纹601B可以指示多个摄像头615中的一个摄像头的视场在竖直方向上正确地居中。由半透明或“遮光”条纹602B来上、下界定水平条纹601B。类似地，将透明条纹601B向上或向下移动，目镜可以向用户提供如下清晰的指示：多个摄像头615中的一个摄像头的视场在竖直方向上未被对准，并且在采集图像或视频之前可能需要对头部姿势进行调整。

因此，具有这种局部透射切换状态的目镜607可以用于向用户提供关于如下项的某种广泛层面的反馈：通过安装在智能眼镜600上的摄像头615看到了什么。在一些实施例中，眼动追踪传感器628可以用于识别用户的ROI，在这种情况下，遮光601被相应地调整。

替代地，一些实施例可以包括在照片/视频捕获模式中的侧面条(bar)和顶部/底部条，即使在未部分地遮挡目镜中的显示器的情况下，用户也将自动理解摄像头是如何取景的。

图7A至图7B示出了根据一些实施例的具有面向场景的处于单一透射状态的两个目镜707的智能眼镜700。由摄像头715来捕获智能眼镜700的用户观看的整个场景710的视场738，该摄像头安装在智能眼镜700的框架705上。因此，本文所公开的实施例在不需要取景器/显示器(其显示摄像头视角)的情况下，帮助用户在捕获时了解场景的摄像头覆盖范围748，如下所示。

在一些实施例中，目镜707具有局部可切换透射特性，因此，根据一些实施例(参见智能眼镜700)，在目镜外边缘处的(竖直)部分701B处于较暗的透射状态。并且，较清晰部分701A与部分738(例如，摄像头715的视场)重叠。因此，部分701A将出现在照片中，而部分701B将从摄像头捕获中被裁剪。在一些实施例中，基于摄像头相对于目镜的位置和取向，可以将部分701A的位置和大小校准到摄像头的视角。因此，可以通知用户：视图的清晰可见的部分将被摄像头捕获。

在摄像头FOV 738覆盖用户的ROI时，用户可以激活图像采集。在摄像头FOV 738没有覆盖用户的ROI时，用户可以移动头部以调整摄像头FOV 738。在智能眼镜700包括多于一个的摄像头715并且摄像头FOV 738未能覆盖用户的ROI的情况下，用户可以选择另一摄像头以用于图像捕获，并且系统可以在采集图像之前向用户指示所选择的摄像头的视场的大小和位置。

图8是示出了根据一些实施例的用于将感兴趣区域与智能眼镜中的摄像头(例如，智能眼镜100-1、200、300、400、500、600和700以及摄像头115、215、315、415、515、615和715)的视场相匹配的方法800中的步骤的流程图。除了摄像头之外，智能眼镜还可以包括眼动追踪传感器、存储指令的存储器、以及处理器(例如，传感设备128、228、328和428，存储器120和520以及处理器112和512)，该处理器被配置为执行这些指令以至少部分地执行方法800中的一个或多个步骤。与本公开一致的方法可以包括方法800中的至少一个步骤、或者方法800中的以不同顺序、同时、准同时或在时间上重叠执行的两个或更多个步骤。

步骤802包括：接收来自智能眼镜的用户的、指示用户的视野内的感兴趣对象的指令。在一些实施例中，步骤802包括：追踪用户的瞳孔的位置，并基于该用户的瞳孔的位置来识别感兴趣对象。在一些实施例中，步骤802包括：接收智能眼镜的用户的眼睛位置，该眼睛位置指示用户的视野内的感兴趣对象的位置。在一些实施例中，步骤802包括：基于用户的两个瞳孔的位置来确定用户的注视方向。在一些实施例中，步骤802包括接收用户的两个瞳孔的位置，并且确定注视方向包括确定用户的两个瞳孔的位置的聚散度。在一些实施例中，步骤802可以包括在智能眼镜的目镜中显示指示注视方向的两条会聚线，这两条会聚线在用户明显感兴趣的对象上会聚，向用户示出了摄像头图像的新项目(crop)是什么。在一些实施例中，步骤802包括确定如下感兴趣区域：该感兴趣区域具有第一前视摄像头的视场的、以感兴趣对象为中心的区域。在一些实施例中，智能眼镜包括第二前视摄像头，并且步骤802还包括接收来自用户的、在感兴趣区域与第一前视摄像头的视场未对准时打开第二前视摄像头的指令。

步骤804包括：将以感兴趣对象为中心的感兴趣区域与安装在智能眼镜的框架上的第一前视摄像头的视场进行比较。

步骤806包括：经由安装在智能眼镜设备上的接口致动器，基于感兴趣区域与第一前视摄像头的视场之间的相对位置向用户提供反馈。在一些实施例中，智能眼镜包括第二前视摄像头，并且步骤806包括确定感兴趣区域与第二前视摄像头的视场的相对位置。在一些实施例中，智能眼镜包括扬声器，并且步骤806包括向用户提供使智能眼镜在给定方向上移动的指令。在一些实施例中，智能眼镜包括光发射器，并且步骤806包括用光发射器指示用户的注视移动的方向。

硬件概述

图9是示出了根据一些实施例的示例性计算机系统900的框图，可以用该计算机系统来实现图1的头戴式设备100和方法800。在某些方面，计算机系统900可以使用硬件或软件与硬件的组合，要么在专用服务器中、要么集成到另一实体中、要么跨多个实体分布来实现。计算机系统900可以包括台式计算机、笔记本电脑、平板电脑、平板手机、智能手机、功能手机、服务器计算机或其它。服务器计算机可以远程地位于数据中心中或被存储在本地。

计算机系统900包括总线908或用于传递信息的其它通信机制、以及与总线908耦合的用于处理信息的处理器902(例如，处理器112)。作为示例，计算机系统900可以用一个或多个处理器902来实现。处理器902可以是通用微处理器、微控制器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、状态机、门控逻辑、分立的硬件部件、或可以执行对信息的计算或其它信息操作的任何其它合适的实体。

除了硬件之外，计算机系统900还可以包括创建所论述的计算机程序的执行环境的代码，例如，构成存储在所包括的存储器904(例如，存储器120)中的以下内容的代码：处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一者或多者的组合，该存储器例如为随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除PROM(Erasable PROM，EPROM)、寄存器、硬盘、可移除磁盘、紧凑型光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或任何其它合适的存储设备，该存储器与总线908耦合以用于存储处理器902要执行的信息和指令。处理器902和存储器904可以由专用逻辑电路补充或被并入专用逻辑电路中。

指令可以被存储在存储器904中，并且可以在一个或多个计算机程序产品中实现，该一个或多个计算机程序产品例如为计算机程序指令的一个或多个模块，这些计算机程序指令被编码在计算机可读介质上以用于由计算机系统900执行或控制该计算机系统900的操作，并且根据本领域技术人员众所周知的任何方法，这些计算机程序指令包括但不限于计算机语言，例如面向数据的语言(例如，SQL、dBase)、系统语言(例如，C、Objective-C、C++、汇编)、结构性语言(例如，Java、.NET)以及应用程序语言(例如，PHP、Ruby、Perl、Python)等计算机语言。指令也可以用计算机语言实现，例如数组语言、面向方面语言、汇编语言、写作语言、命令行接口语言、编译语言、并发语言、大括号语言、数据流语言、数据结构化语言、声明性语言、深奥语言、扩展语言、第四代语言、函数式语言、交互模式语言、解释语言、迭代语言、基于列表的语言、小语言、基于逻辑的语言、机器语言、宏语言、元编程语言、多范式语言、数值分析、非基于英语的语言、基于类的面向对象语言、基于原型的面向对象语言、越位规则语言、过程式语言、反射式语言、基于规则的语言、脚本语言、基于堆栈的语言、同步式语言、语法处理语言、视觉语言、wirth语言和基于xml的语言。存储器904还可以用于在执行要由处理器902执行的指令期间，存储临时变量或其它中间信息。

如本文所论述的计算机程序不一定对应于文件系统中的文件。程序可以存储在保存有其它程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、专用于所论述的程序的单个文件中、或者多个协调文件(例如，存储有一个或多个模块、子程序、或部分代码的文件)中。计算机程序可以被部署为在一台计算机或多台计算机上执行，该一台计算机或多台计算机位于一个站点处或跨多个站点分布并且通过通信网络互连。本说明书中描述的过程和逻辑流可以由一个或多个可编程处理器执行，该一个或多个可编程处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。

计算机系统900还包括数据存储设备906，例如磁盘或光盘，该数据存储设备与总线908耦合以用于存储信息和指令。计算机系统900可以经由输入/输出模块910耦合到各种设备。输入/输出模块910可以是任何输入/输出模块。示例性输入/输出模块910包括诸如通用串行总线(USB)端口等数据端口。该输入/输出模块910被配置为连接到通信模块912。示例性通信模块912包括网络接口卡，例如以太网卡和调制解调器。在某些方面，输入/输出模块910被配置为连接到多个设备，例如，输入设备914和/或输出设备916。示例性输入设备914包括键盘和定点设备，例如，鼠标或轨迹球，用户可以通过键盘和定点设备向计算机系统900提供输入。其它种类的输入设备914也可以用于提供与用户的交互，这些输入设备例如为触觉输入设备、视觉输入设备、音频输入设备或脑-计算机接口设备。例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以包括声音输入、语音输入、触觉输入或脑电波输入的任何形式来接收来自用户的输入。示例性输出设备916包括用于向用户显示信息的显示设备，例如液晶显示器(liquid crystaldisplay，LCD)监视器。

根据本公开的一方面，可以响应于处理器902执行存储器904中包含的一个或多个指令的一个或多个序列，使用计算机系统900来至少部分地实施可穿戴设备100。这些指令可以从另一机器可读介质(例如，数据存储设备906)读入到存储器904中。对包含在主存储器904中的指令序列的执行，使得处理器902执行本文所描述的过程步骤。还可以采用多重处理配置中的一个或多个处理器来执行包含在存储器904中的指令序列。在替代方面，可以使用硬连线电路来代替软件指令、或可以将硬连接线路与软件指令组合使用，以实现本公开的各种方面。因此，本公开各方面不限于硬件电路和软件的任何特定组合。

本说明书中所描述的主题的各方面可以在计算系统中实现，该计算系统包括后端部件(例如，数据服务器)、或包括中间软件部件(例如，应用服务器)、或者包括前端部件(例如，具有图形用户界面或网络浏览器的客户端计算机，用户可以通过该图形用户界面或网络浏览器与本说明书中所描述的主题的实施方式进行交互)；或者本说明书中所描述的主题的各方面可以在一个或多个这种后端部件、一个或多个这种中间软件部件或一个或多个这种前端部件的任意组合中实现。该系统的各部件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络(例如，网络150)例如可以包括以下中的任何一者或多者：LAN、WAN、和互联网等。此外，例如，通信网络可以包括但不限于以下网络拓扑中的任何一者或多者，这些网络拓扑包括总线网络、星型网络、环形网络、网状网络、星型总线网络、以及树形或分层网络等。例如，通信模块可以是调制解调器或以太网卡。

计算机系统900可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是由于运行在各自的计算机上且相互之间具有客户端-服务器关系的计算机程序而生成的。例如，计算机系统900可以是但不限于台式计算机、膝上型计算机或平板电脑。计算机系统900还可以嵌入在另一设备中，该另一设备例如是但不限于是移动手机、个人数字助理(PDA)、移动音频播放器、全球定位系统(Global Positioning System，GPS)接收器、视频游戏控制台和/或电视机顶盒。

如本文所使用的术语“机器可读存储介质”或“计算机可读介质”是指参与向处理器902提供指令以用于执行的任何介质或介质。此种介质可以采取许多形式，这些形式包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质例如包括光盘或磁盘，例如数据存储设备906。易失性介质包括动态存储器，例如存储器904。传输介质包括同轴电缆、铜线和光纤，上述同轴电缆、铜线和光纤包括形成总线908的导线。机器可读介质的常见形式包括例如软盘(floppy disk)、软盘(flexibledisk)、硬盘、磁带、任何其它磁介质、CD-ROM、DVD、任何其它光学介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、快闪EPROM(FLASH EPROM)、任何其它存储器芯片或盒式存储器、或计算机可以读取的任何其它介质。机器可读存储介质可以是机器可读存储设备、机器可读存储基底、存储器设备、影响机器可读传播信号的物质的组合、或者它们中的一者或多者的组合。

为了说明硬件与软件的可互换性，例如各种说明性块、模块、部件、方法、操作、指令和算法等项目已大体上在它们的功能性方面进行了描述。是否将此功能性实施为硬件、软件、或者硬件与软件的组合，取决于特定应用程序和强加于整个系统的设计约束。本领域技术人员可以对每一特定应用程序以不同方式来实现所描述的功能性。

如本文所使用的，短语“中的至少一个”在一系列项目之前，用术语“和”或“或”将这些项目中任何一个项目分开，修饰的是整个列表，而不是修饰该列表的每个元素(例如，每个项目)。短语“中的至少一个”并不要求选择至少一个项目；而是，该短语的意思是包括这些项目中的任何一项中的至少一个，和/或这些项目的任何组合中的至少一个，和/或这些项目中的每项中的至少一个。作为示例，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”中每个指的是：仅A、仅B或仅C；A、B和C的任意组合；和/或，A、B和C的每项中的至少一个。

本文使用词语“示例性”来意指“用作示例、实例或说明”。在本文中描述为“示例性”的任何实施例不一定被解释为比其它实施例优选或有利。如下短语是为了方便，并不暗示与一个或多个这种短语相关的公开对主题技术是必不可少的，或该公开适用于主题技术的所有配置：这些短语例如为一方面、该方面、另一方面、一些方面、一个或多个方面、一实施方式、该实施方式、另一实施方式、一些实施方式、一个或多个实施方式、一实施例、该实施例、另一实施例、一些实施例、一个或多个实施例、一配置、该配置、另一配置、一些配置、一个或多个配置、主题技术、该公开、本公开以及它们的其它变型等。与一个或多个这种短语相关的公开可以适用于所有配置、或一种或多种配置。与一个或多个这种短语相关的公开可以提供一个或多个示例。诸如一方面或一些方面的短语可以指一个或多个方面，并且反之亦然，并且这同样适用于其它前述短语。

除非特别说明，否则提及单数形式的元素并非旨在意指“一个且仅一个”，而是“一个或多个”。术语“一些”指的是一个或多个。带下划线和/或斜体的标题和副标题仅为了方便而使用，并不限制本主题技术，并且不表示与本主题技术的描述的解释有关。诸如第一和第二等相关术语可用于将一个实体或动作与另一个实体或动作进行区分，而不必要求或暗示这些实体或动作之间的任何实际这种关系或顺序。本领域普通技术人员已知或以后将知晓的、贯穿本公开所描述的各种配置的元素的所有结构和功能等同物均旨在通过引用明确地并入本文，并旨在被本主题技术所包含。此外，本文所公开的任何内容均不旨在奉献给公众，无论这种公开是否明确记载在以上描述中。

虽然本说明书包含许多细节，但是这些细节不应被解释为对可能被描述的内容的范围的限制，而应被解释为对主题的特定实施方式的描述。本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或以任何合适的子组合实现。此外，尽管特征可能在以上被描述为在某些组合中起作用并且甚至最初被描述为如此，但是在一些情况下，来自所描述的组合的一个或多个特征可以从该组合中被去除，并且所描述的组合可以涉及子组合或子组合的变型。

已经在特定方面描述了本说明书的主题，但其它方面可以被实现并且位于所附权利要求的范围内。例如，尽管在附图中以特定顺序描绘了操作，但是这不应当被理解为要求以所示出的特定顺序或以连续顺序执行这些操作，或者要求执行所有示出的操作以实现期望的结果。权利要求中所描述的动作可以以不同的顺序执行，并且仍然实现了期望的结果。作为一个示例，附图中所描绘的过程不一定要求所示出的特定顺序或连续顺序来实现期望的结果。在某些情况下，多任务并行处理可能是有利的。此外，不应将上述多个方面中的各个系统部件的分开理解为要求在所有方面中都进行这样的分开，而应理解的是，所描述的程序部件和系统通常可以在一个软件产品中集成在一起或封装在多个软件产品中。

名称、背景技术、附图说明、摘要和附图在此被并入本公开中，并且作为本公开的说明性示例而非限制性描述来提供。应当理解的是，该摘要将不用于解释或限制权利要求的范围或含义。此外，在具体实施方式中可以看出，该描述提供了说明性示例，并且不同的特征在不同的实施方式中被组合在一起以为了简化本公开。本公开的方法不应被解释为反映了以下意图：所描述的主题需要比每项权利要求中明确记载的特征更多的特征。相反，如权利要求所反映的，发明主题在于比单个公开的配置或操作的所有特征少。权利要求书在此被并入具体实施方式中，每项权利要求独立地作为单独描述的主题。

权利要求不旨在被限制为本文所描述的方面，而是应被赋予与语言权利要求一致的全部范围并且涵盖所有合法的等同物。尽管如此，权利要求中没有一个权利要求旨在包含不能满足适用专利法的要求的主题，也不应该以这种方式解释它们。

Claims (15)

1.一种设备，包括：

框架，所述框架包括目镜，所述目镜用于向用户提供前向图像；

第一前视摄像头，所述第一前视摄像头安装在所述框架上；

处理器，所述处理器被配置为对所述前向图像内的感兴趣区域进行识别；以及

接口设备，所述接口设备用于向所述用户指示所述第一前视摄像头的视场与所述感兴趣区域未对准。

2.根据权利要求1所述的设备，还包括传感设备，所述传感设备面向所述用户以用于追踪所述用户的瞳孔位置，其中，所述处理器基于所述用户的瞳孔位置来识别所述感兴趣区域。

3.根据权利要求1或2所述的设备，其中，所述处理器基于所述用户在所述视场内的注视方向来识别所述感兴趣区域。

4.根据权利要求1、2或3所述的设备，还包括存储器，所述存储器存储指令，所述指令在由所述处理器执行时，使所述设备查找指示所述用户的视野内的所述感兴趣区域的中心的注视向量。

5.根据前述权利要求中任一项所述的设备，其中，所述接口设备包括音频设备，所述音频设备用于为所述用户提供信号，以对头部姿势进行调整并将所述第一前视摄像头的视场与所述感兴趣区域对准。

6.根据前述权利要求中任一项所述的设备，其中，所述接口设备包括振动部件，所述振动部件被配置为指示所述用户朝期望方向移动头部位置，以使所述第一前视摄像头的视场与所述感兴趣区域对准。

7.根据前述权利要求中任一项所述的设备，其中，所述目镜包括液晶，所述液晶被配置为在被激活时遮挡所述目镜的竖直部分或所述目镜的水平部分，以引导所述用户分别水平或竖直移动头部位置，以使所述第一前视摄像头的视场中心对准所述感兴趣区域。

8.根据前述权利要求中任一项所述的设备，还包括致动器，所述致动器被配置为对所述目镜的与所述感兴趣区域相对应的视场的一部分的颜色进行修改。

9.根据前述权利要求中任一项所述的设备，还包括传声器，所述传声器用于接收来自所述用户的、识别所述视场内的感兴趣对象的语音命令。

10.根据前述权利要求中任一项所述的设备，还包括第二前视摄像头，其中，所述接口设备被配置为在所述第一前视摄像头的视场与所述感兴趣区域未对准时，向所述用户提供用于激活所述第二前视摄像头的选项。

11.一种计算机实现的方法，包括：

接收来自智能眼镜的用户的、对所述用户观看的前向图像内的感兴趣对象的指示；

将以所述感兴趣对象为中心的感兴趣区域与第一前视摄像头的视场进行比较，所述第一前视摄像头安装在所述智能眼镜的框架上；以及

经由安装在所述智能眼镜上的接口致动器，基于所述感兴趣区域与所述第一前视摄像头的视场之间的相对位置向所述用户提供反馈，所述反馈用于使所述用户调整相对于所述感兴趣对象的头部位置。

12.根据权利要求11所述的计算机实现的方法，其中，接收对所述用户的视野内的感兴趣对象的所述指示包括以下中的一者或多者：

i.追踪所述用户的瞳孔的位置，并基于所述用户的瞳孔的位置来识别所述感兴趣对象；

ii.接收智能眼镜的用户的眼睛位置，所述眼睛位置指示在所述用户的视野内的所述感兴趣对象的位置；

iii.基于所述用户的两个瞳孔的位置来确定所述用户的注视方向；

iv.接收所述用户的两个瞳孔的位置，并且确定注视方向包括确定所述用户的两个瞳孔的位置的聚散度。

13.根据权利要求11或12所述的计算机实现的方法，还包括确定所述感兴趣区域，所述感兴趣区域具有所述第一前视摄像头的视场的、以所述感兴趣对象为中心的区域。

14.根据权利要求11、12或13所述的计算机实现的方法，其中，所述智能眼镜包括第二前视摄像头，并且可选地：

i.所述方法还包括在所述感兴趣区域与所述第一前视摄像头的视场未对准时，接收来自所述用户的、打开所述第二前视摄像头的指令；和/或

ii.其中，向所述用户提供反馈包括确定所述感兴趣区域与所述第二前视摄像头的视场的相对位置。

15.根据权利要求11至14中任一项所述的计算机实现的方法，其中，所述智能眼镜包括：

i.扬声器，并且向所述用户提供反馈包括向所述用户提供使所述智能眼镜在给定方向上移动的指令；和/或

ii.光发射器，并且向所述用户提供反馈包括用所述光发射器指示使所述用户的注视移动的方向。