CN116249873A - 具有异步滚动快门相机的护目镜 - Google Patents

具有异步滚动快门相机的护目镜 Download PDF

Info

Publication number
CN116249873A
CN116249873A CN202180063309.3A CN202180063309A CN116249873A CN 116249873 A CN116249873 A CN 116249873A CN 202180063309 A CN202180063309 A CN 202180063309A CN 116249873 A CN116249873 A CN 116249873A
Authority
CN
China
Prior art keywords
image
camera
goggles
processor
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180063309.3A
Other languages
English (en)
Inventor
布拉尼斯拉夫·米库西克
乔治斯·福音书
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN116249873A publication Critical patent/CN116249873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

护目镜，其具有异步滚动快门(RS)相机，使得由每个相机产生的图像是不对准的，并且计算包括护目镜参考系中的速度和重力方向的状态。该状态不限于这两个参数，因为可包括诸如加速度偏差、陀螺仪偏差或两者的其他参数。使用数学求解器，使得计算速度和重力方向的处理时间是可接受的。将RS相机布置成异步配置，允许从仅一个立体图像对估测护目镜的运动，并且不需要处理更多图像。

Description

具有异步滚动快门相机的护目镜
相关申请的交叉引用
本申请要求于2020年9月15日申请的、申请序列号为17/021,023的美国申请的优先权，其内容通过引用全部并入本文。
技术领域
本主题涉及一种护目镜装置，例如智能眼镜。
背景技术
现今可用的便携式护目镜装置，诸如智能眼镜、头戴具和头帽，集成相机和透视显示器。
附图说明
附图仅通过举例而非限制的方式描绘了一个或更多个实现方式。在附图中，相同的附图标记表示相同或相似的元件。
图1A是护目镜装置的示例硬件配置的侧视图，其示出了具有图像显示器的右光学组件，并且基于检测到的用户头部或眼睛运动将视野调整应用于呈现在图像显示器上的用户界面；
图1B是图1A的护目镜装置的镜腿(temple)的顶部截面视图，其描绘了可见光相机、用于追踪护目镜装置用户的头部运动的头部运动追踪器、以及电路板；
图2A是护目镜装置的示例硬件配置的后视图，该示例硬件配置包括镜架上的眼睛扫描器，用于在用于标识护目镜装置的用户的系统中使用；
图2B是另一护目镜装置的示例硬件配置的后视图，该示例硬件配置包括镜腿上的眼睛扫描器，用于在用于标识护目镜装置的用户的系统中使用；
图2C和2D是护目镜装置的示例硬件配置的后视图，该示例硬件配置包括两种不同类型的图像显示器。
图3示出了图2A的护目镜装置的后视立体图，其描绘了红外发射器、红外相机、镜架前部、镜架后部和电路板；
图4是透过图3的护目镜装置的红外发射器和镜架所截取的截面视图；
图5示出了检测眼睛注视方向；
图6示出了检测眼睛位置；
图7描绘了由左可见光相机拍摄的作为左原始图像的可见光和由右可见光相机拍摄的作为右原始图像的可见光的示例；
图8A示出了来自同步滚动快门相机的帧；
图8B和图8C示出了由求解器使用的示例方程；
图8D示出了来自异步滚动快门相机的帧，其中一个相机的图像被旋转；
图8E示出了来自异步滚动快门相机的帧，其中一个相机的图像在时间上移位；
图8F示出了来自异步滚动快门相机的帧，其中一个相机的图像在空间上移位；
图9示出了护目镜装置的电子部件的框图；以及
图10是使用异步滚动快门相机确定护目镜的速度和重力方向的流程图。
具体实施方式
本公开包括护目镜的示例，其具有异步滚动快门(RS，rolling shutter)相机，使得每个相机生成的图像未对准，并且计算包括护目镜参考系中的速度和重力方向的状态。该状态不限于这两个参数，因为可包括诸如加速度偏差、陀螺仪偏差或两者的其他参数。使用数学求解器，使得计算速度和重力方向的处理时间是可接受的。将RS相机布置成异步配置，允许从仅一个立体图像对估测护目镜的运动，并且不需要处理更多图像。
示例的另外的目的、优点和新颖特征将部分地在以下说明中进行阐述，并且对于本领域技术人员而言在研究以下和附图时将部分地变得清楚，或者可通过示例的生产或操作来学习。本主题的目的和优点可通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
在以下详细描述中，通过举例的方式阐述了许多具体细节，以便提供对相关教示内容的透彻理解。然而，对于本领域技术人员应当清楚的是，可在没有此类细节的情况下实践本教示内容。在其他示例中，已以相对上位的方式描述了众所周知的方法、程序、部件和电路，没有细节，以避免不必要地混淆本教示内容的多个方面。
如本文所使用的术语“联接”是指将一个系统元件产生或提供的信号或光传递给另一联接元件的任何逻辑、光学、物理或电连接、链接等。除非另有描述，否则联接的元件或装置不一定直接彼此连接，并且可通过可修改、操纵或运输光或信号的中间部件、元件或传播介质分离。
护目镜装置、相关联的部件以及结合了眼睛扫描器和相机的任何完整装置(诸如在附图中的任意附图中所示)的取向仅是通过举例的方式给出的，用于说明和讨论的目的。在针对特定可变光学处理应用的操作中，护目镜装置可被定向在适合于该护目镜装置的特定应用的任何其他方向上，例如上、下、侧向或任何其他定向。而且，在本文中使用的范围内，任何方向术语，例如，前、后、内、外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部和侧面，仅仅通过示例的方式使用，并且不限制任何光学件或根据本文中另外描述而构造的光学装置的部件的方向或方位。
现在详细参考在附图中示出并在下面讨论的示例。
图1A是护目镜装置100的示例硬件配置的侧视图，该护目镜装置100包括具有图像显示器180D(图2A)的右光学组件180B。护目镜装置100包括形成立体相机的多个可见光相机114A-B(图7)，其中右可见光相机114B位于右镜腿110B上。
左可见光相机和右可见光相机114A-B具有对可见光范围波长敏感的图像传感器。可见光相机114A-114B中的每个具有不同的面向前方的覆盖角(angle ofcoverage)，例如，可见光相机114B具有所描绘的覆盖角111B。覆盖角是可见光相机114A-B的图像传感器接收电磁辐射并生成图像的角度范围。此类可见光相机114A-B的示例包括高分辨率互补金属氧化物半导体(CMOS，complementary metal–oxide–semiconductor)图像传感器和视频图形阵列(VGA，video graphic array)相机，诸如640p(例如，640×480像素，总共30万像素)、720p或1080p。来自可见光相机114A-B的图像传感器数据与地理位置数据一起被拍摄，由图像处理器数字化，并存储在存储器中。
为了提供立体视觉，可见光相机114A-B可联接至图像处理器(图9的元件912)以用于与拍摄场景图像的时间戳一起进行数字处理。图像处理器912包括用于从可见光相机114A-B接收信号、并将来自可见光相机114A-B的那些信号处理为适于存储在存储器(图9的元件934)中的格式的电路。时间戳可由控制可见光相机114A-B的操作的图像处理器912或其他处理器添加。可见光相机114A-B允许立体相机模拟人类双目视觉。立体相机提供了基于分别来自具有相同时间戳的可见光相机114A-B的两个拍摄的图像(图7的元件758A-B)来再现三维图像(图7的元件715)的能力。这种三维图像715允许身临其境的逼真体验，例如用于虚拟现实或视频游戏。对于立体视觉，在给定时刻产生一对图像758A-B——左可见光相机和右可见光相机114A-B各对应一个图像。当(例如，通过图像处理器912)将来自左可见光相机和右可见光相机114A-B的面向前方的覆盖角111A-B的一对生成的图像758A-B拼接在一起时，通过光学组件180A-B提供深度知觉。
在示例中，用户界面视野调整系统包括护目镜装置100。护目镜装置100包括镜架105、从镜架105的右外侧170B延伸的右镜腿110B、以及透视图像显示器180D(图2A-B)，该透视图像显示器180D包括光学组件180B以向用户呈现图形用户界面。护目镜装置100包括连接至镜架105或左镜腿110A以拍摄场景的第一图像的左可见光相机114A。护目镜装置100还包括连接至镜架105或右镜腿110B的右可见光相机114B以(例如，与左可见光相机114A同时)拍摄场景的第二图像，第二图像与第一图像部分重叠。虽然在图1A-B中未示出，但是用户界面视野调整系统还包括：处理器932，该处理器932联接至护目镜装置100，并且连接至可见光相机114A-B；存储器934，该存储器934可访问至处理器932；以及在存储器934中的编程，例如在护目镜装置100本身或用户界面视野调整系统的另一部分中的编程。
虽然在图1A中未示出，护目镜装置100还包括头部运动追踪器(图1B的元件109)或眼睛运动追踪器(图2A-B的元件213)。护目镜装置100还包括：光学组件180A-B的透视图像显示器180C-D，用于呈现一系列显示的图像；以及图像显示器驱动器(图9的元件942)，其联接至光学组件180A-B的透视图像显示器180C-D，以控制光学组件180A-B的图像显示器180C-D，从而呈现一系列显示的图像715，其在下文进一步详细描述。护目镜装置100还包括存储器934、以及可访问图像显示器驱动器942和存储器934的处理器932。护目镜装置100还包括在存储器中的编程(图9的元件934)。由处理器932执行编程，将护目镜装置100配置为执行功能，这些功能包括经由透视图像显示器180C-D呈现上述一系列显示图像的初始显示图像的功能，该初始显示图像具有对应于初始头部方向或初始眼睛注视方向的初始视野(图5的元素230)。
由处理器932执行编程，进一步将护目镜装置100配置用于通过下述来检测护目镜装置用户的运动：(i)经由头部运动追踪器(图1B的元件109)追踪用户头部的头部运动，或(ii)经由眼睛运动追踪器(图2A-B、图5的元件213)追踪护目镜装置100的用户的眼睛的眼睛运动。由处理器932执行编程，进一步将护目镜装置100配置为基于所检测到的用户运动来确定对初始显示图像的初始视野的视野调整。视野调整包括与连续的头部方向或连续的眼睛方向对应的连续视野。由处理器932执行编程，进一步将护目镜装置100配置为基于视野调整生成上述一系列显示图像的连续显示图像。由处理器932执行编程，进一步将护目镜装置100配置为经由光学组件180A-B的透视图像显示器180C-D呈现连续显示图像。
图1B是图1A的护目镜装置100的镜腿的顶部截面视图，描绘了右可见光相机114B、头部运动追踪器109和电路板。左可见光相机114A的构造和放置基本上类似于右可见光相机114B，除了连接装置及联接均位于左外侧170A上。如示出的，护目镜装置100包括右可见光相机114B和电路板，该电路板可以是柔性印刷电路板(PCB)140。右铰链126B将右镜腿110B连接至护目镜装置100的右镜腿125B。在一些示例中，右可见光相机114B、柔性PCB140或其他电连接器的部件或触点可位于右镜腿125B或右铰链126B上。
如示出的，护目镜装置100具有头部运动追踪器109，该头部运动追踪器109包括例如惯性测量单元(IMU，inertial measurement unit)。惯性测量单元是使用加速计和陀螺仪——有时还有磁力计——的组合来测量和报告身体的特定力、角速率、以及有时还有身体周围的磁场的电子装置。惯性测量单元通过使用一个或更多个加速度计检测线性加速度，并使用一个或更多个陀螺仪检测旋转速率来工作。惯性测量单元的通常配置包括用于三个轴线中每个轴线的一个加速度计、陀螺仪和磁力计，三个轴线为用于左右运动的水平轴线(X)、用于上下运动的竖直轴线(Y)以及用于上下运动的深度或距离轴线(Z)。加速度计检测重力向量。磁力计定义磁场中的旋转(例如，面向南、北等)，就像产生方向参考的罗盘。这三个加速度计用于检测沿以上定义的水平、竖直和深度轴线的加速度，这可相对于地面、护目镜装置100、或佩戴护目镜装置100的用户来定义。
护目镜装置100通过经由头部运动追踪器109追踪用户头部的头部运动，来检测护目镜装置100用户的运动。头部运动包括在图像显示器上呈现初始显示图像期间，从初始头部方向在水平轴线、竖直轴线或其组合上的头部方向的变化。在一个示例中，经由头部运动追踪器109追踪用户的头部的头部运动包括经由惯性测量单元109测量水平轴线(例如，X轴)、竖直轴线(例如，Y轴)或其组合上的初始头部方向(例如，横向或对角线运动)。经由头部运动追踪器109追踪用户头部的头部运动还包括在呈现初始显示图像期间经由惯性测量单元109测量在水平轴线、竖直轴线或其组合上的连续头部方向。
经由头部运动追踪器109追踪用户头部的头部运动还包括基于初始头部方向和连续头部方向两者确定头部方向的变化。检测护目镜装置100的用户的运动还包括响应于经由头部运动追踪器109追踪用户的头部的头部运动，确定头部方向的变化超过水平轴线、竖直轴线或其组合上的偏离角阈值。偏离角阈值在约3°至10°之间。如本文所使用的，当提及角度时，术语“约”是指规定量的±10％。
沿水平轴线的变化通过例如隐藏、取消隐藏或以其他方式调整三维对象的可见性来将诸如字符、Bitmojis、应用图标等的三维对象滑入和滑出视野。在一个示例中，例如，当用户向上看时，沿竖直轴线的变化显示天气信息、当日时间、日期、日历预约等。在另一示例中，当用户在竖直轴线上向下看时，护目镜装置100可断电。
右镜腿110B包括镜腿主体211和镜腿帽，在图1B的横截面中省略了镜腿帽。不同互连电路板(例如PCB或柔性PCB)设置在右镜腿110B的内部，其包含用于右可见光相机114B的控制器电路、麦克风130、扬声器132、低功率无线电路(例如，用于经由BluetoothTM的无线短程网络通信)、高速无线电路(例如，用于经由WiFi的无线局域网通信)。
右可见光相机114B联接至柔性PCB240或设置在柔性PCB240上并由可见光相机盖透镜覆盖，该可见光相机盖透镜通过形成在右镜腿110B中的开口瞄准。在一些示例中，连接至右镜腿110B的镜架105包括用于可见光相机盖镜片的开口(多个开口)。镜架105包括面向前的侧，该面向前的侧被配置为面向外远离用户的眼睛。用于可见光照相机盖透镜的开口形成在正面上并穿过该面向前的侧。在该示例中，右可见光相机114B具有与护目镜装置100的用户的右眼的视线或视角的面向外的覆盖角111B。可见光照相机盖透镜还可粘附至右镜腿110B的面向外的表面，其中，开口以面向外的覆盖角形成，但是在不同的向外方向上。该联接还可以是经由中间部件间接的。
左(第一)可见光相机114A连接至左光学组件180A的左透视图像显示器180C以生成第一连续显示图像的第一背景场景。右(第二)可见光相机114B连接至右光学组件180B的右透视图像显示器180D以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景部分重叠以呈现连续显示图像的三维可观察区域。
柔性PCB 140设置在右镜腿110B内部，并且联接至容纳在右镜腿110B中的一个或更多个其他部件。尽管展示为形成于右镜腿110B的电路板上，但右可见光相机114B可形成于左镜腿110A、镜腿125A-B或镜架105的电路板上。
图2A是护目镜装置100的示例硬件配置的后视图，该护目镜装置100包括镜架105上的眼睛扫描器213，以用于系统中，该系统用于确定护目镜装置100的佩戴者/用户的眼睛位置和注视方向。如图2A所示，护目镜装置100被配置为用于由用户佩戴的形式，在图2A的示例中是眼镜。护目镜装置100可采用其他形式并且可以结合其他类型的镜架，例如，头帽、头戴耳机、或头盔。
在护目镜示例中，护目镜装置100包括镜架105，镜架105包括经由适配于用户鼻子的鼻梁架106连接至右边框107B的左边框107A。左边框107A和右边框107B包括保持相应光学元件180A-B(诸如透镜和透视显示器180C-D)的相应孔175A-B。如本文所使用，术语透镜旨在覆盖具有弯曲和平坦表面的玻璃或塑料的透明或半透明片，该弯曲和平坦表面引起光会聚/发散或引起很少或不引起会聚/发散。
尽管被示出为具有两个光学元件180A-B，但护目镜装置100可包括其他布置，诸如取决于护目镜装置100的应用或预期用户的单个光学元件。如进一步所示的，护目镜装置100包括邻近镜架105的左外侧170A的左镜腿110A及邻近镜架105的右外侧170B的右镜腿110B。镜腿110A-B可集成在相应侧170A-B上的镜架105中(如图所示)或实现为附接至相应侧170A-B上的镜架105的单独部件。可替代地，镜腿110A-B可被集成到附接至镜架105的镜腿(未示出)中。
在图2A的示例中，眼睛扫描器213包括红外发射器115和红外相机120。可见光相机通常包括蓝光滤波器以阻挡红外光检测，在示例中，红外相机120是可见光相机，诸如低分辨率视频图形阵列(VGA)相机(例如，640X480像素总共30万像素)，其中移除了蓝滤波器。红外发射器115和红外相机120在镜架105上共置，例如，两者被示出为连接只左边框107A的上部。镜架105或左镜腿110A和右镜腿110B中的一个或更多个包括电路板(未示出)，该电路板包括红外发射器115和红外相机120。红外发射器115和红外相机120可通过例如焊接连接至电路板。
可实现红外发射器115和红外相机120的其他布置，包括其中红外发射器115和红外相机120都在右边框107B上或者在镜架105上的不同位置中的布置，例如，红外发射器115在左边框107A上并且红外相机120在右边框107B上。在另一示例中，红外发射器115在镜架105上并且红外相机120在镜腿110A-B中的一个镜腿上，或反之亦然。红外发射器115可基本上连接在镜架105、左镜腿110A或右镜腿110B上的任何位置以发射红外光的图案。类似地，红外相机120可基本上连接在镜架105、左镜腿110A或右镜腿110B上的任何位置以拍摄红外光的发射模式中的至少一个反射变化。
红外发射器115和红外相机120被布置成通过眼镜的部分或全部视野向内朝向用户的眼镜，以便标识相应的眼镜位置和注视方向。例如，红外发射器115和红外相机120直接定位在眼镜的前方、镜架105的上部或镜架105的任一端的镜腿110A-B。
图2B是另一护目镜装置200的示例硬件配置的后视图。在这个示例配置中，护目镜装置200被描绘为包括在右镜腿210B上的眼睛扫描器213。如图所示，红外发射器215和红外相机220共同位于右镜腿210B上。应当理解的是，眼镜扫描器213或眼镜扫描器213的一个或更多个部件可位于左镜腿210A上和护目镜装置200的其他位置(例如，镜架105)上。红外发射器215和红外相机220与图2A的红外发射器和红外相机类似，但是眼镜扫描器213可变化以对不同光波长敏感，如之前在图2A中所描述的。
类似于图2A，护目镜装置200包括：镜架105，该镜架105包括经由鼻梁架106连接至右边框107B的左边框107A；并且左边框107A和右边框107B包括保持包括透视显示器180C-D的相应光学元件180A-B的相应孔。
图2C-D是护目镜装置100的示例硬件配置的后视图，包括两种不同类型的透视图像显示器180C-D。在一个示例中，光学组件180A-B的这些透视图像显示器180C-D包括集成的图像显示器。如图2C所示，光学组件180A-B包括任何合适类型的合适的显示矩阵180C-D，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器、或任何其他此类显示器。光学组件180A-B还包括一个或更多个光学层176，其可包括透镜、光学涂层、棱镜、反射镜、波导、光学带、以及任何组合的其他光学部件。光学层176A-N可包括具有适当尺寸和配置并包括用于从显示矩阵接收光的第一表面和用于向用户的护目镜发射光的第二表面的棱镜。光学层176A-N的棱镜在左边框107A和右边框107B中形成的相应孔175A-B的全部或至少部分上延伸，以在用户的眼睛正在通过对应的左边框107A和右边框107B观看时允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从镜架105面向上，并且显示矩阵置于棱镜上面，使得由显示矩阵发射的光子和光束撞击第一表面。棱镜的大小和形状被确定成使得光在棱镜内被折射，并且被光学层176A-N的棱镜的第二表面引导朝向用户的眼睛。在此方面，光学层176A-N的棱镜的第二表面可以是凸的以便将光引向护目镜的中心。棱镜可以可选地被设定大小和形状以放大由透视图像显示器180C-D投射的图像，并且光行进通过棱镜，使得从第二表面观看的图像在一个或更多个维度上大于由透视图像显示器180C-D发射的图像。
在另一示例中，光学组件180A-B的透视图像显示器180C-D包括如图2D中所示的投影图像显示器。光学组件180A-B包括激光投影仪150，其是使用扫描镜或电流计的三色激光投影仪。在操作过程中，光源(如激光投影仪150)被设置在护目镜装置100的镜腿125A-B之一之中或之上。光学组件180A-180B包括跨光学组件180A-180B的镜片的宽度或跨镜片的前表面与后表面之间的深度间隔开的一个或更多个光学带155A-155N。
当由激光投影仪150投影的光子行进穿过光学组件180A-B的透镜时，光子遭遇光学带155A-N。当特定光子遭遇特定光学带时，该光子要么被重定向朝向用户的眼睛，要么其被传递到下一光学带。激光投影仪150的调制与光学带的调制的组合可控制特定的光子或光束。在示例中，处理器通过发起机械、声学或电磁信号来控制光学带155A-N。尽管被示出为具有两个光学组件180A-B，但是护目镜装置100可包括其他布置，诸如单个或三个光学组件，或者光学组件180A-B可已经根据护目镜装置100的应用或预期用户布置不同的布置。
如图2C至图2D中进一步所示，护目镜装置100包括邻近镜架105的左外侧170A的左镜腿110A和邻近镜架105的右外侧170B的右镜腿110B。镜腿110A-B可集成在相应外侧170A-B上的镜架105中(如图所示)或实现为附接至相应侧170A-B上的镜架105的单独部件。可替代地，镜腿110A-B可被集成到镜腿125A-B中，镜腿125A-B附接至镜架105。
在一个示例中，透视图像显示器包括第一透视图像显示器180C和第二透视图像显示器180D。护目镜装置100包括第一孔175A和第二孔175B，第一孔175A和第二孔175B保持相应的第一光学组件180A和第二光学组件180B。第一光学组件180A包括第一透视图像显示器180C(例如，图2C的显示矩阵或光学带155A-N’和投影仪150A)。第二光学组件180B包括第二透视图像显示器180D(例如，图2C的显示矩阵或光学带155A-N”和投影仪150B)。连续显示图像的连续视野包括水平、竖直或对角测量的约15°至30°之间的视角，并且更具体地为24°。具有连续视野的连续显示图像表示通过将在第一和第二图像显示器上呈现的两个显示图像拼接在一起而可见的组合的三维可观察区域。
如本文所使用的，“视角”描述与在光学组件180A-B的左图像显示器180C和右图像显示器180D中的每个上呈现的显示的图像相关联的视野的角度范围。“覆盖角”描述可见光相机114A-B或红外相机220的镜头可成像的角度范围。通常，由透镜产生的图像圆足够大以完全覆盖薄膜或传感器，可能包括一些渐晕(即，与图像中心相比，图像的亮度或饱和度朝外围减小)。如果透镜的覆盖角未填充传感器，则图像圆将是可见的，通常具有朝向边框的强渐晕，并且有效视角将限于覆盖角。“视野”旨在描述可观察区域的场域，护目镜装置100的用户可经由呈现在光学组件180A-B的左图像显示器180C和右图像显示器180D上的所显示图像透过他或她的眼睛看到该可观察区域的场域。光学组件180A-B的图像显示器180C可具有覆盖角在15°至30°之间(例如，24°)的视野，并且具有480×480像素的分辨率。
图3示出了图2A的护目镜装置的后立体图。护目镜装置100包括红外发射器215、红外相机220、镜架前部330、镜架后部335和电路板340。在图3中可以看出，护目镜装置100的镜架的左边框的上部包括镜架前部330和镜架后部335。用于红外发射器215的开口形成在镜架背面335上。
如在镜架的左边框的中间上部中的环绕截面4中所示，电路板(其为柔性PCB340)夹在镜架前部330与镜架后部335之间。还更详细地示出了左镜腿110A经由左铰链126A附接至左镜腿325A。在一些示例中，眼睛运动追踪器213的部件(包括红外发射器215、柔性PCB340、或其他电连接器或触点)可位于左镜腿325A或左铰链126A上。
图4是穿过与图3的护目镜装置的环绕截面4相对应的红外发射器215和镜架的截面视图。在图4的横截面中示出了护目镜装置100的多个层，如所示出的，镜架包括镜架前部330和镜架后部335。柔性PCB 340设置在镜架前部330上并连接至镜架后部335。红外发射器215设置在柔性PCB 340上并由红外发射器覆盖透镜445覆盖。例如，红外发射器215回流到柔性PCB340的背面。通过使柔性PCB 340经受熔化焊料膏的受控热量以连接两个部件，回流将红外发射器215附接至形成在柔性PCB 340的背面上的接触焊盘。在一个示例中，回流用于将红外发射器215表面安装在柔性PCB340上并电连接两个部件。然而，应当理解的是，通孔可用于例如经由互连将来自红外发射器215的引线连接至柔性PCB 340。
镜架背面335包括用于红外发射器覆盖透镜445的红外发射器开口450。红外发射器开口450形成在镜架背面335的面向后侧上，该镜架背面335被配置为向内朝向用户的眼睛。在该示例中，柔性PCB 340可经由柔性PCB粘合剂460连接至镜架前部330。红外发射器盖透镜445可经由红外发射器盖透镜粘合剂455连接至镜架背面335。该联接还可以是经由中间部件间接进行的。
在示例中，处理器932利用眼睛追踪器213来确定如图5中所示的佩戴者眼睛234的眼睛注视方向230，以及如图6中所示的人眼窗口内的佩戴者眼睛234的眼睛位置236。眼睛追踪器213是使用红外光照明(例如，近红外、短波长红外、中波长红外、长波长红外、或远红外)来拍摄来自眼睛234的红外光的反射变化的图像以确定眼睛234的瞳孔232的注视方向230、以及相对于透视显示器180D的眼睛位置236的扫描仪。
图7描绘了用相机拍摄可见光的示例。可见光由左可见光相机114A拍摄，其中左可见光相机视野111A作为左原始图像758A。可见光由右可见光相机114B拍摄，其中右可见光相机视野111B作为右原始图像758B。基于对左原始图像758A和右原始图像758B的处理，处理器932生成三维场景的三维深度图715，下文称为图像。
全局快门相机对整个图像采用单个曝光-然后-读出步骤。然而，滚动快门(RS)相机具有在不同时间顺序地拍摄图像行的多步机制。
参考图8A，通常，左RS可见光相机114A和右RS可见光相机114B被同步，使得相机的光轴线平行并且相机传感器共面。这种同步配置的原因是尽可能接近整流立体声，使得不需要整流。该配置被称为RS立体声。单个RS立体图像不允许估测相机联接至的护目镜装置100/200(也称为装备)的速度v0或重力方向g0。
图8B示出了第一线性求解器，其为线性数学方程组，示出了不能使用同步RS相机来确定护目镜100/200在运动中的速度v0和重力方向g0。图8C示出了第二线性求解器，其也是线性数学方程，还示出了不能使用同步RS相机确定速度v0和重力方向g0。
图8B和图8C的两个线性解决方案具有形式Ax＝b。矩阵A代表矩形矩阵，b代表列向量，其元素根据由IMU 800生成的已知惯性测量单元(IMU)读数设置(图9)，以及在立体图像758A与758B之间的相应场景点X(图8D、图8E与图8F)的2d图像坐标。除了其他元素之外，未知向量x包含护目镜装置100/200的速度v0。对整个向量X进行估测。估测初始速度v0是能够在视觉惯性测程法(VIO，Visual-Inertial Odometry)系统中进一步使用IMU读数的前提。然而，在任何帧处的速度v0的(先前)知识有利于许多其他使用情况。作为独立知识，速度v0的大小指示护目镜装置100/200是否运动。应当注意的是，在线速度下，IMU 800输出零加速度并且不可能单独与IMU 800区分一个是静态的还是运动的。
例如，在摩天楼的电梯中的人在其初始加速阶段之后并不感知电梯的运动，尽管之后运动非常快。这是因为人类内耳功能的前庭系统充当IMU。在电梯中没有窗口，因此在没有视觉意义的情况下，人们不能区分人们是以恒定速度运动还是静态的。
通过相机的视觉信息是帮助估测速度的提示。以异步方式布置RS相机114A和114B允许仅从一个立体图像对758A和758B区分/估测运动，并且降低处理更多立体图像的要求。具体地，是对应立体图像场景点X(视觉匹配)之间的TimeL和TimeR(图10)之间的时间差，提供非零时间间隔来积分惯性数据，而积分惯性数据连同视觉匹配的图像坐标随后被图8B和图8C的线性求解器使用。当该时间差消失时(标准立体相机)，没有来自惯性数据的贡献。线性求解器是示例，因为相同的信息(集成惯性数据和视觉失配)可类似地使用非线性求解器/优化器。
参考图8D、图8E和图8F，在本公开的示例中，通过异步或不对准相机114A和114B使得时间ti不等于时间tj，在几何水平上利用RS特征。该时间ti和时间tj在图10中称为TimeL和TimeR。图8D示出了与左相机图像758A相比旋转的右相机图像758B，图8E示出了在时间上移位的右相机图像758B，并且图8F示出了在空间上移位的右相机图像758B。图8D、图8E和图8F示出了一个相机图像，其具有相对于另一相机图像的特征，即，旋转、时间移位或空间移位。使照相机异步或不对准的本公开与图8A中示出的一般的立体处理相反。这使得当护目镜装置100/200运动时可观察到护目镜装置100/200以及相机速度v0和重力方向g0。使用图8B和图8C的线性求解器方程从每个相机114A和114B的立体帧计算包括初始速度v0和重力方向g0的状态，并且提供稳定的视觉-惯性三角测量，诸如用于视觉-惯性里程(VIO)和用于视觉-惯性同时定位和绘图(vi-SLAM)。状态不限于这两个参数，因为可包括其他参数，诸如加速度偏差、陀螺仪偏差或两者。通过参考图10更详细描述的处理器932处理相机异步算法945。
相机114A和114B的运动和异步使得任何成像的3D场景点X被分别投影在左和右相机图像758A和758B中，如图像中的不同行所示，即在不同的时刻。在该示例中，相同的3D场景点在左相机图像758A中被示出为XL并且在右相机图像758B中被示出为XR。这允许处理器932在这两个时间示例时间ti与时间tj之间整合来自内部测量单元IMU 800(图9)的IMU样本并且生成图8B和图8C中示出的矩阵A，该矩阵A被足够约束以能够估测护目镜装置100/200当前在其下运动的速度v0和重力g0。在估测过程中不需要添加进一步的立体图像。
图9描绘了包括设置在护目镜装置100/200中的示例性电子部件的上位功能框图。图示的电子部件包括处理器932，其执行相机异步算法945，如将参考图10描述的。
存储器934包括用于由处理器932执行以实现护目镜装置100/200的功能的指令，上述指令包括用于处理器932执行图像校正算法945的指令。处理器932从电池950接收电力，并执行存储在存储器934中或者与处理器932集成在芯片上的指令，以执行护目镜装置100/200的功能，并且经由无线连接件与外部装置通信。
用户界面调整系统900包括护目镜装置。用户界面调整系统900还包括经由不同网络连接的移动装置990和服务器系统998。移动装置990可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接件925和高速无线连接件937两者与护目镜装置100/200连接的任何其他此类装置。移动装置990连接至服务器系统998和网络995。网络995可包括有线连接件和无线连接件的任何组合。
护目镜装置100/200包括至少两个可见光相机114A-114B(一个可见光相机与左侧170A相关联并且一个可见光相机与右侧170B相关联)。护目镜装置100/200还包括光学组件180A-B的两个透视图像显示器180C-D(一个与左侧170A相关联并且一个与右侧170B相关联)。在本公开中，图像显示器180C-D是可选的。护目镜装置100/200还包含图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。图9所示的用于护目镜装置100/200的部件位于镜腿中的一个或更多个电路板(例如PCB或柔性PCB)上。可替代地或另外地，所描绘的部件可位于护目镜装置100/200的镜腿、镜架、铰链、或鼻梁架中。左和右可见光相机114A-114B可包括数字相机元件，如互补金属氧化物半导体(CMOS)图像传感器、电荷联接器件、透镜、或可用于拍摄数据(包括具有未知对象的场景的图像)的任何其他相应的可见或光拍摄元件。
眼睛运动追踪程序实现用户界面视野调整指令，包括用于致使护目镜装置100/200经由眼睛运动追踪器213追踪护目镜装置100/200的用户的眼睛的眼睛运动。其他实现的指令(功能)致使护目镜装置100/200基于对应于连续眼睛方向的所检测到的用户的眼睛运动来确定对初始显示图像的初始视野的视野调整。进一步实施的指令基于该视野调整生成该一系列显示图像的连续显示图像。连续显示的图像经由用户界面被产生作为对用户的可见输出。该可见输出出现在光学组件180A-B的透视图像显示器180C-D上，该透视图像显示器被图像显示驱动器942驱动以呈现该一系列显示图像，包括具有初始视野的初始显示的图像和具有连续视野的连续显示的图像。
如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中，图像显示驱动器942联接至高速电路930并且由高速处理器932操作以便驱动光学组件180A-B的左图像显示器180C和右图像显示器180D。高速处理器932可以是能够管理护目镜装置100/200所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括用于管理使用高速无线电路936在高速无线连接件937上到无线局域网(WLAN)的高速数据传输所需的处理资源。在特定示例中，高速处理器932执行操作系统，诸如LINUX操作系统或护目镜装置100/200的其他此类操作系统，并且该操作系统被存储在存储器934中以供执行。除了任何其他职责之外，执行护目镜装置100/200的软件架构的高速处理器932用于管理利用高速无线电路936的数据传输。在特定示例中，高速无线电路936被配置为用于实现电气和电子工程师协会(IEEE)802.11通信标准，在此也被称为Wi-Fi。在其他示例中，其他高速通信标准可由高速无线电路936实现。
护目镜装置100/200的低功率无线电路924和高速无线电路936可包括短程收发器(BluetoothTM)和无线广域、局域网或广域网收发器(例如，蜂窝或WiFi)。移动装置990(包括经由低功率无线连接件925和高速无线连接件937进行通信的收发器)可使用护目镜装置100/200的架构的细节来实现，网络995的其他元件也是如此。
存储器934包括能够存储不同数据和应用的任何存储装置，除其他事项之外，包括色图、由左和右可见光相机114A-B和图像处理器912生成的相机数据、以及由图像显示驱动器942在光学组件180A-B的透视图像显示器180C-D上显示而生成的图像。虽然存储器934被示出为与高速电路930集成，但是在其他示例中，存储器934可以是护目镜装置100/200的独立脱机元件。在特定这种示例中，电气路由线路可提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其他示例中，高速处理器932可管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读或写操作的任何时间引导高速处理器932。
服务器系统998可以是作为服务或网络计算系统的一部分的一个或更多个计算装置，例如包括处理器、存储器和网络通信接口以通过网络995与移动装置990和护目镜装置100/200通信。护目镜装置100与主计算机连接。例如，护目镜装置100/200经由高速无线连接件937与移动装置990配对，或经由网络995(诸如经由高速无线连接件937)连接至服务器系统998。
护目镜装置100/200的输出部件包括视觉部件，如在图2C至图2D中描述的光学组件180A至180B的左图像显示器180C和右图像显示器180D(例如，显示器，如液晶显示器(LCD，liquid crystal display)、等离子显示面板(PDP，plasma displaypanel)、发光二极管(LED，light emitting diode)显示器、投影仪或波导)。光学组件180A-B的图像显示器180C-D由图像显示驱动器942驱动。护目镜装置100/200的输出部件还包括声学部件(例如，扬声器)、触觉部件(例如，振动马达)、其他信号发生器等。护目镜装置100/200、移动装置990和服务器系统998的输入部件可包括字母数字输入部件(例如，键盘、被配置成用于接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其他触觉输入部件)、包括麦克风938的音频输入部件。麦克风938拍摄靠近护目镜装置100/200的音频，所述音频可被流式传输到远程操作者的移动装置990。麦克风938在示例中可为定向的以对应于所观看的图像。
护目镜装置100/200可以可选地包括额外的外围装置元件919。此类外围装置元件可包括生物测定传感器、额外的传感器或与护目镜装置100/200集成的显示元件。例如，外围装置元件919可包括任何I/O部件，包括输出部件、移动部件、位置部件、或在此描述的任何其他此类元件。
例如，用户界面视野调整900的生物测定部件包括用于检测表情(例如，手表情、面部表情、声音表情、身体姿势、或眼睛追踪)、测量生物信号(例如，血压、心率、体温、出汗、或脑电波)、标识人(例如，语音识别、视网膜标识、面部标识、指纹标识、或基于脑电图的标识)等的部件。移动部件包括内部测量单元(IMU)800、加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。位置部件包括用以生成位置坐标的位置传感器部件(例如，全球定位系统(GPS)接收器部件)、用以生产定位系统坐标的WiFi或BluetoothTM收发器、高度传感器部件(例如，检测可从中导出高度的空气压力的高度计或气压计)、定向传感器部件(例如，磁力计)和类似物。这样的定位系统坐标也可通过无线连接件925和937经由低功率无线电路924或高速无线电路936从移动装置990接收。
根据某些示例，“应用(application)”或“应用(applications)”是执行在程序中定义的功能的程序。可采用不同编程语言来创建以各种方式结构化的应用中的一个或更多个，诸如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在具体示例中，第三方应用(例如，由不同于特定平台的供应商的实体使用ANDROIDTM或IOSTM软件开发包(SDK，software development kit)开发的应用)可以是在移动操作系统(诸如IOSTM、ANDROIDTM、
Figure BDA0004126793150000161
Phone)或另一移动操作系统上运行的运动软件。在该示例中，第三方应用可调用由操作系统提供的API调用以便利于本文描述的功能。
图10示出了由处理器932执行的用于确定护目镜的速度和重力方向的相机异步算法945的流程图1000。
在框1002处，处理器932分别接收并处理来自相机114A和114B的异步的相机图像758A和758B，如图8D、图8E和图8F所示。在左和右照相机图像758A和758B中分别投影成像的3D场景点X，如图像中的不同像素行所示，即，在图8E中场景点X在时间上移位，并且在图8F中场景点X在空间上移位。在该示例中，3D场景点在左相机图像758A中被示出为点XL并且在右相机图像758B中被示出为点XR。由于相机图像758A和758B的异步，当护目镜装置100/200和相机运动时，时间TimeL和TimeR将不相等。
在框1004处，处理器932在这两个时间示例之间对来自IMU 800的IMU样本进行积分并且生成图8B和图8C中所示的矩阵A。IMU样本被限制，从而允许处理器932估测护目镜装置100/200当前在其下移动的速度v0和重力方向g0。
在框1006处，处理器932使用图8B和图8C的线性求解器方程中的任一者或两者，并且仅使用来自每个相机的一个图像来估测护目镜装置100/200当前在其下移动的初始速度v0和重力g0。在估测过程中不需要添加进一步的立体图像。处理器932的处理是直接的并且因此不是非常复杂的，因此节省了处理资源并且快速地计算护目镜100/200速度和重力方向。
应当理解的是，本文所使用的术语和表达具有普通含义，如对于它们相应的相应查询和研究领域的这些术语和表达所赋予的，除非本文另外阐述具体含义。诸如第一和第二等之类的关系术语可仅用来将一个实体或动作与另一实体或动作区分开来，而不必要求或暗示这些实体或动作之间的任何实际此类关系或次序。术语“包含(comprises)”、“包含(comprising)”、“包括(includes)”、“包括(including)”或其任何其他变型旨在覆盖非排他性的包括，使得包含或包括一系列元件或步骤的过程、方法、物品或装置不仅仅包括那些元件或步骤，而且还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他元件或步骤。在没有进一步限制的情况下，前面有“一个”或“一种”的元件不排除在包括该元件的过程、方法、物品或装置中存在另外的相同元件。
除非另外说明，否则在本说明书(包括在以下权利要求书中)中阐述的任何和所有测量、值、评级、位置、幅值、大小、以及其他规范都是近似的、不精确的。这样的量旨在具有与它们涉及的功能以及与它们所属领域常规的相一致的合理范围。例如，除非另有明确说明，参数值等可与所述量偏差多达±10％。
此外，在以上具体实施方式中，可以看出，出于精简本公开的目的，各个特征在各个示例中被组合在一起。本公开的该方法不应被解释为反映所要求保护的示例需要比在每个权利要求中明确陈述的特征更多的特征的意图。相反，如以下权利要求反映的，要保护的主题位于比任何单个公开的示例的所有特征少的特征中。因此，以下权利要求由此并入详细说明中，其中每个权利要求独立地作为单独要求保护的主题。
虽然前述内容已描述了所认为的最佳模式和其他示例，但应理解，可在其中进行不同修改，且本文所公开的主题可在不同形式和示例中实现，并且它们可应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念的真实保护范围内的任何和所有修改和变化。

Claims (20)

1.护目镜，包括：
镜架；
一对相机，所述一对相机各自联接至所述镜架，并且被配置为拍摄相应的第一相机图像和第二相机图像，其中所述相机是异步的；以及
电子处理器，所述电子处理器被配置为：
从所述异步相机接收所述第一图像和所述第二图像；
基于所述第一图像相对于所述第二图像的特征，处理所述第一图像和所述第二图像；以及
计算作为所述特征的函数的所述护目镜的速度。
2.根据权利要求1所述的护目镜，其中，所述电子处理器还计算所述护目镜的重力。
3.根据权利要求1所述的护目镜，其中，所述特征从下述中选择：所述第一图像相对于所述第二图像旋转，所述第一图像在时间上相对于所述第二图像移位，以及所述第一图像在空间上相对于所述第二图像移位。
4.根据权利要求1所述的护目镜，其中，所述处理器被配置为使用线性方程来计算所述护目镜的速度。
5.根据权利要求1所述的护目镜，其中，所述相机包括滚动快门相机，并且所述第一图像和所述第二图像包括共同场景点。
6.根据权利要求5所述的护目镜，其中，所述处理器被配置为处理使所述场景点成像的所述一对相机之间的时间差。
7.根据权利要求1所述的护目镜，其中，所述护目镜包括惯性测量单元(IMU)，所述惯性测量单元(IMU)被配置为生成IMU读数，其中，所述处理器被配置为处理所述IMU读数以确定所述速度。
8.一种护目镜的使用方法，所述护目镜具有镜架；一对相机，所述一对相机各自联接至所述镜架，并且被配置为拍摄相应的第一相机图像和第二相机图像，其中，所述一对相机是异步的；以及电子处理器：
从所述异步相机接收所述第一图像和所述第二图像；
基于所述第一图像相对于所述第二图像的特征，处理所述第一图像和所述第二图像；以及
计算作为所述特征的函数的所述护目镜的速度。
9.根据权利要求8所述的方法，其中，所述电子处理器计算所述护目镜的重力。
10.根据权利要求8所述的方法，其中，所述特征从下述中选择：所述第一图像相对于所述第二图像旋转，所述第一图像在时间上相对于所述第二图像移位，以及所述第一图像在空间上相对于所述第二图像移位。
11.根据权利要求8所述的方法，其中，所述相机包括滚动快门相机，并且处理器使用线性方程来计算所述护目镜的速度。
12.根据权利要求8所述的方法，其中，所述第一图像和所述第二图像包括共同场景点。
13.根据权利要求12所述的方法，其中，所述处理器处理使所述场景点成像的所述一对相机之间的时间差。
14.根据权利要求8所述的方法，其中，所述护目镜包括惯性测量单元(IMU)，所述惯性测量单元(IMU)被配置为生成IMU读数，其中，所述处理器处理所述IMU读数以确定所述速度。
15.一种存储程序代码的非暂时性计算机可读介质，所述程序代码在被执行时，所述程序代码是可操作的，以使护目镜的处理器具有镜架和一对异步相机，所述异步相机各自联接至所述镜架，并且被配置为拍摄相应的第一相机图像和第二相机图像，以执行以下步骤；
从所述异步相机接收所述第一图像和所述第二图像；
基于所述第一图像相对于所述第二图像的特征，处理所述第一图像和所述第二图像；以及
计算作为所述特征的函数的所述护目镜的速度。
16.根据权利要求15所述的非暂时性计算机可读介质，还包括用于计算所述护目镜的重力的代码。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述特征从下述中选择：所述第一图像相对于所述第二图像旋转，所述第一图像在时间上相对于所述第二图像移位，以及所述第一图像在空间上相对于所述第二图像移位。
18.根据权利要求15所述的非暂时性计算机可读介质，还包括使用线性方程计算所述护目镜的速度的代码。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述第一图像和所述第二图像包括共同物体点或场景点。
20.根据权利要求19所述的非暂时性计算机可读介质，还包括在对所述物体点或所述场景点成像的所述一对相机之间的时间差进行处理的代码。
CN202180063309.3A 2020-09-15 2021-08-26 具有异步滚动快门相机的护目镜 Pending CN116249873A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/021,023 2020-09-15
US17/021,023 US11726327B2 (en) 2020-09-15 2020-09-15 Eyewear having unsynchronized rolling shutter cameras
PCT/US2021/047717 WO2022060551A1 (en) 2020-09-15 2021-08-26 Eyewear having unsynchronized rolling shutter cameras

Publications (1)

Publication Number Publication Date
CN116249873A true CN116249873A (zh) 2023-06-09

Family

ID=78078332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063309.3A Pending CN116249873A (zh) 2020-09-15 2021-08-26 具有异步滚动快门相机的护目镜

Country Status (5)

Country Link
US (2) US11726327B2 (zh)
EP (1) EP4214564A1 (zh)
KR (1) KR20230066454A (zh)
CN (1) CN116249873A (zh)
WO (1) WO2022060551A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160980B2 (en) * 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
KR20200135352A (ko) 2018-03-29 2020-12-02 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US11272170B2 (en) * 2019-08-26 2022-03-08 Alexander Shau Ergonomic protective eyewear
US11290708B2 (en) 2019-02-19 2022-03-29 Edgy Bees Ltd. Estimating real-time delay of a video data stream
US10832418B1 (en) * 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
US11010921B2 (en) * 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras

Also Published As

Publication number Publication date
US11726327B2 (en) 2023-08-15
US20220082827A1 (en) 2022-03-17
EP4214564A1 (en) 2023-07-26
WO2022060551A1 (en) 2022-03-24
US20230359038A1 (en) 2023-11-09
KR20230066454A (ko) 2023-05-15

Similar Documents

Publication Publication Date Title
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US11899283B2 (en) Antenna implementation embedded in optical waveguide module
US11917120B2 (en) Eyewear with strain gauge estimation
US11215846B1 (en) Wearable proximity sensing array for the visually impaired
US20230359038A1 (en) Eyewear having unsynchronized rolling shutter cameras
US11774764B2 (en) Digital glasses having display vision enhancement
US11619819B2 (en) Eyewear display for generating an immersive image
US20240110807A1 (en) Navigation assistance for the visually impaired
KR20230119003A (ko) 푸시-풀 렌즈 세트를 포함하는 아이웨어
US11933977B2 (en) Eyewear eye-tracking using optical waveguide
US20230032559A1 (en) Eyewear frame as charging contact
CN117083541A (zh) 带有场透镜的投影仪
US11860371B1 (en) Eyewear with eye-tracking reflective element
CN117355786A (zh) 护目镜表面温度评估
CN118176471A (zh) 允许无线系统接口的电流消耗优化的护目镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination