CN110243310B - 用于使用多边形物体生成光图案的方法和系统 - Google Patents

用于使用多边形物体生成光图案的方法和系统 Download PDF

Info

Publication number
CN110243310B
CN110243310B CN201910628169.4A CN201910628169A CN110243310B CN 110243310 B CN110243310 B CN 110243310B CN 201910628169 A CN201910628169 A CN 201910628169A CN 110243310 B CN110243310 B CN 110243310B
Authority
CN
China
Prior art keywords
light
pattern
scene
faces
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910628169.4A
Other languages
English (en)
Other versions
CN110243310A (zh
Inventor
盖伊·拉茨
亚伊尔·阿尔珀恩
纳达夫·格罗辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN110243310A publication Critical patent/CN110243310A/zh
Application granted granted Critical
Publication of CN110243310B publication Critical patent/CN110243310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/12Scanning systems using multifaceted mirrors
    • G02B26/123Multibeam scanners, e.g. using multiple light sources or beam splitters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/12Scanning systems using multifaceted mirrors
    • G02B26/127Adaptive control of the scanning light beam, e.g. using the feedback from one or more detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1814Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1842Gratings for image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1086Beam splitting or combining systems operating by diffraction only
    • G02B27/1093Beam splitting or combining systems operating by diffraction only for use with monochromatic radiation only, e.g. devices for splitting a single laser source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

本文提供了用于使用多边形物体生成光图案的方法和系统。该方法可以包括:使至少一个具有多个反射面的多边形物体沿平行于面的旋转轴线旋转;将光束传输到多边形物体的面上;将光束相对于与旋转轴线平行的多边形物体倾斜,使得光束以不同的倾斜角度撞击每个面,从而产生包括多个线的光图案;以及控制光强度、旋转和倾斜中的至少一者,以便产生在场景处传输的可调节的光图案。

Description

用于使用多边形物体生成光图案的方法和系统
本申请是申请日为2016年5月2日,申请号为201680042525.9,发明名称为“用于使用多边形物体生成光图案的方法和系统”的申请的分案申请。
技术领域
本发明总体上涉及结构光,并且更具体地涉及使用多边形物体生成光图案。
背景技术
在阐述本发明的背景之前,阐述将在下文中使用的某些术语的定义可能是有帮助的。
本文中使用的术语“结构光”被定义为将光的图案投射到场景的过程。该图案由“发射器”投射,该“发射器”包括产生光束的照明器和将光束转换成图案的光学器件。该图案在照射表面时变形的方式允许视觉系统计算场景及该场景中的对象的深度和表面信息。该图案由所谓的“接收器”捕获并分析,该“接收器”包括传感器(或捕获装置)和用于分析所捕获的反射图案的计算机处理器。
通过典型地使用红外光IR,可以使用不可见的结构光,而不干扰所投射的图案将混淆的其他计算机视觉任务。
本文中使用的术语“深度映射”被定义为包含与场景或场景中的对象的表面与视点相距的距离相关的信息的图像。接收器的计算机处理器使用光图案的现有知识生成深度映射。具体地,对来自场景的反射光的分析基于三角测量过程,其中,基于发射器和传感器的相对位置和定向导出图案的每个点的位置。
使用结构光进行3D感测的一个挑战在于如何克服有助于传感器的噪声等级的环境光。环境光的问题在于,当其处于高等级时,信号环境比变低并且导致性能不佳。作为一个示例,传感器噪声通常与整体照明相关。因此,强烈的环境光将增加系统噪声并降低信噪比。
作为另一个示例,传感器的空间不均匀性通常也与照明等级相关。因此,环境光将增加不均匀性而对信号等级没有贡献。环境光(或背景照明)最终影响系统的每单位功率的范围和视场(FOV)-由图案所覆盖的区域。这是因为必须将结构化光图案保持在高于背景的某个亮度等级。
目前,所有常见的结构光技术都使用凝视相机作为用于接收器的传感器。这样,相机允许所有环境光在与相机的帧时间(捕获单个帧的时间)相关的整个积分时间中进入。在凝视相机系统中,减少进入传感器的环境光的唯一方法是使用较短的曝光时间。然而,这需要以高功率短脉冲操作激光器(照明器),该高功率短脉冲增加了复杂性并降低了激光器可靠性。使用短脉冲也可能由眼睛安全问题限制。
发明内容
根据本发明的一些实施例,本文提供了用于使用沿其纵向轴线进一步旋转的反射多边形物体生成光图案的方法和系统。该方法可以包括:旋转使至少一个具有多个面的多边形物体沿平行于面的旋转轴线;将光束传输到多边形物体的面上;将光束平行于旋转轴线进行分裂,使得每个光束以不同的倾斜角撞击面中的每个,从而产生包括多个线的光图案;控制光强度、旋转速度和倾斜中的至少一者,以便产生在场景处传输的可调节的光图案;当其(例如,非凝视相机)产生时,感测来自场景的图案的反射光;以及通过分析来自传感器的信号产生场景的深度映射。
本发明实施例的这些附加的和/或其他方面和/或优点在下面的详细描述中阐述;可能从详细描述中推断;和/或可通过本发明的实施例的实践来学习。
根据本发明的实施例具体地在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中公开,其中在一个权利要求类别(例如,方法)中提到的任何特征也可以在另一个权利要求类别(例如,系统)中被要求保护。所附权利要求中的依赖关系或参照仅为正式原因而被选择。然而,也可以要求保护从有意参照到任何以前的权利要求(特别是多个从属关系)所得到的任何主题,使得公开并可以要求保护权利要求及其特征的任何组合,而不管在所附权利要求中选择的从属关系。可以要求保护的主题不仅包括在所附权利要求中阐述的特征的组合,而且还包括在权利要求中的特征的任何其他组合,其中权利要求中提及的每个特征可以与任何其他特征或权利要求中的其他特征的组合结合。而且,可以以单独的权利要求和/或以与本文描述或描绘的任何实施例或特征或者与所附权利要求的特征中的任一个的任何组合,来要求保护本文描述或描绘的实施例和特征中的任一个。
在根据本发明的实施例中,系统包括:
至少一个多边形物体,具有多个面和平行于该面的旋转轴线;
光源,被配置成将光束传输到多边形物体的面上;
至少一个驱动器,被配置成使多边形物体沿旋转轴线旋转;以及
控制器,被配置成控制光源和至少一个驱动器中的至少一者,以便产生可调节的光图案。
光束可以包括多个束。
在根据本发明的实施例中,系统可以包括一个或多个衍射光学元件,其中,使用衍射光学元件生成多个束。
衍射光学元件可以是多边形物体面的一部分。
这些面中的至少一个具有不同于其他面的光学特性,使得经由这些面中的所述至少一个产生的图案可以与经由其他面产生的图案在光学上可区分。
这些面中的每个可以具有不同的光学特性。
由控制器对光源的控制可以通过调节光束的强度来执行。
该调节可以基于场景的预定感兴趣区域(ROI)来执行,其中,ROI的光图案展示出与光图案的其他部分不同的光强度。
在根据本发明的实施例中,系统可以包括计算机处理器,该计算机处理器被配置成接收与所传输的光图案和对应的反射光相关的数据,以便产生场景的深度映射。
在根据本发明的实施例中,系统包括传感器,该传感器被配置成感测来自场景并由面传输回的光图案的反射光。
传感器可以是定位成与至少一个多边形物体的旋转轴线平行的线传感器。
多边形物体可以包括:第一多边形物体,其被定位成从光源接收光束;以及第二多边形物体,其具有与第一多边形物体相同的旋转轴线并且还定位成将来自场景的光束的反射光传输到传感器。
在根据本发明的实施例中,系统可以包括定位在传感器与至少一个多边形物体之间的多个光学器件,该光学器件被配置成在光束对准的基本上位于与旋转轴线垂直的相同线上的点处传输来自面的反射光。
在根据本发明的实施例中,方法包括:
使至少一个具有多个面的多边形物体沿平行于面的旋转轴线旋转;
将灌输传输到多边形物体的面上;以及
控制光强度和旋转中的至少一者,以便产生可调节的光图案。
光束可以包括多个束。
可以使用衍射光学元件生成多个束。
衍射光学元件可以是多边形物体面的一部分。
这些面中的至少一个可以具有不同于其他面的光学特性,使得经由这些面中的至少一个产生的图案可以与经由其他面产生的图案在光学上可区分。
这些面中的每个可以具有不同的光学特性。
由控制器对光源的控制可以通过调节光束的强度来执行。
附图说明
为了更好地理解本发明的实施例并示出如何实现本发明,现在将纯粹以示例的方式参考附图,其中相同的数字始终表示对应的元件或部分。
在附图中:
图1A、图1B和图1C是示出了根据本发明实施例的多边形物体和在各种旋转阶段中的从其表面中的一个反射光束的截面图;
图2是示出了根据本发明一些实施例的发射器的几个方面的图;
图3A是示出了根据本发明的一些实施例的多边形物体的不同面和所得图案的图;
图3B是示出了根据本发明一些实施例的多边形物体的面的不同倾斜角以及所得图案的图;
图4A是示出了根据本发明的一些实施例的光束分裂的图;
图4B是示出了根据本发明的其他实施例的光束分裂的图;
图5是示出了包括根据本发明的一些实施例的单个多边形物体和单个传感器的系统配置的图;
图6是示出了包括根据本发明一些实施例的两个多边形物体和单个传感器的系统配置的图;以及
图7是示出了包括根据本发明的一些实施例的单个多边形物体和单个传感器以及沿它们之间的光路定位的光学器件的系统配置的图。
具体实施方式
现在具体参照附图详细说明,要强调的是,所示出的细节仅作为示例,并且仅出于对本技术的优选实施例的说明性讨论的目的,并且呈现在提供被认为是本技术的原理和概念方面的最有用和容易理解的描述的原因中。在这方面,没有试图比本发明技术的基本理解所需要的更详细地示出本技术的结构细节,对于本领域技术人员而言,利用附图进行的描述使得本发明的几种形式可以在实践中体现。
在详细解释本技术的至少一个实施例之前,应当理解,本发明在其应用中不限于以下描述中阐述的或者在附图中说明的部件的结构和布置的细节。本技术可适用于其他实施例或以各种方式实践或执行。另外,应当理解,本文中使用的措辞和术语是为了描述的目的,而不应该被认为是限制性的。
图1A、图1B和图1C示出几个截面示图100A、100B和100C,这些截面示图各自示出相同的多边形物体110在沿其轴线111的各种旋转阶段。
光束102由照明器101(诸如准直激光器)朝向多边形物体110的面102传输,并且基于多边形物体的旋转进度,分别从该面反射成图1A、图1B和图1C所示的成各种角度的反射光束104A、104B和104C。反射光束在场景中的表面上形成相应的光图案。因此,反射光束104A、104B和104C形成图1A、图1B和图1C中分别示出的光图案部分105A、105B和105C。清楚的是,多边形物体110的连续旋转生成图1A中的束104A的线图案,图1B中的束104B的线图案,以及图1C中的束104C的线图案。应该注意的是,本文中仅通过非限制性示例方式示出的多边形物体是六边形物体。应当理解,本发明的实施例可以使用任何其他种类的多边形物体。
随着多边形物体110旋转,反射光束(即,图1A中的反射光束104A、图1B中的反射光束104B和图1C中的反射光束104C)反复扫描大角度视场。扫描的角度与多边形物体的内角相关,其方程(1)如下:
Ω=360°-2×θ (1)
当反射单一的准直光束时,单一的线被水平地绘制在视场中。该线与多边形物体的每个面被重新绘制。通过以每秒R旋转次数旋转多边形物体的方式,该线将以每秒R*n次被重复地绘制,其中n是多边形物体中的面的数量(对于六边形物体,n=6)。
有利地,本发明的实施例可以使用标准简单的恒定波(CW)激光器,以用极好的信号背景比产生有效的大视场覆盖范围。图案也将是非常水平均匀的,并且将用简单的光学部件容易地建造。
图2是示出了根据本发明的一个实施例的可调节光图案发射器的图。系统200可以包括具有多个反射面(诸如112、114和116)和平行于这些面的旋转轴线120的多边形物体110。系统200还可以包括光源210,诸如准直IR激光器,该光源被配置成将一个或多个光束142A、142B和142C传输到多边形物体的面上。在一个实施例中,束由耦接到光源210的衍射光学元件(DOE)220分裂成多个束。
系统200还可以包括至少一个驱动器230,该驱动器230被配置成使多边形物体沿旋转轴线旋转。驱动器230可以由控制器240控制,该控制器可以确定多边形物体110的旋转速度以及光源210的光特性(诸如激光强度)。
在操作中,光束142A、142B和142C中的每个被传输到多边形物体的面上,这些面进而将光束反射到场景上并且可能在对象10上,由于多边形物体的扫描性质,光束各自在该对象上分别形成线图案152A、152B和152C。对于多边形物体的每个面,每个线都被重复绘制。因此,多边形物体的面数量以及旋转速度影响由光源210生成的光图案的刷新率。
根据本发明的一些实施例,可以在整个旋转中可能地通过控制器240调制光源210的激光功率,以便在视场上产生可变的水平强度。更具体地,可以在场景的预定感兴趣区域(ROI)上执行调节,其中,ROI的光图案展示出与光图案的其他部分不同的光强度。例如,线152A、152B和152C的部分154A、154B和154C展示出更高强度的激光。例如,如果系统是具有不同背景等级或反射率的监测区域,其中不同的强度可以补偿环境条件,则这是有用的。需要上述特征的系统和方法的示例可以在美国专利公开第US20120194561号中找到,该专利申请以引用方式全部并入本文其全部内容通过引证结合于本文。
图3A是示出了多边形物体(在该示例中,n=3)的不同面312、314和316以及在对象10上所得的图案(即,分别为成组的线152A-152C、162A-152C和172A-152C)的图。根据该实施例,这些面中的一些被设计成具有与其他面不同的光学特性。作为一个示例,交替面可以稍微上下移动水平线图案,由此产生场景的交错覆盖范围。作为另一个示例,交替面可以改变线的强度,由此解码允许线识别的时间唯一码。在某些情况下,每个面均具有其独特的光学特性。因此,从面反射的对应光图案还具有将其联接到相应面的光学特性。这使得不同图案在光学上可区分。这可以用作用于索引或调制图案的手段,如在使用图案的结构光实施例中有时需要的那样。这种专利性的光应用可以用于深度映射,并且更具体地但非专有地涉及使用光学投影到体积的深度映射的方法,并且可以用于例如提供用户骨架模型或用于控制装置的用户界面,或者用于计算机的用户界面,或者用于对虚拟现实系统的用户界面,或者用于身体运动和手势或物体对象运动都将由机器追踪的任何其他事情。
以下是使用图案化的光以获得体积中的深度映射的图案化光的使用的几个示例性实施例,其进而可以用于识别对象(诸如手)和/或对象的运动,并且能够识别姿势或手势。
本实施例将结构光、光图案投射到体积中。检测到的结构是原始结构的失真版本,其包含由于深度引起的移位和其他失真,并且与原始结构或部分图案的简单识别相比,可以用于识别移位或失真并且生成深度映射。也就是说,深度映射可以从下面讨论的最佳相关性获得。
可以使用一系列调整后的特征获得相关性,其中,包括在光图案中的特征可以被个性化以帮助检测到的图案与参考图案之间的相关性。
相关性基于各个特征针对整个结构或图案,或者针对各个特征以及针对部分图案,如将在下文中讨论的。相关性基于从体积检测到的图像,并且允许深度与体积中的对象相关联。
在一个实施例中,可以提供光图案在正交方向上的一个或多个不同变化,以允许用于深度映射的特定光特征的明确识别。这些变化可以是强度变化,并且可以对光特征的每个部分给出独特的标识。替代地,这些变化可以是周期性的但不是同相的,以便为最小的计算资源提供最大的唯一识别。而且,在两个或更多个变化的情况下,可以相互测量两个不同的变化以给出在不同位置处的深度。
在仅作为示例给出的一个实施例中,特征包括一个维度中的条纹。对在第一维度中(例如在Y轴中)的每个条纹应用唯一的或周期性唯一的标识。可以基于每个条纹从基本位置的移位提供深度映射。为了准确地获得移位,每个线必须被独立识别,并且基于唯一标识实现该识别。
要强调的是,条纹的使用仅是可以使用的可能强度特征的一个简单示例。例如,也可以使用不同强度的正方形。
在条纹和强度变化的情况下,检测到的条纹可以是弱的、强的、中等的。该图案可以具有单一的位置,其中弱、强、中等按照给定的顺序重叠,并且在这种情况下获得索引。
一个实施例可以使用两个强度变化。例如基于可以为各个像素设定的可用灰度级,这两个强度变化可以是周期性的,由此显著节约了电子设备和光学器件。只要这两个周期性变化是异相的,就可以提供相对较大的整个周期。
实施例通过进一步计算热点强度和线强度之间的比率,如上所述基于条纹移位补充深度映射计算,如将在下面更详细解释的。
因此,至少两个变化也可以用于提供图案的绝对索引。图案本身可以由平行条纹组成。例如,在一个周期中,这些条纹可以改变它们的基本强度,以在第一方向(诸如与条纹正交的方向)上给出变化。这些条纹本身可以在其纵向方向上携带记号,这些变化不同地布置在不同的条纹上,使得每个条纹或条纹簇可以被识别和索引。在一个实施例中,记号可以具有保持恒定的峰值强度。所有的强度都随着对象与光源和检测器的距离的增加而变暗,并且减小的所检测到的条纹强度可以总是提供深度指示,然而绝对亮度也取决于反射表面,并由此不能被单独依靠。然而,使用条纹基本强度与峰值强度之间的比率可以允许更精确的深度计算,特别是当与分割或三角测量结果结合时。
而且,每个条纹上的不同强度和不同记号分布允许识别各个条纹和条纹的区段,并且由此允许更精确的深度映射。
这些记号可以通过高斯亮度分布构造以易于使用,尽管这不是必需的。
在本实施例中,投射具有一个、两个或更多个与众不同的强度变化的光图案。在整个空间中每个变化都具有独特的强度交替功能。例如,该图案可以由连续条纹组成,其沿条纹具有高斯形状的强度热点。当条纹强度随着在Z方向上移动而线性降低时,由相机在每个热点的峰值处测量的强度保持恒定。通过将热点强度与其周围的条纹强度进行比较,可以提取与将光图案反射回相机的对象相距的距离。
图3B是示出了根据本发明的一些实施例的各自具有倾斜角度的小移位(例如,线之间的角度间隔的1/2或者一些相似的自然因素)的面311、313和315,以及作为投射到对象10上的线组152A-152C、182A-182C和192A-192C的所得图案的图。在该实施例中,面的不同倾斜角度导致用于每帧的图案位移。这可以用于实现超分辨率以及索引目的。
图4A是示出了根据本发明一些实施例的光束分裂的图。准直激光源400将光束410A传输到衍射光学元件(DOE)420A中,该衍射光学元件引起干扰,这导致在从多边形物体的面430A反射之前,激光能量在空间上分裂成多个光束411A-415A。在一些实施例中,当需要光图案的线之间的均匀间距时,DOE 420A可以被设计成使得一旦多边形物体旋转,则多个光束411A-415A导致均匀隔开的线。
图4B是示出了根据本发明的其他实施例的光束分裂的图。准直激光源400将光束410B传输到多边形物体的面430B中,面430展示出衍射光学层,该衍射光学层将光束410B分裂并反射成用于产生光图案的多个光束421B-424B。
图5是示出了根据本发明一些实施例的系统500的图。系统500呈现前述系统200的所有元件,但还包括传感器510,该传感器被配置成感测从场景(例如,对象10)反射并由面传输回的光图案的反射光552A、552B和552C。具体地,传感器510在空间上定位成使得传感器510和光源210在竖直立体基部上形成三角测量对。系统500还可以包括计算机处理器520,该计算机处理器被配置成接收与传输的光图案和对应的反射光相关的数据,以便产生场景的深度映射530。根据本发明的一些实施例,传感器510是与至少一个多边形物体的旋转轴线平行定位的线传感器。线传感器的使用是可能的,这是因为在每个时间点,扫描不同的竖直像素线。
图6是示出了根据本发明的另一实施例的系统600的图。系统600包括前述系统500的所有元件,但有一个不同之处在于:代替单个大的多边形物体,系统600包括:第一多边形物体610B,其定位成接收来自光源210的光束;以及第二多边形物体610A,其具有与第一多边形物体相同的旋转轴线并且还定位成将来自场景的光束的反射光传输到传感器610(这里通过示例示出为线传感器)。当需要更紧凑的解决方案时,典型地当单个多边形物体的高度变得过高时,该实施例具有一些益处。为了系统600的适当操作,可能需要同步第一多边形物体610B和第二多边形物体610B的旋转。
图7是示出了根据本发明的又另一个实施例的系统的图。系统700包括前述系统500的所有元件,但有一个不同之处在于:系统700还包括定位在传感器740与至少一个多边形物体710之间的多个光学器件,诸如反射镜730(但也可以包括透镜),该光学器件被配置成在光束对准的基本上位于与旋转轴线垂直的相同线上的点处传输来自面的反射光。
在以上描述中,实施例是本发明的示例或实现方式。“一个实施例”、“一实施例”或“一些实施例”的各种表现不一定都指代相同的实施例。
尽管可以在单个实施例的上下文中描述本发明的各种特征,但是这些特征也可以单独提供或者以任何合适的组合提供。相反,尽管为了清楚起见本发明可以在单独的实施例的上下文中描述,但是本发明也可以在单个实施例中实施。
在说明书中对“一些实施例”、“一实施例”、“一个实施例”或“其他实施例”的引用意味着结合实施例描述的特定特征、结构或特性被包括在至少一些实施例(但不一定是本发明的所有实施例)中。
应当理解,本文中采用的措辞和术语不应被解释为限制性的,并且仅用于描述性目的。
参考所附说明书、附图和实施例,可以更好地理解本发明教导的原理和用途。
应当理解,本文中阐述的细节不构成对本发明的应用的限制。
此外,应当理解,可以以各种方式执行或实践本发明,并且可以在除以上说明书中概述的实施例之外的实施例中实施本发明。
应当理解,术语“包括(including)”、“包含(comprising)”、“组成(consisting)”及其语法变体不排除添加一个或多个部件、特征、步骤或整体或它们的组合,并且术语应被解释为指定的部件、特征、步骤或整体。
如果说明书或权利要求书涉及“另外的”元件,则不排除有多于一个另外的元件。
应当理解,在权利要求书或说明书提到“一个(a)”或“一种(an)”元件的情况下,此参考不被解释为仅有该元件中的一个。
应当理解,在说明书陈述“可以(may)”、“可能(might)”、“可以(can)”或“可以(could)”包括部件、特征、结构或特性的情况下,不需要包括该特定的部件、特征、结构或特性。
在适用的情况下,尽管可以使用状态图、流程图或这两者来描述实施例,但是本发明不限于那些图或对应的描述。例如,流程不需要移动通过每个示出的框或状态,或者流程不必准确地按照与图示和描述的顺序相同的顺序进行。
可以通过手动地、自动地或它们的组合地执行或完成所选择的步骤或任务来实施本发明的方法。
在权利要求书和说明书中呈现的描述、示例、方法和材料不应被解释为限制性的,而仅仅是说明性的。
除非另有定义,否则本文中使用的技术和科学术语的含义通常由本发明所属领域的普通技术人员理解。
可以使用等效于或类似于本文中所描述的方法和材料的方法和材料在测试或实践中实施本发明。
虽然已经参考有限数量的实施例描述了本发明,但是这些不应该被解释为对本发明范围的限制,而是作为优选实施例中的一些的示例。其他可能的变化、修改和应用也在本发明的范围内。因此,本发明的范围不应由迄今所描述的内容来限制,而应由所附权利要求书及其法律等效物来限制。

Claims (18)

1.一种用于生成光图案的系统,包括:
具有多边形截面的至少一个反光柱,所述至少一个反光柱具有多个面和平行于面的旋转轴线;
光源,被配置成将光束传输到所述至少一个反光柱的所述多个面上;
衍射光学元件,所述衍射光学元件将光束平行于所述旋转轴线进行分裂,所述衍射光学元件是多边形物体面的一部分;
至少一个驱动器,被配置成使所述至少一个反光柱沿所述旋转轴线旋转;
控制器,被配置成控制所述光源和所述至少一个驱动器中的至少一者以产生传输到场景的能调节的光图案;以及
传感器,被配置成感测从所述场景反射的所述光图案的反射光。
2.根据权利要求1所述的系统,其中,所述光束包括多个束。
3.根据权利要求1所述的系统,其中,所述衍射光学元件是所述多个面中的一个面的一部分。
4.根据权利要求1所述的系统,其中,
所述多个面中的一个或多个面具有不同于所述多个面中的其他面的光学特性,使得
经由所述一个或多个面产生的图案与经由所述其他面产生的图案在光学上能区分。
5.根据权利要求1所述的系统,其中,所述多个面中的每个面具有不同的光学特性。
6.根据权利要求1所述的系统,其中,所述控制器通过调节所述光束的强度来控制所述光源。
7.根据权利要求1所述的系统,其中,
所述控制器还被配置成基于所述场景的预定感兴趣区域ROI来调节光图案;并且
所述光图案的与所述ROI相关的一部分展示出与所述光图案的其他部分不同的光强度。
8.根据权利要求1所述的系统,还包括:
计算机处理器,被配置成接收与所传输的所述光图案和所述光图案的所述反射光相关的数据;其中
所述计算机处理器还被配置成基于所接收的数据来生成所述场景的深度映射。
9.根据权利要求1所述的系统,其中,所述传感器还被配置成感测从所述场景反射然后由所述至少一个反光柱传输回所述传感器的所述光图案的所述反射光。
10.根据权利要求1所述的系统,其中,所述传感器是定位成与所述至少一个反光柱的所述旋转轴线平行的线传感器。
11.根据权利要求1所述的系统,其中,所述至少一个反光柱包括:第一反光柱,所述第一反光柱被定位成从所述光源接收所述光束;以及第二反光柱,所述第二反光柱具有与所述第一反光柱相同的旋转轴线并且进一步被定位成将来自所述场景的所述光图案的所述反射光传输到所述传感器。
12.根据权利要求1所述的系统,还包括:
多个光学器件,定位在所述传感器与所述至少一个反光柱之间;并且
所述多个光学器件被配置成将来自所述场景和至少一个面的所述反射光传输到所述传感器。
13.一种用于生成光图案的方法,包括:
使具有多边形截面的至少一个反光柱沿旋转轴线旋转,所述至少一个反光柱具有多个面,所述旋转轴线平行于面;
将光束传输到所述至少一个反光柱的所述多个面上;以及
使用衍射光学元件将光束平行于所述旋转轴线进行分裂,所述衍射光学元件是多边形物体面的一部分;
控制所述光束的光强度和所述至少一个反光柱的旋转中的至少一者以产生传输到场景的能调节的光图案;以及
由传感器感测从所述场景反射的所述光图案的反射光。
14.根据权利要求13所述的方法,其中,所述衍射光学元件是所述多个面中的一个面的一部分。
15.根据权利要求13所述的方法,其中,所述多个面中的一个或多个面具有不同于所述多个面中的其他面的光学特性,使得
经由所述一个或多个面产生的图案与经由所述其他面产生的图案在光学上能区分。
16.根据权利要求13所述的方法,其中,所述多个面中的每个面具有不同的光学特性。
17.根据权利要求13所述的方法,其中,控制所述光束的光强度包括:
基于所述场景的预定感兴趣区域ROI来调节光图案;并且
所述光图案的与所述ROI相关的一部分展示出与所述光图案的其他部分不同的光强度。
18.根据权利要求13所述的方法,其中,感测从所述场景反射的所述光图案的所述反射光还包括:
感测从所述场景反射然后由所述至少一个反光柱传输的所述光图案的所述反射光。
CN201910628169.4A 2015-05-20 2016-05-02 用于使用多边形物体生成光图案的方法和系统 Active CN110243310B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/716,888 2015-05-20
US14/716,888 US9648698B2 (en) 2015-05-20 2015-05-20 Method and system for generating light pattern using polygons
CN201680042525.9A CN107850706B (zh) 2015-05-20 2016-05-02 用于使用多边形物体生成光图案的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680042525.9A Division CN107850706B (zh) 2015-05-20 2016-05-02 用于使用多边形物体生成光图案的方法和系统

Publications (2)

Publication Number Publication Date
CN110243310A CN110243310A (zh) 2019-09-17
CN110243310B true CN110243310B (zh) 2021-11-02

Family

ID=57320269

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680042525.9A Active CN107850706B (zh) 2015-05-20 2016-05-02 用于使用多边形物体生成光图案的方法和系统
CN201910628169.4A Active CN110243310B (zh) 2015-05-20 2016-05-02 用于使用多边形物体生成光图案的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680042525.9A Active CN107850706B (zh) 2015-05-20 2016-05-02 用于使用多边形物体生成光图案的方法和系统

Country Status (6)

Country Link
US (2) US9648698B2 (zh)
EP (1) EP3964792A1 (zh)
JP (1) JP2018523100A (zh)
KR (1) KR101917773B1 (zh)
CN (2) CN107850706B (zh)
WO (1) WO2016186816A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656543A (zh) * 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
KR102441588B1 (ko) * 2017-07-10 2022-09-07 삼성전자주식회사 빔 스캐닝 장치 및 이를 포함하는 광학 장치
WO2019053998A1 (ja) * 2017-09-13 2019-03-21 ソニー株式会社 距離測定モジュール
WO2019135494A1 (ko) * 2018-01-08 2019-07-11 주식회사 에스오에스랩 라이다 장치
US10591598B2 (en) 2018-01-08 2020-03-17 SOS Lab co., Ltd Lidar device
KR102050678B1 (ko) 2018-05-14 2019-12-03 주식회사 에스오에스랩 라이다 장치
EP3943882A4 (en) * 2019-03-15 2023-06-07 Shanghai Percipio Technology Limited DEPTH DATA MEASURING HEAD, MEASURING DEVICE AND MEASURING METHOD
CN110312064B (zh) * 2019-07-10 2020-09-11 十里泉科技(重庆)有限公司 一种市政道路的高清监控系统
WO2021032298A1 (en) * 2019-08-21 2021-02-25 Huawei Technologies Co., Ltd. High resolution optical depth scanner
US20210283719A1 (en) * 2020-03-12 2021-09-16 Rohr, Inc. Substrate perforation system & method using beamlets
CN111694013B (zh) * 2020-06-11 2023-03-28 三一机器人科技有限公司 一种反光柱建图方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0721126A1 (en) * 1994-12-20 1996-07-10 Xerox Corporation Double bounce passive facet tracking with a refelctive diffraction grating on a flat facet
JPH11194018A (ja) * 1998-01-06 1999-07-21 Nikon Corp 被写体情報測定装置
CN1269276A (zh) * 1999-04-02 2000-10-11 株式会社村田制作所 用于加工陶瓷胎片的方法和装置
US6292285B1 (en) * 1999-12-20 2001-09-18 Xerox Corporation Single rotating polygon mirror with v-shaped facets for a multiple beam ROS
CN102589476A (zh) * 2012-02-13 2012-07-18 天津大学 高速扫描整体成像三维测量方法
CN103968779A (zh) * 2014-05-12 2014-08-06 上海理工大学 超分辨三维测量显微镜

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4537465A (en) * 1981-11-12 1985-08-27 Lincoln Laser Company Apparatus with two input beams for generating optical scans
US4560862A (en) 1983-04-26 1985-12-24 Skan-A-Matic Corp. System for optical scanning over a large depth of field
JPH02311814A (ja) * 1989-05-26 1990-12-27 Fuji Photo Film Co Ltd カラー画像記録装置
US5557438A (en) 1993-11-23 1996-09-17 Schwartz; Nira Scanning and tracking using rotating polygons
US6175440B1 (en) * 1994-02-02 2001-01-16 Advanced Laser Technologies, Inc. Laser beam display
JPH10105869A (ja) * 1996-09-30 1998-04-24 Omron Corp 車種判別装置
JPH10272907A (ja) * 1997-03-28 1998-10-13 Omron Corp 危険車両検知装置
JP3914638B2 (ja) * 1997-09-09 2007-05-16 シーケーディ株式会社 形状計測装置
CN2399598Y (zh) * 1999-10-26 2000-10-04 卢洋溢 聚光扫描灯
US6342964B2 (en) * 2000-01-14 2002-01-29 Asahi Kogaku Kogyo Kabushiki Kaisha Scanning optical system
US6421180B1 (en) 2000-03-23 2002-07-16 Harris Corporation Apparatus for generating a laser pattern on a photomask and associated methods
JP2002031516A (ja) * 2000-07-18 2002-01-31 Asahi Optical Co Ltd 3次元画像入力装置
ATE513244T1 (de) 2002-02-06 2011-07-15 Brother Ind Ltd Bildprojektionsvorrichtung
DE10333493A1 (de) * 2003-07-22 2005-02-10 FRIEMEL, Jörg Streifenprojektor für ein dreidimensionales Objektvermessungssystem
JP2005077379A (ja) 2003-09-03 2005-03-24 Denso Corp レーダ装置
JP2006349394A (ja) * 2005-06-14 2006-12-28 Brother Ind Ltd 3次元入力装置
JP4460566B2 (ja) * 2006-12-07 2010-05-12 日本電信電話株式会社 光学センサ及び生体情報測定装置
JP5100317B2 (ja) * 2007-01-31 2012-12-19 株式会社東芝 光走査装置、画像形成装置、スラスト方向力相殺方法
KR20090105747A (ko) * 2008-04-03 2009-10-07 삼성전자주식회사 광주사장치 및 이를 채용한 화상형성장치
US7869112B2 (en) 2008-07-25 2011-01-11 Prysm, Inc. Beam scanning based on two-dimensional polygon scanner for display and other applications
EP2199737B1 (de) * 2008-12-18 2011-08-31 Sick Ag Beleuchtungseinheit für 3D-Kamera
GB0913911D0 (en) * 2009-08-10 2009-09-16 Optos Plc Improvements in or relating to laser scanning systems
CN102656543A (zh) 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US9052521B2 (en) * 2010-06-07 2015-06-09 Prysm, Inc. Optical component calibration system for laser-based display device
US9199481B2 (en) * 2011-08-11 2015-12-01 Kyocera Document Solutions Inc. Image forming apparatus configured to perform exposure control and exposure method
US9041762B2 (en) 2011-09-26 2015-05-26 Prysm, Inc. 2-D straight-scan on imaging surface with a raster polygon
EP2806262A4 (en) * 2012-01-18 2015-09-23 Nikon Corp STRUCTURED LIGHTING DEVICE, LIGHTED MICROSCOPE STRUCTURED DEVICE, AND STRUCTURED LIGHTING METHOD
WO2014014838A2 (en) 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
JP6358494B2 (ja) 2013-02-27 2018-07-18 Tianma Japan株式会社 立体画像表示装置
JP6144976B2 (ja) * 2013-06-26 2017-06-07 キヤノン株式会社 情報処理装置、組み付け装置、情報処理方法、及びプログラム
CA2924622C (en) 2013-10-23 2020-03-10 Oculus Vr, Llc. Three dimensional depth mapping using dynamic structured light
JP6261945B2 (ja) * 2013-10-29 2018-01-17 東芝メディカルシステムズ株式会社 自動分析装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0721126A1 (en) * 1994-12-20 1996-07-10 Xerox Corporation Double bounce passive facet tracking with a refelctive diffraction grating on a flat facet
JPH11194018A (ja) * 1998-01-06 1999-07-21 Nikon Corp 被写体情報測定装置
CN1269276A (zh) * 1999-04-02 2000-10-11 株式会社村田制作所 用于加工陶瓷胎片的方法和装置
US6292285B1 (en) * 1999-12-20 2001-09-18 Xerox Corporation Single rotating polygon mirror with v-shaped facets for a multiple beam ROS
CN102589476A (zh) * 2012-02-13 2012-07-18 天津大学 高速扫描整体成像三维测量方法
CN103968779A (zh) * 2014-05-12 2014-08-06 上海理工大学 超分辨三维测量显微镜

Also Published As

Publication number Publication date
JP2018523100A (ja) 2018-08-16
US20160341399A1 (en) 2016-11-24
KR101917773B1 (ko) 2019-01-29
EP3964792A1 (en) 2022-03-09
CN107850706B (zh) 2019-08-02
WO2016186816A1 (en) 2016-11-24
US20170186182A1 (en) 2017-06-29
US9648698B2 (en) 2017-05-09
US9842407B2 (en) 2017-12-12
KR20180008655A (ko) 2018-01-24
CN110243310A (zh) 2019-09-17
CN107850706A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN110243310B (zh) 用于使用多边形物体生成光图案的方法和系统
CN109458928B (zh) 基于扫描振镜和事件相机激光线扫描3d检测方法及系统
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
US9170097B2 (en) Hybrid system
EP3645965B1 (en) Detector for determining a position of at least one object
CN111263899B (zh) 照明装置、飞行时间系统和方法
WO2014200589A9 (en) Determining positional information for an object in space
US7443495B2 (en) Surveying instrument and surveying method
US20090262363A1 (en) Contour sensor incorporating mems mirrors
US20160223654A1 (en) Method for controlling a micro-mirror scanner, and micro-mirror scanner
US20110313721A1 (en) Contour sensor incorporating mems mirrors
CN104903680B (zh) 控制三维物体的线性尺寸的方法
US11029408B2 (en) Distance-imaging system and method of distance imaging
CN107024200A (zh) 用于自动寻找移动大地目标对象的装置
US11054728B1 (en) Imaging system and method using projection apparatus
EP3104209B1 (en) Method and system for generating light pattern using polygons
CN111819602A (zh) 增加点云采样密度的方法、点云扫描系统、可读存储介质
US11921409B2 (en) Laser projector system
CN109791203A (zh) 用于进行距离测量和/或速度测量的光学传感器、用于自主车辆的机动性监测的系统和用于自主车辆的机动性监测的方法
TWI588441B (zh) Measuring method and apparatus for carrying out the measuring method
CN110297225A (zh) 光调制激光雷达系统
Golnabi Design and operation of a laser scanning system
JP6749191B2 (ja) スキャナ装置および測量装置
CN110471070A (zh) 组合型探测系统及探测器件
CN110476080A (zh) 用于对扫描角进行扫描并且用于分析处理探测器的激光雷达设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder