CN114128246A - 用于标识物体的特征的偏振捕获设备 - Google Patents

用于标识物体的特征的偏振捕获设备 Download PDF

Info

Publication number
CN114128246A
CN114128246A CN202080050893.4A CN202080050893A CN114128246A CN 114128246 A CN114128246 A CN 114128246A CN 202080050893 A CN202080050893 A CN 202080050893A CN 114128246 A CN114128246 A CN 114128246A
Authority
CN
China
Prior art keywords
polarization
image data
light
processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080050893.4A
Other languages
English (en)
Inventor
S·C·麦克尔多尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN114128246A publication Critical patent/CN114128246A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种设备包括第一偏振图像传感器，其被配置为从第一视角捕获与物体相关的第一图像数据。该设备还包括第二偏振图像传感器，其被配置为从不同于第一视角的第二视角捕获与物体相关的第二图像数据。该设备还包括处理器，该处理器被配置为基于第一图像数据或第二图像数据中的至少一项，来获取物体的偏振信息或深度信息中的至少一项，并且基于偏振信息或深度信息中的至少一项提取物体的特征。

Description

用于标识物体的特征的偏振捕获设备
技术领域
本发明总体上涉及成像技术，并且更具体地涉及一种用于标识物体的特征的偏振捕获设备。
背景技术
物体在反射、衍射、透射、折射和/或散射入射光时可能会产生与物体的性质相关的偏振特征。因此，偏振信息可以用于确定物体的各种属性。偏振相机已经用于捕获包括偏振信息的物体的图像。
发明内容
本发明的一个方面提供了一种设备，该设备包括被配置为从第一视角捕获与物体相关的第一图像数据的第一偏振图像传感器。该设备还包括被配置为从不同于第一视角的第二视角捕获与物体相关的第二图像数据的第二偏振图像传感器。该设备还包括处理器，该处理器被配置为基于第一图像数据或第二图像数据中的至少一项，来获取物体的偏振信息或深度信息中的至少一项，并且基于偏振信息或深度信息中的至少一项来提取物体的特征。
在一些实施例中，第一偏振图像传感器或第二偏振图像传感器中的至少一项可以是近红外(“NIR”)偏振图像传感器，并且第一图像数据或第二图像数据中的至少一项可以是单色图像数据。
在一些实施例中，该设备还可以包括光源，其被配置为发射用以照射物体的NIR光。
在一些实施例中，偏振信息可以包括Strokes参数、线性偏振度(“DOLP”)或线性偏振角(“AOLP”)中的至少一项。
处理器可以被配置为基于Strokes参数、DOLP、AOLP或深度信息中的至少一项来提取物体的特征。
在一些实施例中，处理器还可以被配置为基于第一图像数据或第二图像数据中的至少一项计算一个或多个Stokes参数。
处理器还可以被配置为基于一个或多个Stokes参数计算AOLP或DOLP中的至少一项。
处理器还可以被配置为基于多个Strokes参数值、多个DOLP值、多个AOLP值或深度信息中的至少一项来构造图像。
在一些实施例中，处理器还可以被配置为确定物体的材料，并且标识物体的材料的声学属性。
在一些实施例中，处理器还可以被配置为使用偏振滤波器阵列来对第一图像数据和第二图像数据进行滤波，该偏振滤波器阵列包括与多个偏振取向相关联的多个偏振滤波器。
在一些实施例中，第一偏振图像传感器或第二偏振图像传感器中的至少一项可以包括：以堆叠配置布置的微透镜阵列、偏振器阵列和像素阵列。
本发明的另一方面提供了一种设备，该设备包括被配置为获取与物体相关的图像数据的偏振图像传感器，该物体被结构光照射。该设备还包括处理器，该处理器被配置为基于图像数据获取物体的偏振信息或深度信息中的至少一项，并且基于偏振信息或深度信息中的至少一项提取物体的特征。
在一些实施例中，该设备还可以包括被配置为发射结构光的光源。
在一些实施例中，偏振图像传感器可以是近红外偏振图像传感器，并且图像数据是单色图像数据。
在一些实施例中，处理器还可以被配置为确定物体的材料，并且标识物体的材料的声学属性。
本发明的另一方面提供一种方法，该方法包括从第一视角捕获与物体相关的第一图像数据。该方法还包括从不同于第一视角的第二视角捕获与物体相关的第二图像数据。该方法还包括基于第一图像数据或第二图像数据中的至少一项，来获取物体的偏振信息或深度信息中的至少一项。该方法还包括基于物体的偏振信息或深度信息中的至少一项来提取物体的特征。
基于物体的偏振信息或深度信息中的至少一项提取物体的特征可以包括：确定物体的材料，并且该方法还包括标识物体的材料的声学属性。
基于物体的偏振信息或深度信息中的至少一项提取物体的特征可以包括确定物体的材料，并且其中该方法还包括标识物体的材料的声学属性。
在一些实施例中，偏振信息可以包括Strokes参数、线性偏振度(“DOLP”)或线性偏振角(“AOLP”)中的至少一项。
该方法还可以包括基于第一图像数据或第二图像数据中的至少一项，来计算一个或多个Stokes参数；并且基于一个或多个Stokes参数，来计算AOLP或DOLP中的至少一项。
根据本发明的说明书、权利要求和附图，本领域技术人员可以理解本发明的其他方面。
附图说明
根据各种公开的实施例，提供以下附图用于说明目的并且不旨在限制本发明的范围。在附图中：
图1示出了根据本发明的实施例的偏振捕获设备的示意图；
图2示出了根据本发明的实施例的偏振捕获系统的示意图；
图3示出了根据本发明的另一实施例的偏振捕获设备的示意图；
图4示出了根据本发明的另一实施例的偏振捕获系统的示意图；
图5是根据本发明的实施例的由偏振捕获设备或偏振捕获系统执行的方法的示意图；
图6A示出了根据本发明的实施例的包括偏振捕获设备的近眼显示器(“NED”)的示意图；
图6B示出了根据本发明的实施例的图6A所示的NED的一半的截面图的示意图；
图6C示出了根据本发明的另一实施例的图6A所示的NED的一半的截面图的示意图；以及
图7是根据本发明的实施例的像素化偏振相机的示意图。
具体实施方式
将参考附图描述与本发明一致的实施例，附图仅是用于说明目的的示例，并不旨在限制本发明的范围。在可能的情况下，在整个附图中使用相同的附图标记来指代相同或相似的部分，并且可以省略其详细描述。
此外，在本发明中，所公开的实施例和所公开的实施例的特征可以组合。所描述的实施例是本发明的部分实施例，而不是全部实施例。基于所公开的实施例，本领域普通技术人员可以导出与本发明相一致的其他实施例。例如，可以基于所公开的实施例进行修改、改编、替换、添加或其他变化。所公开的实施例的这种变化仍在本发明的范围内。因此，本发明不限于所公开的实施例。相反，本发明的范围由所附权利要求限定。
如本文中使用的，术语“耦合(couple)”、“耦合(coupled)”、“耦合(coupling)”等可以包括光耦合、机械耦合、电耦合、电磁耦合或其任何组合。两个光学元件之间的“光耦合”是指其中两个光学元件布置成光学系列的配置，并且从一个光学元件输出的光束可以被另一光学元件直接或间接接收。光学系列是指光路中多个光学元件的光学定位，使得从一个光学元件输出的光束可以被一个或多个其他光学元件透射、反射、衍射、转换、修改或以其他方式处理或操纵。在一些实施例中，布置多个光学元件的顺序可以影响或可以不影响多个光学元件的整体输出。耦合可以是直接耦合或间接耦合(例如，通过中间元件耦合)。
短语“A或B中的至少一个”可以包括A和B的所有组合，诸如仅A、仅B、或A和B。同样，短语“A、B或C中的至少一个”可以包括A、B和C的所有组合，诸如仅A、仅B、仅C、A和B、A和C、B和C、或A和B和C。短语“A和/或B”可以以类似于短语“A或B中的至少一个”的方式来解释。例如，短语“A和/或B”可以包含A和B的所有组合，诸如仅A、仅B、或A和B。同样，短语“A、B和/或C”的含义类似于短语“A、B或C中的至少一个”的含义。例如，短语“A、B和/或C”可以包括A、B和C的所有组合，诸如仅A、仅B、仅C、A和B、A和C、B和C、或A和B和C。
当第一元件被描述为“附接”、“提供”、“形成”、“固定”、“安装”、“固定”、“连接”、“粘合”、“记录”或“设置”到第二元件、在第二元件上、在第二元件处、或至少部分在第二元件中时，第一元件可以使用任何合适的机械或非机械方式(诸如沉积、涂覆、蚀刻、粘合、胶合、拧紧、压配合、卡扣、夹紧等)“附接”、“提供”、“形成”、“固定”、“安装”、“固定”、“连接”、“粘合”、“记录”或“设置”到第二元件、在第二元件上、在第二元件处、或至少部分在第二元件中。另外，第一元件可以与第二元件直接接触，或者在第一元件与第二元件之间可以有中间元件。第一元件可以设置在第二元件的任何合适的侧面，诸如左侧、右侧、前面、后面、顶部或底部。
当第一元件被示出或描述为设置或布置在第二元件“上”时，术语“上”仅用于指示第一元件与第二元件之间的示例相对取向。该描述可以基于图中所示的参考坐标系，或者可以基于图中所示的当前视图或示例配置。例如，当描述图中所示的视图时，可以将第一元件描述为设置在第二元件“上”。应当理解，术语“在……上”不一定暗示第一元件在垂直重力方向上位于第二元件之上。例如，当第一元件和第二元件的组件旋转180度时，第一元件可能在第二元件“下方”(或者第二元件可能在第一元件“上”)。因此，应当理解，当图示出第一元件在第二元件“上”时，该配置仅是说明性示例。第一元件可以相对于第二元件以任何合适的取向设置或布置(例如，在第二元件之上或上方，在第二元件之下或下方，在第二元件左侧，在第二元件右侧，在第二元件后面，在第二元件前面，等等)。
当第一元件被描述为设置在第二元件“上”时，第一元件可以直接或间接设置在第二元件上。第一元件直接设置在第二元件上指示在第一元件与第二元件之间没有设置附加元件。第一元件间接设置在第二元件上指示一个或多个附加元件设置在第一元件与第二元件之间。
本文中使用的术语“处理器”可以包括任何合适的处理器，诸如中央处理单元(“CPU”)、图形处理单元(“GPU”)、专用集成电路(“ASIC”)、可编程逻辑器件(“PLD”)或其任何组合。也可以使用上面未列出的其他处理器。处理器可以实现为软件、硬件、固件或其任何组合。
术语“控制器”可以包括被配置为生成用于控制设备、电路、光学元件等的控制信号的任何合适的电路、软件或处理器。“控制器”可以实现为软件、硬件、固件或其任何组合。例如，控制器可以包括处理器，或者可以被包括作为处理器的一部分。
术语“非暂态计算机可读介质”可以包括用于存储、传输、传送、广播或传输数据、信号或信息的任何合适的介质。例如，非暂态计算机可读介质可以包括存储器、硬盘、磁盘、光盘、磁带等。存储器可以包括只读存储器(“ROM”)、随机存取存储器(“RAM”)、闪存等。
术语“通信耦合”或“通信连接”表示相关项目通过电和/或电磁耦合或连接(诸如有线或无线通信连接、信道或网络)而耦合或连接。
本发明中提到的波长范围、光谱或频带是为了说明的目的。所公开的光学设备、系统、元件、组件和方法可以应用于可见波长范围、以及其他波长范围(诸如紫外线(“UV”)波长范围、红外线(“IR”)波长范围)、或其组合。
本发明提供了一种偏振捕获设备或系统，该偏振捕获设备或系统用于捕获包括与该物体相关的偏振信息的物体的图像(或图像数据)，并且用于基于图像(或图像数据)中所包括的偏振信息，来标识物体的特征或特性。在一些实施例中，偏振捕获设备或系统可以包括间隔开的两个或更多个偏振图像传感器，该偏振图像传感器被配置为从两个或更多个不同视角捕获物体或包括该物体的场景的两个或更多个图像。在一些实施例中，偏振图像传感器可以是被配置为从不同(例如，略微不同)视角捕获物体的单色图像的近红外(“NIR”)偏振图像传感器。偏振捕获设备还可以包括处理器，该处理器被配置为基于两个或更多个图像(或与图像相对应的图像数据)，来获取(例如，计算)偏振信息和/或深度信息。处理器还可以基于所获取的偏振信息和/或深度信息，来提取物体的特征或特性。物体的特征或特性可以包括物体的形状、尺寸、纹理、表面取向、表面粗糙度、表面取向、物体的材料等。此外，物体的材料的属性也可以被标识，诸如光学属性(例如，反射、折射、衍射、透射和/或散射)、机械属性(例如，应力、瑕疵或缺陷等)、声学属性(例如，吸声系数、声学阻抗、降噪系数、传声等级、A加权声学级标度等)。
在一些实施例中，偏振捕获设备或系统可以包括偏振图像传感器，该偏振图像传感器被配置为获取与被结构光照射的物体相关的图像数据。偏振捕获设备还可以包括处理器，该处理器被配置为基于图像数据来获取物体的偏振参数或深度信息中的至少一项，并且基于偏振参数或深度信息中的至少一项来提取物体的特征。在一些实施例中，偏振捕获设备还可以包括被配置为发射结构光的光源。
图1示出了根据本发明的实施例的设备或系统100的示意图。设备100可以称为偏振捕获设备100。偏振捕获设备100可以被配置为捕获物体的图像、处理所捕获图像的图像数据，并且基于处理后的图像数据来获取物体的特征和/或特性。在一些实施例中，偏振捕获设备100还可以标识物体的材料的属性，诸如光学属性、机械属性、声学属性等。如图1所示，偏振捕获设备100可以包括第一光谱滤波器110、第一偏振图像传感器120、第二光谱滤波器111、第二偏振图像传感器121、处理器155和存储设备105。偏振捕获设备100可以包括附加组件，这些组件不受本发明的限制。
物体185可以被合适的光源180照射，例如自然光源(例如，太阳)或人造光源(例如，发光二极管(“LED”)、有机发光二极管(“OLED”)或激光二极管)等。物体185可以反射、折射、透射、衍射、散射所照射的光。在一些实施例中，物体185可以影响入射到物体185上的光的偏振，例如，如果入射光是非偏振光，则部分地偏振光的一部分。为了讨论方便，物体的反射、折射、透射、衍射和散射可以统称为偏转。偏振捕获设备100可以被配置为处理来自物体185的光。
第一光谱滤波器110和第二光谱滤波器111可以被配置为对波长在预定波长频带或范围(或称为预定光谱)之外的光进行滤波。例如，第一光谱滤波器110或第二光谱滤波器111中的至少一项(例如，每个)可以是近红外(“NIR”)滤波器，该NIR滤波器被配置为(例如，阻挡)波长在预定NIR波长频带之外的光进行滤波。即，第一光谱滤波器110和第二光谱滤波器111可以仅允许波长在预定NIR波长频带内的光通过。
第一偏振图像传感器120和第二偏振图像传感器121可以被配置为捕获物体185的图像或图像数据，图像或图像数据具有偏振信息和深度信息。示例偏振图像传感器如图7所示，下面将对其进行说明。在一些实施例中，第一偏振图像传感器120或第二偏振图像传感器121中的至少一项(例如，每个)可以是被配置为捕获物体185的单色图像的偏振单色(或“单色”)图像传感器。例如，第一偏振图像传感器120或第二偏振图像传感器121中的至少一项(例如，每个)可以是NIR偏振图像传感器，该NIR偏振图像传感器被配置为基于NIR范围内的光来捕获单色图像。在一些实施例中，第一偏振图像传感器120和第二偏振图像传感器121可以被包括在两个单独的相机中，并且可以彼此分开设置。单独的相机可以包括与第一偏振图像传感器120或第二偏振图像传感器121光学耦合的、单独的一个或多个透镜的集合。在一些实施例中，第一偏振图像传感器120和第二偏振图像传感器121可以被包括在单个相机，并且可以彼此分开设置。单个相机可以包括与第一偏振图像传感器120和第二偏振图像传感器121光学耦合的、单独的一个或多个透镜的集合。单独的一个或多个透镜的集合可以被配置为从不同视角(或方向)接收来自物体185的光。在一些实施例中，光可以被物体185朝向透镜组反射、散射、衍射、透射和/或折射。单独的一个或多个透镜的集合可以将所接收的光分别导向第一偏振图像传感器120和第二偏振图像传感器121。在一些实施例中，单独的相机或单个相机还可以包括第一光谱滤波器110和第二光谱滤波器111。在一些实施例中，第一光谱滤波器110可以设置在第一偏振图像传感器120与第一集合的一个或多个透镜之间，并且第二光谱滤波器111可以设置在第二偏振图像传感器120与第二集合的一个或多个透镜之间。
在一些实施例中，如图1所示，处理器155可以包括偏振滤波器阵列130、Stokes参数计算器140、偏振参数计算器150、图像构造器160、深度计算器190和特征提取器170。在一些实施例中，处理器155可以包括附加元件，或者处理器155中的一些元件可以省略。例如，在一些实施例中，偏振滤光器阵列130可以省略。处理器155也可以称为信号处理器。处理器155可以包括一个或多个硬件和/或软件模块、计算单元、电路等。例如，处理器155可以是任何合适的处理器，诸如中央处理单元(“CPU”)、微处理器、图形处理单元(“GPU”)、数字信号处理器(“DSP”)等。在一些实施例中，偏振滤波器阵列130、Stokes参数计算器140、偏振参数计算器150、图像构造器160、深度计算器190和特征提取器170中的每个可以包括硬件组件(例如，电路、处理单元、门等)、软件组件(例如，软件模块、由处理器可执行的指令或代码等)、或其组合。
处理器155可以被配置为按时间顺序或同时处理由偏振图像传感器120和121捕获的图像数据以获取与物体185相关的偏振信息和/或深度信息。在一些实施例中，偏振信息可以包括Stokes参数、线性偏振度(“DOLP”)或线性偏振角(“AOLP”)中的至少一项。在一些实施例中，物体185的偏振信息可以包括其他参数，诸如偏振度(“DOP”)、偏振角(“AOP”)、圆偏振度(“DOCP”)等。
在一些实施例中，偏振滤光器阵列130可以包括被配置为基于预定偏振取向或方向对图像数据进行滤波的四个(或任何其他合适数目的)偏振滤光器的阵列。在一些实施例中，偏振滤波器阵列130可以包括数字和/或模拟滤波器。例如，偏振滤波器阵列130可以是被配置为处理从偏振图像传感器120和121输出的图像数据的数字滤波器。在一些实施例中，Stokes参数计算器140可以被配置为基于从偏振滤波器阵列130输出的图像数据，来计算一个或多个Stokes参数(S0，S1、S2和/或S3)。在一些实施例中，Stokes参数计算器140可以被配置为计算所捕获图像的每个像素的Stokes偏振信息(Stokes参数)。
在一些实施例中，基于所计算的Stokes参数(S0、S1、S2和/或S3)，偏振参数计算器150可以被配置为计算一个或多个偏振参数，诸如DOLP、AOLP、DOP，AOP，DOCP。出于说明的目的，在以下描述中将DOLP和AOLP用作示例偏振参数。在一些实施例中，偏振参数计算器150可以被配置为基于所捕获图像的每个像素的所计算的Stokes参数(S0、S1、S2和/或S3)来计算偏振参数。
DOLP值可以取决于物体的表面状况和/或来自物体的反射角。例如，从镜面反射的入射光可能具有较高DOLP值。因此，DOLP值可以指示或可以用于估计表面粗糙度、纹理类型或表面划痕检测。在一些实施例中，DOLP值可以指示或可以用于确定物体是自然物体还是人造物体，因为大多数自然物体的特征在于低DOLP值并且大多数人造物体(诸如塑料物体)通常具有较高DOLP值。AOLP值可以提供物体的反射面的方向信息。因此，AOLP值可以用于形状检测、失真检测或物体识别。
在一些实施例中，深度计算器190可以被配置为：分别基于从第一偏振图像传感器120和第二偏振图像传感器121输出的两个原始图像数据集，来计算物体的深度(或深度信息)。在一些实施例中，图像构造器160可以被配置为基于所计算的偏振参数和/或深度信息来构造一个或多个图像。例如，图像构造器160可以被配置为构造DOLP图像、AOLP图像、3D图像或其任何组合。
在一些实施例中，特征提取器170可以被配置为基于所计算的偏振参数、深度信息和/或所构造的图像来提取或标识物体185的特征或特性。例如，特征提取器170可以基于从偏振参数计算器150输出的图像数据(DOLP值和/或AOLP值)、由深度计算器190生成的深度信息、和/或由图像构造器160构造的图像来提取物体的特征。
参考图1，光源180可以被配置为发射用以照射物体185的光。由光源180发射的光可以具有至少覆盖偏振图像传感器120和第二偏振图像传感器121的预定波长频带或范围(或预定光谱)的波长范围。在一些实施例中，光源180可以是自然光源(例如，太阳等)或人造光源(例如，发光二极管(“LED”)、有机发光二极管(“OLED”)或激光二极管等)。当光源180是自然光源时，光源180可以不是偏振捕获设备10的一部分。当光源180是人造光源时，光源180可以是也可以不是偏振捕获设备10的一部分。
在一些实施例中，由光源180发射的光可以被物体185反射、散射、衍射、透射和/或折射。在一些实施例中，由光源180发射的光可以部分地被物体185反射、散射、衍射、透射或折射并且部分地被物体185吸收。在一些实施例中，由光源180发射的光可以是非偏振光，并且物体185可以反射、散射、衍射、透射和/或折射非偏振光作为部分偏振光，该部分偏振光包含物体185的特征和特性的信息。
来自物体185的第一光101和来自物体185的第二光102可以分别被第一光谱滤波器110和第二光谱滤波器111接收。来自物体185的第一光101和第二光102可以由单独的一个或多个透镜的集合以不同视角(或方向)接收，并且被单独的透镜的集合分别导到第一光谱滤波器110和第二光谱滤波器111。当第一光101和第二光102中的一部分分别与第一光谱滤波器110和第二光谱滤波器111的预定波长频带或范围(或预定光谱)内的波长相关联时，第一光谱滤光器110和第二光谱滤光器111可以基本透射第一光101和第二光102中的该部分。当所接收的第一光101和第二光102中的剩余部分与第一光谱滤波器110和第二光谱滤波器111的预定波长频带或范围(或预定光谱)之外的波长相关联时，第一光谱滤光器110和第二光谱滤光器111可以基本滤除(例如，阻挡、吸收)第一光101和第二光102中的该剩余部分。
在一些实施例中，第一光谱滤波器110可以是与第一预定波长范围相关联的带通滤波器(例如，以允许波长在第一预定波长范围内的光通过)。第二光谱滤波器111可以是与第二预定波长范围相关联的带通滤波器。第一预定波长范围可以与第二预定波长范围相同或不同。在一些实施例中，第一预定波长范围可以与第二预定波长范围至少部分交叠。例如，当第一光谱滤波器110和第二光谱滤波器111是具有在NIR范围内的预定光谱的NIR滤波器时，第一光谱滤波器110和第二光谱滤波器111可以基本滤除(例如，阻挡)第一光101和第二光102中的分别与在预定NIR波长范围之外的波长相关联的部分，并且基本透射第一光101和第二光102中的分别与在第一预定NIR波长范围和第二预定NIR波长范围内的波长相关联的部分。
第一光谱滤波器110和第二光谱滤波器111可以分别输出光S110和光S111。光S110可以与第一预定波长范围相关联。光S111可以与第二预定波长范围相关联。例如，当第一光谱滤波器110和第二光谱滤波器111是NIR滤波器时，光S110和光S111可以是NIR光(即，波长在NIR波长范围内的光)。光S110和光S111可以分别被第一偏振图像传感器120和第二偏振图像传感器121接收。第一偏振图像传感器120和第二偏振图像传感器121中的每个可以独立地基于对应光(例如，NIR光)S110或S111捕获或获取图像数据集，并且可以生成和输出偏振图像数据集S120或S121。基于对应NIR光S110或S111而生成的偏振图像数据S120或S121可以是NIR单色(或单色)图像数据，而不是红绿蓝(“RGB”)图像数据。在一些实施例中，偏振图像数据S120和S121可以称为原始图像数据。图像数据S120和S121可以与来自物体的不同视角(或方向)的光101和102相关联。
偏振图像数据S120和S121可以由处理器155接收和处理。例如，偏振图像数据S120和S121可以由偏振滤波器阵列130处理。在一些实施例中，偏振滤波器阵列130可以是数字或模拟滤波器阵列。例如，偏振滤波器阵列130可以实现为数字计算模块或软件组件。在一些实施例中，偏振滤波器阵列130可以包括多个(例如，至少四个)数字偏振滤波器的阵列，包括例如被配置为输出与水平线性偏振(例如，取向为0度的线性偏振器)相关联的数据的至少一个水平滤波器、被配置为输出与垂直线性偏振相关联的数据的至少一个垂直滤波器、被配置为输出与45度线性偏振相关联的数据的至少一个45度滤波器、以及被配置为输出与135度线性偏振相关联的数据的至少一个135度滤波器。例如，水平滤波器可以是透射轴取向为0度的数字线性偏振器，垂直滤波器可以是透射轴取向为90度的数字线性偏振器，45度滤波器可以是透射轴取向为45度的数字线性偏振器，135度滤波器可以是透射轴取向为135度(或-45度)的数字线性偏振器。偏振滤波器的数目可以是任何合适的数目，并且偏振滤波器的透射轴取向可以是任何合适的取向。偏振滤波器阵列130可以分别输出滤波后的数据S130和S131。在一些实施例中，滤波后的数据S130和S131可以是偏振图像数据(例如，偏振单色图像数据)。
滤波后的数据S130和S131可以由Stokes参数计算器140处理。在一些实施例中，Stokes参数计算器140可以被配置为基于滤波后的数据S130和S131中的每个，来计算光功率值PH、PV、P45和P135。光功率值PH、PV、P45和P135可以分别指示与水平偏振、垂直偏振、45度偏振和135度偏振相对应的光分量的光功率。在一些实施例中，Stokes参数计算器140还可以计算光功率值PR和PL，光功率值PR是光的右旋圆偏振分量的光功率，光功率值PL是光的左旋圆偏振分量的光功率。
Stokes参数计算器140可以被配置为基于所计算的光功率值计算一个或多个Stokes参数(例如，S0、S1、S2和/或S3)。在一些实施例中，Stokes参数S0、S1、S2、S3可以基于光功率根据以下等式(1)计算：
Figure BDA0003467475780000141
在等式(1)中，Stokes参数S0＝PH+PV，这可以指示光的总辐照度。Stokes参数S1＝PH–PV，这可以指示水平线性偏振趋势。Stokes参数S2＝P45–P135，这可以指示45度线性偏振趋势。Stokes参数S3＝PR–PL，这可以指示光的圆偏振趋势。
Stokes参数计算器140可以输出数据S140和S141。数据S140和S141可以包括Stokes参数。偏振参数计算器150可以基于Stokes参数S0、S1和/或S2中的一个或多个来计算线性偏振度(“DOLP”)值和线性偏振角(“AOLP”)值。在一些实施例中，DOLP值和AOLP值可以分别根据以下等式(2)和(3)计算：
Figure BDA0003467475780000142
AOLP＝(1/2)*arctan(S2/S1) (3)
偏振参数计算器150可以输出数据S150和S151。数据S150和S150可以称为偏振参数数据(或数据集)。偏振参数数据S150和S151中的至少一项(例如，每个)可以包括一个或多个DOLP值和/或一个或多个AOLP值。
在一些实施例中，如图1所示，从第一偏振图像传感器120和第二偏振图像传感器121输出的偏振图像数据S120和S121(也可以称为原始图像数据S120和S121)也可以由深度计算器190处理。深度计算器190可以被配置为基于在两个图像数据集S120和S121中物体185的差异(disparity)信息或视差(parallax)信息，来计算物体185的深度信息或深度。差异(disparity)信息或视差(parallax)信息可以基于物体185在由两个图像数据集S120和S121表示的两个图像中的差异(例如，位置差异)或各种距离。深度计算器190可以向特征提取器170输出深度或深度信息(或深度数据)S190。
在一些实施例中，图像构造器160可以被配置为基于原始图像数据S120和S121、包括Stokes参数的数据S140和S141、偏振参数数据S150和S151、和/或深度数据S190来构造一个或多个图像。例如，图像构造器160可以基于数据S140和/或S141构造物体185的S0图像、S1图像、S2图像和/或S3图像。在一些实施例中，图像构造器160可以基于偏振参数数据S150和/或S151来构造物体185的AOLP图像和/或物体185的DOLP图像。在一些实施例中，图像构造器160可以基于深度数据S190以及原始图像数据S120和S121来构造物体185的3D图像。在一些实施例中，图像构造器160可以被配置为基于偏振参数数据S150和S151以及深度数据S190来构造物体185的3D AOLP图像和/或物体185的3D DOLP图像。图像构造器160可以向特征提取器170输出所构造的图像(或所构造的图像数据)S160。
在一些实施例中，特征提取器170可以基于从图像构造器160输出的构造图像数据S160、从偏振参数计算器150输出的偏振参数数据S150和S151、和/或从深度计算器190输出的深度数据S190来提取物体185的特征或特性。
偏振捕获设备100可以从物体185的所捕获图像中获取物体185的偏振信息和深度信息。偏振参数数据S150和S151中包括的偏振信息可以包括DOLP值和/或AOLP值。深度数据S190中包括的深度信息可以基于物体185的两个或更多个捕获图像中的物体185的差异(disparity)信息或视差(parallax)信息来获取。所构造的图像可以包括物体185的可视化偏振信息和/或可视化深度信息。根据物体185的偏振信息和/或深度信息，可以标识物体185的各种特征或特性，诸如物体185的形状、尺寸、纹理、表面取向、表面粗糙度、材料等。
此外，还可以标识物体185的材料的属性，诸如材料的机械属性(应力、瑕疵或缺陷)、光学属性(例如，反射、衍射、折射、透射和/或散射属性)、和声学属性。示例声学属性可以包括吸声系数、声学阻抗、降噪系数、传声等级、A加权声学级标度等。在一些实施例中，特征提取器170可以基于所构造的图像(例如，DOLP图像、AOLP图像、3D图像)来标识物体185的材料。在一些实施例中，存储设备105可以存储反映材料与DOLP值和/或AOLP值之间的已知关系的表或数据库。特征提取器170可以将所计算的DOLP值和/或AOLP值与该表进行比较以标识物体185的材料。在一些实施例中，特征提取器170还可以标识所标识的材料的声学属性，例如，通过将所标识的材料与存储各种已知材料与各种已知声学属性之间关系的表或数据库进行比较。例如，特征提取器170可以标识物体185的形状、纹理、表面粗糙度，并且可以基于所标识的特征确定物体185的材料可以是木材。特征提取器170可以参考存储包括木材在内的各种材料的各种属性的表，以标识物体185的木质材料的声学属性。在一些实施例中，可以通过显示器将物体185的材料的所标识的声学属性呈现给用户。
在一些实施例中，可能难以用肉眼辨别的物体185的较小损坏或缺陷可以基于所捕获图像数据中包括的偏振信息来检测。例如，对于具有光滑表面的机械元件，表面上的任何较小损坏或缺陷(例如，凹痕)都可能在DOLP值和/或AOLP值中表现出来。特征提取器170可以直接基于DOLP值和/或AOLP值、基于所构造的DOLP图像和/或AOLP图像、或者基于物体185的所标识的表面粗糙度特征和/或纹理特征来确定损坏或缺陷。
在一个实施例中，从由两个偏振图像传感器120和121捕获的两个原始图像(或两个图像数据集)S120和S121获取的信息可以由特征提取器170使用以提取物体的特征或特性。可以在特征提取器170中实现各种算法以提取特征。在一些实施例中，可以在特征提取器170中实现诸如K均值聚类方法等无监督学习方法(例如，机器学习方法)以基于例如偏振参数数据S150和S151来处理图像(或图像数据)，该偏振参数数据S150和S151可以包括DOLP值和/或AOLP值、深度数据S190、和/或所构造的图像数据S160。在一些实施例中，特征提取器170可以基于包括DOLP值和/或AOLP值的偏振参数数据S150和S151以及深度数据S190中包括的物体185的深度信息的组合来开发Euclidean距离图。在一些实施例中，处理器155可以包括被配置为获取图像数据S120和S121中包括的每个像素的亮度值的另一计算模块。在一些实施例中，与物体185相关联的AOLP值、DOLP值、亮度值和/或深度可以独立地从由两个偏振图像传感器120和121(或偏振NIR图像传感器)捕获的两个图像(或两个图像数据集S120和S121)中获取。这种信息的任何组合可以输入到在特征提取器170中实现的机器学习系统(例如，卷积神经网络(“CNN”))中以提取物体185的特征或特性，诸如形状、纹理、表面粗糙度、材料等。
在一些实施例中，AOLP值可以在范围[0，180°]内，并且DOLP值可以在范围[0，1]内。在一些实施例中，DOLP值可以指示光中线性偏振的百分比。物体185的深度信息可以基于两个图像数据集S120和S121中的物体185的差异(disparity)信息或视差(parallax)信息来获取。在一些实施例中，偏振捕获设备100可以基于AOLP值和/或DOLP值来检测物体185。在一些实施例中，基于深度信息、DOLP值和/或AOLP值，偏振捕获设备100可以更准确地提取或标识物体185的特征。所标识的特征可以包括物体185的形状、尺寸、纹理、表面取向、表面粗糙度、材料中的至少一种。此外，偏振捕获设备100可以标识物体185的材料的各种属性，诸如材料的机械属性(例如，应力、瑕疵或缺陷)、光学属性(例如，反射、透射、衍射、折射和/或散射)和声学属性。
在一些实施例中，特征提取器170可以计算线性距离或区域中DOLP值、AOLP值、深度信息或轮廓中的至少一个的变化速率。该变化速率还可以用于标识物体的特性或特征。例如，AOLP值可以指示物体是否在阴影内。当场景中存在阴影时，对应相邻像素中的AOLP值可能会发生90度的变化，从而导致AOLP值的明显变化速率。因此，基于AOLP值的所计算的变化速率，特征提取器170可以标识出在场景的所捕获图像中存在阴影并且物体至少部分处于阴影中。
DOLP值、AOLP值或深度信息中的至少一项可以涉及物体185的反射、散射、衍射、折射和/或透射、和/或光吸收特性(即，光学属性)。对于物体185，特定辐照度可以是发射光、反射光、散射光、折射光、衍射光和/或透射光等的组合。特定辐照度也可以反映光的一部分是否已被物体185吸收。发射光、反射光、散射光、折射光、衍射光和透射光中的每个可以具有独特的偏振特征。总辐照度可以是这些光的总和。基于辐照度，特征提取器170可以确定可以用于标识物体的各种特征的DOLP值、AOLP值和深度信息、和/或轮廓。
在一些实施例中，存储设备105可以是非暂态计算机可读存储设备。存储设备105可以与处理器155耦合。在一些实施例中，存储设备105可以包括存储器、硬盘、光盘或任何其他合适的数据存储介质。存储设备105可以被配置为存储由处理器155可执行的数据或信息和/或指令。在一些实施例中，存储设备105可以被配置为存储各种数据，诸如图像数据S120和S121、数据S130和S131、数据S140和S141、数据S150和S151、数据S160和数据S190。在一些实施例中，存储设备105可以存储可以由处理器155执行的计算机可执行指令或代码。当指令由处理器155执行时，处理器155可以执行本文中公开的各种过程(例如，计算)。
在一些实施例中，偏振捕获设备100可以包括光源180。在一些实施例中，光源180可以是NIR光源，该NIR光源被配置为发射波长范围与NIR偏振图像传感器120和121的光谱基本匹配的光。在这种实施例中，第一光谱滤波器110和第二光谱滤波器111可以省略。
图2示出了根据本发明的实施例的偏振捕获系统200。偏振捕获系统200可以包括偏振捕获设备205。在一些实施例中，偏振捕获系统200还可以包括光源210。偏振捕获设备205可以包括第一偏振图像传感器201、第二偏振图像传感器202和处理器203。处理器203可以是图1所示的处理器155的实施例。第一偏振图像传感器201和第二偏振图像传感器202可以分别是图1所示的第一偏振图像传感器120和第二偏振图像传感器121的实施例。在一些实施例中，第一偏振图像传感器201和第二偏振图像传感器202可以被包括在两个单独的相机中，并且可以彼此分开设置。在一些实施例中，第一偏振图像传感器201和第二偏振图像传感器202可以被包括在单个相机中，并且可以彼此分开设置。在一些实施例中，偏振捕获设备205还可以包括光学耦合到相应偏振图像传感器201或202的一个或多个光学透镜。在一些实施例中，偏振捕获系统200可以包括多于两个偏振图像传感器。两个或更多个偏振图像传感器可以被配置为从两个或更多个不同视角捕获物体220的两个或更多个图像(或图像数据集)。
在一些实施例中，第一偏振图像传感器201和第二偏振图像传感器202可以是被配置为从两个不同视角捕获物体220的NIR单色图像的NIR偏振图像传感器。虽然在图2中未示出，但是偏振捕获设备205可以包括分别与第一偏振图像传感器201和第二偏振图像传感器202光学耦合的第一光谱滤波器(例如，类似于第一光谱滤波器110)和第二光谱滤波器(例如，类似于光谱滤波器111)，类似于图1所示的实施例。耦合到相应偏振图像传感器201或202的光谱滤波器可以是NIR光学滤波器，该NIR光学滤波器被配置为允许波长在与相应偏振图像传感器201或202的光谱范围基本匹配的波长范围内的光通过。光谱滤波器可以设置在偏振图像传感器201(或202)与光学透镜之间。在一些实施例中，光源210可以是NIR光源，该NIR光源被配置为发射波长在与NIR偏振图像传感器201和202的光谱基本匹配的波长范围内的光。在这种实施例中，光谱滤波器可以省略。
在一些实施例中，偏振捕获系统205可以包括存储设备295，存储设备295可以是图1所示的存储设备105的实施例。在一些实施例中，偏振捕获设备205还可以包括与处理器203通信耦合的通信设备230。通信设备230可以被配置为通过有线或无线通信与外部设备通信以交换数据。例如，在一些实施例中，通信设备230可以包括通用串行总线(“USB”)端口、Wi-Fi通信模块(包括天线)、Bluetooth通信模块(包括天线)等。在一些实施例中，偏振捕获设备205可以将图像数据和/或其他数据(诸如物体(例如，物体220)的所提取的特征)传输给外部设备或计算机，诸如远程服务器。在一些实施例中，偏振捕获设备205可以从外部设备或计算机接收数据(例如，命令、图像数据、操作参数等)。在一些实施例中，偏振捕获系统200可以启用与物体220有关的数据(例如，图像数据)的离线机器学习或人工智能处理。在一些实施例中，数据或信息可以从外部设备或计算机传输到偏振捕获系统200，诸如存储材料的属性(例如，光学属性、声学属性等)或各种物体的先前标识的特征的表，该特性或特征可以用于标识物体的材料的特征或属性。在一些实施例中，存储材料的光学属性或各种物体的先前标识的特征的表可以通过通信设备230从外部设备或计算机中检索，并且可以存储在存储设备295中。虽然图1中未示出，但是偏振捕获设备100中可以包括类似的通信设备。
光源210可以是任何光源，诸如自然光源(例如，太阳)或人造光源(例如，LED、OLED或激光二极管)。光源210可以被配置为发射光S210以照射物体220。光S210可以具有至少覆盖第一偏振图像传感器201和第二偏振图像传感器202的预定波长频带或范围(或预定光谱)的波长范围。光S210可以被物体220反射、散射、衍射、折射、透射和/或部分吸收或偏振，并且可以变成光S201和S202(为了说明的目的，光S201和S202被示出为反射光)。第一偏振图像传感器201和第二偏振图像传感器202可以分别基于从不同视角接收的光S201和S202来捕获物体220的图像。处理器203可以处理所捕获图像以标识物体220的各种特征、特性和/或属性，类似于以上结合图1描述的过程。
图3示出了根据本发明的另一实施例的偏振捕获设备或系统300的示意图。偏振捕获系统300可以被配置为提供结构光以照射物体，捕获被结构光照射的物体的一个或多个图像，处理一个或多个图像的图像数据以获取物体的偏振信息，并且标识物体的特征，包括物体的材料。偏振捕获系统300还可以标识物体的材料的各种机械、光学或声学属性。结构光照射可以是指具有预定图案(例如，结构光图案)的光照射。偏振捕获设备或系统300可以包括与图1所示的偏振捕获设备或系统100中包括的元素相同或相似的元素。相同或相似元素的描述可以参考结合图1所呈现的描述。
如图3所示，偏振捕获系统300可以包括光谱滤波器310、偏振图像传感器320、处理器355和光源组件380。偏振捕获系统300可以包括其他元件，诸如与处理器355耦合的非暂态计算机可读存储设备395。光源组件380可以发射波长在至少覆盖偏振图像传感器320的预定波长频带或范围(或预定光谱)的波长范围内的光。光源组件380可以提供结构光(例如，结构光图案)以照射物体385。在一些实施例中，光源组件380可以包括被配置为投射结构光(例如，结构光图案)以照射物体385的表面的投影仪。投影仪可以包括自发光显示面板或由外部光源照射的显示面板。在一些实施例中，结构光图案可以包括一系列条纹线、网格或其他合适的图案。
偏振图像传感器320可以类似于图1所示的第一偏振图像传感器120或第二偏振图像传感器121。在一些实施例中，偏振捕获系统300可以包括耦合到偏振图像传感器320以将来自物体385的光聚焦到偏振图像传感器320上的一个或多个光学透镜。偏振图像传感器320可以生成偏振图像数据S320。在一些实施例中，设置在偏振图像传感器320与光学透镜之间的光谱滤波器310可以类似于图1所示的第一光谱滤波器110或第二光谱滤波器111。在一些实施例中，光谱滤波器310可以是NIR光谱滤波器，并且偏振图像传感器320可以是被配置为基于NIR波长范围内的光来捕获物体385的单色图像的NIR偏振图像传感器。从光谱滤波器310输出的滤波后的光表示为S310。在一些实施例中，光源组件380可以是被配置为发射波长范围与NIR偏振图像传感器320的光谱基本匹配的光的NIR光源，并且光谱滤波器310可以省略。
处理器355可以类似于图1所示的处理器155。例如，处理器355可以包括偏振滤波器阵列330、Stokes参数计算器340、偏振参数计算器350、图像构造器360、3D图像数据计算器390和特征提取器370。偏振滤波器阵列330、Stokes参数计算器340、偏振参数计算器350、图像构造器360和特征提取器370可以分别类似于图1所示的偏振滤波器阵列130、Stokes参数计算器140、偏振参数计算器150、图像构造器160和特征提取器170。偏振滤波器阵列330可以输出滤波后的数据S330。在一些实施例中，滤波后的数据S330可以是偏振图像数据(例如，偏振单色图像数据)。Stokes参数计算器340可以输出包括Stokes参数的数据S340。偏振参数计算器350可以生成包括一个或多个DOLP值和/或一个或多个AOLP值的偏振参数数据S350。图像构造器360可以构造图像并且输出所构造的图像数据S360。3D图像数据计算器390可以基于偏振图像数据S320生成3D图像数据S390。
在一些实施例中，物体385(例如，三维(3D)物体)可以设置在参考平面处，该参考平面与光源组件380相距预定距离D。当结构光图案被投射到物体385的表面上时，结构光图案可能被物体385的表面失真。偏振图像传感器320可以捕获物体385的表面的一个或多个图像，其中结构光图案具有失真。即，偏振图像数据S320可以反映结构光图案中的失真。所捕获图像可以由处理器355(例如，由偏振滤波器阵列330、Stokes参数计算器340、偏振参数计算器350、图像构造器360、特征提取器370和/或3D图像数据计算器390)处理。在一些实施例中，多个不同结构光图案可以按时间顺序或同时投射到物体385的表面上，并且偏振图像传感器320可以捕获被相应结构光图案照射的物体385的表面的一个或多个图像。例如，在一些实施例中，3D图像数据计算器390可以基于反映结构光图案的失真的偏振图像数据来计算深度信息。
在一些实施例中，3D图像数据计算器390可以被配置为处理所捕获图像的图像数据(例如，包括指示结构光图案中的失真的数据)，并且确定物体385的表面处的各个点相对于参考平面的空间位置。可以使用各种技术来处理所捕获图像以确定物体385的表面处的点相对于参考平面的空间位置。基于物体385的表面处的点相对于参考平面的所确定的空间位置，可以生成表示物体385的表面的3D图像数据。3D图像数据可以包括所捕获图像中的物体385的深度信息。在一些实施例中，可以基于3D图像数据来重构物体385的3D表面。
此外，处理器355可以被配置为处理(例如，通过偏振参数计算器350)所捕获图像的图像数据以获取物体385的偏振信息，这可以类似于上面结合图1描述的过程。偏振参数数据S350中包括的偏振信息可以包括DOLP值和/或AOLP值。根据表示物体385的偏振信息和/或3D图像数据(其可以包括深度信息)，物体385的各种特征或特性(诸如形状、尺寸、纹理、表面粗糙度、表面取向、物体385的材料等)可以由特征提取器370标识。此外，物体385的材料的光学、机械和/或声学属性也可以由特征提取器370标识。
图4示出了根据本发明的另一实施例的偏振捕获系统400的示意图。偏振捕获设备系统400可以包括与图2所示的偏振捕获系统200中包括的元素相同或相似的元素。相同或相似元素的描述可以参考结合图2所呈现的描述。
如图4所示，偏振捕获系统400可以包括偏振捕获设备405和光源或光源组件410。偏振捕获设备405可以包括偏振图像传感器401、处理器403、存储设备495和通信设备430。处理器403可以是图3所示的处理器355的实施例。偏振图像传感器401可以是图3所示的偏振图像传感器320的实施例。在一些实施例中，偏振捕获设备405还可以包括光学耦合到偏振图像传感器401的一个或多个光学透镜。在一些实施例中，偏振图像传感器401可以是被配置为捕获物体420的NIR单色图像的NIR偏振图像传感器。虽然图4中未示出，偏振捕获设备405可以包括与偏振图像传感器401光学耦合的光谱滤波器(例如，类似于图3所示的光谱滤波器310)，类似于图3所示的实施例。耦合到偏振图像传感器401的光谱滤波器可以是NIR光学滤波器，该NIR光学滤波器被配置为允许波长在与偏振图像传感器401的光谱范围基本匹配的波长范围内的光通过。光谱滤波器可以设置在偏振图像传感器401与光学透镜之间。在一些实施例中，光源410可以是NIR光源，该NIR光源被配置为发射波长范围与NIR偏振图像传感器401的光谱基本匹配的光。在这种实施例中，光谱滤波器可以省略。
在一些实施例中，存储设备495可以是图3所示的存储设备395的实施例。在一些实施例中，通信设备430可以类似于图2所示的通信设备230。通信设备430可以与处理器403通信耦合。通信设备430可以被配置为通过有线或无线通信与外部设备通信以交换数据。例如，在一些实施例中，通信设备430可以包括通用串行总线(“USB”)端口、Wi-Fi通信模块(包括天线)、Bluetooth通信模块(包括天线)等。在一些实施例中，偏振捕获设备405可以将图像数据和/或其他数据(诸如物体420的所提取的特征)传输到外部设备或计算机，诸如远程服务器。在一些实施例中，偏振捕获设备405可以从外部设备或计算机接收数据(例如，命令、图像数据、操作参数等)。在一些实施例中，偏振捕获系统400可以启用与物体420有关的数据(例如，图像数据)的离线机器学习或人工智能处理。在一些实施例中，数据或信息可以从外部设备或计算机传输到偏振捕获系统400，诸如存储材料的属性(例如，光学属性、机械属性、声学属性等)或各种物体的先前标识的特征的表，该特性或特征可以用于标识物体420的材料的特征或属性。在一些实施例中，存储材料的属性或各种物体的先前标识的特征的表可以通过通信设备430从外部设备或计算机中检索，并且可以存储在存储设备495中。
光源410可以是被配置为发射结构光(例如，结构光图案)S410以照射物体420的结构光源。结构光(例如，结构光图案)S410可以具有在至少覆盖偏振图像传感器401的预定波长频带或范围(或预定光谱)的波长范围内的波长。在一些实施例中，光源410可以包括被配置为投射结构光(例如，结构光图案)以照射物体420的表面(例如，3D表面)的投影仪S410。在一些实施例中，结构光图案可以包括一系列条纹线、网格或其他合适的图案。
在一些实施例中，如图4所示，光源410和偏振捕获设备405可以设置在物体420的同一侧。在一些实施例中，物体420可以设置在参考平面450处，并且与光源410和偏振捕获设备405两者或者光源410或偏振捕获设备405中的至少一者相距预定距离D。
当结构光图案被投射到物体420的表面上时，结构光图案可能被物体420的表面失真。结构光S410可以被物体420反射、散射、衍射、折射、透射和/或部分吸收，并且可以变成光S401(为了说明的目的，光S401被示出为反射光)。偏振图像传感器401可以基于光S401捕获物体420的图像，其中结构光图案具有失真。在一些实施例中，光源410可以被配置为按时间顺序或同时将多个不同结构光图案投射到物体420的表面上。偏振图像传感器401可以捕获被相应结构光图案照射的物体385的表面的一个或多个图像。所捕获图像可以由处理器403处理以获取物体420的偏振信息和/或3D图像数据。根据表示物体420的偏振信息和/或3D图像数据，可以由处理器403标识物体385的各种特征或特性，诸如物体420的形状、尺寸、纹理、表面取向、表面粗糙度、材料等。
图5示意性地示出了示出本文中公开的图像捕获和处理过程的流程图。这些过程可以由本文中公开的偏振捕获设备或系统来实行(execute)或执行(perform)。该过程(或方法)可以包括捕获图像数据(步骤510)。在一些实施例中，两个偏振图像传感器(例如，图1和图2所示的那些)可以从不同视角捕获物体的两个图像数据集或图像。该过程(或方法)还可以包括计算偏振参数(步骤520)。例如，可以基于所捕获图像数据计算DOLP和/或AOLP值。在一些实施例中，该过程(或方法)还可以包括计算深度信息(步骤530)。在一些实施例中，可以根据两个图像数据集或图像中物体的差异(disparity)信息或视差(parallax)信息计算物体的深度信息。该过程(或方法)还可以包括提取特征(步骤540)。可以基于所计算的偏振参数和/或深度信息来提取物体的特征或特性。物体的特征或特性可以包括物体的形状、尺寸、纹理、表面粗糙度、表面取向、材料等。
在一些实施例中，该过程(或方法)中的一个或多个步骤可以省略。例如，可以省略步骤530。在一些实施例中，该过程(或方法)还可以包括附加步骤。例如，该过程(或方法)还可以包括基于所计算的Stokes参数、偏振参数和/或深度信息构造图像，诸如物体的S0图像、S1图像、S2图像、S3图像、AOLP图像、DOLP图像、3D图像等。在一些实施例中，该过程(或方法)还可以包括物体的材料的属性，诸如机械属性(例如，应力、瑕疵或缺陷)、光学属性(例如，反射、衍射、折射、透射和/或散射)、声学属性等。
在一些实施例中，在步骤510中，单个偏振图像传感器(例如，图3所示的偏振图像传感器320或图4所示的偏振图像传感器401)可以捕获在结构光照射中的物体的表面的图像数据集或图像。在一些实施例中，可以省略步骤530，该过程(或方法)还可以包括基于所捕获的在结构光照射中的物体的表面的图像数据，来计算物体的表面的3D图像数据。在步骤540中，可以基于所计算的偏振参数和/或3D图像数据提取物体的特征或特性。在一些实施例中，该过程(或方法)还可以包括基于所计算的偏振参数和/或3D图像数据来构造图像，诸如物体的AOLP图像、物体的DOLP图像、物体的3D图像等。
根据本发明的各种实施例的偏振捕获设备或系统在多个领域具有各种应用，这些都在本发明的范围内。例如，这种偏振捕获设备或系统可以在用于目标检测和标识、材料检测、应力检测和可视化、缺陷检测、图像对比度增强、透明物体检测、表面反射减少、深度映射、3D表面重构、机器视觉、生物学等的其他系统中实现。下面将解释近眼显示器(“NED”)中的偏振捕获设备或系统的一些示例性实现。NED已经广泛用于各种应用，诸如航空、工程、科学、医学、计算机游戏、视频、体育、培训和模拟。NED的一种应用是实现增强现实(“AR”)、虚拟现实(“VR”)、混合现实(“MR”)或其组合。
图6A示出了根据本发明的实施例的NED 600的示意图。在一些实施例中，NED 600可以称为头戴式显示器(“HMD”)。NED 600可以被配置为向用户呈现媒体内容。由NED 600呈现的媒体内容的示例可以包括一个或多个图像、视频、音频或其组合。在一些实施例中，音频经由外部设备(例如，扬声器和/或耳机)呈现。NED 600可以用作VR设备、AR设备、MR设备或其组合。在一些实施例中，当NED 600可以用作AR或MR设备时，NED 600的部分及其内部组件可以至少部分透明。
如图6A所示，NED 600可以包括框架610、左显示系统620L和右显示系统620R。在一些实施例中，图6A所示的一个或多个设备可以省略。在一些实施例中，图6A中未示出的一个或多个附加设备或组件也可以被包括在NED 600中。框架610可以包括合适类型的安装结构，该安装结构被配置为将左显示系统620L和右显示系统620R安装到用户的身体部分(例如，头部)(例如，用户的相邻眼睛)。框架610可以耦合到一个或多个光学元件，该光学元件可以被配置为向用户显示媒体内容。在一些实施例中，框架610可以代表一副眼镜框。左显示系统620L和右显示系统620R可以被配置为使得用户能够查看由NED 600呈现的虚拟内容和/或查看真实世界物体的图像。例如，在一些实施例中，左显示系统620L和右显示系统620R中的每个可以包括透视光学元件。在一些实施例中，左显示系统620L和右显示系统620R可以包括任何合适的显示组件(未示出)，该显示组件被配置为生成图像光(代表虚拟图像)并且将图像光导向用户的眼睛。在一些实施例中，左显示系统620L和右显示系统620R各自可以包括被配置为生成虚拟图像(或图像光)的光源组件635。
图6B是根据本发明的实施例的图6A所示的NED 600的一半的截面。出于说明的目的，图6B示出了与NED 600的左显示系统620L相关联的截面图。右显示系统620R的截面图可以类似于与左显示系统620L相关联的截面图。如图6B所示，对于眼睛620，左显示系统620L可以包括用于生成图像光(例如，代表虚拟图像的可见图像光)的光源组件635和用于将由光源组件635生成的图像光传送到眼睛620的光导(或波导)显示组件615。出瞳625可以是当用户佩戴NED600时眼睛620位于眼框区域中的位置。
在一些实施例中，光源组件635可以包括被配置为发射图像光的光源(例如，投影仪)和被配置为调节(例如，包括准直、偏振等)图像光的光学调节设备。在一些实施例中，光导显示组件615可以包括光导或光导堆叠。光导显示组件615还可以包括一个或多个输入耦合元件，该输入耦合元件耦合到(多个)光导并且被配置为将由光源组件635生成的图像光耦合到(多个)光导内部的全内反射(“TIR”)路径中。光导显示组件615还可以包括一个或多个输出耦合元件，该输出耦合元件耦合到(多个)光导并且被配置为将在TIR路径中传播的图像光朝向眼睛620耦合到(多个)光导之外。出于说明的目的，图6B示出了与单个眼睛620和单个光导显示组件615相关联的截面图。在一些实施例中，与图6B所示的光导显示组件615分开并且类似于该光导显示组件615的另一光导显示组件可以被包括在NED 600中以向用户的另一只眼睛的出射瞳孔提供图像光。在一些实施例中，类似于光源组件635的光源组件可以设置在NED 600的另一半处。
NED 600可以包括在光导显示组件615与眼睛620之间的一个或多个光学元件。光学元件可以被配置为例如校正从光导显示组件615发射的图像光中的像差，放大从光导显示组件615发出的图像光，或对从光导显示组件615发出的图像光执行另一种类型的光学调节。NED 600可以包括根据本发明的实施例的偏振捕获设备或系统，诸如图1所示的偏振捕获设备或系统100或者图2所示的偏振捕获设备或系统200。偏振捕获设备或系统可以包括两个或更多个偏振图像传感器(例如，第一偏振图像传感器201和第二偏振图像传感器202)、通信设备(例如，通信设备230)、处理器(例如，处理器203)和存储设备(图6B中未示出)。在一些实施例中，偏振相机或偏振图像传感器201和202可以设置在光导显示组件615的面对真实世界中的物体220的一侧。偏振图像传感器201和202可以被配置为从两个或更多个不同视角捕获物体220或包括物体220的场景的两个或更多个图像(即，表示两个或更多个图像的图像数据)。处理器203可以处理所捕获图像数据以获取物体220的深度信息和/或偏振信息(例如，偏振参数)。处理器203可以精确地确定物体220的各种特征或特性(例如，材料、形状等)，并且标识物体220的各种属性。关于物体220的所提取或标识的特征的信息(包括物体220的材料的各种属性)可以经由显示系统610L呈现给用户。例如，由处理器203获取的与物体220相关的信息可以被传输到光源组件635，光源组件635可以生成包括与物体220相关的信息的呈现的图像光。包括与物体220相关的信息的呈现的图像光可以通过光导显示组件615显示给眼睛620。在一些实施例中，与物体220相关的信息的呈现可以叠加在物体220的图像上，并且物体220的图像和信息的呈现都可以呈现给眼睛620。因此，眼睛620可以看到真实世界中的物体220的图像、以及由处理器203基于由偏振图像传感器201和202获取的图像数据而提取的与物体220相关的信息两者。在一些实施例中，偏振捕获设备或系统还可以包括光源(例如，NIR光源210)，该光源被配置为发射用以照射物体220的光。偏振图像传感器201和202可以基于从在照射中的物体220反射、衍射、透射、折射或散射的光来捕获物体220的图像数据。
图6C示出了根据本发明的另一实施例的图6A所示的NED的一半的截面图的示意图。图6C所示NED的左半部分可以包括与图6B所示的NED的左半部分中包括的元素相同或相似的元素。相同或相似元素的描述可以参考结合图6B所呈现的描述。如图6C所示，NED600可以包括根据本发明的实施例的偏振捕获设备或系统，诸如图3所示的偏振捕获设备或系统300或图4所示的偏振捕获设备或系统400。偏振捕获设备或系统可以包括偏振图像传感器660(其可以是偏振图像传感器320或偏振图像传感器401)、光源组件665(其可以是光源组件380或410)、通信设备(例如，通信设备430)、处理器670(其可以是处理器303或处理器403)、和存储设备(图6C中未示出)。在一些实施例中，偏振图像传感器660可以设置在光导显示组件615的面对真实世界中的物体420的一侧。光源组件665可以提供结构光(例如，结构光图案)以照射设置在参考平面处的物体420的表面。偏振图像传感器660可以被配置为在结构光图案下捕获物体420或包括物体420的场景的一个或多个图像(即，表示一个或多个图像的图像数据)。处理器670可以处理所捕获图像数据以获取物体420的偏振信息(例如，偏振参数)和3D图像数据。处理器670可以基于物体420的所获取的偏振信息(例如，偏振参数)和/或3D图像数据来提取物体420的各种特征或特性。在一些实施例中，处理器670还可以基于物体420的所提取的特征或特性来标识物体420的材料的各种机械、光学和/或声学属性。与物体420的所提取或标识的特征和/或各种属性有关的信息可以经由显示系统610L呈现给用户，类似于上面结合图6B描述的方式。
图7示意性地示出了偏振图像传感器700的分解图。在一些实施例中，偏振图像传感器700也可以称为像素化偏振图像传感器。在一些实施例中，偏振图像传感器700可以被包括在以下各项中或者可以是其实施例：图1所示的第一偏振图像传感器120、图1所示的第二偏振图像传感器121、图2所示的第一偏振图像传感器201、图2所示的第二偏振图像传感器202、图3所示的偏振图像传感器320或图4所示的偏振图像传感器401。
偏振图像传感器700可以包括对准并且堆叠在一起的微透镜阵列720、偏振器阵列730和光电二极管(或像素)阵列740。微透镜阵列720也可以称为片上微透镜阵列。偏振器阵列730也可以称为像素级微偏振器阵列。微透镜阵列720可以包括以矩阵或阵列配置布置的多个透镜725。偏振器阵列730可以包括与微透镜阵列720中的多个透镜的布置相对应布置的多个偏振选择结构735(每个用作微偏振器)。每个偏振选择结构735可以配置有预定偏振轴取向，使得预定偏振的光可以透射通过偏振选择结构，而其他偏振的光可以被阻挡。例如，图7示出了偏振器阵列730可以包括多个2×2阵列。每个2×2阵列可以包括具有垂直偏振轴取向(或方向)(即，90度偏振轴取向)的偏振器735-a、具有45度偏振轴取向的偏振器735-b、具有135度(或-45度)偏振轴取向的735-c、和具有水平偏振轴取向(即，0度偏振轴取向)的偏振器735-d。在一些实施例中，偏振器阵列730可以包括像素化线栅偏振器。光电二极管(或像素)阵列740可以包括与多个偏振选择结构735的布置相对应布置以接收透射通过对应偏振选择结构735的光(例如，偏振光)的多个光电二极管745。在一些实施例中，多个光电二极管745、多个偏振选择结构735和多个透镜725可以具有一一对应关系。对于偏振图像传感器700，每个光电二极管745可以仅接收与耦合到光电二极管745的偏振器的预定偏振轴取向相对应的预定偏振的光。可以由处理器基于所接收的不同偏振的光来获取各种偏振参数。
本说明书的某些部分可以根据对信息的操作的算法和符号表示来描述本发明的实施例。虽然在功能上、计算上或逻辑上描述，但是这些操作可以通过计算机程序或等效电路、微代码等来实现。此外，在不失一般性的情况下，有时也证明将这些操作步骤称为模块是方便的。所描述的操作及其相关联的模块可以体现在软件、固件、硬件或其任何组合中。
本文中描述的任何步骤、操作或过程可以用一个或多个硬件和/或软件模块单独或与其他设备组合来执行或实现。在一个实施例中，软件模块由计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。在一些实施例中，硬件模块可以包括硬件组件，诸如设备、系统、光学元件、控制器、电路、逻辑门等。
本发明的实施例还可以涉及一种用于执行本文中的操作的装置。该装置可以为特定目的而专门构造，和/或可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时的有形的计算机可读存储介质、或适合于存储电子指令的任何类型的介质中，该介质可以耦合到计算机系统总线。非暂态计算机可读存储介质可以是可以存储程序代码的任何介质，例如磁盘、光盘、只读存储器(“ROM”)或随机存取存储器(“RAM”)、电可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、固态磁盘驱动器、智能媒体卡(“SMC”)、安全数字卡(“SD”)、闪存卡等。此外，说明书中描述的任何计算系统可以包括单个处理器或者可以是采用多个处理器以增加计算能力的架构。处理器可以是中央处理单元(“CPU”)、图形处理单元(“GPU”)、或被配置为处理数据和/或基于数据执行计算的任何处理设备。处理器可以包括软件和硬件组件。例如，处理器可以包括硬件组件，诸如专用集成电路(“ASIC”)、可编程逻辑器件(“PLD”)或其组合。PLD可以是复杂的可编程逻辑器件(“CPLD”)、现场可编程门阵列(“FPGA”)等。
此外，当附图中所示的实施例示出单个元素时，应当理解，图中未示出但在本发明的范围内的实施例或另一实施例可以包括多个这种元素。同样，当附图中所示的实施例示出多个这种元素时，应当理解，图中未示出但在本发明的范围内的实施例或另一实施例可以仅包括一个这种元素。图中所示的元素的数目仅用于说明目的，而不应当被解释为限制实施例的范围。此外，除非另有说明，否则附图中所示的实施例并不相互排斥。在说明书中描述和/或在附图中示出的公开的实施例可以以任何合适的方式组合。例如，在一个实施例中(例如，在一个图中)而不是在另一实施例中(例如，在另一图中)所示的元素仍然可以被包括在另一实施例中。在一个实施例中(例如，在一个图中)所示的元素可以重复以形成堆叠配置。不同实施例中(例如，不同附图中)所示的元素可以组合以形成所公开的实施例的变体。不同实施例中所示的元素可以重复和组合以形成所公开的实施例的变体。说明书中提及但图中未示出的元素仍可以被包括在所公开的实施例或所公开的实施例的变体中。
已经描述了各种实施例以说明示例性实现。基于所公开的实施例，本领域普通技术人员可以在不脱离本发明的范围的情况下，做出各种其他的变化、修改、重新布置和替换。因此，虽然已经参考上述实施例详细描述了本发明，但本发明不限于上述实施例。在不脱离本发明的范围的情况下，本发明可以以其他等效形式来体现。本发明的范围在所附权利要求中限定。

Claims (15)

1.一种设备，包括：
第一偏振图像传感器，被配置为从第一视角捕获与物体相关的第一图像数据；
第二偏振图像传感器，被配置为从第二视角捕获与所述物体相关的第二图像数据，所述第二视角不同于所述第一视角；以及
处理器，被配置为基于所述第一图像数据或所述第二图像数据中的至少一项，来获取所述物体的偏振信息或深度信息中的至少一项，并且基于所述偏振信息或所述深度信息中的所述至少一项，来提取所述物体的特征。
2.根据权利要求1所述的设备，其中所述第一偏振图像传感器或所述第二偏振图像传感器中的至少一项是近红外(“NIR”)偏振图像传感器，并且所述第一图像数据或所述第二图像数据中的至少一项是单色图像数据。
3.根据权利要求1或权利要求2所述的设备，还包括光源，所述光源被配置为发射用以照射所述物体的NIR光。
4.根据前述权利要求中任一项所述的设备，其中所述偏振信息包括Strokes参数、线性偏振度(“DOLP”)或线性偏振角(“AOLP”)中的至少一项；并且优选地，其中所述处理器被配置为基于所述Strokes参数、所述DOLP、所述AOLP或所述深度信息中的至少一项来提取所述物体的所述特征。
5.根据权利要求4所述的设备，其中所述处理器还被配置为基于所述第一图像数据或所述第二图像数据中的至少一项，来计算一个或多个Stokes参数；并且优选地，其中所述处理器还被配置为基于所述一个或多个Stokes参数，来计算所述AOLP或所述DOLP中的至少一项。
6.根据权利要求4或权利要求5所述的设备，其中所述处理器还被配置为基于以下至少一项来构造图像：多个Strokes参数值、多个DOLP值、多个AOLP值或所述深度信息。
7.根据前述权利要求中任一项所述的设备，其中所述处理器还被配置为确定所述物体的材料，并且标识所述物体的所述材料的声学属性。
8.根据前述权利要求中任一项所述的设备，其中所述处理器还被配置为使用偏振滤波器阵列来对所述第一图像数据和所述第二图像数据进行滤波，所述偏振滤波器阵列包括与多个偏振取向相关联的多个偏振滤波器。
9.根据前述权利要求中任一项所述的设备，其中所述第一偏振图像传感器或所述第二偏振图像传感器中的至少一项包括：以堆叠配置布置的微透镜阵列、偏振器阵列和像素阵列。
10.一种设备，包括：
偏振图像传感器，被配置为获取与物体相关的图像数据，所述物体被结构光照射；以及
处理器，被配置为基于所述图像数据来获取所述物体的偏振信息或深度信息中的至少一项，并且基于所述偏振信息或所述深度信息中的至少一项来提取所述物体的特征。
11.根据权利要求10所述的设备，还包括：
光源，被配置为发射所述结构光。
12.根据权利要求11或12所述的设备，其中所述偏振图像传感器是近红外偏振图像传感器，并且所述图像数据是单色图像数据；和/或优选地，其中所述处理器还被配置为确定所述物体的材料，并且标识所述物体的所述材料的声学属性。
13.一种方法，包括：
从第一视角捕获与物体相关的第一图像数据；
从第二视角捕获与所述物体相关的第二图像数据，所述第二视角不同于所述第一视角；
基于所述第一图像数据或所述第二图像数据中的至少一项，来获取所述物体的偏振信息或深度信息中的至少一项；以及
基于所述物体的所述偏振信息或所述深度信息中的所述至少一项，来提取所述物体的特征。
14.根据权利要求13所述的方法，其中基于所述物体的所述偏振信息或所述深度信息中的所述至少一项，来提取所述物体的所述特征包括：
确定所述物体的材料，以及
所述方法还包括标识所述物体的所述材料的声学属性。
15.根据权利要求13或权利要求14所述的方法，其中所述偏振信息包括Strokes参数、线性偏振度(“DOLP”)或线性偏振角(“AOLP”)中的至少一项；并且优选地，所述方法还包括：
基于所述第一图像数据或所述第二图像数据中的至少一项，来计算一个或多个Stokes参数；以及
基于所述一个或多个Stokes参数，来计算所述AOLP或所述DOLP中的至少一项。
CN202080050893.4A 2019-09-16 2020-09-16 用于标识物体的特征的偏振捕获设备 Pending CN114128246A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962901260P 2019-09-16 2019-09-16
US201962900909P 2019-09-16 2019-09-16
US62/900,909 2019-09-16
US62/901,260 2019-09-16
US17/016,280 US11431884B2 (en) 2019-09-16 2020-09-09 Polarization capture device for identifying feature of object
US17/016,280 2020-09-09
PCT/US2020/051015 WO2021055434A1 (en) 2019-09-16 2020-09-16 Polarization capture device for identifying feature of object

Publications (1)

Publication Number Publication Date
CN114128246A true CN114128246A (zh) 2022-03-01

Family

ID=74869079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080050893.4A Pending CN114128246A (zh) 2019-09-16 2020-09-16 用于标识物体的特征的偏振捕获设备

Country Status (5)

Country Link
US (1) US11431884B2 (zh)
EP (1) EP4032018A1 (zh)
JP (1) JP2022547646A (zh)
CN (1) CN114128246A (zh)
WO (1) WO2021055434A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376009A (zh) * 2022-06-09 2022-11-22 中国矿业大学(北京) 一种基于偏振影像的阴影植被提取方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7273250B2 (ja) * 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
KR20230116068A (ko) * 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
KR20220133973A (ko) * 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11546508B1 (en) * 2021-07-21 2023-01-03 Black Sesame Technologies Inc. Polarization imaging system with super resolution fusion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959667A (zh) * 2016-07-06 2016-09-21 南京捷特普智能科技有限公司 一种三维图像采集装置及系统
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
US20180100731A1 (en) * 2016-10-07 2018-04-12 Arizona Board Of Regents On Behalf Of The University Of Arizona Depth and/or orientation tracker using division of focal plane polarization and/or color camera
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019089049A1 (en) * 2017-11-06 2019-05-09 Google Llc Systems and methods for improved feature extraction using polarization information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム
DE102018208824B4 (de) * 2018-06-05 2020-08-27 ACS-Solutions GmbH Verfahren zur zerstörungsfreien Untersuchung eines Prüfkörpers mittels Ultraschall

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959667A (zh) * 2016-07-06 2016-09-21 南京捷特普智能科技有限公司 一种三维图像采集装置及系统
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
US20180100731A1 (en) * 2016-10-07 2018-04-12 Arizona Board Of Regents On Behalf Of The University Of Arizona Depth and/or orientation tracker using division of focal plane polarization and/or color camera
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019089049A1 (en) * 2017-11-06 2019-05-09 Google Llc Systems and methods for improved feature extraction using polarization information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376009A (zh) * 2022-06-09 2022-11-22 中国矿业大学(北京) 一种基于偏振影像的阴影植被提取方法及系统

Also Published As

Publication number Publication date
US11431884B2 (en) 2022-08-30
EP4032018A1 (en) 2022-07-27
US20210084206A1 (en) 2021-03-18
WO2021055434A1 (en) 2021-03-25
JP2022547646A (ja) 2022-11-15

Similar Documents

Publication Publication Date Title
US11431884B2 (en) Polarization capture device for identifying feature of object
US11405601B2 (en) Polarization capture device, system, and method
US10606031B2 (en) Imaging apparatus, imaging system that includes imaging apparatus, electron mirror system that includes imaging apparatus, and ranging apparatus that includes imaging apparatus
US11668930B1 (en) Optical hyperfocal reflective systems and methods, and augmented reality and/or virtual reality displays incorporating same
CN114895471B (zh) 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN109597201B (zh) 用于眼睛跟踪系统中的光重定向的菲涅耳组件
CN114766003A (zh) 用于利用偏振增强传感器系统和成像系统的系统和方法
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
US9300931B2 (en) Image pickup system
CN112668540B (zh) 生物特征采集识别系统及方法、终端设备和存储介质
WO2019204479A1 (en) Image reconstruction from image sensor output
CN115516283A (zh) 偏振成像摄像头
US11846500B2 (en) Three-dimensional depth measuring device and method
Murai et al. Surface normals and shape from water
WO2018196394A1 (zh) 显示系统和图像显示方法
EP4276682A1 (en) Biometric acquisition and recognition system and method, and terminal device
Kuo et al. Surface normals and shape from water
CN114326104B (zh) 具有结构光检测功能的扩增实境眼镜
KR20210096517A (ko) RGB-LiDAR 장치 및 그 제어 방법
CN105425526B (zh) 一种基于多个平面反射镜的三维场景获取装置
KR20220078108A (ko) 렌즈 어셈블리 및 이를 포함하는 전자 장치
CN113454988A (zh) 用于照射显示装置的观看者的系统
CN117724240A (zh) 具有面内照明的眼睛追踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information