CN112955904A - 异构成像传感器系统的多图案基准 - Google Patents

异构成像传感器系统的多图案基准 Download PDF

Info

Publication number
CN112955904A
CN112955904A CN201880099446.0A CN201880099446A CN112955904A CN 112955904 A CN112955904 A CN 112955904A CN 201880099446 A CN201880099446 A CN 201880099446A CN 112955904 A CN112955904 A CN 112955904A
Authority
CN
China
Prior art keywords
pattern
imaging
imaging device
fiducial
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099446.0A
Other languages
English (en)
Inventor
V·纳亚克
Y·D·唐
R·S·阿哈维恩
孟浩
B·R·荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN112955904A publication Critical patent/CN112955904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06131—Constructional details the marking comprising a target pattern, e.g. for indicating the center of the bar code or for helping a bar code reader to properly orient the scanner or to retrieve the bar code inside of an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G06K7/10732—Light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/12—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using a selected wavelength, e.g. to sense red marks and ignore blue marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种用于异构成像传感器系统的多图案基准。该多图案基准包括：可由第一电磁能量波长检测的第一图案和可由第二电磁能量波长检测的第二图案。

Description

异构成像传感器系统的多图案基准
背景技术
三维(3D)成像允许给对象进行扫描以获得对象的图形表示，其可经由计算设备和耦合到计算设备的显示设备显示。该图形表示可以是对象的3D模型，其可以使用3D绘图程序或计算机辅助设计和制图程序来操纵。另外，基于红外的检测过程可以被用来检测和跟踪空间中的对象，以用于监视、安全方面的应用以及其他应用。
附图说明
附图图示了本文中所述原理的各种示例，并且是说明书的一部分。所图示的示例仅仅是为了说明而给出的，并不限制权利要求的范围。
图1是根据本文中所述原理的示例的用于异构成像传感器系统的多图案基准（fiducial）的框图。
图2是根据本文中所述原理的示例的异构成像传感器系统的框图。
图3是根据本文中所述原理的示例的异构成像传感器系统的框图。
图4是根据本文中所述原理的示例的异构成像传感器系统的透视图。
图5是根据本文中所述原理的示例的异构成像传感器系统的侧视图。
图6是示出了根据本文中所述原理的示例的检测对象的方法的流程图。
图7是示出了根据本文中所述原理的示例的检测对象的方法的流程图。
图8是示出了根据本文中所述原理的示例的检测对象的方法的流程图。
遍及所有附图，相同的附图标记标明相似但不一定相同的元件。附图不一定是按比例的，并且一些部分的大小可能被放大以更清楚地说明所示示例。此外，附图提供了与描述一致的示例和/或实现方式；然而，该描述不限于附图中提供的示例和/或实现方式。
具体实施方式
3D成像系统可以被用来捕获对象的3D图像，以创建用于显示和/或操纵的对象的数字3D模型。3D模型可以包括超现实纹理，该超现实纹理维持单独的漫射颜色、位移和法线贴图，这些贴图准备好用于渲染和用于例如在增强现实或虚拟现实应用中使用。在3D成像系统中，红外(IR)成像设备或传感器可以被用来捕获对象的3D图像。
如上所述，基于IR的检测和跟踪可以被用于监视、安全和其他应用。当利用IR电磁能量发射设备照射时，一些计算机视觉过程可以被用来使用反射单个特定光谱的电磁能量（诸如IR波长）的材料来识别和跟踪基准。基准的识别和跟踪可以被用于定位和分割前景对象。然而，在包括可见光的其他光谱的信息可能能够帮助这些应用的情况下，仅利用IR成像设备进行检测和跟踪可能不会生成一致的结果。
本文中所述的示例为异构成像传感器系统提供了多图案基准。该多图案基准包括：可由第一电磁能量波长检测的第一图案，和可由第二电磁能量波长检测的第二图案。第一和至少第二图案可以传达不同的信息。该多图案基准可以是基于二维(2D)的基准。该多图案基准可以是基于三维(3D)的基准。
本文中所述的示例还提供了一种异构成像传感器系统。该异构成像传感器系统包括：多图案基准，其包括可由对应数量的电磁能量波长检测的多个图案；第一成像设备，用于感测多个图案中的第一个，第一成像设备检测该数量的电磁能量波长中的第一个；以及第二成像设备，用于感测多个图案中的第二个，第二成像设备检测该数量的电磁能量波长中的第二个。
异构成像传感器系统可以包括：可由异构成像传感器系统的处理设备执行的加权模块，来对在检测多图案基准时第一成像设备的影响和第二成像设备的影响进行加权。加权可以基于信号强度、第一和第二成像设备的方位、第一和第二成像设备的角度、检测到的特征的大小、检测到的特征的量，或它们的组合。加权模块可以使用统计信号分析、用于多模式跟踪的基于概率的预测、传感器融合，或它们的组合。
异构成像传感器系统还可以包括校准模块，该校准模块可由异构成像传感器系统的处理设备执行，以针对成像设备到成像设备的三维(3D)映射来实行基于几何的校准。校准模块还可以实行可见波长信号校准、红外波长信号校准、紫外（UV）信号校准，或它们的组合。
多图案基准可以包括：可由第一和第二成像设备成像的多个多图案基准。该多个多图案基准可以位于第一和第二成像设备的视场内的不同位置。另外，多个多图案基准中的每一个可以包括不同的图案，反射不同电磁辐射波长，或它们的组合。
本文中所述的示例还提供了一种检测对象的方法。该方法可以包括：在对象上放置多图案基准；利用第一成像设备，感测可由第一电磁能量波长检测的多图案基准的第一图案；以及利用第二成像设备，感测可由第二电磁能量波长检测的多图案基准的第二图案。该方法还可以包括：利用可由处理设备执行的加权模块，基于信号强度、第一和第二成像设备的方位、第一和第二成像设备的角度、检测到的特征的大小、检测到的特征的量、统计信号分析、用于多图案跟踪的基于概率的预测、传感器融合或它们的组合，来对在检测多图案基准时第一成像设备的影响和第二成像设备的影响进行加权。
该方法还可以包括：利用可由处理设备执行的校准模块，针对成像设备到成像设备的三维(3D)映射来实行基于几何的校准，以及以最佳信号响应来校准第一成像设备和第二成像设备的设置中的每一个。该方法还可以包括：实行可见波长信号校准、红外波长信号校准、紫外（UV）信号校准，或它们的组合。
遍及说明书，成像设备可以被描述为能够检测电磁辐射的波长。检测电磁辐射波长可以包括检测单个电磁辐射波长、一组电磁辐射波长（即，紫外线波长、可见光波长、红外线波长等）、电磁辐射波长范围，或它们的组合。在一个示例中，可以将检测相似或相同波长的成像设备分组在一起。
现在转向附图，图1是根据本文中所述原理的示例的用于异构成像传感器系统的多图案基准(100)的框图。多图案基准(100)包括：可由多个不同传感器检测的任意数量的图案。多图案基准(100)可以以任何形式呈现，包括采用目标、随机形状、条形码、快速响应（QR）码、其他基准标记或它们的组合的形式。在图1的示例中，基准以棋盘格基准的形式呈现，其中多个格子(101)彼此相邻地定位。
基准(100)内的每个格子(101)可以包括某种形式的所应用特征，诸如油漆、印刷流体或在不同电磁辐射波长下会在基准(100)内产生图案的材料。在图1的示例中，三个不同的特征(101-1、101-2、101-3)可以在基准(100)中形成三种不同的图案。当特征(101-1，101-2，101-3)暴露于不同电磁能量波长时、和/或由以不同的光波长捕获图像的不同图像捕获设备成像时，特征(101-1，101-2，101-3)均是可成像的。例如，当特征(101-1)暴露于红外（IR）电磁辐射波长时，或者当IR成像设备捕获从特征(101-1)反射的电磁波时，特征(101-1)的图案可以是可检测的。类似地，当特征(101-2)暴露于可见电磁辐射波长时，或者当可见波长成像设备捕获从特征(101-2)反射的电磁波时，特征(101-2)的图案可以是可检测的。另外，当特征(101-3)暴露于紫外（UV）电磁辐射波长时，或者当UV波长成像设备捕获从特征(101-3)反射的电磁波时，特征(101-3)的图案可以是可检测的。尽管三种类型的特征(101-1，101-2，101-3)被描绘为每个都由格子(101)界定，但是每一个图案可以采取单独且不同的形状或形式，并且，在一个示例中，单独且不同的形状或形式可以彼此重叠。在一个示例中，当不同特征(101-1，101-2，101-3)暴露于多个电磁能量波长时、和/或在由以不同或相同电磁能量波长捕获图像的不同图像捕获设备成像时，不同特征(101-1，101-2，101-3)中的每一个都可以是可成像的。
特征(101-1，101-2，101-3)的图案均包括：可以存储在存储器中的预定或预定义图案。因此，由每个单独特征(101-1，101-2，101-3)形成的图案及其相应的反射电磁辐射波长是已知的和可检测的。特征(101-1，101-2，101-3)的图案可以向成像设备和通信地耦合到成像设备的任何计算设备传达关于基准的位置的信息，并且进而传达关于成像设备与基准(100)的角度和距离的信息。由特征(101-1，101-2，101-3)形成的每一个图案可以传达相同的信息，或者可以传达不同的信息。另外，由特征(101-1，101-2，101-3)形成的不同图案帮助异构成像传感器系统增加成像设备从基准(100)检测到的任何信号电平与背景噪声电平之间的信噪比（SNR）。
在本文中所述的示例中，基准(100)可以包括：传达电磁光谱内不同电磁辐射范围的不同信息的图案，基准(100)可以包括对不同光谱范围的不同灵敏度，基准(100)可以提供相同信息，但是在不同光谱范围内提供，或者基准(100)可以提供它们的组合。这些示例提供了更高的信噪比（SNR）。SNR是一种将期望信号电平与背景噪声电平进行比较的度量。SNR被定义为信号功率与噪声功率的比率，通常用分贝表示。SNR高于1:1指示信号多于噪声。在电磁光谱内的第一波长处，信号可能较弱，具有相对较低的SNR。然而，在电磁光谱内的第二波长处，信号可能很强，并且第二波长的强度可以有助于增强SNR。以这种方式，使用多图案基准(100)的异构成像传感器系统可以增强SNR，并且进而增强校准其成像设备的能力，并且提供更精确和更准确的图像处理，诸如3D成像、对象检测、对象跟踪、用于对象跟踪的前景检测和分割，以及对象可以在3D空间中成像的其他成像过程。
例如，一些基于光学的检测和跟踪系统可以利用深度成像设备，该深度成像设备使用IR波长的光生成图像中的深度。这种类型的使用反射图案的跟踪对于检测电磁光谱特定部分（即，红外线）中的电磁辐射的特定成像设备是有效的，但在SNR可能显著下降的特定姿态和/或角度条件下可能不是鲁棒的。该相同的现象可能发生在身体部位跟踪实现方式中，其中当用户的身体在空间中移动时，使用IR传感器和IR反射图案来跟踪用户的身体。然而，如果能够感测电磁光谱内不同波长的多个成像设备与IR传感器一起使用，则这些多个成像设备可以以异构的方式相互补充以增加SNR。因此，图1中描绘的基准(100)提供了在校准和成像过程中采用几种不同的电磁辐射波长。
在一个示例中，由特征(101-1，101-2，101-3)形成的不同图案可以在两个或更多个单独的电磁辐射光谱中传达不同的信息，使得在信号的相同空间编码中，可以传达两倍的信息。能够以这种方式传达更多的信息提供了异构成像传感器系统内更密集的数据传递。
图2是根据本文中所述原理的示例的异构成像传感器系统(200)的框图。在图2中，第一成像设备(110)和第二成像设备(111)可以被包括在异构成像传感器系统(200)中。尽管在图2中描绘了两个成像设备(110，111)，但可以包括任何多个成像设备，使得异构成像传感器系统(200)可以包括2至N个成像设备。两个成像设备(110，111)可以是单独的或集成的。在一个示例中，每个成像设备(110，111)检测不同电磁辐射波长。在另一个示例中，异构成像传感器系统(200)中的多个成像设备(110，111)可以检测相同或相似电磁辐射波长，并且至少一个其他成像设备(110，111)可以检测不同电磁辐射波长。
通过可检测的电磁辐射波长，成像设备(110，111)可以检测伽马射线、紫外(UV)波长、可见波长、红外(IR)波长、微波和无线电波。更具体地，成像设备(110，111)可以检测伽马射线(波长(λ)近似为1皮米(pm))、硬x射线(λ近似为几十皮米至几百皮米)、软x射线(λ近似为几百皮米至几十纳米(nm))、极紫外波长(λ近似为几十纳米至几百纳米)、近紫外波长(λ近似为几百纳米至1微米(μm))、可见光谱波长(λ近似为400 nm至700 nm)、近红外线(λ近似为1 μm至几十微米)、中红外线(λ近似为几十微米至几百微米)、远红外线(λ近似为几百微米至1毫米(mm))，以及微波和无线电波，包括极高频率(EHF)波长(λ近似为1 mm至1厘米(cm))、超高频(SHF)波长(λ近似为1 cm至1分米(dm))、超高频(UHF) (λ近似为1 dm至1米(m))、甚高频(VHF) (λ近似为1 m至几十米)、高频(HF) (λ近似为几十米至几百米(m))、中频(MF) (λ近似为几百米至1 km)、低频(LF) (λ近似为1 km至几十公里)、甚低频(VLF) (λ近似为几十公里至几百公里)，以及超低频(ULF)波长(λ近似为几百公里至1兆米（megameter，Mm）)、超低频波长(SLF) (λ近似为1 Mm至几十兆米)，以及极低频波长(ELF)(λ近似为几十兆米至几百兆米)。
例如，第一成像设备(110)可以能够检测红外线中的电磁辐射波长，并且第二成像设备(111)可以能够检测可见光谱中的电磁辐射波长。在该示例中，在SNR可能显著降低的某些方位和角度下，单独的IR检测第一成像设备(110)可能不够鲁棒。通过创建包括来自第一和第二成像设备(110，111)的IR和可见光谱数据的异构信号，检测可见波长的第二成像设备(111)可以能够通过补充第一成像设备(110)捕获的图像来增加SNR。以这种方式，SNR增加，并且成像对象的分辨率和细节大大增加。因此，多图案基准(100)的不同图案可以由多个不同的成像设备检测。关于成像设备(110，111)的异构性质及其在检测多图案基准(100)的不同图案中的作用的更多细节在本文中结合图3至图5进行描述。
图3是根据本文中所述原理的示例的异构成像传感器系统(200)的框图。图4是根据本文中所述原理的示例的异构成像传感器系统(200)的透视图。图5是根据本文中所述原理的示例的异构成像传感器系统(200)的侧视图。图3至图5的异构成像传感器系统(200)是用于导出放置在成像设备的视场中的对象的3D模型的多成像设备扫描系统，该系统包括第一(110)、第二(111)、第三(112)和第N(113)成像设备。第N成像设备(113)指示能够检测任何对应的不同的光波长的任何数量的成像设备，其可以被包括在异构成像传感器系统(200)内。成像设备(110，111，112，113)在空间内的方位被校准，使得由成像设备(110，111，112，113)对放置在其视角内的对象进行成像而得到的3D图像将尽可能准确和精确。至少一个多图案基准(100)被放置到或集成到触敏垫(114)上，在该触敏垫上扫描3D对象(250)，并且成像设备(110，111，112，113)使用至少一个多图案基准(100)来识别成像设备(110，111，112，113)在空间中相对于至少一个多图案基准(100)和任何目标对象(250)的位置。
异构成像传感器系统(200)可以在电子设备中实现。电子设备的示例包括：服务器、台式计算机、膝上型计算机、个人数字助理(PDAs)、移动设备、智能电话、游戏系统和平板设备，以及其他电子设备。另外，异构成像传感器系统(200)可以用于任何数据处理场景，包括独立硬件、移动应用、通过计算网络，或它们的组合。仍进一步，异构成像传感器系统(200)可以被用于计算网络、公共云网络、私有云网络、混合云网络、其他形式的网络，或它们的组合。在一个示例中，由异构成像传感器系统(200)提供的方法由例如第三方作为网络上的服务来提供。在此示例中，该服务可以包括，例如，以下内容：托管多个应用的软件即服务(SaaS)；托管计算平台的平台即服务(PaaS)，包括例如操作系统、硬件和存储，以及其他的；托管设备的基础设施即服务(IaaS)，诸如例如服务器、存储组件、网络和组件，以及其他的；应用程序接口(API)即服务(APIaaS)、其他形式的网络服务，或它们的组合。本系统可以在一个或多个硬件平台上实现，其中系统中的模块可以在一个平台上执行或跨多个平台执行。这样的模块可以运行在各种形式的云技术和混合云技术上，或者作为SaaS(软件即服务)提供，该SaaS可以在云上或云外实现。在另一个示例中，由异构成像传感器系统(200)提供的方法由本地管理员执行。
为了实现其期望的功能，异构成像传感器系统(200)包括各种硬件组件。在这些硬件组件当中的可以是处理器(101)、数据存储设备(102)、外围设备适配器(103)、网络适配器(104)、显示设备(109)、触敏垫(114)、光投影设备(130)、第一成像设备(110)、第二成像设备(111)、第三成像设备(112)和第N成像设备(113)。这些硬件组件可以通过使用多个总线和/或网络连接来互连，诸如经由总线(105)，它们通过总线(105)通信地耦合。
处理器(101)可以包括：硬件架构，用于从数据存储设备(102)检索可执行代码，并且执行该可执行代码。当由处理器(101)执行时，可执行代码可以使处理器(101)至少实现以下功能：将不同波长的光投射到放置在触敏垫(114)上的对象上，使用成像设备(110，111，112，113)给对象成像，对定义了由成像设备(110，111，112，113)捕获的图像的数据施加权重，校准成像设备(110，111，112，113)，以及实行根据本文中所述的本说明书的方法的其他功能。在执行代码的过程中，处理器(101)可以从多个剩余硬件单元接收输入，并且向其提供输出。
数据存储设备(102)可以存储数据，诸如由处理器(101)或其他处理设备执行的可执行程序代码。如将要讨论的，数据存储设备(102)可以具体存储表示处理器(101)执行以实现至少本文中所述的功能的多个应用的计算机代码。数据存储设备(102)可以包括各种类型的存储器模块，包括易失性和非易失性存储器。例如，本示例的数据存储设备(102)包括：随机存取存储器（RAM）(106)、只读存储器（ROM）(107)和硬盘驱动器（HDD）存储器（108）。也可以利用许多其他类型的存储器，并且本说明书设想在数据存储设备(102)中使用许多不同（一个或多个）类型的存储器，如同可以适合于本文中所述原理的特定应用那样。在某些示例中，数据存储设备(102)中的不同类型的存储器可以被用于不同的数据存储需求。例如，在某些示例中，处理器(101)可以从只读存储器（ROM）(107)启动（boot），维护硬盘驱动器（HDD）存储器(108)中的非易失性存储，并且执行存储在随机存取存储器（RAM）(106)中的程序代码。
数据存储设备(102)可以包括计算机可读介质、计算机可读存储介质或非暂时性计算机可读介质，以及其他的。例如，数据存储设备(102)可以是但不限于电子、磁、光、电磁、红外线或半导体系统、装置或设备，或前述内容的任何合适的组合。例如，计算机可读存储介质的更具体的示例可以包括以下内容：具有多条线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式紧凑盘只读存储器（CD-ROM）、光存储设备、磁存储设备或前述内容任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的计算机可用程序代码的任何有形介质。在另一个示例中，计算机可读存储介质可以是能够包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的任何非暂时性介质。
异构成像传感器系统(200)中的外围适配器(103)和网络适配器(104)使得处理器(101)能够与异构成像传感器系统(200)外部和内部的各种其他硬件元件对接。例如，外围设备适配器(103)可以向输入/输出设备提供接口，该输入/输出设备诸如例如是显示设备(109)、鼠标或键盘。外围设备适配器(103)还可以提供对其他外部设备的访问，该外部设备诸如是外部存储设备、多个网络设备（诸如例如服务器、交换机和路由器）、客户端设备、其他类型的计算设备，以及它们的组合。外围设备适配器(103)还可以在处理器(101)和显示设备(109)、打印机、或其他媒体输出设备之间创建接口。网络适配器(104)可以向例如网络内的其他计算设备提供接口，从而使得能够在异构成像传感器系统(200)和位于网络内的其他设备之间传输数据。
可以提供显示设备(109)，以允许异构成像传感器系统(200)的用户与异构成像传感器系统(200)交互并实现其功能。例如，显示设备(109)可以显示由计算设备(200)成像的对象的3D模型或其他表示，允许用户在成像过程或校准过程期间与异构成像传感器系统(200)对接，执行与捕获图像的操纵相关联的编程，并且向异构成像传感器系统(200)提供指令以实行本文中所述的方法。显示设备(109)的示例包括：计算机屏幕、触摸屏、膝上型计算机屏幕、移动设备屏幕、个人数字助理(PDA)屏幕和平板设备屏幕，以及其他类型的显示设备(109)。
当由处理器(101)执行时，异构成像传感器系统(200)可以在显示设备(109)上显示多个图形用户界面（GUI），其与表示存储在数据存储设备(102)上的多个应用的可执行程序代码相关联。
触敏垫(114)可以是任何设备，通过该设备，用户可以与放置在触敏垫(114)上的对象交互，向异构成像传感器系统(200)输入指令，与由光投影设备(130)投影到触敏垫(114)上的图像交互，通过放置在其上的多图案基准(100)来校准成像设备(110，111，112，113)，并且实行如本文中所述的其他功能。以这种方式，垫(114)的触敏性质允许各种各样类型的用户与异构成像传感器系统(200)进行交互。
光投影设备(130)可以被用来将所捕获对象的图像投影到触敏垫(114)的表面上，以供用户与其进行交互以及进行操纵。另外，光投影设备(130)可以能够将各种各样的光波长投影到触敏垫(114)和多图案基准(100)上，以便校准成像设备(110，111，112，113)在空间内的方位。由光投影设备(130)产生的各种电磁辐射波长可以与成像设备(110，111，112，113)可以捕获的电磁辐射波长对准。
异构成像传感器系统(200)进一步包括：用于实现本文中所述的异构成像传感器系统(200)的功能的多个模块。异构成像传感器系统(200)内的各种模块包括：可以单独执行的可执行程序代码。在该示例中，各种模块可以被存储为单独的计算机程序产品。在另一个示例中，异构成像传感器系统(200)内的各种模块可以在多个计算机程序产品内进行组合；每个计算机程序产品包括多个模块。
异构成像传感器系统(200)可以包括加权模块(115)，当由处理器(101)执行时，该加权模块(115)将加权估计过程应用于由成像设备(110，111，112，113)收集的数据。在一些示例中，异构成像传感器系统(200)周围的环境照明、或影响成像设备(110，111，112，113)有效捕获图像的能力的其他环境方面可以改变。因此，异构成像传感器系统(200)的异构性质提供了融合从成像设备(110，111，112，113)获得的不同数据集的能力，以通过多图案基准(100)捕获被放置在垫(114)上的对象的图像、和/或校准成像设备(110，111，112，113)。因此，在图1的示例中，通过增加SNR来检测格子(101)的角部或边缘，加权过程可以被用来增加多图案基准(100)中的对比度。在电磁辐射的可见光谱中，作为可见光谱成像设备的第一成像设备(110)可能难以完全捕获格子(101)之间的高对比度。因此，在该示例中，第二(111)、第三(112)或第N(113)成像设备也可以捕获多图案基准(100)的图像，该图像包括IR光谱、UV光谱或另一个电磁辐射光谱中的信息，并且在这些其他光谱中获得的数据可以被加权以提供从成像设备(110，111，112，113)获得的总体数据的更高对比度分量。
对来自不同成像设备(110，111，112，113)的不同捕获图像进行的加权可以基于不同捕获图像的分辨率、不同捕获图像的对比度、不同捕获图像的其他特性，以及它们的组合，以允许在不同捕获图像之一具有期望特性的情况下对该一个捕获图像施加更高的权重。因此，加权可以基于信号强度、成像设备(110，111，112，113)相对于垫(114)对象或彼此的方位、成像设备(110，111，112，113)的角度、检测到的特征的大小、检测到的特征的量，或它们的组合。
在一个示例中，加权模块(115)对从成像设备(110，111，112，113)获得的不同数据集自动加权，以获得合期望的图像。在另一个示例中，加权模块可以在显示设备(109)上向用户呈现图形用户界面(GUI)，用户可以与该图形用户界面交互以允许用户调整对从成像设备(110，111，112，113)获得的不同数据集的加权。
加权模块(115)可以使用统计信号分析、用于多图案跟踪的基于概率的预测、从成像设备(110，111，112，113)获得的数据的融合，或它们的组合，来对从成像设备(110，111，112，113)获得的不同信号进行加权。以这种方式，加权模块(115)可以有助于产生尽可能精确和准确的扫描对象的图像。
异构成像传感器系统(200)还可以包括：校准模块(116)，当由处理器(101)执行时，用于校准不同成像设备(110，111，112，113)中的每一个的固有参数，并且校准成像设备(110，111，112，113)的定位（即，外在校准）。校准模块(116)可以针对成像设备到成像设备的三维(3D)映射实行基于几何的校准，并且针对成像设备(110，111，112，113)要捕获的电磁辐射波长实行波长信号校准。
例如，成像设备(110，111，112，113)的固有参数的校准包括：成像设备(110，111，112，113)的光学响应，诸如焦距和成像角度之类的参数，以及在成像设备(110，111，112，113)以电磁辐射的可见波长捕获图像的情况下的颜色校准。在一个示例中，成像对象可以包括对于捕获可见电磁辐射的成像设备(110，111，112，113)来说难以适当捕获的颜色。在该示例中，具有UV和/或IR能力的成像设备(110，111，112，113)也可以捕获对象的图像，并且向整体数据集提供附加数据，以增加对象的分辨率、对比度或其他特性。
对成像设备(110，111，112，113)的定位的校准可以包括：通过对多图案基准(100)进行成像，识别每一个成像设备(110，111，112，113)在空间中的位置，识别成像设备(110，111，112，113)相对于例如触敏垫(114)上的多图案基准(100)的成像角度，以及相对于彼此识别每一个成像设备(110，111，112，113）。对成像设备(110，111，112，113)的外在参数(诸如它们的定位)的校准确保了被扫描对象的尺寸和取向是精确和准确的。另外，对成像设备(110，111，112，113)的外在参数（诸如它们的定位）的校准确保了3D扫描的对象的融合图像的对准相对于其在空间中相对于成像设备(110，111，112，113)的方位是正确的。
转到图4和图5，异构成像传感器系统(200)可以包括：位于触敏垫(114)上的多图案基准(100)。即使在垫(114)上描绘了一个多图案基准(100)，垫(114)上也可以包括任何数量的基准(100)，以允许成像设备(110，111，112，113)在异构成像传感器系统(200)内更精确地定位。在多个多图案基准(100)被放置在垫(114)上的示例中，多个多图案基准(100)可以均具有传达不同信息的不同图案，或者多个多图案基准(100)可以均具有传达相同信息的相同图案。可由成像设备(110，111，112，113)成像的多个多图案基准(100)可以位于第一和第二成像设备的视场内的不同位置，并且可以均包括不同的图案、反射不同电磁辐射波长，或它们的组合。
异构成像传感器系统(200)的多图案基准(100)可以在其以不同的电磁辐射光谱范围进行反射的格子(101)的图案内传达不同的信息，可以对不同光谱范围具有不同的灵敏度，或者可以在其以不同的电磁辐射光谱范围进行反射的格子(101)的图案内传达相同的信息，如本文中所述。另外，平面和非平面(三维)基准两者都可以被包括在异构成像传感器系统(200)内。对象(250)可以呈现在成像设备(110，111，112，113)的视野中，以用于成像或用于校准目的。在一个示例中，对象(250)还可以包括其上包括的基准(100)的3D版本。在该示例中，3D基准(100)可以被用来识别对象(250)的形状，或者可以被用来在给对象(250)成像时帮助异构成像传感器系统(200)，以创建对象(250)的3D模型。
由多图案基准(100)反射的不同的电磁辐射光谱范围可以由成像设备(110，111，112，113)检测，并且由成像设备(110，111，112，113)捕获的图像可以被组合，以创建提供更高SNR的图像，该SNR高于通过使用成像设备(110，111，112，113)中的单个成像设备可以获得的SNR。另外，在多图案基准(100)在其以不同的电磁辐射光谱范围进行反射的格子(101)的图案内传达不同信息的示例中，可以在相同的空间占位面积内、但在不同的电磁辐射波长中传达大量信息。这允许向异构成像传感器系统(200)提供更大量的数据，而无需在异构成像传感器系统(200)中包括附加的基准。
图6是示出了根据本文中所述原理的示例的检测对象的方法的方法(600)的流程图。该方法(600)可以包括在对象上放置(框601)多图案基准(100)。在2D多图案基准(100)的情况下，这种情况下的对象可以是垫(114)，或者对象可以是在其表面上包括多图案基准(100)的3D对象(250)。
方法(600)还可以包括：利用第一成像设备(110，111，112，113)，感测(框602)可由第一电磁能量波长检测的多图案基准(100)的第一图案，并且利用第二成像设备(110，111，112，113)，感测(框603)可由第二电磁能量波长检测的多图案基准(100)的第二图案。以这种方式，可以从多图案基准(100)以至少两个不同的电磁辐射波长捕获基准的至少两个单独的图像。
图7是示出了根据本文中所述原理的示例的检测对象的方法的方法(700)的流程图。该方法(700)可以包括：在对象上放置(框701)多图案基准(100)。在2D多图案基准(100)的情况下，这种情况下的对象可以是垫(114)，或者对象可以是在其表面上包括多图案基准(100)的3D对象(250)。
方法(700)还可以包括：利用第一成像设备(110，111，112，113)，感测(框702)可由第一电磁能量波长检测的多图案基准(100)的第一图案，并且利用第二成像设备(110，111，112，113)，感测(框703)可由第二电磁能量波长检测的多图案基准(100)的第二图案。以这种方式，可以从多图案基准(100)以至少两个不同的电磁辐射波长捕获基准的至少两个单独的图像。
方法(700)还可以包括：利用可由处理设备(101)执行的加权模块(115)，基于信号强度、第一和第二成像设备(110，111，112，113)的方位、第一和第二成像设备(110，111，112，113)的角度、检测到的特征的大小、检测到的特征的量、统计信号分析、用于多模式跟踪的基于概率的预测、传感器融合或它们的组合，来对在检测多图案基准(100)时第一成像设备(110，111，112，113)的影响和第二成像设备(110，111，112，113)的影响进行加权(框704)。
另外，图7的方法(700)可以包括：利用可由处理设备(101)执行的校准模块(116)，针对感测设备到感测设备的三维(3D)映射来实行(框705)基于几何的校准，并且实行(框706)可见波长信号校准、红外波长信号校准、紫外(UV)信号校准，或它们的组合，以及以最佳信号响应校准每个成像设备的设置。以最佳信号响应校准每个成像设备(110，111，112，113)的设置包括：为每一个成像设备(110，111，112，113)设置曝光时间。
图8是示出了根据本文中所述原理的示例的检测对象的方法(800)的流程图。方法(800)可以覆盖指示两个或更多个成像设备(110，111，112，113)检测多图案基准(100)内的相同图案以便于增加检测到该相同图案的信噪比(SNR)的情况。方法(800)可以包括在对象上放置(框801)多图案基准(100)。在2D多图案基准(100)的情况下，这种情况下的对象可以是垫(114)，或者对象可以是在其表面上包括多图案基准(100)的3D对象(250)。
可以指示第一成像设备(110)以第一电磁能量波长感测(框802)多图案基准(100)的第一图案。该第一图案可以是在由第一特征(101-1)组成的多图案基准(100)内形成的图案。另外，在该示例中，第一成像设备(110)可以在构成可见光谱的电磁能量波长下感测第一图案。
可以指示第二成像设备(111)以第二电磁能量波长感测(框803)多图案基准(100)的第一图案。以这种方式，第二成像设备(111)检测到多图案基准(100)内与第一成像设备(110)检测到的图案相同的图案。在该示例中，第二成像设备(111)可以在组成红外(IR)光谱的电磁能量波长下感测第一图案。
为了增加由多个成像设备(110，111)检测到的SNR，当由处理设备(101)执行时，加权模块(115)可以基于第一信号和第二信号的SNR，对从第一成像设备(110)接收的第一信号和从第二信号设备(111)接收的第二信号应用(框804)更高的权重。换句话说，具有较高SNR的信号可以由加权模块(115)接收较高的加权。例如，如果由第二成像设备(111)检测的第二信号具有比由第一成像设备(110)检测的第一信号更高的SNR，则加权模块(115)可以将第二信号进行更高的加权。这改进了由成像设备(110，111)成像的整个多图案基准(100)的SNR。尽管在图8的方法中，在使用第一成像设备(110)和第二成像设备(111)时，任何数量的成像设备(110，111，112，113)可以被包括在方法(800)中，并且它们各自的信号可以由加权模块(115)进行比较，并且基于它们各自的SNR被分配权重。
方法(800)还可以包括：确定(框805)是否存在可以被检测的多图案基准(100)的其他图案。如果要检测其他图案，诸如由单个特征(101-1，101-2，101-3)或特征(101-1，101-2，101-3)的组合形成的多图案基准(100)中的图案(框805，确定“是”)，则方法(800)可以循环回到框802，在框802，可以根据框802至804检测和处理后续图案。如果没有检测到其他图案(框805，确定“否”)，则方法(800)可以终止。在一个示例中，图8的方法(800)可以与本文中所述的其他方法进行组合。
本文中参考根据本文中所述原理的示例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本系统和方法的各方面。流程图图示和框图的每个框、以及流程图图示和框图中的框的组合可以通过计算机可用程序代码来实现。计算机可用程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器来产生机器，使得计算机可用程序代码在经由例如计算设备(200)或其他可编程数据处理装置的处理器(101)执行时，实现流程图和/或框图的一个或多个框中指定的功能或动作。在一个示例中，计算机可用程序代码可以体现在计算机可读存储介质中；该计算机可读存储介质是计算机程序产品的一部分。在一个示例中，计算机可读存储介质是非暂时性计算机可读介质。
说明书和附图描述了用于异构成像传感器系统的多图案基准。该多图案基准包括：可由第一电磁能量波长检测的第一图案，和可由第二电磁能量波长检测的第二图案。说明书和附图还描述了异构成像传感器系统，该异构成像传感器系统包括：多图案基准，该多图案基准包括可由对应数量的电磁能量波长检测的多个图案；用于感测多个图案中的第一个的第一成像设备，该第一成像设备检测该数量的电磁能量波长中的第一个；以及用于感测多个图案中的第二个的第二成像设备，该第二成像设备检测该数量的电磁能量波长中的第二个。
本文中所述的系统和方法提供了在环境或照明变化下鲁棒的多图案目标，并且可以同时或交替地利用强信号实现对对象或身体部位的连续和一致的跟踪，假设每个传感器可以识别目标的该域的其自己的唯一图案。本文中所述的系统和方法还提供了利用多传感器融合来给对象进行3D扫描，其创建了对象的高级3D模型图像。
呈现前面的描述来说明和描述所描述原理的示例。该描述并不意图穷举或将这些原理限制到所公开的任何精确形式。鉴于上述教导，许多修改和变化是可能的。

Claims (15)

1.一种用于异构成像传感器系统的多图案基准，其包括：
可由第一电磁能量波长检测的第一图案；以及
可由第二电磁能量波长检测的至少第二图案。
2.根据权利要求1所述的多图案基准，其中，第一图案和至少第二图案传达不同的信息。
3.根据权利要求1所述的多图案基准，其中，多图案基准是基于二维(2D)的基准。
4.根据权利要求1所述的多图案基准，其中，多图案基准是基于三维(3D)的基准。
5.一种异构成像传感器系统，其包括：
多图案基准，其包括可由对应数量的电磁能量波长检测的多个图案；
第一成像设备，用于感测多个图案中的第一个，第一成像设备检测所述数量的电磁能量波长中的第一个；以及
第二成像设备，用于感测多个图案中的第二个，第二成像设备检测所述数量的电磁能量波长中的第二个。
6.根据权利要求5所述的异构成像传感器系统，其包括：加权模块，其可由异构成像传感器系统的处理设备执行，来对在检测多图案基准时第一成像设备的影响和第二成像设备的影响进行加权。
7.根据权利要求6所述的异构成像传感器系统，其中，加权基于信号强度、第一和第二成像设备的方位、第一和第二成像设备的角度、检测到的特征的大小、检测到的特征的量，或它们的组合。
8.根据权利要求6所述的异构成像传感器系统，其中，加权模块使用统计信号分析、用于多图案跟踪的基于概率的预测、传感器融合，或它们的组合。
9.根据权利要求5所述的异构成像传感器系统，其包括：校准模块，其可由异构成像传感器系统的处理设备执行，以针对成像设备到成像设备的三维(3D)映射来实行基于几何的校准，并且以最佳信号响应实行对每个成像设备的设置的校准，以实行可见波长信号校准、红外波长信号校准、紫外（UV）信号校准，或它们的组合。
10.根据权利要求5所述的异构成像传感器系统，其中：
第一成像设备和第二成像设备在所述数量的电磁能量波长中的第一个和所述数量的电磁能量波长中的第二个处感测多图案基准的相同图案，以增加信噪比（SNR），
其中，异构成像传感器系统基于第一信号和第二信号的SNR，以更高的权重对从第一成像设备接收的第一信号和从第二成像设备接收的第二信号进行加权。
11.根据权利要求5所述的异构成像传感器系统，其中，多图案基准包括：可由第一和第二成像设备成像的多个多图案基准，其中：
多个多图案基准位于第一和第二成像设备的视场内的不同位置，
多个多图案基准中的每一个包括不同的图案，反射不同电磁辐射波长，或它们的组合。
12.一种检测对象的方法，其包括：
在对象上放置多图案基准；
利用第一成像设备，感测可由第一电磁能量波长检测的多图案基准的第一图案；以及
利用第二成像设备，感测可由第二电磁能量波长检测的多图案基准的第二图案。
13.根据权利要求12所述的方法，其包括：利用可由处理设备执行的加权模块，基于信号强度、第一和第二成像设备的方位、第一和第二成像设备的角度、检测到的特征的大小、检测到的特征的量、统计信号分析、用于多模式跟踪的基于概率的预测、传感器融合或它们的组合，来对在检测多图案基准时第一成像设备的影响和第二成像设备的影响进行加权。
14.根据权利要求12所述的方法，进一步包括：利用可由处理设备执行的校准模块：
针对成像设备到成像设备的三维(3D)映射来实行基于几何的校准；以及
以最佳信号响应来校准第一成像设备和第二成像设备的设置中的每一个。
15.根据权利要求12所述的方法，进一步包括：利用可由处理设备执行的校准模块，实行可见波长信号校准、红外波长信号校准、紫外（UV）信号校准，或它们的组合。
CN201880099446.0A 2018-11-12 2018-11-12 异构成像传感器系统的多图案基准 Pending CN112955904A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/060270 WO2020101635A1 (en) 2018-11-12 2018-11-12 Multiple-pattern fiducial for heterogeneous imaging sensor systems

Publications (1)

Publication Number Publication Date
CN112955904A true CN112955904A (zh) 2021-06-11

Family

ID=70731658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099446.0A Pending CN112955904A (zh) 2018-11-12 2018-11-12 异构成像传感器系统的多图案基准

Country Status (4)

Country Link
US (1) US11537832B2 (zh)
EP (1) EP3881235B1 (zh)
CN (1) CN112955904A (zh)
WO (1) WO2020101635A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024106A1 (en) * 1999-09-27 2001-04-05 Sicpa Holding S.A. Multi-dimensional barcode and apparatus for reading a multi-dimensional barcode
CN102317951A (zh) * 2009-02-11 2012-01-11 数据逻辑扫描公司 利用彩色成像器的高分辨率光学代码成像
US20150097931A1 (en) * 2013-10-09 2015-04-09 United Sciences, Llc. Calibration of 3d scanning device
TW201544848A (zh) * 2014-04-03 2015-12-01 Heptagon Micro Optics Pte Ltd 包括用於不同波長之獨立成像器之結構化立體成像組件
US20160321530A1 (en) * 2012-07-18 2016-11-03 The Boeing Company Method for Tracking a Device in a Landmark-Based Reference System
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4849755B2 (ja) 1999-07-02 2012-01-11 ハイパースペクトラル・イメージング・インコーポレイテツド イメージング装置および試料分析方法
US6742708B2 (en) * 2001-06-07 2004-06-01 Hewlett-Packard Development Company, L.P. Fiducial mark patterns for graphical bar codes
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
KR20080033998A (ko) * 2005-07-25 2008-04-17 실버브룩 리서치 피티와이 리미티드 레이아웃을 식별하는 부호화 데이터를 가지는 상품 아이템
WO2007044301A2 (en) 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers
US7740361B2 (en) * 2006-04-21 2010-06-22 Mersive Technologies, Inc. Alignment optimization in image display systems employing multi-camera image acquisition
US8104692B2 (en) 2009-02-23 2012-01-31 Xerox Corporation System and method for generating robust fiducial patterns used to determine coordinate transformations
SG176649A1 (en) 2009-06-02 2012-01-30 Univ Singapore Method and system for identifying a fiducial marker in an image
US8505823B2 (en) 2010-06-30 2013-08-13 International Business Machine Corporation Noise removal from color barcode images
US8964245B2 (en) 2010-08-31 2015-02-24 Hewlett-Packard Development Company, L.P. Color plane registration error measurement
US8866890B2 (en) 2010-11-05 2014-10-21 Teledyne Dalsa, Inc. Multi-camera
CA2767023C (en) 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US10540783B2 (en) 2013-11-01 2020-01-21 Illumina, Inc. Image analysis useful for patterned objects
US10417469B2 (en) 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
SG11201906442TA (en) 2017-02-01 2019-08-27 Illumina Inc System and method with fiducials responding to multiple excitation frequencies
US9756324B1 (en) 2017-04-10 2017-09-05 GELT Inc. System and method for color calibrating an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024106A1 (en) * 1999-09-27 2001-04-05 Sicpa Holding S.A. Multi-dimensional barcode and apparatus for reading a multi-dimensional barcode
CN102317951A (zh) * 2009-02-11 2012-01-11 数据逻辑扫描公司 利用彩色成像器的高分辨率光学代码成像
US20160321530A1 (en) * 2012-07-18 2016-11-03 The Boeing Company Method for Tracking a Device in a Landmark-Based Reference System
US20150097931A1 (en) * 2013-10-09 2015-04-09 United Sciences, Llc. Calibration of 3d scanning device
TW201544848A (zh) * 2014-04-03 2015-12-01 Heptagon Micro Optics Pte Ltd 包括用於不同波長之獨立成像器之結構化立體成像組件
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration

Also Published As

Publication number Publication date
EP3881235A1 (en) 2021-09-22
US20210365755A1 (en) 2021-11-25
EP3881235B1 (en) 2023-06-07
US11537832B2 (en) 2022-12-27
EP3881235A4 (en) 2022-06-15
WO2020101635A1 (en) 2020-05-22

Similar Documents

Publication Publication Date Title
US10880541B2 (en) Stereo correspondence and depth sensors
Guan et al. Automated pixel-level pavement distress detection based on stereo vision and deep learning
CN109751973B (zh) 三维测量装置、三维测量方法以及存储介质
US9135710B2 (en) Depth map stereo correspondence techniques
JP5467404B2 (ja) ３ｄ撮像システム
US20210358157A1 (en) Three-dimensional measurement system and three-dimensional measurement method
US20100315490A1 (en) Apparatus and method for generating depth information
AU2013260650B2 (en) Rotational phase unwrapping
US20190235063A1 (en) System and method for calibrating light intensity
CN116250017A (zh) 用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质
Li et al. Laser scanning based three dimensional measurement of vegetation canopy structure
KR20200049958A (ko) 3차원 깊이 측정 장치 및 방법
EP3527936A1 (en) Three-dimensional measurement device and three-dimensional measurement method
EP3663801B1 (en) Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
Xu et al. A unified spatial-angular structured light for single-view acquisition of shape and reflectance
US11537832B2 (en) Multiple-pattern fiducial for heterogeneous imaging sensor systems
CN104677911A (zh) 用于机器视觉检验的检验设备和方法
JP2016206909A (ja) 情報処理装置、情報処理方法
WO2021049490A1 (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
Dolereit et al. Calibration of shared flat refractive stereo systems
Seo Estimation of edge displacement against brightness and camera‐to‐object distance
Chen et al. Fully in tensor computation manner: one‐shot dense 3D structured light and beyond
Ma et al. Depth from defocus via active quasi-random point projections: A deep learning approach
Piccinelli et al. A passive stereo calibration technique for visible-thermal, low-resolution imaging in remote sensing applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination