CN111080687A - 用于主动深度感测的方法和装置及其校准方法 - Google Patents

用于主动深度感测的方法和装置及其校准方法 Download PDF

Info

Publication number
CN111080687A
CN111080687A CN201910962505.9A CN201910962505A CN111080687A CN 111080687 A CN111080687 A CN 111080687A CN 201910962505 A CN201910962505 A CN 201910962505A CN 111080687 A CN111080687 A CN 111080687A
Authority
CN
China
Prior art keywords
image
speckle
horizon
projector
observed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910962505.9A
Other languages
English (en)
Inventor
W.E.曼茨尔
裵东运
J.李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111080687A publication Critical patent/CN111080687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

提供了用于从观察到的红外(IR)图像中恢复深度图的方法和电子设备。由电子设备的投影仪用IR光谱照亮散斑。由电子设备的IR相机捕获地平线图像上的散斑。投影仪失真是基于地平线图像中的散斑位置来估计的。

Description

用于主动深度感测的方法和装置及其校准方法
优先权
本申请基于2018年10月19日在美国专利商标局提交的、分配的序列号为62/748,023的美国临时专利申请，并根据35 U.S.C.§119(e)要求其优先权，该申请的内容通过引用并入本文。
技术领域
本公开大体上涉及深度图估计，并且更具体地，涉及用于校准主动深度感测装置并执行主动深度感测的方法和装置。
背景技术
主动深度感测可以通过提供对场景的唯一编码照明，从而即使在均匀的(homogenous)或光线昏暗的区域中，也可以估计投影仪和观察者之间的视差(并且从而，深度)，来改进被动方法(例如，来自立体观察(stereo observation)的深度图估计)。这种深度图已经被用在对象和面部识别中，并且可以在增强现实和场景重建中发挥关键作用。已经开发了主动深度感测设备的几个迭代，其利用投影仪用红外(IR)光谱照亮亮点或散斑，并由在投影仪旁边牢牢安装的红外相机观察亮点或散斑。
发明内容
根据一个实施例，提供了一种使用主动深度感测设备从观察到的IR图像中恢复深度图的方法。由主动深度感测设备的投影仪用IR光谱照亮散斑。由主动深度感测设备的IR相机捕获地平线图像上的散斑并合成地平线图像。投影仪失真是基于地平线图像中的散斑位置来估计的。由IR相机在观察到的IR图像上捕获散斑。根据投影仪失真确定观察到的IR图像中的散斑位置。基于所确定的散斑位置从观察到的IR图像中恢复深度图。
根据一个实施例，提供了一种电子设备，该电子设备包括投影仪、与投影仪牢牢地安装的IR相机、处理器和存储指令的非暂时性计算机可读存储介质。当被运行时，指令使得处理器通过投影仪用IR光谱照亮散斑，通过IR相机捕获地平线图像上的散斑并合成地平线图像，并基于地平线图像中的散斑位置估计投影仪失真，由IR相机在观察到的IR图像上捕获散斑，根据投影仪失真确定观察到的IR图像中的散斑位置，基于所确定的散斑位置从观察到的IR图像中恢复深度图。
附图说明
结合附图，从下面的详细描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据本公开的实施例的使用主动深度感测设备从观察到的IR图像中恢复深度图的方法的流程图；
图2是示出根据一个实施例的可用于从给定观察中推断深度的正演模型的图；
图3是示出根据一个实施例的在置信匹配的不断增长的区域上被迭代地预测和跟踪的散斑位置的图；
图4是示出根据一个实施例的具有相关样本的点扩散函数估计的图；
图5A-5D是示出根据一个实施例的初始估计、经由中值正则化清理的估计和经由子像素匹配细化的视差图的图；和
图6是示出根据一个实施例的网络环境中的电子设备的图。
具体实施方式
在下文中，参考附图详细描述本公开的实施例。应当注意的是，相同元件将由相同的参考数字指定，尽管它们在不同的附图中示出。在以下描述中，提供诸如详细配置和组件的具体细节仅仅是为了帮助全面理解本公开的实施例。因此，对于本领域技术人员来说显而易见的是，在不脱离本公开的范围的情况下，可以对本文描述的实施例进行各种改变和修改。此外，为了清楚和简明起见，省略了对众所周知的功能和结构的描述。下面描述的术语是考虑到本公开中的功能而定义的术语，并且可以根据用户、用户意图或习惯而不同。因此，术语的定义应当基于贯穿本说明书的内容来确定。
本公开可以具有各种修改和各种实施例，在下面参考附图详细描述其中的实施例。然而，应当理解，本公开不限于实施例，而是包括本公开范围内的所有修改、等同物和替代物。
尽管包括诸如第一、第二等序数的术语可以用于描述各种元件，但是结构元件不受这些术语的限制。这些术语仅用于区分一个元件和另一元件。例如，在不脱离本公开的范围的情况下，第一结构元件可以被称为第二结构元件。类似地，第二结构元件也可以被称为第一结构元件。如本文所使用的，术语“和/或”包括一个或多个相关项的任何和所有组合。
本文使用的术语仅用于描述本公开的各种实施例，而不旨在限制本公开。单数形式旨在包括复数形式，除非上下文另有明确指示。在本公开中，应当理解，术语“包括”或“具有”指示特征、数字、步骤、操作、结构元件、部件或其组合的存在，并且不排除一个或多个其他特征、数字、步骤、操作、结构元件、部件或其组合的存在或添加的可能性。
除非不同地定义，否则本文使用的所有术语具有与本公开所属领域的技术人员所理解的相同的含义。诸如在通用词典中定义的那些术语要被解释为具有与相关技术领域中的上下文含义相同的含义，并且除非在本公开中明确定义，否则不应被解释为具有理想的或过度正式的含义。
根据一个实施例的电子设备可以是各种类型的电子设备之一。电子设备可以包括例如便携式通信设备(例如，智能电话)、计算机、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的一个实施例，电子设备不限于上述那些。
本公开中使用的术语不旨在限制本公开，而是旨在包括相应实施例的各种改变、等同物或替换。关于附图的描述，相似的参考数字可以用来指代相似或相关的元件。对应于一个项的名词的单数形式可以包括一个或多个该事物，除非相关上下文另有明确指示。如本文所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”这样的短语中的每一个可以包括在相应的一个短语中一起列举出的项的所有可能的组合。如本文所使用的，诸如“第1”、“第2”、“第一”和“第二”的术语可以用于将相应的组件与另一组件区分开来，但是并不旨在在在其他方面(例如，重要性或次序)限制组件。意图是，如果一个元件(例如，第一元件)带有或不带有术语“可操作地”或“通信地”地被称为“与···耦合”、“耦合到”、“与···连接”或“连接到”另一元件(例如，第二元件)，这表示该元件可以直接(例如，有线地)、无线地或经由第三元件与另一元件耦合。
如本文所使用的，术语“模块”可以包括以硬件、软件或固件实施的单元，并且可以与其他术语互换使用，诸如，例如，“逻辑”、“逻辑块”、“部件”和“电路”。模块可以是适配于执行一个或多个功能的单个整体组件，或其最小单元或部件。例如，根据一个实施例，模块可以以专用集成电路(Application-Specific Integrated Circuit，ASIC)的形式实施。
根据本公开的实施例，提供了一种用于校准主动深度感测设备并从观察到的IR图像中恢复深度图的方法。准确的校准可以更好地对观察结果建模，这反过来实现子像素精确度。具体地，本公开的实施例提供了利用主动感测框架按需计算准确和完整的深度图的能力，其中从附近的IR相机观察投射光的反射，该IR相机的图像用于推断深度。
这种过程在0.5米(m)到2m的范围内可以具有0.2％到0.8％的精确度，并且在全/图像版本的1Gigaflop(Gflop)/帧和轻量/视频版本的10Megaflop(Mflop)/帧的计算预算下计算效率高。此外，这种过程能够从投影仪和IR相机之间的任何有利点，特别是从标准RGB相机的有利点，按需产生深度图。
为了校准系统，已知的(并且通常是平坦的)表面被用来估计最能定义系统的内部工作的内在参数。下面详细描述参数正演模型，随后描述如何估计其中使用的参数。
这里，3-D坐标被称为
Figure BDA0002229401400000041
2D图像坐标被称为
Figure BDA0002229401400000042
(典型地，在视频图形阵列(Video Graphics Array，VGA)范围[0 640]×[0 480]内)，并且2D归一化图像坐标被称为
Figure BDA0002229401400000043
或者在某些情况下是齐次坐标
Figure BDA0002229401400000044
三角形等式
Figure BDA0002229401400000045
是定义。
除非另有指定，否则所有3D坐标的原点都在IR相机的光学中心处，其Z轴与IR相机的光轴一致，其X轴从IR相机指向投影仪(并假定垂直于Z轴)，并且其Y轴自然地完成右手坐标系。对距离的任何引用都意味着
Figure BDA0002229401400000046
而深度表示
Figure BDA0002229401400000047
的Z分量。
必要时，2-D图像坐标向量隐式转换为3-D齐次坐标：
Figure BDA0002229401400000048
例如：
Figure BDA0002229401400000049
在等式(1)中被示出为：
Figure BDA00022294014000000410
Figure BDA00022294014000000411
Figure BDA0002229401400000051
对于3×3单应矩阵H具有如等式(2)中所示的形式：
Figure BDA0002229401400000052
齐次归一化坐标[xn,yn,1]T表示从相机到3D点
Figure BDA0002229401400000053
的方向并且
Figure BDA0002229401400000054
投射到无限深度表面上的散斑图案的图像被称为地平线图像(不考虑强度衰减效应)。投影仪和IR相机之间没有视差(引起的视差)，即使从投影仪的有利点观看，地平线图像也将看起来相同。
除非另有描述，否则所有范数都是标准欧几里德范数。具有中心
Figure BDA0002229401400000055
和半径r的p-范数球写为
Figure BDA0002229401400000056
并且当下标被省略时，是指无穷范数。例如，当指整数值坐标
Figure BDA0002229401400000057
时，
Figure BDA0002229401400000058
是指围绕实值的
Figure BDA0002229401400000059
的4个相邻像素的总和。大写变量通常表示矩阵或世界坐标，而小写更常用于图像坐标、下标、函数等。为了防止真量和估计量之间的混淆，用帽子符号表示后者，例如
Figure BDA00022294014000000510
首先参考图1，流程图示出了根据本公开的实施例的使用主动深度感测设备从观察到的IR图像中恢复深度图的方法。在102处，由主动深度感测设备的投影仪用IR光谱照亮散斑。在104处，散斑由与主动深度感测设备中的投影仪牢牢安装的IR相机捕获，并且地平线图像被合成。在106处，基于地平线图像中的散斑位置来估计投影仪失真。优选地，在108处，根据IR相机的焦距来估计IR失真。在110处，IR相机在观察到的IR图像上捕获散斑。在112处，根据投影仪失真，在观察到的IR图像中确定散斑位置。优选地，根据投影仪失真和IR失真确定观察到的IR图像中的散斑位置。在114处，基于所确定的散斑位置，从观察到的IR图像中恢复深度图。
现在参考图2，图中示出了根据本公开的实施例的可用于从给定观察结果中推断深度的正演模型。具体地，流程图以图2的顶行中的摄影测量、或者散斑图案如何在给定环境中从投影仪移动到观察到的接收器开始，然后进行光度测定，或者这些散斑位置如何在观察到的图像上显现它们自己(图2的底行)。
在图2中，投影仪失真块202首先使用参考IR点图案200和底层投影仪图案201来估计投影仪失真，产生地平线图像。场景几何形状块204应用场景几何形状。场景几何形状是IR相机捕获的场景的几何形状。为了校准，使用诸如平表面(诸如A0X+A1Y+A2Z＝1)的已知几何形状，其中A0、A1和A2是描述位于此平面上的所有3D点(X,Y,Z)的参数。IR失真块206使用底层投影仪图案205来估计IR失真，构成摄影测量。点扩散函数(Point Spread Function，PSF)块208应用PSF，并且强度衰减块210考虑强度衰减I’，产生捕获的IR图像212，并构成光度测定，其中ρ是强度衰减因子。
为了描述空间中的每个点如何映射到图像平面，使用了经典的相机模型。对于感兴趣的3D点
Figure BDA0002229401400000061
(例如，从表面反射的散斑的位置)，2D针孔投影坐标被给出为
Figure BDA0002229401400000062
下面使用该经典模型描述
Figure BDA0002229401400000063
与实际图像坐标
Figure BDA0002229401400000064
之间的关系。考虑到镜头失真的前几项，提供了下面的等式(3)：
Figure BDA0002229401400000065
其中
Figure BDA0002229401400000066
κ1,κ2是径向失真系数，并且κ3,κ4是切向失真系数。像素坐标然后如下等式(4)给出：
Figure BDA0002229401400000067
其中，
Figure BDA0002229401400000068
xd和yd是表示图像平面中的位置的变量对，f是相机以像素为单位的焦距，并且(cx,cy)是主要点。该校准模型可以推广到(xn,yn)的单个多项式，如下等式(5)所示：
Figure BDA0002229401400000069
对于一些向量值系数
Figure BDA00022294014000000610
当IR图像中的大部分镜头失真已经被消除时，使用
Figure BDA00022294014000000611
并且假设主要点是图像中心
Figure BDA00022294014000000612
并且主要焦点在于准确地估计焦距。因此，如等式(6)所示，使用以下简单校准模型，其中焦距在模型中是未知的：
Figure BDA00022294014000000613
Figure BDA0002229401400000071
根据本公开的实施例，关于图2的投影仪失真块202，投影仪的底层图案是211×165网格上的伪随机180°旋转不变二进制图案。网格包括3861个活动散斑，这意味着在大约九分之一的网格点上，激光从投影仪向相应的方向照射。这种图案本身在一个更大的3×3网格结构中重复出现。9个重复网格的每个中心散斑都是活动的并且比其他像素发光更亮，但在其他方面，每个活动散斑具有相等的强度。
如果在地平线图像上观察这些散斑的位置，由于由投影仪引入的失真，它们将不再被均匀隔开。该散斑在该图案图像中的坐标
Figure BDA0002229401400000072
和散斑在地平线图像中的坐标
Figure BDA0002229401400000073
之间的这种失真被建模为(bx,by)的多项式，其方式类似于上述如何对IR相机失真进行建模的方式，如下等式(7)所示：
Figure BDA0002229401400000074
通过针孔模型，沿x方向的有利点的基线平移b引起对象的表现位置在归一化坐标中发生相应的偏移，如下等式(8)所示：
Figure BDA0002229401400000075
对像素坐标的相应影响是幅度fb/Z的偏移，如下等式(9)所示：
Figure BDA0002229401400000076
视差图
Figure BDA0002229401400000077
由焦距基线乘积：
Figure BDA0002229401400000078
和标准基向量e1＝(1,0)定义。如下所述，e1符号被丢弃，并且
Figure BDA0002229401400000079
被用作
Figure BDA00022294014000000710
的简写，或者更一般地，对于任何
Figure BDA00022294014000000711
当观察到的点图案和地平线点图案之间的引起的位移按像素被测量为视差图
Figure BDA00022294014000000712
时，深度图可以恢复为
Figure BDA00022294014000000713
关于在图2的PSF块208中PSF的应用，不是直接测量散斑位置，来观察对IR图像的影响。由于与其他散斑非常接近(最近的散斑很少超过2个像素远)，将散斑位置计算作为质心证明是有问题的。替代地，使用光学的PSF模型，对于散斑位置
Figure BDA0002229401400000081
和点扩散函数
Figure BDA0002229401400000082
如下等式(10)所示对观察到的图像进行建模：
Figure BDA0002229401400000083
该PSF
Figure BDA0002229401400000084
被假定具有局部支持，在
Figure BDA0002229401400000085
处达到其最大值并对
Figure BDA0002229401400000086
的像素迅速衰减。
关于在图2的强度衰减块210中的强度衰减的应用，光的功率强度倾向于以更大的距离分散。因此，测得的IR相机中的散斑的强度随着距离的增大而减小，并且大致遵循某种幂律。因此，模型如下等式(11)所示被更新：
Figure BDA0002229401400000087
其中
Figure BDA0002229401400000088
表示在3D空间中距散斑点的距离，测量的是整个距离，而不仅仅是深度。典型地，α是接近-2.0的某个负幂(如在经典的反平方幂律中)。
采用上述所有函数的组成，得到如下等式(12)所示的组合正演模型：
Figure BDA0002229401400000089
Figure BDA00022294014000000810
Figure BDA00022294014000000811
给定正演模型的描述，下面详细阐述管理模型行为的特定函数的估计。
焦距与给定深度引起的地平线坐标(视差零点)和图像坐标之间的偏移量成比例。为此，给定先验深度信息
Figure BDA00022294014000000812
和IR相机和投影仪之间的基线b，可以通过尝试将一对图像
Figure BDA00022294014000000813
的视角偏移到地平线(即，无限深度/零视差)并经由图像相关性观察相似性来评估给定的焦距候选f。焦距估计使用焦距参数来最大化扭曲(warp)到地平线的一对图像之间的相似性，如下等式(13)所示：
Figure BDA00022294014000000814
Figure BDA0002229401400000091
其中图像I1和I2使用候选f被扭曲到地平线，如下等式(14)所示：
Figure BDA0002229401400000092
使用深度图信息，确定f＝573像素±1％的焦距估计。然而，这种估计仅与深度图一样准确，并且其中的任何系统性偏差将导致焦距估计中的相应偏差。
已知IR相机的内在参数以及图2中描述的底层二进制图案，投影仪失真被估计为二进制图案像素坐标和地平线图像中对应坐标之间的映射。然而，可能很难找到二进制图案上的散斑和给定图像上的散斑之间的对应关系。当所有特征点看起来大致相同时，通常的特征匹配方法会失效。
另一个挑战是准确估计这些散斑位置的坐标。由于低分辨率VGA图像中固有的混叠和降级，通常很难确定一个散斑从哪里开始以及下一个散斑从哪里开始。此外，如上关于PSF所述，与VGA采样图案的整数晶格不紧密一致的散斑通常具有非常弱的响应，使得它们的位置难以可靠地估计。
为了缓解这些挑战，使用超分辨率方法构建地平线图像的高分辨率版本。使用这种高分辨率图像，跟踪和对应关系的挑战变得更加易控。
为此，捕获具有相应深度图信息的大约100个IR帧，其可用于估计高分辨率图像。捕获的这些图像在深度上具有足够的变化，以由于视差而在x方向上提供不同的子像素信息集合(尽管在y方向上没有附加信息)。因此，估计的地平线图像在x方向上的分辨率为原始VGA图像的两倍，但在y方向上的分辨率与原始VGA图像相同。
相应的深度图通常具有“孔”，或深度没有被估计的缺失值。经由柯西插值(Cauchyinterpolation)插入附近的值来填充这些孔。
高分辨率地平线图像估计由下面的等式(15)表示：
Figure BDA0002229401400000093
其中1表示全一的VGA图像，扭曲算子Wn被定义为将高分辨率地平线图像Ih扭曲到第n图像In的双线性扭曲，并且
Figure BDA0002229401400000094
表示伴随操作。例如，假设第n扭曲Wn将导致像素In(120,140)从地平线图像的位置(104.7，140)处被采样，使得它被表示为0.7h(104,140)+0.3h(105,140)，则线性伴随操作
Figure BDA0002229401400000101
将导致观察到的像素In(120,140)被分别以0.7和0.3的权重分布或推至Ih(104,140)和Ih(105,140)。
这种提供
Figure BDA0002229401400000102
的估计的方法足够准确，有助于对具有内在意义的量进行下游处理。地平线图像可以直接使用PSF和地平线散斑位置生成。
根据图2的投影仪失真块202，对于高分辨率地平线图像，极值变得更加明显，并且散斑之间的模糊度小得多，现在散斑之间在x方向上具有两倍的平均间距。任何包含散斑的3×3邻域都可能在散斑的4个相邻点中的一个处达到其最大值，从而使更容易跟踪预测散斑。
在地平线图像中找到对应于二进制图案图像Ib中的每个活动散斑的近似位置，朝向估计由投影仪引入的失真的方向移动，从而得到地平线图像中精确散斑位置的综合列表。
将地平线图像中最亮的中心像素与图案图像中的中心像素手动匹配。从那里径向向外进行，迭代地预测与已知散斑接壤(border)的小邻域中的散斑位置，搜索3×3邻域以找到实际的散斑位置(到最近的整数像素)，并且这些跟踪的位置被用于更新和改进对稍微更远的散斑的预测。
如下等式(16)所示，该预测经由粗糙扭曲网格执行：
Figure BDA0002229401400000103
其中W是比经由扭曲W中4个相邻点的双线性插值预测地平线图像中散斑位置的二进制图案粗糙48倍的平滑扭曲函数。在通过最大化围绕
Figure BDA0002229401400000104
的半径为1的补片(patch)(3×3补片)内的地平线图像来跟踪新位置
Figure BDA0002229401400000105
之后，通过选择与观察最匹配的最平滑扭曲，用新跟踪的点来更新扭曲，如下等式(17)所示：
Figure BDA0002229401400000106
其中Dx和Dy分别是x和y方向上的差分算子([1-1]的卷积核)。这个三元组λ1、λ2和λ3是基于假设的翘曲(warping)威廉的某种启发式模型的参数。参数λ1、λ2和λ3可以被称为模型参数，并且根据经验和启发式地选择启发式模型和参数λ1、λ2和λ3。
导数和混合导数的正则化确保平滑性。一阶导数被允许很大，只要导数的局部改变在任何方向都不太突然。这样，每次迭代中的扭曲可以随着置信区域的增长而外推。该过程在图3中以迭代10次、20次和40次描述，其中搜索区域与迭代次数成比例地增长。
图3是示出根据本公开的实施例的在置信匹配的不断增长的区域上被迭代地预测和跟踪的散斑位置的图。具体地，图3示出了10次迭代(a)、20次迭代(b)和40次迭代(c)。内层(Inlier)是将预测的位置匹配到1个像素内的跟踪的散斑，并且在阴影区域中示出。其余更暗的区域显示外层，其具有与预测位置至少1个像素远的跟踪散斑。
给定这个非参数扭曲函数
Figure BDA0002229401400000111
可以找到fo的最接近的多项式近似，如下等式(18)所示：
Figure BDA0002229401400000112
扭曲网格W可以用作数据约束，以使用鲁棒最小二乘来估计生成系数
Figure BDA0002229401400000113
五阶多项式给出了足够强的建模能力。
关于图2的PSF块208，通过对焦距f和地平线点位置
Figure BDA0002229401400000114
的估计，可以估计点扩散函数h。使用焦距和深度图来构建视差图d，将其转换(invert)到投影仪的视角dProj，并且使用地平线图像的散斑位置
Figure BDA0002229401400000115
观察到的图像中的散斑位置
Figure BDA0002229401400000116
可以如下等式(19)所示被预测：
Figure BDA0002229401400000117
图4是示出根据本公开的实施例的具有相关样本的点扩散函数估计的图。围绕位置
Figure BDA0002229401400000118
的4个像素中的每一个为点扩散函数h提供了4个数据约束。相关样本为
Figure BDA0002229401400000119
其中
Figure BDA00022294014000001110
(即，围绕
Figure BDA00022294014000001111
的4个网格点)。总的来说，大约20,000个可视散斑在域[-1 1]×[-1 1]上对h提供了大约80,000个约束。类似于上面描述的估计非参数扭曲网格的那些，使用以下正则化最小二乘法的在样本(比VGA高16倍分辨率)之间具有1/16像素(1/16thpixel)的h的精细采样版本如下等式(20)所示：
Figure BDA0002229401400000121
其中Dx和Dy分别是x和y方向上的差分算子，其中最小化在采样的
Figure BDA0002229401400000122
上进行，并且其中
Figure BDA0002229401400000123
是在点
Figure BDA0002229401400000124
处采样的h的双线性插值的简写。
正演模型可用于解决相反的问题：从未知场景的IR观察中恢复深度图。
正演模型被用来构建要与之匹配的地平线图像Ih。然后估计视差图，如下等式(21)所示：
Figure BDA0002229401400000125
其中
Figure BDA0002229401400000126
是从图像I画出的以坐标
Figure BDA0002229401400000127
为中心的补片(例如，在该位置的17×17补片)并且其中
Figure BDA0002229401400000128
为了评估V个位置(例如，VGA)处的D个潜在视差，使用P的补片大小导致O个(DVP)flop，其可以容易地超过Gflop。通过使用积分图像来计算D个相关性、消除P因子来产生O(DV)，有一些方式来降低这种方法的计算复杂度。
除非真实视差接近某个整数，否则由于点扩散函数的局部性质，可能没有一个候选
Figure BDA0002229401400000129
偏移匹配得非常好。这个问题可以通过以更细粒度的采样
Figure BDA00022294014000001210
(例如，四分之一像素偏移)来缓解。然而，这种方法可能会加剧计算瓶颈。
如下文详细描述的，阐述了一种方法，以用于提供整数视差当中低分辨率的视差图的初始估计，但是具有针对非整数偏移失配的一些内置鲁棒性，以缓解上述问题。
这种方法首先为地平线图像中的每个采样的参考位置
Figure BDA00022294014000001211
定义子空间
Figure BDA00022294014000001212
该子空间很好地近似IR图像中可能观察到的、类似于
Figure BDA00022294014000001213
的所有潜在补片(沿该行的任何偏移)。为了估计该位置处的视差，对于每个候选整数视差d，
Figure BDA00022294014000001214
和其在子空间T中的最接近的近似之间的距离被最小化，如下等式(22)所示：
Figure BDA0002229401400000131
设计这种子空间的一种方法是定义随机变量
Figure BDA0002229401400000132
该变量描述类似于
Figure BDA0002229401400000133
的补片的自然空间(即，对应于“真实场景”的某个建模空间)，然后最小化其相对于某个投影矩阵
Figure BDA0002229401400000134
的近似误差，如下等式(23)所示：
Figure BDA0002229401400000135
其中
Figure BDA0002229401400000136
是随机变量
Figure BDA0002229401400000137
的相关矩阵，并且优化是在所有投影矩阵
Figure BDA0002229401400000138
上进行的。这是标准主成分分析(Principal Components Analysis，PCA)解决方案。它仍然要定义
Figure BDA0002229401400000139
一种自然的设计是取
Figure BDA00022294014000001310
其中
Figure BDA00022294014000001311
是在x和y方向两者上方差通常小于一个像素2的某个零均值随机偏移。一个8维子空间通常给这个随机变量足够的描述能力，并有助于改进对这个初始跟踪步骤中的建模/校准不准确性的鲁棒性。最后的过程在下面的等式(24)中阐述：
Figure BDA00022294014000001312
有几个方面需要立即对这一初始估计进行改进。它是低分辨率、整数值的，包含偶尔的不好的视差估计(即，远离它们的真实值)，并且是从投影仪的有利点而不是IR相机拍摄的。
如下等式(25)所阐述，通过用到其邻居的L1距离来惩罚(penalize)分配的视差值来解决“不好的”视差值的问题：
Figure BDA00022294014000001313
图5A和5B是示出根据本公开的实施例的初始估计和经由中值正则化清理的估计的图。这不能直接解决，而是经由穷举搜索通过增加的lambda参数来迭代，其中对于第一次迭代，λ＝0，并且
Figure BDA0002229401400000141
样本取自先前的迭代。请特别注意，λ＝0是上面的非正则化公式，而λ→∞产生初始估计的中值滤波器。
接下来，低分辨率
Figure BDA0002229401400000142
被转换为VGA分辨率
Figure BDA0002229401400000143
同时将有利点从投影仪改变到IR相机。
该粗糙估计如下等式(26)所阐述被细化：
Figure BDA0002229401400000144
图5C和5D是示出根据本公开的实施例的经清理的视差图和经由子像素匹配细化的视差图的图。最大化发生在以四分之一像素分辨率采样的d并且在现有粗糙
Figure BDA0002229401400000145
估计的1像素内。
尽管基于模型的跟踪提供了一些潜在的优势，但它也伴随着风险，并且产生的视差图估计将仅与估计的底层模型一样好。
一种替代方案是保持对精确散斑位置的不可知，并且使用从相当远(例如，2米)的平坦表面观察到的图像作为地平线图像Ih的代理，然后如等式(21)中那样进行基于归一化互相关(NCC)的估计。这种方法的优点是，它可能在参考深度附近的区域非常准确，并且由于是观察本身，所以也使地平线点位置+点扩散函数呈现正确。缺点是这种参考图像Ih主要对于近似整数视差是准确的，并且可能会遭受网格点之间的建模精确度的影响。另一个缺点是，该参考图像对于观察到的VGA图像的边界之外的内容仍然是盲的，并且对于生成在深度不同于参考深度的观察到的图像的左边缘和右边缘附近的深度图信息可能不是有用的。
图6是根据一个实施例的网络环境中的电子设备的框图。
参考图6，网络环境600中的电子设备601可以经由第一网络698(例如，短程无线通信网络)与电子设备602通信，或者经由第二网络699(例如，远程无线通信网络)与电子设备604或服务器608通信。电子设备601可以经由服务器608与电子设备604通信。电子设备601可以包括处理器620、存储器630、输入设备650、声音输出设备655、显示设备660、音频模块670、传感器模块676、接口677、触觉模块679、相机模块680、电力管理模块688、电池689、通信模块690、订户识别模块(Subscriber Identification Module，SIM)696或天线模块697。在一个实施例中，这些组件中的至少一个(例如，显示设备660或相机模块680)可以从电子设备601中省略，或者可以将一个或多个其他组件添加到电子设备601。在一个实施例中，这些组件中的一些可以被实施为单个集成电路(Integrated Circuit，IC)。例如，传感器模块676(例如，指纹传感器、虹膜传感器或照度传感器)可以嵌入在显示设备660(例如，显示器)中。
处理器620可以运行例如软件(例如，程序640)来控制电子设备601的与处理器620耦合的至少一个其他组件(例如，硬件或软件组件)，并且可以执行各种数据处理或计算。作为数据处理或计算的至少一部分，处理器620可以将从另一组件(例如，传感器模块676或通信模块690)接收的命令或数据加载到易失性存储器632中，处理存储在易失性存储器632中的命令或数据，并将结果数据存储在非易失性存储器634中。处理器620可以包括主处理器621(例如，中央处理器(Central Processing Unit，CPU)或应用处理器(ApplicationProcessor，AP))和独立于主处理器621或与主处理器621结合操作的辅助处理器623(例如，图形处理单元(Graphics Processing Unit，GPU)、图像信号处理器(Image SignalProcessor，ISP)、传感器集线器处理器或通信处理器(Communication Processor，CP))。附加地或替代地，辅助处理器623可以适配于比主处理器621消耗更少的电力，或者运行特定的功能。辅助处理器623可以被实施为与主处理器621分离或者是主处理器621的一部分。
在主处理器621处于非活动(例如，睡眠)状态时代替主处理器621，或者在主处理器621处于活动状态(例如，正在运行应用)时与主处理器621一起，辅助处理器623可以控制与电子设备601的组件当中的至少一个组件(例如，显示设备660、传感器模块676或通信模块690)相关的至少一些功能或状态。根据一个实施例，辅助处理器623(例如，图像信号处理器或通信处理器)可以被实施为功能上与辅助处理器623相关的另一组件(例如，相机模块680或通信模块690)的一部分。
存储器630可以存储由电子设备601的至少一个组件(例如，处理器620或传感器模块676)使用的各种数据。各种数据可以包括例如软件(例如，程序640)和与其相关的命令的输入数据或输出数据。存储器630可以包括易失性存储器632或非易失性存储器634。
程序640可以作为软件存储在存储器630中，并且可以包括例如操作系统(Operating System，OS)642、中间件644或应用646。
输入设备650可以从电子设备601的外部(例如，用户)接收要由电子设备601的其他组件(例如，处理器620)使用的命令或数据。输入设备650可以包括例如麦克风、鼠标或键盘。
声音输出设备655可以向电子设备601的外部输出声音信号。声音输出设备655可以包括例如扬声器或接收器。扬声器可用于一般目的，诸如播放多媒体或录音，而接收器可用于接收来电。根据一个实施例，接收器可以被实施为与扬声器分离或者是扬声器的一部分。
显示设备660可以可视地向电子设备601的外部(例如，用户)提供信息。显示设备660可以包括例如显示器、全息设备或投影仪以及控制显示器、全息设备和投影仪中的相应一个的控制电路。根据一个实施例，显示设备660可以包括适配于检测触摸的触摸电路，或者适配于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块670可以将声音转换成电信号，反之亦然。根据一个实施例，音频模块670可以经由输入设备650获得声音，或者经由声音输出设备655或与电子设备601直接(例如，有线)或无线地耦合的外部电子设备602的耳机来输出声音。
传感器模块676可以检测电子设备601的操作状态(例如，电力或温度)或电子设备601外部的环境状态(例如，用户的状态)，然后生成对应于检测到的状态的电信号或数据值。传感器模块676可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器、红外(IR)传感器、生物测定传感器、温度传感器、湿度传感器或照度传感器。
接口677可以支持要用于电子设备601直接(例如，有线)或无线地与外部电子设备602耦合的一个或多个指定协议。根据一个实施例，接口677可以包括例如高清多媒体接口(High Definition Multimedia Interface，HDMI)、通用串行总线(Universal SerialBus，USB)接口、安全数字(Secure Digital，SD)卡接口或音频接口。
连接端子678可以包括连接器，电子设备601可以经由该连接器与外部电子设备602物理连接。根据一个实施例，连接端子678可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块679可以将电信号转换成用户可以经由触觉或动觉来识别的机械刺激(例如，振动或移动)或电刺激。根据一个实施例，触觉模块679可以包括例如马达、压电元件或电刺激器。
相机模块680可以捕获静止图像或运动图像。根据一个实施例，相机模块680可以包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块688可以管理供应给电子设备601的电力。电源管理模块688可以被实施为例如电力管理集成电路(Power Management Integrated Circuit，PMIC)的至少一部分。
电池689可以向电子设备601的至少一个组件供电。根据一个实施例，电池689可以包括例如不可再充电的主电池、可再充电的二次电池或燃料电池。
通信模块690可以支持在电子设备601和外部电子设备(例如，电子设备602、电子设备604或服务器608)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块690可以包括独立于处理器620(例如，AP)操作一个或多个通信处理器，并且支持直接(例如，有线)通信或无线通信。根据一个实施例，通信模块690可以包括无线通信模块692(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(Global Navigation Satellite System，GNSS)通信模块)或有线通信模块694(例如，局域网(Local Area Network，LAN)通信模块或电力线通信(Power Line Communication，PLC)模块)。这些通信模块中的相应一个可以经由第一网络698(例如，短程通信网络，诸如BluetoothTM、无线保真(Wi-Fi)直接或红外数据协会(Infrared Data Association，IrDA)的标准)或第二网络699(例如，远程通信网络，诸如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(Wide Area Network，WAN)))与外部电子设备通信。这些各种类型的通信模块可以被实施为单个组件(例如，单个IC)，或者可以被实施为彼此分离的多个组件(例如，多个IC)。无线通信模块692可以使用存储在订户识别模块696中的订户信息(例如，国际移动订户身份(International Mobile Subscriber Identity，IMSI))来识别和认证诸如第一网络698或第二网络699的通信网络中的电子设备601。
天线模块697可以向或从电子设备601的外部(例如，外部电子设备)发送或接收信号或功率。根据一个实施例，天线模块697可以包括一个或多个天线，并且由此，例如可以由通信模块690(例如，无线通信模块692)选择适用于通信网络(诸如，第一网络698或第二网络699)中使用的通信方案的至少一个天线。信号或功率然后可以经由所选择的至少一个天线在通信模块690和外部电子设备之间发送或接收。
上述组件中的至少一些可以经由外围设备间通信方案(例如，总线、通用输入和输出(General Purpose Input And Output，GPIO)、串行外围接口(Serial PeripheralInterface，SPI)或移动工业处理器接口(Mobile Industry Processor Interface，MIPI))相互耦合并在其间传送信号(例如，命令或数据)。
根据一个实施例，命令或数据可以经由与第二网络699耦合的服务器608在电子设备601和外部电子设备604之间发送或接收。电子设备602和604中的每一个可以是与电子设备601相同类型或不同类型的设备。要在电子设备601处运行的所有或一些操作可以在外部电子设备602、604或608中的一个或多个处执行。例如，如果电子设备601应该自动地或者响应于来自用户或另一设备的请求来执行功能或服务，代替运行功能或服务或者除了运行功能或服务之外，电子设备601可以请求一个或多个外部电子设备执行功能或服务的至少一部分。接收请求的一个或多个外部电子设备可以执行所请求的功能或服务的至少一部分，或者与请求相关的附加功能或附加服务，并且将执行的结果传送到电子设备601。电子设备601可以提供结果，以及或者没有对结果的进一步处理，作为对请求的答复的至少一部分。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
一个实施例可以被实施为软件(例如，程序640)，包括存储在机器(例如，电子设备601)可读的存储介质(例如，内部存储器636或外部存储器638)中的一个或多个指令。例如，电子设备601的处理器可以调用存储在存储介质中的一个或多个指令中的至少一个，并且使用或不使用在处理器的控制下的一个或多个其他组件来运行它。因此，机器可以被操作来根据所调用的至少一个指令执行至少一个功能。一个或多个指令可以包括编译器生成的代码或解释器可执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。术语“非暂时性”表示存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语不区分数据半永久性地存储在存储介质中的情况和数据临时存储在存储介质中的情况。
根据一个实施例，本公开的方法可以被包括并提供在计算机程序产品中。计算机程序产品可以作为产品在卖方和买方之间交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(Compact Disc Read Only Memory，CD-ROM))的形式分发，或者经由应用商店(例如，Play StoreTM)在线分发(例如，下载或上传)，或者直接在两个用户设备(例如，智能电话)之间分发。如果在线分发，计算机程序产品的至少一部分可以临时生成或者至少临时存储在机器可读存储介质中，诸如制造商的服务器的存储器、应用商店的服务器或者中继服务器。
根据一个实施例，上述组件中的每个组件(例如，模块或程序)可以包括单个实体或多个实体。可以省略上述组件中的一个或多个，或者可以添加一个或多个其他组件。替代地或附加地，多个组件(例如，模块或程序)可以集成到单个组件中。在这种情况下，集成组件仍然可以以与它们在集成之前由多个组件中的相应一个执行相同或相似的方式来执行多个组件中的每一个的一个或多个功能。由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者操作中的一个或多个可以以不同的顺序运行或省略，或者可以添加一个或多个其他操作。
尽管在本公开的详细描述中已经描述了本公开的某些实施例，但是在不脱离本公开的范围的情况下，可以以各种形式修改本公开。因此，本公开的范围不应仅基于所描述的实施例来确定，而是基于所附权利要求及其等同物来确定。

Claims (20)

1.一种使用主动深度感测设备从观察到的红外IR图像中恢复深度图的方法，所述方法包括：
由所述主动深度感测设备的投影仪用IR光谱照亮散斑；
由所述主动深度感测设备的IR相机捕获所述散斑并合成地平线图像；
基于所述地平线图像中的散斑位置估计投影仪失真；
由所述IR相机在观察到的IR图像上捕获散斑；
根据所述投影仪失真确定观察到的IR图像中的散斑位置；以及
基于所确定的散斑位置从观察到的IR图像中恢复所述深度图。
2.根据权利要求1所述的方法，其中在所述主动深度感测设备中，所述IR相机与所述投影仪牢牢地安装。
3.根据权利要求1所述的方法，其中所述地平线图像包括投射到无限深度的表面上的散斑图案。
4.根据权利要求3所述的方法，其中所述投影仪失真对应于二进制图案图像的散斑坐标和所述地平线图像的对应散斑坐标之间的映射。
5.根据权利要求4所述的方法，其中所述地平线图像包括高分辨率地平线图像，并且估计所述投影仪失真包括将所述地平线图像中最亮的中心散斑与所述二进制图案图像中的中心散斑匹配，并且迭代地预测与已知散斑接壤的区域中的所述地平线图像中的散斑位置。
6.根据权利要求1所述的方法，还包括根据所述IR相机的焦距估计IR失真；并且
所述确定观察到的IR图像中的散斑位置的步骤包括根据所述投影仪失真和所述IR失真确定观察到的IR图像中的散斑位置。
7.根据权利要求6所述的方法，其中以下至少一个：
所述焦距与给定深度在所述地平线图像坐标和观察到的IR图像的坐标之间引起的偏移量成比例；以及
所述焦距使用焦距参数来最大化扭曲到所述地平线图像的图像对之间的相似性。
8.根据权利要求6所述的方法，其中确定所述IR图像中的散斑位置包括：
使用所述焦距和深度图构建视差图；
将所述视差图转换到所述投影仪的视角；以及
使用所述地平线图像中的散斑位置预测所述观察到的IR图像中的散斑位置。
9.根据权利要求8所述的方法，其中构建所述视差图包括：
获得初始视差图；
经由中值正则化清理所述初始视差图；以及
经由子像素匹配来细化所清理的视差图。
10.根据权利要求6所述的方法，其中确定所述IR图像中的散斑位置包括：
根据强度衰减来修改所述散斑位置。
11.根据权利要求10所述的方法，其中所述强度衰减包括测得的所述IR相机中的散斑的强度随距离增大而减小。
12.一种电子设备，包括：
投影仪；
与所述投影仪牢牢地安装的红外IR相机；
处理器；和
存储指令的非暂时性计算机可读存储介质，当所述指令被运行时，使得所述处理器：
由所述投影仪用IR光谱照亮散斑；
由所述IR相机捕获所述散斑并合成地平线图像；
基于所述地平线图像中的散斑位置估计投影仪失真；
由所述IR相机在观察到的IR图像上捕获散斑；
根据所述投影仪失真确定观察到的IR图像中的散斑位置；以及
基于所确定的散斑位置从观察到的IR图像中恢复深度图。
13.根据权利要求12所述的电子设备，其中所述地平线图像包括投射到无限深度的表面上的散斑图案。
14.根据权利要求13所述的电子设备，其中所述投影仪失真对应于二进制图案图像的散斑坐标和所述地平线图像的对应散斑坐标之间的映射。
15.根据权利要求14所述的电子设备，其中所述地平线图像包括高分辨率地平线图像，并且估计所述投影仪失真包括将所述地平线图像中最亮的中心散斑与所述二进制图案图像中的中心散斑匹配，并且迭代地预测与已知散斑接壤的区域中的所述地平线图像中的散斑位置。
16.根据权利要求12所述的电子设备，其中所述非暂时性计算机可读存储介质存储指令，当所述指令被运行时，还使得所述处理器根据所述IR相机的焦距估计IR失真；并且
所述确定观察到的IR图像中的散斑位置包括根据所述投影仪失真和所述IR失真确定所述观察到的IR图像中的散斑位置。
17.根据权利要求16所述的电子设备，其中以下至少一个：
所述焦距与给定深度在所述地平线图像坐标和观察到的IR图像的坐标之间引起的偏移量成比例；以及
所述焦距使用焦距参数来最大化扭曲到所述地平线图像的图像对之间的相似性。
18.根据权利要求16所述的电子设备，其中，在确定所述IR图像中的散斑位置时，所述指令还使得所述处理器：
使用所述焦距和深度图构建视差图；
将所述视差图转换到所述投影仪的视角；以及
使用所述地平线图像中的所述散斑位置预测所述观察到的IR图像中的所述散斑位置。
19.根据权利要求18所述的电子设备，其中，在构建所述视差图时，所述指令还使得所述处理器：
获得初始视差图；
经由中值正则化清理所述初始视差图；以及
经由子像素匹配来细化所清理的视差图。
20.根据权利要求16所述的电子设备，其中确定所述IR图像中的散斑位置包括：
根据强度衰减来修改所述散斑位置，所述强度衰减包括测得的所述IR相机中的散斑的强度随距离增大而减小。
CN201910962505.9A 2018-10-19 2019-10-11 用于主动深度感测的方法和装置及其校准方法 Pending CN111080687A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862748023P 2018-10-19 2018-10-19
US62/748,023 2018-10-19
US16/455,057 US11176694B2 (en) 2018-10-19 2019-06-27 Method and apparatus for active depth sensing and calibration method thereof
US16/455,057 2019-06-27

Publications (1)

Publication Number Publication Date
CN111080687A true CN111080687A (zh) 2020-04-28

Family

ID=70280999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910962505.9A Pending CN111080687A (zh) 2018-10-19 2019-10-11 用于主动深度感测的方法和装置及其校准方法

Country Status (4)

Country Link
US (1) US11176694B2 (zh)
KR (1) KR20200044676A (zh)
CN (1) CN111080687A (zh)
TW (1) TW202030697A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710000B (zh) * 2020-05-25 2023-09-05 合肥的卢深视科技有限公司 一种相机行偏差自检方法及系统
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
CN112669362B (zh) * 2021-01-12 2024-03-29 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN113963045B (zh) * 2021-10-19 2022-07-19 合肥的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN113936050B (zh) * 2021-10-21 2022-08-12 合肥的卢深视科技有限公司 散斑图像生成方法、电子设备及存储介质
CN114283089B (zh) * 2021-12-24 2023-01-31 合肥的卢深视科技有限公司 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN114693683B (zh) * 2022-06-01 2022-10-18 合肥的卢深视科技有限公司 深度相机异常检测方法、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285959B1 (en) 1996-02-06 2001-09-04 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US6310650B1 (en) 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US8681224B2 (en) 2007-06-26 2014-03-25 Dublin City University Method for high precision lens distortion calibration and removal
US9329263B2 (en) 2011-05-23 2016-05-03 The Regents Of The University Of Michigan Imaging system and method
EP2701387A1 (en) 2012-08-22 2014-02-26 ST-Ericsson SA Method for correction of defects in image projection for a handheld projector
KR102170182B1 (ko) * 2014-04-17 2020-10-26 한국전자통신연구원 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US20160245641A1 (en) 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
KR102456875B1 (ko) 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
US20170035268A1 (en) * 2015-08-07 2017-02-09 Ming Shi CO., LTD. Stereo display system and method for endoscope using shape-from-shading algorithm
US9794545B2 (en) 2015-09-25 2017-10-17 Intel Corporation Single view feature-less depth and texture calibration
US9824461B2 (en) 2015-09-25 2017-11-21 Intel Corporation Projector distortion compensation in structured light depth reconstruction
US9813692B2 (en) 2015-09-25 2017-11-07 Intel Corporation Online compensation of thermal distortions in a stereo depth camera
AU2017227599A1 (en) * 2016-03-01 2018-08-30 Magic Leap, Inc. Depth sensing systems and methods
US10432915B2 (en) * 2016-03-22 2019-10-01 The Sanborn Map Company, Inc. Systems, methods, and devices for generating three-dimensional models
EP3622707A4 (en) 2017-05-12 2021-05-12 MTT Innovation Incorporated SYSTEMS AND METHODS FOR PROJECTING HIGH BRIGHTNESS

Also Published As

Publication number Publication date
TW202030697A (zh) 2020-08-16
US20200126246A1 (en) 2020-04-23
US11176694B2 (en) 2021-11-16
KR20200044676A (ko) 2020-04-29

Similar Documents

Publication Publication Date Title
CN111080687A (zh) 用于主动深度感测的方法和装置及其校准方法
US11423508B2 (en) Method and system of point cloud registration for image processing
KR102385018B1 (ko) 제약 변경을 갖는 경로 평활화를 위한 저 복잡도 최적화 솔버 장치 및 방법
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
CN107925727B (zh) 3d相机图像中的点到点距离测量
US11363199B2 (en) Apparatus and method for estimating optical image stabilization motion
US10965871B2 (en) Apparatus and method for compensating for image change caused by optical image stabilization motion
JP2017520050A (ja) 局所的適応ヒストグラム平坦化
US10085012B2 (en) Single-view feature-less depth and texture calibration
US11270420B2 (en) Method of correcting image on basis of category and recognition rate of object included in image and electronic device implementing same
US20180124378A1 (en) Enhanced depth map images for mobile devices
KR102524982B1 (ko) 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
CN111063017B (zh) 一种光照估计方法及装置
KR102459717B1 (ko) 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
US20230188691A1 (en) Active dual pixel stereo system for depth extraction
WO2018092422A1 (ja) 画像処理装置および画像処理方法
JP5464671B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
CN113039773A (zh) 用于提供分别与图像中包括的多个外部对象对应的多个服务的电子装置和方法
CN117994311A (zh) 一种房间户型图的生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination