CN103109158B - 一种生成深度数据的方法、装置及系统 - Google Patents

一种生成深度数据的方法、装置及系统 Download PDF

Info

Publication number
CN103109158B
CN103109158B CN201080067567.0A CN201080067567A CN103109158B CN 103109158 B CN103109158 B CN 103109158B CN 201080067567 A CN201080067567 A CN 201080067567A CN 103109158 B CN103109158 B CN 103109158B
Authority
CN
China
Prior art keywords
image
light pattern
depth
data
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080067567.0A
Other languages
English (en)
Other versions
CN103109158A (zh
Inventor
上平员丈
铃木雅洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of CN103109158A publication Critical patent/CN103109158A/zh
Application granted granted Critical
Publication of CN103109158B publication Critical patent/CN103109158B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

总体上描述了用于根据空间光图案生成深度数据的技术。在一些示例中，一种生成深度数据的方法包括：获取空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小；计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；并通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。

Description

一种生成深度数据的方法、装置及系统
技术领域
本公开总体上涉及生成深度数据。 
背景技术
除非本文另外指出，否则本节中描述的素材不是本申请权利要求的现有技术，并且不应因包括在本节中而承认是现有技术。 
用于立体观看的图像包括可以针对左眼的图像和针对右眼的图像。典型地，观看者可以使用特殊眼镜，该眼镜使得右眼仅能看到针对右眼的图像，而左眼仅能看到针对左眼的图像，由此观看者能够感知三维场景。存在两种典型方法来传输针对立体观看的图像数据。第一方法可以涉及同时发送左眼和右眼图像，这导致需要传输两倍于普通2D图像数据的数据。第二方法可以涉及根据左眼图像和右眼图像生成深度图，然后和左眼或右眼图像一起传输结果的深度图。数据的接收方可以使用深度图来重建两个图像中的没有被发送的一个。第二方法还可能导致传输比正常2D图像数据更多的数据量。此外，需要在传输侧产生深度图可能会导致附加的计算负荷。 
发明内容
根据一个或多个实施例，一种生成深度数据的方法包括：计算感兴趣像素周围的局部图像区域中图像数据的空间频率分量值，其中，图像数据表示空间光图案投影到的一个或多个对象，在图像数据中空间光图案的模糊度沿深度方向增大或减小；并且通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。 
根据一个或多个实施例，一种生成深度数据的装置包括：频率分量计算单元，配置成计算感兴趣像素周围的局部图像区域中图像数据 的空间频率分量值，其中图像数据表示空间光图案投影到的一个或多个对象，在图像数据中空间光图案的模糊度沿深度方向增大或减小；以及深度图生成单元，配置成通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。 
根据一个或多个实施例，一种生成深度数据的系统包括：投影单元，配置成投影空间光图案；以及成像单元，配置成捕获空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小，以便通过使用深度和空间频率分量值之间的预设关系来确定深度数据，所述深度数据与感兴趣像素周围的局部图像区域中图像的空间频率分量的计算值相对应。 
以上概要仅是示意性的，并不意在以任何方式进行限制。除了上述示意性方面、实施例和特征以外，参照附图和以下详细描述，其他方面、实施例和特征将变得显而易见。 
附图说明
说明书的结束部分中具体指出并且清楚地要求保护本公开的主题。根据以下说明和所附权利要求，结合附图，本公开的前述和其他特征将更加清楚。在认识到这些附图仅仅示出了根据本公开的一些实施例且因此不应被认为是限制本公开范围的前提下，通过使用附图以额外的特征和细节来描述本公开。 
图1是示出了深度数据生成系统的示例的图； 
图2是示出了空间光图案的示例的图； 
图3是示出了空间光图案的模糊度示例的图，其中空间光图案的模糊度在对象表面上沿深度方向单调增大； 
图4是示出了深度数据生成装置的配置示例的方框图； 
图5是示出了由深度数据生成装置执行的生成深度数据的方法的流程图； 
图6是示出了反射率校正单元的配置示例的方框图； 
图7是示出了由反射率校正单元执行的执行亮度校正的过程的流程图； 
图8是示出了深度图生成单元的配置示例的方框图； 
图9是示出了由深度图生成单元执行的用于确定深度数据的方法的流程图；以及 
图10是示出了沿深度方向的单调模糊度增大的示例的图； 
所有附图均按照本文所述的至少一些实施例设置。 
具体实施方式
以下详细说明描述了各种示例以及特定细节来提供对于要求保护的主题的全面理解。然而，本领域技术人员可以理解，要求保护的主题可以实现为不具有本文公开的一个或多个特定细节。此外，在一些情况下，不再详细描述公知的方法、过程、系统、组件和/或电路以避免不必要地模糊要求保护的主题。在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，类似符号通常表示类似部件，除非上下文另行指明。具体实施方式部分、附图和权利要求书中描述的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性描述以及附图中图示的本公开的各方案可以以多种不同配置来设置、替换、组合、分割和设计，所有这些不同配置来设置、替换、组合、分割和设计均明确包含于此。 
本公开尤其涉及与生成深度数据相关的方法、装置、设备和/或系统。 
简言之，本文总体上描述了一种用于生成深度数据的方法和装置。在一些示例中，方法可以包括获取空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小；计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；并且通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。 
图1是示出了根据本文所述至少一些实施例设置的深度数据生成系统的示例的图。图1所示的深度数据生成系统10可以包括投影单元11、成像单元12和深度数据生成装置13。为了便于描述，由坐标系 的x、y和z轴来表示空间中的三个正交方向，其中z轴对应于投影单元11和成像单元12的深度方向。投影单元11可以配置成发射空间光图案。投影单元11可以是能够投影由胶片介质或类似介质生成的高清晰度图像的传统投影仪。备选地，投影单元11可以是使用液晶显示板的数字投影仪或使用数字微镜器件的DLP(数字光处理)投影仪。在这种情况下，可以将要投影的空间光图案的显示数据输入到投影单元11。成像单元12可以配置成捕获空间光图案投影到的一个或多个对象16到18的图像。成像单元12可以是使用成像器件(例如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器)的摄像机。可以调整投影单元11和成像单元12的光学系统参数，以便所捕获图像中空间光图案的模糊度沿深度方向z单调增大或减小。接下里将详细描述如何实现这种光学系统参数。 
成像单元12可以操作为静态摄像机从而一次产生单个图像，或者可以操作为视频或运动摄像机从而在激活状态期间连续产生一系列图像。将成像单元12产生或生成的图像提供到深度数据生成装置13。图像的提供可以经由暂时性介质14或非暂时性介质15。暂时性介质14可以是传输电信号的通信线路，或者可以是传输电磁信号的空间。非暂时性介质15可以是有形记录介质，例如紧致盘(CD)、数字多用途盘(DVD)、存储卡等。 
深度数据生成装置13可以配置成产生深度数据，深度数据指示了在与成像单元12捕获的图像中任意给定x、y位置相对应的像素处沿深度方向的位置z。可以从成像单元12捕获的图像中提取这种深度数据。即，深度数据生成装置13可以通过分析由成像单元12捕获的图像来生成对例如对象16到成像单元12的距离加以指示的深度数据。深度数据生成装置13可以生成对图像中所有像素处的深度加以表示的深度图。 
为了生成深度数据，投影单元11可以计算感兴趣像素周围的局部图像区域中图像的预定空间频率分量值。然后，投影单元11可以通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。如前所述，所捕获图像中空间光图案的模 糊度可以沿深度方向z单调增大或减小。在这种情况下，预定空间频率分量值可以沿深度方向z单调增大或减小。深度和预定空间频率分量值之间的关系可以设置为数学公式。备选地，可以预先获取深度和预定空间频率分量值之间的关系并作为查找表等存储在存储器中。当确定深度数据时可以参考这种查找表，因此可以在表中定位与针对感兴趣像素计算的预定空间频率分量值相对应的深度值。 
图2是示出了根据本文所述至少一些实施例设置的空间光图案的示例的图。在该示例中，空间光图案可以是棋盘图案，其中沿垂直方向和水平方向交替地排列黑色方形区域和白色方形区域。投影单元11和成像单元12可以配置成实质上具有相同的视角。在这种情况下，与表面到投影单元11的距离z无关，该表面上由投影单元11投影的空间光图案的每个方形区域在成像单元12拍摄的图像中看起来具有恒定的二维尺寸。即，在图1所示的示例中，当由成像单元12观看时，投影到对象16的表面上的空间光图案看起来具有与投影到对象17或18的表面上的空间光图案相同的尺寸。投影单元11可以配置成在沿深度方向的点zpf处具有焦点位置，因此焦点zpf比成像单元12捕获的任意对象(例如16、17、18)更近。这种布置可以保证空间光图案的模糊度在位于深度z处的对象表面上沿深度方向z单调增大。投影单元11可以具有比任意对象距离投影单元11都远的焦点位置。这种布置可以保证空间光图案的模糊度在位于深度z处的对象表面上沿深度方向z单调减小。 
图3是示出了根据本文所述的至少一些实施例设置的对象表面上沿深度方向z单调增大的空间光图案的模糊度的示例。在图3中，由成像单元12捕获的图像30可以包括对象16的图像31(参见图1)、对象17的图像32和对象18的图像33。如图1所示，可以沿深度方向z按照所示的顺序排列对象16、对象17和对象18，其中对象16距离成像单元12最近。在这情况下，投影到最近对象16上的空间光图案34可以最为清晰，投影到最远对象18上的空间光图案36可以最为模糊，而投影到对象17上的空间光图案35在清晰度方面居中。在感兴趣的局部图像区域中，通过分析预定频率分量的值可以从图像30中提取深度数据，该值是图像30中出现的空间光图案34、35和36的模糊程度的函数。 
可以配置由投影单元11投影的空间光图案以便出现在所捕获图像30中的空间光图案34、35和36精细到观看图像30的人不会辨认出存在空间光图案。可以通过使用数字投影仪来产生这种精细的光图案，数字投影仪可以采用具有大量像素的液晶显示板，例如1280X1024像素、1920X1080像素等。在通常的观看条件下，人类观众不会察觉到几个像素大小那么小的细节。即，图像中出现的空间光图案可以在高于当观察图像时对于人类视觉可察觉的空间频率的空间频率处具有周期性。这种布置可以保证，从美学观点来看，图像30的质量不会由于叠加空间光图案而被破坏。然而，可以注意到棋盘图案的每个方形区域的尺寸可以沿x方形和y方形是像素尺寸的至少两倍大。这种布置可以保证成像单元12实现了适当的采样间距以便提取有关空间光图案的频率分量的准确信息。 
以上关于图3的图像30中出现的空间光图案提供的描述没有考虑成像单元12的聚焦。例如，如果成像单元12是针孔摄像机，则成像单元12能够对任意距离处的任意对象聚焦。在这情况下，投影到给定对象表面上的空间光图案在所捕获的图像中可能会出现模糊，因为它在对象表面上。即，在一些情况下可以忽视成像单元12的聚焦。 
然而，在实际中成像单元12的光学系统的特性可能会影响出现在捕获的图像中的空间光图案的模糊度。即，当根据成像单元12捕获的图像来生成深度数据时，除了投影单元11的聚焦以外还需要考虑到成像单元12的聚焦。在一些情况下，成像单元12可以聚焦在作为感兴趣对象的对象16上。在其他情况下，成像单元12可以聚焦在作为感兴趣对象的对象17上，然后聚焦在作为下一个感兴趣对象的对象18上。下面将进一步描述如何考虑成像单元12的聚焦以及其焦点位置的改变。然而，这里可以注意到，与成像单元12的聚焦无关，可以容易地进行设置以便所捕获图像中空间光图案的模糊度沿深度方向z单调增大或减小。通过以下方式可以提供这种单调特性：保证相对于由成像单元12引起的沿深度方向的模糊度改变，由投影单元11引起的沿深度方向的单调模糊度增大(或减小)是主导的。 
图4是示出了根据本文所述的至少一些实施例设置的深度数据生 成装置13的配置的示例的方框图。图4所示的深度数据生成装置13可以包括图像接收单元41、频率分量计算单元42、反射率校正单元43、深度图生成单元44和频率检测单元45。 
图5是示出了根据本文所述的至少一些实施例设置的由深度数据生成装置13执行的用于产生深度数据的方法的流程图。如图所示，示例方法可以包括如一个或多个框S1、S2、S3、S4、S5和/或S6所示的一个或多个操作、动作或功能。例如，由于可以使用图4所示的深度数据生成装置13来实现图5中的方法，参考图4和图5来描述用于生成深度数据的方法。 
图像接收单元41可以从成像单元12接收空间光图案投影到的一个或多个对象的图像。在该图像中，空间光图案的模糊度可以沿深度方向单调增大或减小。可以在框S1开始处理。在框S1，频率检测单元45可以将图像划分为块，每一个块可以是包括像素阵列的矩形图像区域。处理可以从框S1继续到框S2。在框S2，频率检测单元45可以向每一块应用正交变换，例如傅里叶变换或哈达马变换，以针对每个块获取频率分量F(u，v)。这里，F(u，v)可以是像素数据b(x，y)的离散傅里叶变换(或哈达马变换或任意其他正交变换)，像素数据b(x，y)表示与感兴趣块相对应的像素阵列的像素值。坐标x和y可以表示感兴趣块中的像素位置。变量u表示沿x方向的空间频率，变量v表示沿y方向的空间频率。处理可以从框S2继续到框S3。 
在框S3，频率检测单元45可以将所有块的F(u，v)相加以获取S(u，v)，并可以得到阈值频率以上的频率范围内的S(u，v)的最大值。当图像中具有N个块时，S(u，v)可以是第一块的F(u，v)、第二块的F(u，v)、第三块的F(u，v)......以及第N块的F(u，v)之和。由于图像中包括特定空间频率处的空间光图案周期性，S(u，v)可以在特定阈值频率以上的频率范围内的该空间频率处具有局部最大值。通过考虑空间光图案具有周期性时的空间频率可以确定该阈值频率。例如，可以将阈值频率设为低于上述空间频率但高于可归于所捕获场景的图像信息的大多数频谱。由于可归于所捕获场景的图像信息(即，除了可归于投影空间光图案的图像信息以外)的大多数频谱处于较低频率处，设置这种阈值 频率使得可以检测可归于投影空间光图案的频谱的局部最大值。按照这种方式，可以检测到空间光图案具有周期性时的空间频率(um，vm)。处理可以从框S3继续到框S4。 
在框S4，频率分量计算单元42可以向坐标(x，y)处每个感兴趣像素周围的局部图像区域应用正交变换，例如傅里叶变换或哈达马变换，以获取频率分量Fx，y(um，vm)。该局部图像区域可以是以坐标(x，y)为中心的矩形图像区域。这里，Fx，y(u，v)可以是像素数据的离散傅里叶变换(或哈达马变换或任意其他正交变换)，像素数据是局部图像区域的图像阵列的像素值。处理可以从框S4继续到框S5。 
在框S5，反射率校正单元43可以针对不同对象反射率来校正Fx，y(um，vm)。由投影单元11投影的空间光图案可以被对象表面反射到达成像单元12。反射光的强度可以取决于对象表面的反射率。结果，所捕获图像的像素值(即，亮度值)取决于每个对象表面的反射率。随着对象表面的反射率增大，位于与该对象表面相对应的图像区域中的像素的像素值也可以增大。由此Fx，y(um，vm)的值也取决于对象表面反射率。反射率校正单元43可以去除由对象表面反射率的差异引起的Fx，y(um，vm)的变化。接下来将详细描述该校正处理。处理可以从框S5继续到框S6。 
在框S6，深度生成单元44可以根据校正的Fx，y(um，vm)和查找表来生成深度图。查找表可以指示深度(即，沿z方向的位置)和空间频率分量值Fx，y(um，vm)之间的关系。可以预先准备该查找表并将其存储在存储器中。 
图6是示出了根据本文所述的至少一些实施例设置的反射率校正单元43的配置示例的方框图。图6所示的反射率校正单元43可以包括全局平均亮度计算单元61、校正单元62和局部平均亮度计算单元63。 
图7是示出了根据本文所述的至少一些实施例设置的由反射率校正单元43执行的用于执行亮度校正的方法的流程图。如图所示，示例方法可以包括如一个或多个框S21、S22和/或S23所示的一个或多个操作、动作或功能。例如，由于可以使用图6所示的反射率校正单元43来实现图7中的方法，参考图6和图7来描述用于执行亮度校正的方法。 处理可以在框S21开始。 
在框S21，全局平均亮度计算单元61可以计算整个图像的平均亮度DCA。可以通过将所有像素值相加并将得到的和除以像素的数目来计算整个图像的平均亮度DCA。备选地，可以通过与Fx，y(um，vm)一起获取的直接当前分量Fx，y(0，0)来计算整个图像的平均亮度DCA。由于直接当前分量Fx，y(0，0)与局部图像区域中像素值的总和成比例，全局平均亮度计算单元61可以使用Fx，y(0，0)来获取整个图像的平均亮度DCA。处理可以从框S21继续到框S22。 
在框S22，局部平均亮度计算单元63可以计算坐标(x，y)处每个感兴趣像素周围的局部图像区域的平均亮度DCxy。可以通过将局部图像区域的所有像素值相加并将得到的和除以像素的数目来计算局部图像区域的平均亮度DCxy。备选地，可以从直接当前分量Fx，y(0，0)直接获取局部图像区域的平均亮度DCxy。处理可以从框S22继续到框S23。 
在框S23，校正单元62可以针对亮度校正将Fx，y(um，vm)与DCA/DCxy相乘。可以注意到局部图像区域的局部平均亮度DCxy可以与对应于该局部图像区域的对象表面的反射率成比例。此外，Fx，y(um，vm)的值也与对应于该局部图像区域的对象表面的反射率成比例。因此，与DCA/DCxy相乘能够从Fx，y(um，vm)中去除对象表面反射率变化的影响。还可以注意到为了去除对象表面反射率变化的影响，将Fx，y(um，vm)与1/DCxy相乘就足够了。 
图8是示出了根据本文所述的至少一些实施例设置的深度图生成单元44的配置示例的方框图。图8所示的深度图生成单元44包括摄像机参数获取单元81、A(z)计算单元82、LUT生成单元83、深度计算单元84、和指示了B(z)的LUT(查找表)85。A(z)可以表示沿深度方向的位置和由投影空间光图案的投影单元11引起的空间光图案的模糊度之间的关系。B(z)可以表示沿深度方向的位置和由捕获图像的成像单元12引起的空间光图案的模糊度之间的关系。 
图9是示出了根据本文所述的至少一些实施例设置的由深度图生成单元44执行的用于确定深度数据的方法的流程图。如图所示，示例方法可以包括如一个或多个框S31、S32、S33、S34和/或S35所示的一 个或多个操作、动作或功能。所示的示例方法通过组合投影单元11的聚焦效果和成像单元12的聚焦效果来确定深度数据。例如，由于可以使用图8所示的深度图生成单元44来实现图9中的方法，通过参考图8和图9来描述用于确定深度数据的方法。处理可以在框S31开始。 
在框S31，摄像机参数获取单元81可以从成像单元12获取沿z方向的焦点位置zcf和光圈大小D。摄像机参数获取单元81还可以获取焦点位置(xcf，ycf)，成像单元12在x-y平面内的该点处聚焦在对象表面上。典型地以焦距f和f数N的形式来提供光圈大小D。然后，光圈大小D(即，入射光孔的直径)可以被计算为D＝f/N。处理可以从框S31继续到框S32。 
在框S32，A(z)计算单元82可以根据焦点位置zcf和光圈大小D，根据深度z来计算由摄像机光学系统(即，成像单元12)引起的空间图案频率的深度相关幅度变化A(z)。该深度相关幅度变化A(z)可以表示当由聚焦于焦点位置zcf的成像单元12观看时，位于深度z处的表面上空间光图案的空间频率(um，vm)的幅度。该空间光图案可以是在位于深度z的表面上没有模糊的理想空间光图案。即，在不存在由投影单元11引起的空间光图案的模糊的情况下，深度相关幅度变化A(z)可以仅考虑到由成像单元12引起的空间光图案的模糊。 
可以如下获取深度相关幅度变化A(z)。可以将聚焦在距离zcf的成像单元12的点扩展函数表示为psf(x，y)，psf(x，y)在具有直径Dz/(zcf+z)的圆形区域内的值为(2(zcf+z)/Dz)2/pi(pi＝3.14......)，该圆形区域外的值为零。因此，当p(x，y)＝p0(x，y)*psf(x，y，z)时，位于深度z的空间光图案可以出现在由成像单元12捕获的图像中，其中p0(x，y)是位置zcf处的空间光图案，符号“*”表示卷积运算。可以将p(x，y)相对于x和y的正交变换(例如傅里叶变换或哈达马变换)表示为P(u，v)＝P0(u，v)PSF(u，v，z)，其中P0(u，v)和PSF(u，v，z)分别是p0(x，y)和psf(x，y，z)的正交变换。然后，深度相关幅度变化A(z)可以等于P(um，vm)，其中(um，vm)是空间光图案具有周期性时的空间光频率。处理可以从框S32继续到S33。 
在框S33，LUT生成单元83可以根据A(z)和B(z)，生成对Fx，y(um，vm) 和深度z之间的关系加以指示的查找表Bc(z)，其中B(z)表示由投影系统11引起的空间光图案的模糊度。可以按照以下方式预先获取B(z)。首先，按照图1所示的连接，投影单元11可以将空间光图案(例如棋盘图案)投影到位于深度z的空白平坦表面(例如，白色平坦表面)上，同时聚焦于深度zpf。然后，由聚焦于位于深度z处该表面上的成像单元12捕获位于深度z的表面上的该空间光图案的图像。所捕获的图像中的空间光图案p(x，y，z)可以包括由投影单元11引起的模糊，但可以不包括由成像单元12引起的模糊。当将相对于x和y的p(x，y，z)的正交变换称作P(u，v，z)时，可以将B(z)表示为P(um，vm，z)。将预先按照这种方式获取的B(z)作为查找表B(z)存储在存储器中。然后，将同时以由投影单元11引起的模糊度和由成像单元12引起的模糊度作为因子的深度相关幅度变化表示为A(z)B(z)。即，可以将A(z)B(z)存储为查找表Bc(z)。可以注意到，备选地，通过投影单个光斑而不是例如棋盘图案的空间光图案，可以将B(z)获取为点扩展函数的深度相关特性。还可以注意到，可以备选地作为近似投影单元11的点扩展函数的数学公式来获得B(z)。点扩展函数可以类似于之前所述的psf(x，y，z)，或者可以表示为高斯函数。当将B(z)提供为数学公式时，也可以将Bc(z)获取为数学公式而不是查找表。处理可以从框S33继续到框S34。 
在框34，深度计算单元84可以针对亮度因子对Fx，y(um，vm)进行标准化。如前所述，针对反射率变化由反射率校正单元43校正的频率分量的值可以是Fx，y(um，vm)DCA/DCxy。在图9的框S1，可以从成像单元12获取焦点位置(xcf，ycf)，成像单元12在对象表面上x-y平面中的该点处聚焦。可以将该焦点位置(xcf，ycf)处Fx，y(um，vm)DCA/DCxy的值表示为Rxy。然后，深度计算单元84可以通过将所捕获的图像中任意给定空间坐标(x，y)处Fx，y(um，vm)DCA/DCxy的值与Bc(zcf)/Rxy相乘，对该值进行标准化。该标准化过程可以保证焦点深度zcf处的焦点位置(xcf，ycf)的空间频率(um，vm)的幅度等于Bc(zcf)。处理可以从框S34继续到框S35。 
在框S35，深度计算单元84可以根据标准化的Fx，y(um，vm)和Bc(z)来确定每个像素位置处的深度。即，深度计算单元84可以参考查找表Bc(z)来得到与(Fx，y(um，vm)DCA/DCxy)xBc(zcf)/Rxy相关联的深度z。在 查找表Bc(z)中得到的深度z可以是对应于像素位置(x，y)的对象表面在由成像单元12捕获的场景中所处的深度。 
按照上述方式，在深度图生成单元44生成的深度图中，可以同时考虑到由投影单元11引起的空间光图案的模糊度和由成像单元12引起的空间光图案的模糊度。此外，如前所述，与成像单元12的聚焦无关，可以容易地进行设置以便所捕获图像中空间光图案的模糊度沿深度方向z单调增大或减小。通过以下方式可以提供这种单调特性：保证相对于由成像单元12引起的沿深度方向的模糊度改变，由投影单元11引起的沿深度方向的单调模糊度增大(或减小)是主导的。 
图10是示出了根据本文所述的至少一些实施例设置的沿深度方向单调模糊度增大的示例的图。水平轴可以表示深度z，垂直轴可以表示空间频率(um，vm)的幅度。特性曲线91可以对应于A(z)，A(z)可以表示由成像单元12引起的空间光图案的模糊度。成像单元12可以在感兴趣对象处具有焦点位置，因此特性曲线91可以沿深度方向z在该焦点位置处具有最大波峰。特性曲线92可以对应于B(z)，B(z)可以表示由投影单元11引起的空间光图案的模糊度。投影单元11可以沿深度方向z在最近位置处具有焦点位置，因此，随着深度z增大，特性曲线单调下降。即，随着深度z增大，由特性曲线92表示的模糊度可以单调增大。 
如图10所示，进行设置以便相对于由成像单元12引起的沿深度方向的模糊度改变，由投影单元11引起的沿深度方向的单调模糊度增大是主导的。因此，随着深度z增大，对应于Bc(z)＝A(z)B(z)的特性曲线93可以单调下降。即，随着深度z增大，通过组合由投影单元11引起的模糊度和成像单元12引起的模糊度获取的模糊度可以单调增大。利用这种模糊度特性，可以根据空间频率(um，vm)的给定幅度来唯一地确定深度数据。 
本公开中对于术语“响应”或“响应于”的引用并不局限于仅响应特定特征和/或结构。特征还可以响应于其他特征和/或结构，并且还处于该特征和/或结构内。此外，当本文中或随后的权利要求书中使用诸如“耦接”或“响应”或“响应于”或“与......进行通信”等术 语或短语时，应当广义地理解这些术语。例如，在使用短语“耦接”的上下文中，该短语可以是指适当地在通信上、电学上和/或操作上耦接。 
根据对于存储在计算系统存储器(例如计算机存储器)中的数据比特或二进制数字信号的操作的算法或符号表述来呈现前述详细描述的一些部分。这些算法描述或表述是数据处理技术领域的普通技术人员使用的技术示例，以便将其工作的实质传达给该领域中的其他技术人员。这里的算法总体上被视为运算的自相一致序列或导致期望结果的类似处理。在该上下文中，运算或处理涉及物理量的物理操纵。典型地，尽管不是必要地，这种物理量可以采用能够被存储、传送、组合、比较或操纵的电或磁信号的形式。主要针对常见用途，有时便利地将这种信号称作比特、数据、数值、元素、符号、字符、术语、数、数字等。然而，应当理解所有这些和类似术语均与适当的物理量相关联，并且仅为便利标记。除非特别另外指出，如根据以下讨论中显见的是，可以理解，贯穿本说明书讨论使用的术语(例如“处理”、“计算处理”、“计算”、“确定”等)是指计算设备的动作或处理，该计算设备操纵或变换计算设备的存储器、寄存器或其他信息存储设备、传输设备或显示设备中被表示为物理电子或磁量的数据。 
以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一个或多个计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器 上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。 
本领域技术人员应认识到，本领域普通以上述方式描述设备和/或工艺，以及此后使用工程实践来将所描述的设备和/或工艺集成到数据处理系统中。也即，这里所述的设备和/或工艺的至少一部分可以通过合理数量的试验而被集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一项或多项：系统单元外壳；视频显示设备；存储器，如易失性和非易失性存储器；处理器，如微处理器和数字信号处理器；计算实体，如操作系统、驱动程序、图形用户接口、以及应用程序；一个或多个交互设备，如触摸板或屏幕；和/或控制系统，包括反馈环和控制电机(例如，用于感测位置和/或速度的反馈；用于移动和/或调节成分和/或数量的控制电机)。典型的数据处理系统可以利用任意合适的商用部件(如数据计算/通信和/或网络计算/通信系统中常用的部件)予以实现。 
本公开所述的主题有时说明不同部件包含在不同的其他部件内或者不同部件与不同的其他部件相连。应当理解，这样描述的架构只是示例，事实上可以实现许多能够实现相同功能的其他架构。在概念上，有效地“关联”用以实现相同功能的部件的任意设置，从而实现所需功能。因此，这里组合任意两个部件实现具体功能可以被视为彼此“关联”从而实现所需功能，而无论架构或中间部件如何。同样，任意两个如此关联的部件也可以看作是彼此“可操作地连接”或“可操作地耦合”以实现所需功能，且能够如此关联的任意两个部件也可以被视为彼此“能可操作地耦合”以实现所需功能。能可操作地耦合 的具体示例包括但不限于物理上可配对和/或物理上交互的部件，和/或无线交互和/或可无线交互的部件，和/或逻辑交互和/或可逻辑交互的部件。 
至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。 
本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词(例如，不定冠词应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有 A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。 
还应当理解，术语“优化”可以包括最大化和/或最小化。术语“最小化”和/或这里使用的类似术语可以包括全局最小值、局部最小值、近似全局最小值和/或近似局部最小值。类似地，还应当理解，术语“最大化”和/或这里使用的类似术语可以包括全局最大值、局部最大值、近似全局最大值、和/或近似全局最大值。 
说明书中对“实现”、“一种实现”、“一些实现”或“其他实现”的引用可以意味着结合一种或多种实现描述的特定特征、结构或特性可以包括在至少一些实现中，而不必包括在所有实现中。先前说明书中出现的“实现”、“一种实现”或“一些实现”不必全指相同实现。 
尽管本文已经使用各种方法和系统描述并示出了特定示例技术，本领域技术人员应当理解，在不脱离要求保护的主题的前提下，可以进行各种其他修改并替换等同物。此外，在不脱离本文所述的中心思想的前提下，可以进行多种修改以将特定情形与要求保护的主题的教旨相适配。因此，要求保护的主题不局限于所公开的特定示例，这种要求保护的主题还可以包括落在所附权利要求及其等同物的范围内的所有实现方式。 

Claims (18)

1.一种生成深度数据的方法，包括：
计算感兴趣像素周围的局部图像区域中图像数据的空间频率分量值，其中，图像数据表示空间光图案投影到的一个或多个对象，在图像数据中空间光图案的模糊度沿第一深度方向增大并且沿第二深度方向减小；
根据第一数据和第二数据计算深度和空间频率分量值之间的预设关系，其中，第一数据指示了沿深度方向的位置和由用于投影空间光图案的投影系统引起的空间光图案的模糊度之间的第一关系，第二数据指示了沿深度方向的位置和由用于捕获图像的成像系统引起的空间光图案的模糊度之间的第二关系；并且
通过使用深度和空间频率分量值之间的所述预设关系来确定与空间频率分量的计算值相对应的深度数据。
2.根据权利要求1所述的方法，还包括：检测图像的空间频谱在阈值频率以上的频率范围内具有最大值时的空间频率，其中空间频率分量的计算值是检测到的空间频率处的空间频率分量值，图像数据中空间光图案至少在所述阈值频率以上的空间频率处具有周期性。
3.根据权利要求1所述的方法，其中，图像中空间光图案具有周期性的空间频率高于当观察图像数据时对于人类视觉可察觉的空间频率。
4.根据权利要求1所述的方法，其中，局部图像区域是矩形区域，计算空间频率分量值包括通过向矩形区域应用正交变换来计算空间频率分量。
5.根据权利要求1所述的方法，还包括：针对图像的局域图像区域中出现的对象的反射率来校正空间频率分量的计算值。
6.根据权利要求5所述的方法，其中，校正计算值包括将计算值除以局部图像区域中图像的平均亮度。
7.根据权利要求1所述的方法，其中，如下确定所述第二数据：
根据对沿深度方向的成像系统的焦点位置和成像系统的透镜光圈尺寸加以指示的数据，相对于沿深度方向的不同位置计算由成像系统引起的空间光图案的模糊度。
8.根据权利要求1所述的方法，其中，如下确定第一数据：
将空间光图案从投影系统投影到平坦单调表面；
通过使用聚焦在所述表面上的成像系统来捕获投影在所述表面上的空间光图案的图像；并且
相对于沿深度方向的不同点处设置的平坦单调表面，执行投影空间光图案和捕获空间光图案的图像。
9.一种生成深度数据的装置，包括：
频率分量计算单元，配置成计算感兴趣像素周围的局部图像区域中图像数据的空间频率分量值，其中图像数据表示空间光图案投影到的一个或多个对象，在图像数据中空间光图案的模糊度沿第一深度方向增大并且沿第二深度方向减小；以及
深度图生成单元，配置成通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据，
其中，深度图生成单元包括：
关系计算单元，配置成根据第一数据和第二数据计算深度和空间频率分量值之间的所述预设关系，其中第一数据指示了沿深度方向的位置和由用于投影空间光图案的投影系统引起的空间光图案的模糊度之间的第一关系，第二数据指示了沿深度方向的位置和由用于捕获图像的成像系统引起的空间光图案的模糊度之间的第二关系。
10.根据权利要求9所述的装置，还包括：频率检测单元，配置成检测图像的空间频谱在阈值频率以上的频率范围内具有最大值时的空间频率，其中空间频率分量的计算值是检测到的空间频率处的空间频率分量的值，图像数据中空间光图案至少在所述阈值频率以上的空间频率处具有周期性。
11.根据权利要求9所述的装置，其中，图像中空间光图案具有周期性时的空间频率高于当观察图像时对于人类视觉可察觉的空间频率。
12.根据权利要求9所述的装置，其中，频率分量计算单元配置成通过向作为局部图像区域的矩形区域应用正交变换来计算空间频率分量。
13.根据权利要求9所述的装置，还包括：反射率校正单元，配置成针对图像的局域图像区域中出现的对象的反射率来校正空间频率分量的计算值。
14.根据权利要求13所述的装置，其中，反射率校正单元配置成将计算值除以局部图像区域中图像的平均亮度。
15.根据权利要求9所述的装置，其中，模糊度数据获取单元配置成根据成像系统的焦点位置和成像系统的透镜光圈尺寸，相对于沿深度方向的不同位置计算由成像系统引起的空间光图案的模糊度。
16.一种生成深度数据的系统，包括：
投影单元，配置成投影空间光图案；以及
成像单元，配置成捕获空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小，并根据第一数据和第二数据计算深度和空间频率分量值之间的预设关系，其中第一数据指示了沿深度方向的位置和由用于投影空间光图案的投影系统引起的空间光图案的模糊度之间的第一关系，第二数据指示了沿深度方向的位置和由用于捕获图像的成像系统引起的空间光图案的模糊度之间的第二关系，以便通过使用深度和空间频率分量值之间的所述预设关系来确定深度数据，所述深度数据与感兴趣像素周围的局部图像区域中图像的空间频率分量的计算值相对应。
17.根据权利要求16所述的系统，其中，空间光图案包括棋盘图案，其中棋盘图案的每个方形区域的大小沿x方向和y方向至少是像素尺寸的二倍。
18.根据权利要求16所述的系统，其中，所捕获的图像用于生成立体图像。
CN201080067567.0A 2010-10-05 2010-10-05 一种生成深度数据的方法、装置及系统 Expired - Fee Related CN103109158B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/005965 WO2012046270A1 (en) 2010-10-05 2010-10-05 Generation of depth data based on spatial light pattern

Publications (2)

Publication Number Publication Date
CN103109158A CN103109158A (zh) 2013-05-15
CN103109158B true CN103109158B (zh) 2015-03-04

Family

ID=45889368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080067567.0A Expired - Fee Related CN103109158B (zh) 2010-10-05 2010-10-05 一种生成深度数据的方法、装置及系统

Country Status (6)

Country Link
US (2) US9030466B2 (zh)
JP (1) JP5536071B2 (zh)
KR (1) KR101494066B1 (zh)
CN (1) CN103109158B (zh)
BR (1) BR112013008313A2 (zh)
WO (1) WO2012046270A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251578B2 (en) 2012-07-02 2016-02-02 Sony Corporation System and method for match move quality control
US9661296B2 (en) * 2012-07-12 2017-05-23 Samsung Electronics Co., Ltd. Image processing apparatus and method
TWI707483B (zh) * 2012-07-17 2020-10-11 新加坡商新加坡恒立私人有限公司 發射可變強度分布的光線的光電模組
US9389067B2 (en) * 2012-09-05 2016-07-12 Canon Kabushiki Kaisha Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US9729860B2 (en) * 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
JP2016061622A (ja) * 2014-09-17 2016-04-25 株式会社リコー 情報処理システム、及び情報処理方法
US20160150219A1 (en) 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
KR20170120567A (ko) * 2015-01-20 2017-10-31 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도 정보를 추출하기 위한 방법 및 장치
FR3034078B1 (fr) * 2015-03-27 2017-03-24 Airbus Helicopters Procede et dispositif pour signaler au sol un aeronef en vol, et aeronef muni de ce dispositif
WO2016171296A1 (ko) * 2015-04-24 2016-10-27 재단법인 다차원 스마트 아이티 융합시스템 연구단 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
US10378882B2 (en) * 2015-11-04 2019-08-13 Magic Leap, Inc. Light field display metrology
US20170323429A1 (en) 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
JP6735615B2 (ja) * 2016-06-29 2020-08-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US11729370B2 (en) * 2018-11-28 2023-08-15 Texas Instruments Incorporated Multi-perspective display driver

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920273A (en) * 1985-06-17 1990-04-24 View Engineering, Inc. Z-axis measurement system
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4743771A (en) * 1985-06-17 1988-05-10 View Engineering, Inc. Z-axis height measurement system
JPH0560528A (ja) 1991-09-03 1993-03-09 Hitachi Ltd 立体情報入力装置
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
CA2289022C (en) * 1997-04-07 2009-03-31 Teri A. Lawton Methods and apparatus for diagnosing and remediating reading disorders
JP2000251090A (ja) * 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
JP2000329527A (ja) * 1999-05-20 2000-11-30 Sony Corp 高さ測定装置及び方法とこれを利用した検査装置
JP3595736B2 (ja) 1999-07-14 2004-12-02 株式会社オプトン 非接触形状測定方法
DE19944516B4 (de) * 1999-09-16 2006-08-17 Brainlab Ag Dreidimensionale Formerfassung mit Kamerabildern
AU2003210440A1 (en) * 2002-01-04 2003-07-24 Neurok Llc Three-dimensional image projection employing retro-reflective screens
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US6906736B2 (en) * 2002-02-19 2005-06-14 Polaroid Corporation Technique for printing a color image
JP2005017805A (ja) * 2003-06-27 2005-01-20 Mitsutoyo Corp 画像測定装置のフォーカス検出方法、フォーカス検出機構、およびこのフォーカス検出機構を備えた画像測定装置
US7944467B2 (en) * 2003-12-01 2011-05-17 Omnivision Technologies, Inc. Task-based imaging systems
CN101699866B (zh) * 2004-01-30 2016-08-03 松下电器（美国）知识产权公司 运动图片编码方法和运动图片解码方法
KR100860147B1 (ko) * 2004-02-20 2008-09-24 닛본 덴끼 가부시끼가이샤 화상 부호화 방법, 그 장치 및 제어 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
JP2006098252A (ja) 2004-09-30 2006-04-13 Brother Ind Ltd ３次元情報取得方法
JP4213112B2 (ja) * 2004-11-09 2009-01-21 シャープ株式会社 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
US7583272B2 (en) * 2004-11-29 2009-09-01 Purdue Research Foundation Methods for retrieving shapes and drawings
US7830561B2 (en) * 2005-03-16 2010-11-09 The Trustees Of Columbia University In The City Of New York Lensless imaging with controllable apertures
US7609724B1 (en) * 2005-04-29 2009-10-27 Qualcomm Incorporated Enhanced frame aggregation in a wireless network system
JP4747703B2 (ja) * 2005-07-20 2011-08-17 ソニー株式会社 ホログラフィックステレオグラム作成装置及び方法
CN101466998B (zh) 2005-11-09 2015-09-16 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
JP2009008649A (ja) 2007-05-31 2009-01-15 Nsk Ltd 脚車輪型ロボット
US8740978B2 (en) * 2007-08-27 2014-06-03 Amo Regional Holdings Intraocular lens having extended depth of focus
US8747466B2 (en) * 2007-08-27 2014-06-10 Amo Groningen, B.V. Intraocular lens having extended depth of focus
US7961908B2 (en) * 2007-12-21 2011-06-14 Zoran Corporation Detecting objects in an image being acquired by a digital camera or other electronic image acquisition device
US9487822B2 (en) * 2008-03-19 2016-11-08 Fluidigm Corporation Method and apparatus for determining copy number variation using digital PCR
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US20100174599A1 (en) * 2009-01-05 2010-07-08 Apple Inc. System and method for providing content associated with a product or service
US8624824B2 (en) * 2009-03-19 2014-01-07 Sharp Laboratories Of America, Inc. Area adaptive backlight with reduced color crosstalk
JP2010271689A (ja) * 2009-04-21 2010-12-02 Fujifilm Corp 位相補正板、撮像システム、撮像装置、携帯電話、車載機器、監視カメラ、内視鏡装置、デジタルカメラ、デジタルビデオカメラ、およびレンズユニット
JP5491073B2 (ja) * 2009-05-22 2014-05-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5516936B2 (ja) * 2009-07-23 2014-06-11 株式会社リコー 画像形成装置
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8379112B2 (en) * 2009-09-09 2013-02-19 Olympus Imaging Corp. Waterproof camera and display method
JP5402483B2 (ja) * 2009-10-02 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
JP5517746B2 (ja) * 2010-05-26 2014-06-11 キヤノン株式会社 画像処理装置およびその方法
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
JP5593972B2 (ja) * 2010-08-30 2014-09-24 ソニー株式会社 情報処理装置、立体視表示方法、及びプログラム
CN103153158B (zh) * 2010-12-17 2015-09-23 奥林巴斯医疗株式会社 内窥镜装置
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920273A (en) * 1985-06-17 1990-04-24 View Engineering, Inc. Z-axis measurement system
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns

Also Published As

Publication number Publication date
KR20130038300A (ko) 2013-04-17
US20150198439A1 (en) 2015-07-16
KR101494066B1 (ko) 2015-02-16
WO2012046270A1 (en) 2012-04-12
US20120081360A1 (en) 2012-04-05
US9746319B2 (en) 2017-08-29
JP2013502558A (ja) 2013-01-24
CN103109158A (zh) 2013-05-15
JP5536071B2 (ja) 2014-07-02
BR112013008313A2 (pt) 2020-09-15
US9030466B2 (en) 2015-05-12

Similar Documents

Publication Publication Date Title
CN103109158B (zh) 一种生成深度数据的方法、装置及系统
US11663733B2 (en) Depth determination for images captured with a moving camera and representing moving features
US10134198B2 (en) Image compensation for an occluding direct-view augmented reality system
US9122946B2 (en) Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image
US20140327736A1 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9756316B2 (en) Joint view expansion and filtering for automultiscopic 3D displays
US9332247B2 (en) Image processing device, non-transitory computer readable recording medium, and image processing method
JP2013065280A (ja) 画像処理方法、画像処理装置およびプログラム
Im et al. High quality structure from small motion for rolling shutter cameras
JP2013531309A5 (zh)
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
Kellnhofer et al. 3DTV at home: eulerian-lagrangian stereo-to-multiview conversion
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
US10097777B2 (en) Depth map from multi-focal plane images
WO2018043437A1 (ja) 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体
US9319581B2 (en) Image editing method and associated apparatus
JP6788472B2 (ja) 要素画像生成装置およびそのプログラム
Chen et al. A vision-based augmented-reality system for multiuser collaborative environments
Cole et al. Efficient Range Sensing Using Imperceptible Structured Light
Drouin et al. Camera–projector matching using unstructured video
KARAJEH Intermediate view reconstruction for multiscopic 3D display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150304

Termination date: 20191005