CN104581124A - 产生场景的深度图的方法和装置 - Google Patents

产生场景的深度图的方法和装置 Download PDF

Info

Publication number
CN104581124A
CN104581124A CN201410588222.XA CN201410588222A CN104581124A CN 104581124 A CN104581124 A CN 104581124A CN 201410588222 A CN201410588222 A CN 201410588222A CN 104581124 A CN104581124 A CN 104581124A
Authority
CN
China
Prior art keywords
scene
density
depth
region
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410588222.XA
Other languages
English (en)
Other versions
CN104581124B (zh
Inventor
P.茹埃
V.阿洛姆
C.巴亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104581124A publication Critical patent/CN104581124A/zh
Application granted granted Critical
Publication of CN104581124B publication Critical patent/CN104581124B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

描述了产生场景的深度图的方法和装置。该方法包括以下步骤：将密度均匀的结构光图案投射到场景上，以获得第一深度图；基于第一深度图中的深度信息，将场景分割为至少一个区域；以及通过使光图案的密度适配于场景的至少一个区域，将密度不均匀的结构光图案投射到场景上，以获得场景的第二深度图。

Description

产生场景的深度图的方法和装置
技术领域
本发明一般涉及3D计算机图形。具体地，本发明涉及产生场景的深度图的方法和装置。
背景技术
在3D计算机图形中，深度图是包含深度信息的图像，深度信息与场景中的对象的表面离开视点的距离有关。深度图通常是2D图像，其具有对应于距离的像素值，例如更明亮的值意味着更短的距离，或者反过来。
深度图中包含的深度信息可以具有若干用途。例如，能够用于模拟诸如雾或烟这样的场景内的均匀致密的半透明介质的效果。
微软(Microsoft)的Kinect系统提出使用结构光(structured light)来建立场景的深度图。结构光方法表示把已知的像素图案(往往是网格或水平条)投射到场景上的过程。光图案在撞击到场景的若干表面时变形的方式允许视觉系统计算场景中的点/对象的深度信息。
具体地，在Kinect系统的结构光方法中，存在将特别设计的2D图案投射在场景上的光源。通常，IR(Infrared Ray，红外线)点投影用于Kinect系统。该投影可以仅仅为点的伪随机布局，使场景的每个区域都被唯一点的布局图案照亮。图1是示出照射到场景上的IR点投影的图案的示例图。被照射的场景将被图像传感器捕获。在将上述IR点投影用作光源的情况下，图像传感器可以是IR捕获传感器(例如IR摄像机)。即使在变化来自于场景区域中的深度改变的情况下，每个唯一图案也都将通过IR捕获传感器的图像被唯一地识别。然后，通过三角测量原理根据被投射且捕获的图案之间的移位测量出深度信息。在Kinect系统的IR点投影的示例中，带有参与者的场景被不可见的IR光轰击。该辐射的一部分将被所有受影响的表面反射。(涉及IR摄像机的)被反射的IR辐射的量取决于对象的距离。对于更远的对象，被反射的红外辐射的量将更小。相反，对于近处的对象，被反射的红外辐射的量将很重要。因此，IR摄像机将基于强度测量到对象的距离。
结构光方法现在被广泛地使用，特别在电影领域中。
在产生场景的深度图的常规的结构光方法中，场景被密度均匀的结构光照射。例如，场景的背景和前景中的对象以具有相同密度的图案投射。然后测量出的变形允许如上所述的深度图的计算。
然而，在常规的结构光方法中，密度均匀的结构光图案被投射到场景上。这意味着其密度可能与给定场景的点/对象的数量相关联的光的同一图案将用于该场景的全部的点/对象，而与对象到视点的距离无关。这样的结构光方法的问题之一是最远的对象的精度损失。应当认识到，在均匀密度投影的情况下，最远的对象的清晰度已经比最近的对象的清晰度差。
发明内容
考虑到常规技术中的以上问题，本发明提供了产生场景的深度图的方法和装置，其使用密度不均匀的结构光图案投射到所述场景上。所述光图案的密度动态地适配于通过深度分割划分的所述场景的至少一个区域，随着所述至少一个区域的深度值而变化。本发明能够提供关于所期望的深度精度的可控制的图案投影，并且允许在产生场景的深度图的期间进行更加详细的分析。
根据本发明的一方面，提供了产生场景的深度图的方法。所述方法包括以下步骤：将密度均匀的结构光图案投射到所述场景上，以获得第一深度图；基于所述第一深度图中的深度信息，将所述场景分割为至少一个区域；以及，通过使所述光图案的密度适配于所述场景的所述至少一个区域，将密度不均匀的结构光图案投射到所述场景上，以获得所述场景的第二深度图。
根据本发明的一方面，提供了产生场景的深度图的装置。所述装置包括：图案投射器，用于向场景投射结构光图案；图像传感器，用于捕获在所投射的结构光图案的照射下的所述场景的图像；深度信息单元，用于通过测量所投射的结构光图案与由所述图像传感器捕获的光图案之间的变形来获得所述场景的深度信息，以产生所述场景的深度图；以及控制单元，用于使所投射的结构光图案的密度适配于所述场景的相应区域，随着所述区域的平均深度值而变化。
应当理解，在本发明的以下详细说明中将发现关于本发明的更多方面和优点。
附图说明
放入附图，以便与用于解释实施例的原理的描述一起，提供关于本发明的实施例的更进一步的理解。本发明并不限于所述实施例。
在附图中：
图1是示出照射到场景上的IR点投影的图案的示例图；
图2是示出根据本发明的实施例的产生场景的深度图的方法的流程图；
图3是示出密度均匀的结构光图案的示例图；
图4是示出通过矩形包围盒的深度分割的输出的示例图；
图5是示出具有自适应密度的光图案的示例图；
图6(a)、图6(b)和图6(c)是示出产生特定场景的深度图的过程的示例图；以及
图7是根据本发明的实施例的产生场景的深度图的装置的框图。
具体实施方式
现在将结合附图详细地描述本发明的实施例。在以下说明中，为了简明，可能省略对公知功能和配置的一些详细说明。
图2是示出根据本发明的实施例的产生场景的深度图的方法的流程图。
在步骤201，将密度均匀的结构光图案投射到场景上，以获得第一深度图。
在这个步骤中，图案投射器可以用于向场景投射结构光图案。任何适当的光源都能够用于图案投射器，包括但是不限于上述IR投射器。在这种情况下，应当认识到从图案投射器入射的光是IR。如上所述，所投射的图案可以是点的布局。图3是示出在步骤201中可以使用的密度均匀的结构光图案的示例图。但是应当认识到，图案能够包括其他预定的形状。
能够通过图像获取单元测量所投射的结构光在撞击到场景的反射表面时的变形。图像获取单元可以是图像传感器，例如摄像机。在这种情况下，使用IR捕获传感器。场景的深度信息能够通过测量所投射的结构光图案与由图像获取单元捕获的图案之间的变形/移位来计算。根据计算出的深度信息能够产生第一深度图。应当认识到，能够使用根据所捕获的变形来计算深度信息的已知的三角测量算法。在这方面将不给出进一步的细节。
在步骤202，基于第一深度图中的深度信息，将场景分割为至少一个区域。
深度信息可以是场景的点的深度值。在这种情况下，可以通过根据由第一深度图提供的场景的点的深度值将场景的点分组为多个群集(cluster)来执行步骤202(在下文中，可以称其为深度分割)。可以将具有相同或相似深度值的点的集合分组到一个群集中。
场景的点之间的欧几里德距离(Euclidian distance)能够用于以上目的，即，将具有相同或相似深度值的场景的点分组为群集。欧几里德距离的标准用于建立群集，其通过具有最近距离(di+/-Δ)的点来建立。该过程可以是近邻约束的，以得到均匀的群集。应当认识到，欧几里德距离以外的其他标准也能够用于场景的点的群集。
可以根据场景的复杂度来确定要分割的区域的数量。可以由用户设置与场景的复杂度有关的参数。场景的复杂度可以与场景中对象的数量和尺寸以及这些对象之间的距离差异有关。例如，在不同距离处具有大量对象的场景被视为是复杂的，并且具有小对象的场景也被视为是复杂的。可以将更复杂的场景分割为更多数量的区域。
例如，应当认识到，基于深度值的场景的基本分割的结果是场景的背景区域和前景区域。
图4是示出通过矩形包围盒的深度分割的结果的示例的示例图。如图4所示，根据在第一深度图中提供的深度信息，可以将场景分割为三个区域，其被指示为前景平面、背景平面和中间平面。可以通过根据由第一深度图提供的场景的点的深度值对这些点进行群集来进行分割。具有相同或相似深度值的点被分组到一个群集中，即，前景平面、背景平面和中间平面的区域之一。在图4中，场景被分割为由矩形包围盒限定的区域。矩形包围形状是一种简单的用于深度分割的包围盒。但是本领域的技术人员应当认识到，也可以使用其他形状。
为了管理边界区域，可以扩大得到的前景区域以具有安全余量，使得能够避免振荡。
例如，矩形包围盒可以围绕被分割的斑点(blob)建立，或者可以对被分割的深度图像进行形态侵蚀。
在步骤203，通过使光图案的密度适配于场景的至少一个区域，将密度不均匀的结构光图案投射到场景上，以获得场景的第二深度图。
应当认识到，深度图的准确度取决于光图案的密度。致密的图案将比稀疏的图案提供更高的准确度。
根据本发明的实施例，所投射的光图案的密度能够根据场景的相应分割区域的深度值局部地适配于场景的相应分割区域。用于适配的以上深度值可以是区域中的全部或部分点的平均值。
图5是示出关于图4所示的分割区域的具有自适应密度的光图案的示例图。如图5所示，所投射的光图案的密度根据第一深度图的分割区域(在该情况下，前景平面、背景平面和中间平面)的平均深度值适配于这些区域。
应当认识到，具有更小平均深度值的场景的区域中的对象要求比具有更大平均深度值的场景的区域中的对象更好的准确度。此外，场景的背景区域将具有最大的平均深度值，而场景的前景区域将具有最小的平均深度值。所以，根据本发明的实施例，可以对在背景区域之上的具有更小平均深度值的任何一个或全部分割区域(那些区域被视为更接近于视点)提高所投射光图案的密度。在更具体的实施例中，可以仅仅对具有最小平均深度值的分割区域之一(该区域被视为是最接近于视点的一个)提高所投射光图案的密度。
如图5所示，因为前景平面和中间平面具有更小的平均深度值(即，更接近于视点)，所以分别对这两个区域提高所投射的光图案的密度。对于背景平面，所投射光图案的密度可以在初始的光图案的密度上保持不变。能够认识到，图5仅仅示出密度适配的一个示例。还可以应用其他适配。例如，也能够只对于前景平面(最接近的区域)提高所投射的光图案的密度。
在某种情况下，可能需要对场景进行均匀扫描。在这样的情况下，可以与上述示例相反地执行密度适配。具体地，对于在前景区域之上的具有更大的平均深度值的任何一个或全部分割区域(那些区域被视为离视点更远)将分别提高所投射的光图案的密度，而对于在背景区域之上的具有更小的平均深度值的任何一个或全部分割区域(那些区域被视为更接近于视点)将分别降低所投射的光图案的密度。更具体地，对于图4所示的深度分割的结果，对于背景平面将提高所投射的光图案的密度，而对于前景平面将降低所投射的光图案的密度。利用这样的密度适配，在背景以及前景中能够实现相似的准确度(在设备的限度内)。
在本发明的实施例的方法中，深度分割的步骤202能够在每个帧进行更新，并且相应地适配光图案的密度。
对于场景中的移动对象，能够通过跟踪过程来控制分割区域的位置。
新的元素可能进入或离开捕获区域。在这种情况下，能够检测到不一致，然后，能够相应地更新点群集，并且审查光图案的密度以保持所期望的密度。
接下来，将参照图6(a)、图6(b)和图6(c)描述示例性场景的深度图的产生过程。
图6(a)示出将产生深度图的示例性场景。该场景示出起居室的一部分，其中，落地灯、沙发和茶几置于墙壁前。在墙壁上还钉着画框。
根据如上所述的本发明的实施例的方法，首先，通过将密度均匀的结构光图案投射到场景上来产生场景的第一深度图。然后，基于第一深度图的深度信息将场景分割为若干区域。图6(b)示出对该场景的深度分割。如图6(b)所示，例如通过随着从第一深度图可得到的场景的点的深度值而变化地对场景的点进行群集，将场景分割为基本上分别对应于落地灯、沙发、茶几和背景平面的四个区域。由于墙壁上的画框具有与墙壁相似的深度值，所以不分割另外的区域，它们都被分割为背景平面。
然后，通过根据场景的四个分割区域的深度值使光图案的密度适配于场景的四个分割区域来将密度不均匀的结构光图案投射到场景上，由此获得场景的第二深度图。图6(c)是示出光图案的密度对场景的分割区域的适配的示例图。如图6(c)所示，所投射的光图案的密度局部地适配于场景的四个分割区域。如在以上示例中所述，可以对具有更小的平均深度值的三个分割区域(除了背景区域)中的任何一个或全部，提高所投射光图案的密度601、602和603，从而实现深度图的更好的准确度。替代地，对于背景区域，可以提高所投射的光图案的密度604，而对于前景区域(茶几)，降低密度601，从而在场景的背景和前景中实现相似的准确度。
利用根据本发明的实施例的方法，对于近处的对象，可以提高深度图的精确度，或者替代地，可以使在整个场景上的深度准确度均匀化。另外，与利用高密度图案的常规方法相比，深度图的计算更容易，从而将缩短计算时间。
图7是实现根据本发明的实施例的产生场景的深度图的方法的装置的框图。
如图7所示，装置700包含图案投射器701，用于向场景投射结构光图案。如上所述，图案投射器能够照射任何适当的光，包括但不限于IR光。
装置700包含图像传感器702，用于捕获在所投射的结构光图案的照射下的场景的图像。
装置700进一步包含深度信息单元703，用于通过所投射的结构光图案与由图像传感器702捕获的光图案之间的变形的测量来获得场景的深度信息以产生场景的深度图。
如图7所示，装置700包含控制单元704，用于实现上述的本发明的实施例的方法，以使所投射的结构光图案的密度适配于场景的各个区域，随着所述区域的深度值而变化。具体地，在控制单元704的控制下，图案投射器701将首先把密度均匀的结构光图案投射到场景上。第一深度图将由深度信息单元703通过所投射的结构光图案与由图像传感器702捕获的光图案之间的变形的测量来产生。控制单元704基于第一深度图的深度信息将场景分割为至少一个区域，并且指示图案投射器701将密度不均匀的结构光图案投射到场景上，这适配于场景的至少一个区域，随着深度值而变化。深度信息单元703将通过新投射的结构光图案与由图像传感器702捕获的光图案之间的变形的测量来产生第二深度图。
应当理解，本发明可以实现为各种形式的硬件、软件、固件、专用处理器或者其组合，例如在系统中的多个3D显示设备或它们相应的驱动设备中的任何一个或多个中并且/或者通过单独的服务器或工作站来实现。另外，软件优选实现为有形地实施在程序存储设备上的应用程序。应用程序可以上传到包含任何适宜架构的机器并由其执行。优选地，在具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和(多个)输入/输出(I/O)接口等硬件的计算机平台上实现该机器。计算机平台还包括操作系统和微指令码。本文所述的多种过程和功能可以是微指令码的一部分，也可以是应用程序的一部分(或者其组合)，其经由操作系统执行。此外，多种其他外围设备可以连接到计算机平台，诸如附加的数据存储设备和打印设备等。
应当进一步理解的是，因为附图中图示的一些组成系统组件和方法步骤优选实现为软件，所以系统组件(或过程步骤)之间的实际连接可以根据对本发明进行编程的方式而不同。给出本文的教导，本领域的普通技术人员将能够想到本发明的这些和类似的实现方式或者配置。

Claims (15)

1.一种产生场景的深度图的方法，包含：
将具有第一密度的结构光图案投射(201)到所述场景上，以获得第一深度图；
基于所述第一深度图中的深度信息，将所述场景分割(202)为至少一个区域；以及
通过使光图案的密度适配于所述场景的至少一个区域，将具有第二密度的结构光图案投射(203)到所述场景上，以获得所述场景的第二深度图。
2.根据权利要求1所述的方法，其中，所述第一密度是均匀的，并且所述第二密度是不均匀的。
3.根据权利要求1所述的方法，其中，所述深度信息是所述场景的点的深度值。
4.根据权利要求3所述的方法，其中，所述分割包含将所述场景的点分组为群集，其中每个都具有相同或相似的深度值。
5.根据权利要求4所述的方法，其中，所述分组基于所述场景的点的深度值之间的欧几里德距离。
6.根据权利要求1所述的方法，其中，所述光图案的密度被适配为随着所述至少一个区域的平均深度值而变化。
7.根据权利要求6所述的方法，其中，对于在所述场景上除了离视点最远的具有最大平均深度值的区域之外的至少一个区域中的任何一个或者全部，提高光图案的密度。
8.根据权利要求7所述的方法，其中，仅仅对于在所述场景上最接近于视点的具有最小平均深度值的所述至少一个区域中的一个，提高光图案的密度。
9.根据权利要求6所述的方法，其中，对于在所述场景上离视点最远的具有最大平均深度值的所述至少一个区域中的一个，提高所投射的光图案的密度，并且对于在所述场景上最接近于视点的具有最小平均深度值的所述至少一个区域中的一个，降低所投射的光图案的密度。
10.根据权利要求1所述的方法，其中，将所述场景分割为被矩形包围形状包围的区域。
11.根据权利要求1所述的方法，其中，根据所述场景的复杂度设置分割区域的数量。
12.根据权利要求11所述的方法，其中，所述场景的复杂度与所述场景中对象的数量和尺寸以及对象之间的距离差异有关。
13.一种产生场景的深度图的装置，包含：
图案投射器(701)，用于向场景投射结构光图案；
图像传感器(702)，用于捕获在所投射的结构光图案的照射下的场景的图像；
深度信息单元(703)，用于通过所投射的结构光图案与由所述图像传感器(702)捕获的光图案之间的变形的测量来获得所述场景的深度信息以产生所述场景的深度图；以及
控制单元(704)，用于使所投射的结构光图案的密度适配于所述场景的相应区域，随着所述区域的平均深度值而变化。
14.根据权利要求13所述的装置，还包含，在所述控制单元(704)的控制下：
所述图案投射器(701)将密度均匀的结构光图案投射到所述场景上以获得第一深度图；
所述图像传感器(702)捕获在所投射的结构光图案的照射下的所述场景的图像；
所述深度信息单元(703)获得所述场景的深度信息以产生所述场景的第一深度图；
所述控制单元(704)基于所述第一深度图的深度信息将所述场景分割为至少一个区域，并且使所述光图案的密度适配于所述场景的至少一个区域，随着深度值而变化；
所述图案投射器(701)将具有适配后的密度的结构光图案投射(203)到所述场景上；
所述图像传感器(702)捕获在适配后的结构光图案的照射下的场景的图像；以及
所述深度信息单元(703)获得所述场景的深度信息以产生所述场景的第二深度图。
15.根据权利要求13所述的装置，其中，所述图案投射器(701)是IR投射器，并且所述图像传感器(702)是IR摄像机。
CN201410588222.XA 2013-10-29 2014-10-28 产生场景的深度图的方法和装置 Expired - Fee Related CN104581124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13290259.4 2013-10-29
EP20130290259 EP2869263A1 (en) 2013-10-29 2013-10-29 Method and apparatus for generating depth map of a scene

Publications (2)

Publication Number Publication Date
CN104581124A true CN104581124A (zh) 2015-04-29
CN104581124B CN104581124B (zh) 2018-05-22

Family

ID=49641691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410588222.XA Expired - Fee Related CN104581124B (zh) 2013-10-29 2014-10-28 产生场景的深度图的方法和装置

Country Status (9)

Country Link
US (1) US20150116460A1 (zh)
EP (2) EP2869263A1 (zh)
JP (1) JP2015087393A (zh)
KR (1) KR20150050450A (zh)
CN (1) CN104581124B (zh)
AU (1) AU2014246614A1 (zh)
BR (1) BR102014027057A2 (zh)
HK (1) HK1210308A1 (zh)
TW (1) TW201520975A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357515A (zh) * 2015-12-18 2016-02-24 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN106576159A (zh) * 2015-06-23 2017-04-19 华为技术有限公司 一种获取深度信息的拍照设备和方法
CN106997603A (zh) * 2017-05-19 2017-08-01 深圳奥比中光科技有限公司 基于vcsel阵列光源的深度相机
CN108419446A (zh) * 2015-08-24 2018-08-17 高通股份有限公司 用于激光深度图取样的系统及方法
CN109661683A (zh) * 2017-12-15 2019-04-19 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN110430406A (zh) * 2019-08-05 2019-11-08 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质
CN111932537A (zh) * 2020-10-09 2020-11-13 腾讯科技（深圳）有限公司 对象形变检测方法、装置、计算机设备和存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
CA2977374C (en) * 2015-02-25 2019-04-16 Facebook, Inc. Identifying an object in a volume based on characteristics of light reflected by the object
KR102114969B1 (ko) * 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
CN107483845B (zh) * 2017-07-31 2019-09-06 Oppo广东移动通信有限公司 拍照方法及其装置
US20190188513A1 (en) * 2017-12-20 2019-06-20 Datalogic Usa Inc. Systems and methods for object deskewing using stereovision or structured light
WO2019236563A1 (en) * 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
EP3911920A4 (en) 2019-01-20 2022-10-19 Magik Eye Inc. THREE-DIMENSIONAL SENSOR INCLUDING A BANDPASS FILTER WITH MULTIPLE PASSBANDS
US11474209B2 (en) * 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11435215B2 (en) * 2019-11-14 2022-09-06 Pixart Imaging Inc. Electric pot and liquid level determining method which can determine liquid level and solid height by light with different wave lengths
WO2021112292A1 (ko) * 2019-12-05 2021-06-10 엘지전자 주식회사 이동 단말기
CN113096154B (zh) * 2020-01-08 2023-02-21 浙江光珀智能科技有限公司 一种基于斜装深度相机的目标检测与跟踪方法及系统
CN111951376B (zh) * 2020-07-28 2023-04-07 中国科学院深圳先进技术研究院 融合结构光和光度学的三维对象重建方法及终端设备
KR20220083059A (ko) 2020-12-11 2022-06-20 삼성전자주식회사 Tof 카메라 장치와 그 구동방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030235341A1 (en) * 2002-04-11 2003-12-25 Gokturk Salih Burak Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
CN101264009A (zh) * 2007-03-14 2008-09-17 中国科学院自动化研究所 一种基于s形光子密度调整的目标检测装置
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101655347A (zh) * 2009-08-20 2010-02-24 浙江工业大学 基于激光二极管光源的主动三维立体全方位视觉传感器
CN103186029A (zh) * 2011-12-27 2013-07-03 汤姆森特许公司 获得立体图像的设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5460341B2 (ja) * 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
JP5798318B2 (ja) * 2010-12-15 2015-10-21 キヤノン株式会社 距離データ生成装置、位置姿勢計測装置、距離データ生成装置の制御方法およびプログラム
JP5746529B2 (ja) * 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
JP2014009997A (ja) * 2012-06-28 2014-01-20 Ricoh Co Ltd 測距装置
US9544577B2 (en) * 2013-07-18 2017-01-10 A.Tron3D Gmbh Method of capturing three-dimensional (3D) information on a structure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030235341A1 (en) * 2002-04-11 2003-12-25 Gokturk Salih Burak Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101264009A (zh) * 2007-03-14 2008-09-17 中国科学院自动化研究所 一种基于s形光子密度调整的目标检测装置
CN101655347A (zh) * 2009-08-20 2010-02-24 浙江工业大学 基于激光二极管光源的主动三维立体全方位视觉传感器
CN103186029A (zh) * 2011-12-27 2013-07-03 汤姆森特许公司 获得立体图像的设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS P等: "real-time range acquisition by adaptive structured light", 《IEEE》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560686B2 (en) 2015-06-23 2020-02-11 Huawei Technologies Co., Ltd. Photographing device and method for obtaining depth information
CN106576159A (zh) * 2015-06-23 2017-04-19 华为技术有限公司 一种获取深度信息的拍照设备和方法
CN108419446A (zh) * 2015-08-24 2018-08-17 高通股份有限公司 用于激光深度图取样的系统及方法
US11915502B2 (en) 2015-08-24 2024-02-27 Qualcomm Incorporated Systems and methods for depth map sampling
CN108419446B (zh) * 2015-08-24 2022-03-25 高通股份有限公司 用于激光深度图取样的系统及方法
CN105357515B (zh) * 2015-12-18 2017-05-03 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN105357515A (zh) * 2015-12-18 2016-02-24 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN106997603A (zh) * 2017-05-19 2017-08-01 深圳奥比中光科技有限公司 基于vcsel阵列光源的深度相机
CN106997603B (zh) * 2017-05-19 2020-04-17 深圳奥比中光科技有限公司 基于vcsel阵列光源的深度相机
WO2018209988A1 (zh) * 2017-05-19 2018-11-22 深圳奥比中光科技有限公司 基于vcsel阵列光源的深度相机
WO2019113968A1 (zh) * 2017-12-15 2019-06-20 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN109661683A (zh) * 2017-12-15 2019-04-19 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN110430406A (zh) * 2019-08-05 2019-11-08 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质
CN111932537A (zh) * 2020-10-09 2020-11-13 腾讯科技（深圳）有限公司 对象形变检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
BR102014027057A2 (pt) 2016-08-02
AU2014246614A1 (en) 2015-05-14
EP2869266B1 (en) 2017-10-18
HK1210308A1 (zh) 2016-04-15
EP2869266A1 (en) 2015-05-06
KR20150050450A (ko) 2015-05-08
CN104581124B (zh) 2018-05-22
TW201520975A (zh) 2015-06-01
JP2015087393A (ja) 2015-05-07
US20150116460A1 (en) 2015-04-30
EP2869263A1 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
CN104581124A (zh) 产生场景的深度图的方法和装置
US10262230B1 (en) Object detection and identification
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
KR20170023110A (ko) 다중뷰 스테레오 및 캘리브레이션된 프로젝터를 이용한 깊이 추정
US11200690B2 (en) Image processing apparatus, three-dimensional shape data generation method, and non-transitory computer readable storage medium
US20150015699A1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
WO2020179065A1 (ja) 画像処理装置、画像処理方法及び記録媒体
Riegler et al. Connecting the dots: Learning representations for active monocular depth estimation
TW201421074A (zh) 藉由所關注之物體之可調適照射之深度成像方法及裝置
US9171393B2 (en) Three-dimensional texture reprojection
JP2014115109A (ja) 距離計測装置及び方法
WO2018080533A1 (en) Real-time generation of synthetic data from structured light sensors for 3d object pose estimation
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2016109671A (ja) 三次元計測装置およびその制御方法
US11657568B2 (en) Methods and systems for augmented reality tracking based on volumetric feature descriptor data
US20150145861A1 (en) Method and arrangement for model generation
US11195322B2 (en) Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium
JP2007315777A (ja) 三次元形状計測システム
US20200234458A1 (en) Apparatus and method for encoding in structured depth camera system
KR101358430B1 (ko) 깊이 영상 생성 방법 및 시스템
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
US20230230278A1 (en) Information processing apparatus, information processing method, and storage medium
WO2023167162A1 (ja) ドットパターン生成方法及び３次元計測装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190604

Address after: France

Patentee after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing SA

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180522

Termination date: 20201028