CN104272731A - 用于处理3d信息的设备和方法 - Google Patents

用于处理3d信息的设备和方法 Download PDF

Info

Publication number
CN104272731A
CN104272731A CN201380024447.6A CN201380024447A CN104272731A CN 104272731 A CN104272731 A CN 104272731A CN 201380024447 A CN201380024447 A CN 201380024447A CN 104272731 A CN104272731 A CN 104272731A
Authority
CN
China
Prior art keywords
depth information
depth
background
estimation
described object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380024447.6A
Other languages
English (en)
Other versions
CN104272731B (zh
Inventor
沈炫定
李承奎
金道均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104272731A publication Critical patent/CN104272731A/zh
Application granted granted Critical
Publication of CN104272731B publication Critical patent/CN104272731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

描述了一种用于处理三维(3D)信息的设备和方法。所述3D信息处理设备可使用传感器设备(比如，深度相机)来测量对象的第一深度信息，可估计对象的前景深度、背景的背景深度和对象的透明度，可基于估计的前景深度、背景深度和透明度来估计对象的第二深度信息，并可通过测量的第一深度信息与估计的第二深度信息之间的比较来确定前景深度、背景深度和透明度。

Description

用于处理3D信息的设备和方法
技术领域
以下描述的一个或更多个实施例涉及一种用于处理三维(3D)信息的设备和方法，更具体地讲，涉及获得对象的深度信息的技术。
背景技术
三维(3D)信息处理技术是指用于对对象进行处理、使得用户能够体验到3D效果的技术。3D对象捕捉技术是指一种类型的3D信息处理技术，可通过获得具有3D形状的各种类型的对象的形状信息、位置信息和纹理信息来产生数据，并可对产生的数据进行处理。使用3D对象捕捉技术产生的数字数据可用作3D电视等的内容。
深度信息是指与预定位置(例如，深度相机的位置)和对象之间的距离相关联的信息，并可基于例如对象的位置来计算。对象的深度信息可用作验证对象的3D形状的参考。因此，在3D对象捕捉技术中，获得对象的准确深度信息是非常重要的。
为了获得对象的深度信息，3D对象捕捉设备可发射红外(IR)脉冲，并可使用当IR脉冲从对象反射、从而返回时发生的信号来确定对象的位置。然而，传统的3D对象捕捉设备通常发现难以准确地测量透明对象的深度。
发明内容
前述方面和/或其他方面通过提供用于处理三维(3D)信息的设备来实现，该设备包括：测量单元，测量对象的第一深度信息；估计单元，估计对象的第二深度信息；比较单元，将测量的第一深度信息与估计的第二深度信息进行比较；以及确定单元，基于比较结果来确定对象的第三深度信息。
估计单元可估计对象的前景深度、背景的背景深度和对象的透明度，并可通过基于估计的前景深度、估计的背景深度和估计的透明度的预定建模来估计第二深度信息。
估计单元可基于前景深度信息、背景深度信息和对象的估计的透明度来估计第二深度信息，其中，前景深度信息使用在估计的前景深度处从对象反射的第一反射信号来计算，背景深度信息使用穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。
估计单元可基于前景深度信息、对象的亮度、背景深度信息、背景的亮度和对象的估计的透明度中的至少一个来估计第二深度信息，其中，前景深度信息使用在估计的前景深度处从对象反射的第一反射信号来计算，背景深度信息使用穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。
建模可根据以下等式1来估计第二深度信息：
【等式1】
z ^ = g - 1 ( ( 1 - t ) · L f · g ( z f ) z f 2 + t · L b · g ( z b ) z b 2 + Σ i = 0 ∞ t i + 1 · ( 1 - t ) i · L b · g ( z b ) · g ( z b - z f ) z b i + 1 · ( z b - z f ) i )
在等式1中，表示估计的第二深度信息，g(x)表示基于用于测量第一深度信息的深度相机的特性而确定的函数，x表示接收信号的强度，t表示对象的估计的透明度，Lb表示在估计的背景深度处的背景的亮度，Lf表示对象的亮度，Zf表示使用在估计的前景深度处从对象反射的第一反射信号计算出的前景深度信息，Zb表示使用穿过对象并且在估计的背景深度处从背景反射的第二反射信号计算出的背景深度信息。
当测量的第一深度信息与估计的第二深度信息之间的差在预定范围内时，确定单元可确定对象的第三深度信息是估计的第二深度信息。
当测量的第一深度信息与估计的第二深度信息之间的差在预定范围外时，估计单元可通过改变估计的前景深度和背景深度来重新估计第二深度信息，并且比较单元可将第一深度信息与重新估计的第二深度信息进行比较。
测量单元可包括用于接收从对象反射的信号的N个深度相机，并且可产生与所述N个深度相机对应的N项第一深度信息，其中，N是大于或等于“1”的整数。估计单元可基于估计的前景深度、估计的背景深度和估计的透明度来估计与所述N个深度相机对应的N项第二深度信息。比较单元可分别将所述N项第一深度信息与所述N项第二深度信息进行比较。
测量单元可包括朝向对象发射红外(IR)射线的发射单元。测量单元可使用从对象反射的信号和穿过对象并且根据IR射线从背景反射的信号来测量对象的第一深度信息。
前述方面和/或其他方面通过提供用于处理3D信息的设备来实现，该设备包括：测量单元，测量对象的第一深度信息；估计单元，估计对象的位置和透明度，并基于估计的位置和估计的透明度来估计对象的第二深度信息；比较单元，将测量的第一深度信息与估计的第二深度信息进行比较；以及确定单元，基于比较结果来确定对象的透明度。
估计单元可基于前景深度信息、背景深度信息和对象的估计的透明度来估计第二深度信息，其中，前景深度信息使用在估计的位置处从对象反射的第一反射信号来计算，背景深度信息使用穿过对象并从背景反射的第二反射信号来计算。
当第一深度信息与第二深度信息之间的差在预定范围外时，估计单元可通过改变估计的位置来重新估计第二深度信息，并且比较单元可将第一深度信息与重新估计的第二深度信息进行比较。
前述方面和/或其他方面通过提供处理3D信息的方法来实现，该方法包括：使用深度相机来测量对象的第一深度信息，并通过测量的第一深度信息与第二深度信息之间的比较来确定对象的第三深度信息。
对象的前景深度、背景的背景深度和对象的透明度可被估计，并且第二深度信息可通过基于估计的前景深度、背景深度和透明度的预定建模而被估计第。
第二深度信息可基于前景深度信息、背景深度信息和对象的估计的透明度而被估计，其中，前景深度信息使用在估计的前景深度处从对象反射的第一反射信号来计算，背景深度信息使用穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。
第二深度信息可基于前景深度信息、对象的亮度、背景深度信息、背景的亮度和对象的估计的透明度中的至少一个而被估计，其中，前景深度信息使用在估计的前景深度处从对象反射的第一反射信号来计算，背景深度信息使用穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。
建模可根据等式1来估计第二深度信息。
对象的位置可被估计，并且第二深度信息可通过基于估计的位置的预定建模而被估计。
确定的步骤可包括：当测量的第一深度信息与估计的第二深度信息之间的差在预定范围内时，确定对象的第三深度信息是估计的第二深度信息。
前述方面和/或其他方面通过提供一种处理3D信息的方法来实现，该方法包括：使用深度相机来测量对象的第一深度信息，并通过测量的第一深度信息与第二深度信息之间的比较来确定对象的透明度。
对象的前景深度、背景深度和对象的透明度可被估计，并且第二深度信息可通过基于估计的前景深度、估计的背景深度和估计的透明度的预定建模而被估计。
第二深度信息可基于前景深度信息、背景深度信息和对象的估计的透明度而被估计，其中，前景深度信息使用在估计的前景深度处从对象反射的第一反射信号来计算，背景深度信息使用穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。
前述方面和/或其他方面通过提供一种3D信息处理方法来实现，该方法用于基于前景深度信息、背景深度信息和对象的透明度来估计对象的深度信息，其中，前景深度信息通过估计对象的前景深度并且使用在估计的前景深度处从对象反射的第一反射信号来计算，背景深度信息通过估计背景深度并且使用穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。
前述方面和/或其他方面通过提供一种确定对象是否透明的方法来实现。所述方法包括：使用多个不同的深度相机来捕捉对象的深度值；经由处理器将使用所述多个不同的深度相机捕捉的所述对象的深度值进行比较；通过将测量的第一深度信息与第二深度信息进行比较来确定对象的透明度。
实施例的另外的方面将部分地在以下描述中进行阐述，并且部分地从该描述将是明白的，或者可通过本公开内容的实践来获悉。
附图说明
从以下结合附图对实施例进行的描述，这些方面和/或其他方面将变得清楚和更容易理解，在附图中：
图1示出描述根据实施例的三维(3D)信息处理技术的示图；
图2示出根据实施例的3D信息处理设备；
图3示出描述根据实施例的估计背景深度信息、前景深度信息和对象的第二深度信息的方法的曲线图；
图4示出描述根据实施例的确定对象的深度信息的操作的示图；
图5示出描述根据实施例的使用多个深度相机来确定对象的深度信息的操作的示图；
图6示出包括多个深度相机的3D信息处理设备的示例；和
图7示出根据实施例的处理3D信息的方法。
具体实施方式
现在将详细论述实施例，这些实施例的示例在附图中被示出，在附图中，相似的标号始终指代相似的元件。以下通过参照附图描述实施例以解释本公开内容。
图1示出描述根据实施例的三维(3D)信息处理技术的示图。
3D信息处理设备100是指对与具有3D形状的对象120相关联的信息进行处理的设备。例如，3D信息处理设备110可包括获得对象120的深度信息的设备。此外，3D信息处理设备110可包括获得与对象120的位置、形状和纹理相关联的信息的3D对象捕捉设备。与对象120的位置、形状和纹理相关联的信息可使用3D显示设备被显示给用户，以使得用户可感受到3D效果。
3D信息处理设备110可使用深度相机来获得对象120的深度信息。深度相机是指能够通过测量作为拍摄目标的对象120的深度来测量深度信息的相机。在这里使用的术语“深度相机”可包括能够测量深度信息的任何设备，比如，举例来说，使用飞行时间(TOF)方案的深度相机、使用结构化光方案的深度相机和基于正常采集的深度相机。3D信息处理设备110可通过使用相机拍摄对象120并分析捕捉的图像来获得与对象120的位置、形状和纹理相关联的信息。
背景130可位于对象120的后面，以被深度相机拍摄。在这个示例中，使用深度相机获得的信息可包括与对象120相关联的信息和与背景130相关联的信息。
具体地讲，当对象120具有光透射性质时(例如，当对象120是透明的或是半透明的时)，使用深度相机获得的信息可包括与背景130相关联的信息。例如，当对象120是透明的或半透明的时，与背景130相关联的信息可被包括在使用深度相机捕捉的图像之中从对象120捕捉的图像部分中。当对象120是透明的时，深度相机可接收在没有衰减的情况下穿过对象120并从背景130反射的信号。当对象120是半透明的时，深度相机可接收从背景130反射并且被对象120衰减的信号。
因此，当对象120具有光透射性质时，通过分析使用深度相机获得的信息而获得的对象120的深度信息可能是不准确的。
根据本公开的一个或更多个实施例，3D信息处理设备110可估计对象120的深度信息、背景130的深度信息和对象120的透明度，并可基于数学模型来估计对象120的深度信息。3D信息处理设备110可通过测量的深度信息与对象120的估计的深度信息之间的比较来确定对象120的深度信息、背景130的深度信息和/或对象120的透明度。
根据本公开的一个或更多个实施例，即使对象120具有光透射性质，也可使用深度相机来更准确地产生对象120的深度信息。即使从对象120和背景130获得的信息可混合在使用深度相机捕捉的深度图像中，也可准确地确定对象120的深度信息。此外，即使由于对象120的透明或半透明性质，与背景130相关联的信息包括在深度图像中从对象120捕捉的部分中，也可准确地确定对象120的深度信息。因此，可基于各种观看条件和光条件来合成预定场景。可通过将虚拟对象渲染为适合于真实图像来混合和合成虚拟对象。
图2示出根据实施例的3D信息处理设备200。
参照图2，3D信息处理设备200可包括例如测量单元210、估计单元220、比较单元230和确定单元240。
测量单元210可测量对象260的第一深度信息。第一深度信息可以是对象260的测量值，例如，对象260的深度值或其它预定值。
测量单元210可包括深度相机。使用深度相机捕捉的深度图像可包括多个像素。可基于由深度相机接收的信号的值来确定多个像素中的每个像素的值。
测量单元210可通过分析使用深度相机捕捉的深度图像来测量第一深度信息。深度相机可以是例如使用传统TOF方案的深度相机。
3D信息处理设备200还可包括朝向对象260发射脉冲的发射单元250。例如，3D信息处理设备200的测量单元210可包括朝向对象260发射脉冲的发射单元250。这里，由发射单元250发射的脉冲可以是红外(IR)射线。测量单元210可使用当对象260被IR射线照射时从对象260反射的信号来测量第一对象260的第一深度信息。当对象120具有光透射性质时，测量单元210可使用以下信号来测量对象260的第一深度信息：从对象260反射的信号、以及当背景270被IR射线照射时穿过对象260并且从背景270反射的信号。
测量单元210可通过分析深度图像的像素值来确定由深度相机接收的信号的值，并可使用接收的信号的值来测量对象260的第一深度信息。
测量单元220可估计对象260的第二深度信息。第二深度信息可以是对象260的估计值，例如，对象260的估计深度值或预定估计值。估计单元220可响应于用户请求通过预定建模来估计第二深度信息。这里，可实时地估计第二深度信息。估计单元220可通过存储对象260的预先估计的第二深度信息中的至少一个来估计第二深度信息。这里，可预先计算预先估计的第二深度信息中的至少一个，并可将该至少一个第二深度信息存储在3D信息处理单元200的存储单元(未显示)中。
测量单元220可估计对象260的位置和透明度，并可基于估计的位置和透明度来估计对象260的第二深度信息。也就是说，在实施例中，估计单元220可通过估计对象所位于的近似空间来估计对象的位置，诸如，定位对象的中心位置。估计单元220可基于前景深度信息、背景深度信息和对象260的估计的透明度来估计第二深度信息。可使用在对象260的估计位置处从对象260反射的第一反射信号来计算前景深度信息。可使用穿过对象260并且从背景270反射的第二反射信号来计算背景深度信息。估计单元220可根据等式2或等式3来估计第二深度信息。
估计单元220可估计对象260的前景深度、背景270的背景深度和对象260的透明度，并可通过基于估计的前景深度、背景深度和透明度的预定建模来估计第二深度信息。
前景深度可指示从预定位置(例如，3D信息处理设备200的位置、测量单元210的位置、发射单元250的位置和深度相机的位置)到对象260的距离。
背景深度可指示从预定位置(例如，3D信息处理设备200的位置、测量单元210的位置、发射单元250的位置和深度相机的位置)到背景270的距离。
测量单元220可基于前景深度信息、背景深度信息和对象260的估计的透明度中的至少一个来估计第二深度信息。例如，估计单元220可基于全部的前景深度信息、背景深度信息和对象260的估计的透明度来估计第二深度信息。
前景深度信息可以是与对象260相关联的值。例如，可使用在估计的前景深度处从对象260反射的第一反射信号来计算前景深度信息。基于对象260位于估计的前景深度处的假定，可通过预定建模来计算估计的前景深度。
背景深度信息可以是与对象260和背景270相关联的值。例如，可使用穿过对象260并在估计的背景深度处从背景270反射的第二反射信号来计算背景深度信息。基于对象260或背景270位于估计的背景深度处的假定，可通过预定建模来计算估计的背景深度。
估计的透明度可以是与对象260相关联的值，并且可使用大于或等于“0”并且小于或等于“1”的值。
建模可以是使用与对象260相关联的值作为输入并且使用对象260的估计的第二深度信息作为输出的函数。例如，建模可以是使用计算的前景深度信息、背景深度信息和对象260的透明度中的至少一个或全部作为输入并且使用对象260的估计的第二深度信息作为输出的函数。
比较单元230可将测量的第一深度信息与估计的第二深度信息进行比较。比较单元230可确定测量的第一深度信息与估计的第二深度信息之间的差值是否在预定范围内。
确定单元240可基于比较结果来确定对象260的第三深度信息。例如，当测量的第一深度信息和估计的深度信息相同时，或者当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围内时，确定单元240可确定对象260的第三深度信息(例如，对象260的实际深度信息)是估计的第二深度信息。可替换地，在实施例中，确定单元240可确定对象260的第三深度信息是估计的对象260的前景信息。
相反，当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围外时，估计单元220可通过改变估计的前景深度和/或背景深度来重新估计第二深度信息。这里，比较单元230可将第一深度信息与重新估计的第二深度信息进行比较。当第一深度信息和重新估计的第二深度信息相同时，或者当测量的第一深度信息与重新估计的第二深度信息之间的差值在预定范围内时，确定单元240可确定对象260的第三深度信息(例如，对象的实际深度信息)是估计的第二深度信息。可替换地，在实施例中，确定单元240可确定对象260的第三深度信息(例如，对象260的实际深度信息)是重新估计的对象260的前景信息。
当测量的第一深度信息与重新估计的第二深度信息之间的差值仍在预定范围外时，估计单元220可通过再次改变估计的前景深度和背景深度来再次重新估计第二深度信息。比较单元230可以以这种方式重复将第一深度信息与重新估计的第二深度信息进行比较的处理。
确定单元240可确定：对象260位于与深度相机对应的预定直线上，并且基于第三深度信息来确定距深度相机的距离。
确定单元240可基于比较结果来确定对象260的透明度。例如，当测量的第一深度信息和估计的深度信息相同时，或者当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围内时，确定单元240可将对象260的估计的透明度确定为对象260的透明度。
当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围外时，估计单元220可将透明度重新估计为另一值，并可基于重新估计的透明度来重新估计对象的第二深度信息。比较单元230可将第一深度信息与重新估计的第二深度信息进行比较。当第一深度信息和重新估计的第二深度信息相同时，或者当测量的第一深度信息与重新估计的第二深度信息之间的差值在预定范围内时，确定单元240可确定对象260的透明度是对象260的估计的透明度。
当测量的第一深度信息与重新估计的第二深度信息之间的差值仍在预定范围外时，估计单元220可通过再次改变估计的前景深度和背景深度来再次重新估计第二深度信息。比较单元230可以以这种方式重复将第一深度信息与重新估计的第二深度信息进行比较的处理。
图3示出描述根据实施例的估计背景深度信息、前景深度信息和对象的第二深度信息的方法的曲线图。这里，水平轴表示时间，垂直轴表示脉冲的振幅。
参照图3，从发射单元发射的脉冲310可以是IR射线。根据实施例，脉冲310可以是可见射线、高频和低频中的任何一个。从发射单元发射的脉冲310可具有长度T0311和振幅A0312。发射单元可以是深度相机，例如，TOF相机。
为了估计对象的第二深度信息，可假定对象位于前景深度处。前景深度可指示从预定位置到对象的距离。例如，前景深度可指示预定位置(比如，举例来说，3D信息处理设备的位置、测量单元的位置、发射单元的位置和深度相机的位置)到对象。
此外，可假定背景位于背景深度处。背景深度可指示从预定位置到背景的距离。例如，背景深度可指示从预定位置(比如，举例来说，3D信息处理设备的位置、测量单元的位置、发射单元的位置和深度相机的位置)到背景的距离。
可估计对象的透明度。估计的透明度可以是与对象相关联的值，并且可使用大于或等于“0”并且小于或等于“1”的值。
可使用当脉冲310击中或照射背景时从背景反射的第二反射信号来计算背景深度信息320。背景深度信息320可以是与对象相关联的值，并且可使用在脉冲310击中背景时穿过对象并在估计的背景深度处从背景反射的第二反射信号来计算。例如，基于对象位于估计的背景深度处的假定，可通过预定建模来计算估计的背景深度信息320。
例如，可通过脉冲310来估计从背景反射的信号。当脉冲310击中背景时从背景反射的信号可从深度相机行进到背景并从背景行进到深度相机。因此，时间可以延迟图3的tb 323。此外，在穿过对象的同时，振幅可减小到rb·A0322。这里，rb表示基于对象的估计的透明度而确定的常数，可以大于或等于“0”并且小于或等于“1”。根据对象的估计的透明度的增大，rb的值增大。此外，从背景反射的信号的长度为T0321。
可使用当脉冲310击中对象时从对象反射的第一反射信号来计算前景深度信息330。前景深度信息330可以是与对象相关联的值，并且可使用在假定的前景深度处从对象反射的第一反射信号来计算。例如，基于对象位于估计的前景深度处的假定，可通过预定建模来计算估计的前景深度信息330。
例如，当脉冲310击中对象时，可估计从对象反射的信号。从对象反射的信号可从深度相机行进到对象并从对象行进到深度相机。因此，时间可延迟图3的tf 333。此外，振幅可减小到rf·A0332。这里，rf表示常数，可以大于或等于“0”并且小于或等于“1”。此外，从对象反射的信号的长度为T0331。
可基于前景深度信息、背景深度信息和对象的估计的透明度来估计第二深度信息340。
可把估计将由深度相机接收的信号341表达为从背景反射的第二反射信号和从对象反射的第一反射信号的组合或总和。信号341可包括重复地在背景与对象之间反射的信号。当信号341被计算时，可基于信号341来估计第二深度信息340。
图4示出描述根据实施例的确定对象的深度信息的操作的示图。
参照图4，背景430可位于对象420的后面。与背景430相关联的信息可包括在使用深度相机410从对象420捕捉的图像中。具体地讲，当对象420透射光的至少一部分时，例如，当对象420是透明的或半透明的时，从对象420捕捉的像素可包括从对象420反射的信号和从背景430反射的信号。
因此，如等式2所给出的，通过分析使用深度相机410接收的信号而估计的第二深度信息可以是基于对象420的估计的前景深度、背景430的估计的背景深度和对象420的估计的透明度而确定的值。
【等式2】
Z ^ = f ( Z f , Z b , t )
在等式2中，表示估计的第二深度信息，Zf表示前景深度信息，因此，可使用在对象420的估计的前景深度处从对象420反射的信号来计算Zf。此外，Zb表示背景深度信息，因此，可使用从对象430反射的信号来计算Zb。
t表示对象420的估计的透明度。当t的值为“0”时，对象420可以是不透明对象。当t的值为“1”时，对象420可以是完全透明的对象。t可以是大于或等于“0”并且小于或等于“1”的值。这里，f(x)表示函数，x表示接收信号的强度。
通过将从对象420反射的信号和从背景430反射的信号区分开，可用等式3表达等式2。
【等式3】
z ^ = g - 1 ( ( 1 - t ) · L f · g ( z f ) z f 2 + t · L b · g ( z b ) z b 2 + Σ i = 0 ∞ t i + 1 · ( 1 - t ) i · L b · g ( z b ) · g ( z b - z f ) z b i + 1 · ( z b - z f ) i )
在等式3中，g-1(x)表示g(x)的逆函数。g(x)可以是基于深度相机410的特性而确定的函数。Lf 440表示对象420的亮度，Lb 450表示背景430的亮度。
在等式3中，输入到g-1(x)的参数可包括三个分量的总和。第一分量可表示从对象420反射的信号的强度。第一分量与对象420的Zf的平方成反比，并且与对象420的Lf 440成比例。此外，第一分量与g(Zf)成比例，并且当对象420是透明的并且透明度t接近于“1”时，可具有小值，当对象420是不透明的并且透明度t接近于“0”时，可具有大值。
此外，第二分量可表示从背景430反射的信号的强度。第二分量与对象420的Zb的平方成反比，并且与背景430的Lb 450成比例。此外，第二分量与g(Zb)成比例，并且当对象420是透明的并且透明度t接近于“1”时，可具有大值，当对象420是不透明的并且透明度t接近于“0”时，可具有小值。
第三分量可指示从背景430反射的信号再次朝向对象420反射的情况。从对象420反射的信号可再次朝向背景430反射，并且从背景430反射的信号可再次朝向对象420反射。在等式3中，i表示从背景430反射的次数。第三分量与背景深度信息Zb和背景深度信息Zb与前景深度信息Zf之间的差值成反比。
如上所述，估计单元可将对象420的前景深度、背景深度和透明度t估计为预定值，并可基于估计的值来估计第二深度信息。
这里，当背景430被假定为均匀的时，可假定针对使用深度相机410捕捉的整个深度图像，背景深度信息Zb为相同的值。此外，可假定针对整个深度图像，对象420的透明度t为相同的值。
估计单元可假定对象420位于与深度相机410对应的预定直线上。在这个示例中，对象420的位置可限于一维(1D)空间中的位置，而不是3D空间中的位置。
比较单元可将测量的第一深度信息与估计的第二深度信息进行比较。例如，比较单元可确定测量的第一深度信息与估计的第二深度信息之间的差值是否在预定范围内。
确定单元可基于比较结果来确定对象420的第三深度信息。当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围内时，确定单元可确定对象420的第三深度信息是估计的第二深度信息。此外，基于对象420位于与深度相机410对应的预定直线上的假定，确定单元可使用第三深度信息(例如，对象的实际深度信息)来估计距深度相机410的距离。
相反，当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围外时，确定单元可确定用于估计第二深度信息(例如，对象420的前景深度信息Zf、背景深度信息Zb和对象420的透明度t中的至少一个)的以上估计是不合理的。估计单元可通过改变估计的前景深度、背景深度和透明度中的至少一个来重新估计第二深度信息。比较单元可随后将第一深度信息与重新估计的第二深度信息进行比较。
例如，当测量的第一深度信息与估计的第二深度信息相同时，或者当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围内时，确定单元可确定对象420的第三深度信息(例如，对象420的实际深度信息)是对象420的估计的前景深度，该估计的前景深度用于计算第二深度信息。
相反，当测量的第一深度信息与估计的第二深度信息之间的差值在预定范围外时，估计单元可通过改变对象420的估计的前景深度、背景430的背景深度和对象420的透明度中的一个或更多个来重新估计第二深度图像。当第一深度信息和重新估计的第二深度信息相同时，或者当测量的第一深度信息与重新估计的第二深度信息之间的差值在预定范围内时，确定单元可确定对象的第三深度信息(例如，对象420的实际深度信息)是改变的前景深度。当测量的第一深度信息与重新估计的第二深度信息之间的差值仍在预定范围外时，估计单元可通过再次改变对象420的估计的前景深度、背景430的背景深度和对象420的透明度来再次重新估计第二深度信息。
图5示出描述根据实施例的使用多个深度相机来确定对象的深度信息的操作的示图。在图5的左侧的示图(a)示出对象520的估计的前景深度不准确的情况，在图5的右侧的示图(b)示出对象570的估计的前景深度准确的情况。
在图5的示图(a)中，多个深度相机521和522可接收从背景510反射的信号和从对象520反射的信号。
可在与多个深度相机521和522对应的直线上估计对象520的位置。可基于对象520的估计位置551来计算前景深度信息，并可基于计算的前景深度信息来估计第二深度信息。可基于对象520的估计位置551来估计对象520的前景深度。
对象520的表面550可位于远离估计位置551的位置处。因此，估计的前景深度可能是不准确的。基于估计的前景深度而估计的第二深度信息541和542可能不同于测量的第一深度信息531和532。
在图5的示图(b)中，估计位置593被准确地设置在对象570的表面上。在这个示例中，基于估计的前景深度而估计的第二深度信息可与测量的第一深度信息581和582匹配。
如上所述，根据实施例，在使用多个深度相机捕捉深度图像并且分析深度图像的情况下，可通过对使用多个深度相机而获得的信息进行组合来更准确地确定对象的位置或深度信息。
虽然在图5中利用了两个深度相机，但是3D信息处理设备可选择性地使用N个深度相机通过预定建模来确定深度信息。这里，N表示大于或等于“1”的整数。当使用多个深度相机时，不需要每个相机在时间域上多次测量深度。也就是说，当使用多个深度相机时，可针对单个对象表面同时获得多个深度信息。更具体地，在实施例中，可考虑一组深度测量(例如，使用预定模型)的情况下，可同时估计对象的前景、背景和透明度等级。
建模可以是使用与对象570相关联的值作为输入并且使用对象570的估计的第二深度信息作为输出的函数。例如，建模可以是使用例如全部的估计的前景深度信息、背景深度信息和透明度中的至少一个作为输入并且使用对象570的估计的第二深度信息作为输出的函数。前景深度信息可以是使用在对象的估计的前景深度处从对象570反射的第一反射信号计算的值。背景深度信息可以是使用在估计的背景深度处从背景560反射的第二反射信号计算的值。透明度可以是对象570的估计的透明度。
在这个示例中，可估计关于对象570的前景深度、背景560的背景深度和对象570的透明度的值，并可基于估计的值来估计第二深度信息。通过将估计的第二深度信息与使用多个深度相机591和592测量的深度信息进行比较，可获得对象570的实际深度信息。因此，当将使用至少三个深度相机测量的深度信息与估计的第二深度信息进行比较时，可产生对象570的更准确的实际深度信息。
根据实施例，图2的测量单元210可包括N个深度相机，并可产生与这N个深度相机对应的N项第一深度信息。这里，N表示大于或等于“1”的整数。所述N个深度相机中的每个深度相机均可接收从对象260反射的信号。估计单元220可估计前景深度、背景深度和透明度中的至少一个。估计单元220可基于估计的前景深度、背景深度和透明度来估计与所述N个深度相机对应的N项第二深度信息。比较单元230可分别将N项第一深度信息与N项第二深度信息进行比较。确定单元240可基于比较结果来确定对象260的第三深度信息。当使用至少三个深度相机来测量深度信息时，可产生对象260的更准确的实际深度信息。
图6示出包括多个深度相机的3D信息处理设备600的示例。
参照图6，3D信息处理设备600可包括多个深度相机610、620和630。通过使用多个深度相机610、620和630，3D信息处理设备600可捕捉关于对象的深度图像，并可通过分析捕捉的深度图像来更准确地、更快速地确定对象的深度信息。
多个深度相机610、620和620中的每个深度相机均可测量对象的深度信息。3D信息处理设备600的处理器(未显示)可通过估计对象的前景深度、背景的背景估计和对象的透明度来估计对象的深度信息。3D信息处理设备600的处理器可通过将估计的深度信息与测量的深度信息进行比较来确定对象的深度信息。根据实施例，即使对象透射光，也可相对准确地产生对象的深度信息。
3D信息处理设备600可被构造为各种电子产品(比如，举例来说，数字相机、移动电话和便携式电子装置)的一部分。
虽然在图6中利用了三个深度相机，但是可利用至少四个深度相机来包括在3D信息处理设备600中。深度相机可在不同于图6的位置处被提供给3D信息处理设备600。
图7示出根据实施例的处理3D信息的方法。
在操作710中，3D信息处理设备可测量对象的第一深度信息。3D信息处理设备可使用利用深度相机实现的传统TOF方案来测量第一深度信息。
3D信息处理设备可朝向对象发射脉冲，并可根据发射的脉冲从对象反射的信号来测量对象的第一深度信息。从3D信息处理设备发射的脉冲可以是IR射线。当对象具有光透射性质时，3D信息处理设备可使用当背景被IR射线照射时穿过对象并且从背景反射的信号来测量对象的第一深度信息。
在操作720中，3D信息处理设备可估计对象的位置，并可基于估计的位置、前景深度信息和背景深度信息来估计对象的第二深度信息。也就是说，在实施例中，3D信息处理设备可通过估计对象所位于的近似空间来估计对象的位置(诸如，对象的中心位置)。
例如，可使用在对象的估计位置处从对象反射的第一反射信号来估计对象的前景深度信息。可使用穿过对象并且从背景反射的第二反射信号来计算背景深度信息。3D信息处理设备可根据等式2或等式3来估计第二深度信息。
3D信息处理设备可估计对象的透明度，并可基于估计的透明度、估计的对象的前景深度信息和背景深度信息来估计对象的第二深度信息。这里，估计的透明度可以是与对象相关联的值，并且是大于或等于“0”并且小于或等于“1”的值。
在操作730中，3D信息处理设备可将传统地测量的对象的第一深度信息与估计的对象的第二深度信息进行比较。3D信息处理设备可确定对象的第一深度信息与对象的第二深度信息之间的差值是否小于预定阈值。
当对象的第一深度信息与对象的第二深度信息之间的差值大于或等于预定阈值时，3D信息处理设备可确定对象的第一深度信息与对象的第二深度信息之间的差值在预定范围外。在这种情况下，3D信息处理设备可在操作720中将对象的位置重新估计为另一个值，并可基于对象的重新估计的位置来重新估计对象的第二深度信息。如果在第二迭代过程中，对象的第一深度信息和对象的第二深度信息之间的差值大于或等于预定阈值，则3D信息处理设备可再次将对象的位置重新估计为另一值，并随后可执行利用不同的位置值的后续迭代计算，直到第一深度信息与第二深度信息之间的差值小于预定阈值为止。在另一实施例中，3D信息处理设备可重新估计对象的位置直到第一深度信息与第二深度信息之间的差值被最小化的位置。
另外，当对象的第一深度信息与对象的第二深度信息之间的差值小于预定阈值时，3D信息处理设备可确定对象的实际深度信息是对象的估计的前景深度。可替换地，3D信息处理设备可确定对象的实际深度信息是估计的对象的第二深度信息。
根据另一个实施例，在操作720中，3D信息处理设备可估计对象的透明度，并可基于估计的透明度来估计对象的第二深度信息。
在这种情况下，当对象的第一深度信息与对象的第二深度信息之间的差值大于或等于预定阈值时，3D信息处理设备可在操作720中将透明度重新估计为另一个值，并可基于重新估计的透明度来估计对象的第二深度信息。例如，当在第一次迭代中使用的透明值0.1导致对象的第一深度信息与对象的第二深度信息之间的差值大于或等于预定阈值时，在第二迭代中可使用透明值0.2。如果在第二迭代中，对象的第一深度信息与第二深度信息之间的差值大于或等于预定阈值，则3D信息处理设备可将透明度重新估计为另一值(例如，0.3)，并随后可执行利用不同的透明度的后续迭代计算，直到第一深度信息与第二深度信息之间的差小于预定阈值为止。
另外，当对象的第一深度信息与对象的第二深度信息之间的差值小于预定阈值时，在操作740中，3D信息处理设备可确定对象的估计的透明度是对象的实际透明度。根据上述实施例的3D信息处理方法可被记录在包括实现由计算机实施的各种操作的程序指令的非暂时性计算机可读介质上。所述介质还可单独地或者与所述程序指令组合地包括数据文件、数据结构等。非暂时性计算机可读介质的示例包括磁性介质(比如，硬盘、软盘和磁带)；光学介质(比如，CD ROM盘和DVD)；磁光介质(比如，光学盘)；以及被专门构造为存储并执行程序指令的硬件装置(比如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。
程序指令的示例包括比如用编译器生成的机器代码和包含可被计算机使用解释器执行的更高级代码的文件这二者。为了执行上述实施例的操作，所描述的硬件装置可被构造为充当一个或更多个软件模块，反之亦然。在此描述的软件模块中的任何一个或更多个软件模块可由对所述单元唯一的控制器(诸如，专用处理器)执行，或由对所述模块中的一个或更多个模块通用的处理器执行。描述的方法可在通用计算机或处理器上执行，或可在特定机器(诸如，在此描述的设备)上执行。
尽管已示出并描述了实施例，但是本领域技术人员将理解，在不脱离本公开内容的原理和精神的情况下，可在这些实施例中进行改变，本公开内容的范围由权利要求及其等同形式限定。

Claims (28)

1.一种用于处理三维(3D)信息的设备，所述设备包括：
处理器，控制一个或更多个处理器可执行单元；
测量单元，测量对象的第一深度信息；
估计单元，估计所述对象的第二深度信息；
比较单元，将测量的第一深度信息与估计的第二深度信息进行比较；和
确定单元，基于比较结果来确定所述对象的第三深度信息。
2.根据权利要求1所述的设备，其中，估计单元估计所述对象的前景深度、背景的背景深度和所述对象的透明度，并通过基于估计的前景深度、估计的背景深度和估计的透明度的预定建模来估计第二深度信息。
3.根据权利要求2所述的设备，其中，估计单元基于前景深度信息、背景深度信息和所述对象的估计的透明度来估计第二深度信息，其中，所述前景深度信息使用在估计的前景深度处从所述对象反射的第一反射信号来计算，所述背景深度信息使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号来计算。
4.根据权利要求2所述的设备，其中，估计单元基于前景深度信息、所述对象的亮度、背景深度信息、背景的亮度和所述对象的估计的透明度中的至少一个来估计第二深度信息，其中，所述前景深度信息使用在估计的前景深度处从所述对象反射的第一反射信号来计算，所述背景深度信息使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号来计算。
5.根据权利要求2所述的设备，其中，所述建模根据以下等式来估计第二深度信息：
z ^ = g - 1 ( ( 1 - t ) · L f · g ( z f ) z f 2 + t · L b · g ( z b ) z b 2 + Σ i = 0 ∞ t i + 1 ( 1 - t ) i · L b · g ( z b ) · g ( z b - z f ) z b i + 1 · ( z b - z f ) i )
其中，表示估计的第二深度信息，g(x)表示基于用于测量第一深度信息的深度相机的特性而确定的函数，x表示接收信号的强度，t表示所述对象的估计的透明度，Lb表示在估计的背景深度处的背景的亮度，Lf表示所述对象的亮度，Zf表示使用在估计的前景深度处从所述对象反射的第一反射信号计算出的前景深度信息，Zb表示使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号计算出的背景深度信息。
6.根据权利要求1所述的设备，其中，当测量的第一深度信息与估计的第二深度信息之间的差在预定范围内时，确定单元确定所述对象的第三深度信息是估计的第二深度信息。
7.根据权利要求2所述的设备，其中，当测量的第一深度信息与估计的第二深度信息之间的差在预定范围外时，估计单元通过改变估计的前景深度和估计的背景深度来重新估计第二深度信息，并且比较单元将第一深度信息与重新估计的第二深度信息进行比较。
8.根据权利要求2所述的设备，其中，
测量单元包括用于接收从所述对象反射的信号的N个深度相机，并产生与所述N个深度相机对应的N项第一深度信息，其中，N是大于或等于“1”的整数，
估计单元基于估计的前景深度、估计的背景深度和估计的透明度来估计与所述N个深度相机对应的N项第二深度信息，并且
比较单元分别将所述N项第一深度信息与所述N项第二深度信息进行比较。
9.根据权利要求1所述的设备，其中，测量单元包括：
发射单元，朝向所述对象发射红外(IR)射线，
其中，测量单元使用从所述对象反射的信号和当背景被IR射线照射时穿过所述对象并从背景反射的信号来测量所述对象的第一深度信息。
10.一种用于处理三维(3D)信息的设备，所述设备包括：
处理器，控制一个或更多个处理器可执行单元；
测量单元，测量对象的第一深度信息；
估计单元，估计所述对象的位置和所述对象的透明度，并基于所述对象的估计的位置和估计的透明度来估计所述对象的第二深度信息；
比较单元，将测量的第一深度信息与估计的第二深度信息进行比较；和
确定单元，基于比较结果来确定所述对象的透明度。
11.根据权利要求10所述的设备，其中，估计单元基于前景深度信息、背景深度信息和所述对象的估计的透明度来估计第二深度信息，其中，所述前景深度信息使用在估计的位置处从所述对象反射的第一反射信号来计算，所述背景深度信息使用穿过所述对象并从背景反射的第二反射信号来计算。
12.根据权利要求10所述的设备，其中，当测量的第一深度信息与估计的第二深度信息之间的差在预定范围外时，估计单元通过改变估计的位置来重新估计第二深度信息，并且比较单元将第一深度信息与重新估计的第二深度信息进行比较。
13.一种处理三维(3D)信息的方法，所述方法包括：
使用深度相机来测量对象的第一深度信息；
经由处理器估计所述对象的第二深度信息；
通过将测量的第一深度信息与第二深度信息进行比较来确定所述对象的第三深度信息。
14.根据权利要求13所述的方法，其中，所述对象的前景深度、背景的背景深度和所述对象的透明度被估计，并且第二深度信息通过基于估计的前景深度、估计的背景深度和估计的透明度的预定建模而被估计。
15.根据权利要求14所述的方法，其中，第二深度信息基于前景深度信息、背景深度信息和所述对象的估计的透明度而被估计，其中，所述前景深度信息使用在估计的前景深度处从所述对象反射的第一反射信号来计算，所述背景深度信息使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号来计算。
16.根据权利要求14所述的方法，其中，第二深度信息基于前景深度信息、所述对象的亮度、背景深度信息、背景的亮度和所述对象的估计的透明度中的至少一个而被估计，其中，所述前景深度信息使用在估计的前景深度处从所述对象反射的第一反射信号来计算，所述背景深度信息使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号来计算。
17.根据权利要求14所述的方法，其中，所述建模根据以下等式来估计第二深度信息：
z ^ = g - 1 ( ( 1 - t ) · L f · g ( z f ) z f 2 + t · L b · g ( z b ) z b 2 + Σ i = 0 ∞ t i + 1 ( 1 - t ) i · L b · g ( z b ) · g ( z b - z f ) z b i + 1 · ( z b - z f ) i )
其中，表示估计的第二深度信息，g(x)表示基于用于测量第一深度信息的深度相机的特性而确定的函数，x表示接收信号的强度，t表示所述对象的估计的透明度，Lb表示在估计的背景深度处的背景的亮度，Lf表示所述对象的亮度，Zf表示使用在估计的前景深度处从所述对象反射的第一反射信号计算出的前景深度信息，Zb表示使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号计算出的背景深度信息。
18.根据权利要求13所述的方法，其中，所述对象的位置被估计，并且第二深度信息通过基于估计的位置的预定建模而被估计。
19.根据权利要求14所述的方法，其中，所述确定的步骤包括：当测量的第一深度信息与估计的第二深度信息之间的差在预定范围内时，确定所述对象的第三深度信息是估计的第二深度信息。
20.一种非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质包括用于指示计算机执行根据权利要求13所述的方法的程序。
21.一种处理三维(3D)信息的方法，所述方法包括：
使用深度相机来测量对象的第一深度信息；
经由处理器估计所述对象的位置和所述对象的透明度；
基于所述对象的估计的位置和估计的透明度来估计所述对象的第二深度信息；
通过将测量的第一深度信息与第二深度信息进行比较来确定所述对象的透明度。
22.根据权利要求21所述的方法，其中，所述对象的前景深度、背景深度和所述对象的透明度被估计，并且第二深度信息通过基于估计的前景深度、估计的背景深度和估计的透明度的预定建模而被估计。
23.根据权利要求22所述的方法，其中，第二深度信息基于前景深度信息、背景深度信息和所述对象的估计的透明度而被估计，其中，所述前景深度信息使用在估计的前景深度处从所述对象反射的第一反射信号来计算，所述背景深度信息使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号来计算。
24.一种非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质包括用于指示计算机执行根据权利要求21所述的方法的程序。
25.一种三维(3D)信息处理方法，所述方法用于基于前景深度信息、背景深度信息和对象的透明度来估计所述对象的深度信息，其中，所述前景深度信息通过估计所述对象的前景深度并且使用在估计的前景深度处从所述对象反射的第一反射信号来计算，所述背景深度信息通过估计背景深度并且使用穿过所述对象并在估计的背景深度处从背景反射的第二反射信号来计算。
26.一种非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质包括用于指示计算机执行根据权利要求25所述的方法的程序。
27.一种确定对象是否透明的方法，包括：
使用多个不同的深度相机来捕捉所述对象的深度值；
经由处理器将使用所述多个不同的深度相机捕捉的所述对象的深度值进行比较；
当被比较的所述对象的深度值不同时，确定所述对象至少具有特定等级的透明度。
28.一种非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质包括用于指示计算机执行根据权利要求27所述的方法的程序。
CN201380024447.6A 2012-05-10 2013-05-08 用于处理3d信息的设备和方法 Active CN104272731B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261645239P 2012-05-10 2012-05-10
US61/645,239 2012-05-10
KR1020120120948A KR101893771B1 (ko) 2012-05-10 2012-10-30 3d 정보 처리 장치 및 방법
KR10-2012-0120948 2012-10-30
PCT/KR2013/004010 WO2013168998A1 (en) 2012-05-10 2013-05-08 Apparatus and method for processing 3d information

Publications (2)

Publication Number Publication Date
CN104272731A true CN104272731A (zh) 2015-01-07
CN104272731B CN104272731B (zh) 2017-04-26

Family

ID=49854537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380024447.6A Active CN104272731B (zh) 2012-05-10 2013-05-08 用于处理3d信息的设备和方法

Country Status (6)

Country Link
US (1) US9323977B2 (zh)
EP (1) EP2848002B1 (zh)
JP (1) JP6239594B2 (zh)
KR (1) KR101893771B1 (zh)
CN (1) CN104272731B (zh)
WO (1) WO2013168998A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307186A (zh) * 2018-02-07 2018-07-20 深圳市华星光电半导体显示技术有限公司 裸眼3d图像的显示控制方法、装置、存储介质及终端
CN108413864A (zh) * 2017-02-10 2018-08-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
US10607388B2 (en) 2018-02-07 2020-03-31 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Display control method, display control device, storage medium and terminal of autostereoscopic three-dimensional (3D) image
CN116703995A (zh) * 2022-10-31 2023-09-05 荣耀终端有限公司 视频虚化处理方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
US9064295B2 (en) * 2013-02-04 2015-06-23 Sony Corporation Enhanced video encoding using depth information
JP6520913B2 (ja) * 2014-02-24 2019-05-29 日本電気株式会社 物体検出装置、ｐｏｓ端末装置、物体検出方法及びコンピュータプログラム
US9805506B2 (en) * 2014-03-07 2017-10-31 Microsoft Technology Licensing, Llc Physical 3D renderer
CN106797458B (zh) * 2014-07-31 2019-03-08 惠普发展公司，有限责任合伙企业 真实对象的虚拟改变
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
US10403033B2 (en) 2016-07-12 2019-09-03 Microsoft Technology Licensing, Llc Preserving scene lighting effects across viewing perspectives
CN107958446B (zh) * 2016-10-17 2023-04-07 索尼公司 信息处理设备和信息处理方法
CN108871224B (zh) * 2018-06-06 2020-04-21 杭州电子科技大学 一种用于led玻璃灯杯的凹槽深度检测方法
JP2021080002A (ja) * 2019-11-21 2021-05-27 東洋製罐株式会社 収容体、印刷缶、及び収容体の製造方法
US11543931B2 (en) * 2021-01-27 2023-01-03 Ford Global Technologies, Llc Systems and methods for interacting with a tabletop model using a mobile device
JP2024004873A (ja) * 2022-06-29 2024-01-17 パナソニックＩｐマネジメント株式会社 撮影装置及び撮影方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2206429A (en) * 1987-07-02 1989-01-05 Infrared Eng System determining properties or identity of a sample
WO1998047097A1 (en) * 1997-04-15 1998-10-22 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
GB2359230A (en) * 1999-11-11 2001-08-15 Canon Kk Computer graphics rendering of partially transparent object
CN101951527A (zh) * 2009-07-10 2011-01-19 索尼公司 信息处理设备和信息处理方法
CN102165496A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1169368A (en) 1981-06-01 1984-06-19 Rockwell International Corporation Roller retainer for brake assembly
JPH05205191A (ja) * 1992-01-24 1993-08-13 Nissan Motor Co Ltd 障害物検出装置
US5506407A (en) * 1993-12-21 1996-04-09 Minnesota Mining & Manufacturing Company High resolution high speed film measuring apparatus and method
JPH08287253A (ja) * 1995-04-11 1996-11-01 N T T Data Tsushin Kk 物体形状の推定方法および物体形状推定装置
GB2304483B (en) * 1995-08-18 2000-03-29 London Electricity Plc System for and method of determining the location of an object in a medium
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
KR100708352B1 (ko) * 2006-03-07 2007-04-18 한국과학기술원 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법
DE102006015792A1 (de) * 2006-04-05 2007-10-18 Isra Surface Vision Gmbh Verfahren und System zur Formmessung einer reflektierenden Oberfläche
KR100790892B1 (ko) 2006-10-18 2008-01-02 삼성전자주식회사 투명 객체의 화질 향상을 위한 3차원 그래픽스 데이터렌더링 방법 및 장치
US7720371B2 (en) * 2007-01-18 2010-05-18 Nikon Corporation Depth layer extraction and image synthesis from focus varied multiple images
US20080309913A1 (en) * 2007-06-14 2008-12-18 James John Fallon Systems and methods for laser radar imaging for the blind and visually impaired
US8345751B2 (en) * 2007-06-26 2013-01-01 Koninklijke Philips Electronics N.V. Method and system for encoding a 3D video signal, enclosed 3D video signal, method and system for decoder for a 3D video signal
US8218061B2 (en) * 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
KR101626072B1 (ko) * 2009-11-13 2016-06-13 삼성전자주식회사 영상 보정 장치 및 영상 보정 방법
WO2011087289A2 (en) * 2010-01-13 2011-07-21 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
JP5804467B2 (ja) * 2010-03-31 2015-11-04 北陽電機株式会社 信号処理装置、及び走査式測距装置
KR20110116325A (ko) 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법
KR101681095B1 (ko) * 2010-08-24 2016-12-02 삼성전자주식회사 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
US10554955B2 (en) * 2010-10-11 2020-02-04 Texas Instruments Incorporated Method and apparatus for depth-fill algorithm for low-complexity stereo vision
KR101681538B1 (ko) 2010-10-20 2016-12-01 삼성전자주식회사 영상 처리 장치 및 방법
US20140168424A1 (en) * 2011-07-21 2014-06-19 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2206429A (en) * 1987-07-02 1989-01-05 Infrared Eng System determining properties or identity of a sample
WO1998047097A1 (en) * 1997-04-15 1998-10-22 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
GB2359230A (en) * 1999-11-11 2001-08-15 Canon Kk Computer graphics rendering of partially transparent object
CN102165496A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN101951527A (zh) * 2009-07-10 2011-01-19 索尼公司 信息处理设备和信息处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108413864A (zh) * 2017-02-10 2018-08-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
CN108413864B (zh) * 2017-02-10 2020-07-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
CN108307186A (zh) * 2018-02-07 2018-07-20 深圳市华星光电半导体显示技术有限公司 裸眼3d图像的显示控制方法、装置、存储介质及终端
US10607388B2 (en) 2018-02-07 2020-03-31 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Display control method, display control device, storage medium and terminal of autostereoscopic three-dimensional (3D) image
CN116703995A (zh) * 2022-10-31 2023-09-05 荣耀终端有限公司 视频虚化处理方法和装置

Also Published As

Publication number Publication date
CN104272731B (zh) 2017-04-26
US20130301907A1 (en) 2013-11-14
US9323977B2 (en) 2016-04-26
KR20130126436A (ko) 2013-11-20
JP6239594B2 (ja) 2017-11-29
EP2848002A4 (en) 2016-01-20
EP2848002A1 (en) 2015-03-18
EP2848002B1 (en) 2021-03-17
KR101893771B1 (ko) 2018-08-31
WO2013168998A1 (en) 2013-11-14
JP2015524915A (ja) 2015-08-27

Similar Documents

Publication Publication Date Title
CN104272731A (zh) 用于处理3d信息的设备和方法
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
US9996731B2 (en) Human head detection in depth images
US20130222550A1 (en) Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor
CN102982560A (zh) 根据rgb和深度图像的表面分割
CN109214348A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN102821243A (zh) 图像处理装置、控制图像处理装置的方法以及用于使计算机执行该方法的程序
US10165168B2 (en) Model-based classification of ambiguous depth image data
CN103390289A (zh) 基于深度传感器获得镜面对象的几何形状的方法和设备
CN108140255B (zh) 用于识别场景中的反射表面的方法和系统
US10157494B2 (en) Apparatus and method for processing virtual point lights in an image
EP3480782A1 (en) Method and device for reducing noise in a depth image
US9171393B2 (en) Three-dimensional texture reprojection
CN107504917B (zh) 一种三维尺寸测量方法及装置
CN106022266A (zh) 一种目标跟踪方法及装置
US11295463B2 (en) Methods, systems, articles of manufacture, and apparatus to enhance image depth confidence maps
CN113281779B (zh) 一种3d物体快速检测方法、装置、设备及介质
WO2016178825A1 (en) Rendering via ray-depth field intersection
CN107004276A (zh) 从一对图像中觉察3d结构的方法
CN114359891A (zh) 一种三维车辆检测方法、系统、装置及介质
US10896333B2 (en) Method and device for aiding the navigation of a vehicle
US20230326052A1 (en) Estimation method, estimation apparatus and program
US10197395B2 (en) System, apparatus, and method for estimating three-dimensional (3D) position and direction precisely
Konno et al. Accurate plane estimation based on the error model of time-of-flight camera
CN115661312A (zh) 一种针对共焦扫描测距系统中多径噪声的瞬态图渲染方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant