CN106462745A - 基于内容滤波的结构光三维(3d)深度图 - Google Patents

基于内容滤波的结构光三维(3d)深度图 Download PDF

Info

Publication number
CN106462745A
CN106462745A CN201580031591.1A CN201580031591A CN106462745A CN 106462745 A CN106462745 A CN 106462745A CN 201580031591 A CN201580031591 A CN 201580031591A CN 106462745 A CN106462745 A CN 106462745A
Authority
CN
China
Prior art keywords
depth
depth information
image
data
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580031591.1A
Other languages
English (en)
Inventor
维卡斯·拉马钱德兰
卡林·米特科夫·阿塔纳索夫
詹姆斯·威尔逊·纳什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202310452034.3A priority Critical patent/CN116437062A/zh
Publication of CN106462745A publication Critical patent/CN106462745A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明揭示基于内容滤波的结构光三维3D深度图。在一特定实施例中，方法包含在接收器装置处接收对应于结构光图像的图像数据。所述方法进一步包含处理所述图像数据以基于所投射经译码光的图案来解码深度信息。所述深度信息对应于深度图。所述方法还包含对所述图像数据执行一或多个滤波操作。所述一或多个滤波操作的输出包含经滤波图像数据。所述方法进一步包含执行所述深度信息与所述经滤波图像数据的比较，及基于所述比较修改所述深度信息以产生经修改深度图。

Description

基于内容滤波的结构光三维(3D)深度图
相关申请案的交叉参考
本申请案主张共同所有的2014年6月19日申请的美国临时专利申请案第62/014,652号和2015年6月18日申请的美国非临时专利申请案第14/743,980号的优先权，上述申请案的内容明确地以全文引入的方式并入本文中。
技术领域
本发明大体上涉及基于内容滤波的结构光三维(3D)深度图。
背景技术
技术的进步已产生更小的设备和更大功率的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小，重量轻且易于由用户携带。更确切地说，例如蜂窝式电话和因特网协议(IP)电话等便携式无线电话可经由无线网络传送语音和数据包。此外，许多此类无线电话包含并入其中的其它类型的装置。举例来说，无线电话还可包含数字静态相机、数码相机、数字记录器，和音频文件播放器。而且，此类无线电话可处理可执行指令，所述可执行指令包含软件应用程序，例如可用于接入因特网的网页浏览器应用程序。因而，这些无线电话可包含相当大的计算能力。
例如无线电话的无线设备可经配置以产生三维(3D)深度图。举例来说，无线装置可包含用于深度估计的结构光系统或可与其相关联，所述结构光系统经配置以将照射图案(例如，具有垂直条纹的掩码)投射在包括三维(3D)对象的场景上。场景上或3D对象上的照射图案通常编码所述场景或所述3D对象的深度信息。结构光系统还可经配置以捕捉经照射场景的图像。基于在场景的图像中捕捉的图案，可产生指示场景中的不同深度的深度图。然而，深度图可包含基于错误肯定(例如，检测及解码其中不存在对象的有效深度数据)、错误否定(例如，基于图像的阴影区域的缺失深度值，其中在图像中并未检测到所投射经译码光的图案，和/或解码错误(例如，不正确地解码从人体反射回来的所投射的光的图案和/或图像的处理期间产生的解码错误)的一或多个错误深度值。
发明内容
在一说明性实例中，方法包含在接收器装置处接收对应于结构光图像的图像数据。所述方法进一步包含处理所述图像数据以基于所投射经译码光的图案来解码深度信息。所述深度信息对应于深度图。所述方法还包含对所述图像数据执行一或多个滤波操作。所述一或多个滤波操作的输出包含经滤波图像数据。所述方法进一步包含执行深度信息与经滤波图像数据之间的比较，及基于所述比较修改深度信息以产生经修改深度图。
在另一说明性实例中，装置包含处理器，所述处理器经配置以处理对应于结构光图像的图像数据，从而基于所投射经译码光的图案解码深度信息。处理器经进一步配置以对图像数据执行滤波操作，从而产生经滤波图像数据。处理器经配置以基于深度信息与经滤波图像数据之间的比较修改深度信息。装置还包含经配置以存储经修改深度信息的存储器。
在另一说明性实例中，设备包含用于基于对应于结构光图像的图像数据及基于所投射经译码光的图案解码深度信息的装置。设备进一步包含用于对图像数据执行一或多个滤波操作以产生经滤波图像数据的装置。设备进一步包含用于基于深度信息与经滤波图像数据之间的比较修改深度信息的装置。
在另一说明性实例中，非暂时性计算机可读媒体存储指令，所述指令可由处理器执行以使处理器执行包括处理对应于结构光图像的图像数据的操作，以基于所投射经译码光的图案解码深度信息。指令进一步使处理器执行包括对图像数据执行一或多个滤波操作的操作以产生经滤波图像数据。指令进一步使处理器执行包括基于深度信息与经滤波图像数据之间的比较修改深度信息的操作。
本发明的其它方面、优点和特征将在审阅整个申请案之后变得显而易见，所述申请案包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1为结构光系统的接收器装置的框图；
图2为用于说明由图1的接收器装置执行的处理级的图式；
图3为说明性结构光系统的框图；
图4为基于对象或场景说明感应深度的图式；
图5为经配置以产生深度图的说明性结构光系统的框图；
图6为修改深度信息的方法的第一说明性实例的流程图；
图7为修改深度信息的方法的第二说明性实例的流程图；及
图8为用于处理图像数据以使用图1的系统检测和/或追踪包含于图像中的线段的装置的框图。
具体实施方式
下文参考图式描述本发明的特定方面。在描述中，贯穿图式由常用参考数字指示常用特征元件。
例如移动装置的装置可经配置以产生基于内容滤波的结构光三维(3D)深度图。装置可基于所投射经译码光的图案接收包含像素强度值的图像，例如结构光图像。装置可处理图像以基于图案解码深度信息且产生深度图(例如，深度值)。装置还可处理图像以产生经滤波图像数据，例如分段图。举例来说，可通过对图像进行滤波，例如通过应用模糊滤波、低通滤波器、带通滤波器和/或总变差滤波器来产生经滤波图像数据。为了说明，一或多个滤波操作可应用于图像以减少或消除包含于图像中的所投射经译码光的图案的存在。深度图可与经滤波图像数据比较以识别与深度图相关联的缺失和/或不正确深度值。可基于经滤波图像数据与深度图之间的比较修改深度图(例如，深度值)以产生用于缺失深度值的深度值和/或校正不正确深度值。
由所揭示的方面中的至少一者提供的一个特定优势为通过产生经滤波图像数据及比较经滤波图像数据与深度信息，可识别及校正与深度信息相关联的缺失和/或不正确深度值。举例来说，缺失和/或不正确深度值可基于错误肯定、错误否定和/或解码错误。通过校正缺失和/或不正确深度值，可修改(例如，校正)深度信息。校正缺失和/或不正确深度值可使得能够通过其它应用程序(例如对象检测应用程序)改良经修改深度信息(例如，对应于深度图)的处理。
参考图1，展示结构光系统100的接收器装置102的一说明性实例。结构光系统100可包含发射器装置(未展示)和接收器装置102。结构光系统100可包括和/或嵌入于一或多个装置(例如电子装置)中。在一特定实施方案中，电子装置(例如，接收器装置102)可为移动装置，所述移动装置包含经配置以捕捉图像的图像传感器(例如相机)。举例来说，电子装置可捕捉图像且可产生对应图像数据110。
接收器装置102可经配置以产生或接收图像数据110。图像数据110可对应于包含反射代码掩码的图像。举例来说，发射器装置(未展示)可将包含一或多个码字的代码掩码投射到对象或场景上。每一码字可具有结构光的对应图案且定位在代码掩码内的已知位置处。从对象或场景反射回来的代码掩码可由接收器传感器(例如相机)捕捉为图像。代码掩码(例如，一或多个码字)在反射代码掩码中相比于所投射代码掩码的移位可“编码”(例如，用于确定)与反射所投射代码掩码的对象或场景相关联的深度信息和/或形状信息，如本文中进一步所描述。图像可包含对应于多个像素，其中每一像素具有对应像素强度值。像素强度值可包含于图像数据110中且提供至接收器装置102。在一些实施方案中，接收器装置102可包含捕捉图像及基于图像产生图像数据110的接收器传感器。接收器装置102和/或接收器传感器可感知(例如，“知道”)由发射器装置投射的代码掩码，及(因此)包含于所投射代码掩码中的一或多个码字的位置。
接收器装置102可包含深度图产生器120、滤波器130、深度修改器140和存储器160。由接收器装置102接收的图像数据110可提供至深度图产生器120和滤波器130。图像数据110还可提供至存储器106或存储在所述存储器处。
深度图产生器120可经配置以基于图像数据110产生深度信息122a。举例来说，深度图产生器120可处理图像数据110以识别包含于图像数据110(例如，图像)中的一或多个码字。举例来说，特定码字可包含结构光的对应于像素强度值的特定分组的特定图案。深度图产生器120可识别包含于图像数据110中的像素强度值的特定分组且确定对应于像素强度值的所述分组的图像的位置(例如，码字在反射代码掩码的图像中的位置)。
对于每一检测到的码字，深度图产生器120可比较所确定的码字的位置与码字在所投射代码掩码中的原始位置。举例来说，深度图产生器120可确定所投射代码掩码中的码字相比于所投射代码掩码的所接收到的反射中的码字的位移(例如，距离)。基于位移，深度图产生器120可使用一或多种技术(例如三角测量技术和/或立体图像处理技术)以确定对应于码字的一或多个深度值。因此，接收码字位置与发射码字位置之间的差可用于确定特定对象(其一部分)的深度(例如，深度值)。为了说明，针对码字确定的每一深度值可与包含于像素强度值的特定分组中的不同像素强度值相关联和/或对应于所述不同像素强度值。因此，每一深度值可对应于多个像素的对应于图像的不同像素位置。因此，深度图产生器120可产生深度信息122a，所述深度信息包含基于反射码字的图像的一或多个像素的(例如，包含于图像数据110中的一或多个像素强度值的)深度值。深度信息122a可对应于指示与图像中的对象或场景相关联的一或多个深度值的深度图。
深度信息122a可包含不正确深度数据，例如一或多个不正确深度值。不正确深度值可为基于错误肯定、错误否定、解码错误或其组合。错误肯定可与检测及解码其中不存在包含于图像中的对象的深度数据相关联。错误否定可与基于图像的阴影区域的缺失深度值相关联，其中在图像中并未检测到所投射经译码光的图案(例如，码字)。解码错误可与不正确地解码从对象(例如人体)反射回来的所投射的光的图案，和/或处理图像期间产生的解码错误(例如由深度图产生器120在处理图像数据110期间产生的解码错误)相关联。
滤波器130可经配置以图像数据110且产生经滤波图像数据132。经滤波图像数据132可包含包含于图像数据110中的每一像素强度值的经滤波强度数据值(例如，对应于图像的每一像素的经滤波强度值)。举例来说，滤波器130可对图像数据110执行一或多个滤波操作以产生经滤波图像数据132。一或多个滤波操作可包含作为说明性非限制性实例的模糊滤波操作、低通滤波操作、带通滤波操作和/或总变差滤波操作。一或多个滤波操作可经配置以减少或消除对应于所投射的光的图案的图像数据110的分量。通滤波出对应于所投射的光的图案的图像数据110的分量，滤波器130可产生表示包含于图像捕捉装置的视场中的对象或场景的经滤波图像。在一些实施方案中，一或多个滤波操作可用于识别对应于具有类似反射性的图像的部分的像素强度值的群组，例如具有包含于图像中的类似反射性的一或多个对象。举例来说，滤波器130可对图像数据110执行一或多个滤波操作的一或多个迭代以产生经滤波图像数据132。
经滤波图像数据132可包含与图像数据110中的像素强度值的数和深度信息122a中的深度值的数值值相同的经滤波图像数据值的数值。为了说明，包含于图像数据110中的像素强度值中的每一者可对应于与图像相关联的像素。深度图产生器120可处理图像数据110以产生包含于图像数据110中的每一像素强度值的深度值，使得每一深度值对应于图像的不同像素。另外，滤波器130可处理图像数据110以产生包含于图像数据110中的每一像素强度值的经滤波图像数据值，使得每一经滤波图像数据值对应于图像的不同像素。
深度修改器140可经配置以接收深度信息122a和经滤波图像数据132。深度修改器140可包含比较逻辑150。比较逻辑150可经配置以比较深度信息122a(对应于图像的深度图)与经滤波图像数据132(对应于图像的经滤波的版本)。举例来说，比较逻辑150可经配置以执行深度信息122a与经滤波图像数据132之间的逐像素比较。
基于深度信息122a与经滤波图像数据132的比较，比较逻辑150可识别包含于深度信息122a中的有效深度数据和/或无效深度数据(例如，不正确深度数据)。举例来说，当深度数据值(对应于图像的像素位置)和经滤波图像数据值(对应于图像的同一像素位置)两者指示对象存在于所述像素位置处或两者指示对象并未存在于所述像素位置处时，比较逻辑150可将包含于深度信息122a中的深度值识别为有效。作为另一实例，当深度数据值(对应于图像的像素位置)和经滤波图像数据值(对应于图像的同一像素位置)提供对象是否存在于所述像素位置处的不同指示时，比较逻辑150可将包含于深度信息122a中的深度值识别为无效(例如，不正确深度数据)。
经识别为无效的深度值(例如，不正确深度数据)可包含或对应于不正确深度值和/或缺失深度值。当深度数据值(对应于图像的像素位置)指示对象存在于所述像素位置处且经滤波图像数据值(对应于图像的像素位置)未指示对象存在于所述像素位置处时，可识别无效深度值。当深度数据值(对应于图像的像素位置)缺失深度值未指示对象存在于所述像素位置处且经滤波图像数据值(对应于图像的像素位置)指示对象存在于所述像素位置处时，可识别缺失深度值。
深度修改器140可经配置以修改包含于深度信息122a中由比较逻辑150识别为无效(不正确)深度数据的深度数据值中的一或多者。举例来说，深度修改器140可识别无效深度值及修改(例如，改变)无效深度值(其指示对象存在于像素位置处)，以改为指示对象并未存在于所述像素位置处。
作为另一实例，深度修改器140可识别缺失深度值及修改(例如，改变)缺失深度值(其指示对象并未存在于像素位置处)，以改为指示对象存在于所述像素位置处。深度修改器140可基于经滤波图像数据132修改缺失深度值。为了说明，深度修改器140可识别图像的对应于缺失深度值的特定像素。深度修改器140可识别对应于特定像素的特定经滤波图像数据值(包含于经滤波图像数据132)中。基于经滤波图像数据值，深度修改器140可识别图像的靠近特定像素(例如，在距离特定像素阈值距离内)的一或多个像素。一或多个像素中的每一者可对应于类似于特定经滤波图像数据值的经滤波图像数据值，且可对应于经识别为有效的深度数据。深度修改器140可基于一或多个像素确定特定深度值，且可将缺失深度值修改(例如，设定)为特定深度值。举例来说，对于一或多个像素中的每一者，深度修改器140可确定包含于深度信息122中的对应深度值且可产生特定深度值作为对应于所述一或多个像素的深度值的中位值。
在修改(例如，校正)深度信息122a之后，深度修改器140可输出深度信息122a的校正版本作为经修改深度信息122b。经修改深度信息122b可比深度信息122a更精确。经修改深度信息122b可对应于(图像的)深度图，所述深度图包含包含于图像中的一或多个对象的深度值。深度修改器140可将经修改深度信息122b发送至存储器160。存储器160可经配置以从深度修改器140接收经修改深度信息122b及存储经修改深度信息122b。
在结构光系统100的操作期间，接收器装置102可产生或接收图像数据110且将图像数据110提供至深度图产生器120和滤波器130。可从经配置以捕捉图像的图像捕捉传感器(例如包含于接收器装置102中的图像捕捉传感器)接收图像数据110。图像数据110可对应于具有基于所投射代码掩码的反射的“经编码”深度信息的图像。举例来说，所投射代码掩码可与结构光的一或多个图案(例如，一或多个码字)相关联，所述图案使得接收器装置102能够确定反射一或多个图案的对象的深度。
接收器装置102(例如，深度图产生器120)可处理图像数据110以产生深度信息122a。举例来说，深度图产生器120可处理图像数据110以基于所投射经译码光的图案(例如，码字)解码包含于图像中的深度信息。深度信息122a可对应于与图像相关联的深度图。另外，接收器装置102(例如，滤波器130)可处理图像数据110以产生经滤波图像数据132。举例来说，模糊滤波器、总变差滤波器或其组合可应用于滤波器图像数据110以产生经滤波图像数据。经滤波图像数据可与图像内具有类似反射性的区域(或对象)相关联。在一些实施方案中，经滤波图像数据132可与图像的分段图相关联。
可在执行深度信息122a与经滤波图像数据132之间执行比较以识别包含于深度信息122s中的不正确深度数据(例如，不正确深度值和/或缺失深度值)。举例来说，比较可对应于深度信息122a与经滤波图像数据132之间的逐像素比较。接收器装置102可修改(例如，校正)不正确深度数据以产生经修改深度信息122b。
尽管深度图产生器120、滤波器130和深度修改器140经说明为单独组件，但深度图产生器120、滤波器130和深度修改器140中的一或多者可包含于单一组件中。尽管比较逻辑150经描绘为包含于深度修改器140中，但在其它实施方案中，比较逻辑150可与深度修改器140分离。深度图产生器120、滤波器130、深度修改器140和/或比较逻辑150中的每一者可实施于一或多个硬件组件、软件或其组合中。
在一特定实施方案中，深度修改器140识别深度图的对应于不正确深度数据的特定像素位置。深度修改器140可基于经滤波图像数据132确定对应于特定像素位置的特定经滤波图像数据值，且可基于特定像素位置选择与图像(例如，深度图)相关联的区域。区域可与包含特定像素位置的多个像素位置相关联。接收器装置102可识别多个像素位置中的一或多个像素位置的集合，且基于对应于一或多个像素位置的集合的深度数据确定特定深度值。接收器装置102可基于特定深度值更新对应于特定像素位置的不正确深度数据以产生经修改深度信息122b。
通过使用两个不同组件(例如，深度图产生器120和滤波器130)处理图像数据110，接收器装置102可基于由接收器装置102的单一图像捕捉装置捕捉的单一数据集合(即，图像数据110)产生两个数据集合，例如深度信息122a和经滤波图像数据132。另外，通过产生经滤波图像数据132及比较经滤波图像数据132与深度信息122a，可识别及校正与深度信息122a相关联的缺失和/或不正确深度值。举例来说，缺失和/或不正确深度值可基于错误肯定、错误否定和/或解码错误。通过校正缺失和/或不正确深度值，可修改(例如，校正)深度信息122a。校正缺失和/或不正确深度值可使得能够通过其它应用程序(例如对象检测应用程序)改良经修改深度信息122b(例如，对应于深度图)的处理。
参考图2，描绘说明性实例以说明由图1的接收器装置102执行的处理级。结构光图像的一实例经描绘且总体上指定为200。结构光图像可包含或对应于由接收器装置102接收且提供至图1的深度图产生器120和滤波器130的图像数据110。结构光图像200可由检测投射到3D对象上及从3D对象反射回来的结构光(例如，对应于垂直条纹的经译码光)的相机产生。
代表性深度图图像的一实例经描绘且总体上指定为210。在深度图图像210中，不同色彩指示不同深度。深度图图像210可对应于图1的深度信息122a。深度图图像210可包含与结构光图像200相同的像素的数值，且每一像素可具有对应深度数据值。深度图图像210可基于结构光图像200。举例来说，可解码结构光图像200的光图案(例如，代码掩码的反射)以产生深度图图像210。举例来说，结构光图像200可为由深度图产生器120在处理图像数据110之后产生的深度信息122a的表示。
深度图图像210包含一或多个不正确深度值，例如第一不正确值212、不正确值214和第三不正确值216。第一不正确值212可对应于由结构光图像200中的一或多个对象的阴影区域所导致的错误肯定(例如，其中无一者应存在的深度数据)。第二不正确值214可对应于基于不恰当地经解码(例如，解码错误)的缺失深度值。第三不正确值216可对应于基于错误否定(例如，其中应存在深度数据的无深度数据)的缺失深度值。
代表性经滤波图像的一实例经描绘且总体上指定为220。经滤波图像220可对应于图1的经滤波图像数据132。经滤波图像220可包含与结构光图像200相同的像素的数值，且每一像素可具有对应经滤波图像数据值。经滤波图像220可基于结构光图像200。举例来说，结构光图像200可经处理(例如，例如通过使用模糊滤波器和/或总变差滤波器进行滤波)以识别具有类似反射性的图像的部分，从而产生经滤波图像220。处理可不使横跨边缘区域的图像的区域模糊。因此，经滤波图像220可识别结构光图像200的具有类似反射性的合并部分。
代表性中等深度图图像的一实例经描绘且总体上指定为230。中等深度图图像230可包含与结构光图像200相同的像素的数值。在中等深度图图像230中，不同颜色指示不同深度但并不直接对应于包含于深度图图像210中的颜色。在中等深度图图像230中，红色指示在深度图图像210中所识别的不正确深度数据，如本文中进一步所描述。
中等深度图图像230可对应于深度图图像210与经滤波图像220之间的比较以识别不正确深度数据。举例来说，比较可包含或对应于通过比较逻辑150执行的比较以比较深度信息122a和经滤波图像数据132。举例来说，可执行深度图图像210与经滤波图像220之间的逐像素比较以识别无效深度数据值(例如，基于阴影的错误值)。为了说明，深度图图像210可指示具有第一深度值的第一像素(对应于第一不正确值212)。然而，第一像素可具有经滤波图像220中的极低反射性值，所述值指示在第一像素的位置处不存在对象。因此，第一深度值可经识别为无效。可校正第一深度值以指示不存在对象，如中等深度图图像230中所说明。
另外地或可替代地，逐像素比较可识别缺失深度数据值。为了说明，深度图图像210可指示具有无深度值的第二像素(对应于第三不正确值216)，但经滤波图像220可指示存在于第二像素的位置处的反射性对象。因此，深度图图像210的一部分可经识别为具有缺失深度数据(如由中等深度图图像230中的红色指示)。因此，基于逐像素比较，可校正无效深度值且可识别缺失深度值。因此，中等深度图图像230描绘在校正无效深度数据之后和在识别缺失深度数据之后夫人深度图图像210的版本(说明为栗色区域)。
经修改深度图图像的一实例经描绘且总体上指定为240。经修改深度图图像240可对应于图1的经修改深度信息122b。经修改深度图图像240可包含与结构光图像200相同的像素的数值。在经修改深度图图像240中，不同颜色指示不同深度但并不直接对应于包含于深度图图像210中的颜色或中等深度图图像230。
在经修改深度图图像240中，基于逐像素比较识别的缺失深度值可填入且包含于深度图中。举例来说，对应于深度图图像210和/或中等深度图图像230的深度信息可经修改以包含缺失深度值。为填充对应于深度图图像210(或中等深度图图像230)的特定像素的特定缺失深度值，可将窗设定在特定像素周围的深度图图像210中，且可识别窗内具有有效深度数据的一或多个像素(例如，非缺失深度数据的一或多个像素)。对于具有有效深度数据的窗内的一或多个像素中的每一者，可(基于经滤波图像220)确定对应反射性值。可识别具有类似于对应于特定像素(具有缺失深度值)的反射性值的反射性值的一或多个像素的集合。可基于像素的集合的有效深度值确定中值深度值，且可将特定像素的缺失深度值设定为中值深度值。因此，如经修改深度图图像240中所说明，已填充缺失深度值。举例来说，可填充(例如，填入)缺失手指的缺失深度值。另外，基于上文所描述的错误识别和深度值修改技术，已经在经修改深度图图像240中获得与深度图图像210相比更精细的面部的更精细的细节(例如鼻子、嘴巴、耳朵)。
参考图3，描绘结构光系统300。结构光系统300可使用已知图案照射场景或对象及获得通过其从2维(2D)图像和/或2D信息产生3维(3D)信息的深度信息。结构光系统300可包含发射器装置301和接收器装置102。
发射器装置301可经配置以通过代码掩码304(例如，具有代码的图像)投射光场，从而将一或多个码字投射在对象306(和/或场景)上。举例来说，包含于发射器中的编码器/形状调变器可经配置以产生随后由发射器装置301经由发射通道(例如，其中所述通道包含通过其投射复合代码掩码的路径和/或轨线)投射的代码掩码304。代码掩码304可投射到对象306(例如，目标)上。
接收器装置102可经配置以捕捉投射代码掩码310和其中的一或多个码字。举例来说，耦合到或包含于接收器装置102中的接收器传感器可经配置以捕捉从对象306反射回来的光，例如捕捉对象306的图像。对象306(例如，目标)的形状和/或深度可“经编码”于图像中。举例来说，特定码字从所投射代码到掩码到所捕捉的所投射代码掩码的反射的移位(例如，位移)可为反射所投射代码掩码的对象的深度值的表示(例如，编码)。为了说明，捕捉于图像中的所投射代码掩码310(例如，从对象306反射回来的代码掩码304)由接收器装置102使用以确定对象306的形状和/或深度。接收器装置102可“解码”所捕捉图像(例如，图像数据，例如图1的图像数据110)以获得深度图307(例如，深度数据，例如图1的深度信息122a)，如参考图4进一步所描述。可(例如)通过包含于接收器装置102中的应用程序使用深度图307以产生、呈现和/或提供对象306(例如，目标)的3D版本(例如，3D图像)。接收器装置102可包含深度修改器140以校正深度图数据错误，例如由错误肯定、错误否定和/或解码错误引起的错误。举例来说，深度修改器140可修改深度图307以产生经修改深度图。
如图3中所描绘，代码掩码304的区段/部分/窗312投射(如区段/部分/窗314)到对象306的表面(例如，所投射区段/部分/窗316。所投射区段/部分/窗316可随后由接收器装置102捕获为所捕捉片段318。区段/部分/窗312可用作可经唯一地识别的码字。因此，以此方式通过用一或多个独特码字覆盖对象306(和/或场景)，可识别/标记对象306(和/或场景)的区段/部分且一或多个独特码字可用于由接收器装置102深度感应。
从由接收器装置102捕捉的图像，可在对象306(或场景)中识别多个片段(例如，多个码字)。每一区段318可为在接收器装置102处可唯一地识别的，且可从代码掩码304的已知图案确定特定片段相对于其它片段的位置。从每一区段/部分/窗识别译码(例如，码字)可涉及图案分段(例如，以解决失真)和将所感知片段/部分/窗解码到对应代码中。另外，三角测量可应用于每一所捕捉片段/部分/窗以确认定向和/或深度。多个此类片段/部分/窗可经组合以将所捕捉图像图案拼接在一起。以此方式，深度的图(例如，深度图，例如图1的深度信息122a)可针对对象306(场景)而产生。
参考图4，可感应的对象或场景的深度(例如，深度数据)的实例经描绘且总体上指定为400。发射器装置301可定位在与接收器装置102相同的基线参考面(例如，透镜平面405)上。发射器装置301和/或接收器装置102可包含于图1的结构光系统100和/或图3的结构光系统300中或对应于所述结构光系统。
发射器装置301可经由孔径或透镜将代码掩码410投射到场景或对象上。举例来说，发射器装置301可使用各种类型的调变且译码方案可用于产生代码掩码410。这些调变和译码方案可包含时间译码、空间译码和直接译码，如说明性非限制性实例。代码掩码410可包含或对应于图3的代码掩码304。出于说明的目的，所投射片段/部分/窗412(表示码字)经展示为所发射代码掩码410的部分。此代码片段/部分/窗412可投射在距离发射器装置301第一距离处的第一场景(例如，第一对象406)上，和/或可投射在距离发射器装置301第二距离处的第二场景(例如，第二对象408)上。第一对象406或第二对象408可包含或对应于图3的对象306。
包含于接收器装置102中或耦合到所述接收器装置的传感器(例如，相机)可捕捉经由接收器孔径所投射代码掩码410(例如，所接收到的代码掩码411)的图像，例如从一或多个目标反射回来的所投射代码掩码410。出于说明的目的，所发射代码掩码310经展示在与所接收到的代码掩码411相同的传感器平面407上。由传感器捕捉的图像可转化成(例如，表示为)图像数据(例如图1的图像数据110)且提供至接收器装置102。图像数据可包含或对应于与图像相关联的像素强度值。接收器装置102可包含深度修改器140以校正包含于由接收器装置102产生的深度图中的深度图数据错误，例如由错误肯定、错误否定和/或解码错误引起的错误。
当第一对象406位于较接近(相对于第二对象408)于发射器装置301时(例如，距离发射器装置301第一距离)，所投射片段412的反射出现在距离如由发射器装置301所发射的其初始位置的一距离d1处。当第二对象408位于较远离(相对于第一对象406)发射器装置301时(例如，距离发射器装置第二距离)，所投射片段/部分/窗412的反射出现在距离如由发射器装置所发射的其初始位置的一距离d2处(其中d2<d1)。因此，对象距离发射器/接收器越远，所接收到的所投射片段/部分/窗在接收器装置102距离其原始位置越近(例如，传出投影与传入投影更平行)。相反地，对象距离发射器/接收器越近，所接收到的所投射片段/部分/窗在接收器装置102处距离其原始位置越远。因此，所接收到的码字位置和所发射的码字位置之间的差可用于确定特定对象的深度(例如，深度值)。举例来说，深度(例如，相对深度)可提供与图像相关联的每一像素或分组像素的子集(例如，两个或更多个像素的区域)的深度值。因此，可基于反射码字相对于码字在所投射代码掩码中的位置的位移确定对应于接收反射码字的图像的像素的深度信息(例如，深度值)。
参看图5，结构光系统的另一实例经描绘且总体上指定为500。结构光系统500包含发射器装置301和接收器装置102。结构光系统500可包含或对应于图1的结构光系统100和/或图3的结构光系统300。
发射器装置301可经配置以产生代码掩码(例如，结构光的图案)和/或投射代码掩码。代码掩码可包含或对应于一或多个码字。举例来说，代码掩码可包含图3的代码掩码304或图4的代码掩码410。发射器装置301可包含耦合到存储器/存储装置510的处理电路520、图像突出装置518和/或存储媒体526。
处理电路520可包含代码掩码产生器/选择器522和/或预先塑形电路524。代码掩码产生器/选择器522可经配置以选择存储于存储器/存储装置510处的一或多个预存储代码掩码512。举例来说，代码掩码产生器/选择器522可从一或多个预存储代码掩码512选择特定代码掩码，例如代码掩码528。处理电路520可发送待存储于存储媒体526处的所选代码掩码(例如，代码掩码528)。预先塑形电路524可经配置以预先塑形所选特定代码掩码以补偿通道中的预期失真，代码掩码528经由所述通道投射(例如，其中通道包含经由其投射复合代码掩码的路径和/或轨线)。预先塑形电路524可在将代码掩码528存储在存储媒体526处前或在存储在存储媒体526处之后，但在代码掩码528提供至图像投射装置518前预先塑形代码掩码528。
存储媒体526可存储代码掩码528。代码掩码528可包含由多个符号定义的一或多个码字，例如一或多个可唯一地识别的空间经译码码字(例如，可唯一地识别的结构光的图案)。代码掩码528可在投影前通过合成点扩散函数经预先塑形(例如，通过预先塑形电路524)。尽管存储媒体526经说明为包括单一代码掩码，但存储媒体526可包含多个代码掩码。尽管存储器/存储装置510和存储媒体526经说明为不同组件，但在其它实施方案中，存储器/存储装置510和存储媒体526可包含单一存储器组件。
图像投射装置518可经配置以将所选特定代码掩码(例如，代码掩码528)投射到所关注对象(例如对象530)上。举例来说，图像投射装置518可将代码掩码528投射到对象530上作为结构光的图案531。图像突出装置518可包含激光或另一光源以将所选特定代码掩码(例如，经由投影通道)投射到所关注的对象上。举例来说，代码掩码528可投射在红外线光谱中，使得代码掩码528对于肉眼为不可见的。
接收器装置102可经配置以从所接收到的“反射”代码掩码获得深度信息(例如图1的深度信息122a)及产生经修改深度信息122b。接收器装置102可包含耦合到存储器/存储装置160和接收器传感器570(例如，图像捕捉装置)的处理电路560。接收器装置102亦可包括或耦合到应用程序，例如对象检测应用程序应用程序
接收器传感器570(例如，相机等)可经配置以获得(例如，检测)投射在对象530的表面上的代码掩码的至少一部分。举例来说，接收器传感器570可捕捉包含投射到对象530上(例如，从其反射回来的)结构光的图案531的图像。基于所捕捉图像，接收器传感器570可产生及输出对应于图像的图像数据110(例如，像素强度值)。在一些实施方案中，接收器传感器570可经配置以捕捉红外线光谱中的捕捉图像(例如，反射代码掩码)。
处理电路560可包含失真调整电路/模块562、码字识别器电路/模块563、滤波器130、深度图产生器120和/或深度修改器140。失真调整电路/模块562可经配置以调整图像数据110，从而校正由接收器传感器570检测到的代码掩码的部分的失真(例如，歪斜)。码字识别器电路/模块563可经配置以从包含于图像数据中的数据值的群组检测码字(例如，数据值的群组对应于由接收器传感器570检测到的代码掩码的部分内所定义的窗)。
深度图产生器120可经配置以从失真调整电路/模块562和由码字识别器电路/模块563检测到的码字接收经调整图像数据110。深度图产生器120可包含经配置以确定对应于数据值的群组的对象530的表面部分(例如，窗)的深度信息的深度检测电路/模块565。举例来说，深度检测电路/模块565可基于已知参考代码掩码552(例如由发射器装置301使用和投射的代码掩码)确定所检测到的码字在所捕捉图像中的位置相对于码字的预期位置的位移。参考代码掩码552可存储于接收器装置102的存储器/存储装置160处。深度图产生器120可经配置以产生包含所捕捉图像的深度信息的深度图。举例来说，深度信息可包含对象530的特定深度信息。可将深度信息(例如图1的深度信息122a)从深度图产生器120提供至深度修改器140。
滤波器130可处理图像数据110以产生经滤波图像数据，例如图1的经滤波图像数据132。举例来说，滤波器130可包含或对应于模糊滤波器、总变差滤波器或其组合。经滤波图像数据可与图像内具有类似反射性的区域(或对象)相关联。
深度修改器140可经配置以从深度图产生器120接收深度信息及从滤波器130接收经滤波图像数据。深度修改器140可经配置以识别包含于深度信息中的不正确深度数据，及校正不正确深度数据以产生经修改深度信息122b。深度修改器140可将经修改深度信息122b提供至存储器/存储装置160。
存储器/存储装置160可存储一或多个代码掩码(例如代表性代码掩码552)和由深度修改器140产生的经修改深度信息122b。代码掩码552可对应于(例如，相同于)存储于发射器装置301的存储器/存储装置510处的代码掩码512中的一者。
应用程序556(例如对象检测应用程序)可经配置以存取存储于接收器装置102的存储器/存储装置160处的经修改深度信息122b。举例来说，应用程序556可经配置以检测包含于由接收器传感器570捕捉的图像中的一或多个对象。为了说明，应用程序556可包含手指检测应用程序以识别包含于图像中的手部上延长的多个手指。可替代地或另外，应用程序556可包含手势检测应用程序以基于对应于由接收器装置处理的图像序列的经修改深度信息来识别一或多个手势。
参考图6，描绘修改深度信息的方法600的第一说明性实例的流程图。方法600可由图1、3、4、或5的接收器装置102和/或图3的处理电路360执行。
方法600包含在602处在接收器装置处接收图像数据，其中图像数据对应于结构光图像。举例来说，图像数据110可由图1的接收器装置102接收。方法600进一步包含在604处，处理图像数据以基于所投射经译码光的图案解码深度信息。深度信息可对应于深度图。作为一实例，图像数据110可由深度图产生器120处理以产生深度信息122a。方法600进一步包含在606处对图像数据执行一或多个滤波操作，其中一或多个滤波操作的输出包含经滤波图像数据。举例来说，图像数据110可由滤波器130处理以产生经滤波图像数据，例如经滤波图像数据132，如关于图1所描述。方法600可包含在608处执行深度信息与经滤波图像数据之间的比较。方法600进一步包含在610处基于比较修改深度信息以产生经修改深度图。举例来说，可基于经滤波图像数据132由深度修改器140修改深度信息122a以产生经修改深度信息122b。
在一特定说明性实施中，从经配置以捕捉图像的图像捕捉传感器接收图像数据。举例来说，可由接收器装置102从图像捕捉传感器(例如相机内的传感器)接收图像数据110。图像数据可包含像素强度值，且图像数据可与反射图像相关联，通过经由与代码掩码相关联的滤波器发射所投射经译码光产生所述反射图像。举例来说，发射器装置301可经由滤波器(例如经由码字投影412)将所投射经译码光发射至反射至如图4中的接收器装置102的图像。
可通过解码深度信息处理图像数据，解码深度信息包括识别基于图像数据的码字及确定码字从所投射代码掩码中的码字的位置到图像中的码字的位置的位移，其中图像对应于所投射代码掩码的反射。可基于位移产生深度数据。
在一特定实施方案中，处理图像数据以产生经滤波图像数据包含将模糊滤波器、总变差滤波器、低通滤波器、带通滤波器或其组合应用于滤波器图像数据以产生经滤波图像数据。举例来说，滤波器130可为模糊滤波器、总变差滤波器或其组合。滤波器130可对图像数据110进行滤波以产生经滤波图像数据132。处理图像数据的方法可进一步包含执行深度信息与经滤波图像数据之间的比较。举例来说，比较可对应于执行深度信息与经滤波图像数据之间的逐像素比较。
参考图7，描绘修改深度信息的方法700的第二说明性实例的流程图。方法700可由图1、3、4或5的接收器装置102和/或图3的处理电路360执行。在一些实施方案中，在图6的方法600的608处，方法700可包含或对应于基于经滤波图像数据修改深度信息。
方法700可包含在702处识别包含于与结构光图像相关联的深度信息中的不正确深度值。修改深度信息可包含校正包含于深度信息中的不正确深度值。可替代地，处理深度信息可包含基于比较识别与深度信息相关联的缺失深度值。因此，可校正缺失深度信息或不正确深度信息以产生具有经改良精确性的经修改深度信息。包含于深度信息中的不正确深度数据可对应于与深度图相关联的一或多个像素，且修改深度信息可包含校正深度图中的不正确深度数据。
方法700可包含在704处识别深度图的特定像素位置，其中特定像素位置对应于不正确深度数据，及在706处基于经滤波图像数据确定对应于特定像素位置的特定经滤波图像数据值。举例来说，深度修改器140内的比较逻辑150可比较深度信息122a与经滤波图像数据132，如关于图1所描述。
方法700可进一步包含在708处基于特定像素位置选择与深度图相关联的区域，其中所述区域与包含特定像素位置的多个像素位置相关联，及在710处识别所述多个像素位置中的一或多个像素位置的集合。另外，方法700可包含在712处基于对应于一或多个像素位置的集合的深度数据确定特定深度值，及在714处更新对应于特定像素位置的不正确深度数据。可基于特定深度值更新不正确深度数据以产生经更新深度数据。
图6至7的方法可由现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、处理单元(例如图形处理单元(GPU)、中央处理单元(CPU))、数字信号处理器(DSP))、控制器、另一硬件装置、固件装置或其任何组合实施。作为一实例，图6至7的方法可由执行指令以修改深度信息的一或多个处理器执行。
参考图8，描绘无线通信装置800的一特定说明性实例的框图。装置800可包含图1的结构光系统100、图3的结构光系统300、图4的结构光系统400、图5的结构光系统500或其组合的一或多个组件。
装置800包含一或多个处理器810(例如，一或多个处理核心)，例如数字信号处理器(DSP)、图形处理单元(GPU)和/或中央处理单元(CPU)。一或多个处理器810可耦合到存储器832。存储器832包含指令868(例如，可执行指令)，例如计算机可读指令或处理器可读指令。指令868可包含可由计算机(例如由一或多个处理器810中的每一者)执行的一或多个指令。
举例来说，一或多个指令可由一或多个处理器810执行以使一或多个处理器810执行操作，所述操作包含处理对应于图像的图像数据以基于所投射经译码光的图案解码深度信息。为了说明，装置800可包含耦合到传感器884的结构光接收器886，所述传感器捕捉所投射经译码光的图案的图像。结构光接收器886可基于传感器884的输出产生图像数据110。一或多个处理器810可包含深度图产生器120，所述深度图产生器基于图像数据110解码/产生深度信息122a。在一些实施方案中，所投射经译码光的图案由耦合到结构光发射器882的投影仪880投射。因此，在一些实施方案中，装置800可经配置以充当结构光系统的发射器装置和接收器装置两者。
操作还可包含处理图像数据以产生经滤波图像数据，其中经滤波图像数据与具有类似反射性的图像的区域相关联。举例来说，一或多个处理器810可包含滤波器130，所述滤波器处理图像数据110以产生经滤波图像数据132。操作可进一步包括基于经滤波图像数据修改深度信息。举例来说，一或多个处理器810可包含深度修改器140，所述深度修改器可修改深度信息122a以产生经修改深度信息122b。
图8还展示耦合到一或多个处理器810和显示器828的显示控制器826。译码器/解码器(译码解码器)834还可耦合到一或多个处理器810。扬声器836和麦克风838可耦合到译码解码器834。一或多个处理器810还可耦合到相机控制器860，所述相机控制器耦合到相机862。在一些实施方案中，装置800包含单一图像捕捉装置(例如，相机862包含传感器884)。
图8也指示无线接口840(例如无线控制器)可耦合到一或多个处理器810和天线842。在一些实施方案中，一或多个处理器810、显示控制器826、相机控制器860、存储器832、译码解码器834、投影仪880、传感器884和无线接口840包含于封装内系统或片上系统装置822中。在其它实施方案中，输入装置830和电力供应器844耦合到片上系统装置822。此外，如图8中所说明，显示器828、输入装置830、扬声器836、麦克风838、天线842、相机862、投影仪880、传感器884和电力供应器844在片上系统装置822的外部。然而，显示器828、相机862、投影仪880、传感器884、输入装置830、扬声器836、麦克风838、天线842和电力供应器844中的每一者可耦合到片上系统装置822的组件，例如接口、控制器、发射器(例如，发射器电路)或接收器(例如，接收器电路)。
所揭示的方面中的一或多者可实施于可包含通信装置、固定位置数据单元、移动位置数据单元、移动电话、蜂窝式电话、卫星电话、计算机、平板计算机、便携式计算机或桌上型计算机的系统或设备(例如装置800)中。可替代地或另外，装置800可包含机顶盒、娱乐单元、导航装置、个人数字助理(PDA)、监视器、计算机监视器、电视、调谐器、无线电、卫星无线电、音乐播放器、数字音乐播放器、便携式音乐播放器、视频播放器、数字视频播放器、数字视频光盘(DVD)播放器、便携式数字视频播放器、存储或检索数据或计算机指令的任何其它装置或其组合。作为另一说明性非限制性实例，所述系统或设备可包含远程单元，例如移动电话、手持式个人通信系统(PCS)单元、如个人数据助理的便携式数据单元、具备全球定位系统(GPS)功能的装置、导航装置、如仪表读取设备的固定位置数据单元或存储或检索数据或计算机指令的任何其它装置或其任何组合。
本发明的方面可适当地用于包含集成电路(包含存储器、处理器和芯片上电路)的任何装置中。虽然图1至图8中的一或多者可说明根据本发明的教示内容的系统、设备及/或方法，但本发明不限于这些所说明的系统、设备及/或方法。如本文中所说明或所描述的图1至8中的任一者的一或多个功能或组件可与图1至8中的另一者的一或多个其它部分组合。因此，本文中所描述的单个实例不应被解释为限制性的，且在不脱离本发明的教示的情况下，本发明的实例可适当组合。
所属领域的技术人员将进一步了解结合本文所揭示的方面描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由处理器执行的计算机软件或两者的组合。上文已大体在其功能性方面描述各种说明性组件、块、配置、模块、电路及步骤。此功能性是实施为硬件还是处理器可执行指令取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起对本发明的范围的偏离。
结合本文中所揭示的方面描述的方法或算法的步骤可以硬件的形式、由处理器执行的软件模块的形式或以这两者的组合形式完全体现。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移除式磁盘、压缩光盘只读存储器(CD-ROM)或此项技术中已知的任何其它形式的非暂时性存储媒体中。示例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可以驻留在专用集成电路(ASIC)中。ASIC可驻存在计算装置或用户终端中。在替代方案中，处理器及存储媒体可以作为离散组件驻留在计算装置或用户终端中。
提供先前描述使得所属领域的技术人员能够进行或使用所揭示的方面。所属领域的技术人员将容易明白对这些方面的各种修改，且在不脱离本发明的范畴的情况下，本文中所界定的原理可应用于其它方面。因此，本发明并不意图限于本文展示的方面，而应被赋予与如通过所附权利要求书界定的原理及新颖特征一致的可能的最广范围。

Claims (30)

1.一种方法，其包括：
在接收器装置处接收图像数据，其中所述图像数据对应于结构光图像；
处理所述图像数据以基于所投射经译码光的图案解码深度信息，其中所述深度信息对应于深度图；
对所述图像数据执行一或多个滤波操作，其中所述一或多个滤波操作的输出包含经滤波图像数据；
执行所述深度信息与所述经滤波图像数据之间的比较；及
基于所述比较修改所述深度信息以产生经修改深度图。
2.根据权利要求1所述的方法，其中所述一或多个滤波操作修改所述图像数据以识别所述结构光图像内具有类似反射性的区域。
3.根据权利要求1所述的方法，其中在不确定具有不同反射性的两个邻近区域之间的边缘的情况下产生所述经滤波图像数据。
4.根据权利要求1所述的方法，其中所述经滤波图像数据对应于经滤波结构光图像。
5.根据权利要求4所述的方法，其中所述经滤波结构光图像为分段地图图像。
6.根据权利要求1所述的方法，其进一步包括基于所述比较识别所述深度信息中的不正确深度值。
7.根据权利要求1所述的方法，其中处理所述图像数据以解码所述深度信息包括：
基于所述图像数据识别码字；及
确定所述码字从所述码字在所投射代码掩码中的位置到所述码字在所述结构光图像中的位置的位移，其中所述结构光图像对应于所述所投射代码掩码的反射；
及基于所述位移产生深度数据。
8.根据权利要求1所述的方法，其中执行所述一或多个滤波操作包括应用模糊滤波器、总变差滤波器、低通滤波器或其组合以对所述图像数据进行滤波，从而产生经滤波图像数据。
9.根据权利要求1所述的方法，其中所述比较对应于所述深度信息与所述经滤波图像数据之间的逐像素比较。
10.根据权利要求9所述的方法，其进一步包括基于所述比较识别包含于所述深度信息中的不正确深度值，其中修改包含校正包含所述深度信息于中的所述不正确深度值。
11.根据权利要求9所述的方法，其进一步包括基于所述比较识别与所述深度信息相关联的缺失深度值，其中修改包含填充待包含所述深度信息于中的所述缺失深度值。
12.根据权利要求1所述的方法，其进一步包括：
识别所述深度图的特定像素位置，其中所述特定像素位置对应于包含于所述深度信息中的不正确深度数据；及
基于所述经滤波图像数据确定所述经滤波图像数据的对应于所述特定像素位置的特定经滤波数据值，其中修改所述深度信息包含基于所述特定经滤波数据值修改所述不正确深度数据。
13.根据权利要求12所述的方法，其进一步包括：
基于所述特定像素位置选择与所述深度图相关联的区域，其中所述区域与包含所述特定像素位置的多个像素位置相关联；及
识别所述多个像素位置中的一或多个像素位置的集合，其中与所述一或多个像素位置的集合相关联的每一像素对应于所述经滤波图像数据的类似于所述特定经滤波数据值的经滤波数据值。
14.根据权利要求13所述的方法，其进一步包括：
基于对应于所述一或多个像素位置的集合的深度数据确定特定深度值；及
更新对应于所述特定像素位置的所述不正确深度数据，其中基于所述特定深度值更新所述不正确深度数据。
15.一种装置，其包括：
处理器，其经配置以处理对应于结构光图像的图像数据以基于所投射经译码光的图案解码深度信息及对所述图像数据执行滤波操作以产生经滤波图像数据，所述处理器经进一步配置以基于所述深度信息与所述经滤波图像数据之间的比较修改所述深度信息；和
存储器，其经配置以存储所述经修改深度信息。
16.根据权利要求15所述的装置，其中所述装置包含经配置以捕捉所述结构光图像及产生所述图像数据的相机。
17.根据权利要求15所述的装置，其中所述深度信息对应于与所述结构光图像相关联的深度图，且其中所述所投射经译码光的图案与代码掩码相关联。
18.根据权利要求15所述的装置，其中所述图像数据对应于多个像素，且其中对于所述多个像素中的每一像素，所述图像数据包含对应像素强度值。
19.根据权利要求18所述的装置，其中对于所述多个像素中的每一像素，所述深度信息包含对应深度值且所述经滤波图像数据包含对应强度值。
20.根据权利要求15所述的装置，其中所述处理器经进一步配置以执行所述深度信息与所述经滤波图像数据之间的所述比较，其中所述比较包含所述深度信息与所述经滤波图像数据之间的诸像素比较。
21.根据权利要求20所述的装置，其中所述处理器经进一步配置以基于所述比较识别不正确深度值、缺失深度值或其组合。
22.一种设备，其包括：
用于基于对应于结构光图像的图像数据及基于所投射经译码光的图案解码深度信息的装置；
用于对所述图像数据执行一或多个滤波操作以产生经滤波图像数据的装置；和
用于基于所述深度信息与所述经滤波图像数据之间的比较修改所述深度信息的装置。
23.根据权利要求22所述的设备，其进一步包括用于捕捉所述结构光图像的装置。
24.根据权利要求22所述的设备，其中所述深度信息经修改以校正所述深度信息的不正确深度数据，且其中所述不正确深度数据包含不正确深度值或缺失深度值。
25.一种非暂时性计算机可读媒体，其存储可由处理器执行以使所述处理器执行操作的指令，所述操作包括：
处理对应于结构光图像的图像数据以基于所投射经译码光的图案解码深度信息，其中所述深度信息对应于深度图；
对所述图像数据执行一或多个滤波操作以产生经滤波图像数据；及
基于所述深度信息与所述经滤波图像数据之间的比较修改所述深度信息。
26.根据权利要求25所述的非暂时性计算机可读媒体，其中从经配置以捕捉所述结构光图像的图像捕捉传感器接收所述图像数据。
27.根据权利要求25所述的非暂时性计算机可读媒体，其中执行所述一或多个滤波操作包括执行模糊滤波操作、总变差滤波操作或其组合。
28.根据权利要求25所述的非暂时性计算机可读媒体，其中所述指令可由所述处理器进一步执行以使所述处理器执行操作，所述操作包括基于所述比较识别包含于所述深度信息中的不正确深度值，其中修改包含校正包含于所述深度信息中的所述不正确深度值。
29.根据权利要求25所述的非暂时性计算机可读媒体，其中所述指令可由所述处理器进一步执行以使所述处理器执行操作，所述操作包括基于所述比较识别与所述深度信息相关联的缺失深度值，其中修改包含填充待包含于所述深度信息中的所述缺失深度值。
30.根据权利要求25所述的非暂时性计算机可读媒体，其中执行所述一或多个滤波操作包括执行低通滤波操作、带通滤波操作或其组合。
CN201580031591.1A 2014-06-19 2015-06-19 基于内容滤波的结构光三维(3d)深度图 Pending CN106462745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310452034.3A CN116437062A (zh) 2014-06-19 2015-06-19 基于内容滤波的结构光三维(3d)深度图

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462014652P 2014-06-19 2014-06-19
US62/014,652 2014-06-19
US14/743,980 US9582888B2 (en) 2014-06-19 2015-06-18 Structured light three-dimensional (3D) depth map based on content filtering
US14/743,980 2015-06-18
PCT/US2015/036681 WO2015196067A1 (en) 2014-06-19 2015-06-19 Structured light three-dimensional (3d) depth map based on content filtering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310452034.3A Division CN116437062A (zh) 2014-06-19 2015-06-19 基于内容滤波的结构光三维(3d)深度图

Publications (1)

Publication Number Publication Date
CN106462745A true CN106462745A (zh) 2017-02-22

Family

ID=54870112

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310452034.3A Pending CN116437062A (zh) 2014-06-19 2015-06-19 基于内容滤波的结构光三维(3d)深度图
CN201580031591.1A Pending CN106462745A (zh) 2014-06-19 2015-06-19 基于内容滤波的结构光三维(3d)深度图

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310452034.3A Pending CN116437062A (zh) 2014-06-19 2015-06-19 基于内容滤波的结构光三维(3d)深度图

Country Status (8)

Country Link
US (1) US9582888B2 (zh)
EP (1) EP3158732B1 (zh)
JP (2) JP6449341B2 (zh)
KR (1) KR101802106B1 (zh)
CN (2) CN116437062A (zh)
BR (1) BR112016029514A2 (zh)
MX (1) MX355938B (zh)
WO (1) WO2015196067A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392874A (zh) * 2017-07-31 2017-11-24 广东欧珀移动通信有限公司 美颜处理方法、装置及移动设备
CN108563084A (zh) * 2018-05-25 2018-09-21 深圳新亮智能技术有限公司 多结构光图案三维传感系统
CN110268222A (zh) * 2017-03-08 2019-09-20 欧姆龙株式会社 三维形状计测装置、三维形状计测方法及程序

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
US10169909B2 (en) * 2014-08-07 2019-01-01 Pixar Generating a volumetric projection for an object
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
JP6782239B2 (ja) * 2015-01-06 2020-11-11 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ パターン光を用いた深さマップを提供するための方法およびシステム
US20160366395A1 (en) * 2015-06-12 2016-12-15 Microsoft Technology Licensing, Llc Led surface emitting structured light
CN107771392B (zh) * 2015-06-30 2021-08-31 杜比实验室特许公司 用于高动态范围图像的实时内容自适应感知量化器
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
JP6752059B2 (ja) * 2016-06-01 2020-09-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
US10659764B2 (en) * 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10574947B2 (en) 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10616566B2 (en) * 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
US10192311B2 (en) 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10360693B2 (en) 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
US10885714B2 (en) * 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
US10521920B2 (en) * 2017-09-21 2019-12-31 Intel Corporation Reducing textured IR patterns in stereoscopic depth sensor imaging
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10755426B2 (en) 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
US11574433B2 (en) * 2019-03-19 2023-02-07 Hewlett-Packard Development Company, L.P. Emulating 3D textual patterns
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068319A1 (en) * 2003-09-29 2005-03-31 Samsung Electronics Co., Ltd. 3D graphics rendering engine for processing an invisible fragment and a method therefor
US20050104535A1 (en) * 2002-03-19 2005-05-19 Buthker Henricus C.J. Driver circuit for an electroluminescent lamp
US20070167837A1 (en) * 2005-12-07 2007-07-19 Seaboard Engineering Corp. (A New Jersey Corporation) Method and apparatus for three dimensional scanning in a visibly lit environment using structured light
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
US20090245614A1 (en) * 2008-03-25 2009-10-01 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US20100080448A1 (en) * 2007-04-03 2010-04-01 Wa James Tam Method and graphical user interface for modifying depth maps
US20110228104A1 (en) * 2010-03-22 2011-09-22 Steve Nelson Multi-Projector Display System Calibration
CN102246203A (zh) * 2008-12-19 2011-11-16 高通股份有限公司 选择性地组合图像的系统及方法
CN102693527A (zh) * 2011-02-28 2012-09-26 索尼公司 用于对图像执行模糊渲染处理的方法和装置
CN102737370A (zh) * 2011-04-02 2012-10-17 株式会社理光 检测图像前景的方法及设备
CN102831582A (zh) * 2012-07-27 2012-12-19 湖南大学 一种微软体感装置深度图像增强方法
CN102957937A (zh) * 2011-08-12 2013-03-06 奇景光电股份有限公司 处理三维立体影像的系统与方法
CN103383776A (zh) * 2013-07-14 2013-11-06 浙江大学 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法
US20130315501A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Design of code in affine-invariant spatial mask
WO2014043641A1 (en) * 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372656A (en) 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
JP2006509292A (ja) * 2002-12-05 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ セグメント化されたイメージから偽エッジを除去するための装置及び方法
WO2008062407A2 (en) 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US9182221B2 (en) 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
KR101332638B1 (ko) * 2012-02-10 2013-11-25 시모스 미디어텍(주) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104535A1 (en) * 2002-03-19 2005-05-19 Buthker Henricus C.J. Driver circuit for an electroluminescent lamp
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20050068319A1 (en) * 2003-09-29 2005-03-31 Samsung Electronics Co., Ltd. 3D graphics rendering engine for processing an invisible fragment and a method therefor
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
US20070167837A1 (en) * 2005-12-07 2007-07-19 Seaboard Engineering Corp. (A New Jersey Corporation) Method and apparatus for three dimensional scanning in a visibly lit environment using structured light
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
US20100080448A1 (en) * 2007-04-03 2010-04-01 Wa James Tam Method and graphical user interface for modifying depth maps
US20090245614A1 (en) * 2008-03-25 2009-10-01 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
CN102246203A (zh) * 2008-12-19 2011-11-16 高通股份有限公司 选择性地组合图像的系统及方法
US20110228104A1 (en) * 2010-03-22 2011-09-22 Steve Nelson Multi-Projector Display System Calibration
CN102693527A (zh) * 2011-02-28 2012-09-26 索尼公司 用于对图像执行模糊渲染处理的方法和装置
CN102737370A (zh) * 2011-04-02 2012-10-17 株式会社理光 检测图像前景的方法及设备
CN102957937A (zh) * 2011-08-12 2013-03-06 奇景光电股份有限公司 处理三维立体影像的系统与方法
US20130315501A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Design of code in affine-invariant spatial mask
CN102831582A (zh) * 2012-07-27 2012-12-19 湖南大学 一种微软体感装置深度图像增强方法
WO2014043641A1 (en) * 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN103383776A (zh) * 2013-07-14 2013-11-06 浙江大学 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RAMACHANDRA V ET AL: "《Structured light 3D depth map enhancement and gesture recognition using image content adaptive filtering》", 《PROCEEDINGS OF SPIE》 *
余永维等: "《磁瓦表面图像的自适应形态学滤波缺陷提取方法》", 《计算机辅助设计与图形学学报》 *
耿强: "《基于细节保存的图像深度脉冲噪声去除算法》", 《科学通报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110268222A (zh) * 2017-03-08 2019-09-20 欧姆龙株式会社 三维形状计测装置、三维形状计测方法及程序
CN110268222B (zh) * 2017-03-08 2021-02-09 欧姆龙株式会社 三维形状计测装置、三维形状计测方法及存储介质
US10997738B2 (en) 2017-03-08 2021-05-04 Omron Corporation Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program
CN107392874A (zh) * 2017-07-31 2017-11-24 广东欧珀移动通信有限公司 美颜处理方法、装置及移动设备
CN108563084A (zh) * 2018-05-25 2018-09-21 深圳新亮智能技术有限公司 多结构光图案三维传感系统

Also Published As

Publication number Publication date
EP3158732B1 (en) 2023-08-09
MX355938B (es) 2018-05-07
JP2017524909A (ja) 2017-08-31
BR112016029514A2 (pt) 2017-08-22
JP6766102B2 (ja) 2020-10-07
JP6449341B2 (ja) 2019-01-09
US9582888B2 (en) 2017-02-28
WO2015196067A1 (en) 2015-12-23
EP3158732C0 (en) 2023-08-09
MX2016016841A (es) 2017-07-28
CN116437062A (zh) 2023-07-14
KR101802106B1 (ko) 2017-11-27
EP3158732A1 (en) 2017-04-26
KR20170019374A (ko) 2017-02-21
US20150371393A1 (en) 2015-12-24
JP2018185862A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
CN106462745A (zh) 基于内容滤波的结构光三维(3d)深度图
US11106275B2 (en) Virtual 3D methods, systems and software
US10417786B2 (en) Markers in 3D data capture
US10223834B2 (en) System and method for immersive and interactive multimedia generation
US9829309B2 (en) Depth sensing method, device and system based on symbols array plane structured light
US9940717B2 (en) Method and system of geometric camera self-calibration quality assessment
US8619122B2 (en) Depth camera compatibility
CN108225216B (zh) 结构光系统标定方法及装置、结构光系统及移动设备
US8831336B2 (en) Method, system and computer program product for detecting an object in response to depth information
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN107209007A (zh) 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
US9355436B2 (en) Method, system and computer program product for enhancing a depth map
JP2013519089A (ja) デプスカメラの互換性
US20200293793A1 (en) Methods and systems for video surveillance
CN103778643A (zh) 一种实时生成目标深度信息的方法及其装置
JP2012221260A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
US11846500B2 (en) Three-dimensional depth measuring device and method
US20180006724A1 (en) Multi-transmitter vlc positioning system for rolling-shutter receivers
WO2022246383A1 (en) Direct scale level selection for multilevel feature tracking
CN106919246A (zh) 一种应用界面的显示方法和装置
CN202422153U (zh) 一种视频检测人体数量和位置及其移动的装置
CN109009216A (zh) 一种超声影像裸眼3d系统
KR20190005222A (ko) 가상 환경의 표현에서의 시선 방향을 조정하는 방법
EP4338129A1 (en) Depth-from- stereo bending correction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication