CN108474652B - 在结构化光系统中的深度映射产生 - Google Patents
在结构化光系统中的深度映射产生 Download PDFInfo
- Publication number
- CN108474652B CN108474652B CN201680075524.4A CN201680075524A CN108474652B CN 108474652 B CN108474652 B CN 108474652B CN 201680075524 A CN201680075524 A CN 201680075524A CN 108474652 B CN108474652 B CN 108474652B
- Authority
- CN
- China
- Prior art keywords
- optical
- receiver
- emitter
- structured light
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Communication System (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开用于在光学发射器相对于光学接收器倾斜的结构化光系统中的深度映射产生的技术。所述光学发射器具有结构化光围绕其扩散的发射器光轴,且所述光学接收器具有所述结构化光的反射可围绕其捕捉的接收器光轴。所述发射器光轴及所述接收器光轴彼此相交。处理电路补偿所述经反射图案中的所述倾斜的角度以产生所述深度映射。
Description
本申请案主张2016年1月4日申请的美国临时专利申请案第62/274,600号的权利,其全部内容特此以引用的方式并入本文中。
技术领域
本发明是关于深度映射产生,且更特定来说是关于结构化光主动感测系统中的深度映射产生。
背景技术
结构化光主动感测系统发射及接收对应于空间码(码字)的图案以产生用于场景的深度映射。当射出的空间码投影及经反射的入射空间码投影更加平行时,对象离发射器及接收器越远,所接收的空间码投影越接近于其在一或多个接收器处的原始位置。相反地,对象越接近于发射器及接收器,所接收的空间码投影距其在一或多个接收器处的原始位置越远。因此,所接收的与所发射的码字位置之间的差异指示场景中的对象的深度。结构化光主动感测系统使用此些相对深度以产生场景的深度映射或三维表示。
发明内容
本发明描述确定对象的深度映射的实例技术,其中发射结构化光到对象的发射器相对于从对象接收结构化光的反射的接收器成角。举例来说,发射器具有相对于结构化光沿其扩散的发射器光轴的视角,且接收器具有相对于经反射的结构化光沿其捕捉的接收器光轴的视角。在本发明所描述的实例中,归因于发射器相对于接收器成角,发射器光轴与接收器光轴相交。如更详细地描述,使发射器与接收器相对于彼此成角可允许更接近的视场且允许更容易的设计。
在一个实例中,本发明描述一种图像处理的方法,所述方法包括:用光学发射器发射结构化光,所述光学发射器具有相对于发射器光轴的第一视角;用光学接收器接收结构化光的反射,所述光学接收器具有相对于接收器光轴的第二视角,其中所述光学发射器相对于所述光学接收器成角以使得发射器光轴与接收器光轴相交,且其中光学发射器相对于光学接收器的位置恒定;及基于所接收的结构化光的反射产生一或多个图像的深度映射。
在一个实例中,本发明描述一种用于图像处理的装置,所述装置包括:光学发射器,其经配置以发射结构化光,所述光学发射器具有相对于发射器光轴的第一视角;光学接收器,其经配置以接收结构化光的反射,所述接收器具有相对于接收器光轴的第二视角,其中光学发射器相对于光学接收器成角以使得发射器光轴与接收器光轴相交,且其中光学发射器相对于光学接收器的位置恒定;及处理电路,其经配置以基于所接收的结构化光的反射产生一或多个图像的深度映射。
在一个实例中,本发明描述一种计算机可读存储媒体,其包含存储于其上的指令,所述指令在经执行时使用于图像处理的装置的一个或多个处理器进行以下操作:使光学发射器发射结构化光,所述光学发射器具有相对于发射器光轴的第一视角;及基于所接收的结构化光的反射产生一或多个图像的深度映射,其中用光学接收器接收所接收的反射,所述光学接收器具有相对于接收器光轴的第二视角,其中所述光学发射器相对于光学接收器成角以使得发射器光轴与接收器光轴相交,且其中光学发射器相对于光学接收器的位置为恒定的。
在一个实例中,本发明描述一种用于图像处理的装置,所述装置包括:用于发射结构化光的装置,所述用于发射的装置具有相对于发射器光轴的第一视角;用于接收结构化光的反射的装置,所述用于接收的装置具有相对于接收器光轴的第二视角,其中所述用于发射的装置相对于所述用于接收的装置成角以使得发射器光轴与接收器光轴相交,且其中所述用于发射的装置的位置相对于所述用于接收的装置恒定;及用于基于所接收的结构化光的反射产生一或多个图像的深度映射的装置。
在以下附图及描述中阐述一或多个实例的细节。其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1A及1B为说明用于产生深度映射的发射器场及接收器场的实例的概念图。
图2为经配置以执行本发明中所描述的一或多种实例技术的用于图像处理的装置的框图。
图3为用于执行本发明中所描述的一或多种实例技术的图像处理方法的流程图。
图4为更详细地说明图2的发射器装置及接收器装置的框图。
图5为说明近视场及远视场的起始随横偏而变化的曲线图。
图6A及6B为说明近距视场重叠的增加的曲线图。
图7A及7B为说明近距视场重叠的增加随横偏及距离而变化的曲线图。
图8为说明图案失真的图。
具体实施方式
为产生用户感知的涵盖三维空间的立体图像,装置在待呈现的图像中产生场景或对象的深度映射。产生深度映射的一种方法在也称作边缘化主动立体声系统的结构化光系统中。在结构化光系统中,发射器装置将已知图案或码投影于场景上且接收器装置接收图案或码以获得深度映射。举例来说,发射器装置将包含图案或码的结构化光发射到场景或对象上,且接收器装置从所述场景或对象接收结构化光的反射。接收器装置将所接收的图案或码与已知图案或码的列表进行比较以确认所接收的图案或码有效。
接着,基于接收器接收图案或码的位置,接收器装置可确定场景或对象距接收器的距离的估计。基于所确定的距离,接收器装置产生深度映射。处理电路(其可为可编程及/或固定功能处理电路)可接着使用所产生的深度映射以产生一或多个图像的图形数据(例如,图形处理电路(GPU)使用深度映射以产生立体图像)。
发射器装置包含发射结构化光的光学发射器且接收器装置包含接收结构化光的光学接收器。光学发射器及光学接收器分隔距离(B)。光学发射器发射结构化光,其中结构化光涵盖投影场。举例来说,光学发射器具有相对于发射器光轴的视角。发射器光轴为从光学发射器外向延伸的线且视角定义结构化光跨越其扩散的区域。
类似地,光学接收器具有相对于接收器光轴的视角。接收器光轴为从光学接收器外向延伸的线且视角定义光学接收器跨越其能够捕捉结构化光的反射的区域。
由于光学发射器及光学接收器分隔距离B,所以结构化光在其上方扩散的区域与光学接收器可在其上方捕捉光的区域不同。此产生结构化光并未到达的区域或无法捕捉结构化光的反射的区域。发射器及接收器的视角也影响投影场及捕捉场。因此,光学发射器及光学接收器各自具有各别视场(例如,发射器的投影场及接收器的捕捉场),且视场重叠定义投影场与捕捉场重叠多少。
设计结构化光系统以产生深度映射是复杂的,这是因为可需要非常谨慎来选择组件,这是由于每一组件的特征会与其它组件的其它特征相互作用从而引起对组件的谨慎平衡。举例来说,斑点噪声容限设定孔径大小的下限,其中接收器的孔径大小定义经由其捕捉光的开口且发射器的孔径大小定义经由其投影光的开口。接收器及发射器的孔径大小可不同,但所述技术并非如此受限。
场深度(DoF)定义聚焦范围并设定F-数上限,其为透镜的焦距(例如,光从透镜会聚的点)与孔径的直径的比率。F-数因此设定焦距下限,且焦距设定视场上限。发射器与接收器之间的基线距离(B)设定系统精确性上限,且所述基线减少视场重叠。
视场重叠设定近视场。近视场(例如,对象可在视场重叠以内的接近程度)尤其受所有此些实例特征影响。
在一些情况下,具有相对接近的近视场可为合乎需要的。举例来说,如果装置为移动装置,那么用户可需要产生相对接近于移动装置的对象的深度映射。然而,作为一些实例,由于如上文所描述设定视场与孔径大小、焦距及斑点噪声容限相关,为达成相对接近于移动装置的近视场,可需要对产生深度映射所需的光学组件的极其精确的选择。
本发明所描述的所述技术提供具有相对接近于光学发射器和光学接收器的近视场而不限制对用于产生深度映射的光学组件的选择的方式。在本发明所描述的所述技术的情况下,对于广泛多种光学组件及结构化光系统来说,从特定组件解耦近视场的设定,从而允许设定用于深度映射产生的近视场。
在本发明所描述的实例中,光学发射器相对于光学接收器倾斜或成角。举例来说,光学发射器与光学接收器之间存在倾斜角,而非将光学发射器及光学接收器定向于同一方向(例如,面向同一方向)。与光学发射器及光学接收器定向于同一方向的情况相比,光学发射器与光学接收器之间的倾斜角导致投影场倾斜且与更接近于装置的捕捉场相交。举例来说,如果将光学发射器及光学接收器定向于同一方向,那么发射器光轴与接收器光轴将为平行的。在本发明所描述的实例中,发射器相对于接收器的倾斜导致发射器光轴与接收器光轴并不平行但相交。
在光学发射器相对于光学接收器成角的实例中,接收器装置可捕捉结构化光的反射。接收器装置基于所捕捉的经反射结构化光确定深度映射。然而,在此情况下,接收器装置可需要补偿确定深度映射时的倾斜角。举例来说,接收器装置可基于光学发射器相对于光学接收器的倾斜角及光学接收器的焦距来缩放结构化光的所接收反射中的每一元素的位置。接收器装置可基于以下各者产生深度映射:结构化光的所接收反射中的每一元素的经缩放位置、结构化光中对应于结构化光的所接收反射中的各别元素的每一元素、光学接收器的焦距及光学发射器与光学接收器之间的距离(例如基线距离)。
因此,在本发明所描述的实例中,有意地使投影仪(即,光学发射器)倾斜或成角以增加近视场。光学发射器的倾斜或成角产生光学发射器的“横偏”,且所述技术修改计算以适应已知横偏。如更详细地描述,横偏也导致使经反射的图案或码失真。然而,在一些情况下,接收器装置可不需要补偿横偏来确认经反射图案或码为有效图案或码。
图1A及1B为说明用于产生深度映射的发射器场及接收器场的实例的概念图。图1A及1B说明包含经耦合到光学发射器16的发射器装置14及经耦合到光学接收器20的接收器装置18的装置10。装置10的实例包含:台式计算机、膝上型计算机、平板计算机、无线通信装置、电话、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频游戏控制台或视频流式发射装置。
发射器装置14及接收器装置18的实例包含微处理器、集成电路、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。一般来说,发射器装置14及接收器装置18包含处理电路,所述处理电路包含可编程电路。光学发射器16的实例包含激光,且光学接收器20的实例包含一或多个光学传感器。在一些实例中,激光输出呈红外线光谱的光(即,深度映射)且传感器接收呈红外线光谱的光(即,深度映射)。
虽然将光学发射器16说明为发射器装置14的部分且将光学接收器20说明为接收器装置18的部分,但本发明所描述的所述技术并不如此受限。在一些实例中,发射器装置14及接收器装置18可不包含光学发射器16及光学接收器20中的各别一者。在一些实例中,发射器装置14及接收器装置18可连同形成系统芯片(SoC)的其它处理电路一起形成于同一集成电路中。
发射器装置14可经配置以使光学发射器16发射包含图案或码字的结构化光。举例来说,发射器装置14可包含存储用于深度映射产生的图案或码字的局部存储器。发射器装置14的处理电路检索图案或码字且使光学发射器16发射图案或码字。作为由光学接收器20进行的图案或码字反射,图案或码字从对象反射且经由透镜或孔径接收。
在光学接收器20上的不同位置处捕捉图案或码字的反射。举例来说,假定第一对象与装置10相距第一距离,且第二对象与装置10相距第二距离。在此实例中,从第一对象反射出的图案或码字将显现在光学接收器20上的第一位置处且从第二对象反射出的图案或码字将显现在光学接收器20上的第二位置处。在此实例中,第一位置与第二位置之间的视差(例如,第一位置及第二位置的位置差异)指示第一及第二对象彼此的相对深度,且第一位置及第二位置的位置指示第一及第二对象的绝对深度。
在一些实例中,对象距光学发射器16及光学接收器20越远,所接收的经投影图案或码字与其在光学接收器20处的原始位置越接近(例如,射出的投影与入射的投影更加平行)。相反地,对象与光学发射器16及光学接收器20越接近,所接收的经投影图案或码字距其在光学接收器20处的原始位置越远。因此,可将所接收的及所发射的码字位置之间的差用作对象的深度的指标。在一个实例中,此深度(例如,相对深度)可提供由图像中的每一像素或成群像素(例如,两个或多于两个像素的区域)所示的对象的深度值。
可将图案或码字视为包含多个元素,其中结构化光中的元素共同形成图案或码字。结构化光中的每一元素在发射时位于特定位置处且接着位于光学接收器20上的特定位置处。接收器装置18可包含存储用于深度映射产生的图案或码字的局部存储器。接收器装置18的处理电路将所接收的图案或码字的元素与存储于局部存储器中的那些进行比较以确认所接收的图案或码字为有效图案或码字并确定深度映射。
举例来说,且结构化光中的元素如所确定位于特定位置处且接收于经反射结构化光中的元素位于特定位置处。接收器装置18内的处理电路接着确定所发射的结构化光及所接收的经反射结构化光中的每一元素的位置之间的视差(例如,差异),且基于所述视差确定深度映射。
光学发射器16沿光轴22A发射结构化光,其进行扩散以产生投影场。举例来说,光轴22A垂直于光学发射器16外向延伸且结构化光沿相对于光轴22A的视角17扩散。光学接收器20类似地包含围绕光轴24沿视角19扩散的捕捉场。作为一个实例,视角17为60°且视角19为53°,但能考虑其它角度。
如图1A中所说明,投影场与捕捉场相交且其中投影场及捕捉场重叠设定视场重叠。如果对象在视场重叠中,那么所述对象接收结构化光且光学接收器20接收经反射的结构化光。如果对象在视场重叠外,那么由于所述对象仅在捕捉场中且并不在投影场中,所以所述对象并不接收结构化光;或由于所述对象仅在投影场中,所以光学接收器20并不接收经反射的结构化光。
在一些情况下,对象可既不在投影场中也不在捕捉场中。举例来说,如果对象比近视场更接近,那么所述对象可既不在投影场也不在捕捉场中。如图1A中所说明,投影场与捕捉场在与装置10相距距离12A的点处相交。距离12A可定义近视场。在此情况下,可不捕捉比距离12A更接近且在光学发射器16与光学接收器20之间的对象。
然而,装置10的用户可发现需要确定图像的深度映射,其中对象比距离12A更接近。如上文所描述,设计装置10以使得近视场比距离12A更接近可需要大量测试及特定数目的组件选项,这是因为光学发射器16及光学接收器20的各种特征会彼此相互作用,从而限制可用以产生具有所需近视场的结构化光系统且也对远视场具有最小影响的可用组件的数目。
如图1B中所说明,光学发射器16相对于光学接收器20倾斜或成角。举例来说,光学发射器16及光学接收器20并未定向于同一方向中(例如,并非面向同一方向)。虽然将光学发射器16说明为相对于光学接收器20倾斜,但一般来说,光学发射器16或光学接收器20中的一者与装置10的一面平行,且光学发射器16或光学接收器20中的另一者相对于装置10的所述面倾斜。举例来说,光学发射器及光学接收器20两者可在装置10的背面上,其中前面包含用户与其交互的接口。光学接收器20可与装置10的背面平行,且光学发射器16可相对于装置10的背面倾斜,如图1B中所说明。然而,在一些实例中,光学发射器16可与装置10的背面平行,且光学接收器20可相对于装置10的背面倾斜。在此些实例中,可将光学发射器16视为相对于光学接收器20倾斜(成角)。
光学接收器20及光学发射器16两者相对于装置10的背面成角可是有可能的。对于此类实例来说,由于光学发射器16及光学接收器20并不面向某一方向及/或各别光轴相交,所以光学发射器16可相对于光学接收器20倾斜。
类似于图1A,光学发射器16沿光轴22B发射在视角17处扩散的结构化光。光轴22B垂直于光学发射器16,如同图1A中的光轴22A。然而,不同于光轴22A与光轴24平行的图1A,在图1B中,光学接收器20的光轴22B与光轴24彼此相交。因此,在图1B中,光学发射器16相对于光学接收器20成角以使得发射器光轴22B与接收器光轴24相交。由倾斜角46(例如,由交叉形成的角)定义光学发射器16相对于光学接收器20的倾斜角。倾斜角46可为大约1°到2°,但能考虑其它角度。
在图1B中,投影场与捕捉场在与装置10相距距离12B的点34处相交。距离12B小于距离12A,且因此,通过使光学发射器16倾斜(成角),本发明所描述的所述技术可使近视场更接近于装置10而无需依赖于特定组件且允许使用广泛多种光学组件类型。
然而,倾斜光学发射器16导致产生深度映射的额外计算。举例来说,经反射图案或码字将显现于图1B中所说明的实例中的光学接收器20上的位置不同于经反射图案或码字将显现于图1A中所说明的实例中的光学接收器20上的位置。因此,接收器装置18可基于倾斜角46及光学接收器20的焦距来缩放结构化光的所接收反射中的每一元素的位置,如更详细地描述。
此外,光学发射器16与光学接收器20之间的倾斜会引起经反射图案或码字的失真。举例来说,图1B中的光学接收器20接收的经反射图案可相对于图1A中的光学接收器20接收的经反射图案倾斜。
如上文所描述,光学接收器20将经反射图案与已知图案进行比较以确认经反射图案为有效的。由于经反射图案倾斜,在重建图案或码字时可能存在一些误差。在一些实例中,可使倾斜最小且因此误差最少而无需校正动作。在一些实例中,光学接收器20可补偿倾斜。在一些实例中,存储于接收器装置18的局部存储器中的图案或码字基于倾斜角46倾斜,且因此,接收器装置18可能够无误差地重构图案或码字。
投影场由图1B中的线28及32定义且捕捉场由图1B中的线26及30定义。线28的方程式为z4=-x4cot(φ1/2-γ),且线32的方程式为z3=x3cot(φ1/2+γ)。线26的方程式为z2=-(x2-B)cot(φ2/2),且线30的方程式为z1=(x1-B)cot(φ2/2)。在以上方程式中,φ1为视角17,φ2为视角19,γ为倾斜角46(也称作横偏),且B为光学发射器16与光学接收器20之间的距离。在所述方程式中,x1、x2、x3及x4表示沿各别线的坐标值,z1、z2、z3及z4从所述坐标值确定。
x1、x2、x3及x4在设定视场重叠时可见。举例来说,在点34处,投影场及捕捉场首次相交。从点34到点38,由线26及32定义视场重叠,其可表示为x3到x2,如通过线40所说明。从点38到点36,由线26及30定义视场重叠,其可表示为x1到x2,如通过线42所说明。从点36及以上,由线28及30定义视场重叠,其可表示为x1到x4,如通过线44所说明。
点34的位置为B/(tan(φ1/2+γ)+tan(φ2/2))(tan(φ1/2+γ),1)。点38的位置为B/(tan(φ1/2+γ)-tan(φ2/2))(tan(φ1/2+γ),1)。点36的位置为B/(tan(φ2/2)-tan(φ1/2-γ))(-tan(φ1/2-γ),1)。
如图1A及1B中所说明,距离12B小于距离12A。因此,通过使光学发射器16相对于光学接收器20倾斜,可采用横偏以减少近视场的位置(例如,使近视场更接近于装置10)。
如上文所描述,在实例技术中,接收器装置18可需要补偿横偏以确定深度映射。举例来说,接收器装置18的处理电路可基于倾斜角γ及光学接收器20的焦距缩放结构化光的所接收反射中的每一元素的位置。处理电路可接着基于以下各者产生深度映射:结构化光的所接收反射中的每一元素的经缩放位置、结构化光中对应于结构化光的所接收反射中的各别元素的每一元素、光学接收器20的焦距及光学发射器16与光学接收器20之间的基线距离(B)。
作为一实例,处理电路可实施以下方程式:
Z=fB/(xT-f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ)))。
在所述方程式中,Z为深度映射,f为光学接收器20的焦距,B为光学发射器16与光学接收器20之间的距离,xT为所发射的结构化光中的元素的位置且xR为结构化光的所接收反射中的对应元素的位置。举例来说,xT及xR为同一元素的位置,但xT为发射时的位置且xR为结构化光的所接收反射中的位置。
接收器装置18的处理电路可实施所述方程式以确定每一元素的深度值(Z)。举例来说,可将f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ))视为处理单元用以缩放结构化光的所接收反射中的每一元素的位置(例如,xR)的方程式。基于倾斜角γ及焦距f执行缩放。此外,在所述方程式中,从以下各者产生深度映射:结构化光的所接收反射中的每一元素的经缩放位置(例如,xR)、结构化光中对应于结构化光的所接收反射中的各别元素(例如,xR)的每一元素(例如,xT)、光学接收器20的焦距(例如,f)及光学发射器16与光学接收器20之间的距离(例如,基线距离B)。
本发明描述有意地使光学发射器16倾斜以增加近视场且修改正视差计算以适应已知横偏。在本发明所描述的所述技术的情况下,可存在5%的适用深度映射大小增益且可从深度映射产生的执行解耦系统组件(例如,允许光学组件的诸多选择)。举例来说,与图1A的光学发射器16并不相对于光学接收器20成角且发射器光轴并不与接收器光轴相交的实例相比,由光学发射器16及光学接收器20产生的近场FOV更接近于包含光学发射器16及光学接收器20的装置10。
也如上文所描述,光学发射器16的倾斜引起结构化映射的所接收反射的失真以用于图案检测或码字检测的目的。在一些实例中,以栅格检测算法处理投影失真,其意味着可不需要用以补偿光学发射器16的倾斜的额外校正动作。举例来说,如上文所描述,接收器装置18存储的码字可已经基于已知倾斜角倾斜,且因此当接收器装置18的处理电路执行栅格检测以确定码字时,处理电路无需执行用以补偿光学发射器16的倾斜的额外校正动作。
图2为经配置以执行本发明中所描述的一或多个实例技术的用于图像处理的装置的框图。图2更详细说明装置10。如上文所描述,装置10的实例包含:个人计算机、台式计算机、膝上型计算机、计算机工作站、视频游戏平台或控制台、无线通信装置(例如,移动电话、蜂窝式电话、台式计算机、卫星电话及/或移动电话手持机)、固定电话、因特网电话、手持式装置(例如,便携式视频游戏装置或个人数字助理(PDA))、个人音乐播放器、视频播放器、显示装置、相机、电视、电视机顶盒、服务器、中间网络装置、大型计算机或处理及/或显示图形数据的任何其它类型的装置。
如图2的实例中所说明,装置10包含:包含光学发射器16的发射器装置14、包含光学接收器20的接收器装置18、中央处理电路(CPU)45、图形处理电路(GPU)48及GPU48的局部存储器50、用户接口52、提供对系统存储器60的存取的存储器控制器54及输出使图形数据显示于显示器58上的信号的显示接口56。
发射器装置14及接收器装置18类似于上文关于图1A及1B所描述的那些且不进一步描述。然而,在一些实例中,接收器装置18也可充当用于装置10的相机,且在此类实例中,接收器装置18可用于深度映射产生及用于捕捉摄影图像,或装置10可包含单独的相机以捕捉摄影图像。在本发明中,将接收器装置18描述为用于产生深度映射及捕捉摄影图像两者。接收器装置18的处理电路也可充当相机处理器。
此外,虽然将各种组件说明为单独的组件,但在一些实例中,可组合所述组件以形成系统芯片(SoC)。作为一实例,接收器装置18的处理电路可由CPU 45、GPU 48及显示接口56中的一或多者形成。在此些实例中,可从接收器装置18分离光学接收器20。另外,提供上文关于产生深度映射的接收器装置18的处理电路所描述的实例仅为易于理解。在一些实例中,CPU 45、GPU 48或一些其它装置可经配置以执行上文所描述的用于接收器装置18的处理电路的实例。
图2中所说明的各种组件可形成于一或多种微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它等效集成或离散逻辑电路中。此外,发射器装置14及接收器装置18可包含用于存储例如图案或码字的数据的局部存储器。此局部存储器的实例包含一或多种易失性或非易失性存储器或存储装置,例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器、磁性数据媒体或光学存储媒体。
图2中所说明的各种单元使用总线62彼此通信。总线62可为各种总线结构中的任一者,例如第三代总线(例如,超发射总线或InfiniBand总线)、第二代总线(例如,高级图形端口总线、周边组件互连(PCI)高速总线或高级可扩展接口(AXI)总线)或另一类型的总线或装置互连件。应注意,图2中所展示的不同组件之间的总线及通信接口的特定配置仅为示范性的,且计算装置的其它配置及/或具有相同或不同组件的其它图像处理系统可用以实施本发明的技术。
CPU 45可包括控制装置10的操作的通用或专用处理器。用户可提供输入到计算装置10以使CPU 45执行一或多个软件应用程序。在CPU 45上执行的软件应用程序可包含(例如)操作系统、文书处理器应用程序、电子邮件应用程序、总分析表应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户接口应用程序或另一程序。用户可经由一或多个输入装置(未图示)提供输入到计算装置10,所述一或多个输入装置例如键盘、鼠标、麦克风、触控板或经由用户接口52耦合到计算装置10的另一输入装置。
作为一个实例,用户可执行产生用于立体图像的图形数据的应用程序。应用程序可使用由光学接收器20所捕捉的图像。在此些实例中,发射器装置14及接收器装置18可一同执行本发明中所描述的实例技术以产生深度映射。在CPU 45上执行的应用程序可使用深度映射及所捕捉的图像。
举例来说,CPU 45可将指令及数据发射到GPU 48以呈现图形图像。在此些实例中,在CPU 45上执行的应用程序可将指令、深度映射及其它数据发射到GPU 48,从而指示GPU48产生立体图像。举例来说,GPU 48包含多个平行管线,所述管线为固定功能电路及可编程电路的组合,且GPU 48经由平行管线处理像素以产生立体图像。
存储器控制器54促进将数据传送进入到及离开系统存储器60。举例来说,存储器控制器54可接收存储器读取及写入命令,且为关于存储器60的此类命令提供服务以便提供用于计算装置10中的组件的存储器服务。存储器控制器54通信地耦合到系统存储器60。虽然在图2的实例计算装置10中将存储器控制器54说明为从CPU 45及系统存储器60两者分离的处理模块,但在其它实例中,可将存储器控制器54的功能中的一些或全部实施于CPU 45及系统存储器60中的一者或两者上。
系统存储器60可存储通过发射器装置14、接收器装置18、CPU 45及GPU 48可存取的程序模块及/或指令及/或数据。举例来说,系统存储器60可存储用户应用程序及与所述应用程序相关联的图形数据。系统存储器60可额外地存储供计算装置10的其它组件使用及/或由计算装置10的其它组件所产生的信息。举例来说,系统存储器60可充当用于发射器装置14及接收器装置18的装置存储器(例如,用于接收器装置18的相机处理器的装置存储器)。系统存储器60可包含一或多种易失性或非易失性存储器或存储装置,例如,随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器、磁性数据媒体或光学存储媒体。
在一些方面中,系统存储器60可包含指令,所述指令使发射器装置14、接收器装置18、CPU 45、GPU 48及显示接口56执行在本发明中归于发射器装置14、接收器装置18、CPU45、GPU 48及显示接口56的功能。因此,系统存储器60可为其上存储有指令的计算机可读存储媒体,所述指令在经执行时使一或多个处理器(例如,发射器装置14及/或接收器装置18及CPU 45、GPU 48及显示接口56的处理电路)执行各种功能。
在一些实例中,系统存储器60为非暂时性存储媒体。术语“非暂时性”指示存储媒体并不以载波或传播信号体现。然而,术语“非暂时性”不应解释成意味着系统存储器60为不可移动的或其内容为静态的。作为一个实例,可从装置10去除系统存储器60,并将其移动到另一装置。作为另一实例,可将大体上类似于系统存储器60的存储器插入到装置10中。在某些实例中,非暂时性存储媒体可存储可随时间变化的数据(例如,在RAM中)。
接收器装置18、CPU 45及GPU 48可存储分配于系统存储器60内的各别缓冲器中的深度映射、图像数据、所呈现图像数据及其类似者。显示接口56可从系统存储器60检索数据且配置显示器58以显示由所呈现图像数据所表示的图像。在一些实例中,显示接口56可包含经配置以将从系统存储器60检索的数字值转换成显示器58可消耗的模拟信号的数字/模拟转换器(DAC)。在其它实例中,显示接口56可将数字值直接传递到显示器58以供处理。
显示器58可包含:监视器、电视、投影装置、液晶显示器(LCD)、等离子体显示面板、发光二极管(LED)阵列、阴极射线管(CRT)显示器、电子纸、表面传导电子发射显示器(SED)、激光电视显示器、纳米晶体显示器或另一类型的显示单元。显示器58可集成于计算装置10内。举例来说,显示器58可为移动电话手持机或平板计算机的屏幕。可替代地,显示器58可为经由有线或无线通信链路耦合到计算装置10的独立装置。举例来说,显示器58可为经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。
图3为用于执行本发明中所描述的一或多种实例技术的图像处理方法的流程图。图像处理可用于产生对象的深度映射,所述图像处理可接着用以产生为观看者提供深度感知的立体图像。
如所说明,发射器装置14可经由光学发射器16发射结构化光,光学发射器16具有(例如,定义)相对于发射器光轴22B的第一视角17(70)。发射结构化光可包含经由结构化光发射图案。接收器装置18可经由光学接收器20接收结构化光的反射,光学接收器20具有(例如,定义)相对于接收器光轴24的第二视角19(72)。接收结构化光的反射可包含经由反射接收失真图案。
接收器装置18可经由接收器装置18的处理电路基于结构化光的所接收反射产生一或多个图像的深度映射(74)。举例来说,接收器装置18的处理电路可针对Z执行方程式的操作,其中Z=fB/(xT-f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ)))。接收器装置18的处理电路可执行方程式的操作以确定每一所接收元素的深度值(Z)。如上文所描述,用于Z的方程式表示用以补偿倾斜角的缩放。基于倾斜角γ及焦距f执行缩放。此外,在所述方程式中,从以下各者产生深度映射:结构化光的所接收反射中的每一元素的经缩放位置(例如,xR)、结构化光中对应于结构化光的所接收反射中的各别元素(例如,xR)的每一元素(例如,xT)、光学接收器20的焦距(例如,f),及光学发射器16与光学接收器20之间的距离(例如,基线距离B)。
GPU 48可基于所产生的深度映射产生一或多个图像的图形数据(76)。举例来说,深度映射指示对象距装置10的相对距离。GPU 48可产生第一图像及第二图像,其中所述第一图像及所述第二图像包含大体上类似的内容。然而,内容之间存在水平视差。作为一个实例,GPU 48可确定水平视差的量以添加到第一及第二图像中的对象,以使得当观看者一起观看第一及第二图像两者时,观看者在用深度映射指示的距离处感知到所述对象。
举例来说,根据测试及基于显示器58的大小,制造者可确定观看者针对第一与第二图像之间的给定视差感知对象的距装置10的距离。基于图像的视差之间的关系及观看者感知图像的距离,制造者或计算机模型可提取视差与深度之间的关系(例如,距装置10的距离)。GPU 48或装置10的一些其它单元可存储此关系信息,并基于经由实例技术所确定的深度映射确定两个图像中的对象的视差,且GPU 48呈现图像以具有对象的所确定视差。
作为另一实例,GPU 48或装置10的一些其它单元可存储将第一及第二图像中的对象之间的视差与深度相关联的查找表。基于来自深度映射及查找表的所确定深度,GPU48或一些其它单元确定第一及第二图像中的对象之间的视差(例如,第一及第二图像中的对象的位置)。GPU 48基于第一及第二图像中的对象的所确定位置呈现所述图像以具有对象中的所确定视差。
先前实例提供两种实例算法以基于所产生的深度映射产生一或多个图像的图形数据。然而,其它实例技术为可能的且不应将所述实例视为受限于以上实例。
在一些实例中,接收器装置18可在不补偿光学发射器16相对于光学接收器20的倾斜角γ的情况下确定所接收的失真图案是否对应于所发射的图案。接收器装置18可确定光学接收器20接收失真图案的位置,且基于光学接收器20接收失真图案的位置及光学发射器16相对于光学接收器20的倾斜角γ产生深度映射。
在一些实例中,为产生深度映射,接收器装置18可基于光学发射器16相对于光学接收器20的倾斜角γ及光学接收器20的焦距(f)来缩放结构化光的所接收反射中的每一元素的位置。接收器装置18可基于以下各者产生深度映射:结构化光的所接收反射中的每一元素的经缩放位置、结构化光中对应于结构化光的所接收反射中的各别元素的每一元素、光学接收器20的焦距,及光学发射器16及光学接收器20之间的距离(例如,基线距离B)。
图4为更详细地说明图2的发射器装置及接收器装置的框图。图4说明光学发射器16的两个位置。在虚线中,光学发射器16并未倾斜且其发射器光轴与光学接收器20的接收器光轴平行(例如,类似于图1A)。在实线中,光学发射器16倾斜且其发射器光轴与光学接收器20的接收器光轴相交(例如,类似于图1B)。
图4还说明对象78及对象80,其为光学发射器16发射的结构化光从其反射到光学接收器20的每一对象。在所述实例技术中,TX处理电路82可从存储器86接收码字且使光学发射器16发射具有所述码字的结构化光。此结构化光将经对象78及对象80反射到光学接收器20上。RX处理电路84可将所接收的结构化光转换成码字,且将经转换的码字与存储于存储器88中的码字进行比较以确认所接收的光实际上包含经辨识的码字且不为环境光。对于结构化光,RX处理电路84还可确定在光学接收器20上的何处捕捉结构化光的码字,且基于所接收的码字的位置确定对象78及对象80的深度。
在描述所述操作以确定深度之前,下文提供对可经执行的倾斜及补偿的额外解释。在图4中,将虚线说明为通过光学发射器16的未倾斜实例输出(虚线形式),其接着从对象78反弹,并反射到光学接收器20的约中部。此外,将一条实线说明为通过光学发射器16的倾斜形式输出(实线形式),其接着从对象78反弹,并反射到靠近光学接收器20的末端。
如所说明,相较于针对光学发射器16的未倾斜形式,针对光学发射器16的倾斜形式,结构化光反射于光学接收器20上的位置不同。因此,在未补偿的情况下,RX处理电路84可针对光学发射器16的倾斜形式及光学发射器16的未倾斜形式确定对象78的不同深度。因此,出于确定深度映射的目的,RX处理电路84可执行横偏补偿(例如,Z=fB/(xT-f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ)))),如上文所描述。
参考用于确定各别深度的实例算法,如所说明,说明为通过倾斜光学发射器16发射的第一实线以远离光学接收器20的左边缘的距离d1从对象78反射到光学接收器20上。说明为通过倾斜光学发射器16发射的第二实线以远离光学接收器20的左边缘的距离d2从对象80反射到光学接收器20上。RX处理电路84可分别基于距离d1及距离d2确定对象78及对象80的深度。举例来说,更接近于装置10的对象趋于相比距装置10更远的对象从光学接收器20的边缘更远地反射。如所说明,对象80比对象78更远。因此,相较于与对象80的反射的距离d2,与对象78的反射的距离d1距光学接收器20的边缘更远。
在一或多个实例技术中,光学发射器16的位置相对于接收器装置18恒定(例如,其各别位置固定且并不相对于彼此移动)。光学发射器16可相对于光学接收器20固定在恒定位置中,而非使光学发射器16输出对象上的呈扫描图案的光学信号并使光学接收器20接收此扫描图案。发射器光轴与接收器光轴可始终相交在同一点处,以使得在产生深度映射期间角γ并不改变。
此外,用光学发射器16发射的结构化光在通过RX处理电路84进行的整个深度映射产生期间可是相同的。TX处理电路82可输出具有特定图案的结构化光,且从所述图案的反射,RX处理电路84可产生深度映射。可存在一种经发射及经接收的结构化光图案,且从此一种结构化光图案,RX处理电路84可确定深度映射。
图5为说明近视场及远视场的起始随横偏而变化的曲线图。在图5中,底线说明近视场重叠的距离在何处随倾斜角γ而变化,且顶线说明远视场重叠的距离在何处随倾斜角γ而变化。
如图5中的底线所说明,随着倾斜角γ增加,近视场变得更接近于装置10,但远视场也变得越发接近。举例来说,返回参看图1B,随着倾斜角γ增加,点34越发接近于装置10(例如,距离12B减小)。然而,如通过图5中的顶线所指示,倾斜角γ的增加也使远场移动为更接近于装置10。举例来说,返回参看图1B,随着倾斜角γ增加,点36向下移动线26且更接近于装置10。因此,在基于近场及远场应在何处的设计设定倾斜角γ的大小时要进行平衡。
图6A及6B为说明近距视场重叠的增加的曲线图。图6A及6B说明不同横偏角γ的视场的水平重叠。顶线90用于2°的横偏角、接着线92用于1.5°的角、接着线94用于1°的角、接着线96用于0.5°且接着线98用于0°。图6B为图6A的缩放版本,其展示不同横偏角γ的间隔。举例来说,图6B中的线100对应于图6A中的线90、图6B中的线102对应于图6A中的线92、图6B中的线104对应于图6A中的线94、图6B中的线106对应于图6A中的线96且图6B中的线108对应于图6A中的线108。一般来说,增加横偏会增加近距视场重叠。在足够大的范围下,横偏引起减少的视场。
图7A及7B为说明近距视场重叠的增加随横偏及距离而变化的曲线图。在图7A及7B中,y轴为视场重叠增加。在图7A中,x轴为横偏角γ,且在图7B中,x轴为距离。举例来说,在图7A中,针对不同距离绘制曲线图,其中底线118是用于3.5m,上方的下一条线(线116)用于1m,所述线116上方的线(线114)是用于0.85m,所述线114上方的线(线112)是用于0.75m且所述线112上方的线(线110)是用于0.5m。在图7A中,说明1.5°的横偏角以说明可最大化在距离3.5m处的对象的短距FOV重叠增益的实例横偏角。在图7B中,针对不同横偏角γ绘制图表。顶线128是用于2°、其下方的下一条线(线126)是用于1.5°、下方的下一条线(线124)是用于1°、下方的下一条线(线122)是用于0.5°且下方的下一条线(线120)是用于0°。
在本发明中所描述的实例技术中,与其它实例相比,近距视场(例如,近场FOV)可更接近于装置10。举例来说,与光学发射器16并不相对于光学接收器20成角且发射器光轴并不与接收器光轴相交的情况相比,由光学发射器16及光学接收器20产生的近场FOV更接近装置10。
图8为说明图案失真的图。举例来说,在图8中,最左侧说明所发射的图案,但经反射及接收的图案归因于倾斜角γ失真(例如,所接收的图案相对于经反射图案略微倾斜)。一般来说,归因于横偏的图案失真对于较小倾斜角来说是可忽略的。接收器装置18可适应用于图案检测的栅格检测方案内的图案失真。举例来说,如上文所描述,RX处理电路84可需要基于存储于存储器88中的码字检测来自结构化光的图案。如果存在失真,那么RX处理电路84可需要执行图案失真补偿。此图案失真补偿的一种方式为基于已知横偏预失真存储于存储器88中的码字,且因此RX处理电路84可无误差地执行图案检测。换句话说,由于已知横偏角度,所以可预计算失真场,且对于高精度应用程序来说,可补偿失真而不降低精确性。然而,在一些情况下,由光学发射器16的倾斜引起的失真可相对最小,意味着无需RX处理电路84进行额外补偿。
在一或多个实例中,所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施,那么可将所述功能作为一或多个指令或代码存储于计算机可读媒体上且由基于硬件的处理电路执行。计算机可读媒体可包含计算机可读存储媒体,其对应于例如数据存储媒体的有形媒体。以此方式,计算机可读媒体通常可对应于非暂时性的有形计算机可读存储媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制的方式,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所需程序代码且可由计算机存取的任何其它媒体。应理解,计算机可读存储媒体及数据存储媒体并不包含载波、信号或其它暂时媒体,而是实际上关于非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光(Blu-ray)光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此,如本文所使用的术语“处理器”可指前述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内,或并入组合式编解码器中。此外,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在包含无线手持机、集成电路(IC)或IC集合(例如,芯片组)的广泛多种装置或设备中实施。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面,但未必要求通过不同硬件单元来实现。确切来说,如上文所描述,可将各种单元组合于编解码器硬件单元中,或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合适合的软件及/或固件来提供所述单元。
已描述各种实例。此些及其它实例在以下权利要求书的范围内。
Claims (25)
1.一种图像处理的方法,所述方法包括:
用光学发射器发射结构化光,所述光学发射器具有相对于发射器光轴的第一视角;
用光学接收器接收所述结构化光的反射,所述光学接收器具有相对于接收器光轴的第二视角,其中所述光学发射器相对于所述光学接收器成角以使得所述发射器光轴与所述接收器光轴相交,从而在其间形成角度,且其中所述光学发射器相对于所述光学接收器的位置为恒定的;
基于所述光学发射器相对于所述光学接收器的所述角度及所述光学接收器的焦距缩放在所述光学接收器处接收的所述结构化光的所接收反射;及
至少基于经缩放反射来产生一或多个图像的深度映射。
2.根据权利要求1所述的方法,其中用所述光学发射器发射的所述结构化光在所述深度映射的整个产生期间是相同的。
3.根据权利要求1所述的方法,其中产生所述深度映射包括基于以下各者产生所述深度映射:所述经缩放反射、所述结构化光中对应于所述结构化光的所述所接收反射中的各别元素的每一元素、所述光学接收器的所述焦距,及所述光学发射器与所述光学接收器之间的距离。
4.根据权利要求1所述的方法,其中发射所述结构化光包括经由所述结构化光发射图案,其中接收所述结构化光的所述反射包括经由所述反射接收失真图案,所述方法进一步包括:
在不补偿所述光学发射器相对于所述光学接收器的所述角度的情况下确定所接收的失真图案是否对应于所发射的图案。
5.根据权利要求4所述的方法,其进一步包括:
确定所述光学接收器接收所述失真图案的位置;
其中产生所述深度映射包括基于所述光学接收器接收所述失真图案的所述位置及所述光学发射器相对于所述光学接收器的所述角度产生所述深度映射。
6.根据权利要求1所述的方法,其进一步包括:
接收所产生的深度映射;及
基于所述所产生的深度映射产生所述一或多个图像的图形数据。
7.根据权利要求1所述的方法,其中装置包含所述光学发射器及所述光学接收器,其中所述光学发射器或所述光学接收器中的一者与所述装置的面平行,且所述光学发射器或所述光学接收器中的另一者相对于所述装置的所述面倾斜。
8.根据权利要求1所述的方法,其中与所述光学发射器并不相对于所述光学接收器成角且所述发射器光轴并不与所述接收器光轴相交的情况相比,由所述光学发射器及所述光学接收器产生的近视场FOV更接近于包含所述光学发射器及所述光学接收器的装置。
9.一种用于图像处理的装置,所述装置包括:
光学发射器,其经配置以发射结构化光,所述光学发射器具有相对于发射器光轴的第一视角;
光学接收器,其经配置以接收所述结构化光的反射,所述接收器具有相对于接收器光轴的第二视角,其中所述光学发射器相对于所述光学接收器成角以使得所述发射器光轴与所述接收器光轴相交,从而在其间形成角度,且其中所述光学发射器相对于所述光学接收器的位置恒定;及
处理电路,其经配置以:
基于所述光学发射器相对于所述光学接收器的所述角度及所述光学接收器的焦距缩放在所述光学接收器处接收的所述结构化光的所接收反射;及
至少基于经缩放反射来产生一或多个图像的深度映射。
10.根据权利要求9所述的装置,其中所述光学发射器在所述深度映射的整个产生期间发射同一结构化光。
11.根据权利要求9所述的装置,其中为产生所述深度映射,所述处理电路经配置以基于以下各者产生所述深度映射:所述经缩放反射、所述结构化光中对应于所述结构化光的所述所接收反射中的各别元素的每一元素、所述光学接收器的所述焦距,及
所述光学发射器与所述光学接收器之间的距离。
12.根据权利要求9所述的装置,其中所述光学发射器经配置以经由所述结构化光发射图案,其中所述光学接收器经配置以经由所述反射接收失真图案,其中所述处理电路经配置以在不补偿所述光学发射器相对于所述光学接收器的所述角度的情况下确定所接收的失真图案是否对应于所发射的图案。
13.根据权利要求12所述的装置,其中所述处理电路经配置以确定所述光学接收器接收所述失真图案的位置,且其中为产生所述深度映射,所述处理电路经配置以基于所述光学接收器接收所述失真图案的所述位置及所述光学发射器相对于所述光学接收器的所述角度产生所述深度映射。
14.根据权利要求9所述的装置,其中所述处理电路包括第一处理电路,所述装置进一步包括第二处理电路,其经配置以:
从所述第一处理电路接收所产生的深度映射;及
基于所述所产生的深度映射产生所述一或多个图像的图形数据。
15.根据权利要求14所述的装置,其中所述第一处理电路及所述第二处理电路为相同的处理电路。
16.根据权利要求9所述的装置,其中所述装置包括以下中的一者:
无线通信装置、膝上型计算机、台式计算机、平板计算机、相机及视频游戏控制台。
17.根据权利要求9所述的装置,其中所述光学发射器或所述光学接收器中的一者与所述装置的面平行,且所述光学发射器或所述光学接收器中的另一者相对于所述装置的所述面倾斜。
18.根据权利要求9所述的装置,其中与所述光学发射器并不相对于所述光学接收器成角且所述发射器光轴并不与所述接收器光轴相交的情况相比,由所述光学发射器及所述光学接收器产生的近视场FOV更接近于包含所述光学发射器及所述光学接收器的所述装置。
19.一种计算机可读存储媒体,其包含存储于其上的指令,所述指令在经执行时使得用于图像处理的装置的一或多个处理器:
使所述装置的光学发射器发射结构化光,所述光学发射器具有相对于发射器光轴的第一视角,其中所述光学发射器相对于所述装置的光学接收器成角以使得所述发射器光轴与接收器光轴相交,从而在其间形成角度,且其中所述光学发射器相对于所述光学接收器的位置为恒定的;
基于所述光学发射器相对于所述光学接收器的所述角度及所述光学接收器的焦距缩放在所述光学接收器处接收的所述结构化光的所接收反射;及
至少基于经缩放反射来产生一或多个图像的深度映射,其中由所述光学接收器接收所述所接收反射,所述光学接收器具有相对于所述接收器光轴的第二视角。
20.根据权利要求19所述的计算机可读存储媒体,其中用所述光学发射器发射的所述结构化光在所述深度映射的整个产生期间是相同的。
21.一种用于图像处理的设备,所述设备包括:
用于发射结构化光的装置,所述用于发射的装置具有相对于发射器光轴的第一视角;
用于接收所述结构化光的反射的装置,所述用于接收的装置具有相对于接收器光轴的第二视角,其中所述用于发射的装置相对于所述用于接收的装置成角以使得所述发射器光轴与所述接收器光轴相交,从而在其间形成角度,且其中所述用于发射的装置的位置相对于所述用于接收的装置恒定;
用于基于所述用于发射的装置相对于所述用于接收的装置的所述角度及所述用于接收的装置的焦距来缩放在所述光学接收器处接收的所述结构化光的所接收反射;及
用于至少基于经缩放反射来产生一或多个图像的深度映射的装置。
22.根据权利要求21所述的设备,其中所述用于发射的装置在所述深度映射的整个产生期间发射相同的结构化光。
23.根据权利要求21所述的设备,其中所述用于接收的装置包括用于接收的第一装置,且其中所述用于产生的装置包括用于产生的第一装置,所述设备进一步包括:
用于接收所产生的深度映射的第二装置;及
用于基于所述所产生的深度映射产生所述一或多个图像的图形数据的第二装置。
24.根据权利要求21所述的设备,其中所述用于发射的装置或所述用于接收的装置中的一者与所述设备的面平行,且所述用于发射的装置或所述用于接收的装置中的另一者相对于所述设备的所述面倾斜。
25.根据权利要求21所述的设备,其中与所述用于发射的装置并不相对于所述用于接收的装置成角且所述发射器光轴并不与所述接收器光轴相交的情况相比,由所述用于发射的装置及所述用于接收的装置产生的近视场FOV更接近于包含所述用于发射的装置及所述用于接收的装置的所述设备。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662274600P | 2016-01-04 | 2016-01-04 | |
US62/274,600 | 2016-01-04 | ||
US15/147,736 US11057608B2 (en) | 2016-01-04 | 2016-05-05 | Depth map generation in structured light system |
US15/147,736 | 2016-05-05 | ||
PCT/US2016/059703 WO2017119941A1 (en) | 2016-01-04 | 2016-10-31 | Depth map generation in structured light system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108474652A CN108474652A (zh) | 2018-08-31 |
CN108474652B true CN108474652B (zh) | 2020-06-19 |
Family
ID=59227332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680075524.4A Active CN108474652B (zh) | 2016-01-04 | 2016-10-31 | 在结构化光系统中的深度映射产生 |
Country Status (9)
Country | Link |
---|---|
US (1) | US11057608B2 (zh) |
EP (1) | EP3400414B1 (zh) |
JP (1) | JP6824990B2 (zh) |
KR (1) | KR102575114B1 (zh) |
CN (1) | CN108474652B (zh) |
BR (1) | BR112018013552A2 (zh) |
CA (1) | CA3006583A1 (zh) |
TW (1) | TWI732796B (zh) |
WO (1) | WO2017119941A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10909373B1 (en) * | 2018-08-24 | 2021-02-02 | Snap Inc. | Augmented reality system using structured light |
CN109470166B (zh) * | 2018-11-09 | 2020-12-08 | 业成科技(成都)有限公司 | 结构光深度感测器及感测方法 |
CN109974611B (zh) * | 2019-03-23 | 2023-07-21 | 柳州阜民科技有限公司 | 深度检测系统及其支架和电子装置 |
CN115616003B (zh) * | 2022-10-17 | 2024-06-11 | 四川长虹电器股份有限公司 | 菲涅尔光学膜片检查设备及其检查方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10214817A1 (de) * | 2002-03-28 | 2003-10-16 | Goepel Electronic Gmbh | Anordnung zur Höhenmessung des Lotpastenauftrages |
CN101403606A (zh) * | 2008-10-20 | 2009-04-08 | 中国海洋大学 | 基于线结构光的大视场两轴测量装置 |
CN101697233A (zh) * | 2009-10-16 | 2010-04-21 | 长春理工大学 | 一种基于结构光的三维物体表面重建方法 |
CN201828247U (zh) * | 2010-05-24 | 2011-05-11 | 天津工业大学 | 一种激光再制造零件三维形貌在线检测装置 |
CN104094083A (zh) * | 2012-01-13 | 2014-10-08 | 高通股份有限公司 | 用于估计真实世界距离的经校准硬件传感器 |
CN104165596A (zh) * | 2014-09-02 | 2014-11-26 | 南京中科神光科技有限公司 | 一种测定离焦量的方法及系统 |
CN104272059A (zh) * | 2012-05-24 | 2015-01-07 | 高通股份有限公司 | 仿射不变空间掩码中的代码的设计 |
JP2015517100A (ja) * | 2012-03-30 | 2015-06-18 | ニコン メトロロジー エン ヴェー | 改良された光学式走査プローブ |
CN104793784A (zh) * | 2015-03-23 | 2015-07-22 | 中国科学技术大学先进技术研究院 | 一种基于深度数据的模拟触摸操作系统及操作方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6389144A (ja) * | 1986-09-30 | 1988-04-20 | 株式会社東芝 | 擬似3次元表示装置 |
JPH05145496A (ja) | 1991-11-15 | 1993-06-11 | Canon Inc | 双方向光伝送装置 |
US6700669B1 (en) | 2000-01-28 | 2004-03-02 | Zheng J. Geng | Method and system for three-dimensional imaging using light pattern having multiple sub-patterns |
US20030001960A9 (en) | 2000-04-24 | 2003-01-02 | Olympus Optical Co., Ltd. | Electronic camera |
DE10049382A1 (de) | 2000-10-05 | 2002-04-25 | Microsystems Gmbh | Optoelektronische Messanordnung zur Messung der Randparameter von Brillengläsern |
US20070023716A1 (en) | 2005-07-26 | 2007-02-01 | Icos Vision Systems N.V. | Apparatus for three dimensional measuring on an electronic component |
CN101496033B (zh) | 2006-03-14 | 2012-03-21 | 普莱姆森斯有限公司 | 利用散斑图案的三维传感 |
US7768656B2 (en) | 2007-08-28 | 2010-08-03 | Artec Group, Inc. | System and method for three-dimensional measurement of the shape of material objects |
JP5578844B2 (ja) | 2009-12-21 | 2014-08-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP2523029B1 (en) | 2010-01-06 | 2017-02-15 | Fujikura Ltd. | Optical coupling structure and optical transreceiver module |
CN102760234B (zh) | 2011-04-14 | 2014-08-20 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
JP5986364B2 (ja) | 2011-10-17 | 2016-09-06 | キヤノン株式会社 | 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム |
US9217636B2 (en) | 2012-06-11 | 2015-12-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and a computer-readable storage medium |
US20140043610A1 (en) * | 2012-08-07 | 2014-02-13 | Carl Zeiss Industrielle Messtechnik Gmbh | Apparatus for inspecting a measurement object with triangulation sensor |
CN102999910B (zh) | 2012-11-27 | 2015-07-22 | 宁波盈芯信息科技有限公司 | 一种图像深度计算方法 |
US20140152769A1 (en) | 2012-12-05 | 2014-06-05 | Paul Atwell | Three-dimensional scanner and method of operation |
CN105324688B (zh) | 2013-06-17 | 2018-03-06 | 苹果公司 | 用于扫描引擎的模块化光学器件 |
EP3627186A1 (en) | 2014-07-08 | 2020-03-25 | Facebook Technologies, LLC | Method and system for adjusting light pattern for structured light imaging |
JP6516453B2 (ja) | 2014-11-26 | 2019-05-22 | 株式会社ミツトヨ | 画像測定装置及び測定装置 |
-
2016
- 2016-05-05 US US15/147,736 patent/US11057608B2/en active Active
- 2016-10-28 TW TW105135188A patent/TWI732796B/zh active
- 2016-10-31 CA CA3006583A patent/CA3006583A1/en not_active Abandoned
- 2016-10-31 EP EP16801627.7A patent/EP3400414B1/en active Active
- 2016-10-31 JP JP2018532083A patent/JP6824990B2/ja active Active
- 2016-10-31 WO PCT/US2016/059703 patent/WO2017119941A1/en unknown
- 2016-10-31 BR BR112018013552A patent/BR112018013552A2/pt not_active Application Discontinuation
- 2016-10-31 CN CN201680075524.4A patent/CN108474652B/zh active Active
- 2016-10-31 KR KR1020187018320A patent/KR102575114B1/ko active IP Right Grant
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10214817A1 (de) * | 2002-03-28 | 2003-10-16 | Goepel Electronic Gmbh | Anordnung zur Höhenmessung des Lotpastenauftrages |
CN101403606A (zh) * | 2008-10-20 | 2009-04-08 | 中国海洋大学 | 基于线结构光的大视场两轴测量装置 |
CN101697233A (zh) * | 2009-10-16 | 2010-04-21 | 长春理工大学 | 一种基于结构光的三维物体表面重建方法 |
CN201828247U (zh) * | 2010-05-24 | 2011-05-11 | 天津工业大学 | 一种激光再制造零件三维形貌在线检测装置 |
CN104094083A (zh) * | 2012-01-13 | 2014-10-08 | 高通股份有限公司 | 用于估计真实世界距离的经校准硬件传感器 |
JP2015517100A (ja) * | 2012-03-30 | 2015-06-18 | ニコン メトロロジー エン ヴェー | 改良された光学式走査プローブ |
CN104272059A (zh) * | 2012-05-24 | 2015-01-07 | 高通股份有限公司 | 仿射不变空间掩码中的代码的设计 |
CN104165596A (zh) * | 2014-09-02 | 2014-11-26 | 南京中科神光科技有限公司 | 一种测定离焦量的方法及系统 |
CN104793784A (zh) * | 2015-03-23 | 2015-07-22 | 中国科学技术大学先进技术研究院 | 一种基于深度数据的模拟触摸操作系统及操作方法 |
Also Published As
Publication number | Publication date |
---|---|
BR112018013552A2 (pt) | 2018-12-04 |
EP3400414B1 (en) | 2023-03-29 |
JP6824990B2 (ja) | 2021-02-03 |
EP3400414A1 (en) | 2018-11-14 |
CN108474652A (zh) | 2018-08-31 |
TW201734956A (zh) | 2017-10-01 |
KR20180100121A (ko) | 2018-09-07 |
WO2017119941A1 (en) | 2017-07-13 |
US20170195656A1 (en) | 2017-07-06 |
JP2019500606A (ja) | 2019-01-10 |
US11057608B2 (en) | 2021-07-06 |
TWI732796B (zh) | 2021-07-11 |
CA3006583A1 (en) | 2017-07-13 |
KR102575114B1 (ko) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11665331B2 (en) | Dynamic vision sensor and projector for depth imaging | |
CN108474652B (zh) | 在结构化光系统中的深度映射产生 | |
US11270464B2 (en) | Dynamic detection and correction of light field camera array miscalibration | |
US11553123B2 (en) | Dynamic detection and correction of light field camera array miscalibration | |
US11064154B2 (en) | Device pose detection and pose-related image capture and processing for light field based telepresence communications | |
EP3983872A1 (en) | Dynamic tiling for foveated rendering | |
US20140064607A1 (en) | Systems, methods, and computer program products for low-latency warping of a depth map | |
US20160373727A1 (en) | Calibration of a three-dimensional acquisition system | |
JPWO2017138291A1 (ja) | 距離画像取得装置及びその応用 | |
JPWO2011010438A1 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
JP2018110295A (ja) | 画像処理装置および画像処理方法 | |
CN108141560B (zh) | 用于图像投影的系统及方法 | |
US20160349918A1 (en) | Calibration for touch detection on projected display surfaces | |
CN113689508A (zh) | 点云标注方法、装置、存储介质及电子设备 | |
US20190318449A1 (en) | Imaging method and apparatus for virtual reality device, and virtual reality device | |
CN116405645A (zh) | 一种投影仪图形校正调焦方法、装置及可读介质 | |
JP7423750B2 (ja) | 3dライトフィールドディスプレイのクロストーク補償 | |
US20160217559A1 (en) | Two-dimensional image processing based on third dimension data | |
US20140375692A1 (en) | Image processing device and image processing method | |
US11924587B2 (en) | Display method, projector, and projection system | |
US10922829B2 (en) | Zero order light removal in active sensing systems | |
KR101580056B1 (ko) | 영상 왜곡 보정 장치 및 그 방법 | |
KR20240002559A (ko) | 이미지 표시를 위한 전자 장치 및 그 동작 방법 | |
KR20210014529A (ko) | 움직이는 객체에 대한 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램 | |
CN114325659A (zh) | 具有光学图像防抖功能的三维(3d)空间扫描仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |