CN108665418B - 深度感测装置 - Google Patents

Abstract

一种深度感测装置，包括储存电路、摄影电路、补偿电路、对应搜寻电路以及深度电路。储存电路提供基准真值图像。摄影电路提供经拍摄图像。对应搜寻电路提供第一轴差距给补偿电路，并从补偿电路接收第二轴差距。利用第一轴差距与第二轴差距，对应搜寻电路在基准真值图像或经拍摄图像中搜索出目前块所对应的一个对应块，以获得目前块与对应块之间的位置差距值。深度电路将位置差距值转换为目前块的深度值。

Description

深度感测装置

技术领域

本发明涉及一种电子装置，且特别涉及一种深度感测装置(DEPTH SENSINGAPPARATUS)。

背景技术

在立体摄影系统(stereo camera system)的两个经拍摄图像中找到对应(corresponds)，或是在结构化光系统(structured light system)的一个经拍摄图像以及另一个基准真值图像(ground truth image)中找到对应，是深度感测器(depth sensor)的重要程序(procedure)。传统上，在处理对应搜索(correspond search)之前，必须对这两个图像都进行校正(rectification)，以使图像的水平轴对准于两个设备(立体摄影系统的两个相机，或，结构化光系统的相机和投影仪)之间的对极线(epipolar line)。其目的是使搜索方向(search direction)与水平轴对齐，并降低其复杂性(complexity)。然而，该方案需要两个扭曲逻辑(warping logic)和两个存储器来完成两个图像的校正。

发明内容

本发明提供一种深度感测(depth sensing)装置，其可以对基准真值图像或经拍摄图像进行对应搜索(correspond search)。

本发明的实施例提供一种深度感测装置。此深度感测装置包括储存电路、摄影电路、补偿电路、对应搜寻电路以及深度电路。储存电路用以储存并提供基准真值图像(ground truth image)。摄影电路用以拍摄视野以产生经拍摄图像。补偿电路用以将多个第一轴差距(first-axis disparities)转换为多个第二轴差距。对应搜寻电路耦接储存电路，以接收基准真值图像。对应搜寻电路耦接该摄影电路，以接收经拍摄图像。对应搜寻电路提供这些第一轴差距给补偿电路，并从补偿电路接收这些第二轴差距。利用这些第一轴差距与这些第二轴差距，对应搜寻电路在基准真值图像或经拍摄图像中搜索出目前块所对应的一个对应块，以获得该目前块与该对应块之间的位置差距值。深度电路耦接对应搜寻电路，以接收该位置差距值。深度电路用以将位置差距值转换为目前块的深度值。

基于上述，本发明诸实施例所述深度感测装置，其采用补偿电路将第一轴差距(例如x轴差距)转换为对应的第二轴差距(例如y轴差距)。利用第一轴差距与第二轴差距，对应搜寻电路可以依据经拍摄图像内的目前块去对基准真值图像进行对应搜索，或是依据基准真值图像内的目前块去对经拍摄图像进行对应搜索。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图作详细说明如下。

附图说明

图1是依照一实施例所示出的的一种深度感测装置的电路方块(circuit block)示意图。

图2示出的了图1所示经校正图像中的目前块与对应块的位置示意图。

图3是依照本发明的一实施例所示出的的一种深度感测装置的电路方块示意图。

图4是依照本发明的一实施例所示出的的一种深度感测方法的流程示意图。

图5示出的了图3所示经拍摄图像中的目前块与图3所示基准真值图像中的对应块的位置示意图。

图6是依照本发明的另一实施例所示出的的一种深度感测装置的电路方块示意图。

附图标记说明：

100：深度感测装置

110：摄影电路

111：经拍摄图像

120：校正电路

130：储存电路

131：经校正图像

132：对应块

140：摄影电路

141：经拍摄图像

142：目前块

150：校正电路

160：储存电路

161：经校正图像

162：目前块

170：对应搜寻电路

171：位置差距值

180：深度电路

181：深度值

300：深度感测装置

320：投影仪

330：储存电路

331：基准真值图像

332：对应块

370：对应搜寻电路

371：位置差距值

380：深度电路

381：深度值

390：补偿电路

600：深度感测装置

[Xc,Yc]、[Xp,Yp]、[Xp’,Yp’]：坐标

dx：X轴差距

dy：Y轴差距

S410～S450：步骤

具体实施方式

在本公开说明书全文(包括权利要求)中所使用的「耦接(或连接)」一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以通过其他装置或某种连接手段而间接地连接至该第二装置。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的元件/构件/步骤可以相互参照相关说明。

图1是依照一实施例所示出的的一种深度感测装置100的电路方块(circuitblock)示意图。深度感测装置100可以应用于立体摄影系统(stereo camera system)。图1所示深度感测装置100包括摄影电路110、校正(rectification)电路120、储存电路130、摄影电路140、校正电路150、储存电路160、对应搜寻(correspond search)电路170以及深度电路180。摄影电路110与摄影电路140拍摄同一个视野。摄影电路110所产生的经拍摄图像111(例如右视角图像)被传送到校正电路120，而摄影电路140所产生的经拍摄图像141(例如左视角图像)被传送到校正电路150。

校正电路120配置有扭曲逻辑(warping logic)及/或其他电路。校正电路120可以对经拍摄图像111进行图像扭曲(image warping)校正、透镜失真(lens distortion)校正、旋转(rotation)校正及/或其他图像校正操作。举例来说，校正电路120可以对经拍摄图像111进行现有的图像校正操作或是其他图像校正操作。校正电路120可以将经校正的图像存放于储存电路130。校正电路150亦配置有扭曲逻辑及/或其他电路。校正电路150可以对经拍摄图像141进行图像扭曲校正、透镜失真校正、旋转校正及/或其他图像校正操作。举例来说，校正电路150可以对经拍摄图像141进行现有的图像校正操作或是其他图像校正操作。校正电路150可以将经校正的图像存放于储存电路160。

对应搜寻电路170耦接储存电路130，以接收经校正图像131。对应搜寻电路170耦接储存电路160，以接收经校正图像161。校正电路120与校正电路150已经完成了图像校正操作，因此经校正图像131的水平轴与经校正图像161的水平轴可以对准于两个摄影电路110与140之间的对极线(epipolar line)。因此，对应搜寻电路170的搜索方向(searchdirection)可以与水平轴对齐。搜索方向(search direction)可以与水平轴对齐，其可以降低运算的复杂性(complexity)。

图2示出的了图1所示经校正图像161(例如左视角图像)中的目前块162与经校正图像131(例如右视角图像)中的对应块(参考块)132的位置示意图。图2所示范例已经将经校正图像131与经校正图像161相互重叠。在图2所示范例中，对应搜寻电路170的搜索方向被假设为水平轴方向(X轴方向)。请参照图1与图2，由于校正电路120与校正电路150已经完成了图像校正操作，因此经校正图像131的水平轴与经校正图像161的水平轴可以对准于两个摄影电路110与140之间的对极线。因为经校正图像131的水平轴与经校正图像161的水平轴已经相互对准，因此搜索方向可以没有Y轴分量(Y轴差距dy为0)。针对在经校正图像161中的目前块162，对应搜寻电路170可以通过设定第一轴差距(例如X轴差距dx)来沿着搜索方向决定在经校正图像131中的搜寻位置(对应块132的位置)。举例来说，假设在经校正图像161中的目前块162的位置为坐标[Xc,Yc]，通过设定X轴差距dx，则在经校正图像131中的对应块132的位置为坐标[Xp’,Yp’]＝[Xc+dx,Yc]。所述Xc、Yc、dx、Xp’、Yp’为实数，由设计需求来决定。

对应搜寻电路170计算对应块132与目前块162之间的差异值。依照设计需求，所述差异值是绝对差和(sum absolute difference,SAD)值、正规化互相关(normalized crosscorrelation,NCC)值、或是用以表示对应块132与目前块162之间差异的其他数值。换句话说，通过改变X轴差距dx，对应搜寻电路170可以依照目前块162的位置坐标[Xc,Yc]而沿着搜索方向获得在经校正图像131中的多个候选块(例如对应块132)。对应搜寻电路170可以分别计算这些候选块(例如对应块132)与目前块162之间的差异值，然后依照这些差异值来从这些候选块中选择一个候选块。举例来说，对应搜寻电路170可以从这些候选块中选择具有较小差异值的一个候选块。在此假设图2所示对应块132具有最小差异值。对应搜寻电路170可以将目前块162与对应块132之间的X轴差距dx作为目前块162的位置差距值171。位置差距值171表示了具有较小差异值的一个候选块与目前块162之间的位置差距。

一旦择定目前块162后，依照设计需求，对应搜寻电路170可以施行任何对应搜寻演算法，以便计算出目前块162的位置差距值171。举例来说，在一些实施例中，对应搜寻电路170可以施行现有对应搜寻演算法或是其他对应搜寻演算法，来计算出目前块162的位置差距值171。

深度电路180耦接对应搜寻电路170，以接收目前块162的位置差距值171。深度电路180可以将位置差距值171转换为目前块162的深度值181。在完成整个经校正图像161的扫描后，深度电路180便可以提供整个深度图(depth map)给下一级电路(未示出的)。在一些实施例中，深度电路180可以包括深度查找表(depth lookup table)。深度电路180可以通过使用此深度查找表而将位置差距值171转换为深度值181。在其他实施例中，深度电路180可以施行任何深度演算法，以便将位置差距值171转换为深度值181。举例来说，深度电路180可以施行现有深度演算法或是其他深度演算法，来将位置差距值171转换为深度值181。

对于图1所示电路而言，在处理流水线(processing pipeline)中必须配置大的存储器和额外的图像扭曲逻辑(image warping logic)。也就是说，大的存储器和额外的图像扭曲逻辑将会增加硬件成本。

图3是依照本发明的一实施例所示出的的一种深度感测装置300的电路方块示意图。深度感测装置300可以应用于结构化光系统(structured light system)。图3所示深度感测装置300包括摄影电路140、投影仪320、储存电路330、对应搜寻电路370、补偿电路390以及深度电路380。储存电路330可以是任何类型的非依电性存储器(non-volatilememory)或是依电性存储器(volatile memory)。储存电路330可以储存并提供基准真值图像(ground truth image)331或是基准真值图案(ground truth pattern)。

投影仪320耦接至储存电路330。投影仪320可以利用不可见光(例如红外光或是其他波段光)或是可见光而将基准真值图像331投影至一个视野(场域)中。摄影电路140可以拍摄在所述视野(场域)中被投影仪320所投射出的基准真值图像331，以产生经拍摄图像141。相较于图1所示实施例，图3所示实施例省略了图1所示校正电路150与储存电路160。图3所示摄影电路140将未经校正的经拍摄图像141提供给对应搜寻电路370。

图4是依照本发明的一实施例所示出的的一种深度感测方法的流程示意图。请参照图3与图4，摄影电路140于步骤S410中拍摄在所述视野(场域)中被投影仪320所投射出的基准真值图像331，以产生经拍摄图像141。在进行对应搜寻的过程中，对应搜寻电路370可以提供多个第一轴差距(例如X轴差距)给补偿电路390(步骤S420)。于步骤S430中，补偿电路390可以将这些第一轴差距转换为对应的第二轴差距(例如Y轴差距)，并将这些第二轴差距回传给对应搜寻电路370。

对应搜寻电路370耦接储存电路330，以接收基准真值图像331。对应搜寻电路370耦接摄影电路140，以接收经拍摄图像141。对应搜寻电路370耦接补偿电路390，以便提供第一轴差距(例如X轴差距)给补偿电路390，并从补偿电路390接收第二轴差距(例如Y轴差距)。于步骤S440中，利用第一轴差距与第二轴差距，对应搜寻电路370可以在基准真值图像331(或经拍摄图像141)中搜索出目前块所对应的对应块，以获得目前块与对应块之间的位置差距值371。在一些实施例中，对应搜寻电路370可以依据在经拍摄图像141中的一个目前块而在基准真值图像331中搜索出一个对应块。所述对应块是在基准真值图像331中的多个候选块中最相似于经拍摄图像141的目前块的一个候选块。在另一些实施例中，对应搜寻电路370可以依据在基准真值图像331中的一个目前块而在经拍摄图像141中搜索出一个对应块。

于图3所示实施例中，深度电路380耦接对应搜寻电路370，以接收位置差距值371。于步骤S450中，深度电路380可以将位置差距值371转换为目前块的深度值381。图3所示深度电路380可以参照图1所示深度电路180的相关说明来类推，故不再赘述。在完成整个经拍摄图像141(或基准真值图像331)的扫描后，深度电路380便可以提供整个深度图给下一级电路(未示出的)。

图5示出的了图3所示经拍摄图像141中的目前块142与图3所示基准真值图像331中的对应块(参考块)332的位置示意图。图5所示范例已经将经拍摄图像141与基准真值图像331相互重叠。在图5所示范例中，对应搜寻电路370的搜索方向具有水平轴(X轴)分量与垂直轴(Y轴)分量。请参照图3与图5，针对在经拍摄图像141中的目前块142，对应搜寻电路370可以通过设定第一轴差距(例如X轴差距dx)，与其于图像141的坐标轴位置(Xc,Yc)，来决定在基准真值图像331中的搜寻位置(例如对应块332的位置)的X轴分量。基于补偿电路390将X轴差距dx转换为对应的Y轴差距dy，对应搜寻电路370可以获得基准真值图像331中的搜寻位置(例如对应块332的位置)的Y轴分量。举例来说，假设在经拍摄图像141中的目前块142的位置为坐标[Xc,Yc]，通过设定X轴差距dx，则在基准真值图像331中的对应块332的位置为坐标[Xp,Yp]＝[Xc+dx,Yc+dy]。所述Xc、Yc、dx、dy、Xp、Yp为实数，由设计需求来决定。

对应搜寻电路370计算对应块332与目前块142之间的差异值。依照设计需求，所述差异值可以是绝对差和(SAD)值、正规化互相关(NCC)值、或是用以表示对应块332与目前块142之间差异的其他数值。换句话说，通过改变X轴差距dx，补偿电路390可以将X轴差距dx转换为对应的Y轴差距dy，而对应搜寻电路370可以依照目前块142的位置坐标[Xc,Yc]获得在基准真值图像331中的多个候选块(例如对应块332)。对应搜寻电路370可以分别计算这些候选块(例如对应块332)与目前块142之间的差异值，然后依照这些差异值来从这些候选块中选择一个候选块。举例来说，对应搜寻电路370可以从这些候选块中选择具有较小差异值的一个候选块。在此假设图5所示对应块332(候选块之一)具有最小差异值。在一些实施例中，对应搜寻电路370可以将目前块142与对应块332之间的X轴差距dx作为目前块142的位置差距值371。位置差距值371表示了具有较小差异值的一个候选块与目前块142之间的位置差距。在另一些实施例中，对应搜寻电路370可以将目前块142与对应块332之间的X轴差距dx与Y轴差距dy作为目前块142的位置差距值371。

一旦择定目前块142的坐标[Xc,Yc]与多个候选块的坐标(例如对应块332的坐标[Xp,Yp])后，依照设计需求，对应搜寻电路370可以施行任何对应搜寻演算法(例如现有对应搜寻演算法或是其他对应搜寻演算法)，以便计算出目前块142的位置差距值371。

请参照图3，在一些实施例中，补偿电路390可以包括一个第二轴补偿查找表(例如垂直轴补偿查找表或Y轴补偿查找表)。补偿电路390通过使用此第二轴补偿查找表而将第一轴差距(例如X轴差距dx)转换为第二轴差距(例如Y轴差距dy)。所述第二轴补偿查找表的内容可以依照实际产品的设计需求、组装公差及/或其他因素来决定。

在另一些实施例中，补偿电路390包括多个第二轴补偿查找表(例如垂直轴补偿查找表或Y轴补偿查找表)。对应搜寻电路370提供第一轴差距(例如X轴差距dx)给补偿电路390。补偿电路390依据第一轴差距而从这些第二轴补偿查找表中选择一个对应者(在此称为经选择查找表)。对应搜寻电路370还可以提供目前块的位置值(例如图5所示目前块142的坐标[Xc,Yc])给补偿电路390。补偿电路390可以通过使用所述经选择查找表而将目前块的位置值(例如图5所示[Xc,Yc])转换为第二轴差距(例如图5所示Y轴差距dy)。所述多个第二轴补偿查找表的内容可以依照实际产品的设计需求、组装公差及/或其他因素来决定。

图3所示实施例提出了一种简化方案。图3所示实施例可以用低复杂度垂直方向补偿(low complex vertical-directional compensation)查找表来代替高复杂度校正(high complex rectification)电路。两个装置(例如图3所示投影仪320与摄影电路140)之间的旋转-平移失配(rotation-translation mismatch)和透镜失真(lens distortion)可以在高阶曲线(high-order curve，而不是水平线)上约束(constrains)两个图像(基准真值图像331与经拍摄图像141)的对应(correspondence)。垂直方向补偿查找表可以调整垂直搜索方向，以满足高阶曲线约束(high-order curve constraint)。一般来说，在合理的失配和失真(reasonable mismatch and distortion)下，此垂直方向补偿查找表可以非常简单，例如仅取决于图像坐标[Xc,Yc]和x轴差距dx。

图6是依照本发明的另一实施例所示出的的一种深度感测装置600的电路方块示意图。深度感测装置600可以应用于立体摄影系统。图6所示深度感测装置600包括摄影电路110、校正电路120、储存电路330、摄影电路140、对应搜寻电路370、补偿电路390以及深度电路380。图6所示摄影电路110、校正电路120与摄影电路140可以参照图1的相关说明来类推，故不再赘述。图6所示校正电路120可以将经校正的图像作为基准真值图像331存放于储存电路330。图6所示摄影电路140、储存电路330、对应搜寻电路370、深度电路380以及补偿电路390可以参照图3至图5的相关说明来类推，故不再赘述。

值得注意的是，在不同的应用情境中，对应搜寻电路370、深度电路380以及/或是补偿电路390的相关功能可以利用一般的编程语言(programming languages，例如C或C++)、硬件描述语言(hardware description languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为软件、固件或硬件。可执行所述相关功能的编程语言可以被布置为任何已知的计算机可存取媒体(computer-accessible medias)，例如磁带(magnetictapes)、半导体(semiconductors)存储器、磁盘(magnetic disks)或光盘(compact disks，例如CD-ROM或DVD-ROM)，或者可通过互联网(Internet)、有线通信(wiredcommunication)、无线通信(wireless communication)或其它通信介质传送所述编程语言。所述编程语言可以被存放在计算机的可存取媒体中，以便于由计算机的处理器来存取/执行所述软件(或固件)的编程码(programming codes)。对于硬件实现，结合本文实施例所公开的实施方式，利用在一或多个控制器、微控制器、微处理器、特殊应用集成电路(Application-specific integrated circuit,ASIC)、数字信号处理器(digital signalprocessor,DSP)、场可程序逻辑闸阵列(Field Programmable Gate Array,FPGA)及/或其他处理单元中的的各种示例性的逻辑、逻辑区域、模块和电路可以被用于实现或执行本文所述功能。另外，本发明的装置和方法可以通过硬件和软件的组合来实现。

综上所述，在一些实施例中，深度感测装置结合了垂直方向补偿(vertical-directional compensation)查找表以进行对应搜索(correspondence search，例如绝对差和(SAD)值、正规化互相关(NCC)值…等等)，进而进行差距计算(disparitycalculation)。深度感测装置还附加了差距到深度(disparity-to-depth)查找表，以输出精确的深度结果(depth result)。所述深度感测装置可以处理两个设备(立体系统中的两个相机，或，结构化光系统的一个相机和一个投影仪)之间的旋转-平移失配(rotation-translation mismatch)和透镜失真(lens distortion)。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。

Claims (9)

1.一种深度感测装置，包括：

一储存电路，用以储存并提供一基准真值图像；

一摄影电路，用以拍摄一视野以产生一经拍摄图像；

一补偿电路，用以将多个第一轴差距转换为多个第二轴差距，其中所述第一轴差距为x轴差距，所述第二轴差距为y轴差距；

一对应搜寻电路，耦接该储存电路以接收该基准真值图像，耦接该摄影电路以接收该经拍摄图像，提供所述第一轴差距给该补偿电路并从该补偿电路接收所述第二轴差距，其中该对应搜寻电路利用所述第一轴差距与所述第二轴差距而在该基准真值图像或该经拍摄图像中搜索出一目前块所对应的一对应块，以获得该目前块与该对应块之间的一位置差距值；以及

一深度电路，耦接该对应搜寻电路以接收该位置差距值，用以将该位置差距值转换为该目前块的一深度值。

2.如权利要求1所述的深度感测装置，还包括：

一第二摄影电路，用以拍摄该视野并产生一第二经拍摄图像；以及

一校正电路，耦接该第二摄影电路以接收该第二经拍摄图像，用以校正该第二经拍摄图像以产生该基准真值图像，以及将该基准真值图像储存于该储存电路。

3.如权利要求1所述的深度感测装置，其中该补偿电路包括一第二轴补偿查找表，该补偿电路通过使用该第二轴补偿查找表将所述第一轴差距转换为所述第二轴差距。

4.如权利要求1所述的深度感测装置，其中该补偿电路包括多个第二轴补偿查找表，该对应搜寻电路提供所述第一轴差距其中一个第一轴差距给该补偿电路，该补偿电路依据该第一轴差距而从所述第二轴补偿查找表选择一对应者作为一经选择查找表，该对应搜寻电路还提供该目前块的一位置值给该补偿电路，该补偿电路通过使用该经选择查找表将该目前块的该位置值转换为所述第二轴差距其中一个第二轴差距。

5.如权利要求1所述的深度感测装置，其中该目前块属于该经拍摄图像，该对应搜寻电路依据该目前块的位置值、所述第一轴差距与所述第二轴差距而决定多个搜寻位置值，该对应搜寻电路依据所述搜寻位置值而获得在该基准真值图像中的多个候选块，以及该对应搜寻电路从所述候选块中选择一者作为该对应块。

6.如权利要求5所述的深度感测装置，其中该对应搜寻电路分别计算所述候选块与该目前块之间的差异值，并依照所述差异值来从所述候选块中选择该对应块。

7.如权利要求6所述的深度感测装置，其中所述差异值是绝对差和值或是正规化互相关值。

8.如权利要求1所述的深度感测装置，其中该位置差距值是该目前块与该对应块之间的该第一轴差距。

9.如权利要求1所述的深度感测装置，其中该深度电路包括一深度查找表，该深度电路通过使用该深度查找表将该位置差距值转换为该深度值。

Images