CN102595151A - 影像深度计算方法 - Google Patents

Abstract

本发明提供一种影像深度计算方法，包括：根据一区块尺寸于一目标影像选取目标区块；判断目标区块是否为均匀区块：若非均匀区块，则根据所决定的区块尺寸选取一参考影像的参考区块，并对目标区块及参考区块进行影像特征比对，以获得影像差异值。再利用一阈值筛选检测值，若检测值未通过筛选，即缩小区块尺寸以选取目标区块，直到该检测值通过筛选；根据通过筛选的检测值所对应的影像差异值，计算目标区块的深度。而当目标区块为均匀区块时，则根据目标区块的影像特征比对一对照表以获得对应于目标区块的深度。

Description

影像深度计算方法

技术领域

本发明涉及一种影像深度的计算方法及其系统，特别是涉及一种二维影像转换为三维影像的影像深度计算方法及系统。

背景技术

利用两个拍摄原点有间距的二维影像转换出三维立体影像的技术，根据两个二维影像中对象的位移量来判断影像中各对象的深度。相同对象在两个影像之间的位移量越大，深度越浅，反之则越深。

影像位移量比对手段包括根据单点像素比对(point matching)，精确比对出在两张二维影像中相对应的对象的位移量后计算其深度。此种单点像素比对的手段，是每次以一个像素为单位，于一固定范围内对每一个像素进行比对，寻找两个二维影像中的对应像素。当影像的分辨率越大，进行比对所需的运算量及运算时间越多，不论是以软件或硬件方式实现，都容易对运算系统造成庞大负荷。

另一种比对方式则是采用区块比对(block matching)，将多个像素组成一个群组，每次以一像素群组为单位进行比对，相较于单点像素比对可有效减少比对的数量。然而当一个区块中的像素群组包括影像中不同深度的对象时，该等不同深度的对象会因位于同一区块中而套用该区块计算后的同一深度，将造成转换后的三维立体影像的画面模糊不清。

此外，无论是单点像素比对或是区块比对，当二维影像中包含同色或是相似的画面时，亦不易比对出正确的相对应像素或相对应像素群组以计算深度，使得转换为三维立体影像后，不易呈现该等同色或相似画面的正确景深。

发明内容

本发明揭露了一种影像深度计算方法，用以快速且正确地获得影像的深度信息，借以转换二维平面影像为三维立体影像。

为实现上述目的，根据本发明的一种方案，提供了一种影像深度的计算方法，包括：决定一区块尺寸，并根据区块尺寸于一目标影像选取一目标区块；依据目标区块的影像特征来判断目标区块是否为均匀区块：当目标区块非为均匀区块，则根据所决定的区块尺寸选取一参考影像的一参考区块，并对目标区块及参考区块进行影像特征比对，以获得目标区块及参考区块的一影像差异值。再利用阈值(门槛值)筛选对应于影像差异值的一检测值，当检测值未通过筛选，则缩小区块尺寸以选取目标区块，直到检测值通过筛选；根据通过筛选的检测值所对应的影像差异值，计算目标区块的深度。而当目标区块为均匀区块时，则根据目标区块的影像特征比对一对照表以获得对应于目标区块的深度。

根据本发明进一步改进的技术方案，根据区块尺寸选取该参考区块，并对该目标区块及该参考区块进行影像特征比对以获得该影像差异值的步骤中，包括：根据该区块尺寸于该参考影像中的比对区域选取该参考区块。

根据本发明进一步改进的技术方案，根据该区块尺寸选取该参考区块，并对该目标区块及该参考区块进行影像特征比对以获得该影像差异值的步骤中，包括：根据该区块尺寸于该比对区域选取多个比对区块，该等比对区块的其中之一为该参考区块；以及该等比对区块分别与该目标区块进行影像特征比对，并分别获得相对应的该影像差异值及每一该该影像差异值所对应的该检测值；其中，该参考区块所对应的该检测值为该等比对区块所对应的该等检测值中的极端值。

根据本发明进一步改进的技术方案，利用该阈值筛选该检测值的步骤中包括：判断对应于该参考区块的该检测值是否小于或等于该阈值，当该检测值不小于且不等于该阈值时，缩小该区块尺寸以选取该目标区块，直到该检测值小于或等于该阈值；其中，该极端值为该等比对区块所对应的该等检测值中的最小值。

根据本发明进一步改进的技术方案，利用该阈值筛选该检测值的步骤中包括：判断对应于该参考区块的该检测值是否大于或等于该阈值，当该检测值不大于且不等于该阈值时，缩小该区块尺寸以选取该目标区块，直到该检测值大于或等于该阈值；其中，该极端值为该等比对区块所对应的该等检测值中的最大值。

根据本发明进一步改进的技术方案，根据该目标影像的多个特色区域建立该对照表，该对照表包括每一该特色区域的指标值及深度信息；其中，根据该目标区块的该影像特征比对该等指标值，并于比对出与该影像特征相符的该指标值时，选取与相符的该指标值对应的该深度信息为该目标区块的深度；其中，根据该目标区块的该影像特征比对该等指标值，未比对出与该影像特征相符的该指标值时，标记该目标区块为未知区块。

根据本发明进一步改进的技术方案，该目标区块比对该对照表以获得对应于该目标区块的深度的步骤前，还包括：寻找与该目标区块相邻且已获得深度的一个或多个相邻区块，并分别以该等相邻区块与该目标区块进行该影像特征比对；当该相邻区块与该目标区块的该影像特征相符时，选取相符的该相邻区块的深度以作为该目标区块的深度；以及当该相邻区块与该目标区块的该影像特征不符时，执行比对该对照表的步骤。

根据本发明进一步改进的技术方案，还包括当该目标影像的每一目标区块已获得深度或已标记为未知区块后，利用已获得深度的目标区块与该等未知区块的空间关系，推算出每一该未知区块的深度。

本发明的一种方案再提供一种影像深度计算方法，包括：决定一区块尺寸；根据区块尺寸对目标影像的目标区块及参考影像的参考区块进行影像特征比对，以获得目标区块及参考区块的影像差异值；利用阈值筛选对应影像差异值的一检测值，当检测值未通过筛选时，缩小区块尺寸以对目标影像及参考影像进行像素比对，直到检测值通过筛选；及根据调整后的区块尺寸对目标影像及参考影像进行影像特征比对以获得目标区块的深度。

根据本发明进一步改进的技术方案，根据该区块尺寸对该目标区块及该参考区块进行影像特征比对的步骤中，包括：根据该区块尺寸于该参考影像中的比对区域选取该参考区块。

根据本发明进一步改进的技术方案，根据所述区块尺寸对该目标区块及该参考区块进行影像特征比对，以获得该影像差异值的步骤中，包括：根据该区块尺寸于该比对区域选取多个比对区块，该等比对区块的其中之一为该参考区块；以及该等比对区块分别与该目标区块进行影像特征比对，并分别获得相对应的该影像差异值及每一影像差异值所对应的该检测值；其中，该参考区块所对应的该检测值为该等比对区块所对应的该等检测值中的极端值。

根据本发明进一步改进的技术方案，利用该阈值筛选对应该影像差异值的该检测值的步骤中包括：判断对应于该参考区块的该检测值是否小于或等于该阈值，当该检测值不小于且不等于该阈值时，缩小该区块尺寸以选取该目标区块，直到该检测值小于或等于该阈值；其中，该极端值为该等比对区块所对应的该等检测值中的最小值。

根据本发明进一步改进的技术方案，利用该阈值筛选对应该影像差异值的该检测值的步骤中包括：判断对应于该参考区块的该检测值是否大于或等于该阈值，当该检测值不大于且不等于该阈值时，缩小该区块尺寸以选取该目标区块，直到该检测值大于或等于该阈值；其中，该极端值为该等比对区块所对应的该等检测值中的最大值。

根据本发明的又一个方案，其提供了一种影像深度计算方案，包括：决定区块尺寸；根据该区块尺寸于目标影像选取目标区块以及于参考影像的比对区域中选取多个比对区块；该等比对区块分别与该目标区块进行影像特征比对，以分别获得该目标区块及该等比对区块的影像差异值及每一该影像差异值所对应的检测值；当该等检测值中的极端值未通过阈值的筛选时，缩小该区块尺寸以对该目标影像及该参考影像进行影像特征比对，直到该等检测值的极端值通过该阈值的筛选；以及根据调整后的该区块尺寸对该目标影像及该参考影像进行影像特征比对以获得该目标区块的深度。

根据本发明进一步改进的技术方案，根据调整后的该区块尺寸对该目标影像及该参考影像进行影像特征比对以获得该目标区块的深度的步骤中包括：根据调整后的该区块尺寸对该目标影像的该目标区块及该参考影像的参考区块进行影像特征比对，以获得相对的该影像差异值；以及根据该影像差异值计算出该目标区块的深度；其中，该参考区块所对应的该检测值为该等比对区块所对应的该等检测值中的极端值。

有关本发明的详细实施手段，将在后续的说明及附图中加以阐述。

附图说明

图1为本发明提供的一种影像深度计算方法实施例的流程图；

图2为本发明提供的方法实施例的目标影像及参考影像的示意图；

图3为本发明提供的方法实施例的目标区块及比对区块的示意图；

图4为本发明提供的方法实施例的目标影像及调整后的区块尺寸示意图；

图5为本发明提供的对照表示意图；

图6A及图6B为本发明提供的目标影像深度表示意图；

图7为本发明提供的另一种影像深度计算方法实施例的均匀区块比对流程图；以及

图8为本发明提供的目标区块与相邻区块的示意图。

主要元件符号说明

20  目标影像                    200、200’、202、204  目标区块

24  参考影像                    240、240’、244  比对区块

242  比对区域                   30  对照表

300  特色区域                   302  指标值

304  深度信息                   60  深度表

600  特色区域                   602  绝对深度

604  相对深度                   T1～T16  像素

R1～R16  像素                   L、LT、T、RT  相邻区块

S101-S135  流程步骤             S701-S709  流程步骤

具体实施方式

图1为本发明所提供的一种影像深度计算方法实施例的流程图。为便于说明，以下流程说明请同时参照图2所示的影像示意图。本实施例运用多个二维平面影像之间的像差(disparity)来计算影像深度。如图2所示的目标影像20及参考影像24分别由两个影像采集单元(如两个摄影装置)仿真人类双眼视觉角度，采集同一场景所产生的二维影像。因两个影像采集装置取像位置不同，使得产生的目标影像20与参考影像24之间的画面具有像差，画面中像差越大的对象深度越浅(距离影像采集单元越近)，像差越小的对象则深度越深(距离影像采集单元越远)。

接收目标影像20及参考影像24的处理单元(如微处理器或中央处理器)用以计算两个影像间的像差，以根据像差计算出目标影像的深度，借此可将二维影像中的画面转变为具有立体感的三维影像。

值得一提的是，在本实施例中虽然是以影像采集单元采集影像的像素数据，以供处理单元运算处理，但在实际操作上并不限于以光学感测的方式来获取影像信息，本领域中具有通常知识的技术人士亦可能以其它类型的感测元件感测空间中的信息，例如温度传感器感测空间中的温度变化、压力传感器感测空间中的压力变化量等，并转换成可量化的电气量或数值后，由处理单元根据所获得的电气量或数值之差异进行不同景物在空间中的深度运算分析。

参照图1的流程所述，本实施例可根据已知的影像分析方法，辨识出目标影像20中的一个或各个特色区域，并分析出各特色区域的指标值及其相对的深度信息，以建立关于目标影像的一对照表(S101)。所述的特色区域是指目标影像20当中，具有相同或相似的画面表现的大范围区块，例如影像中所包含的天空、墙面等区域，该等区域因为具有相同或相似的画面表现，故可将同一特色区域萃取出一共通的指标值，如亮度(luma)或色度(chroma)，也就是一共通的YUV像素值；并根据该等特色区域之间的空间关联性或遮蔽关系判断出特色区域的深度信息。所述的影像分析方法例如：根据影像画面中的线条收敛方向，判断离收敛点越远的区域深度越浅。

本实施例的步骤还包括定义一区块尺寸(S103)，由处理单元对目标影像20及参考影像24进行区块比对(block matching)，以便判断目标影像20与参考影像24的像差而获得深度信息，例如：以x轴及y轴各16个像素的宽度，定义出的区块尺寸为包括有256个像素的矩阵；再根据定义好的区块尺寸在目标影像20中选取一个目标区块200(S105)。

处理单元根据目标区块200的影像特征判断目标区块200是否为均匀区块(S107)，也就是判断目标区块200所涵盖的影像画面是否为均匀或平滑而无边缘的画面，如色彩单一且无纹理的墙面。所述的影像特征例如为目标区块20画面中的色彩、纹理或色块形状。

处理单元判断目标区块200是否为均匀区块的手段例如：比对目标区块200中每一像素的像素值，以判断是否具有相同或相近的亮度及色度；若该等像素值的亮度及色度都相同或十分相近，则判断出被选取的目标区块200为一均匀区块，该区块所显示出来的画面具有相同或十分相近的色泽或纹理；反之，若目标区块200中各像素所对应的亮度或色度差异大，则判断为一非均匀区块。非均匀的目标区块20画面中，可能包括代表不同对象的不同色块或不同形状的边缘。本实施例中会根据目标区块200是否为均匀区块的判断结果，进行不同的处理手段，以获得目标区块200的深度。

若目标区块200并非均匀区块，处理单元则更进一步在参考影像24的一比对区域(search window)242中，根据区块尺寸的大小分别选取出多个比对区块(S109)，并分别与目标区块200进行影像特征的比对和运算，以获得每一比对区块与目标区块200之间的影像差异值，以及对应于影像差异值的检测值(S111)。比对区域242用以供处理单元在比对区域242中找出与目标区块200最相近的参考区块。

比对影像特征的方式，可以采用对目标区块200与比对区块的像素进行运算的手段达成。以完全搜寻算法(full search algorithm)为例，处理单元将会在比对区域242当中根据区块尺寸依序选取出每一比对区块，分别与目标区块200进行像素比对，以找出在比对区域242当中，与目标区块200最相符的区块。例如：若比对区域242为x轴及y轴各66个像素，组成具有4356个像素的矩阵，则在比对区域242中，依据上述的区块尺寸可以分别划分出2500个比对区块(每个比对区块的起始点间距为1个像素)，并与目标区块200一一比对。

以目标区块200及比对区块240为例，处理单元一一比对目标区块200与比对区块240的每一个像素，计算出256个影像差异值，并进一步根据影像差异值计算出目标区块200与比对区块240的检测值。检测值可为影像差异值的误差绝对值总和(Sum of Absolute Difference，SAD)、平方误差值总合(Sum of Squared Difference，SSD)，或是目标区块200与比对区块240之像素间的互相关系数(Cross Correlation Coefficient)。

请参照图3所示的目标区块200’及比对区块240’示意图，以具体例示说明检测值的计算法。为便于说明，图3所示的区块的区块尺寸仅为4x4的像素矩阵，其中，目标区块200’共包括T₁、T₂到T₁₆共16个像素，而比对区块240’则相对地包括R₁、R₂到R₁₆共16个像素。

以SAD或SSD为例，当目标区块200’与比对区块240’进行像素比对时，处理单元分别计算T₁与R₁像素值的差值、T₂与R₂像素值的差值，到T₁₆与R₁₆像素值的差值，而分别获得16个影像差异值。最后，若将这16个差值的绝对值相加则为误差绝对值总和；或是将上述16个差值一一取平方值以后再相加则为平方误差值总合，借此可获得目标区块200’及比对区块240’的检测值。在另一示例中，若以NCC计算检测值，则可将目标区块200’与比对区块240’的影像差异值加权以取得互相关系数。

在比对区域242中的其它比对区块亦分别与目标区块200进行相同的运算，以分别获得相对应的检测值。

为了获得与目标区块200最相似的比对区块，因此根据选用的手段不同，处理单元更从计算出的多个检测值当中找出极端值(S113)，以及该检测值的极端值所对应到的比对区块。例如：以误差绝对值总和或平方误差值总合为检测值时，计算出来的数值越小代表目标区块200与比对区块的影像差异越小，两者越相像，此种手段中所要选择的极端值为多个检测值中的最小值；反之，以互相关系数为检测值时，系数越大代表其线性相关程度越高，因此，此时所选择的极端值可为多个检测值中的最大值。

如以误差绝对值总和或平方误差值总合为检测值为例，假设图2中所示的比对区块244与目标区块200进行像素比对后，所获得的检测值为整个比对区域242中的最小值，即可决定比对区块244为目标区块200的相对应参考区块。

根据区块尺寸圈选目标区块200时，若区块尺寸过大，可能会使目标区块200包含到具有不同景深的画面，例如所选取的目标区块200正好包含了目标影像20中的不同深度的对象时。此种情况下，即使是目标区块200与参考区块所对应的检测值是目标区块200与比对区域242中其它比对区块的检测值相较之下的极端值，也仅表示出对应到极端值的比对区块相较于其它比对区块与目标区块200的相似度更高，但不代表对应到极端值的比对区块确实与目标区块相似或相同，两者间仍可能存在过大的误差。若在进行影像对应时，将含有不同深度的画面归纳到同一区块而进行深度计算，转换出来的三维影像会产生远、近不同的景物具有相同的景深的错误，因而使得影像模糊不清，降低立体感。

因此，本实施例更进一步将检测值的极端值与一预设的阈值进行比对以筛选极端值，判断被比对的极端值是否通过筛选(S115)。当极端值为检测值中的最小值时，则判断最小检测值是否小于或等于阈值，若是，则所述的最小检测值通过阈值的筛选；而当极端值为最大值时，则判断最大检测值是否大于或等于阈值，若是，则所述的最大检测值可判断为通过阈值的筛选。

若比对结果显示出目标区块200与参考区块所对应的检测值通过阈值的筛选，代表参考区块244确实是在比对范围242内与目标区块200最相近的区块，二者所涵盖的画面最为相似，且未包含不同景深的影像。借此，即可根据目标区块200的坐标与参考区块的坐标计算出二者间的影像差异值，在本例中是指两个区块间的像差，并根据采集目标影像20与参考影像24的多个影像采集单元间的距离，以及影像采集单元焦点交会的角度，而计算出目标区块200的深度(S117)，并将被计算出来的深度加以记录。

反之，若极端值与阈值相比较的结果未能通过阈值的筛选，代表目标区块200与参考区块之间的影像特征的差异大于可容忍的范围，目标区块200或参考区块可能涵盖到不同景深的画面。为了获得正确的对应区块以计算深度，处理单元即缩小区块尺寸(S119)，例如从16x16像素的大小缩减为8x8像素的大小，使得区块尺寸调整为64个像素大小的矩阵(参考图4所示)。接着再返回步骤S105，依据调整后的区块尺寸，重新在目标影像20中选取包括64个像素的目标区块202，再次进行比对和判断。

在另一方面，当依据区块尺寸所选取的目标区块200经步骤S107判断为均匀区块时，由于该区块周围极易为相同的均匀区块，此时若以比对区域242中的多个比对区块分别与目标区块200进行像素比对，比对的结果所获得的多个检测值可能都相同，致使处理单元无法判断检测值的极端值而无法找出正确的相对应参考区块。因此，当目标区块200为均匀区块时，则不采用比对参考影像24的手段，改为比对对照表的方式来获取该目标区块200的深度。

如前所述，本实施例在步骤S101中根据其它影像分析技术辨识出目标影像20所具有的至少一个特色区域并产生对照表，当目标区块200被识别为均匀区块，则可依据目标区块200的各像素值获得该目标区块200的一特征值。例如：被选取的目标区块200所涵盖的影像为目标影像20中的天空的一部分，则整个目标区块200中的256个像素都会具有相同或极为相近的亮度及色度，对应到相同或相近的像素值，所述相同或极为相近的像素值即可作为目标区块200的特征值。

处理单元以目标区块200的特征值与比对表中所记录的各项特色区域的指标值进行比对(S121)。例如：图5所示的对照表30记录在储存单元(如只读存储器或可编程内存等)当中，分别记录有A、B、C等特色区域300的指标值302，如该等特色区域300的共通像素值，以及该等特色区域的深度信息304，分别为100、B被覆盖于(covered by)A、C被覆盖于B等。

所述的特色区域300可分别为目标影像20中的天空、山峦或道路或特殊可辨识对象等区域，深度信息304可为相对深度信息，例如：特定特色区域与其它特色区域间的空间关系(如特色区域B及C)。其中，部分特色区域的深度信息304还可包括绝对深度(例如一数值)，例如：根据特色区域A的形状或纹理而判断出所述区域的画面系为一颗篮球时，即可依据标准篮球的尺寸与特色区域A的面积比例，计算出特色区域A在目标影像20中的深度，并获得明确的数值。

根据目标区块200的特征值比对对照表30中的各指标值302后，判断是否在对照表30中比对出与特征值相同或相近的指标值(S123)：若比对出相同或相近的指标值与特征值时，选取该指标值所对应的深度信息(S125)，并将被选取的深度信息指定给目标区块200(S127)，使被选取的深度信息成为目标区块200的深度。

其中，目标区块200从对照表30所选取的深度信息可能为绝对深度信息或相对深度信息。相对深度信息是关于不同特色区域之间的空间关系，同一特色区域可能具有一个或多个不同的相对深度信息，也就是与其它的一个或多个特色区域都具有不同的空间关系。因此，选取到记录了相对深度信息的目标区块200，亦可能同时对应到一个或多个不同的空间关系。

若未比对出相同或相近的特征值而无法得知目标区块200的深度信息时，则将目标区块200标记并记录为一未知区块(S129)。

对非均匀区块进行区块比对及检测值筛选而获得深度(步骤S117)、或利用将均匀区块比对对照表20而获得深度(步骤S127)、或将均匀区块标记为未知区块(步骤S129)后，可判断目标影像20划分出来的每一目标区块是否都已经过比对(S131)。由于影像比对的顺序一般多是由左向右、由上向下依序比对，因此只要判断最近一次比对的目标区块是否为目标影像20中所划分出来的最右下区块，即可得知是否全部的目标区块都已经过比对。若判断的结果发现目标影像20中的目标区块尚未完全经过比对，则可选取次一个目标区块(S133)，并返回步骤S107继续执行。

由于每一目标区块200都属于目标影像20中至少一特色区域的一部分，因此，当整个目标影像20的每一个目标区块200都经过与参考影像进行区块比对、或参照对照表30后，可使目标影像20的大部分特色区域都通过所属的目标区块200而获得相对应的绝对深度。同时，还可根据相邻的目标区块200之间的深度及边缘形状，判断出不同特色区域之间的空间关系，使得原本在对照表30中未能提供深度信息的部分特色区域也具有相对深度信息。

而上述仅获得相对深度的特色区域，可根据其与邻近的特色区域的空间关系，推算出其绝对深度(S135)，借此而获得整个目标影像20的深度信息。

请参照图6A及图6B所示的深度表示意图。

如图6A所示，深度表60记录了目标影像20中各个特色区域600的深度信息，包括绝对深度602及相对深度604。每个特色区域600的深度信息都是来自所属的数个目标区块依序与参考影像比对、或参照对照表而产生的深度信息。

例如：特色区域A、B及C分别可根据其所对应的多个目标区块查询对照表而获得A的绝对深度为“100”单位、B的相对深度为“B被覆盖于A”，以及C的相对深度为“C被覆盖于B”。特色区域C还经由目标区块与参考区块经过影像特征比对及检测值筛选后，计算出绝对深度为“104”单位。以及特色区域E则根据所属的目标区块的区块比对，和目标区块与其它相邻的目标区块进行边缘或形状的比对后，同时获得绝对深度为“95”单位和相对深度为“E接触(touch)D”。

待所有的目标区块200皆已比对完毕后，处理单元可根据已获得的多数深度信息，对深度表60中尚未获得绝对深度的特色区域进行推算。如图6B所示，其中，特色区域B的绝对深度可根据其与特色区域A及C的空间关系，以及特色区域A及C已知的绝对深度，推算出B的绝对深度为“102”单位。而特色区域D的绝对深度则可根据与特色区域E的空间关系而推算出来同为“95”单位。

借此，依据影像区块均匀与否，分别利用不同影像中的影像区块进行影像差异比对而计算出影像差异值、或将影像区块与预设的对照表进行比对的手段，进而获得目标影像20中各个区块的深度。获得目标区块200的深度后，可将目标区块200的坐标及深度等信息记录在储存单元中，并继续根据区块尺寸选取下一个目标区块进行，直到获得整个目标影像20的深度(如图6B的深度表)，以便将目标影像转换为三维影像。

值得一提的是，当目标区块被辨识为均匀区块时，为了增加获得深度信息的速度，在另一实施例中还提供一种可减少比对次数的手段，请参阅图7所示的流程图。

当目标区块被识别为均匀区块后，处理单元仍可根据目标区块的各影像特征确定其特征值(S701)，接着以目标区块的特征值比对与所述目标区块相邻且已获得深度信息的其它区块的特征值(S703)，并判断目标区块的特征值是否与相邻且已获得深度的其它任一区块的特征值相符(S705)：若是，则可直接将相邻区块所获得的深度指定为目标区块的深度(S707)；但若经与相邻的其区块比对的结果，并未找到相符的特征值、或相邻区块并非均匀区块而无特征值时，再实行比对对照表的步骤(S709)，即接续图1步骤S119以下的程序，自对照表中寻找相对应的指标值及其深度信息。

举一具体实施例来说，请参照图8所示的目标影像示意图。假设目标影像的分辨率为1024x768像素，若根据16x16大小的区块尺寸来选取目标区块，则目标影像20可等分为3072个区块，每一列划分为64个区块(64栏)，共计48列。

一般常见的影像比对顺序是依据光栅扫描顺序(raster order)进行，也就是从目标影像20的最左上区块开始进行比对，依序向右一一完成第一列的区块比对后，再接着由下一列的最左区块开始进行比对，再依序向右直到第二列的各区块完成比对，再往下一列进行比对，依此类推。

因此，当图8中位于第N栏、第M列的目标区块204被判断为均匀区块时，与其相邻且已经获得深度信息的区块为其左区块(第N-1栏、第M列)、左上区块(第N-1栏、第M-1列)、上区块(第N栏、第M-1列)及右上区块(第N+1栏、第M-1列)。经过比对而计算出深度的各区块的信息记录在储存单元当中，包括区块的坐标、相对应的特征值及深度信息。

由于均匀区块周围的相邻区块有较高的机率亦为均匀区块，因此，若能先行在与目标区块204相邻的区块中比对出相同的特征值，即可节省以目标区块204的特征值与对照表中数量众多的指标值一一比对的时间，增加目标区块204获得深度信息的速度。因此，处理单元可于辨识出目标区块204的特征值后，根据目标区块的坐标，到储存单元读取与其相邻区块的特征值互相比对，并于比对到相符的特征值时，读取该相邻区块的深度信息以套用到目标区块204，作为目标区块204的深度信息。例如图7中的目标区块204与相邻的区块L、LT、T及RT的特征值进行比对，判断出与左区块L的特征值相符时，即读取区块L记录在储存单元的深度信息，并指定为目标区块204的深度。

反之，若与相邻的区块比对后，皆未找到相符的特征值时，则仍继续执行比对对照表的程序，由对照表中找出与目标区块204相对应的深度信息。

在另一个实施例中，若已可预先确定目标影像与参考影像的像差方向，可仅针对像差方向选取用以比对的区块，反方向的区块省略不比对，以增加运算的效率。例如：若预设目标影像相对于参考影像为左视角影像，参考影像为右视角影像，则在参考影像当中，与目标区块相对应的参考区块的坐标必然在目标区块坐标的右侧。此时可设定使处理单元在比对区域中仅选取出在目标区块坐标右侧的比对区块进行比对，以减少不必要的运算资源及时间。

借由上述实施例的说明可知，本发明所提供的影像深度计算方法，是以一区块尺寸在目标影像及参考影像中圈选多个像素进行比对，特别是以硬件方式实作区块比对时，相当于通过多个处理单元平行处理各像素的像素值比对程序；同时，本发明还通过一阈值来过滤目标区块与相对应参考区块的检测值，以及根据阈值过滤结果来调整区块尺寸的方式，修正区块比对时可能涵盖到不同景深的画面而造成立体影像模糊的问题，相较于以单点像素比对(point matching)的方式，本发明的手段不但可节省大量的运算时间，还能维持立体影像的画面清晰度。

除此之外，本发明获取影像深度的手段，除了以目标影像与参考影像相互进行像素比对之外，针对平滑、均匀的区块，更提供一预先建立的对照表，使该等均匀区块可参照对照表中的记录而获取相对应的深度信息，借此克服同色泽或同亮度的画面不易经由两个影像的像素比对而获得深度信息的问题。

然而，上述各实施例当中的元件及步骤，仅为阐述本发明所举的示例，并无限制所请求保护的范围的意图。凡遵循本发明的精神及根据本发明所揭示的技术手段，而进行些许的修饰或改变，亦属本发明所保护的范畴。

Claims (15)

1.一种影像深度计算方法，其特征在于，包括：

决定区块尺寸；

根据所述区块尺寸于目标影像选取目标区块；

依据所述目标区块的影像特征，判断所述目标区块是否为均匀区块；

当所述目标区块非为均匀区块，则根据所述区块尺寸选取参考影像的参考区块，并对所述目标区块及所述参考区块进行影像特征比对，以获得所述目标区块与所述参考区块的影像差异值；

利用阈值筛选对应于所述影像差异值的检测值，当所述检测值未通过筛选时，缩小所述区块尺寸以选取目标区块，直到所述检测值通过筛选；

根据通过筛选的所述检测值所对应的所述影像差异值，计算所述目标区块的深度；以及

当所述目标区块为均匀区块，根据所述目标区块的所述影像特征比对对照表以获得对应于所述目标区块的深度。

2.根据权利要求1所述的影像深度计算方法，其特征在于，根据所述区块尺寸选取所述参考区块，并对所述目标区块及所述参考区块进行影像特征比对以获得所述影像差异值的步骤中，包括：

根据所述区块尺寸于所述参考影像中的比对区域选取所述参考区块。

3.根据权利要求2所述的影像深度计算方法，其特征在于，根据所述区块尺寸选取所述参考区块，并对所述目标区块及所述参考区块进行影像特征比对以获得所述影像差异值的步骤中，包括：

根据所述区块尺寸于所述比对区域选取多个比对区块，这些比对区块的其中之一为所述参考区块；以及

这些比对区块分别与所述目标区块进行影像特征比对，并分别获得相对应的所述影像差异值及每一影像差异值所对应的所述检测值；

其中，所述参考区块所对应的所述检测值为这些比对区块所对应的这些检测值中的极端值。

4.根据权利要求3所述的影像深度计算方法，其特征在于，利用所述阈值筛选所述检测值的步骤中包括：

判断对应于所述参考区块的所述检测值是否小于或等于所述阈值，当所述检测值不小于且不等于所述阈值时，缩小所述区块尺寸以选取目标区块，直到所述检测值小于或等于所述阈值；

其中，所述极端值为这些比对区块所对应的这些检测值中的最小值。

5.根据权利要求3所述的影像深度计算方法，其特征在于，利用所述阈值筛选所述检测值的步骤中包括：

判断对应于所述参考区块的所述检测值是否大于或等于所述阈值，当所述检测值不大于且不等于所述阈值时，缩小所述区块尺寸以选取所述目标区块，直到所述检测值大于或等于所述阈值；

其中，所述极端值为这些比对区块所对应的这些检测值中的最大值。

6.根据权利要求1所述的影像深度计算方法，其特征在于，还包括：

根据所述目标影像的多个特色区域建立所述对照表，所述对照表包括每一所述特色区域的指标值及深度信息；

其中，根据所述目标区块的所述影像特征比对这些指标值，并于比对出与所述影像特征相符的所述指标值时，选取与相符的所述指标值对应的所述深度信息为所述目标区块的深度；

其中，根据所述目标区块的所述影像特征比对这些指标值，未比对出与所述影像特征相符的所述指标值时，标记所述目标区块为未知区块。

7.根据权利要求6所述的影像深度计算方法，其特征在于，所述目标区块比对所述对照表以获得对应于所述目标区块的深度的步骤前，还包括：

寻找与所述目标区块相邻且已获得深度的一个或多个相邻区块，并分别以这些相邻区块与所述目标区块进行所述影像特征比对；

当所述相邻区块与所述目标区块的所述影像特征相符时，选取相符的相邻区块的深度以作为所述目标区块的深度；以及

当所述相邻区块与所述目标区块的所述影像特征不符时，执行比对所述对照表的步骤。

8.根据权利要求6所述的影像深度计算方法，其特征在于，还包括：

当所述目标影像的每一目标区块已获得深度或已标记为未知区块后，利用已获得深度的目标区块与这些未知区块的空间关系，推算出每一所述未知区块的深度。

9.一种影像深度计算方法，其特征在于，包括：

决定区块尺寸；

根据所述区块尺寸对目标影像的目标区块及参考影像的参考区块进行影像特征比对，以获得所述目标区块及所述参考区块的影像差异值；

利用阈值筛选对应所述影像差异值的检测值，当所述检测值未通过筛选时，缩小所述区块尺寸以对所述目标影像及所述参考影像进行影像特征比对，直到所述检测值通过所述阈值的筛选；以及

根据调整后的所述区块尺寸对所述目标影像及所述参考影像进行影像特征比对以获得所述目标区块的深度。

10.根据权利要求9所述的影像深度计算方法，其特征在于，根据所述区块尺寸对所述目标区块及所述参考区块进行影像特征比对的步骤中，包括：

根据所述区块尺寸于所述参考影像中的比对区域选取所述参考区块。

11.根据权利要求10所述的影像深度计算方法，其特征在于，根据所述区块尺寸对所述目标区块及所述参考区块进行影像特征比对，以获得所述影像差异值的步骤中，包括：

根据所述区块尺寸于所述比对区域选取多个比对区块，这些比对区块的其中之一为所述参考区块；以及

这些比对区块分别与所述目标区块进行影像特征比对，并分别获得相对应的所述影像差异值及每一影像差异值所对应的所述检测值；

其中，所述参考区块所对应的所述检测值为这些比对区块所对应的这些检测值中的极端值。

12.根据权利要求11所述的影像深度计算方法，其特征在于，利用所述阈值筛选对应所述影像差异值的所述检测值的步骤中包括：

判断对应于所述参考区块的所述检测值是否小于或等于所述阈值，当所述检测值不小于且不等于所述阈值时，缩小所述区块尺寸以选取所述目标区块，直到所述检测值小于或等于所述阈值；

其中，所述极端值为这些比对区块所对应的这些检测值中的最小值。

13.根据权利要求11所述的影像深度计算方法，其特征在于，利用所述阈值筛选对应所述影像差异值的所述检测值的步骤中包括：

判断对应于所述参考区块的所述检测值是否大于或等于所述阈值，当所述检测值不大于且不等于所述阈值时，缩小所述区块尺寸以选取所述目标区块，直到所述检测值大于或等于所述阈值；

其中，所述极端值为这些比对区块所对应的这些检测值中的最大值。

14.一种影像深度计算方法，其特征在于，包括：

决定区块尺寸；

根据所述区块尺寸于目标影像选取目标区块以及于参考影像的比对区域中选取多个比对区块；

这些比对区块分别与所述目标区块进行影像特征比对，以分别获得所述目标区块及这些比对区块的影像差异值及每一所述影像差异值所对应的检测值；

当这些检测值中的极端值未通过阈值的筛选时，缩小所述区块尺寸以对所述目标影像及所述参考影像进行影像特征比对，直到这些检测值的极端值通过所述阈值的筛选；以及

根据调整后的所述区块尺寸对所述目标影像及所述参考影像进行影像特征比对以获得所述目标区块的深度。

15.根据权利要求14所述的影像深度计算方法，其特征在于，根据调整后的所述区块尺寸对所述目标影像及所述参考影像进行影像特征比对以获得所述目标区块的深度的步骤中包括：

根据调整后的所述区块尺寸对所述目标影像的所述目标区块及所述参考影像的参考区块进行影像特征比对，以获得相对的所述影像差异值；以及

根据所述影像差异值计算出所述目标区块的深度；

其中，所述参考区块所对应的所述检测值为这些比对区块所对应的这些检测值中的极端值。

Images