CN103108200A - 对立体影像的处理方法 - Google Patents

Abstract

本发明涉及一种对立体影像的处理方法。该处理方法包含有：从该对立体影像撷取出一对边缘影像，每一边缘影像具有多个边缘像素，该对边缘影像其中之一的每一边缘像素关联有一重迭度记录与一偏移记录；提供多个影像平移量，依序找出该对边缘影像之间的多个重迭度；以及，更新一被选取边缘像素所关联的该重迭度记录以及该偏移记录为一最大重迭度以及一最可能偏移量。该最大重迭度为该被选取关键像素有贡献的数个相关重迭度中的最大值。该最可能偏移量对应该最大重迭度。

Description

对立体影像的处理方法

技术领域

本发明有关于一对立体影像的处理方法，尤指对于一种可以简化计算过程的的立体影像处理方法。

背景技术

如同人的两眼所看到的不同影像，可以使人感受到一物体的距离一样，所谓一对立体影像，指的是在一条线上两个不同位置，对于环境或是标的物分别所获得的一对2维影像。只要从一对2维立体影像做适当的处理，就可以获得另一维度的信息，也就是获得影像中物品的距离信息，产生一3维影像。举例来说，3维影像可以使用于像监控设备或是互动式电视游乐器，用来辨识摄影机之前的物体位置。

为了从一对2维立体影像获得一3维影像，因此就需要找出2维立体影像中的偏移信息(disparity information)。举例来说，如果一对2维立体影像分别是左右两个摄影机所分别撷取到的左右影像，则靠的比较近物体，在左右影像中的偏移量，相较于比较远的物体，就会比较大。所以，要产生一3维影像，理论上就是找出两张2维影像其中之一每个像素的偏移量，或是产生对应像素的数个偏移量所构成的一偏移量图(disparity map)。

然而，已知技术中，产生偏移量图需要很复杂的计算以及相当多的存储器或暂存器。举例来说，一个已知左影像中的一个像素的偏移量决定方法，是先定义那像素四周围一定大小范围作为来源图框(source image window)，然后去找右影像，在那像素所有的偏移量中所对应的数个目标图框(destination image windows)中，跟来源图框最像的目标图框。那最像的目标图框与来源图框彼此之间的偏移量，就是那像素所对应的偏移量。这种方法需要的计算量就很惊人。尽管有一些改良的方法被提出，像是美国专利号7876954等所揭示的方法，但是实施上所需的计算量都还是很可观。

发明内容

本发明的一实施例提供一种对一对立体影像的处理方法。该对立体影像包含有一来源影像以及一目标影像。该来源影像包含有多个来源像素。该目标影像包含有多个目标像素。该方法包含有下列步骤：决定该来源影像中，具有一特征的多个来源关键像素；决定该目标影像中，具有该关键特征的多个目标关键像素；提供多个重迭度记录与多个偏移记录，关联于这些来源关键像素；在数个影像平移量下，依序找出该来源影像与该目标影像中彼此之间的数个重迭度，每一个影像平移量有一对应重迭度；以及，更新一被选取关键像素的偏移记录以及重迭度记录为一最可能偏移量以及一最大重迭度。该被选取关键像素为这些来源关键像素其中之一。该最大重迭度为该被选取关键像素有贡献的数个相关重迭度中的最大值。该最可能偏移量对应该最大重迭度。

本发明的一实施例提供一种对一对立体影像的处理方法，包含有：从该对立体影像撷取出一对边缘影像，每一边缘影像具有多个边缘像素，该对边缘影像其中之一的每一边缘像素关联有一重迭度记录与一偏移记录；提供多个影像平移量，依序找出该对边缘影像之间的多个重迭度；以及，更新一被选取边缘像素所关联的该重迭度记录以及该偏移记录为一最大重迭度以及一最可能偏移量。该最大重迭度为该被选取关键像素有贡献的数个相关重迭度中的最大值。该最可能偏移量对应该最大重迭度。

为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合附图，作详细说明如下：

附图说明

图1显示来源影像在开始决定一偏移量图前的准备动作。

图2A-2D则显示相对于图1中的每个步骤所产生的对应影像。

图3举例经过准备动作后，所产生的四个影像。

图4A以及图4B显示来源边缘影像24与目标边缘影像28在影像平移量分别为0与S时的关系。

图5显示决定一重迭边缘像素的颜色特征的区域。

图6显示依据一实施例中所使用的方法。

图7显示图6中的步骤68。

图8显示图6中的步骤70。

主要元件符号说明

12、14、16、18步骤

22单一颜色的来源影像

24来源边缘影像

26单一颜色的目标影像

28目标边缘影像

30重迭边缘像素

32区域

34区域

60、62、64、66、68、70、74、76、78、80、82、84、

86、88、90、92、94、100、102、104、106、108

步骤

具体实施方式

在以下实施例中，一来源(source)影像是一对立体影像中，其中有像素要被决定偏移量的那一个，而一目标(destination)影像则是另一个。当然，如此的命名方式，并不影响本发明的权利范围。在另一个实施例中，两者可以互换。

来源影像中的像素称为来源像素，而目标影像中的像素称为目标像素。在一实施例中，每个来源像素与每个目标像素都有RGB或是YCbCr的颜色信息。

如果每个来源像素都要找到相对应的偏移量，那需要的计算量一定很多。而且，有的来源像素的偏移量是很难判定或是没有意义的。譬如说，在一大片单色的颜色区块正中间的来源像素，其真正的偏移量就很难被正确的找到。因此，在本发明的一实施例中，只有找出来源像素中的一些关键像素(称为来源关键特征)的偏移量。如此，就可以省下许多的计算量。在一实施例中，所谓关键像素是来源或是目标影像中，被辨识为位于一物体边缘的边缘像素。在其他实施例中，关键像素可以具有其他特征。

图1显示来源影像在开始决定一偏移量图前的准备动作。图2A～2D则显示相对于图1中的每个步骤所产生的对应影像。至于针对目标影像的准备动作，可以依据图1以及图2A～2D的解释而同理推知。步骤12用一摄影机撷取来源影像，所产生的来源影像，举例来说，具有YCbCr的颜色信息，如同图2A所示，此时来源影像由Y影像、Cb影像、以及Cr影像所构成。接着，步骤14保留来源影像中，单一颜色的信息。譬如说，使来源影像仅保留有Y影像或是仅仅有灰阶的颜色信息，如同图2B所示。其他颜色信息在之后的偏移量决定时则不列入计算或是考虑，以简化运算量。接着，步骤16根据当下仅具有单一颜色来源影像，产生一边缘影像，如同图2C所示。举例来说，可以用微分的方式，找出来源影像中的边缘像素，产生一边缘影像。在一实施例中，步骤18膨胀边缘影像中的边缘，来产生新的边缘影像。譬如说，把目前所找到的边缘像素邻近一定距离内的来源像素也定义为边缘像素，进而更新了边缘影像，如同图2D所示。

图3举例经过准备动作后，所产生的四个影像：单一颜色的来源影像22、来源边缘影像24、单一颜色的目标影像26、目标边缘影像28。来源影像22与目标影像26中的五角形、圆形、长方形都是单一颜色，但是灰阶或颜色深浅不同。每个边缘影像具有数个边缘像素。从第3图中可以大致推论出来，圆形应该距离摄影机最近，而五角形在来源影像与目标影像中的位置几乎一样，所以应该距离摄影机最远。

图4A以及图4B显示来源边缘影像24与目标边缘影像28在影像平移量分别为0与S时的关系。在一个影像平移量之下，一实施例会计算出来源边缘影像24与目标边缘影像28之间的一个重迭度。以图4A为例，在影像平移量为0时，来源边缘影像24与目标边缘影像28之间的一种重迭度，可以是在相同位置有出现一对重迭边缘像素的对数，所以大概会坐落于五角形的周边的边缘像素数目、些许的长方形的边缘像素、很少的圆形的边缘像素，这些重迭边缘像素数目的总和。举例来说，总共出现了80对重迭边缘像素，所以重迭度为80。另一种比较适当但是严谨的重迭像素对的定义，除了是在影像平移量的条件下的相同位置出现的一边缘像素对外，还必须此边缘像素对所对应的两颜色特征相类似，此边缘像素对才认可为一重迭边缘像素对，列入重迭度计算。

图5显示决定一重迭边缘像素的颜色特征的区域。在一实施例中，重迭边缘像素30的颜色特征，就是其相对应的影像像素(可能在来源影像22或是目标影像28)的灰阶。在另一个实施例中，重迭边缘像素30的颜色特征，就是其四周一定区域内，所有相对应的影像像素的灰阶平均值。这个区域，可以适应用所需而决定，可以是区域32(包含9个像素)、区域34(包含25个像素)、或是其他各种形状大小的区域。

简单地说，在一实施例中，一影像平移量下的重迭度，就是来源边缘影像24与经过该影像平移量平移后的目标边缘影像28，在相同位置有出现，且相对应颜色特征相近的重迭边缘像素对的对数。因此，只要影像平移量改变，就可能产生不同的重迭边缘像素对，而产生一相对应重迭度。从以上也可以推知，每个重迭度顶多就是来源边缘像素的总数目。

如果以照相机照相调整镜头焦距来比喻，改变一影像平移量就像是在调整一镜头焦距，而所产生的重迭度等同那镜头焦距下所产生的影像清晰度。当影像清晰度最高时，其中所有在此清晰影像中所出现或是对此清晰影像有贡献的清晰物品，其跟镜头的距离，大概就会跟此最高影像清晰度所对应的镜头焦距相关。举例来说，镜头跟一个被摄影的人物的距离，大概跟在相机中出现那人物的最清晰影像时的镜头焦距相关。所以，类似的道理，只要先算出不同影像平移量下所分别产生的重迭度。接着找出一边缘像素有贡献的相关重迭度中的最大值。而这最大值所对应的影像平移量，就可以定义为那边缘像素的偏移量，对应到空间中摄影机跟贡献那边缘像素的一对应物件的距离。

图6显示依据一实施例中所使用的方法。在步骤62中，对来源边缘影像中每个来源边缘像素都提供相对应的一重迭度记录以及一偏移记录，并使其预设值分别为0与-1。在本实施例的目标，是使一来源边缘像素所对应的重迭度记录，记忆了该来源边缘像素有所贡献的相关重迭度中的最大值，而该来源边缘像素所对应的偏移记录，记忆了该最大值所对应的影像平移量。当每个来源边缘像素都经过处理后，其对应的偏移记录就大概可以组成一偏移量图，大致对应到来源影像中边缘在空间中所在的位置。

步骤64把影像平移量设定为0。

步骤66找出来源边缘影像与目标边缘影像之间所有的重迭边缘像素对。如同先前所述，在一实施例中，是否为一重迭边缘像素对，考虑的不只是在当下影像平移量下的边缘像素对的相对位置，还考虑了边缘像素对颜色的一致性。

步骤68将重迭边缘像素对的对数作为当下影像平移量下，所对应的一当下重迭度。

步骤70检查所有重迭像素对中的来源边缘像素的重迭度记录。如果一被检查到的重迭像素对中的来源边缘像素所对应的重迭度记录比起当下重迭度小，就以当下重迭度来更新那重迭度记录，同时也用当下影像平移量来更新所对应的这来源边缘像素所对应的偏移记录。反之，就不进行更新。

步骤74检查影像平移量是否已经到达极限了。如果步骤74的结果为否，则进行步骤76，让影像平移量增加1。步骤66接着步骤76后进行。

如果步骤74的结果为是，则进行步骤78结束。此时，每一来源边缘像素所对应的重迭度记录，就记忆了该来源边缘像素有所贡献的相关重迭度中的最大值，而该来源边缘像素所对应的偏移记录，记忆了该最大值所对应的影像平移量。

图7显示图6中的步骤68。步骤82先把当下重迭度归0。步骤84找出来源边缘影像与目标边缘影像中，相距有影像平移量的一边缘像素对。用另一种角度来看，就是找出当目标边缘影像平移了影像平移量后，有与来源边缘影像相重迭的一边缘像素对。步骤86检查边缘像素对所对应的两颜色特征相类似。颜色特征在图5已经解释过了，不再重述。如果边缘像素对所对应的两颜色特征相类似，步骤88决定此边缘像素对就是一重迭像素对，步骤90把当下重迭度增加1。如果在步骤92中，还有边缘像素还没有检查是否属于边缘像素对，就回到步骤84。直到所有边缘像素还检查是否属于边缘像素对过了，此时，当下重迭度就是所有重迭像素对的对数。

图8显示图6中的步骤70，其中显示如何将所有重迭像素对全部检查过一次，且把一来源边缘像素的重迭度记录与偏移记录更新。

依照本发明的实施例所揭示的方法，在最后，来源边缘像素的偏移记录就会是该像素的偏移量。至于其他不是边缘像素的像素的偏移量，可以不必要算出，或是用内差法计算得知，视应用场合而定。

在一实施例中，运算所使用的影像，只需要四个：两个单一颜色的影像、以及两个边缘影像。判别重迭像素对的方法，只需要检查两边缘像素的位置关系以及彼此颜色的相似度。重迭度的计算，只要累积重迭像素对的总数就可以获得。因此可知，本发明的实施例可以使用非常少计算量，就可以得到一来源边缘影像中，边缘像素的偏移量。

综上所述，虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当由权利要求书界定为准。

Claims (12)

1.一种对一对立体影像的处理方法，该对立体影像包含有一来源影像以及一目标影像，该来源影像包含有多个来源像素，该目标影像包含有多个目标像素，该方法包含有下列步骤：

决定该来源影像中，具有一特征的多个来源关键像素；

决定该目标影像中，具有该特征的多个目标关键像素；

提供关联于这些来源关键像素的多个重迭度记录与多个偏移记录；

依序找出该来源影像与该目标影像中彼此之间的多个重迭度，每一个影像平移量有一对应重迭度；以及

更新一被选取关键像素的偏移记录以及重迭度记录为一最可能偏移量以及一最大重迭度，该被选取关键像素被选取自这些来源关键像素，该最大重迭度为该被选取关键像素有贡献的数个相关重迭度中的最大值，该最可能偏移量对应该最大重迭度。

2.如权利要求1所述的对该对立体影像的处理方法，其特征在于，该方法另包含有：

从该来源影像，撷取一边缘影像，具有多个边缘像素，作为这些来源关键像素。

3.如权利要求2所述的对该对立体影像的处理方法，其特征在于，另包含有：

增加这些边缘像素邻近一预设范围内的来源像素，作为这些来源关键像素。

4.如权利要求1所述的对该对立体影像的处理方法，其特征在于，每一来源像素具有数种颜色数据，该决定这些来源关键像素的步骤包含有：

仅以这些颜色数据其中之一种，决定这些来源关键像素。

5.如权利要求1所述的对该对立体影像的处理方法，其特征在于，一第一影像平移量对应一第一重迭度，找出该第一重迭度的一步骤，包含有：

决定多个对重迭像素，每一对重迭像素包含有彼此相距该第一影像平移量的一第一来源关键像素以及一第一目标关键像素，且该第一来源关键像素的一颜色特征近似于该第一目标关键像素的一颜色特征；以及

依据这些重迭像素的数量，以产生该第一重迭度。

6.如权利要求5所述的对该对立体影像的处理方法，其特征在于，决定这些重迭像素的该步骤包含有：

依据该第一来源关键像素邻近一预设范围内的来源像素的颜色，决定该第一来源关键像素的该颜色特征；以及

依据该第一目标关键像素邻近该预设范围内的目标像素的颜色，决定该第一目标关键像素的该颜色特征。

7.如权利要求1所述的对该对立体影像的处理方法，其特征在于，每一重迭度不大于这些来源关键像素的总数目。

8.如权利要求1所述的对该对立体影像的处理方法，其特征在于，每一重迭度大致上由这些来源关键像素以及这些目标关键像素所决定。

9.一种对一对立体影像的处理方法，包含有：

从该对立体影像撷取出一对边缘影像，每一边缘影像具有多个边缘像素，该对边缘影像其中之一的每一边缘像素关联有一重迭度记录与一偏移记录；

获得该对边缘影像之间的多个重迭度；以及

更新一被选取边缘像素所关联的该重迭度记录以及该偏移记录为一最大重迭度以及一最可能偏移量，该被选取边缘像素被选取自这些边缘像素，该最大重迭度为该被选取关键像素有贡献的数个相关重迭度中的最大值，该最可能偏移量对应该最大重迭度。

10.如权利要求9所述的对该对立体影像的处理方法，其特征在于，一第一影像平移量对应一第一重迭度，找出该第一重迭度的一方法包含有：

找出该对边缘影像中，多个对重迭像素，每一对重迭像素对应到该对边缘影像其中之一的一第一影像像素，以及该对边缘影像其中的另一的一第二影像像素，该第一影像像素与该第二影像像素相距该第一影像平移量，且该第一影像像素的一颜色特征近似于该第二影像像素的一颜色特征；

依据这些重迭边缘像素的数目，决定该第一重迭度。

11.如权利要求9所述的对该对立体影像的处理方法，其特征在于，一选定边缘像素相对应该对立体影像其中之一的一选定影像像素，产生一选定边缘像素所对应的一选定颜色特征的方法，包含有：

依据该选定影像像素以及邻近该选定影像像素一预设距离内的影像像素的颜色，决定该选定颜色特征。

12.如权利要求9所述的提供该对立体影像的景深信息的方法，其特征在于，另包含有：

膨胀该边缘影像，以更新该边缘影像。

Images