CN102340618B - 决定影像间偏移量的方法 - Google Patents

Abstract

本发明是有关于一种决定影像间偏移量的方法，将第一影像的第一像素资料阵列映射(map)得到第一特征阵列，其维度小于第一像素资料阵列；且将第二影像的第二像素资料阵列映射得到第二特征阵列，其维度小于第二像素资料阵列。匹配(align)第一特征阵列与第二特征阵列，该匹配决定第一特征阵列与多个移动(shifted)的第二特征阵列之间的相似度。其中，具最高相似度的第二特征阵列的位移量即决定为二影像之间的偏移量。

Description

决定影像间偏移量的方法

技术领域

本发明涉及一种数字影像处理，特别是涉及一种决定影像间偏移量的方法。 

背景技术

随着像素数量的不断提升及光学性能的复杂化，防手震已成为相机不可或缺的功能之一，特别是对于中高阶的相机。 

防手震功能可以分为两个步骤。第一为侦测震动造成的影像偏移量，第二为依据偏移量采取对应的补救措施。经决定的震动量则可用以调整相机参数，例如调高光圈或曝光值(例如ISO值)。经决定的震动量也可用于摄影机中，以移动图框(frame)，以避免影像晃动。震动量或偏移量可以使用电子设备如陀螺仪侦测，也可使用影像处理技术来达成。使用电子设备的成本相当高昂，相对上使用影像处理技术成本较低。然而，传统防手震影像处理技术的计算量相当大、容易造成误判或易受杂讯影响。 

鉴于传统防手震影像处理技术的各种缺点，因此亟需提出一种新颖的防手震机制，不但能降低制造成本，且能增快处理速度以实现即时(real time)的应用。 

由此可见，上述现有的数字影像处理在产品结构与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品及方法又没有适切的结构及方法能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新的决定影像间偏移量的方法，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。 

有鉴于上述现有的数字影像处理存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新的决定影像间偏移量的方法，能够改进一般现有的数字影像处理，使其更具有实用性。经过不断的研究、设计，并经过反复试作样品及改进后，终于创设出确具实用价值的本发明。 

发明内容

本发明的主要目的在于，克服现有的数字影像处理存在的缺陷，而提供一种新的决定影像间偏移量的方法，所要解决的技术问题是提出一种简单、具成本效率及快速的影像间偏移量的决定方法，非常适于实用。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种决定影像间偏移量的方法，其包含： 

将一第一影像的第一像素资料阵列映射(map)得到至少一第一特征阵列，该第一特征阵列的维度小于该第一像素资料阵列； 

将一第二影像的第二像素资料阵列映射得到至少一第二特征阵列，该第二特征阵列的维度小于该第二像素资料阵列； 

匹配(align)该第一特征阵列与该第二特征阵列，该匹配决定该第一特征阵列与多个移动(shifted)的该第二特征阵列之间的相似度，其中该些移动的第二特征阵列各具不同位移量； 

其中具最高相似度的该第二特征阵列的位移量即决定为该二影像之间的偏移量； 

所述的第一特征阵列的每一要素根据该第一像素资料阵列相应行或列的像素资料经相加或相乘而映射得到，且所述的第二特征阵列的每一要素根据该第二像素资料阵列相应行或列的像素资料经相加或相乘而映射得到。 

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。 

前述的决定影像间偏移量的方法，其中所述的第一像素资料阵列及第二像素资料阵列为二维，且该第一特征阵列及第二特征阵列为一维。 

前述的决定影像间偏移量的方法，其中所述的至少一第一特征阵列包含一第一水平特征阵列及一第一垂直特征阵列，且该至少一第二特征阵列包含一第二水平特征阵列及一第二垂直特征阵列。 

前述的决定影像间偏移量的方法，其中所述的第一水平特征阵列的每一要素(element)根据该第一像素资料阵列相应行(column)的像素资料而映射得到，且该第一垂直特征阵列的每一要素根据该第一像素资料阵列相应列(row)的像素资料而映射得到；且该第二水平特征阵列的每一要素根据该第二像素资料阵列相应行的像素资料而映射得到，且该第二垂直特征阵列的每一要素根据该第二像素资料阵列相应列的像素资料而映射得到。 

前述的决定影像间偏移量的方法，其中所述的第一水平特征阵列的每一要素为该第一像素资料阵列相应行的像素资料之和，且该第一垂直特征阵列的每一要素为该第一像素资料阵列相应列的像素资料之和；且该第二水平特征阵列的每一要素为该第二像素资料阵列相应行的像素资料之和，且该第二垂直特征阵列的每一要素为该第二像素资料阵列相应列的像素资料之和。 

前述的决定影像间偏移量的方法，其中所述的第一水平特征阵列的每一要素为该第一像素资料阵列相应行的像素资料之乘积，且该第一垂直特 征阵列的每一要素为该第一像素资料阵列相应列的像素资料之乘积；且该第二水平特征阵列的每一要素为该第二像素资料阵列相应行的像素资料之乘积，且该第二垂直特征阵列的每一要素为该第二像素资料阵列相应列的像素资料之乘积。 

前述的决定影像问偏移量的方法，其中所述的第一特征阵列和该第二特征阵列的相似度为该第一特征阵列和该第二特征阵列的相应要素的绝对差值之和(SAD)。 

前述的决定影像间偏移量的方法，其中所述的第一特征阵列和该第二特征阵列的相似度为该第一特征阵列和该第二特征阵列的相应要素的平方差值之和(SSD)。 

前述的决定影像间偏移量的方法，其中所述的第一特征阵列的部分要素根据其相邻要素经由内插而得到。 

前述的决定影像间偏移量的方法，其中所述的移动的第二特征阵列于一预设移动范围内进行移动。 

前述的决定影像间偏移量的方法，其中当该最高相似度一直低于一预设值时，则将最大位移量视为该二影像间的偏移量。 

本发明与现有技术相比具有明显的优点和有益效果。由以上可知，为达到上述目的，本发明提供了一种决定影像间偏移量的方法，根据本发明实施例，将第一影像的第一像素资料阵列映射得到至少一第一特征阵列，其维度小于第一像素资料阵列。将第二影像的第二像素资料阵列映射得到至少一第二特征阵列，其维度小于第二像素资料阵列。匹配第一特征阵列与第二特征阵列，该匹配决定第一特征阵列与多个移动的第二特征阵列之间的相似度，其中该些移动的第二特征阵列各具不同位移量。藉此，具最高相似度的第二特征阵列的位移量即决定为二影像之间的偏移量。 

多个位移量借由上述技术方案，本发明决定影像间偏移量的方法至少具有下列优点及有益效果：本发明提出一种简单、具成本效率及快速的影像间偏移量的决定方法，非常适于实用，不但能降低制造成本，且能增快处理速度以实现即时(real time)的应用。 

综上所述，本发明是有关于一种决定影像间偏移量的方法，将第一影像的第一像素资料阵列映射(map)得到第一特征阵列，其维度小于第一像素资料阵列；且将第二影像的第二像素资料阵列映射得到第二特征阵列，其维度小于第二像素资料阵列。匹配(align)第一特征阵列与第二特征阵列，该匹配决定第一特征阵列与多个移动(shifted)的第二特征阵列之间的相似度。其中，具最高相似度的第二特征阵列的位移量即决定为二影像之间的偏移量。本发明在技术上有显著的进步，并具有明显的积极效果，诚为一新颖、进步、实用的新设计。 

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。 

附图说明

图1流程图显示本发明实施例的影像间偏移量的决定方法。 

图2显示第一图的映射步骤的详细流程图。 

图3例示以条形图来表示特征X/Y阵列。 

图4例示第一特征X阵列及一些移动第二特征X阵列。 

10A-12B：步骤 

110-112：步骤 

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的决定影像间偏移量的方法其具体实施方式、结构、方法、步骤、特征及其功效，详细说明如后。 

有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚的呈现。为了方便说明，在以下的实施例中，相同的元件以相同的编号表示。 

图1流程图显示本发明实施例的影像间偏移量的决定方法。本实施例可适用于数字相机、具数字相机的移动电话、摄影机或其他摄像(imaging)装置。例如，根据所决定的影像间偏移量，可补偿数字相机或具数字相机的移动电话的撷取相片的震动。又例如，根据所决定的影像间偏移量，可补偿摄影机的相邻图框间的震动。 

于步骤10A和10B，分别接收第一影像及第二影像。该二影像可以是数字相机或具数字相机的移动电话于预览(preview)模式下的二相邻图框，或者是摄影机所录制的二相邻图框。第一/第二影像包含有第一/第二像素资料阵列。在本实施例中，第一像素资料阵列及第二像素资料阵列是二维的(2D)。然而，第一像素资料阵列及第二像素资料阵列的维度也可大于二。 

接着，于步骤11A，将第一影像的第一像素资料阵列映射(map)至一或多个第一特征(feature)阵列，其维度小于第一像素资料阵列的维度。在本实施例中，将第一像素资料阵列映射至(一维，1D)第一水平(X)特征阵列及第一垂直(Y)特征阵列。同样地，于步骤11B，将第二影像的第二像素资料阵列映射至一或多个第二特征阵列，其维度小于第二像素资料 阵列的维度。在本实施例中，将第二像素资料阵列映射至(一维，1D)第二水平(X)特征阵列及第二垂直(Y)特征阵列。虽然本实施例将二维像素资料阵列映射至二个一维特征阵列，然而在其他实施例中，则可使用其他的映射方式。例如，将三维影像映射至三个二维的特征阵列，或者映射至三个一维的特征阵列。 

图2显示图1的映射步骤(亦即，步骤11A或11B)的详细流程图。于步骤110，根据(2D)第一像素资料阵列的每一行(column)，以映射得到(1D)第一特征X阵列的相应组成要素(element)。例如，将一行中像素资料相加之和作为特征X阵列的相应要素。图3例示以条形图(bar chart)来表示特征X阵列。在另一例子中，则是将一行中像素资料相乘的积作为特征X阵列的相应要素。同样地，于步骤112，根据(2D)第一像素资料阵列的每一列(row)，以映射得到(1D)第一特征Y阵列的相应组成要素。例如，将一列中像素资料相加之和或相乘的积作为特征Y阵列的相应要素，如图3所示。第二特征X/Y阵列的组成要素也可依步骤110/112的方法映射得到。 

接着，于步骤12A(图1)，进行(1D)第一特征X阵列与第二特征X阵列的匹配(align)。在本实施例中，决定第一特征X阵列与一些移动(shifted)第二特征X阵列之间的相似度，其中该些移动第二特征X阵列各具不同的移动。图4例示第一特征X阵列及一些移动第二特征X阵列。在本实施例中，第一特征X阵列与(不具位移量或具位移量)第二特征X阵列之间的相似度为第一特征X阵列与第二特征X阵列的相应要素的绝对差值之和(sum of absolute differences，SAD)。第一特征X阵列(FeatureX1)与第二特征X阵列(FeatureX2)的SAD可表示如下： 

$\underset{i=1}{\overset{7}{\mathrm{\Σ}}}\mathrm{abs}(\mathrm{FeatureX}1\left(i\right)-\mathrm{FeatureX}2\left(i\right)).$

在另一例子中，第一特征X阵列与(不具位移量或具位移量)第二特征X阵列之间的相似度为第一特征X阵列与第二特征X阵列的相应要素的平方差值之和(sum of square diffefences，SSD)。第一特征X阵列(FeatureX1)与第二特征X阵列(FeatureX2)的SSD可表示如下： 

$\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{(\mathrm{FeatureX}1\left(i\right)-\mathrm{FeatureX}2\left(i\right))}^2.$

同样地，于步骤12B(图1)，进行(1D)第一特征Y阵列与第二特征Y阵列的匹配。在本实施例中，决定第一特征Y阵列与一些移动第二特征Y阵列之间的相似度(例如SAD或SSD)。 

藉此，具最高相似度(例如，当SAD或SSD为最小)的第二特征X/Y阵列的位移量(shift)即决定为二影像之间的偏移量。如图4所示，第一特征X阵列和具二像素位移量的第二特征X阵列最为相似，且两者间的SAD或SSD也具最小值。 

在另一实施例中，并未处理每一行以映射得到特征X，或者并未处理每一列以映射得到特征Y，因此，得以加速处理。对于未处理的行/列所相应的阵列要素，则可藉由其相邻要素经由内插而得到。 

在又一实施例中，第二特征X/Y阵列的移动范围并非预设或固定，而是可以动态变动的。例如，当SAD或SSD变化不明显时，则可动态增加移动范围。在一实施例中，当SAD或SSD一直大于一预设值时，则将最大位移量视为二影像间的最终偏移量。 

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。 

Claims (11)

1.一种决定影像间偏移量的方法，其特征在于包含： 

将一第一影像的第一像素资料阵列映射得到至少一第一特征阵列，该第一特征阵列的维度小于该第一像素资料阵列； 

将一第二影像的第二像素资料阵列映射得到至少一第二特征阵列，该第二特征阵列的维度小于该第二像素资料阵列； 

匹配该第一特征阵列与该第二特征阵列，该匹配决定该第一特征阵列与多个移动的该第二特征阵列之间的相似度，其中该些移动的第二特征阵列各具不同位移量； 

其中具最高相似度的该第二特征阵列的位移量即决定为该二影像之间的偏移量； 

所述的第一特征阵列的每一要素根据该第一像素资料阵列相应行或列的像素资料经相加或相乘而映射得到，且所述的第二特征阵列的每一要素根据该第二像素资料阵列相应行或列的像素资料经相加或相乘而映射得到。 

2.根据权利要求1所述的决定影像间偏移量的方法，其特征在于其中所述的第一像素资料阵列及第二像素资料阵列为二维，且该第一特征阵列及第二特征阵列为一维。 

3.根据权利要求2所述的决定影像间偏移量的方法，其特征在于其中所述的至少一第一特征阵列包含一第一水平特征阵列及一第一垂直特征阵列，且该至少一第二特征阵列包含一第二水平特征阵列及一第二垂直特征阵列。 

4.根据权利要求3所述的决定影像间偏移量的方法，其特征在于其中所述的第一水平特征阵列的每一要素根据该第一像素资料阵列相应行的像素资料而映射得到，且该第一垂直特征阵列的每一要素根据该第一像素资料阵列相应列的像素资料而映射得到；且该第二水平特征阵列的每一要素根据该第二像素资料阵列相应行的像素资料而映射得到，且该第二垂直特征阵列的每一要素根据该第二像素资料阵列相应列的像素资料而映射得到。 

5.根据权利要求4所述的决定影像间偏移量的方法，其特征在于其中所述的第一水平特征阵列的每一要素为该第一像素资料阵列相应行的像素资料之和，且该第一垂直特征阵列的每一要素为该第一像素资料阵列相应列的像素资料之和；且该第二水平特征阵列的每一要素为该第二像素资料阵列相应行的像素资料之和，且该第二垂直特征阵列的每一要素为该第二像素资料阵列相应列的像素资料之和。 

6.根据权利要求4所述的决定影像间偏移量的方法，其特征在于其中所述的第一水平特征阵列的每一要素为该第一像素资料阵列相应行的像素资料之乘积，且该第一垂直特征阵列的每一要素为该第一像素资料阵列相应列的像素资料之乘积；且该第二水平特征阵列的每一要素为该第二像素资料阵列相应行的像素资料之乘积，且该第二垂直特征阵列的每一要素为该第二像素资料阵列相应列的像素资料之乘积。 

7.根据权利要求2所述的决定影像间偏移量的方法，其特征在于其中所述的第一特征阵列和该第二特征阵列的相似度为该第一特征阵列和该第二特征阵列的相应要素的绝对差值之和。 

8.根据权利要求2所述的决定影像间偏移量的方法，其特征在于其中所述的第一特征阵列和该第二特征阵列的相似度为该第一特征阵列和该第二特征阵列的相应要素的平方差值之和。 

9.根据权利要求1所述的决定影像间偏移量的方法，其特征在于其中所述的第一特征阵列的部分要素根据其相邻要素经由内插而得到。 

10.根据权利要求1所述的决定影像间偏移量的方法，其特征在于其中所述的移动的第二特征阵列于一预设移动范围内进行移动。 

11.根据权利要求1所述的决定影像间偏移量的方法，其特征在于其中当该最高相似度一直低于一预设值时，则将最大位移量视为该二影像间的偏移量。 

Images