CN101577791A - 修正手震模糊的数码图像处理方法 - Google Patents

Abstract

本发明公开一种修正手震模糊的数码图像处理方法，修正数码相机在拍摄时因为手震所造成的模糊图像，处理方法包括下列步骤：取得数码相机的安全快门时间；进行曝光调整程序，分别调整数码相机的光圈大小与感光度，并重新取得数码相机调整后的快门时间；进行拍摄程序；若数码相机的快门时间大于安全快门时间，则拍摄多张数码图像；根据这些数码图像执行图像补偿程序，将这些数码图像中相同的图像物件对齐并将数码图像的每一个像素逐一叠加，用以输出一输出图像。

Description

修正手震模糊的数码图像处理方法

技术领域

本发明涉及一种对于数码图像的处理方法，特别涉及有关于修正因为手震模糊的数码图像处理方法。

背景技术

在数码相机发展快速的今天，许多人会利用摄影来记录值得纪念的一刻。但无论在底片相机或数码相机上，往往会因为使用者对相机把持不稳定，而导致拍摄时产生模糊图像。只要是徒手拿取相机，多多少少都存在着震动的问题。差别是每个人手持的稳定程度均有所不同，导致按下快门瞬间会不自主的位移。所以为了避免因为手震而使得拍摄产生模糊图像，数码相机厂商会通过硬件方式来避免手震或以软件方式来对校正已模糊的数码图像。

所以在每一家数码相机厂商在自家的产品中，均加入不同的防手震机制。防手震机制是要在拍摄过程中，检测并抑制因为手部晃动而造成的图像模糊现象。防手震技术主要通过硬件或软件的方式来达成。

硬件的方式一般都是利用感光元件防手震以及机械式防手震。感光元件防手震是为提高感光度(International Standards Organization，以下简称ISO)能力。基本上提高ISO只是让快门可以在感受到震动之前完成动作，但提高ISO同时也会带来更高的噪声。而机械式防手震在数码相机中设置一运动检测元件。当数码相机检测到发生手震的同时，数码相机会根据手震的方向来将镜头移向反方向，借以补偿因为位移所造成的图像模糊。另外一种防手震方法是放大光圈的方式，用以增加入光量借以缩短快门时间。但是光圈大小取决于镜头组的组合架构。一般而言，大光圈的镜头具有较高的成本与体积。所以不易被设置于消费型的数码相机中。

发明内容

鉴于以上的问题，本发明的主要目的在于提供一种修正手震模糊的数码图像修正方法，应用于数码相机在拍摄时手震所造成的图像模糊。

本发明提出一种修正手震模糊的数码图像修正方法，包括下列步骤：取得数码相机的安全快门时间；进行曝光调整程序，分别调整数码相机的光圈大小与感光度，并重新取得数码相机调整后的快门时间；进行拍摄程序；若数码相机的快门时间大于安全快门时间，则拍摄多张数码图像；根据这些数码图像执行图像补偿程序，将这些数码图像中相同的图像物件将对应的像素逐一对齐，并将这些每一个像素逐一叠加，用以产生一输出图像。

本发明提出一种对数码相机拍摄中因手震而产生的模糊图像的修正方法。本发明从连续且相近的数码图像中提取相似的区域来对模糊图像进行图像的修补，借以产生新的合成图像。通过相似的数码图像来对其修补，可以提高数码图像的清晰度。

有关本发明的特征与内容，现配合附图和优选实施例详细说明如下。

附图说明

图1a为本发明的运作流程图。

图1b为曝光调整程序的运作流程图。

图1c为图像补偿程序的运作流程图。

图1d为边界模糊检测手段的运作流程图。

图1e为光流计算程序的运作流程图。

图2为图像拍摄的时间示意图。

图3a为选取视窗对图像的示意图。

图3b为选取视窗对图像的示意图。

图4为利用位置偏移量取代相应像素的示意图。

图5为产生位置偏移量的示意图。

图6为产生暂存图像的示意图。

并且，上述附图中的附图标记说明如下：

211    第一图像

212    第二图像

311    基础图像

312    比对图像

313    第一选取视窗

314    第二选取视窗

3141   第二选取视窗子区域

315    暂存图像

具体实施方式

请参考图1a所示，其为本发明的运作流程图。修正手震模糊的数码图像处理方法中包括以下步骤：首先，取得数码相机的安全快门时间，如步骤S110。进行曝光调整程序，分别调整数码相机的光圈大小与感光度，并重新取得数码相机调整后的快门时间，如步骤S120。进行拍摄程序，如步骤S130。判断相机快门时间是否小于安全快门，如步骤S140。若数码相机的快门时间小于安全快门时间，则拍摄单张数码图像，如步骤S141。若数码相机的快门时间大于安全快门时间，则拍摄多张数码图像，如步骤S142。根据这些数码图像执行图像补偿程序，对这些数码图像进行补偿，产生一输出图像，如步骤S150。

为了清楚解说每一步骤的运作，以下将针对个别步骤进行细部运作的解释。于步骤S110中，数码相机的安全快门时间依据数码相机的感光值(International Organization for Standardization，简称ISO)与光圈值所决定。安全快门指的是小于此一快门时间时，使用者发生手震的机率会最小。一般而言，安全快门的设定为焦距的倒数。举例来说，若镜头的焦距为50mm时，安全快门为(1/50)秒。所以在较大的焦距值，数码相机的安全快门时间就越短，反之亦然。除此之外，数码相机的光圈值也会影响安全快门的时间。因为在相同的快门时间，较大光圈值的入光量比小光圈值的入光量来的高，使得数码相机可以在更短的快门时间中完成感光的动作。所以数码相机可以利用较短时间的快门进行拍摄的动作。

数码相机在取得此一环境拍摄时的相应安全快门后，数码相机根据安全快门进行曝光调整程序。请参考图1b所示，其为曝光调整程序的运作流程图。在本实施例中曝光调整程序中包括以下步骤：缩短快门时间，如步骤S121。根据缩短后的快门时间判断其是否小于安全快门时间，如步骤S122。若缩短后的快门时间小于安全快门时，则进行步骤S130。若缩短后的快门时间大于安全快门时，则调整光圈值用以缩短快门时间，如步骤S123。根据缩短后的快门时间判断其是否小于安全快门时间，如步骤S124。若缩短后的快门时间仍大于安全快门时，则调整感光值用以缩短快门时间，如步骤S125。

根据步骤S125的结果，判断调整后的快门时间是否小于安全快门。若是快门时间小于安全快门时进行拍摄程序，则数码相机拍摄单张图像。若是快门时间大于安全快门时进行拍摄程序，则拍摄多张数码图像，如对应步骤S142。其中，根据当前数码相机的快门速度决定拍摄数码图像的张数。举例来说，若是快门时间大于两倍的安全快门时间，则拍摄至少两张数码图像；若是快门时间大于四倍的安全快门时间，则在此一快门时间拍摄至少四张以上的数码图像。因为快门时间大于安全快门时，数码相机产生手震的机率会提高。本实施例在此一快门时间中分别拍摄多张数码图像，并根据这些数码图像执行图像补偿程序。

特别需要说明的是，本实施例中所采用的数码图像由感光元件所输出的原始图像(RAW)。RAW档包含两种类型的信息：图像画素本身及图像的中继数据(metadata)。中继数据就是相机每次拍照所产生的“数据的数据”。举例来说，不论是RAW档或JPEG档，都包含EXIF的中继数据，其中包括：相机型号、序号、快门速度、光圈大小、焦距、闪灯有没有亮……等信息。拍摄过程中，只有三种相机设定会影响RAW档：光圈、快门与感光度。除此之外，摄影者都可以在转换过程做各种控制：不论是白平衡阐释，或色彩、阶调与细节(锐利化与噪声处理)的处理，都有很大弹性的调整空间。甚至可以针对曝光补偿重新做解释。

请参考图1c所示，其为图像补偿程序的运作流程图。图像补偿程序包括以下步骤：在步骤S125所得到的安全快门时间中的第一时间拍摄第一图像以及第二时间拍摄第二图像，如步骤S151。将第一图像与第二图像分别执行边界模糊检测手段，在两者之间决定一者为基础图像另一者为比对图像，如步骤S152。进行光流计算程序，如步骤S153，用以对齐基础图像与比对图像中的相同图像物件的每一像素位置，并产生输出图像。根据步骤S125所得到的安全快门时间，判断是否重复执行步骤S151～步骤S153，如步骤S154。

请参考图1d所示，其为边界模糊检测手段的运作流程图。在步骤S152中所述的边界模糊检测手段中还包括以下步骤：分别对第一图像与第二图像进行区域对焦手段，如步骤S1521。分别比对第一图像与第二图像的区域对焦中的边界比对值是否符合边界阈值，如步骤S1522。若第一图像与第二图像的边界比对值的任一大于边界阈值，则选择边界比对值最大者作为基础图像，另一者则为比对图像，如步骤S1523。若第一图像的边界比对值与第二图像的边界比对值均小于边界阈值的话，重新执行提取第一图像与第二图像，如步骤S1524。

请参考图1e所示，其为光流计算程序的运作流程图。在步骤S153中所述的光流计算程序中还包括下列步骤：设定第一选取视窗与第二选取视窗，如步骤S1531。第一选取视窗用以选取基础图像的部分图像。第二选取视窗用以选取比对图像的部分图像，且第一选取视窗小于第二选取视窗。计算第一选取视窗比对第二选取视窗中相应位置的像素的位置偏移量，如步骤S1532。根据每一位置偏移量从比对图像中找出与基础图像中相同图像物件的每一像素，如步骤S1533。进行一除噪声程序，如步骤S1534，用以去除比对图像中与基础图像中相同图像物件中的噪声像素。将这些像素与基础图像中相应位置的像素相叠合产生输出图像，如步骤S1535。

为清楚说明本实施例中的图像补偿程序的运作流程，在此以下例作为说明，其中所使用的各项设定并非仅局限于此说明所示，所以在此先作此说明。假设安全快门时间为1/100秒，当前快门时间为1/60秒。因为当前快门时间大于两倍的安全快门时间，所以本实施例中设定在快门时间中拍摄两张数码图像。分别于第一时间与第二时间中拍摄第一图像与第二图像。

请另外配合图2所示，其为图像拍摄的时间示意图。举例来说，将原本快门时间为1/60秒的拍摄时间，再细分成快门时间各为1/120秒的第一时间与第二时间进行拍摄。将第一图像与第二图像分别执行边界模糊检测手段，在两者之间决定一者为基础图像另一者为比对图像。其中，数码相机执行边界模糊检测手段，用以分别对第一图像与第二图像进行区域对焦手段，如对应步骤S1521。分别比对第一图像的边界比对值与第二图像的区域对焦中的边界比对值是否符合边界阈值，如对应步骤S1522。边界比对值指的是对焦时对于图像物件间的交界清晰度。若是图像物件间的边界间距越明显的话，则边界比对值越高，反之亦然。计算边界比对值可以通过图像物件边界的间距宽度来作为计算的依据。比较第一图像211与第二图像212的边界比对值。若第一图像的边界比对值与第二图像的边界比对值的任一大于边界阈值的话，选择边界比对值较大者作为基础图像，较小者则为比对图像，如对应步骤S1523。若第一图像的边界比对值与第二图像的边界比对值均小于边界阈值的话，重新执行提取第一图像与第二图像，如对应步骤S1524。

对比对图像与基础图像执行光流计算，用以从比对图像中找出相对于基础图像的像素所在位置的位置偏移量。光流(optical flow)指的是数码图像中的图像物件在多张不同图像的移动位移量。因为拍摄的过程中发生手震，使得比对图像与基础图像中的相同图像物件不会坐落于相同的位置上。在本实施例中利用光流计算用以对齐比对图像与基础图像中相同图像物件的每一像素。

请配合图1e，以下为光流计算的详细运作步骤：首先，设定第一选取视窗与设定第二选取视窗。第一选取视窗用以选取基础图像的部分图像。第二选取视窗用以选取比对图像的部分图像，且第一选取视窗小于第二选取视窗。计算第一选取视窗比对第二选取视窗中相应位置的像素的位置偏移量。在拍摄的过程因为手震的缘故，会使得基础图像311中的物件的像素位置不一定会落在与比对图像312相同的像素位置上。所以为了能找出比对图像312中与基础图像311相同的物件的所在位置。

请参考图3a、图3b与图4所示，其分别为选取视窗对图像的示意图、利用位置偏移量取代相应像素的示意图。在图3a中，在基础图像中利用第一选取视窗313来选取其部分的图像区域；在图3b中，在比对图像中利用第二选取视窗314来选取其部分的图像区域。

其中，第一选取视窗313的圈选范围取决于第二选取视窗314。第二选取视窗314中选定一个第二选取视窗子区域3141，第二视窗子区域3141的大小等同于第一选取视窗313。第二选取视窗子区域3141分别依序且重叠的方式从第二选取视窗314中选取各个区域。第一选取视窗313从第二选取视窗314由左到右、由上至下的方向进行选取。计算第二选取视窗子区域3141和第一选取窗313的相似度。相似度计算请参考式1，其为第一选取视窗在第二选取视窗中的第(i，j)像素与其周围的像素的相似度计算：

$\mathrm{Cost}=\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}(w_{\mathrm{ij}}^n\·w_{\mathrm{ij}}\·||I_1(x_{k+i},y_{l+j})-I_2(x_{m+i},y_{n+j})|\left|\right)$ 式1

(x_k，y₁)：为比对图像与基础图像中具有相同图像物件的像素位置；w_ij：第(i，j)像素的权重值；w_ij ⁿ：第(i，j)像素的噪声滤波器；I1：为比对图像；I2：为基础图像。当Cost值越小代表这两个像素的相似度越高，换句话说，就是两个像素越相似。特别值得注意的是，在本实施例中还利用噪声滤波器对噪声像素进行其像素值的调整。借以避免之后在进行像素叠合时，因为直接将噪声像素与原始像素叠加会导致叠加后的像素出现失真。当比对图像(或基础图像)的第(x_k，y₁)个像素为噪声像素时，则将w_ij ⁿ设为0，反之则将w_ij ⁿ设为1。

举例来说，假设第一选取视窗313为5*5像素阵列；第二选取视窗314为9*9像素阵列。将第一选取视窗313从第二选取视窗314由左到右、由上至下的方向进行选取。并且逐一比对第一选取视窗313相应于第二选取视窗314的像素。在此一实施例中需要对第二选取视窗314进行25回合的相似度计算。并得到25个Cost值。再从25个Cost值中选取最小的Cost值，将其视为第二选取视窗相应于第一选取视窗的相同图像物件的像素。重复的执行此一步骤，用以找出图像物件的其他相应位置的像素。

在本实施例中利用光流计算所产生的位置偏移量对比对图像312的像素位置进行修正，用以找出在基础图像311中相应的像素。在基础图像311与比对图像312中的相同图像像素利用斜纹方格作为代表。图4右方代表的是基础图像311与比对图像312的相同像素的所在位置。请参考图5所示，其为产生位置偏移量的示意图。

若是以坐标值来解说的话，基础图像311的相同像素位置为(2，3)；比对图像312的相同像素位置为(4，5)。将比对图像312与基础图像311的像素位置进行相减，可以得到比对图像312对基础图像311的像素的相对位置。两者相对位置的修正值为(2，2)，其代表将比对图像312的像素减掉修正值即为在基础图像311中相应像素位置。分别计算每一个比对图像312对基础图像311的相对位置修正值，根据这些修正值从基础图像311中找出像素。并将所找出的像素依序的组合，使其产生暂存图像315。请参考图6所示，其为产生暂存图像的示意图。

最后，将这些像素与基础图像中相应位置的像素相叠合产生输出图像。将暂存图像315中的像素对齐于基础图像311中的相应像素，再对暂存图像315与基础图像311进行图像合并处理。图像合并处理可以直接将基础图像311与暂存图像315找出相同的位置的像素，再将其叠合起来。RAW档所存储的中继数据可以提供亮度的叠合补偿，所以当两张图像相叠合时，可以得到相对应量的快门时间。最后将两张叠合后的图像输出为一清晰的输出图像。

本发明提出一种对数码相机拍摄中因手震而产生的模糊图像的修正方法。本发明从连续且相近的数码图像中提取相似的区域来对模糊图像进行图像的修补，借以产生新的输出图像。通过相似的数码图像来对其修补，可以提高数码图像的清晰度。

Claims (5)

1.一种修正手震模糊的数码图像处理方法，修正一数码相机在拍摄时手震造成的模糊图像，该图像修正方法包括下列步骤：

取得该数码相机的一安全快门时间；

进行一曝光调整程序，分别调整该数码相机的一光圈大小与一感光度，并重新取得该数码相机调整后的快门时间；

进行一拍摄程序；

若该数码相机的快门时间大于该安全快门时间，则拍摄多张数码图像；以及

根据所述多个数码图像执行一图像补偿程序用以叠合所述多个数码图像中相同图像物件的每一像素，借以产生一输出图像。

2.如权利要求1所述的修正手震模糊的数码图像处理方法，其中该图像补偿程序包括以下步骤：

在该安全快门时间中的一第一时间拍摄一第一图像以及一第二时间拍摄一第二图像；

将该第一图像与该第二图像分别执行一边界模糊检测手段，在两者之间决定一者为一基础图像另一者为一比对图像；以及

进行一光流计算程序，用以对齐该基础图像与该比对图像中的相同图像物件的每一像素位置，并产生该输出图像。

3.如权利要求2所述的修正手震模糊的数码图像处理方法，其中该边界模糊检测手段中还包括以下步骤：

分别对该第一图像与该第二图像进行区域对焦；

分别比对该第一图像与该第二图像的区域对焦中的边界比对值是否符合一边界阈值；

若该第一图像与该第二图像的边界比对值的任一大于该边界阈值，则选择边界比对值最大者作为该基础图像，另一者则为该比对图像；以及

若该第一图像的边界比对值与该第二图像的边界比对值均小于该边界阈值的话，重新执行提取该第一图像与该第二图像。

4.如权利要求2所述的修正手震模糊的数码图像处理方法，其中执行该光流计算程序中还包括下列步骤：

从该比对图像中找出相对于该基础图像的像素所在位置的一位置偏移量；

设定一第一选取视窗，用以选取该基础图像的部分图像；

设定一第二选取视窗，用以选取该比对图像的部分图像，且该第一选取视窗小于该第二选取视窗；

计算该第一选取视窗比对该第二选取视窗中相应位置的像素的该位置偏移量；

根据每一该位置偏移量从该比对图像中找出与该基础图像中相同图像物件的每一像素；

进行一除噪声程序，用以去除该比对图像中与该基础图像中相同图像物件中的噪声像素；以及

将这些像素与该基础图像中相应位置的像素相叠合，产生该输出图像。

5.如权利要求1所述的修正手震模糊的数码图像处理方法，其中进行该拍摄程序后还包括以下步骤：若该数码相机的快门时间小于该安全快门时间，则拍摄单张数码图像。

Images