CN101025827A

CN101025827A - 动态图像的处理方法

Info

Publication number: CN101025827A
Application number: CN 200610007850
Authority: CN
Inventors: 林铭宏
Original assignee: Altek Corp
Current assignee: Altek Corp
Priority date: 2006-02-21
Filing date: 2006-02-21
Publication date: 2007-08-29
Anticipated expiration: 2026-02-21
Also published as: CN100454338C

Abstract

一种动态图像的处理方法，包括依序接收动态图像中所有的画面，并且将每一画面分成多数个宏区块。接着，将目前画面中的其中一个宏区块定义为一比对区块，并且将此比对区块内的像素，与前一个画面中一搜索窗内的一宏区块内的像素进行SAD运算，而获得一SAD临界值。然后本发明将比对区块内的像素，与还未进行过SAD运算的宏区块内的像素进行SAD运算，并且获得多数个SAD值的累加值。当SAD值的累加值大于等于SAD临界值时，则立即中断SAD运算。

Description

动态图像的处理方法

技术领域

本发明是有关于一种动态图像的处理方法，且特别是有关于一种利用绝对差之和(以下简称SAD)的动态图像的处理方法。

背景技术

动态图像是由许多静态的画面(Frame)所组合而成。当许多的静态图像依序快速的切换时，由于人眼的视觉暂留的原理，就好象图像在运动。

从数字相机所取得的数字视讯流，常常包含了在连续画面中不预期的运动(Unwanted Motion)。所谓不预期的运动，可能是因为相机在撷取视讯时的晃动而产生。为了消除这种不预期的运动，因此就会使用光学、机械或其它电子的解决方法，来侦测并且校正这些不预期的运动。然而，这些方法都非常昂贵而且复杂。另外，这些方法也不能解决因为特殊效果所产生的动态图像流中不预期的运动。为了稳定动态图像流，因此就发展了许多的数字的处理方法。

其中一种的处理方法，就是利用绝对值差的计算来处理动态图像的方法。首先将撷取进来的两个图像相减取绝对值的总和就是SAD值，然后依据最小的SAD值来找出两个图像的互相的关连，也就是找出两个图像的运动轨迹，并且利用此运动轨迹来对这两个图像进行图像处理。

然而，公知的SAD运算方法，需要将两个图像中每一个像素进行运算，因此会耗费大量的时间在进行运算。

发明内容

因此，本发明提供了一种动态图像的处理方法，可以快速的对动态图像进行处理，并且不必耗费昂贵的成本。

为解决上述问题，本发明提供了一种动态图像的处理方法，而该动态图像由数个连续的画面所组成，且每一该些画面包括数个像素，其特征在于，该处理方法包括：

依序接收该些画面；

将每一该些画面分成多数个宏区块，而每一宏区块具有一第一预设数目的像素；

将前一个画面中该些宏区块其中之一定义为一比对区块，并将该比对区块内的像素，与目前画面中一搜索窗内的一个宏区块内的图像边缘像素进行绝对差之和运算，而获得一SAD临界值，其中该搜索窗内包括一预设数目的宏区块；

将该比对区块内的像素，与该搜索窗内还未进行过绝对差之和运算的宏区块内的像素进行绝对差之和运算，并获得一运算值，其中该运算值为该宏区块内的每一该些像素进行绝对差之和运算时所产生的一SAD值的累加所得；

当累加的SAD值大于等于该SAD临界值时，则立即中断绝对差之和运算；以及

当进行绝对差之和运算的宏区块内所有像素的SAD值的累加值小于该SAD临界值时，则将该SAD临界值更新为目前进行SAD运算所获得的运算值。

本发明提供的动态图像的处理方法，可以处理动态图像。其中，动态图像是由多数个连续的画面所组成，并且每一画面包括了多数个像素。本发明的处理方法包括依序接收所有的画面，并且将每一画面分成多数个宏区块，而每一宏区块具有一预设数目的像素。另外，本发明会将目前画面中的其中一个宏区块定义为一比对区块，并且将此比对区块内的像素，与前一个画面中一搜索窗内的一个宏区块内的像素进行SAD运算，而获得一SAD临界值，其中搜索窗内包括了一预设数目的宏区块。此外，本发明将比对区块内的像素，与搜索窗内还未进行过SAD运算的宏区块内的像素SAD运算，并且获得一运算值。其中，此运算值为宏区块内每一像素进行SAD运算时所产生的一SAD值的累加所得。当累加的SAD值大于等于SAD临界值时，则立即中断SAD运算，以及当进行SAD运算的宏区块内所有像素的SAD值得累加值小于SAD临界值时，则将SAD临界值更新为目前进行SAD运算所获得的运算值。

在本发明的实施例中，比对区块会先对搜索窗内宏区块内图像边缘像素先进行SAD运算，而获得一SAD临界值。

另外，本发明更包括依据SAD临界值而取得在每一画面中的比对区块的运动向量，并且借由每一画面中的比对区块的运动向量而获得这些连续画面的运动轨迹。另外，本发明会判断每一画面中，比对区块的运动向量与运动轨迹的角度是否大于一预设角度。当有画面内的比对区块的运动向量与运动轨迹的角度大于此预设角度，则调整画面的参数，以使比对区块的运动向量趋近于运动轨迹，且使得运动轨迹能够平滑。

在较佳的情况下，上述的预设角度可以由一使用者自行来设定。

由于本发明在对搜索窗内的宏区块进行SAD运算时，只要SAD值的累加值大于SAD临界值时，就会立即中断运算，因此不会耗费太多的时间。另外，本发明也可以由使用者设定一预设角度，来作为是否校正比对区块的运动向量的依据，因此本发明可以弹性地处理因为特殊效果所产生的运动向量。

综上所述，本发明至少有以下优点：

1.由于本发明是采用数字处理的方式来处理动态图像，因此本发明不需耗费大量的成本。

2.由于本发明在进行SAD运算时，比对区块会先对搜索窗内宏区块内图像边缘像素先进行SAD运算，并且当比对区块在与搜索窗内的宏区块进行SAD运算时只要大于SAD临界值就马上终止SAD运算，因此本发明能够缩减运算时间。

3.由于本发明会依据比对区块的运动向量与运动轨迹之间的角度来进行动态图像的校正，因此能够使得画面看起来更自然。

4.本发明也允许使用者自行设定上述的预设角度，因此本发明更具有弹性。

为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为依照本发明之一较佳实施例的一种动态图像的处理方法的步骤流程图。

图2为前一个画面与目前画面进行绝对差之和的示意图。

图3为一种图像与搜索窗的示意图。

图4为依照本发明之一较佳实施例的一种计算画面的运动轨迹及轨迹滤波的方法的步骤流程图。

图5为比对区块的运动向量的示意图。

主要元件符号说明：

201、501：目前的画面

203、503：前一个画面

205、207：宏区块

301：图像

303：搜索窗

505：运动向量

S101、S103、S105、S107、S109、S111、S113、S115：动态图像的处理方法的步骤流程

S401、S403、S405、S407：计算画面的运动轨迹及轨迹滤波的方法的步骤流程

具体实施方式

图1为依照本发明之一较佳实施例的一种动态图像的处理方法的步骤流程图。请参照图1，众所皆知的，一个动态的视讯，是由许多连续的画面所组成，并且每个画面都具有多数个像素，以构成每个画面上的图像。而本发明所提出的动态图像的处理方法，是用来处理在动态的视讯中，因为噪声或是外在的因素，像是手震的情况，而影响了动态图像的品质。

请继续参照图1，首先，本发明如步骤S101所述，会接收多数个连续的画面，而这些连续的画面可以构成一个动态的视讯。由于每个画面都具有多数个像素，其可以以数组方式排列。因此，本发明会将每一个画面分成多数个宏区块(Macro Block)，如步骤S103所述。其中，每一个宏区块内都包括一第一预设数目的像素。

接着，如步骤S105所述，本发明会将目前画面(Current Frame)中的宏区块中的其中一个定义为比对区块，以便将此比对区块内的像素，与前一个画面(Pre-Frame)中的一搜索窗(Searching Window)内第一个宏区块内的像素进行SAD运算，并且获得一SAD临界值。众所皆知的，搜索窗内包括了一第二预设数目的宏区块。

图2为目前画面(Current Frame)与前一个画面(Pre-Frame)进行绝对差之和的示意图。假设201为目前画面(Current Frame)，而203为前一个画面(Pre-Frame)。在此定义，画面203为第i个画面，而201为第i-1个画面。假设在第i个画面201中，选择宏区块205为比对区块。因此，本发明会将比对区块205与第i-1个画面203中搜索窗内(即第i个画面203中的九宫格所表示)的一个宏区块进行SAD运算(假设为207)，以得到一SAD临界值。比对区块会先对搜索窗内宏区块内图像边缘像素先进行SAD运算。

请回到图1，当本发明如步骤S105所述，获得SAD临界值之后，接下来会进行S107，就是将比对区块内的像素与搜索窗内未进行过SAD运算的宏区块进行SAD运算，并且获得一运算值。所谓的SAD运算值，是宏区块中每一个像素在进行SAD运算时所获得的SAD值累加后所得到。

特别的是，在本发明中，会进行步骤S109，就是在宏区块进行SAD运算时，会实时判断累加的SAD值是否大于上述的SAD临界值。假设，当一宏区块在进行SAD运算时，本发明判断累加的SAD值已经大于等于SAD临界值时，则如步骤S111所述，直接中断SAD运算，而并不需将剩余的像素进行SAD运算。因此，本发明可以有效地缩减SAD运算的时间。

相对地，假设当将一宏区块所有的像素进行完SAD运算后，发现所有SAD的累加值，也就是该宏区块的SAD运算值小于SAD临界值时，则本发明会如步骤S113所述，将SAD临界值的数值更新为本次SAD运算所获得的运算值。当进行完步骤S111或S113后，本发明会如步骤S115所述，判断比对区块是否与搜索窗内所有的宏区块都进行过SAD运算。当还有宏区块未进行过SAD运算(也就是步骤S115所标示的“否”)，则重复进行步骤S107等步骤流程。

图1所示的流程，是为了寻找最小的SAD临界值，以便找出两个画面中对应的宏区块，并且计算对应宏区块间的运动向量，其步骤会在图4中有详细的说明。

在本发明中，当比对区块在与搜索窗内的宏区块进行SAD运算时，本发明会选择宏区块中较显著的图像边缘先进行SAD运算。例如，本发明会选择位于宏区块内图像边缘(Edge)的像素优先进行SAD运算。

图3为一种图像与搜索窗的示意图。请参照图3，假设在画面中，具有图像301，而搜索窗303则位于图像的右下角。在本发明中，搜索窗303的位置可以由系统随机选取，本发明并无限定。

本发明将目前画面和前一个画面在进行SAD运算时，会先选择宏区块中图像边缘的像素先进行SAD运算，再对其余的宏区块进行SAD运算。借此，本发明就能够快速的找出最小的SAD临界值，而加快本发明处理的速度。

图4为依照本发明之一较佳实施例的一种计算画面的运动轨迹及轨迹滤波的方法的步骤流程图。请参照图4，当本发明获得两个画面间的最小SAD临界值后，会如步骤S401所述，依据SAD临界值来取得每一画面中比对区块的运动向量。

图5为比对区块的运动向量的示意图。请参照图5，501为前一个画面，而503为后一个画面。当本发明找到最小的SAD临界值后，就可以找出同一个宏区块在两个画面中的位置，并且可以计算出其运动向量，例如箭头505所表示。

请再参照图4，当本发明如步骤S401所述，取得了比对区块的运动向量后，就可以进行步骤S403，就是依据每一画面中比对区块的运动向量，而获得所有画面的运动轨迹。在本发明中，获得运动轨迹的目的，是为了作为校正动态图像的依据，详细的说明可以参照以下的叙述。

当获得运动轨迹之后，本发明可以如步骤S405所述判断每一画面中，比对区块的运动向量与运动轨迹的角度是否大于一预设角度。假设在第k个画面中，其比对区块的运动向量与运动轨迹的角度大于预设角度。因此，本发明就判断使用者在拍摄第k个画面时，因为例如手震等的因素，而影响了拍摄的画面。因此，本发明会如步骤S407所述修正发生问题的画面的参数，也就是修正第k个画面的参数，以便将比对区块的运动向量趋近运动轨迹。借此，就可以使得运动轨迹能够平滑，以在使用者观看的时候能够表现的更自然。

然而在有些情况下，例如需要特殊的效果，而在拍摄动态图像时，可能发生大量摇动摄影机的情况。因此，本发明允许使用者自行设定上述预设角度。因此，就不会发生滤除掉原本因为特殊效果而产生的运动向量。

综上所述，本发明至少有以下优点：

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求所界定的为准。

Claims

1.一种动态图像的处理方法，而该动态图像由数个连续的画面所组成，且每一该些画面包括数个像素，其特征在于，该处理方法包括：

依序接收该些画面；

2.如权利要求1所述的动态图像的处理方法，其特征在于，其中该比对区块会先对该搜索窗内的图像边缘的宏区块进行绝对差之和运算。

3.如权利要求1所述的动态图像的处理方法，其特征在于，其中该比对区块对该搜索窗内的图像边缘的宏区块进行绝对差之和的运算后，再对该搜索窗内其余的宏区块进行绝对差之和运算。

4.如权利要求1所述的动态图像的处理方法，其特征在于，更包括：

依据该SAD临界值而取得在每一该些画面中该比对区块的运动向量；

依据每一该些画面中该比对区块的运动向量而获得该些画面的一运动轨迹；

判断每一该些画面中，该比对区块的运动向量与该运动轨迹的角度是否大于一预设角度；以及

当该些画面其中的一内，该比对区块的运动向量与该运动轨迹的角度大于该预设角度，则调整该画面的参数，使该比对区块的运动向量趋近于该运动轨迹，且使得运动轨迹能够平滑。

5.如权利要求1所述的动态图像的处理方法，其特征在于，其中该预设角度是由一使用者自行设定。