CN101635789B - 动态图像补偿装置及方法 - Google Patents

Abstract

本发明揭露一种动态图像补偿装置及方法，其先暂存至少一先前画面与目前画面，目前画面具有多个区块，每一区块则具有多个像素；移动估算单元以区块为单位，并以时间方向与空间方向其中之一来估算像素的移动向量，并储存之；一内插处理单元则根据目前画面中的像素相对于先前画面所移动的方式及其移动向量来标记每一像素的类型；再根据像素的类型对应进行内插画面。因此，本发明可有效使画面更为平顺，并降低演算复杂度。

Description

动态图像补偿装置及方法

技术领域

本发明涉及一种图像动态补偿技术，特别是涉及一种利用移动估算(motion estimation)配合图像内插的动态图像补偿装置及方法。

背景技术

近年来由于网路及多媒体的蓬勃发展，也突显出数字图像技术的重要性，如何让数字图像的质量能达到让使用者满意和完美的图像呈现也成为在数字图像技术中相当重要的一环。

图像处理技术在实际生活上的应用非常广泛，例如医学图像、多媒体技术、数字相片扫描及处理等应用上，若图像处理效果不佳使得缩放后的图像失真，接下去的后续处理就等于是错误的数据处理，可能产生无法预期的结果。一般来说，处理图像缩放时，提高解析度的方法大多采用内插法(interpolation)；然而，透过沿着移动方向的内插，再配合移动补偿算法虽然可提升图像分辨率，但是当移动向量不正确时，内插出的画面中出现的错误变成移动补偿算法的主要缺陷。为改善此问题，有许多人提出不同方式解决，如台湾专利公告第254571号的快速多幅参考图框的移动估测方法，其运用一目前图框Fn及参考图框Fn-1、Fn-2、...、Fn-(k-1)及Fn-k之间；先对目前图框区块与前一张参考图框Fn-1进行特定方式的区块比对，以获得一移动向量，再由目前图框区块至参考图框Fn-(k-1)的移动向量与参考图框Fn-(k-1)至参考图框Fn-k的移动向量，组合而成目前图框区块至参考图框Fn-k的移动向量；再由移动向量组合时所产生的多个移动向量中，选择一具有最小成本函数值的移动向量；最后，依据该具有最小成本函数值的移动向量，进行精细调整，以获得最后移动向量。此专利前案虽然可提高移动向量的正确性，但由于系使用全区域搜寻法，不仅会耗费相当大的运算量，且易造成区块有破裂的产生，而降低图像的清晰度。

有鉴于此，本发明遂提出一种动态图像补偿装置及方法，以改善上述缺失。

发明内容

本发明的主要目的在于提供一种动态图像补偿装置及方法，其利用动态估算配合图像内插算法，使画面更为平顺，增加人眼接收度，且可有效降低运算复杂度。

本发明的另一目的在于提供一种动态图像补偿装置及方法，其可动态改变移动向量参考的临界值，使输入信号不论噪声大小，皆能搜寻到不错的移动向量。

本发明的再一目的在于提供一种动态图像补偿装置及方法，其利用像素为基础的移动向量的图像内插演算技术，可有效避免在移动向量估算错误时造成破坏区块的产生。

根据本发明，本发明的一实施例揭示一种动态图像补偿装置，包含至少一缓冲单元，用以储存至少一目前画面，其分为多个区块，每一区块则具有多个像素；移动估算单元，其以区块为单位，并以时间方向与空间方向其中之一来估算每一像素的移动向量，此移动向量被储存至至少一移动向量缓冲单元中；缓存单元，用于储存至少一先前画面及其像素移动向量；最后，再利用内插处理单元先进行像素标记，再根据像素的标记类型进行内插画面，其中该像素的类型包含：中间型、静止型及开始型；其中，该中间型表示由该先前画面中区块移动一半时的像素，该静止型表示由该先前画面中区块移动向量为0的像素，该开始型表示由该先前画面中区块移动一个移动向量的所属像素。

另外，本发明更揭示一种动态图像补偿方法，首先，暂存至少一先前画面以及至少一目前画面，且目前画面可区分为多个区块，各区块具有多个像素，其包含一待计算移动向量像素以及包围该待计算移动向量像素的多个周围像素；再以区块为单位估算此像素的移动向量；然后，根据目前画面中的像素相对于先前画面所移动的方式及该移动向量来标记每一像素的类型；最后根据每一像素的类型进行内插画面，其中该像素的类型包含：中间型、静止型及开始型；其中，该中间型表示由该先前画面中区块移动一半时的像素，该静止型表示由该先前画面中区块移动向量为0的像素，该开始型表示由该先前画面中区块移动一个移动向量的所属像素。

其中，由先前画面中区块移动一半时的像素标记为中间型像素，则内插画面的相同位置由先前画面移动一半时的像素补入。移动向量为0的像素标记为静止型像素，在内插画面时，由先前画面中区块的像素补入至此内插画面中的相同位置。由先前画面中区块移动一个移动向量的所属像素标记为开始型像素，在内插画面时，由目前画面中区块的像素补入至此内插画面中的相同位置处。

以下藉由具体实施例配合所附的图式详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明的动态图像补偿装置的方块示意图。

图2为本发明的动态图像补偿方法的流程示意图。

图3(a)为本发明以空间方向搜寻移动向量的示意图。

图3(b)为本发明以时间方向搜寻移动向量的示意图。

图4为本发明在利用相邻像素SAD值动态调整像素的临界值示意图。

图5(a)为本发明标记为中间型像素的示意图。

图5(b)为本发明标记为静止型像素的示意图。

图5(c)为本发明标记为开始型像素的示意图。

【主要组件符号说明】

10动态图像补偿装置

12缓冲单元

14移动估算单元

16移动向量缓冲单元

18缓存单元

20内插处理单元

22先前画面

24目前画面

26内插画面

具体实施方式

本发明所提出的动态图像补偿装置及方法，其利用动态估算同时配合图像内插算法，以藉此达到画面更为平顺，增加人眼接收度，以及降低运算复杂度等功效。再者，本发明以区块为单位来搜寻一移动向量，以下藉由3*3的区块为范例，来详细说明本发明的技术内容。

参阅图1所示，动态图像补偿装置10，包括缓冲单元(frame buffer)12，其接收至少一目前画面(current frame)，并储存此目前画面，且此目前画面区分为多个区块，每一区块具有多个像素。移动估算单元14会自缓冲单元中取得目前画面以及前一画面中的其中一个区块，此区块是包含一待计算移动向量像素以及包围该待计算移动向量像素的周围像素所产生的区块，例如3*3个像素的区块，并以此区块为计算单位，再配合以时间方向与空间方向其中之一来估算此像素的移动向量，计算所获致所有的移动向量皆可储存至移动向量缓冲单元16。当然，有一缓存单元18，用以储存已经过处理的至少一先前画面。另有一内插处理单元，其先根据目前画面中的像素相对于先前画面所移动的方式来标记此像素的类型，进而根据此像素所标记的类型进行内插画面。其中，缓冲单元12、移动向量缓冲单元16及缓存单元18可整合至同一个内存储存装置中。

前述图1为本发明的装置示意图，以下将配合图2的流程图来详细说明本发明的精神。参阅图1及图2所示，首先，提供至少一先前画面22与目前画面24，先前画面22储存于缓存单元18中，目前画面24暂存于缓冲单元12中；使先前画面22进行步骤S10，自先前画面22中去取得一个3*3区块。同时，目前画面24则进行步骤S12，自目前画面24中取得9个3*3大小的候补区块。接续进行步骤S14所示，利用移动估算单元14进行估算移动向量步骤，搜寻目前画面中所得9个候补区块，在此9个候补区块中找出与3*3区块最接近的区块，并以此为移动向量，并估算此像素的移动向量，计算时以区块为单位；详言之，9个候补区块的取得是取最大机率，由9个候补区块中最可能的移动向量先找，找不到时则放弃此区块，机率计算可由空间及时间来看。以空间方向搜寻参考图3(a)所示，由于大部分相邻像素的移动向量很接近，所以欲寻找区块中心的像素A的移动向量，是采用已知移动向量的相邻像素B及像素C作为参考点，并据此计算出该像素A的移动向量；另一种时间方向搜寻方式则参考图3(b)所示，以目前画面24中区块中心的像素对应于先前画面22中相同或相邻位置的至少二像素为参考点，例如，以先前画面中的像素D、像素E及像素F为参考点，并据此估算出像素A的移动向量，进而如步骤S15所述储存移动向量。

其中在步骤S14中，移动估算单元14更可使用一随机向量(randommotion vector)配合参考点来计算像素的移动向量。再者，由于移动向量以最小绝对误差值总和(SAD)作为依据，但每个画面的噪声会影响SAD临限值的大小，也会影响移动向量的好坏，因此本发明的移动估算单元14以像素周围之相邻像素的绝对误差值总和平均来作为目前区块中像素的临界值，如图4所示，以先前画面22中的像素D、E、F以及目前画面中的像素B及C的绝对误差值总和的平均值来作为A点的SAD临界值，并可根据输出的绝对误差值总和来动态调整临界值。

再继续参阅图1及图2所示，接续进行步骤S16的标记步骤，主要是利用目前画面24中的像素相对于先前画面22所移动的方式及其移动向量来标记每一像素的类型，将像素类型分为三种：中间型(middle)、静止型(still)以及开始型(start)，如图5(a)所示，由先前画面中区块移动一半时的像素标记为中间型像素；如图5(b)所示，移动向量为0的区块为静止型像素；如图5(c)所示，由先前画面中区块移动一个移动向量的所属像素标记为开始型像素。此外，当某个像素同时具有二种以上的类型，则会依据类型优先权顺序来标记，此类型优先权顺序由高至低分别为中间型、开始型及静止型；例如，当一像素是属于中间型像素又是属于开始型像素，则依据上述之类型优先权顺序，该像素仅会被标记为中间型，以此类推。完成此步骤之后，所有像素都标记有其所属的类型。

最后，进行步骤S18所示的内插步骤，根据每一像素的类型进行内插，用以产生内插画面26，当目前画面的区块中的像素标记为中间型像素时，内插画面的相同位置由先前画面移动一半时的像素补入；当像素标记为静止型像素时，则由先前画面中对应区块的像素补入至内插画面中的相同位置；以及当像素标记为开始型像素时，由目前画面中区块的像素补入至内插画面中的相同位置。如此，即可根据所有的像素标记完成内插动作，进而在先前画面22与目前画面24之间产生内插画面26。

由于本发明可动态改变移动向量参考的临界值，使输入信号不论噪声大小，都能搜寻到不错的移动向量。再者，本发明利用像素为基础的移动向量的图像内插演算技术，可有效避免在移动向量估算错误时造成破坏区块的产生，进而改善存在于先前技术中的该些缺失。

以上所述的实施例仅为说明本发明的技术思想及特点，其目的在使本领域技术是人员能够了解本发明的内容并据以实施，当不能以之限定本发明的范围，即大凡依本发明所揭示的精神所作的等价变化或修饰，仍应涵盖在本发明的范围内。

Claims (14)

1.一种动态图像补偿装置，包括：

至少一缓冲单元，用于储存至少一目前画面，且该目前画面区分为多个区块，每一该区块具有多个像素；

移动估算单元，其以该区块为单位，并以时间方向与空间方向其中之一来估算该像素的移动向量；

至少一移动向量缓冲单元，用以储存该像素的该移动向量；

缓存单元，用于储存至少一先前画面；以及

内插处理单元，根据该目前画面中的该像素相对于该先前画面所移动的方式来标记该像素的类型，并根据该像素的类型进行内插画面，

其中该像素的类型包含：中间型、静止型及开始型；其中，该中间型表示由该先前画面中区块移动一半时的像素，该静止型表示由该先前画面中区块移动向量为0的像素，该开始型表示由该先前画面中区块移动一个移动向量的所属像素。

2.如权利要求1所述的动态图像补偿装置，其中，当该像素具有二种以上的类型时，依据一类型优先权顺序来标记，该类型优先权顺序由高至低分别为中间型、开始型及静止型。

3.如权利要求1所述的动态图像补偿装置，其中，当该目前画面的区块中的像素标记为该中间型时，该内插画面的相同位置由该先前画面移动一半时的像素补入。

4.如权利要求1所述的动态图像补偿装置，其中，当该目前画面的区块中的像素标记为该静止型时，由该先前画面中区块的像素补入至该内插画面中的相同位置。

5.如权利要求1所述的动态图像补偿装置，其中，当该目前画面的区块中的像素标记为该开始型时，由该目前画面中区块的像素补入至该内插画面中的相同位置。

6.如权利要求1所述的动态图像补偿装置，其中，当该移动估算单元以时间方向估算该像素的移动向量时，以该目前画面中该区块的该像素相邻至少二像素为参考点，估算出该区块的该像素的移动向量。

7.如权利要求1所述的动态图像补偿装置，其中，当该移动估算单元以空间方向估算该像素的移动向量时，以该先前画面中附近的像素为参考点，估算出该区块的该像素的移动向量。

8.如权利要求1所述的动态图像补偿装置，其中该移动估算单元使用随机向量来计算该像素的移动向量。

9.如权利要求1所述的动态图像补偿装置，其中该移动估算单元以该像素周围的相邻像素的一最小绝对误差值总和来作为该目前区块的临界值，并可根据该最小绝对误差值总和来动态调整该临界值。

10.如权利要求9所述的动态图像补偿装置，其中该相邻像素可选自该目前画面与该先前画面其中之一。

11.如权利要求1所述的动态图像补偿装置，其中该缓冲单元、该移动向量缓冲单元及该缓存单元可整合至一内存储存装置。

12.如权利要求1所述的动态图像补偿装置，其中该移动估算单元以该区块为计算单位，其中该区块包含一待计算移动向量像素以及包围该待计算移动向量像素的周围像素。

13.一种动态图像补偿方法，包括：

暂存至少一先前画面以及至少一目前画面，该目前画面区分为多个区块，各该些区块具有多个像素，包含一待计算移动向量像素以及包围该待计算移动向量像素的多个周围像素；

以该区块为单位，估算该像素的移动向量；

根据该目前画面中的该像素相对于该先前画面所移动的方式及该移动向量来标记该像素的类型；以及

根据该像素的类型进行内插画面，

其中该像素的类型包含：中间型、静止型及开始型；其中，该中间型表示由该先前画面中区块移动一半时的像素，该静止型表示由该先前画面中区块移动向量为0的像素，该开始型表示由该先前画面中区块移动一个移动向量的所属像素。

14.一种动态图像补偿装置，包括：

至少一缓冲单元，用以储存至少一目前画面，且该目前画面区分为多个区块，每一该区块包含一待计算移动向量像素以及包围该待计算移动向量像素的多个周围像素；

移动估算单元，其以该区块为单位来估算该像素的移动向量；

至少一移动向量缓冲单元，用以储存该像素的该移动向量；

缓存单元，用以储存至少一先前画面；以及

内插处理单元，其根据该目前画面中的该像素相对于该先前画面所移动的方式来标记该像素的类型，其中，由该先前画面中区块移动一半时的像素标记为该中间型，由该先前画面中区块移动向量为0的像素标记为该静止型，以及由该先前画面中区块移动一个移动向量的所属像素标记为开始型；再根据该像素的类型进行内插画面，其中，当该像素标记为该中间型时，该内插画面的相同位置由该先前画面移动一半时的像素补入；当该像素标记为该静止型时，由该先前画面中区块的像素补入至该内插画面中的相同位置；以及当该像素标记为该开始型时，由该目前画面中区块的像素补入至该内插画面中的相同位置。

Images