CN100361158C

CN100361158C - 数字图像数据处理方法

Info

Publication number: CN100361158C
Application number: CNB03146484XA
Authority: CN
Inventors: 林文国
Original assignee: Silicon Integrated Systems Corp
Current assignee: Silicon Integrated Systems Corp
Priority date: 2003-07-16
Filing date: 2003-07-16
Publication date: 2008-01-09
Anticipated expiration: 2023-07-16
Also published as: CN1570971A

Abstract

本发明为一种数字图像数据处理方法，其主要是将一输入的图像数据切割成多个区块，然后分别对每一区块做解区块程序及解环状程序，因此可减少内存的空间，以达到数据处理的实时性的目的。

Description

数字图像数据处理方法

技术领域

本发明为一种数字图像数据处理方法，是关于一种可节省内存空间的数字图像数据处理方法。

背景技术

目前数字图像数据，例如静止数字图像(digital still image)或是数字图像帧(digital video frames)皆具有一些传统的缺陷，其一称为区块缺陷(blocking artefact)，另一称之为环状缺陷(ringing artefact)。区块缺陷的成因是因其压缩方式是以区块结构为基础的压缩方式；例如离散余弦转换(DCT)，这是在压缩过程中由于邻近区块边缘的不连续造成的。而环状缺陷则是在对象的边缘有模糊的情形发生，其是因为在压缩时舍弃高频率系数所造成的缺陷。

上述这两种缺陷会降低画面的品质，并使观赏画面的使用者有不良的视觉印象，因此，为了增进画面品质，可利用解区块程序(deblockingprocess)及解环状程序(deringing process)去解决区块缺陷以及环状缺陷的问题。

传统的解区块流程及解环状流程如图1所示，首先在步骤10中输入一图像后执行一解区块程序，此解区块程序包括在步骤11中过滤垂直边缘，以及在步骤12中过滤水平边缘。然后执行解环状程序，解环状程序包括了在步骤13中产生一参考影像，以及在步骤14中执行空间低通滤波(Spatiallow-pass filtering)；最后在步骤15输出图像，完成解区块流程及解环状流程的处理。

图2a所示为图1中解区块程序的概念示意图，是将一图像2切割成多个区块20，区块20与区块20之间定义为区块边缘(Block Boundary)200；图2b为图2a中虚线部分的部分放大示意图，每一区块20中含有多个像素21，在解区块过程中可沿着每一区块20的边缘对每一列像素22或每一行像素23执行垂直或水平的低通滤波程序，如此可使得每一区块边缘200的不连续部分变得较平滑。

图3a为图1中解环状程序的概念示意图，是在一图像3上通过一空间滤波罩30(Spatial filtering mask)执行一空间低通滤波(Spatiallow-pass filtering)程序以使环状缺陷平滑化，但使用空间低通滤波也会使对象边缘300变模糊，为防止这种问题，亦可如图3b所示使用一二元参考图像3’(binary reference map)使其在对象边缘300’不使用空间低通滤波；若图像中的值在一窗口框中都相同(例如第一窗口框31’(mask window 1)及第二窗口框32’(mask window 2))，则可使用空间低通滤波；若图像中的值在一窗口框中并不相同(例如第三窗口框33(mask window3))，则不使用空间低通滤波；由于此种做法为现有技术且并非本发明的重点，在此不再赘述。

图4为图1中使用解区块流程及解环状流程的系统架构图，包括一第一内存40、一连接至第一内存40的解区块模块41、一连接至解区块模块41的解环状模块42及一连接至解环状模块42的第二内存43；其中第一内存40可供输入一整张的图像数据；解区块模块41包括一滤波处理器410及一缓存器411，用以提供滤波功能及暂存数据；解环状模块42包括一参考图像产生器420、一空间滤波处理器421及一参考图像缓存器422，参考图像产生器420用以产生一参考图像送至参考图像缓存器422中，然后传至空间滤波处理器421进行空间滤波程序，最后输出至第二内存43中。

然而传统的解区块及解环状程序在数据处理上较耗费时间，这是因为每一处理步骤都需要处理一整张画面的数据；因此进行每一处理步骤时都需等待前一步骤将一整张画面数据处理完。

更进一步的是，因为处理时是以整张画面数据为单位处理，因此需较大的内存容量来储存暂存的数据；以现有技术的做法而言，其需要的内存容量至少为画面数据的两倍，一为画面数据，另一为参考图像数据(reference map data)；换言之，如果一画面具有M列扫描线，且每列扫描线上有N个像素时，那么内存需2×M×N位的总记忆空间以用来储存输入的图像数据(source data)及输出图像数据(destination data)，另需M×N/8位用来储存参考位图像(reference binary map)。因此，若在图4中输入的画面数据具有M×N位，那内存的总记忆空间则需2.125×M×N位甚至更多。

因此，传统的解区块及解环状程序需要较大的内存空间，且处理过程也较费时，实时性较差。

为解决上述传统解区块及解环状程序所遇到的问题，本发明提出一种数字图像数据处理方法使其更有效率且节省内存空间。

发明内容

本发明为一种数字图像数据处理方法，其主要是将一输入的图像数据切割成多个区块，然后分别对每一区块做解区块程序及解环状程序，如此可减少内存空间，以达到数据处理实时性的目的。

为达到上述目的，本发明的数字图像数据处理方法是先将一欲输入的图像分割成多个区块，且每一区块的位置与邻近区块边缘部分重叠；接着再依次对每一区块进行解区块程序及解环状程序，最后将处理完毕的区块重组后输出，完成解区块流程及解环状流程。

有关本发明的详细内容及技术，现配合附图说明如下：

附图说明

图1为现有技术的解区块流程及解环状流程示意图；

图2a所示为图1中解区块程序的概念示意图；

图2b为图2a中虚线部分的放大示意图；

图3a为图1中解环状程序的概念示意图；

图3b为使用二元参考图像的平面示意图；

图4为图1中使用解区块流程及解环状流程的系统架构图；

图5为本发明的数字图像数据处理方法一优选实施例的流程示意图；

图6为在本优选实施例中将一图像分割成多个数据区块的平面示意图；

图7为本发明优选实施例中解区块程序的示意图；及

图8为本发明优选实施例的系统架构示意图。

【符号说明】

2..........................................图象；

20........................................ 区块；

200.......................................区块边缘；

21........................................像素；

22........................................列像素；

23........................................行像素；

3.........................................图象；

30........................................空间滤波罩；

300.......................................对象边缘；

3’.......................................二元参考图像；

300’.....................................对象边缘；

31’......................................第一窗口框；

32’......................................第二窗口框；

33........................................第三窗口框；

40、40’..................................第一内存；

41、41’..................................解区块模块；

42、42’..................................解环状模块；

43、43’..................................第二内存；

410.......................................滤波处理器；

411.......................................缓存器；

42........................................ 解环状模块；

420....................................... 参考图像产生器；

421....................................... 空间滤波处理器；

422....................................... 参考图像缓存器；

6..........................................图象；

60........................................ 离散余弦转换区块；

61、62、63.............................. 数据区块；

600....................................... 交点；

70........................................ 垂直区块边缘；及

71........................................ 水平区块边缘。

具体实施方式

图5为本发明的数字图像数据处理方法一优选实施例的流程示意图，包括下列步骤：

首先，进行步骤50，输入一图像(picture)数据，此图像数据为离散余弦转换(DCT)的压缩方式，其具有多个离散余弦转换区块，离散余弦转换区块与离散余弦转换区块之间形成有区块边缘，接着在步骤51中将此图像再分割为多个区块数据，每一区块数据与邻近相接的区块数据边缘重叠；接着在步骤52中输入其中一区块数据至第一内存中。

进行解区块程序，首先在步骤53中于输入区块数据中沿着离散余弦转换区块(DCT区块)的垂直边缘进行低通滤波；步骤54中再沿着离散余旋转换区块(DCT区块)的垂直边缘部分进行低通滤波。

进行解环状程序，进行步骤55产生一二元参考图像(Binary referencemap)以表示出对象的边缘；然后在步骤56中执行空间低通滤波以去除环状缺陷(ringing artifacts)；步骤57则将该区块数据输出至内存中；并在步骤58中判断是否为最后一区块；若是则进入步骤59输出图像；若否则返回步骤52输入下一区块数据。

图6为在本优选实施例中将一图像分割成多个数据区块的平面示意图，其图像6由数个离散余弦转换区块(DCT)60组成，数据区块61与邻近相接的数据区块62、63边缘形成部分重叠区域610，重叠区域610的数据仅供参考；未重叠部分的数据区块611则为欲处理的数据，例如在本优选实施例中每一数据区块61为10×10个像素，但仅有8×8个像素的数据将被处理。

图7为本发明优选实施例中解区块程序的示意图，其中v0至v9为每一行垂直像素70或每一列水平像素71的系数，在图中沿着每一水平区块边缘71扫描像素或沿着每一垂直区块边缘70扫描像素，并将扫描到的行(或列)像素带入一已知的运算公式算出平滑系数值(smoothness)，并通过其判断此离散余旋转换区块是处于平滑区域或非平滑区域，此运算公式在本实施例中如下所示：

平滑系数值(smoothness)＝φ(v0-v1)+φ(v1-v2)+φ(v2-v3)+φ(v3-v4)+φ(v4-v5)+φ(v5-v6)+φ(v6-v7)+φ(v7-v8)+φ(v8-v9)

若|γ|≤THR1则φ(γ)＝1，否则φ(γ)＝0；在本实施例中THR1＝2

接下来即可根据平滑系数值决定要使用长滤波模式或是短滤波模式；若平滑系数值大于一第二临界值(THR2)，则使用长滤波模式，若不大于第二临界值(THR2)则使用短滤波模式，在本实施例中其第二临界值为6。

若选择长滤波模式，则滤波模式步骤如下所示：

max＝MAX(v1，v2，v3，v4，v5，v6，v7，v8)，

min＝MIN(v1，v2，v3，v4，v5，v6，v7，v8)，

若

(| \max - \min | < 2 QP) {

Σ_{k = - 4}^{4} b_{k} \cdot p_{n + k}, 1 \leq n \leq 8

p_{m} = \{\begin{matrix} (| v_{1} - v_{0} < QP |) ? v_{0} : v_{1} ifm < 1 \\ v_{m}, if 1 \leq m \leq 8 \\ (| v_{8} - v_{9} < QP |) ? v_{9} : v_{8} ifm > 8 \end{matrix}\}

{b_{k} : - 4 \leq k \leq 4} = {1,1,2,2,4,2,2,1,1,} / / 16

}

否则将不会改变。

另一方面，若选择的是短滤波模式，则进行下列步骤：

V₄′＝V₄-d，

V₅′＝V₅+d，

以及d＝CLIP(5·(a3，0’-a3，0)//8，0(V4-V5/2)δ(|a_3.0|＜QP)

其中a_3.0’＝SIGN(a_3.0)·MIN(a_3.0|，|a_3.1|，|a_3.2|)，

a_3.0＝ROUND(([2-55-2]·[V3V4V5V6]T)/8)，

a_3.1＝ROUND(([2-55-2]·[V1V2V3V4]T)/8)，

a_3.2＝ROUND(([2-55-2]·[V5V6V7V8]T)/8)，

由于上述处理步骤中的运算公式为已知且为该领域技术人员所熟悉，在此不再赘述。

另外，在本优选实施例中的解环状程序是采用下列步骤，首先先找出二元参考图像(binary reference map)，其包括下列步骤：

1.首先找出像素范围以及临界数值(Thr)

Thr＝ROUND[(max+min)/2]，

Range＝max-min

其中max为像素值的最大值，min为像素值的最小值。

2.根据下列情况调整临界值(Thr)

若(Range＜activity th)则 Thr＝0

其中10＜activity th＜20

3.重建此二元参考图像

binmap(u，v)＝{1 if datasrc(u，v)≥Thr；0 otherwise

其中u，v＝0，1...9 datasrc(u，v)为经解区块程序后的像素值。

接着通过二元参考图像继续执行一空间低通滤波程序，以避免滤掉对象的边缘，在本优选实施例中包括下列步骤：

1.通过下列公式计算出在窗口框中的所有二元参考图像：

counts (u, v) = Σ_{i = - 1}^{1} Σ_{j = - 1}^{1} binmap (u + iv + j),

其中u，v＝1，2....8.

2.依照下列情形定义所有在窗口框中的二元参考图像值为“1”或“0”并相应执行空间滤波程序，若判断值counts(u，v)＝0或判断值counts(u，v)＝9

datast (u, v) = Σ_{i = - 1}^{1} Σ_{j = - 1}^{1} datasrc (u + iv + j) \cdot w (i, j),

其中u，v＝1，2....8.，datast(u，v)为输出缓冲存储器(destinationbuffer memory)，以及w(u，v)为空间滤波罩(spatial filtering mask)，在本实施例中空间滤波框的运算公式如下所示：

w (i, j) = \frac{1}{16} [\begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{matrix}]

由于上述处理步骤中的运算公式为已知且为该领域技术人员所熟知，在此不再赘述。

图8为本发明数字图像数据处理方法的系统架构图，还包括一第一内存40’、一连接至第一内存40’的解区块模块41’、一连接至解区块模块41’的解环状模块42’及一连接至解环状模块42’的第二内存43’；其与图4主要不同的是第一内存40’、缓存器411及第二内存43’仅需提供输入一数据区块的数据即可，在本实施例约为10×10位，所需内存空间大大减少。

以上为本发明的数字图像数据处理方法实施例的详细说明，其主要是将一输入的图像数据切割成多个区块，然后分别对每一区块做解区块程序及解环状程序，如此可减少内存的空间，以达到数据处理实时性的目的。

综上所述，本发明的数字图像数据处理方法在目的及功能上均富有先进性，极具产业开发的价值，且为目前市面上前所未见之新发明。

以上所述者，仅为本发明的优选实施例，当不能以之限定本发明的实施范围。即凡依本发明申请专利范围所作的等效变化与修饰，皆应仍属于本发明专利涵盖的范围内。

Claims

1、一种数字图像数据处理方法，其中该图像数据具有多个区块，区块与邻近的区块之间形成有区块边缘，该处理方法包括：

将一欲输入的图像数据切割成多个区块数据，其中至少一区块数据与其邻近区块数据边缘部分重叠；

输入其中一区块数据至一第一内存中；

进行解区块程序；

进行解环状程序；

将经过解区块及解环状程序处理后的该区块数据输出至一第二内存中；

判断是否为最后一区块数据；及

完成图像数据处理流程。

2、如权利要求1所述的数字图像数据处理方法，其特征在于，该图像数据具有多个离散余弦转换区块，离散余弦转换区块与离散余弦转换区块之间形成有区块边缘。

3、如权利要求1所述的数字图像数据处理方法，在解区块程序中，进一步包括：

在输入的区块数据中沿着离散余弦转换区块的垂直边缘进行低通滤波；及

沿着离散余旋转换区块的垂直边缘部分进行水平滤波。

4、如权利要求1所述的数字图像数据处理方法，在解环状程序中，进一步包括：

产生一可以表示出对象边缘的二元参考图像；及

执行空间低通滤波。