CN1503562A - 图像数据的平滑处理器、平滑处理方法以及平滑处理程序 - Google Patents

图像数据的平滑处理器、平滑处理方法以及平滑处理程序 Download PDF

Info

Publication number
CN1503562A
CN1503562A CNA2003101179862A CN200310117986A CN1503562A CN 1503562 A CN1503562 A CN 1503562A CN A2003101179862 A CNA2003101179862 A CN A2003101179862A CN 200310117986 A CN200310117986 A CN 200310117986A CN 1503562 A CN1503562 A CN 1503562A
Authority
CN
China
Prior art keywords
view data
unit
difference
field
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2003101179862A
Other languages
English (en)
Inventor
�ű�����
桥本和宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of CN1503562A publication Critical patent/CN1503562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

从图像源提供包括多个以时间序列排列的对象单位图像数据(诸如场图像)在内的图像数据(D0)。要进行平滑处理的对象单位图像数据被分成预设大小的块。然后，根据像素值，为多个块判定对象单位图像数据与对象单位图像数据之前一个的在先单位图像数据之间的差别，以及对象单位图像数据与对象单位图像数据之后一个的后续单位图像数据之间的差别。通过在先单位图像数据与后续单位图像数据中具有较小差别的一个来对对象单位图像数据进行平滑。这样，由于对象单位图像数据总是通过具有最小差别的单位图像数据进行平滑的，所以可以进行有效的噪声消除，同时抑制平滑带来的不利影响。

Description

图像数据的平滑处理器、平滑处理方法以及平滑处理程序
技术领域
本发明涉及与图像数据的压缩编码有关的图像数据的平滑处理。
背景技术
一般地，由于运动图像信息具有巨大的数据量，所以当其在存储媒质中时，需要巨大的存储量容量来存储运动图像信息。因此，存在用于图像压缩编码的已知技术，使得运动图像可以存储在诸如光盘的记录媒介中。作为一种运动图像的压缩编码方法，MPEG(运动图像专家组)被认为是一个代表性的例子。
诸如MPEG的压缩编码系统的压缩方法是，对预设数量的图像元素(像素)(诸如8×8像素)中的每块都进行离散余弦变换(DCT)和原始图像数据的量化，从而消除原始图像数据的高频分量。因此，在将原始图像数据压缩到低码率的时候，在每个图像块中可能会出现类似各块边缘线的块噪声。当进行压缩编码的原始图像数据(后面称作“原始图像数据”)具有大量高频分量时，就会十分显著地出现这种块噪声。
为了消除这样的块噪声，使用预滤波器的滤波操作将作为诸如MPEG的压缩编码的准备工作而执行。预滤波器是一种平滑滤波器。预滤波器的用途在于，通过预先消除存在于原始图像数据中的高频分量，从而在诸如MPEG的压缩编码中降低块噪声。一般地，预滤波器通过使用预设大小(像素数)的平滑滤波器将构成图像数据的像素亮度值平均化，从而消除原始图像数据的高频分量。这种方法公开在日本专利3280211中。
但是，由于大多数已知预滤波器都是静态操作的二维滤波器，并且平滑处理是不考虑进行滤波处理的原始图像数据的变化和特征而统一进行的，所以在平滑处理之后有可能在图像数据中出现缺陷。经受平滑处理的原始图像数据可包括60场(60-field)图像数据、30帧图像数据和2-3下拉图像数据(2-3 pull-down image data)。60场图像数据中，每一秒由60场构成，该图像数据每场中的图像分量都不相同。30帧图像数据中，每秒包含30帧，组成一帧的两场图像的图像分量是相同的，并且如果图像显示为一帧的话，该图像数据就会成为静止图像。2-3下拉帧图像是60场的图像，其通过每秒转换24帧的图像来生成，例如电影。
像这样，由于有许多种原始图像数据，如果平滑处理是由静态预滤波器统一进行的话，就可能在处理过的图像数据中出现缺陷。例如，如果通过在帧单元中进行平滑处理的预滤波器对场图像数据(每秒60场)进行平滑处理的话，由于两场图像的组合构成一帧，则要对两场绝然不同的图像进行平滑处理，图像数据在平滑处理之后可能与原始图像数据完全不一样。如果通过在场单元中进行平滑处理的预滤波器对帧图像数据(每秒30帧)进行平滑处理的话，由于在某些图像内容中行级上的图像的差别，每场的平滑结果不相同，因而可能会出现诸如色条信号的缺陷。
发明内容
本发明为了解决上述问题而实现。本发明的一个目标是提供一种平滑处理器，该平滑处理器能够通过简单的配置和算法，适当地降低原始图像数据的噪声分量，而无需考虑原始图像数据的类型。
首先，将说明本发明的基本技术。作为诸如MPEG的压缩编码的准备工作，由预滤波器进行平滑处理从而消除噪声分量，如上所述。由预滤波器进行平滑处理的原始图像数据的种类是多种多样的，诸如上述的60场图像数据和30帧图像数据。如果对时间上连续的两场图像数据进行平滑处理的话，可能会产生不利的影响，诸如带来图像分量上的变化。例如，在30帧图像数据的情况中，当前场图像与后场图像互相匹配时，如图1A中所示适当地进行平滑处理并消除不必要的噪声。但是，例如在2-3下拉图像数据和场序颠倒的图像(在这种类型的图像数据中，一帧图像是由一个后场图像和下一个前场图像构成的)的情况中，图像分量不同的图像可如图1B中所示很不适宜地进行平滑。
根据本发明，首先，为了选择用于平滑的适当的两场图像的组合，要进行场/帧判定处理。通常，一帧图像是由两场构成的。这两场图像被称作“前场(top field)”和“后场(bottom field)”。也就是说，一帧图像是由一个前场和一个后场的组合构成的。注意到，前场和后场也被称作通常图像信号中的“奇场”和“偶场”，或“第一场”和“第二场”。但是，这取决于每个奇/偶或第一/第二场所对应的前场和后场之一的信号的具体格式。
当考虑对某确定场图像进行平滑时，可以产生场图像的组合，无论哪场都可以在时间上位于该确定场图像之前和之后的两场图像之中进行选择。也就是说，假如对第n个前场图像进行平滑，则平滑处理的场图像的组合可以是：(1)第n个前场和第n个后场的组合，或(2)第n个前场和第n-1个后场的组合。根据本发明，选择这两种组合中具有较小图像分量差别的一种来进行平滑处理。因此，可以降低由于对具有较大图像分量差别的组合的场图像进行平滑而造成的不足。
此外，当对以上述方式确定的两场图像的组合进行平滑时，场图像的图像区域被划分成多个小区域(块)，平滑处理是以块为单位进行的。此时，对于两场图像的图像分量具有较小差别的区域，由帧单元进行平滑，而对于两场图像的图像分量具有较大差别的区域，由场单元进行平滑。“由帧单元进行平滑”意味着平滑处理是在帧图像中邻近的行之间进行的。“由场单元进行平滑”意味着平滑处理是在场图像中邻近的行之间进行的(在帧图像的情况中，是在跳过一行的行之间进行)。上面的处理是对于每一块进行。因此，当平滑一场图像时，在图像运动较大的小区域(块)中，平滑是在相同场内进行的，而在运动较小的小区域(块)中，平滑是在临近场之间进行的。因此，通过考虑进行平滑处理的图像数据的图像分量是否具有大的改变，能够以适当的方法对每一块进行平滑。
根据本发明的一个方面的图像数据平滑处理器包括数据获取单元、判定单元和平滑单元。其中，数据获取单元获取包含在时间序列上排列的多个单位图像数据在内的图像数据。判定单元为构成单位图像数据的多个块判定进行处理的对象单位(object unit)图像数据与位于对象单位图像数据之前一个的在先单位(preceding unit)图像数据之间的差别，以及对象单位图像数据与位于对象单位图像数据之后一个的后续单位(subsequent unit)图像数据之间的差别。平滑单元根据判定单元的确定结果，通过使用对象单位图像数据与在先单位图像数据和后续单位图像数据中具有较小差别的一个来进行平滑。
根据本发明的一个特点，其中在时间序列上排列的诸如场图像的多个对象单位图像数据的图像数据是通过图像源提供的。对象单位图像数据被划分成预设尺寸的块。为每个块判定对象单位图像数据与位于对象单位图像数据之前一个的在先单位图像数据之间的差别，以及对象单位图像数据与位于对象单位图像数据之后一个的后续单位图像数据之间的差别。对象单位图像数据的差别是图像数据分量的差别。具体地说，该差别可能是构成图像数据的像素值的差别。对象单位图像数据是通过在先单位图像数据和后续单位图像数据中差别较小的一个而进行平滑的。因此，对象单位图像数据总是通过差别最小的对象单位图像数据而进行平滑的，所以可以防止由平滑带来的不利影响，与此同时，可以进行有效噪声消除。
根据上述平滑处理器的一个特征，判定单元可包括判定每个块中的差别是否大于或等于预设值的单元，以及将包含较小块的在先单位图像数据与后续单位图像数据中差别大于或等于预设值的一个判定为具有较小差别的单位图像数据的单元。在此特征中，由于图像数据的差别是为每一块而确定的，而且差别比预设值大的块的数目被确定为较大差别的单位图像数据，所以可以通过简单的比较处理来确定差别较大的单位图像数据。
根据上述平滑处理器的另一个特征，对于差别小于预设值的块，平滑单元可以通过使用对象单位图像数据和具有较小差别的单位图像数据来进行平滑，而对于差别大于或等于预设值的块，仅仅使用对象单位图像数据进行平滑。
在本特征中，通过考虑平滑处理中的差别来对每块以不同方法进行平滑。也即，由于仅仅对判定为差别较大的块中的对象单位图像数据进行平滑，所以可以避免缺陷(即，对差别较大的对象单位图像数据进行平滑)。对于判定为差别较小的块，由于使用两个对象单位图像数据来进行平滑，所以可以有效地消除噪声。
根据本发明的另一方面，可提供图像数据的平滑处理方法，其包括与上述平滑处理器相同的处理。此外，上述平滑处理器的处理可以以在计算机上运行的平滑处理程序的形式来实现。
通过在阅读下面简述的附图时对本发明的优选实施例做出下面的详细的描述，可以更加清楚地认识到本发明的特性、效用和进一步的特征。
附图说明
图1A和1B是示出平滑处理前后的图像例子的图。
图2是示出适用于根据本发明的平滑滤波器的图像数据的压缩编码系统的示意性配置的框图。
图3A和3B是示出进行帧/场判定处理的帧图像的组合例的图。
图4是示出帧/场判定处理中的块单位中帧累加和的计算方法的图。
图5A和5B是示出帧/场判定处理中的块单位中场累加和的计算方法的图。
图6是示出关于进行处理的帧图像的帧/场判定结果的图。
图7A到7C示出了平滑处理中使用的平滑滤波器的配置例。
图8A和8B示出了平滑处理中使用的Sobel滤波器的配置例。
图9是由图2示出的系统所执行的预滤波处理的流程图。
图10是图9中帧/场判定处理的流程图。
图11是图9中平滑处理的流程图。
具体实施方式
现在将结合附图，在下面描述本发明的优选实施例。注意到，下面的实施例表示将本发明应用于用于在MPEG系统中准备压缩编码的预滤波器的例子。
压缩编码系统
图2示意性地示出了根据本发明的预滤波器所适用于的图像数据的压缩编码系统的配置。如图2中所示，将从图像源5输出的原始图像数据D0提供给本发明的预滤波器(平滑滤波器)10。注意到，图像源5可以是某种存储介质，诸如各种类型的光盘和硬盘，原始图像数据D0可以是各种类型的图像数据，包括60场图像数据、30帧图像数据和2-3下拉帧图像数据，如上所述。
预滤波器10对原始图像数据D0进行合适地平滑，并给编码单元7提供平滑处理后的图像数据D1。编码单元7可以是(例如)MPEG编码器，其对图像数据D1进行压缩编码。一般地，如果是MPEG编码器的话，首先，对图像数据D1进行DCT，并在量化和编码之后输出已编码的图像数据。注意到，以这种方式进行压缩编码的图像数据将通过记录在诸如光盘的记录媒介中以及通过传输信道传输而得到使用。
如图2中所示，预滤波器10包括存储器12、帧/场判定单元14、平滑单元16以及输出缓冲器18。存储器12具有相当于四场图像的存储容量。存储器12以场图像为单位读入原始图像数据D0，并暂时存储数据。
帧/场判定单元14通过使用暂时存储在存储器12中的场图像来进行帧/场判定。帧/场判定单元对要进行判定的场图像以及另一场图像的内容进行分析。如果这些场图像之间的差别小于预设水平的话，帧/场判定单元就判定这两场图像以帧格式存在。如果差别大于预设水平的话，帧/场判定就会判定这两场图像以场格式存在。后面将对其进行详细描述，简单地说就是，通过将图像区域分割成多个块来判定每块的两场图像是帧格式的还是场格式的，并基于多个块的判定结果来判定整个场图像是帧格式的还是场格式的。
平滑单元16以每个像素为单位，对由要进行处理的场图像和另一场图像构成的帧图像进行平滑处理。平滑就是将每个像素与预设相邻范围内的多个像素进行平均的处理，该处理通常是通过使用平滑滤波波器而进行的。根据帧/场判定单元14的判定结果，平滑单元16指定了要进行平滑的场图像数据。对于要进行平滑的场图像数据的每一块来说，当帧/场判定处理判定该块为帧格式时，平滑是由帧单位进行的。平滑处理之后的图像数据暂时储存在输出缓冲器18中，然后输出到编码单元7。
预滤波器中的处理
接下来将详细地说明在预滤波器10中的处理。
帧/场判定处理
首先，将说明帧/场判定处理。图3A示出了构成原始图像数据的图像数据的例子。原始图像数据基本上是交替地包括前场图像和后场图像的图像数据，通过将一前场图像(top field image)与一后场图像(bottom field image)进行组合来构成一帧图像。在图3A的例子中，原始图像数据包括作为前场图像的TOP_01、TOP_02、TOP_03…，并且包括作为后场图像的BOTTOM_01、BOTTOM_02、BOTTOM_03…。例如，将原始图像数据D0从图像源5，以TOP_01、BOTTOM_01、TOP_02和BOTTOM_02的顺序提供给预滤波器10的存储器12。存储器12具有四场的存储量。在最初的时序中，存储器12保存四场图像：TOP_01、BOTTOM_01、TOP_02和BOTTOM_02。在接下来的时序中，存储器保存BOTTOM_01、TOP_02、BOTTOM_02和TOP_03。这样，在存储器12中保存的总是时间上连续的四场图像，并同时更新一场图像。
现在，假设要由预滤波器10进行平滑处理的帧图像是TOP_02，如图3A所示。在此时序，保存在存储器12中的四场图像为BOTTOM_01、TOP_02、BOTTOM_02和TOP_03。要进行处理的场图像TOP_02如果与前面的场图像BOTTOM_01或者BOTTOM_02组合就可以构成帧图像。也就是说，也可以由场图像TOP_02和BOTTOM_01构成的帧图像(称为“第一组合”)或场图像TOP_02和BOTTOM_02构成的帧图像(称为“第二组合”)来对要进行处理的场图像TOP_02进行平滑。因此，帧/场判定单元14判定哪种组合是适当的。
根据本发明的实施例，帧/场判定单元14将每一场图像分割成8×8像素的块，对每块进行帧/场判定。图4示意性地示出了由场图像TOP_02和BOTTOM_01构成的帧图像的一块。图4中的白方格表示前场图像的一个像素，阴影方格表示后场图像的一个像素。在图4的右边，用字母表示了从帧图像的最上一行开始的3行内的每个像素的像素值(例如亮度值)。像素值“A”到“P”是场图像TOP_02的像素值，像素值“a”到“h”是场图像BOTTOM_01的像素值。
帧/场判定单元14通过图4中所示的公式，利用帧图像的第1和第2行的像素值来算出帧计算值CR1。同样，帧/场判定单元14还利用帧图像的第2和第3行的像素值来算出帧计算值CR2。通过进行该处理，直到第7和第8行的组合，计算出帧计算值CR1到CR7，并通过对这些值求和从而计算出帧累加和CR。如对图4中公式的理解，场图像TOP_02和BOTTOM_01越相似，帧累加和CR的值就会变得越小。反之，场图像TOP_02和BOTTOM_01的差别越大，帧累加和CR的值也就会变得越大。
接下来，帧/场判定单元14算出场累加和，如图5A和5B中所示。具体地说，首先，如图5A中所示，对于构成前场图像TOP_02的4行中的相邻两行的组合，通过与帧计算值的例子中相同的公式来计算出前场计算值CT1到CT3，并通过对这些值求和来获得前场累加和CT。如对公式的理解，前场图像TOP_02每行的像素值越相似，前场累加和CT就会变得越小。反之，前场图像TOP_02每行的像素值差别越大，前场累加和CT也就会变得越大。但是，由于前场累加和CT是在同一场图像中比较像素值的，所以场累加和CT容易比帧累加和小。
接下来，帧/场判定单元14通过相同的处理计算出后场累加和CB，如图5B中所示。具体地说，由于根据本例，要进行处理的帧图像是由场图像TOP_02和BOTTOM_01的组合构成的，所以通过利用后场图像BOTTOM_01的每像素值来计算出后场累加和CB。
这样，一旦得到了帧累加和CR、前场累加和CT和后场累加和CB，帧/场判定单元14就会对每块进行帧/场判定。具体地说，首先，通过下面的公式计算出第1和第2判定值，判断下面所述的条件方程(1)和(2)是否满足。
第一判定值＝|CR-2·CT|＞2000                 (1)
第二判定值＝|CR-2·CB|＞2000                 (2)
如果上述两个条件方程(1)和(2)都满足，帧/场判定单元就将该块判定为“场”。除非都上述两个条件方程(1)和(2)，帧/场判定单元就将该块判定为“帧”。
如上所述，帧/场判定单元14以块为单位进行帧/场判定。当原始图像数据具有720×480像素时，一帧图像中就包含5400块的8×8像素，对每一块进行帧/场判定。然后，帧/场判定单元14计算出判定为“场”的块的数目，作为场判定数fb1。
接下来，帧/场判定单元14对包含要进行处理的场图像TOP_02的场图像的其它组合(即场图像TOP_02和BOTTOM_02的组合)进行相同的处理，以计算出场判定数fb2。
接下来，帧/场判定单元14基于场判定数判断应当将哪种组合(即第1组合还是第2组合)用于平滑处理。具体地说，对具有较小场判定数的组合进行平滑处理。例如，如图3B中所示，当场图像TOP_02和BOTTOM_01组合的场判定数fb1＝α大于场图像TOP_02和BOTTOM_02组合的场判定数fb2＝β时，就判定对场图像TOP_02和BOTTOM_02的组合进行后面所述的平滑处理。这样，帧/场判定单元14判定，由第1和第2组合中场判定数(即判定为“场”的块的数目)较小的一个来构成帧图像，也就是说，通过在场图像之间具有较小差别的组合来构成帧图像，从而进行平滑处理。因此，不考虑原始图像数据的类型，可以总是对合适的组合进行平滑处理。由此，可以防止对具有较大差别的场图像的组合进行平滑处理。
平滑处理
接下来，将说明平滑处理。平滑处理是以块为单位对每一像素实施的。图6示意性地示出了要进行平滑处理的帧图像。要进行平滑处理的帧图像是由场图像的组合构成的帧图像，其中该组合是由于其场判定数较小而被上述帧/场判定过程判定为平滑处理的对象的。例如，在图3A中所示的例子中，要进行处理的场图像是前场图像TOP_02，通过帧/场判定处理判定对场图像TOP_02和BOTTOM_02组合构成的帧图像进行平滑处理，如图3B中所示。因此，在本例中，由场图像TOP_02和BOTTOM_02构成的帧图像成为了平滑处理的对象。(参看图6)
这样，对于由帧/场判定处理判定的帧图像，无论由帧单元进行平滑还是由场单元进行平滑，都是以块为单位应用的。本例中的块是在帧/场判定处理中所指定的块，并且在本实施例中是如图4、5A和5B所示的8×8像素的块。通过帧/场判定处理，对于要进行处理的帧图像，已经对每块完成了帧/场判定。图6示出了其判定结果的例子。注意到，判定结果可以存储在预滤波器10的存储器12中。在图6中，表示为“FR”的块是被帧/场判定处理判定为“帧”的块，表示为“FI”的块则是被判定为“场”的块。在平滑处理中，以块为单位，帧单位的平滑处理应用于判定为“帧”的块中的像素，而场单位的平滑处理应用于判定为“场”的块中的像素。
接下来，将具体说明帧单位和场单位的平滑处理。图7A示出了帧单位的平滑滤波器的构成例，图7B示出了场单位的平滑滤波器的构成例。平滑滤波器通常是均匀改变周围像素的像素值的滤波器，所述周围像素以要被处理的像素作为中心围绕着它。平滑滤波器的系数“a”也称作“平滑系数”。尽管图7A中所述的例子为3×3像素的平滑滤波器，当然也可以使用除3×3像素的滤波器以外的平滑滤波器。
在帧单位平滑处理的例子中，对要进行处理的帧图像的相邻行进行平滑处理。因此，帧单位的平滑滤波器对帧图像数据的纵向和横向上的3个像素进行滤波。
另一方面，在场单位平滑处理的例子中，对独立地为每场进行平滑处理。在图6的例子中，由于要进行处理的场图像是TOP_02，所以判定为“场”的块将通过仅仅使用场图像TOP_02的像素数据来进行平滑。鉴于图7B中所示的场单位的平滑滤波器被组成(为便于说明)应用于帧图像状态(即，其中组合了两场图像的状态)的图像数据的平滑滤波器，将不对阴影部分进行处理。所以，实质上，图7B中所示的滤波器是场单位的3×3像素的平滑滤波器。注意到，在实际处理中，当对储存在存储器中的场图像TOP_02以场图像单位进行平滑处理时，可以使用图7A中所示的平滑滤波器。
对于要进行处理的场图像的外围的像素，根据要进行处理的像素的位置，使用具有图7C中所示构造的每个平滑滤波器。注意到，图7C中所示的图像外围的平滑滤波器也同样适用于如图7A中的帧状态中的图像数据。在以场单位进行平滑的例子中，图像外围的滤波器的构造具有不进行平滑处理的像素部分(阴影像素)，如图7B。
在本发明的这个实施例中，在平滑滤波器进行处理之前，使用Sobel滤波器来进行边缘线检测，由此，仅仅对不包括边缘线的像素进行平滑处理。其原因在于，如果对其边缘线统一进行平滑处理，就会造成重叠的字母和图像的外形走样。因此，为了避免其外形走样，不对这样的边缘线部分应用平滑处理。图8A示出了用于帧单位中的图像数据的Sobel滤波器的构造例。图8B示出了用于场单位中的图像数据的Sobel滤波器的构造例。具体地说，将Sobel滤波器应用于进行处理的帧或场图像的每一像素。由此，当得到的值大于预设门限时，就将该像素判定为位于边缘上。当得到的值小于预设门限时，就将该像素判定为不位于边缘上。
预滤波处理
接下来，将结合图9到11来说明整个预滤波处理的流程。图9是预滤波处理的主程序的流程图，图10是帧/场判定处理的流程图，图11是平滑处理的流程图。
首先，参看图9，预滤波器10从图像源5接收原始图像数据D0(步骤S1)。帧/场判定单元14进行前场图像数据的处理。也就是说，如图3中所示，对由要进行处理的前场图像(例如前场图像TOP_02)和前场图像之前的场图像(例如后场图像BOTTOM_01)的组合(以下称为“组合A”)构成的帧图像进行帧/场判定(步骤S2)。由此，对组合A的帧图像的每块进行帧或场的判定，并得到场判定数fb1。
接下来，帧/场判定单元14对由要进行处理的前场图像(例如前场图像TOP_02)和对应于该图像的场图像(例如后场图像BOTTOM_02)的组合(以下称为“组合B”)构成的帧图像进行帧/场判定(步骤S3)。由此，对组合B的帧图像的每块进行帧或场的判定，并得到场判定数fb2。
接下来，帧/场判定单元14比较组合A的场判定数fb1和组合B的场判定数fb2(步骤S4)，并将具有较小场判定数的组合的帧图像判定为平滑处理的对象。然后，平滑单元16使用相应的帧图像进行平滑处理(步骤S5或S6)，并将平滑处理后的图像数据通过输出缓冲器18输出到编码单元7(步骤S7)。
接下来，预滤波器10进行后场图像的处理。例如，假设对图3A中的后场图像BOTTOM_02进行处理，预滤波器10判定由前场图像TOP_02和后场图像BOTTOM_02的组合(组合B)构成的帧图像以及由前场图像TOP_03和后场图像BOTTOM_02的组合(在下面称作“组合C”)构成的帧图像中应该进行平滑处理的一个帧图像。但是，在此阶段，由于组合B的帧图像的帧/场判定已经在步骤S3完成了，因此仅需要对组合C的帧图像进行帧/场判定(步骤S8)。然后，帧/场判定单元14将组合B和C中具有较小场判定数的一个帧图像判定为平滑处理的对象(步骤89)。平滑单元16对帧图像进行平滑处理(步骤S10和S11)，并将作为结果得到的图像数据通过输出缓冲器18输出到编码单元7(步骤S12)。
这样，预滤波器10重复进行前场图像和后场图像的帧/场判定处理和平滑处理。当原始图像数据D0中所有场图像数据都已完成处理时(步骤S13；是)，预滤波处理就结束。
接下来，将结合图10说明在步骤S2、S3和S8中进行帧/场判定处理的流程。首先，计算帧累加和，如图10所示。也即，如图4所示，对于一个块(本例中为8×8像素)，通过计算相邻行上相互对应的像素值的差的平方，并将该块的横向上的所有像素的这样的平方求和，从而计算出帧计算值CR1(步骤S20和S21)。然后，移动一处理行(步骤22)，通过进行相同的处理来计算出帧计算值CR2。如果通过重复这样的处理得到了一块中所有的帧计算值(图4例中为CR1到CR7)的话(步骤S23；是)，就将这些值求和并计算出帧累加和CR。
接下来，图如5A所示，用相同的方法仅仅对于与块的前场对应的像素计算出每一行的前场计算值CT1、CT2…(步骤S24和S25)，并对于块的纵向上的所有行进行相同的计算(步骤S26和S27)以计算出前场累加和CT。同样地，仅仅对于与块的后场对应的像素计算出每一行的后场计算值CB1、CB2…(步骤S28和S29)，并对于块的纵向上的所有行进行相同的计算(步骤S30和S31)以计算出后场累加和CB。这样，对于一个进行处理的块，得到了帧累加和CR、前场累加和CT和后场累加和CB。
接下来，帧/场判定单元14判断该块是否满足场判定条件(步骤S32)。具体地说，帧/场判定单元14判断上述两个条件方程(1)和(2)是否都满足。如果它们都满足的话，该块就被判定为场(步骤S33)。如果至少有一个方程不满足的话，帧/场判定单元14就将该块判定为帧(步骤S34)。这样，对进行处理的帧图像中的一块的帧/场判定就结束了。
之后，帧/场判定单元14移动一块，并通过相同的处理将该块判定为帧或者场。当得到了包括在进行判定的帧图像中的所有块的帧或场判定结果时，帧/场判定处理就结束。
接下来，将结合图11来说明平滑处理。在步骤S5、S6、S10和S11中分别指定进行处理的图像的状态中进行平滑处理。
首先，平滑单元16将帧图像中一个像素指定为进行处理的像素(此后成为“处理对象像素”)，并判断将属于处理对象像素的块判定为帧还是场(步骤S41)。由于每块的帧/场判定结果(参见图6)储存在预滤波器10中的存储器12中，如上所述，所以平滑单元1 6可以引用该结果。当处理对象像素属于判定为帧的块时，平滑单元16选取帧单位的平滑滤波器，如图7A所示(步骤S42)。当处理对象像素属于判定为场的块时，平滑单元16选取场单位的平滑滤波器，如图7B所示(步骤S43)。
接下来，平滑单元16进行上述的Sobel滤波(步骤S44)，并判断处理对象像素是否位于边缘上(步骤S45)。当处理对象像素位于边缘上时，平滑单元16不由平滑滤波器进行平滑处理就跳转到步骤S47，以避免如上所述的平滑处理带来的字母和外形走样的问题。另一方面，当处理对象像素不在边缘上时，通过应用在步骤S42和S43中选取的平滑滤波器来进行平滑处理(步骤S46)。
进一步，平滑单元16指定了下一个处理对象像素(步骤S47)，并判断下一个处理对象像素存在与否(步骤S48)。这样，平滑单元16顺次对进行处理的帧图像的所有像素进行平滑处理，当完成所有的像素处理时平滑处理就结束了(步骤S48)。
修改
在上述实施例中，尽管使用本发明的平滑滤波器作为用作由MPEG进行压缩编码处理的预备工作的预滤波器，本发明的平滑滤波器也可以应用于图像的通用平滑处理。例如，该平滑滤波器可以安装在通用显示器中用于显示器图像的噪声消除。
在上述实施例中，尽管通过将图像数据的亮度值规定为像素值来进行平滑，但不管亮度还是色度都可以以相同的方法进行平滑。
同时，实施例中的帧/场判定中的帧累加和与场累加和计算方程以及条件方程(1)和(2)都仅仅是例子。所以，也可以通过其它计算方程和条件方程来进行帧/场判定。
如上所述，根据实施例的平滑处理器包括：一存储器，其获取并储存包括以时间序列排列的多个单位图像数据在内的图像数据；帧/场判定单元，对于构成单位图像数据的多个块，其判定要进行处理的对象单位图像数据与在对象单位图像数据之前一个的在先单位图像数据之间的差别以及对象单位图像数据与在对象单位图像数据之后一个的后续单位图像数据的差别；以及平滑单元，其根据判定单元的判定结果，通过使用对象单位图像数据与在先单位图像数据和后续单位图像数据中具有较小差别的一个来进行平滑处理。
在本结构中，包含以时间序列排列的多个对象单位图像数据在内的图像数据(诸如场图像)是由一图像源提供的。进行平滑处理的对象单位图像数据被分成预设大小的块。然后，根据像素值，为多个块确定对象单位图像数据和对象单位图像数据之前一个的在先单位图像数据之间的差别，以及对象单位图像数据和对象单位图像数据之后一个的后续单位图像数据之间的差别。通过在先单位图像数据和后续单位图像数据中具有较小差别的一个来对对象单位图像数据进行平滑。这样，由于对象单位图像数据总是通过具有最小差别的单位图像数据进行平滑的，所以可以进行有效的噪声消除，同时抑制平滑带来的不利影响。

Claims (5)

1.一种图像数据的平滑处理器(10)，其包括：
数据获取单元(12)，其获取包含多个以时间序列排列的单位图像数据的图像数据(D0)；
判定单元(14)，其为构成单位图像数据的多个块判定要进行处理的对象单位图像数据与所述对象单位图像数据之前一个的在先单位图像数据之间的差别，以及所述对象单位图像数据与所述对象单位图像数据之后一个的后续单位图像数据之间的差别；和
平滑单元(16)，其根据所述判定单元的判定结果，使用所述对象单位图像数据与所述在先单位图像数据和后续单位图像数据中具有较小差别的一个来进行平滑。
2.根据权利要求1所述的图像数据的平滑处理器(10)，其中所述判定单元(14)包括：
为每块判断所述差别是否大于或等于预设值的单元；和
将包括其差别大于或等于预设值的较小块的所述在先单位图像数据和所述后续单位图像数据之一判定为具有较小差别的单位图像数据的单元。
3.根据权利要求2所述的图像数据的平滑处理器(10)，其中，对于差别比预设值小的块，所述平滑单元(16)通过使用所述对象单位图像数据和具有较小差别的单位图像数据来进行平滑，而对于差别大于或等于预设值的块，仅仅使用所述对象单位图像数据来进行平滑。
4.一种图像数据的平滑处理器方法，其包括：
数据获取步骤，其获取包含多个以时间序列排列的单位图像数据的图像数据(D0)；
判定步骤，其为构成单位图像数据的多个块判定要进行处理的对象单位图像数据与所述对象单位图像数据之前一个的在先单位图像数据之间的差别，以及所述对象单位图像数据与所述对象单位图像数据之后一个的后续单位图像数据之间的差别；和
平滑步骤，其根据所述判定步骤的判定结果，通过使用所述对象单位图像数据与所述在先单位图像数据和所述后续单位图像数据中具有较小差别的一个来进行平滑。
5.一种由计算机运行的图像数据的平滑程序，其控制计算机以实现下述功能：
数据获取单元(12)，其获取包含多个以时间序列排列的单位图像数据的图像数据(D0)；
判定单元(14)，其为构成单位图像数据的多个块判定要进行处理的对象单位图像数据与所述对象单位图像数据之前一个的在先单位图像数据之间的差别，以及所述对象单位图像数据与所述对象单位图像数据之后一个的后续单位图像数据之间的差别；和
平滑单元(16)，其根据所述判定单元的判定结果，使用所述对象单位图像数据与所述在先单位图像数据和后续单位图像数据中具有较小差别的一个来进行平滑。
CNA2003101179862A 2002-11-26 2003-11-26 图像数据的平滑处理器、平滑处理方法以及平滑处理程序 Pending CN1503562A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP342599/2002 2002-11-26
JP2002342599A JP3715273B2 (ja) 2002-11-26 2002-11-26 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム

Publications (1)

Publication Number Publication Date
CN1503562A true CN1503562A (zh) 2004-06-09

Family

ID=32310641

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2003101179862A Pending CN1503562A (zh) 2002-11-26 2003-11-26 图像数据的平滑处理器、平滑处理方法以及平滑处理程序

Country Status (5)

Country Link
US (1) US20040151397A1 (zh)
EP (1) EP1427215B1 (zh)
JP (1) JP3715273B2 (zh)
CN (1) CN1503562A (zh)
DE (1) DE60311946T2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303150A (zh) * 2015-06-24 2017-01-04 佳能株式会社 图像处理装置及图像处理装置的控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100555866B1 (ko) * 2004-06-08 2006-03-03 삼성전자주식회사 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법
JP2008109247A (ja) * 2006-10-24 2008-05-08 Matsushita Electric Ind Co Ltd ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ
EP2109310B8 (en) * 2008-04-11 2018-05-16 Tektronix International Sales GmbH A method of quantifying inter-field motion in a video frame

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592227B2 (ja) * 1978-08-21 1984-01-17 株式会社日立製作所 雑音除去方式
US5237413A (en) * 1991-11-19 1993-08-17 Scientific-Atlanta, Inc. Motion filter for digital television system
TW293227B (zh) * 1994-11-24 1996-12-11 Victor Company Of Japan
JPH09252468A (ja) * 1996-03-15 1997-09-22 Minolta Co Ltd 画像圧縮装置
WO2000019726A1 (en) * 1998-09-29 2000-04-06 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
JP4409775B2 (ja) * 1999-01-27 2010-02-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 記録キャリア、再生装置および情報の記録方法
JP4288805B2 (ja) * 1999-12-28 2009-07-01 ソニー株式会社 映像信号再生装置
KR100611094B1 (ko) * 2000-06-15 2006-08-09 주식회사 케이티 통계적 모델에 기반한 워터마크 삽입/검출 장치 및 그 방법
DE60227596D1 (de) * 2001-05-02 2008-08-28 Pioneer Corp Informationsaufzeichnungsmedium und Informationsaufzeichnungsgerät
JP3713574B2 (ja) * 2001-05-29 2005-11-09 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法およびプログラム
DE60227623D1 (de) * 2001-09-14 2008-08-28 Pioneer Corp Informationsaufzeichnungsmedium, Informationswiedergabegerät und Informationsaufzeichnungsgerät

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303150A (zh) * 2015-06-24 2017-01-04 佳能株式会社 图像处理装置及图像处理装置的控制方法
US10440226B2 (en) 2015-06-24 2019-10-08 Canon Kabushiki Kaisha Image processing apparatus, control method of image processing apparatus, and storage medium with performing smoothing on object other than character

Also Published As

Publication number Publication date
DE60311946T2 (de) 2007-12-06
DE60311946D1 (de) 2007-04-05
EP1427215A3 (en) 2005-02-09
EP1427215B1 (en) 2007-02-21
EP1427215A2 (en) 2004-06-09
JP2004179886A (ja) 2004-06-24
US20040151397A1 (en) 2004-08-05
JP3715273B2 (ja) 2005-11-09

Similar Documents

Publication Publication Date Title
JP4357590B2 (ja) 画像符号化システム及び画像復号システム
US9467714B2 (en) Filtering method for removing block artifacts and/or ringing noise and apparatus therefor
CN1287598C (zh) 用于消除区块效应和/或铃振噪声的滤波方法和装置
US20090016442A1 (en) Deblocking digital images
CN1925617A (zh) 提高的运动估计、视频编码方法及使用所述方法的设备
CN1250012C (zh) 移除mpeg信号的成块假象的方法与装置
CN1717053A (zh) 用于消除基于块编码的图像的不连续性的滤波器及其方法
CN1722842A (zh) 视听编解码器的滤波方法和滤波设备
CN1362832A (zh) 数据处理方法
CN1296703A (zh) 采用过滤来减少块效应的视频解码设备和方法
CN1193618C (zh) 用于运动估算的预处理方法
CN1503562A (zh) 图像数据的平滑处理器、平滑处理方法以及平滑处理程序
JP2006339774A (ja) 動画像符号化装置
US8023559B2 (en) Minimizing blocking artifacts in videos
CN109889842B (zh) 基于knn分类器的虚拟现实视频cu划分算法
CN116527907A (zh) 一种基于图像特性的编码单元的划分方法
CN1647539A (zh) 低速率应用的数字图像处理方法
KR101004612B1 (ko) Ｄｃｔ 기반 이미지의 포스트 필터링 장치 및 그 방법
JP2006024222A (ja) 画像処理装置及び画像処理方法
JP2001189937A (ja) ブロックノイズ除去方法、ブロックノイズ除去装置およびコンピュータが読取り可能な記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication