CN103026708A - 数字视频信号中的块压缩赝像检测 - Google Patents

数字视频信号中的块压缩赝像检测 Download PDF

Info

Publication number
CN103026708A
CN103026708A CN2011800368249A CN201180036824A CN103026708A CN 103026708 A CN103026708 A CN 103026708A CN 2011800368249 A CN2011800368249 A CN 2011800368249A CN 201180036824 A CN201180036824 A CN 201180036824A CN 103026708 A CN103026708 A CN 103026708A
Authority
CN
China
Prior art keywords
value
frame
given element
data
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800368249A
Other languages
English (en)
Other versions
CN103026708B (zh
Inventor
B·慕尼
S·斯里尼瓦桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Thought LLC
Synopsys Inc
Original Assignee
Mawier International Trade Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mawier International Trade Co Ltd filed Critical Mawier International Trade Co Ltd
Publication of CN103026708A publication Critical patent/CN103026708A/zh
Application granted granted Critical
Publication of CN103026708B publication Critical patent/CN103026708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供用于确定视频数据的特性的系统和方法。获得视频数据的帧,其中帧由像素数据表示。基于视频帧的与检测阵列的元素对应的部分中的像素数据向元素分配值。确定检测阵列的值的频率变换,并且基于频率变换的输出来提取视频数据的块边界信息。

Description

数字视频信号中的块压缩赝像检测
相关申请的交叉引用
本申请按照35U.S.C.§119(e)要求对通过在此整体引用而结合于此、于2010年7月28日提交的第61/368,491号美国临时申请的权益。
本申请与名称为“REDUCING DIGITAL IMAGE NOISE”、于2009年9月9日提交的第12/555,960号美国专利申请有关。
技术领域
本发明的实施例总体上涉及数字视频信号,更具体地,涉及数字视频信号中的块压缩赝像检测。
背景技术
这里提供的背景技术描述是为了总体上呈现公开内容的背景。本发明人的工作在这一背景技术部分中描述的该工作的程度上以及该描述的可以在提交时未另外限定为现有技术的方面既未被明示地也未被暗示地承认为相对于本公开内容的现有技术。
数字视频经常在存储和/或传输之前被压缩。有损压缩技术可以用来节约与压缩的视频相关联的存储空间和/或传输时间,但是有损压缩也可能引入被称为压缩赝像(artifact)的视觉失真。块噪声是在压缩方案将视频帧分段成不同区域或者块并且单独压缩每个块时生成的压缩赝像类型。由于单独处理和压缩每个块,所以压缩的块可能在它们与其它块的边界表现像素数据值的不连续。另外,这些不连续可能在更高压缩设置时变得容易可见。这造成可能在高分辨率和/或大尺寸显示器上特别显著的块化赝像。不同压缩算法使用不同块尺寸。例如,MPEG-2标准使用8x8块尺寸,而H.264标准可以使用多于一个块尺寸以压缩单个视频帧。
发明内容
根据本发明的一个实施例,提供一种用于确定视频数据的特性的技术。获得视频数据的帧,其中帧包括像素数据的R行和C列。基于帧的与检测阵列的给定元素相关联的列中的像素数据向给定元素分配值。确定检测阵列中的C个值的频率变换,并且从频率变换的输出提取视频数据的特性。
根据本发明的另一实施例,提供一种用于确定视频数据的特性的视频处理系统。获取电路用来获得视频数据的帧,该帧包括像素数据的R行和C列。边界检测电路用来基于帧的与包括C个元素的检测阵列的给定元素相关联的列中的像素数据向给定元素分配值,并且存储检测阵列的C个元素。频率变换电路用来计算检测阵列中的C个值的频率变换,并且参数提取电路用来从频率变换的输出提取特性。
在一个布置中,向检测阵列的给定元素分配的值指示帧的与给定元素相关联的列中的落在与块边界的像素距离内的像素的数目。在一个布置中,提取特性包括确定频率变换的输出的峰值,并且比较峰值与频率变换的输出的平均值。在一个布置中,特性是视频数据的块尺寸。
本公开内容的更多特征将通过附图和对优选实施例的下文具体描述而更为清楚,这些更多特征包括本公开内容的性质及其各种优点。
附图说明
本发明的上述和其它特征将在考虑与以下附图结合进行的下文具体描述时更为清楚,这些特征包括本公开内容的性质及其各种优点,在附图中:
图1A示出了根据本公开内容的一些实施例的例示性视频处理系统;
图1B示出了根据本公开内容的一些实施例的例示性照度数据集;
图2A是根据本公开内容的一些实施例的用于检测视频数据中的块边界的例示性流程图;
图2B描绘了根据本公开内容的一些实施例的模板的形式;
图3A是根据本公开内容的一些实施例的用于根据边界数据生成检测阵列的例示性流程图;
图3B示出了根据本公开内容的一些实施例的检测阵列的例示性示例;
图4A是根据本公开内容的一些实施例的用于根据检测阵列生成DCT系数集的例示性流程图;
图4B示出了根据本公开内容的一些实施例的例示性DCT系数集;并且
图5是根据本公开内容的一些实施例的用于提取在照度数据中包含的关于块的周期和位置以及块赝像的信息的例示性流程图。
具体实施方式
为了检测块化赝像,一些视频处理技术假设块为已知的并且可能固定的尺寸,并且使用这一假设的信息来搜索块边界。这些技术可能如比如在已经缩放了视频数据时无法检测并非固定和/或已知块尺寸的块。例如,当将标准NTSC视频缩放成高分辨率形成时,将8x8图像数据块转换成21.33x18图像数据块。传统技术可能无法确定在非方形图案中和/或用分数块尺寸设定尺寸的块。
图1A示出了根据本公开内容的一些实施例的例示性视频处理系统。视频处理系统100确定在压缩视频数据期间引入的特性。例如,视频处理系统100可以用来检测块赝像以及与块赝像的尺寸和位置有关的其它信息。
从适当视频源以压缩形式获得视频数据,比如传统模拟或者数字电视信号、视频记录信号、因特网传输或者持久或者便携数字存储设备信号。继而解压获得的视频数据以向视频处理系统100提供照度数据102。在视频数据的帧中逻辑上和/或在物理上分割照度数据102,其中每个帧对应于单个静止视频图像。在一个布置中,每帧照度数据102表示来自高分辨率电视广播的图像。例如,每帧可以表示共计1280x720或者1920x108个数据像素。
向块边界检测器105输入照度数据102。块边界检测器105用来如果照度数据102的每个像素落在视频数据的帧的块边界上或者附近则分类为块边界像素,或者如果像素未落在帧的块边界上或者附近则为正常像素。块边界检测器输出边界数据110。边界数据110包含与照度数据102相同数目的元素。在一个布置中,边界数据110的每个元素是二进制数。在这一布置中,如果照度数据102的对应像素在边界上或者附近,则向边界数据110的像素分配值“1”。否则,向边界数据110的像素分配值“0”。
照度数据102由模拟值或者数字值的RxC矩阵表示,其中R指代该表示中的行数,C指代该表示中的列数,并且其中RxC矩阵中的每个值表示视频帧中的对应像素的亮度。在这一布置中,边界数据110可以由RxC二进制值矩阵表示,其中如果照度数据102的对应像素在边界上或者附近,则向边界数据110的元素分配值“1”;否则,向边界数据110的元素分配值“0”。
如上文描述的那样在逐个像素的基础上检测块边界提供照度数据102中的实际块边界的某一指示。然而,这一技术可能在边界的任一侧上的照度值差异小时未检测到照度数据102中的块边界。另外,可能在视频图像中的实际细节类似于局部邻域内的块赝像时错误地检测照度数据102中的边界。因此,向生成列阵列或者行阵列或者二者的阵列生成器115输入边界数据110。阵列生成器115的输出提供边界是否存在于由照度数据102表示的数据帧的相应行或者列上或者附近的指示。
阵列生成器115在被称为检测阵列的一个或者两个一维阵列中存储结果。具体而言,阵列生成器115可以在竖直检测阵列中存储竖直边界信息,该竖直检测阵列具有数目与由照度数据102表示的对应视频帧以像素为单位的竖直长度(例如,长度R)相等的元素。类似地,阵列生成器115可以在水平检测阵列中存储水平边界信息,该水平检测阵列具有数目与由照度数据102表示的对应视频帧以像素为单位的水平长度(例如,长度C)相等的元素。因此,阵列生成器运用水平检测阵列、竖直检测阵列或者二者。边界信息可以是边界是否很可能存在于由照度数据102表示的数据帧的对应列或者行上或者附近的二进制测量或者任何其它适当测量。
为了简化陈述,本公开内容的其余部分将描述阵列生成器115为仅输出水平检测阵列,即检测阵列120。然而,基于这里提供的公开内容和教导,应当理解,阵列生成器115可以仅输出竖直检测阵列或者水平检测阵列和竖直检测阵列二者。更一般而言,基于这里提供的公开内容和教导,应当理解,在本公开内容中呈现的技术可被容易地修改以仅并入竖直检测阵列或者水平检测阵列和竖直检测阵列。
离散余弦变换(DCT)模块125接收检测阵列120作为输入并且在统计上分析检测阵列120以确定DCT系数130。为了节约硬件资源,DCT模块125可以仅确定与照度数据102中的可能块尺寸对应的那些DCT系数。例如,检测阵列120可以具有1024个元素的长度。在这一情况下,DCT变换模块可以计算1204个DCT系数的全集。另一方面,为了节省硬件资源,DCT可以仅计算与可能块尺寸对应的那些DCT系数。在实践中,DCT模块125可以计算20、50、100或者任何其它适当数目的系数,并且可以基于可用硬件资源和/或时间约束确定计算的系数数目。DCT模块125向周期和位置标识器135输出DCT系数130。
周期和位置标识器135分析DCT系数130的值以确定DCT系数130中的峰的存在和位置,其中峰指示照度数据102中的块的周期性。通常,DCT系数130将反映大均值(DC)分量。然而,这一均值分量可以未包含于由DCT模块125执行的计算中,或者另外可以被周期和位置标识器135忽略。
可以向后处理器145输入由周期和位置标识器135确定的块的周期和/或位置。后处理器145减少照度数据102中的和/或后续视频数据帧中的块噪声的可见性。例如,后处理器145可以基于从周期和位置标识器135输出的周期和位置数据140对照度数据102和/或对后续视频数据帧应用空间边缘自适应滤波。可以根据由周期和位置数据140指示的峰系数的量值适配在后处理器145执行的滤波程度。另外,后处理器145可以基于周期和位置数据140执行缩放和边缘增强。例如,可以在后处理器145执行软缩放和低边缘增强。
为了节约硬件资源,视频处理系统100可以仅处理在解压的视频流中存在的视频帧中的一些视频帧。在一个布置中,仅处理奇数编号的视频帧,并且处理在接收和解压两个视频帧所需要的时间期间出现。备选地,视频处理系统100可以更不频繁地(例如,每五个解压的视频帧之一)或者更频繁地(例如,所有视频帧的百分之九十)处理视频帧。仅处理接收的视频帧的小部分有利地允许图1A中所示技术在比原本(即,如果由视频处理系统100处理每个接收的视频帧则)需要的时间段更长的时间段内完成。
图1B示出了根据本公开内容的一些实施例的两个例示性照度数据集。照度值160和180可以各自表示照度数据102(图1A)的都位于视频帧的给定水平行中的八个连续采样。
图形150以比对在x轴上的像素位置在y轴上以亮度或者照度为单位绘制照度值160。照度值160表示在尚未对照度数据102(图1A)执行平滑、缩放或者相似图像处理技术时在块边界附近的像素亮度值的典型图案。照度数据102(图1A)的采样1-4属于帧内的第一图像数据块,而采样5-8属于第二块。如图1B中所示,照度值160的输出聚集于两个不同照度水平周围。具体而言,照度值160的采样1-4各自为(近似)一个亮度水平(即水平162),而采样5-8各自为近似第二亮度水平(即水平164)。
图形170比对在x轴上的像素位置在y轴上以亮度或者照度为单位绘制照度值180。照度值180表示在已经将平滑、缩放和/或相似图像处理技术应用于照度数据102(图1A)之后在块边界附近的像素亮度值的典型图案。照度数据102(图1A)的采样1-4属于帧内的第一图像数据块,而采样5-8属于第二块。照度值180的输出表现逐渐增加的亮度图案。输出值的这一逐渐增加(如与如在图形150中表现的急剧转变比对)归因于已经对照度数据102(图1A)执行的平滑、缩放和/或其它图像处理。
图2A是根据本公开内容的一些实施例的用于检测视频数据中的块边界的例示性流程图。在一个布置中,在块边界检测器105(图1A)中实施过程200。可以在视频处理软件中实施过程200,其中软件由一个或者多个微处理器执行或者在专门化视频处理硬件中直接执行。
在210,使用任何适当的基于软件或者硬件的滤波器来对照度数据102(图1A)进行高通滤波。高通滤波加重在视频帧行内的像素之间的像素量值差值。在一个布置中,在210实施高通滤波器[100-1]。这一高通滤波器比较当前像素和位于当前像素的水平右侧三个元素的像素的量值。可以在210使用其它高通滤波器。例如,可以使用具有更多或者更少零元素的高通滤波器,例如可以使用高通滤波器[10-1]和[10000-1]。继而,在220向阈值量化器传递在210的高通滤波器的输出,该输出被称为滤波的照度数据215。
在220,阈值量化器对滤波的照度数据215进行滤波。具体而言,比较滤波的照度数据215的每个元素与下阈值th_bd_low 222和上阈值th_bd_high 223。在量化的照度数据225的对应输出元素中向滤波的照度数据215的在这两个阈值之间的元素分配值“1”。另一方面,在量化的照度数据225的对应输出元素中向滤波的照度数据215的未在这两个阈值之间的元素分配值“0”。
阈值th_bd_low 222用来消除主要由图像噪声引起的假边界检测,而阈值th_bd_high 223用来消除主要由恰巧“像块”的自然出现的图像特征引起的假边界检测。具体而言,将阈值th_bd_low 222设置成在图像内正常(即“平滑”)的像素值改变比对指示块边界转变的像素值改变之间充分区分的值。另一方面,将阈值th_bd_high 223设置成如下值,该值充分区分块边界和在视频帧中的由视频帧的自然特征所致的甚至“更急剧”转变。在220的阈值量化器的输出被称为量化的照度数据225。模板匹配器230使用模板T 235来进一步对量化的照度数据225进行滤波。模板匹配器230比较来自量化的照度数据225的数据的“邻域”与模板235以便确定是否存在“模板匹配”。
图2B描绘了根据本公开内容的一些实施例的模板T 235的形式。如图2B中所示,模板T 235是5x7矩阵。在这一布置中,模板匹配器230(图2A)比较在量化的照度数据225(图2A)的特定元素周围居中的对应5x7数据邻域与模板T 235。也就是说,模板匹配器230(图2A)比较照度数据225(图2A)的5行和7列与模板T 235,这5行和7列等于共计35个数据值。如果模板匹配器230(图2A)描绘匹配,则它输出“1”,并且如果检测到在量化的照度数据225(图2A)的5x7邻域与模板T 235之间的一个或者多个差值,则它输出“0”。针对量化的照度数据225(图2A)的每个元素重复这一过程,从而产生边界数据110(图1A)的输出。边界数据110(图1A)因此与量化的照度数据225(图2A)相同尺寸并且与照度数据105(图1A)相同尺寸。在图2B中,列240和列250中的每个“x”值表示“不在意”条件。也就是说,模板匹配器230(图2A)将检测在模板T 235的具有“x”值的元素与照度数据235的对应元素之间的匹配,无论照度数据235的对应元素是为“0”或者“1”。
在图2B中描绘的模板T 235的设计仅为一个适当设计,并且许多其它设计也将适合于在模板匹配器230(图2A)中的实施。例如,模板匹配器230(图2A)可以使用除了5x7个像素之外的尺寸的模板、可以并入更多或者更少“不在意”条件和/或可以关于“0”、“1”和“x”元素的布局表现不规则形状。另外,模板匹配器230(图2A)可以基于量化的照度数据225(图2A)的与模板比较的对应元素变化模板的尺寸。例如,模板匹配器230(图2A)可以在它比较模板与量化的照度数据225(图2A)的元素时使用截短的或者以别的方式减少尺寸的模板,这些元素表示在视频帧的边缘上或者附近的像素。
图3A是根据本公开内容的一些实施例的用于根据边界数据生成检测阵列的例示性流程图。过程300由阵列生成器115(图1A)用来根据边界数据110生成检测阵列120。在315,阵列生成器115(图1A)将沿着边界数据110的每列的元素求和(即当在模仿视频帧的维度的矩阵格式中表示边界数据110时),并且在累加器组(例如,行)中存储求和的数据作为累加的数据320。在累加器行中存储的数据元素的量值将提供在边界数据110的每列中多么可能存在块边界的指示。例如,如果图像数据的块尺寸是10x10,则累加的数据320将通常每10个采样表现一次峰值,其中在其它点的幅度值更小。
在325,使用阈值th_grad 322将累加的数据320量化成“0”或者“1”值。具体而言,将累加的数据320的比th_grad 322更大的每个值量化成值“1”,而将累加的数据320的比th_grad 322更小或者相等的每个值量化成值“0”。325的输出是(二进制值)检测阵列120。如果与检测阵列120对应的视频帧有块噪声存在,则检测阵列120将按照规律间隔有特性地表现值“1”而在别处表现值‘0’。
例如,图3B示出了根据本公开内容的一些实施例的检测阵列的例示性示例。具体而言,图3B示出了当与照度数据相关联的块尺寸是12x12时检测阵列120比对检测阵列120的索引的例示性示例(为了清楚而仅示出了检测阵列120的部分)。在图3B中可见以至少一个连续“1”值为例的峰每12个索引值出现一次。另一方面,如果与检测阵列120对应的视频帧没有块噪声存在,则相似绘图不会示出这样的规律和周期图案。
由于虚假或者遗漏的块边界检测,检测阵列120可能不包含完全周期数据。然而,可以使用频率变换技术来提取检测阵列120的数据的基本周期性。例如,DCT可以用来执行检测阵列120的频率变换而又避免其它频率变换技术的额外计算要求(例如,涉及到复数)。
图4A是根据本公开内容的一些实施例的用于根据检测阵列生成DCT系数集的例示性流程图。过程400由DCT模块125(图1A)实施。在410,DCT模块125(图1A)从检测阵列120获得1024个采样,这些采样将用来确定照度数据102(图1A)中的任何块边界的存在。具体而言,如果检测阵列120包含多于1024个采样,则DCT模块将在410通过截短检测阵列120来获得检测阵列120的恰好1024个采样。通常,DCT模块将通过保留来自检测阵列120的中心1024个采样来执行这一截短。然而,DCT模块可以执行任何适当形式的截短,该形式包括基于采样算法的截短或者通过从检测阵列120的“左”或者“右”部分提取连续采样集。另一方面,如果检测阵列120包含少于1024个采样,则DCT模块125(图1A)将向检测阵列120添加零填充采样以便使采样总数为1024。在410的处理之后输出的信号被称为数字信号x(n)415。
基于这里提供的公开内容和教导,应当理解,可以在过程400中使用数目不是1024个的采样。例如,可以使用任何适当整数值个采样。可以有利的是,使用数目为2的幂(即256、512、1024、2056等)的采样,这些采样包括在410添加的任何零填充字节以便提供过程400的高效计算实施。
在420,DCT模块125(图1A)可以确定比1024个可能块尺寸的集合更小的候选块尺寸集合,以便高效标识照度数据102(图1A)中的块压缩赝像的存在。通过选择仅分析一些块尺寸而不是所有1024个可能性,可以显著减少DCT模块125(图1A)的计算复杂性。例如,在特定应用中,情况可以是视频处理系统(图1A)仅需考虑8至22的候选块尺寸以便检测可能块赝像的存在(这可以例如归因于视频压缩协议的先验知识)。在这一情况下,DCT模块125(图1A)在420设置或者获得块尺寸参数范围8至22。在实践中,块尺寸通常范围从4至25,并且因此如接下来描述的那样仅需计算与这一块尺寸范围对应的DCT系数。
在430,确定与在420选择的块尺寸对应的DCT索引。具体而言,以下关系将系数索引与所选块尺寸相关:
n = 2 N S ,
其中n是DCT系数索引值,S是所选块尺寸,并且N是数字信号x(n)415中包含的采样数目。通常,如上文描述的那样N=1024,并且在这一情况下,该关系变成:
n = 2048 S .
因此,如果在照度数据102(图1A)中仅预期8至21.33的块尺寸,则仅需计算具有从96至256的索引的系数。因此,在这一情况下,仅需计算161个系数而不是计算共计1024个DCT系数。这允许DCT模块125(图1A)最优地或者接近最优地运行而又仅需可能DCT系数总数的百分之15的计算。
在440,过程440计算在430确定的系数索引值评估的数字信号x(n)415的DCT。DCT系数130也将被表示为X(k)以指示特定系数而被表示为{X(k)}以指示系数集。具体而言,DCT模块125(图1A)使用以下关系将数字信号x(n)415转换成DCT系数130:
X ( k ) = Σ n = 0 N - 1 x ( n ) cos [ π N ( n + 1 2 ) k ]
其中k=0,...,N-1是系数索引,并且其中如上文描述的那样N是数字信号x(n)415中包含的采样数目。如由这一关系所示,通过将来自数字信号x(n)415中的N个输入值求和来计算每个系数,其中每个输入值乘以余弦项。如果数字信号x(n)415是周期性的,则{X(k)}的某些系数将取大值。这些系数的索引指示数字信号x(n)415的周期性并且因此指示照度数据102(图1A)中的压缩块尺寸。另一方面,如果块噪声不存在,则系数{X(k)}将都不会相对于所有系数{X(k)}的平均值而言具有特别高的值。
可以使用查找表或者存储器来存储由DCT模块125(图1A)使用的余弦值。另外,DCT模块125(图1A)仅需存储用于范围0-90中的角度的余弦值,因为可以根据范围0-90中的那些角度推导用于所有其它角度(即,在范围90-360度中的角度)的余弦值。过程400的输出是DCT系数130。DCT系数130中的系数数目等于在420确定的感兴趣的块尺寸数目。
图4B示出了根据本公开内容的一些实施例的例示性DCT系数值集合。在y轴上绘制DCT系数值,而在x轴上绘制DCT系数索引。DCT系数值450表示在440(图4A)计算的典型DCT系数集的部分。在一个布置中,DCT系数值440表示DCT系数130的部分。
在图4B中,存在在与幅度区域460对应的系数索引值周围的特征峰(distinct peak)。这个峰指示照度数据102(图1A)具有明显的块赝像效果,并且进一步指示在照度数据102(图1A)中存在的压缩块具有与对应于DCT系数索引470的块尺寸近似地或者恰好相等的周期性。虽然从图4B并不明显,但是DCT系数130(图1A)在比对DCT系数索引来绘制时一般可以表现多个规则间隔的峰。这可以归因于谐波的存在。例如,8x8的压缩块尺寸意味着DCT系数130(图1A)是周期性的而周期为8以及周期为16、周期为24等。这在需要在周期和位置标识器135(图1A)发现确切压缩块尺寸时是重要的。
图5是根据本公开内容的一些实施例的用于提取在照度数据102(图1A)中包含的关于块的周期和位置以及块赝像的信息的例示性流程图。具体而言,图5图示了用于从DCT系数130提取在照度数据102(图1A)中包含的关于块的周期和位置以及块赝像的信息的流程图。过程500由周期和位置标识器135(图1A)实施。
在510,周期和位置标识器135(图1A)计算或者以别的方式确定DCT系数130的基值。可以使用任何适当技术来计算基值。例如,可以确定基值为DCT系数130中的所有系数的平均值。另外,周期和位置标识器135(图1A)可以在确定基值之前丢弃来自DCT系数130的离群系数值。
在520,周期和位置标识器135(图1A)可以通过比较DCT系数130中的某些候选峰值与在510确定的基值来确定DCT系数130的峰值。例如,可以选择来自DCT系数130的最大系数值为候选峰值并且与基值比较。这一最大系数值如果它的值充分大于基值则才可以被确定为峰。可以通过比较候选峰的值与在510确定的基值之比与阈值和/或通过要求候选峰的值与基值之差的量值超过阈值来进行候选峰是否为实际峰的确定。此外,可以从DCT系数130选择多个候选峰值。例如,可以选择来自DCT系数130的2、5、10或者20个最大值作为候选峰值。继而可以例如使用上文描述的判据中的任何判据来测试这些候选峰值中的每个候选峰值以确定它们是否为(实际)峰值。输出520是峰值525的集合。
在530,周期和位置标识器135(图1A)基于峰值525确定视频数据的帧(即,照度数据102(图1A))内的块周期和/或位置。如果在峰值525中包括恰好一个峰值,则周期和位置标识器135(图1A)根据与峰对应的DCT系数索引确定块周期,并且也可以确定块位置(即在帧内的偏移)。输出这一信息作为周期和位置数据140。
另一方面,可以在峰值525中包括多于一个峰值。例如,DCT系数130可以由于谐波而包含多个峰。在这一情况下,周期和标识模块135(图1A)将通过在与峰值525中的每个峰相关联的周期之中发现最大公约数来确定“恰当”峰。例如,如果峰值255包括与每8个像素一个块、每16个像素一个块、每24个像素一个块和每32个像素一个块的周期对应的四个峰,则周期和位置标识器135(图1A)将确定照度数据102(图1A)中的压缩块的周期性为8,因为8是8、16、24和32的最大公约数。
另外,由于在DCT模块125(图1A)执行的DCT的性质,候选峰可能未以如下周期性出现,这些周期性是彼此的整倍数。例如,由于在视频处理系统(图1A)的所有步骤的信息的数值不精确性和潜在有缺陷提取,峰值525可能包含与每8个像素一个块、每17个像素一个块、每23个像素一个块和每33个像素一个块的周期性相关联的峰。在这一情况下,周期和位置标识器135(图1A)将运行具有进一步稳健性判据的最大公分母算法。该算法将能够确定在稳健性判据约束下,照度数据102(图1A)中的块的周期性是每8个像素一个块。
前文描述用于检测数字视频数据中的块噪声的方法和装置以及其它方面。所公开的技术实现无论视频数据的块尺寸如何都在水平和/或竖直方向上检测压缩块赝像的存在。可以与来自解码器的任何信息独立地实施所公开的技术。所公开的技术可以使用减少的硬件集合来,实施并且在一些实施例中,无需任何帧存储。检测块压缩赝像的存在可以用来触发噪声去除滤波以减少块赝像并且以对用于有噪声内容的其它后处理技术进行编程。
出于例示而非限制的目的来呈现本公开内容的上文描述的实施例。例如,可以对任何数目的视频帧执行图1A的所描述的技术,并且可以用视频帧储存或者未用视频帧存储执行所描述的技术。另外,上文描述的技术中的一个或者多个部分可以按照不同顺序(或者并行地)来执行并且仍然实现希望的结果。此外,可以在硬件中(比如在专用集成电路(ASIC)上或者在现场可编程门阵列(FPGA)上)实施公开内容。也可以在软件中实施公开内容。

Claims (20)

1.一种确定视频数据的特性的方法,所述方法包括:
获得所述视频数据的帧,其中所述帧包括像素数据的R行和C列;
基于所述帧的与检测阵列的给定元素相关联的列中的像素数据向所述给定元素分配值,所述检测阵列包括C个元素;
确定所述检测阵列中的C个值的频率变换;并且
从所述频率变换的输出提取所述特性。
2.根据权利要求1所述的方法,其中所述特性是所述视频数据的块尺寸。
3.根据权利要求1所述的方法,其中所述值指示所述帧的与所述给定元素相关联的所述列中的落在与块边界的像素距离内的像素的数目。
4.根据权利要求1所述的方法,其中所述频率变换是离散余弦变换。
5.根据权利要求1所述的方法,还包括将图像处理滤波器应用于所述视频数据,其中所述图像处理滤波器的参数至少部分基于所提取的特性。
6.根据权利要求1所述的方法,其中提取所述特性包括:
确定所述频率变换的所述输出的峰值;并且
比较所述峰值与所述频率变换的所述输出的平均值。
7.根据权利要求1所述的方法,其中向所述检测阵列的所述给定元素分配所述值包括将求和器应用于所述帧的与所述给定元素相关联的所述列中的所述像素数据并且使用所述求和器的输出作为所分配的值。
8.根据权利要求7所述的方法,还包括:
如果所述求和器的所述输出超过阈值,则关联第一逻辑值与所述给定元素;并且
如果所述求和器的所述输出未超过所述阈值,则关联第二逻辑值与所述给定元素。
9.根据权利要求7所述的方法,其中在应用所述求和器之前将高通滤波器应用于所述帧的与所述给定元素相关联的所述列中的所述像素数据。
10.根据权利要求7所述的方法,其中在应用所述求和器之前将模板匹配器应用于所述帧的与所述给定元素相关联的所述列中的所述像素数据。
11.一种用于确定视频数据的特性的视频处理系统,所述视频处理系统包括:
获取电路,配置成获得所述视频数据的帧,其中所述帧包括像素数据的R行和C列;
边界检测电路,配置成:
基于所述帧的与检测阵列的给定元素相关联的列中的像素数据向所述给定元素分配值,所述检测阵列包括C个元素;并且
存储所述检测阵列的C个元素;
频率变换电路,配置成计算所述检测阵列中的C个值的频率变换;以及
参数提取电路,配置成从所述频率变换的输出提取所述特性。
12.根据权利要求11所述的系统,其中所述特性是所述视频数据的块尺寸。
13.根据权利要求11所述的系统,其中所述值指示所述帧的与所述给定元素相关联的所述列中的落在与块边界的像素距离内的像素的数目。
14.根据权利要求11所述的系统,其中所述频率变换是离散余弦变换。
15.根据权利要求11所述的系统,还包括:图像处理电路,配置成至少部分基于所提取的特性对所述视频数据滤波。
16.根据权利要求11所述的系统,其中所述参数提取电路被进一步配置成通过以下操作来提取所述特性:
确定所述频率变换的所述输出的峰值;并且
比较所述峰值与所述频率变换的所述输出的平均值。
17.根据权利要求11所述的系统,其中所述边界检测电路被进一步配置成通过将求和电路应用于所述帧的与所述给定元素相关联的所述列中的所述像素数据来向所述检测阵列的所述给定元素分配所述值。
18.根据权利要求17所述的系统,其中所述边界检测电路被进一步配置成:
如果所述求和电路的输出超过阈值,则存储与所述给定元素对应的第一逻辑值;并且
如果所述求和电路的所述输出未超过所述阈值,则存储与所述给定元素对应的第二逻辑值。
19.根据权利要求17所述的系统,其中所述边界检测电路被进一步配置成在应用所述求和电路之前将高通滤波器应用于所述帧的与所述给定元素相关联的所述列中的所述像素数据。
20.根据权利要求17所述的系统,其中所述边界检测电路被进一步配置成在应用所述求和电路之前将模板匹配器应用于所述帧的与所述给定元素相关联的所述列中的所述像素数据。
CN201180036824.9A 2010-07-28 2011-02-09 数字视频信号中的块压缩赝像检测 Active CN103026708B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36849110P 2010-07-28 2010-07-28
US61/368,491 2010-07-28
PCT/IB2011/000413 WO2012014021A1 (en) 2010-07-28 2011-02-09 Block compression artifact detection in digital video signals

Publications (2)

Publication Number Publication Date
CN103026708A true CN103026708A (zh) 2013-04-03
CN103026708B CN103026708B (zh) 2018-01-26

Family

ID=43898970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180036824.9A Active CN103026708B (zh) 2010-07-28 2011-02-09 数字视频信号中的块压缩赝像检测

Country Status (5)

Country Link
US (1) US9077990B2 (zh)
EP (1) EP2599311B1 (zh)
CN (1) CN103026708B (zh)
TW (1) TWI511545B (zh)
WO (1) WO2012014021A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038454A (ja) * 2011-08-03 2013-02-21 Sony Corp 画像処理装置および方法、並びにプログラム
US9071825B2 (en) * 2012-04-24 2015-06-30 Tektronix, Inc. Tiling or blockiness detection based on spectral power signature
AU2012216341A1 (en) * 2012-08-21 2014-03-13 Canon Kabushiki Kaisha Method, apparatus and system for segmenting an image in an image sequence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1309506A (zh) * 1999-12-22 2001-08-22 特克特朗尼克公司 视频信号内阻塞的谐波测量
CN101567964A (zh) * 2009-05-15 2009-10-28 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
US20100060749A1 (en) * 2008-09-09 2010-03-11 Sujith Srinivasan Reducing digital image noise
CN101742292A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 基于图像内容信息的环路滤波方法和滤波器

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188799B1 (en) 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
WO1999062264A1 (en) * 1998-05-22 1999-12-02 Matsushita Electric Industrial Co., Ltd. Block noise detector and block noise eliminator
US6810082B1 (en) * 1999-12-17 2004-10-26 Koninklijke Philips Electronics N.V. Chroma based adaptive signal peaking
JP4230636B2 (ja) 2000-02-29 2009-02-25 株式会社東芝 動画像再生方法および動画像再生装置
US7136538B2 (en) 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
US7003174B2 (en) 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
JP4145586B2 (ja) 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
EP1536647A1 (en) 2003-11-26 2005-06-01 STMicroelectronics Limited A video decoding device
JP4066367B2 (ja) 2003-11-28 2008-03-26 ノーリツ鋼機株式会社 画像ノイズ除去方法
JP2005167399A (ja) 2003-11-28 2005-06-23 Noritsu Koki Co Ltd 画像ノイズ除去方法
JP4002599B2 (ja) 2003-12-01 2007-11-07 学校法人日本工業大学 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
CA2616875A1 (en) 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JP4457346B2 (ja) 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
US8254462B2 (en) 2005-01-28 2012-08-28 Broadcom Corporation Method and system for block noise reduction
US20060171466A1 (en) 2005-01-28 2006-08-03 Brian Schoner Method and system for mosquito noise reduction
US7657098B2 (en) 2005-05-02 2010-02-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing mosquito noise in decoded video sequence
US7680355B2 (en) 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
US7548660B2 (en) 2005-09-30 2009-06-16 Intel Corporation System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US20090123079A1 (en) 2005-12-21 2009-05-14 Koninklijke Philips Electronics, N.V. Reduction of compression artefacts in displayed images
JP2007334457A (ja) 2006-06-12 2007-12-27 Toshiba Corp 画像処理装置及び画像処理方法
JP2007336075A (ja) 2006-06-13 2007-12-27 Victor Co Of Japan Ltd ブロック歪み低減装置
JP4410225B2 (ja) 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
AU2006252195B8 (en) 2006-12-21 2011-02-03 Canon Kabushiki Kaisha MPEG noise reduction
US8189946B2 (en) 2007-01-24 2012-05-29 Canon Kabushiki Kaisha Image processing apparatus and method thereof for detecting and removing noise in decoded images
TWI478584B (zh) * 2007-03-08 2015-03-21 Realtek Semiconductor Corp 一種視訊編解碼的方法及其裝置
US8331717B2 (en) 2007-10-03 2012-12-11 Panasonic Corporation Method and apparatus for reducing block noise
TW200926764A (en) * 2007-12-03 2009-06-16 Univ Nat Kaohsiung Applied Sci Video noise reduction method suitable for dark environment
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
US8681875B2 (en) * 2008-11-25 2014-03-25 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus and method for coding block boundary detection using interpolated autocorrelation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1309506A (zh) * 1999-12-22 2001-08-22 特克特朗尼克公司 视频信号内阻塞的谐波测量
US20100060749A1 (en) * 2008-09-09 2010-03-11 Sujith Srinivasan Reducing digital image noise
CN101742292A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 基于图像内容信息的环路滤波方法和滤波器
CN101567964A (zh) * 2009-05-15 2009-10-28 南通大学 一种低码率视频应用中的预处理降噪去块效应方法

Also Published As

Publication number Publication date
CN103026708B (zh) 2018-01-26
US9077990B2 (en) 2015-07-07
WO2012014021A1 (en) 2012-02-02
TW201206173A (en) 2012-02-01
EP2599311A1 (en) 2013-06-05
TWI511545B (zh) 2015-12-01
US20120027103A1 (en) 2012-02-02
EP2599311B1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
CN1197383C (zh) 用于识别数字视频图像中像块伪痕的方法和装置
CN103037212B (zh) 基于视觉感知的自适应块压缩传感图像编码方法
CN102209180A (zh) 图像处理设备和图像处理方法
GB2437337A (en) Measuring block artefacts in video data using an auto-correlation function
CN101690226A (zh) 统计性图像改善方法、图像编码方法以及图像解码方法
EP1790165B1 (en) Detecting the position of blocking artefacts using a neural network
CN103354617B (zh) 一种基于dct域的边缘强度压缩的图像质量客观评价方法
CN107251053B (zh) 一种降低有损压缩图像的压缩失真的方法及装置
KR20110108918A (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
CN1267999A (zh) 电子水印插入装置及电子水印插入方法
CN1451143A (zh) 用于边缘检测的方法和设备
CN103026708A (zh) 数字视频信号中的块压缩赝像检测
CN102903100B (zh) 一种数字照片图像压缩历史的检测方法
US20120092476A1 (en) Methods and apparatus to form a wavelet representation of a pathology slide having glass and tissue regions
US20130038750A1 (en) Methods and apparatus to perform multi-focal plane image acquisition and compression
CN101663894A (zh) 减少图像解压缩系统中的块伪像
CN1636393A (zh) 用于改进从sd到hdtv转换的方法和设备
CN116861271A (zh) 基于大数据的数据分析处理方法
EP0829163B1 (en) Method and arrangement for encoding and decoding images
CN100452825C (zh) 分布估计方法,解码方法和解码装置
CN1833448A (zh) 区块假象检测
CN111107360B (zh) 一种光谱-空间维联合的高光谱图像无损压缩方法及系统
CN109819251B (zh) 一种脉冲阵列信号的编解码方法
Al-Samaraie et al. Colored satellites image enhancement using wavelet and threshold decomposition
EP2254338B1 (en) Coding and decoding methods and devices, computer program and information carrier enabling the implementation of such methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171020

Address after: Bermuda Hamilton

Applicant after: Maver International Ltd.

Address before: Babado J San Mega Le

Applicant before: Mawier International Trade Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180613

Address after: American California

Co-patentee after: New thought limited liability company

Patentee after: Synopsys Inc.

Address before: Bermuda Hamilton

Patentee before: Maver International Ltd.