CN1155814A - 视频信号处理的噪声估计与降低装置 - Google Patents
视频信号处理的噪声估计与降低装置 Download PDFInfo
- Publication number
- CN1155814A CN1155814A CN96121894A CN96121894A CN1155814A CN 1155814 A CN1155814 A CN 1155814A CN 96121894 A CN96121894 A CN 96121894A CN 96121894 A CN96121894 A CN 96121894A CN 1155814 A CN1155814 A CN 1155814A
- Authority
- CN
- China
- Prior art keywords
- uproar
- making
- function
- equipment
- removes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
Abstract
视频信号压缩设备提供了用于产生表示视频信号当前帧的预测值与实际像素值之间的像素差值的余数的装置(12,16,17,18,14)。降噪电路,以非线性处理装置(500)的形式,对较低幅度的余数比对较高幅度的余数衰减大,并响应噪声估计(1333)。处理过的余数经过变换(15)成为压缩的视频数据输出。本发明所阐述的非线性处理函数降低了噪声,减小了图像失真。
Description
本发明涉及视频信号处理的降噪方法与压缩装置,尤其是用在视频信号编码过程中的降噪设备。
在当前图像可以从其相邻图像预测出来时,对视频信号压缩的预编码效果最好。但当原始图像中含有噪声时,准确预测变得非常困难,而且或者是压缩效率降低,或者再现图像质量下降,或者两者兼而有之。因此在视频信号被压缩以前必须降低其中的噪声信号。
图1表示了现有的图像预编码系统,其中单元12-22形成了实际的预编码,我们将稍后进行描述。在这类现有技术系统中,典型的降噪装置包括在视频信号被压缩前对其进行预处理的递归降噪滤波器。之所以采用场或帧递归滤波器,是因为它们能有效地降低活动信号带宽内的噪声分量。然而为了取得显著的降噪效果而不给活动图像带来不必要的拖尾现象,这样的滤波器还需有很强的记忆能力和需要相当完善的处理电路。
本发明的目的是为预编码系统提供一种需要最少额外硬件的高效噪声滤除装置和方法。
本发明降低视频信号处理和压缩中的噪声。视频信号压缩装置包括用于产生表示视频信号当前帧的实际像素值与预测值之间的像素差值的余数的电路。一个非线性处理器对较小幅度余数比对较大幅度余数衰减更大,并负责噪声估计。处理过的余数变换后作为压缩过的视频数据输出。
本发明的特征之一是公开了非线性处理在噪声估计和噪声衰减及降低图像失真中的作用。
本发明的另一特征是公开了噪声估计功能。
图1是现有技术的DPCM压缩装置的方框图;
图2和图4是包含了本发明的降噪装置的另一种压缩装置的方框图;
图3和图5是图2和图4的降噪装置中用到的非线性传输函数的示意图;
图6和图7是图2和图4的降噪装置中用到的本发明的非线性传输函数的示意图。
下面对本发明进行说明,类似于国际标准组织中的活动图像专家组(MPEG)所建立的标准中描述的视频压缩。在MPEG协议中,运动补偿预编码既需要帧内编码又要帧间编码。即每个第N帧是帧内编码的,以确保有规律的短暂信号刷新。根据前面的帧以后续帧中的压缩数据对插入帧进行帧间编码或DPCM预编码。帧内编码的帧被称为I帧,帧间编码的帧根据它们仅是前向预测还是前后双向预测而分别被称为P帧或B帧。预编码过程包括把各个图像分成小区域和在相邻图像中寻找相同或几乎相同的图像区域。相邻图像中区域的位置和当前图像的区域与相邻图像中对应的相同或几乎相同的图像区域的差值被编码进行传送。注意到如果对应的区域实际上是相同的,那么所有的差值为零并且一个区域可以简单地编码为一个识别对应区域位置的矢量和一个表示所有差值为零的代码。因此已压缩的相同或几乎相同的图像只需很少的码字就可以实现。另一方面,如果图像中含有可估计的噪声,则帧与帧之间图像区域的相关性将恶化,伴随残余数据的增加,以及带来压缩码字的相应增加。
在图1中,例如说摄相机产生的视频信号被送到递归降噪单元10,它用来调节被压缩的视频信号。该装置的其余配置都是公知的,因而仅进行一般的描述。I帧像素数据从降噪单元10通过减法器12不经改变被送到编码器15。编码器15对像素数据(以8×8的像素块)进行离散余弦变换DCT产生DCT系数。这些系数量化后控制数据速率并被以预定序列排序,该预定序列汇集大多数赋零值的系数以进行有效的行程编码。编码器然后对系数进行行程和统计上的编码。编码后像素表示数据被送到格式器19,根据选择的压缩协议,比如MPEG2,格式器将指示相应块在一帧中的源位置、编码类型、(I、P、B)、帧号及时标等的信息附加上去。从格式器出来的数据被送到传输处理器20,它将格式化后的数据分割成特定位数的有效负载包,产生跟踪对应有效负载的标识符和同步信息,生成错误纠正/检测码,将所有后者附在各有效负载包后形成传输包。传输包被送到合适的调制解调器22上进行传送。
从编码器15出来的压缩的I帧被送到解码器16,它完成与编码器15相反的功能。压缩的I帧从解码器16输出再现的I帧。解压后的I帧通过加法器18不加变化地送到缓存器17,其中存有预压缩的后续P帧和B帧。P帧和B帧的预编码是类似的,在此仅讨论P帧的压缩情况。将当前正被压缩的P图像帧送到运动估值器14,在此将该帧分面16×16像素的块。然后估值器14在前面的I帧或P帧中寻找类似的16×16像素块,并计算生成一个矢量集,它用来表示当前帧中的像素块与被搜索帧中最接近相同的块在空间标系中相互的差别。利用这个矢量来自缓存器17中对应的解压帧的相应块送到减法器12,在减法器12中,在逐个像素的基础上从正被压缩的当前帧的对应块减去来自缓存器17的预测块。减法器形成的差或余数被送到编码器15,在其中经过象I帧像素数据一样的处理。由估值器14生成的矢量被送到格式器19,作为与各个块相关联的编码数据的一部分。
压缩后的P帧在解码器16中被解码,然后被送到加法器18。与此同时根据其来对帧作预测的图像帧的相应块在缓存器中被预测器13取出作为加法器18的第二路输入,在加法器中解码后的余数或差在逐个像素基础上相加以恢复实际图像。在加法器18中恢复的像素P帧数据被存在缓存器17中用来预编码/解码后续的P帧和B帧。
应注意其中非常重要的一点是当I帧正被处理时,预测器13向减法器12和加法器18提供零值。这样输入的I帧可以不被改变地通过减法器12,从解码器16出来的解码后的I帧可以不被改变地通过加法器18。
图2表示了本发明的第一实施例。图2中的压缩装置类似于图1中的装置,标有同样数字的单元完成图1中相应单元的同样功能。但有两个显著的不同:一是增加了非线性单元(NLE)500,二是功能与图1中单元13稍有不同的单元1333。
非线性单元500连接在减法器12与编码器15之间。这个单元仅允许在预定值之上的信号值通过。单元500可以是一个简单的除噪(coring)电路,即小于预定值的所有值都作为零值输出,而所有大于预定值的信号值都减去预定值,如图3中所示的分段线性函断(曲线B)。另外,它也可能是一种更典型的除噪电路的形式,即对所有小于预定值的信号值输出零值,而对所有大于预定值的信号值不加改变地通过。单元500的另一函数可是更缓和的曲线,如图3中曲线A所示。
另外列举的具备滤除噪声优点的本发明的可选非线性输函数在图6和图7中示出。要求非线性单元的传输函数在除噪区域(图6和图7中的W至-W)以外能提供恒等功能(输出等于输入)。同时也要求非线性单元的传输函数在除噪与非除噪区域之间能提供平滑转换。否则可能由于缺少这两个除噪特征而导致图像失真。本发明中提供这些特征的非线性传输函数是提供如下特征的函数集:(a)在除噪窗以外提供恒等特性;(b)在除噪窗内是下凸并上升的函数。形成所要求的非线性传输函数的函数集由下式给出:
f(x)=x 当|x|>W时
f(x)=g(x) 当|x|≤W时其中g(x)是x的上升和下凸的函数(如x2),且g(W)=W。
图6所示的曲线定义如下:f(x)=x 当|x|>W时,图6中曲线A 当|x|≤W时,图6中曲线B
其中n是一个整数,用来控制除噪函数在除噪窗(|x|≤W)内的凸度。n值越大,除噪函数的曲线B在除噪区域|x|<W内的凸度越大,并越接近于零。当n=1时,除噪函数变为恒等函数。
图7的曲线是所述函数集的分段线性和凸出的一种典型实现。图7的曲线定义如下:
f(x)=x 当|x|>W时,图7中的曲线C
f(x)=ax 当|x|<T时,图7中的曲线E
f(x)=bx 当T<|x|<W时,图7中的曲线D
其中a<b且0<T<W。参数T是控制除噪函数凸度的阈值。
上述所有函数都可以通过将它们编程到单元500的存储器中的相应地址位置来实现,被处理的信号可以对这些地址位置进行寻址。非线性单元500的存储器可以用许多不同的传输函数编程,传输函数的选择是根据来自预测单元1333的控制信号,稍后将对其进行说明。选择传输函数的其它方法已经被描述过,如在Zdepski等申请的美国专利5,258,928中就有这方面的说明。另外上述本发明的非线性函数集适合在各种广泛应用中用来滤波和降噪,而不仅仅适合于所述视频编码器的环内除噪系统。可能的应用包括卫星、地面和电缆通信或广播系统,也包括电话。例如,这些函数可以用于静态图像压缩、调制解调或语音压缩。
图2中的压缩器完成两类典型的压缩:帧内压缩和帧间压缩。在后一种类型中单元500的输入信号是来自于两个独立帧的像素差的余数。而在前一类型中单元500的输入信号是未经改变的视频信号。帧间压缩的噪声功率是帧内压缩的根号2倍,而且其信号电平比前者小得多。因此,无论信号中含有多少噪声,帧内视频信号的信噪比都远大于帧间余数的信噪比。
考虑到信噪比的不同,帧内压缩与帧间压缩的非线性函数应不同。例如,在非线性函数是分段线性除噪的情况下,在其以下帧内值被作除噪处理的预定值将比帧间余数的大得多。另一方面,由于与余数相比,帧内信号的信噪比大得多,可使非线性单元让帧内信号不加改变地通过。根据P帧间B帧数量的不同,B帧和P帧预编码帧的相对信噪比也许有显著的不同。因此,对于不同类型的预编码,单元500可能适于选用不同的非线性函数。非线性单元的自适应控制是由预测器1333完成的,它为被编码的I、P和B帧产生对应的控制信号。
另外,本发明人已认识到由于受到许多因素包括操作的改变,例如全景摄影操作的影响,来源于信号源比如摄像机的输入视频信号中的噪声也许会随着时间变化(例如帧至帧)。而且在一帧图像的各部分内输入信号中的噪声也可能由于场景的变化而改变。因此,本发明人认识到根据图像噪声的估计来调整非线性单元的函数是有益的。后面将对此详细讨论。
图4表示了有利于对所有类型的帧间和帧内压缩使用一类似的非线性函数的实施例。图4中与图1有同样标号的单元结构是相同的,功能也相似。图4的电路在减法器12与编码器15之间含有一个非线性单元50。非线性单元的函数也许类似于图5所示(标准的除噪函数),或者是一个相对单元500所描述的函数。
在帧间压缩过程中,开关SW1和SW2处于与图中所示位置不同的位置上。这种情况下,该系统的配置和操作与图2所示的帧间编码系统完全一样。因此非线性单元50的函数将根据帧间编码的性能期望值来选择。
对于帧内编码来说,从解码器16出来的解码后的帧内信号需要不被改变地通过加法器18。这可以通过按预测单元133的规定利用开关SW1在I帧编码期间传送零值来实现。同时开关SW2被移动到如图4所示的位置上。
为了使非线性单元对I帧信号有好效果,考虑到它们的较高信噪比,在噪声处理时,I帧信号被人工地降低了,在噪声处理后再恢复。I帧信号的降低是通过产生一预期的I帧并将其送到减法器12实现的。减法器产生的差值与帧间余数的大小在同一数量级上,因此非线性单元对它们的处理也是一样的。然后由预测器133提供的预测信号被加回到非线性单元产生的信号上,将输入的I帧信号恢复到基本上为其原始值。
有好几种方法可用来产生预测的I帧信号。其中的一种是简单地调节预测器133,以输出来自缓存器17中解码后的上一帧信号(可能不是I帧)的与当前I帧并置的像素块。但是以预测P或B帧类似的方式预测I帧是一种优选的方法,它对I帧提供更精确的预测。应注意预测需要有提供时间上隔开的帧中类似像素块之间的空间对应关系的运动矢量。编码后的I帧通常不包括运动矢量。但是,由于编码器含有产生P帧和B帧矢量的运动矢量发生装置,对该装置编程使其也产生I帧运动矢量是一件简单的事情。为了降噪这些运动矢量可在编码器用于产生预测I帧,然后被丢弃,即不包含在编码后位流中。另一方面,I帧运动矢量也可以被包含在编码后位流中,以像MPEG协议中建议的那样达到错误隐藏的目的。
假定非线性单元50被编程为通过所有幅度大于T值的信号样本,T值通常非常小。同时假定预测器提供的信号为S(n),输入的I帧信号为I(n)。忽略单元50,加到开关SW2上部触点的信号为I(n)-S(n)。这个信号作为加法器52的一路输入,信号S(n)作为加法器52的另一路输入。加法器52的输出信号为I(n)-S(n)+S(n)=I(n)。这些值被送到编码器15,它们与输入值没有任何不同。只有那些由减法器12提供的差值在±T之内的输出值I(n)才会受到非线性单元50的影响。因此如果预测器133提供的I帧预测值非常精确,即偏差在±T以内的话是有益的,在这种情况下,非线性单元50大体上只影响噪声分量。
前面的论述假定所有的帧都是帧内编码或帧间编码的。例如,在MPEG标准中,视频信号的编码是在逐个块的基础上,并规定如果在搜索帧中不能找到接近的块,就将P帧或B帧中的某些块以帧内编码方式进行编码。在这些例子中,预测器13、133和1333被编程为在逐个块的基础上根据当前处理类型分别切换非线性处理单元15、50和500。因此,在所附权利要求书中,如果提到根据帧间处理方式的压缩帧,应理解这些帧中的某些像素块也可能是帧内处理的,该权利要求也适用于这种混合方式的处理帧。
正如前面所提到的,本发明人认识到了根据图像噪声估计来改变非线性单元传输函数的好处。而且对非线性单元传输函数进行有益地改变以使编码器适应在帧间和帧内发生的信噪比变化。这些信噪比的改变可能是诸如摄像机全景摄影或场景改变的结果。另外,本发明已指出了图像噪声与在一个图像区域内的运动程度的反比关系。本发明也指出了图像噪声与一个图像区域内的运动复杂性之间存在同样的反比关系。在例如要求的除噪宽度与图像运动程度与复杂性之间也存在反比关系。
在图2的编码器实施例中,预测单元1333估计与正被编码的当前像素块相关的噪声。根据该噪声估计,单元1333通过控制信号调整单元500中除噪函数的除噪宽度(如图6所示),以过滤来自减法器12的余数。单元1333以可选的时间间隔调整P帧或B帧中正被编码的像素块的除噪宽度。但是,单元500不改变经过的I帧像素块。如下所述,噪声估计和非线性单元的更新操作都是由单元1333实现的。剩下的编码器操作在前面图2的相关描述中已有说明。
单元1333检查运动估值器14提供的当前被编码的像素块(当前块)的运动矢量。当这个运动矢量大体为零,且当前块的预测误差在预定阈值以下时,计算该噪声估计。单元500的非线性单元传输函数根据该噪声估计而变化。通过在运动矢量大体为零和预测误差很低的情况下计算该噪声估值,噪声估计的精确性得到改善。这是因为与运动矢量为零一致的大的场景变化的相关误差被减小了。预测误差是按当前块的均方差(MSE)计算的。例如,在含有N个像素的宏块中,其中每一像素都有一个表示该像素亮度的亮度值(如黑白图像的灰度级),MSE值由下式给出: 其中ui是当前块像素亮度值,i是对应当前块的预测块的像素亮度值。N等于当前块中像素亮度值的数量,例如在假定16×16像素宏块的MPEG标准中N=256。MSE值越小,表示预测结果越好,因为它表示预测值的易变性和猜测性越小。噪声估计σ是在运动矢量大体为零和预测误差低时假定MSE值代表了图像块的噪声的情况下得到的。噪声估计σ的计算如下: 将一帧中计算的噪声估计σ的值平均以产生一帧的噪声估计值e。也可将σ值过滤产生e的滤波及平均后的帧噪声估计值。然后按当前帧和前一帧的e值的加权平均计算用来更新非线性单元500的传输函数的最终噪声估计。在优选实施例中非线性单元500函数以10帧的时间间隔进行更新。但是非线性单元传输函数可以以范围从许多帧(大于10)到相应于各像素块编码周期的间隔的可选间隔改变。所选时间间隔也可以根据噪声估计在预定范围内的变化自动确定。
帧噪声估计值的平均是通过下述有限脉冲响应(FIR)滤波函数完成的,以提供总的噪声估计值ê,用来更新非线性单元500的传输函数; ên的求和从0到N值。en-j值表示先前帧的噪声估计,j=N和对应的en N是在当前帧之前出现N帧的帧噪声估计值,j=0和对应的en是当前帧的噪声估计值。特别地,如同在优选实施例中,在仅利用单个的先前噪声估计的情况下,ên给出如下:
ên=αen+(1-α)en-1其中α是一个在优选实施例中大约为0.8的经验常数。
加权因子hj的值也可以通过对当前噪声估计的置信测量来动态确定和更新。例如,′h′因子可被定义为零值运动矢量区域对整个图像区域的函数,或为运动矢量值的函数。
非线性单元500除噪函数的除噪窗宽度W由下面的等式决定:
w=cen+k
其中c是一个值在0和1之间的经验确定的固定加权常数。常数k取决于画面内容,并根据对编码器的统计测量,包括运动矢量、相关因子、复杂因子等来经验地确定。例如,k值可以通过对视频数据用不同的k值反复编码测试来决定。能给原始的和解码后的测试图像块在信噪比上带来最大相关的k值被编码器选用。计算除噪宽度w以优化信噪比和使信号失真最小。
应该注意到其它许多获得噪声估计的方法也可以使用。这些方法也许在噪声估计的获得和对该估计滤波的方法上会有所变化。例如,噪声估计可以是一个像素接一个像素的噪声估计,或帧噪声估计。在计算时噪声估计并不一定限于固定大小的像素块。有许多方法可以用来根据噪声估计改变非线性单元的传输函数。例如,噪声估计可以用来在不同的并行传输函数之间进行选择,而不一定是改变单个的函数。
另一个获得噪声估计的方法是以从运动估值器14获得最小均方差值作为噪声指示。在这种方法中,将一帧中像素块的所获得最小均方差值作为噪声估计。在理想状态下,无运动的像素块的均方差值是零,因此,最小均方差值表示了像素块之间来源于噪声的余数的失配。所以,该最小均方差值可以作为噪声估计。这种方法也可用于其它表示预测误差的指标上,而不仅仅是均方差。该噪声估计方法可选择使用其它类型的误差指标,例如平均绝对误差(MAE)和绝对误差之和(SAE)。而且,为了减小来源于输入帧中的拙劣运动估计的误差,最小均方差值可以通过许多帧过滤。这可以用定义如下的非线性递归类型的滤波器实现:
Ln=αLn-1+(1-α)Mn其中:
Ln是滤波后噪声估计输出,用来更新非线性单元的传输函数
Ln-1是以前的滤波后噪声估计输出
Mn当前帧的最小均方差值
α的值在0到1之间,用来控制滤波器的时间常数
α=A当(Ln1-Mn)>0时
α=B其它
相对以前的值,已降低的噪声估计值的计算置信度大于增加的噪声估计值的计算置信度。这是因为增大噪声估计值更可能来源于测量伪差,如场景变化效果等。因而α的值是可调的。给α赋予值A,形成增大噪声估计值更长(更慢)的滤波时间常数。给α赋予值B,形成降低噪声估计值的更短(更快)的滤波时间常数。值A的典型大小为0.5,值B的典型大小为0.1。除了这两个可调整的滤波时间常数外,其它滤波函数也可以用来优化其它图像条件下的噪声估计。
本发明的原理也适用于使用降噪预处理器的编码系统。在这种预处理器通常使用简化的运动检测器,而这会带来很大的运动估计误差。这样的系统特别受益于如前所述的噪声估计滤波。
Claims (21)
1、用于压缩含有像素数据的图像表示视频信号的设备,其特征在于:
用于估计所述视频信号中的噪声和提供输出的装置(1333);
用于产生含有较低幅度和较高幅度分量的余数的装置(12,16,18,17,14),所述余数表示所述被压缩的视频信号当前帧的预测像素值和实际像素值之间的像素差值;
耦合到所述产生装置,对较低幅度余数比对较高幅度余数衰减大并提供输出的非线性处理装置(500),其中所述非线性处理装置的传输函数响应所述噪声估计;以及
用于对所述已处理的余数进行变换并提供压缩过的视频数据输出的变换装置(15)。
2、如权利要求1所述的设备,其特征在于:
所述噪声估计是作为像素预测误差的函数而产生。
3、如权利要求2所述的设备,其特征在于:
所述噪声估计是在图像区域的运动实际上为零时产生的。
4、如权利要求1所述的设备,其特征在于:
所述传输函数以可变的时间间隔响应所述噪声估计。
5、如权利要求1所述的设备,其特征在于:
拥有可变时间常数的用于时间上滤波所述噪声估计的滤波器和其中所说非线性处理装置的所述传输函数响应所述时间滤波后的噪声估计。
6、如权利要求5所述的设备,其特征在于:
所述可变时间常数滤波器提供一个用于增大噪声估计值的较长(较慢的)滤波时间常数和一个用于减小噪声估计值的较短(较快的)滤波时间常数。
7、如权利要求1所述的设备,其进一步的特征在于:
空间滤波所述噪声估计的滤波器:以及其中所述非线性处理装置的所述传输函数响应所述空间滤波后的噪声估计。
8、如权利要求1所述的设备,其特征在于:
所述传输函数是一个带除噪窗的除噪宽度为w的除噪函数,w随所述噪声估计而变。
9、如权利要求1所述的设备,其特征在于:
所述传输函数是一个除噪函数,所述除噪函数随图像区域中的运动而变。
10、如权利要求9所述的设备,其特征在于:
所述设备处理所述像素数据是在逐个块的基础上进行的,所述除噪函数的除噪程度随像素块中的运动而变。
11、如权利要求9所述的设备,其特征在于:
所述设备处理所述像素数据是在逐个块的基础上进行的,所述除噪函数仅作用在相应于表示预定阈值以下的图像运动的像素块的余数上。
12、如权利要求1所述的设备,其特征在于:
所述噪声估计与图像中某区域的运动程度成反比。
13、如权利要求1所述的设备,其特征在于:
所述非线性处理装置提供了许多可选的传输函数,包括线性传输函数。
14、如权利要求1所述的设备,其特征在于:
所述传输函数是一个带有除噪窗的除噪函数,所述除噪函数是随着所说当前帧图像内容变化的函数。
15、如权利要求1所述的设备,其特征在于:
所述传输函数是一个带有除噪窗的除噪函数,所述除噪函数在所述除噪窗以外实际上构成一个恒等函数。
16、如权利要求1所述的设备,其特征在于:
所述传输函数是一个带有除噪窗的除噪函数,所述除噪函数在所述除噪窗以内实际上构成一个下凸上升函数。
17、用于滤除信号中的噪声的设备,其特征在于:
输入处理器(12),用于接收和处理所述信号并提供一个适合于滤波的输出;以及
非线性处理装置(500),与所述输入处理器耦合用于对所述处理后的输出中的较低幅度的分量比较高幅度的分量衰减大并提供滤波后的输出,其中所述非线性处理装置的传输函数是带有除噪窗的除噪函数集,其实际上提供:
(a)在所述除噪窗以外为恒等函数,其中输出等于输入;
(b)在所述除噪窗以内为下凸的上升函数。
18、如权利要求17所述的设备,其特征在于:
所述传输函数是从所述除噪函数集中包含传输函数的多个除噪函数中适当选出。
19、如权利要求18所述的设备,其特征在于:
所述传输函数是根据所述视频信号的噪声估计进行选择的。
20、如权利要求17所述的设备,其特征在于:
所述传输函数是一个分段线性的传输函数。
21、如权利要求17所述的装置,其特征在于:
所述传输函数(f(x))在所述除噪窗内的形式为
其中n为整数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US571044 | 1984-01-16 | ||
US08/571,044 US6285710B1 (en) | 1993-10-13 | 1995-12-12 | Noise estimation and reduction apparatus for video signal processing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1155814A true CN1155814A (zh) | 1997-07-30 |
CN1098597C CN1098597C (zh) | 2003-01-08 |
Family
ID=24282100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN96121894A Expired - Fee Related CN1098597C (zh) | 1995-12-12 | 1996-12-10 | 视频信号处理的噪声估计与降低装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US6285710B1 (zh) |
EP (1) | EP0779742B1 (zh) |
JP (1) | JPH09205652A (zh) |
KR (1) | KR100425640B1 (zh) |
CN (1) | CN1098597C (zh) |
DE (1) | DE69620984T2 (zh) |
ES (1) | ES2176417T3 (zh) |
RU (1) | RU2189700C2 (zh) |
TW (1) | TW363327B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1561092B (zh) * | 1999-02-09 | 2010-05-12 | 索尼公司 | 数据处理方法和装置 |
CN101257630B (zh) * | 2008-03-25 | 2012-06-06 | 浙江大学 | 结合三维滤波的视频编码方法和装置 |
CN102598668A (zh) * | 2009-11-17 | 2012-07-18 | 夏普株式会社 | 编码装置、解码装置、编码装置的控制方法、解码装置的控制方法、传送系统、以及记录控制程序的计算机可读取记录介质 |
CN102833534A (zh) * | 2011-06-16 | 2012-12-19 | 索尼公司 | 视频发送设备、视频接收设备及视频发送方法 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100243225B1 (ko) | 1997-07-16 | 2000-02-01 | 윤종용 | 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터 |
JP4517409B2 (ja) | 1998-11-09 | 2010-08-04 | ソニー株式会社 | データ処理装置およびデータ処理方法 |
JP4147647B2 (ja) * | 1998-11-09 | 2008-09-10 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
JP4344964B2 (ja) | 1999-06-01 | 2009-10-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US7035475B1 (en) * | 1999-06-17 | 2006-04-25 | Raytheon Company | Non-traditional adaptive non-uniformity compensation (ADNUC) system employing adaptive feedforward shunting and operating methods therefor |
JP4344968B2 (ja) * | 1999-10-28 | 2009-10-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 |
EP1126729A1 (en) * | 2000-02-18 | 2001-08-22 | STMicroelectronics S.r.l. | A process for estimating the noise level in sequences of images and a device therefor |
US7949047B2 (en) * | 2003-03-17 | 2011-05-24 | Qualcomm Incorporated | System and method for partial intraframe encoding for wireless multimedia transmission |
KR100718122B1 (ko) | 2003-07-16 | 2007-05-15 | 삼성전자주식회사 | 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치 |
EP1511320A1 (en) * | 2003-09-01 | 2005-03-02 | Matsushita Electric Industrial Co., Ltd. | Film grain encoding |
EP1511319A1 (en) * | 2003-09-01 | 2005-03-02 | Matsushita Electric Industrial Co., Ltd. | Film Grain Extraction Filter |
KR20050049064A (ko) * | 2003-11-21 | 2005-05-25 | 삼성전자주식회사 | 영상신호의 노이즈 측정장치 및 그 측정방법 |
KR100647297B1 (ko) | 2003-11-26 | 2006-11-23 | 삼성전자주식회사 | 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치 |
JP2005294888A (ja) * | 2004-03-31 | 2005-10-20 | Sanyo Electric Co Ltd | 信号処理回路 |
US7869500B2 (en) * | 2004-04-27 | 2011-01-11 | Broadcom Corporation | Video encoder and method for detecting and encoding noise |
US7949051B2 (en) * | 2004-05-26 | 2011-05-24 | Broadcom Corporation | Mosquito noise detection and reduction |
US7715645B2 (en) * | 2004-11-17 | 2010-05-11 | Samsung Electronics Co., Ltd. | Methods to estimate noise variance from a video sequence |
US8218634B2 (en) * | 2005-01-13 | 2012-07-10 | Ntt Docomo, Inc. | Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression |
US7714939B2 (en) * | 2005-04-05 | 2010-05-11 | Samsung Electronics Co., Ltd. | Reliability estimation of temporal noise estimation |
US7511769B2 (en) * | 2005-04-19 | 2009-03-31 | Texas Instruments Incorporated | Interframe noise reduction for video |
JP2007116351A (ja) * | 2005-10-19 | 2007-05-10 | Ntt Docomo Inc | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
US8831111B2 (en) * | 2006-05-19 | 2014-09-09 | The Hong Kong University Of Science And Technology | Decoding with embedded denoising |
US8369417B2 (en) * | 2006-05-19 | 2013-02-05 | The Hong Kong University Of Science And Technology | Optimal denoising for video coding |
WO2008075261A1 (en) * | 2006-12-18 | 2008-06-26 | Koninklijke Philips Electronics N.V. | Automatic noise reduction improvement in video sequences |
US8259804B2 (en) * | 2007-01-03 | 2012-09-04 | International Business Machines Corporation | Method and system for signal prediction in predictive coding |
JP2009055164A (ja) * | 2007-08-24 | 2009-03-12 | Seiko Epson Corp | 画像処理装置、プロジェクタ、画像処理方法、および画像処理装置の制御方法 |
US8391635B2 (en) * | 2007-08-31 | 2013-03-05 | Olympus Corporation | Noise removal device, noise removal method, and computer readable recording medium |
US20090268818A1 (en) * | 2008-04-29 | 2009-10-29 | International Business Machines Corporation | Method and system for integrating noise filtering in predictive video coding |
EP2294808B1 (en) * | 2008-06-20 | 2013-05-01 | Hewlett-Packard Development Company, L.P. | Method and system for efficient video processing |
BRPI1011698B1 (pt) * | 2009-03-23 | 2019-04-02 | Ntt Docomo, Inc. | Método de decodificação preditiva de imagem, dispositivo de decodificação preditiva de imagem, método de codificação preditiva de imagem, e dispositivo de codificação preditiva de imagem |
CN101605260B (zh) * | 2009-06-25 | 2011-05-18 | 武汉大学 | 压缩视频超分辨率重建中构建代价函数的方法 |
US9736500B2 (en) | 2009-07-06 | 2017-08-15 | Thomson Licensing | Methods and apparatus for spatially varying residue coding |
US8824825B2 (en) | 2009-11-17 | 2014-09-02 | Sharp Kabushiki Kaisha | Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon |
JP5543194B2 (ja) * | 2009-12-24 | 2014-07-09 | キヤノン株式会社 | 情報処理装置、処理方法及びプログラム |
CN102262775B (zh) * | 2010-05-26 | 2014-12-10 | 深圳迈瑞生物医疗电子股份有限公司 | 一种图像降噪方法、装置及图像处理设备 |
US8427583B2 (en) * | 2010-09-30 | 2013-04-23 | Sharp Laboratories Of America, Inc. | Automatic parameter control for spatial-temporal filter |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
JP2014534746A (ja) | 2011-11-07 | 2014-12-18 | インテル コーポレイション | クロスチャネル残差予測 |
US9326008B2 (en) | 2012-04-10 | 2016-04-26 | Google Inc. | Noise reduction for image sequences |
RU2510589C2 (ru) * | 2012-07-05 | 2014-03-27 | Вадим Витальевич Ярошенко | Способ кодирования цифрового видеоизображения |
KR101967745B1 (ko) | 2012-09-11 | 2019-04-11 | 삼성전자주식회사 | 잡음 추정 장치 및 방법 |
WO2015151279A1 (ja) * | 2014-04-04 | 2015-10-08 | リーダー電子株式会社 | フォーカス評価を補助するための装置、プログラム及び方法 |
US10102613B2 (en) | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
JP6548403B2 (ja) * | 2015-02-24 | 2019-07-24 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法、及びプログラム |
WO2017031149A1 (en) * | 2015-08-19 | 2017-02-23 | Texas Instruments Incorporated | Method and system for compression of radar signals |
RU2646358C2 (ru) * | 2016-04-07 | 2018-03-02 | Николай Дмитриевич Егоров | Способ устранения избыточности при сжатии последовательности изображений |
JP6227698B2 (ja) * | 2016-04-14 | 2017-11-08 | インテル コーポレイション | クロスチャネル残差予測 |
US10511846B1 (en) * | 2016-09-01 | 2019-12-17 | Google Llc | Real-time adaptive video denoiser with moving object detection |
US10631012B2 (en) * | 2016-12-02 | 2020-04-21 | Centurylink Intellectual Property Llc | Method and system for implementing detection and visual enhancement of video encoding artifacts |
US20190188829A1 (en) * | 2017-12-14 | 2019-06-20 | Multitek Inc. | Method, Apparatus, and Circuitry of Noise Reduction |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2393489A2 (fr) * | 1977-03-07 | 1978-12-29 | Marconi Co Ltd | Procede de reduction du bruit dans des signaux electriques |
DE2962606D1 (en) * | 1978-04-03 | 1982-06-09 | British Broadcasting Corp | Noise reduction in electrical signals |
CA1282490C (en) | 1985-06-27 | 1991-04-02 | Nec Corporation | Coding apparatus for moving object image |
GB8701475D0 (en) * | 1987-01-23 | 1987-02-25 | British Broadcasting Corp | Predictive techniques to analogue transmission of video signals |
GB2203012B (en) | 1987-03-30 | 1991-02-20 | Sony Corp | Differential pulse code modulation |
DE3820039A1 (de) * | 1988-06-13 | 1989-12-21 | Ant Nachrichtentech | Verfahren zur aufbereitung und uebertragung einer bildsequenz |
JP2732650B2 (ja) * | 1989-02-28 | 1998-03-30 | 株式会社東芝 | 垂直エッジ検出回路 |
JPH02288695A (ja) | 1989-04-28 | 1990-11-28 | Canon Inc | 画像符号化及び復号化装置 |
US5005082A (en) * | 1989-10-03 | 1991-04-02 | General Electric Company | Video signal compander adaptively responsive to predictions of the video signal processed |
JPH0411466A (ja) * | 1990-04-28 | 1992-01-16 | Sony Corp | ノイズリデューサ |
US5258928A (en) | 1990-05-03 | 1993-11-02 | Rca Thomson Licensing Corporation | Parts efficient memory based functional circuit having selectable transfer characteristics |
US5361105A (en) | 1993-03-05 | 1994-11-01 | Matsushita Electric Corporation Of America | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction |
TW297202B (zh) | 1993-10-13 | 1997-02-01 | Rca Thomson Licensing Corp |
-
1995
- 1995-12-12 US US08/571,044 patent/US6285710B1/en not_active Expired - Fee Related
-
1996
- 1996-09-25 TW TW085111738A patent/TW363327B/zh not_active IP Right Cessation
- 1996-11-21 KR KR1019960055890A patent/KR100425640B1/ko not_active IP Right Cessation
- 1996-12-10 CN CN96121894A patent/CN1098597C/zh not_active Expired - Fee Related
- 1996-12-11 EP EP96402695A patent/EP0779742B1/en not_active Expired - Lifetime
- 1996-12-11 ES ES96402695T patent/ES2176417T3/es not_active Expired - Lifetime
- 1996-12-11 DE DE69620984T patent/DE69620984T2/de not_active Expired - Fee Related
- 1996-12-12 JP JP8332569A patent/JPH09205652A/ja not_active Withdrawn
- 1996-12-14 RU RU96123992/09A patent/RU2189700C2/ru not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1561092B (zh) * | 1999-02-09 | 2010-05-12 | 索尼公司 | 数据处理方法和装置 |
CN101257630B (zh) * | 2008-03-25 | 2012-06-06 | 浙江大学 | 结合三维滤波的视频编码方法和装置 |
CN102598668A (zh) * | 2009-11-17 | 2012-07-18 | 夏普株式会社 | 编码装置、解码装置、编码装置的控制方法、解码装置的控制方法、传送系统、以及记录控制程序的计算机可读取记录介质 |
CN102598668B (zh) * | 2009-11-17 | 2014-11-12 | 夏普株式会社 | 编码装置、解码装置、编码装置的控制方法、解码装置的控制方法、传送系统 |
CN102833534A (zh) * | 2011-06-16 | 2012-12-19 | 索尼公司 | 视频发送设备、视频接收设备及视频发送方法 |
Also Published As
Publication number | Publication date |
---|---|
US6285710B1 (en) | 2001-09-04 |
DE69620984D1 (de) | 2002-06-06 |
CN1098597C (zh) | 2003-01-08 |
KR970056936A (ko) | 1997-07-31 |
TW363327B (en) | 1999-07-01 |
KR100425640B1 (ko) | 2004-06-24 |
ES2176417T3 (es) | 2002-12-01 |
EP0779742A2 (en) | 1997-06-18 |
EP0779742B1 (en) | 2002-05-02 |
RU2189700C2 (ru) | 2002-09-20 |
JPH09205652A (ja) | 1997-08-05 |
EP0779742A3 (en) | 1997-12-03 |
DE69620984T2 (de) | 2002-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1098597C (zh) | 视频信号处理的噪声估计与降低装置 | |
CN1121120C (zh) | 用于视频信号解码装置中用以去除分块效应的方法 | |
CN1073326C (zh) | 使用降噪处理的视频信号压缩装置 | |
US6628716B1 (en) | Hardware efficient wavelet-based video compression scheme | |
KR0134343B1 (ko) | 양자화레벨을 이용한 부호화방법 및 그 장치 | |
CN1121121C (zh) | 视频信号解码装置中所使用的后处理方法 | |
KR100203710B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
CN1541482A (zh) | 用于数字视频信号的运动自适应降噪预处理 | |
CN1926876B (zh) | 空间和时间可扩展编码的图像序列的编码和解码方法 | |
KR20060027795A (ko) | 하이브리드 비디오 압축 방법 | |
JPH1051775A (ja) | 動映像復号化器のブロック化現象除去方法及び装置 | |
EP0659020A2 (en) | Pre-processing filter apparatus for use in an image encoding system | |
CN1347621A (zh) | 减少“块状图像”效应 | |
EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
JP2001519988A (ja) | ビデオデータから符号化パラメータを抽出するシステム | |
CN1124041C (zh) | 对解码视频图象的量化误差进行补偿的方法及装置 | |
KR0157465B1 (ko) | 영상데이타의 영상특성에 따른 양자화레벨결정방법 및 그 장치 | |
JPH0681308B2 (ja) | フレ−ム間符号化における量子化雑音抑圧方式 | |
KR100207378B1 (ko) | 적응 벡터 양자화를 이용한 영상 부호화 시스템 | |
KR0129579B1 (ko) | 전처리 필터를 이용한 영상 부호화기 | |
JP2625424B2 (ja) | テレビ信号符号化装置 | |
KR100229791B1 (ko) | 대역 제한 기능을 갖는 적응적인 영상 부호화시스템 | |
KR100229793B1 (ko) | 적응적인 부호화 모드 결정 기능을 갖는 개선된영상부호화시스템 | |
CN1823530A (zh) | 编码方法和设备 | |
JPH0237889A (ja) | 画像符号化伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1020779 Country of ref document: HK |
|
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |