CN107454402A - 用于减小含噪图像或图像序列的编码的噪声的方法 - Google Patents

用于减小含噪图像或图像序列的编码的噪声的方法 Download PDF

Info

Publication number
CN107454402A
CN107454402A CN201710777698.1A CN201710777698A CN107454402A CN 107454402 A CN107454402 A CN 107454402A CN 201710777698 A CN201710777698 A CN 201710777698A CN 107454402 A CN107454402 A CN 107454402A
Authority
CN
China
Prior art keywords
noise
frame
block
reference frame
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710777698.1A
Other languages
English (en)
Other versions
CN107454402B (zh
Inventor
E.威格
P.阿蒙
A.胡特
A.考普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107454402A publication Critical patent/CN107454402A/zh
Application granted granted Critical
Publication of CN107454402B publication Critical patent/CN107454402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本发明涉及一种用于减小含噪图像或图像序列的编码的噪声的方法。本发明包括步骤：将预测误差（eq[x,y]）与预测帧（公式（I））或预测块相加，以便接收编码器（ENC）要在预测环中进一步使用或者要被发送至解码器（DEC）的输出端的解码帧（ɡq[x,y]）或解码块，其中，参考帧（ɡq[x,y]）或参考块（FR）由相应的有用信号部分和噪声信号部分构成。此外，所述方法包括步骤：利用专用噪声减小滤波器（WF）来仅对所述参考帧（ɡq[x,y]）或参考块（FR）进行去噪，以减小或消除所述参考帧（ɡq[x,y]）或参考块（FR）的噪声信号部分。

Description

用于减小含噪图像或图像序列的编码的噪声的方法
本申请是国家申请号为201180006803.2的发明专利申请的分案申请，该发明专利申请的申请日为2011年1月12日，发明名称为“用于减小含噪图像或图像序列的编码的噪声的方法”。
技术领域
本发明涉及一种用于减小含噪图像或图像序列的编码的噪声的方法。
背景技术
专业视频应用(例如，建筑物的监视系统、工业制造和医疗应用)需要具有非常高质量的视频信号。这些信号很可能具有非常高的空间分辨率以及时间方向，因此未压缩的数据可以变得非常大。因此，重要的是，在没有可见信息损失的情况下尽可能多地压缩这些信号。最近的视频压缩系统利用了图像之间的时间相关性，但是针对消费者质量应用优化了这些视频压缩系统。
通常，通过物理过程而获取的图像序列可以被视为被通过获取过程而引起的噪声降级。噪声可能源自传感器噪声、放大器噪声或量化噪声等等。已经发现，在非常高的质量下，所谓的帧间编码变得相比于所谓的帧内编码不那么高效。帧间是以一个或多个相邻帧的方式表达的视频压缩流中的帧。术语的部分“间”指代对帧间预测的使用。这种类型的预测尝试利用相邻帧之间的时间冗余，以便实现更高的压缩率。术语帧内编码指代以下事实：关于仅包含于当前帧内的信息而不关于视频序列中的任何其他帧来执行各种无损和有损压缩技术。换言之，不在当前画面或帧之外执行时间处理。预期帧间和帧内编码的效率不同的原因是视频信号内的(加性)噪声，其在视频编码器/解码器内实现运动补偿预测。
为了改进编码效率，可以在编码之前将不同算法应用于含噪图像序列。
可以在视频编码器内进行噪声预滤波。因此，在改进含噪图像序列的主观质量的同时降低了对含噪图像序列进行编码的比特率。然而，滤波过程引入了误差，这在视频信号的无损压缩中是不允许的。
比特率降低的另一种方案是有损编码视频数据的环内滤波。在有损编码中，解块滤波器或量化噪声去除滤波器可以改进编码效率以及信号的视觉质量。用于减小脉冲噪声的环内去噪滤波器使得比特率降低并使得主观质量改进。
发明内容
因此，本发明的一个目的是提供一种用于改进含噪图像序列的编码的噪声降低的方法。本发明的另一目的是提供一种用于改进含噪图像序列的无损编码的噪声降低的方法。本发明的又一目的是提供一种允许含噪图像序列的编码的噪声减小方面的改进的编码器和解码器。
这些目的由根据权利要求1所述的方法、根据权利要求15所述的编码器和根据权利要求16所述的解码器解决。在从属权利要求中阐述了优选实施例。
本发明提供了一种用于减小含噪图像或图像序列的编码的噪声的方法。所述方法包括以下步骤：将预测误差与预测帧或预测块相加，以便接收编码器要在预测环中进一步使用或者要发送至解码器的输出端的解码帧或解码块，其中，参考帧或参考块包括相应的有用信号部分和噪声信号部分。作为另一步骤，所述方法包括：利用专用噪声减小滤波器来仅对所述参考帧或参考块进行去噪，以减小或消除所述参考帧或参考块的噪声信号部分。
为了改进含噪图像或含噪图像序列的运动补偿预测，根据本发明的方法基于以下思想：在保持尽可能多的相关细节的同时，最小化参考帧(其是已重构的帧)内的噪声。由此，参考帧中越少的噪声允许越精确的运动估计。此外，差信号具有较小的能量，并且从而导致编码的比特流的比特率降低。因此，生成了用于帧预测的更好的参考帧。本发明的另一优势在于可以实现较高的压缩效率。
根据本发明的专用噪声减小滤波器是专门被设计为对噪声进行滤波的滤波器。
根据优选实施例，所述参考帧或参考块被运动补偿元件进行运动补偿，以接收预测帧或预测块。因此，运动补偿后的参考帧或参考块是预测帧或预测块，还被本领域技术人员称为预测器或预测器信号。
根据另一优选实施例，使用了噪声自适应滤波器，其适于通过评估要被编码的当前帧来估计噪声。通过评估当前帧，自适应滤波器评估噪声性质和统计特性，例如噪声的均值、方差和自相关函数等等。此外，关于视频/图像内容、视频/图像分辨率、统计特性等等来分析有用信号部分。在该评估后，噪声自适应滤波器在保持相关编码细节的同时去除尽可能或适当多的噪声。例如，暗场景通常比亮图像/视频内容包含更多噪声。噪声自适应滤波器的特性暗示了：当在必须用于预测的参考帧或参考块中存在越多噪声时，滤波越强。
此外，可以将像素位置自适应滤波器用作考虑参考帧或参考块的内容的噪声减小滤波器。特别地，滤波的量可能依赖于局部信号特性。后者意味着：为了高效的视频压缩，应当保留边缘。例如，可能使用用于滤波的具有不同大小的不同滤波器窗口。
在优选实施例中，作为噪声减小滤波器，使用了最小均方误差(MMSE)估计器(例如，作为线性估计器的维纳滤波器)。然而，可以使用减小噪声但保留图像内容的任何滤波器。噪声减小滤波器是具有线性特性还是非线性特性是不相关的。
根据另一优选实施例，在不直接影响编码器进一步编码的预测误差的情况下，在预测环内对参考帧进行去噪。预测环内的去噪有时被称作环内去噪。根据该建议，有可能使该方法适用于有损以及无损视频编码。
进一步优选地，在预测环的缓冲器中对参考帧进行缓冲之前或之后进行去噪。此外，还可以在可特别用于低噪声水平的运动补偿元件之后插入环内去噪滤波器。
根据另一优选实施例，在参考帧的每个颜色通道上单独应用或者对其组合应用去噪。
对于无损编码，绕过量化元件，该量化元件位于从将当前帧和参考帧进行比较的比较装置至输出预测误差和帧的输出端的路径中。
根据另一实施例，要被编码的当前块以及参考块是单个帧的块或区域(即，一个像素或者一定量的像素)。因此，要被编码的块被称为帧内编码块(即，帧内块)。
根据另一优选实施例，在编码器和解码器中布置了相同的噪声减小滤波器，以仅对参考帧进行去噪。换言之，必须在解码器中应用相同的噪声减小(去除)滤波器。编码器的噪声减小滤波器的去噪滤波器参数可能是编码比特流的一部分。在将去噪滤波器参数从编码器传输至解码器的情况下，可能发信号通知去噪滤波器参数标记。如果未设置滤波器参数标记，则解码器可能自身估计滤波器参数(或者滤波器参数的部分)。例如，可以在编码器和解码器处类似地估计噪声强度。
根据另一优选实施例，在编码器中，将要被编码的当前帧与预测帧或预测块进行比较以便接收编码器要在预测环中进一步使用的预测误差，其中，所述预测帧或预测块仅由有用信号部分构成(在理想噪声滤波的情况下)。
根据另一优选实施例，去噪针对量化元件的量化参数而言是自适应的，使得去噪越低，则量化参数越高(即，量化步长大小越高)，并且反之亦然。去噪算法可以针对量化参数而言是自适应的，这是由于含噪参考帧的量化可以部分地具有对参考帧的噪声部分的噪声减小能力。
本发明还提供了一种编码器，包括：第一装置，其用于将预测误差(eq[x,y])与预测帧或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要发送至解码器(DEC)的输出端的解码帧(ɡq[x,y])或解码块，其中，参考帧(ɡq[x,y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成。所述编码器还包括第二装置，其用于利用专用噪声减小滤波器(WF)来仅对所述参考帧(ɡq[x,y])或参考块(FR)进行去噪，以减小或消除所述参考帧(ɡq[x,y])或参考块(FR)的噪声信号部分。
此外，本发明提供了一种解码器，包括：第三装置，其用于将预测误差(eq[x,y])与预测帧或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要发送至解码器(DEC)的输出端的解码帧(ɡq[x,y])或解码块，其中，参考帧(ɡq[x,y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成。所述解码器另外包括第二装置，其用于利用专用噪声减小滤波器(WF)来仅对所述参考帧(ɡq[x,y])或参考块(FR)进行去噪，以减小或消除所述参考帧(ɡq[x,y])或参考块(FR)的噪声信号部分。
应当注意，根据本发明的方法以及编码器和解码器可以以软件实现，并可以由计算机或处理单元执行。
附图说明
将参照附图来更详细地解释本发明。
图1示出了根据本发明的编码图的第一实施例。
图2示出了根据本发明的解码器图的第一实施例。
图3示出了关于使用根据本发明的用于帧内预测方法的可能性的示意图。
图4A、4B示出了根据本发明的编码器和解码器的第二实施例。
图5A、5B示出了根据本发明的编码器和解码器图的第三实施例。
图6A、6B示出了根据本发明的编码器和解码器图的第四实施例。
具体实施方式
将借助不同编码器和解码器的框图来更详细地描述本发明。为了简明，在一个具体时间点处观察框图，其中，仅一个当前帧ɡ[x,y]必须被编码，并且另一预测帧可用。
图1示出了根据本发明的第一实施例的有损视频编码器ENC的框图。将当前帧ɡ[x,y]和预测帧馈送至比较装置10。在比较装置10的输出端处，将预测误差e[x,y]馈送至变换装置11。被称为T块的变换装置11表示预测误差e[x,y]的任何进一步去相关，即，(几乎)无损的可逆变换。变换装置11的输出端被连接至量化装置12，可以绕过或跳过该量化装置12以接收无损视频编码器。量化装置12的输出端被连接至视频编码器内的熵编码器13。熵编码器13连接至输出编码比特流CB的输出端OUT。
预测帧由预测环的元件提供。预测环由变换装置14构成，该变换装置14适于对变换后且可选地量化后的预测误差e[x,y]进行求逆(reverse)。由此，变换装置14将求逆后的预测误差eq[x,y]馈送至相加装置15的第一输入端。在相加装置15的第二输入端处，馈送预测信号在相加装置15的输出端处，将作为重构的当前帧的信号ɡq[x,y]馈送至用于对噪声(例如，加性噪声)进行滤波的噪声减小滤波器16。噪声减小滤波器16的输出端被连接至参考画面缓冲器17。参考画面缓冲器17连接至编码器ENC内的运动估计和运动补偿元件18。在运动估计和运动补偿元件18的输出端处，将(运动补偿后的)参考帧馈送至比较和相加元件10和15。运动估计和运动补偿元件18进一步接收当前帧ɡ[x,y]。熵编码器13从运动估计和运动补偿元件18以及从噪声减小滤波器16接收控制信息。
利用以下等式来描述利用视频编码器ENC中的比较装置10从当前帧中减去运动补偿后的参考帧(也被称为预测帧)：
其中，x和y是空间坐标，ɡ[x,y]是描述必须被压缩的当前帧的信号， 是描述运动补偿后的参考帧的预测信号，并且e[x,y]是必须在变换、可选的量化和熵编码之后传输至图2所示的解码器的预测误差。假定图像序列被独立的加性白噪降级，那么信号可以被写为：
g[x，y]＝sg[x，y]+ng[x，y] (2),
其中，sɡ和分别是信号的有用部分，且nɡ和分别是相应信号的噪声部分。从等式(1)、(2)和(3)得出：
从等式(4)中可见，预测误差由两个主要分量构成。如果当前无噪声帧与无噪声参考帧之间的相关性增大，则可以最小化信号分量se[x,y]。然而，噪声分量ne[x,y]变得更高，这是由于当前帧的噪声一般独立于参考帧的噪声。在加性高斯白噪的情况下，误差图像的噪声方差变为与这两个图像之一的噪声方差的两倍一样高。
尤其是在无损编码应用中，必须对当前画面的噪声部分进行编码。为了提高压缩效率，应当在不将高降级引入信号的有用部分中的情况下最小化参考帧中的噪声。这将允许最小化预测误差中的噪声量，而将编码过程保持为无损。
在图1中作为针对(加性)噪声的去噪滤波器而引入的滤波器16在编码器图中位于与有损编码应用中通常使用的解块滤波器相同的位置处。在将重构的图像保存至参考缓冲器17之前，应当利用稍后将解释的去噪算法来处理该图像。然而，还可以在于参考缓冲器17中进行缓冲之后执行借助噪声减小滤波器16而进行的去噪。
该去噪算法适于视频(即，当前帧ɡ[x,y])中存在的噪声性质。为了将编码过程保持为无损，应当在解码器DEC中应用相同过程。在图2中，示意了无损解码器DEC的图。在该图中，在解码器DEC的输入端IN处，将编码比特流CB馈送至熵解码器30。参考标记31描绘了与相加装置32相连接的变换装置。在与变换装置31相连接的第一输入端处，馈送误差帧eq[x,y]。在比较装置32的与运动补偿元件35相连接的第二输入端处，馈送预测帧比较装置32的输出端被连接至预测器环，该预测器环包括在编码器ENC中使用的相同噪声减小滤波器33、参考缓冲器34和运动补偿元件35。
在编码器ENC和解码器DEC二者中，噪声减小元件16和33分别不被连接至其输出端OUT。因此，输出信号(编码比特流BC和已编码的比特流EB)不受噪声减小滤波器影响。
在解码器DEC中，首先在将参考画面存储在参考画面缓冲器34中之前对该参考画面进行去噪。与量化噪声去除滤波器或解块滤波器的主要差别在于：将在应用噪声滤波之前显示图像。否则，编码和解码过程不能是无损的。
优选地，使用自适应最小均方误差估计器(例如，作为线性估计器的自适应维纳滤波器)算法来减小参考帧中的(加性)噪声。滤波器最小化含噪和无噪图像序列之间的平方误差，这是用于高斯过程的维纳滤波器的目的。此外，滤波器防止通过使用图像信号的局部统计来使轮廓平滑，这对精确运动补偿而言是重要的。
如果在编码器ENC处将一组不同滤波器(线性的或非线性的)之一用作噪声减小滤波器16，则必须将对去噪滤波器及其参数的选择发信号通知给解码器，以使用该信息。非线性滤波器通常是在医疗成像应用中使用的或者是在有用信号或噪声信号的特性的高斯假定不正确的情况下使用的。
以下，将更详细地描述去噪算法，其中，作为示例，将维纳滤波器用作噪声减小滤波器：
在信号和加性噪声不相关且被视为固定的局部区域中，维纳滤波器被描述为：
其中，和分别是信号f[x,y]和噪声n[x,y]的功率谱密度。在白噪声的情况下，功率谱密度简化为：
其中，是噪声信号n[x,y]的方差，其被假定为空间不变的。信号f[x,y]可以由空间局部均值μf[x,y]与空间变化局部方差之和来建模。如果信号f[x,y]是零均值的，则该局部区域内的功率谱密度简化为：
其中，是图像信号f[x,y]的局部方差。因此，该局部区域内的维纳滤波器被描述为：
一般地，信号f[x,y]不是零均值的，并且因此，在滤波之前必须从f[x,y]中减去均值μf[x,y]，并在滤波之后必须再次加上均值μf[x,y]。滤波过程由以下等式描述：
假定噪声方差是已知的(即，从获取过程中已知)。由于噪声被视为零均值的，因此μf[x,y]应当等于μg[x,y]，并且对局部均值的估计简化为：
其中，M描述了图像信号被视为不变的窗口大小。对无噪图像的局部方差的估计由以下等式描述：
其中，是降级图像ɡ[x,y]的局部方差。对的估计由以下等式描述：
从这些等式中清楚可见，通过根据局部信号和噪声方差在矩形窗口中对像素值求平均来获得噪声减小。通过M的变化来选择更大的窗口可以导致更高的噪声减小，但是这还可能对有用信号部分引入更多模糊。因此，M可以被视为压缩的优化参数。此外，的变化可以被视为优化参数。增大导致更高的噪声减小，而有用信号部分更模糊。
如上文已描述，编码器ENC的噪声减小滤波器16和解码器DEC的噪声减小滤波器33的主要特性是其对噪声(即，噪声的性质和统计噪声特性，例如均值、方差、自相关函数)的适配和其对图像信号(即，视频/图像内容、视频/图像分辨率和统计特性)的采用。编码器和解码器中的滤波器在保持编码和解码的相关细节的同时去除尽可能或适当多的噪声。这暗示了：当在必须编码的输入数据中存在越多噪声时，滤波越强。另一方面，噪声滤波的量可能依赖于局部信号特性。这意味着：例如，为了高效的视频压缩，将保留边缘。滤波不仅是噪声自适应的，而且还是像素位置自适应的，例如，通过使用用于滤波的具有不同大小的不同窗口。
可以单独地对每个颜色通道应用如上所述的环内去噪。还有可能对所有颜色通道的组合应用环内去噪。
应当注意，还在图1和2的编码器和解码器图中，可以分别在参考帧缓冲器17和34之后分别插入环内去噪滤波器16和33，而不对算法造成任何影响。在另一替换方案中，可以分别在运动估计和运动控制元件18以及运动控制元件35之后分别插入环内去噪滤波器16和33。该替换方案可以特别用于低噪声水平。
如已指出的，对于无损编码，可能绕过或跳过量化元件12。通过这样做，预测误差eq[x,y]变为e[x,y]，并且ɡq[x,y]变为ɡ[x,y]。
在编码器ENC内，可以利用运动估计和运动补偿元件18来对子像素进行计算。该算法可以由内插去噪滤波器增强。内插去噪滤波器是从噪声减小滤波器16导出的。其可以使用类似的特性并自适应地计算内插滤波器系数。由此，内插对于边缘和边缘保留而言是噪声自适应的和像素位置自适应的。
去噪滤波器参数(滤波器特性、关于噪声的知识和关于信号的知识)是已知的或者是在编码器处估计并作为边信息而被传输至解码器的。可替换地，可以在解码器侧导出一些或所有参数。可以利用去噪滤波器参数标记来发信号通知滤波器参数的传输。如果未设置滤波器参数标记，则解码器自身估计滤波器参数。
此外，去噪算法针对图1中的编码器的量化元件12的量化参数而言可以是自适应的，这是由于量化噪声掩蔽了输入信号内的噪声。量化参数越大，则将利用噪声减小滤波器来滤波得越少，并且反之亦然。
一般地，可以在编码器侧选择噪声估计器及其参数。可以将该选择发信号通知给解码器。这意味着：可以在解码器侧选择哪个算法将被用来估计噪声的信息。应当在解码器侧使用相同的算法，如上所述。
已经参照其中当前帧和参考帧是图像序列的不同图像的帧的帧间编码，解释了根据本发明的方法的过程。然而，对于对含噪图像序列或单个图像的编码，所提出的方法还可以适用于帧内编码。这在图3中示意。
在图3中，示意了单个图像的块FR的量(即，帧的区域，即，像素的量)。已经对块FR中的每一个进行编码。将要对利用FR’示出的块进行编码。块FR中的每一个包括多个已解码的样本S。利用S’来表示必须在块FR’内预测的样本。为了提高压缩效率，在对样本S进行编码之后，利用具有与上述环内去噪滤波器类似特性的因果去噪滤波器来对样本S进行去噪。应当注意，选择哪个帧内预测方法是不相关的。例如，可以应用根据要被预测的块(FR’)的相邻像素的方向预测。在这种情况下，要被去噪的参考块是帧内编码的人工生成的预测信号。
图4至6分别示出了执行根据本发明的方法的解码器和编码器的其他实施例。将针对不同应用(即，噪声去除、量化噪声去除、解块和视觉质量改进)的已描述的环内滤波器分为不同的主要独立滤波器。
在图4A中，环内滤波器由压缩滤波器19和视觉滤波器20构成。压缩滤波器19负责生成最佳可能预测器，以便降低比特率，并且从而处于如噪声减小滤波器16在图1中那样(所谓的环内滤波器)的位置。压缩滤波器19未根据输出信号的视觉质量而被优化。作为环外滤波器的视觉滤波器20负责输出信号的主观和/或客观质量。因此，视觉滤波器20在其输入端处连接至相加装置15并在其输出端处连接至熵编码器13。可以彼此独立地优化两个滤波器19和20。
在图4B所示的解码器侧，压缩滤波器36是处于图2中噪声减小滤波器33的位置的环内滤波器部分。视觉滤波器37被连接至解码器的输出端并且是环外滤波器。
在示意编码器的图5A和示意解码器的图5B的第三实施例中，视觉滤波器还可以是预测环的一部分。
图6A和图6B示出了第二和第三实施例的组合，其中，视觉滤波器20a和37a分别被布置在预测环内，并且第二视觉滤波器20b和37b位于预测环外。如图4A和4B中的第二实施例中那样，压缩滤波器19和36分别相应地位于编码器和解码器的预测环内。在视觉滤波可以改进预测的环内滤波的情况下，该实施例具有优势。在这种情况下，可以避免双重滤波。因此，可以降低编码器和解码器的复杂度。

Claims (17)

1.一种用于减小含噪图像或图像序列的编码的噪声的方法，包括以下步骤：
- 将编码器使用来产生编码帧和编码块的其中之一的预测误差与参考帧和参考块的其中之一相加，所述参考帧和参考块包括有用信号部分和噪声信号部分；以及
- 仅使用专用噪声减小滤波器来对所述参考帧和参考块的其中之一进行滤波，以减小和消除所述参考帧和参考块的其中之一的噪声信号部分,
从当前帧和当前块的其中之一和当前或先前的参考帧和参考块的其中之一的至少一部分生成所述预测误差。
2.根据权利要求1所述的方法，还包括通过运动补偿元件对所述参考帧和所述参考块的其中之一进行运动补偿。
3.根据权利要求2所述的方法，其中，所述专用噪声减小滤波器是噪声自适应滤波器，所述噪声自适应滤波器适于通过评估所述参考帧和所述参考块的其中之一来估计噪声。
4.根据权利要求2所述的方法，其中，所述专用噪声减小滤波器是像素位置自适应滤波器，所述像素位置自适应滤波器考虑所述参考帧和参考块的其中之一的内容。
5.根据权利要求4所述的方法，其中，所述滤波的量依赖于局部信号特性。
6.根据权利要求5所述的方法，其中，在不直接影响要被所述编码器编码的预测误差的情况下，在预测环内对所述参考帧和参考块的其中之一进行所述滤波。
7.根据权利要求6所述的方法，其中，对所述参考帧和和参考块的其中之一的每个颜色通道单独或组合地应用所述滤波。
8.根据权利要求7所述的方法，其中，所述当前块和所述参考二者在一单个帧中。
9.根据权利要求8所述的方法，其中，所述专用噪声减小滤波器设置在所述编码器和解码器中以减小和消除所述参考帧中的噪声。
10.根据权利要求9所述的方法，其中，所述编码器的专用噪声减小滤波器的滤波器参数包括在编码的比特流中。
11.根据权利要求5所述的方法，还包括：
由解码器估计所述编码器的专用噪声减小滤波器的滤波器参数；以及
将来自所述解码器的所述滤波器参数提供给所述专用噪声减小滤波器。
12.根据权利要求11所述的方法，其中，所述生成所述预测误差包括将要编码的当前帧仅与所述参考帧和参考块的其中之一的已过滤噪声的信号部分进行比较。
13.根据权利要求12所述的方法，还包括绕过量化元件，所述量化元件位于从执行比较的比较器至输出编码比特流的输出端之间路径中。
14.根据权利要求13所述的方法，其中所述滤波针对所述量化元件的量化参数进行自适应，以使得当所述量化参数的增加时，所述滤波降低，以及当所述量化参数减少时，所述滤波变大。
15.一种用于减小含噪图像或图像序列的编码的噪声的编码器，包括：
第一装置，其用于将编码器使用来产生编码帧和编码块的其中之一的预测误差与参考帧和参考块的其中之一相加，所述参考帧和参考块包括有用信号部分和噪声信号部分；以及
第二装置，其用于仅使用专用噪声减小滤波器来对所述参考帧和参考块的其中之一进行滤波，以减小和消除所述参考帧和参考块的其中之一的噪声信号部分，
第三装置，其用于从当前帧和当前块的其中之一和当前或先前的参考帧和参考块的其中之一的至少一部分生成所述预测误差。
16.一种用于减小含噪图像或图像序列的编码的噪声的解码器，包括：
第一装置，用于将由编码器根据原始帧和原始块的其中之一产生的预测误差与参考帧和参考块的其中之一相加以生成解码帧和解码块的其中之一，所述参考帧和参考块包括有用信号部分和噪声信号部分；以及
第二装置，其用于仅使用专用噪声减小滤波器来对所述解码帧和解码块中的其中之一进行滤波，以产生具有其噪声信号部分得以减少的所述参考帧和参考块中的其中之一。
17.一种用于减小含噪图像或图像序列的编码的噪声的方法，包括：
将由编码器根据原始帧和原始块的其中之一产生的预测误差与参考帧和参考块的其中之一相加以生成解码帧和解码块的其中之一，所述参考帧和参考块包括有用信号部分和噪声信号部分；
仅使用专用噪声减小滤波器来对所述解码帧和解码块中的其中之一进行滤波，以产生具有其噪声信号部分得以减少的所述参考帧和参考块中的其中之一。
CN201710777698.1A 2010-01-20 2011-01-12 用于减小含噪图像或图像序列的编码的噪声的方法 Active CN107454402B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP10000540.4 2010-01-20
EP10000540 2010-01-20
EP10007801.3 2010-07-27
EP10007801A EP2360925A1 (en) 2010-01-20 2010-07-27 Method for reducing noise for coding of noisy images or image sequences
CN2011800068032A CN102870410A (zh) 2010-01-20 2011-01-12 用于减小含噪图像或图像序列的编码的噪声的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2011800068032A Division CN102870410A (zh) 2010-01-20 2011-01-12 用于减小含噪图像或图像序列的编码的噪声的方法

Publications (2)

Publication Number Publication Date
CN107454402A true CN107454402A (zh) 2017-12-08
CN107454402B CN107454402B (zh) 2019-07-16

Family

ID=42797028

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011800068032A Pending CN102870410A (zh) 2010-01-20 2011-01-12 用于减小含噪图像或图像序列的编码的噪声的方法
CN201710777698.1A Active CN107454402B (zh) 2010-01-20 2011-01-12 用于减小含噪图像或图像序列的编码的噪声的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2011800068032A Pending CN102870410A (zh) 2010-01-20 2011-01-12 用于减小含噪图像或图像序列的编码的噪声的方法

Country Status (5)

Country Link
US (1) US8837850B2 (zh)
EP (1) EP2360925A1 (zh)
JP (1) JP2013517724A (zh)
CN (2) CN102870410A (zh)
WO (1) WO2011089047A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3529985A1 (en) 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Mixed domain collaborative post filter for lossy still image coding
EP3552390A1 (en) 2016-12-23 2019-10-16 Huawei Technologies Co., Ltd. Mixed domain collaborative in-loop filter for lossy video coding
EP3529986A1 (en) 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Low complexity mixed domain collaborative in-loop filter for lossy video coding
SG11202003260WA (en) 2017-11-07 2020-05-28 Huawei Tech Co Ltd Interpolation filter for an inter prediction apparatus and method for video coding
CN111213383B (zh) 2017-11-13 2022-04-05 华为技术有限公司 用于视频编码的环内滤波装置及方法
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
WO2023198639A1 (en) * 2022-04-11 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Video decoder with loop filter-bypass
CN117033911B (zh) * 2023-10-07 2024-01-30 深圳市魔样科技有限公司 基于智能眼镜数据的计步分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929913A (en) * 1993-10-28 1999-07-27 Matsushita Electrical Industrial Co., Ltd Motion vector detector and video coder
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
EP2109322A2 (en) * 2008-04-09 2009-10-14 Intel Corporation In-loop adaptive Wiener filter for video coding and decoding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3385077B2 (ja) * 1993-10-28 2003-03-10 松下電器産業株式会社 動きベクトル検出装置
JP3980659B2 (ja) * 1994-08-31 2007-09-26 ソニー株式会社 動画像符号化方法及び装置、動画像復号化方法及び装置。
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
JP5513740B2 (ja) 2006-03-27 2014-06-04 パナソニック株式会社 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
CN101262559B (zh) * 2008-03-28 2010-09-29 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929913A (en) * 1993-10-28 1999-07-27 Matsushita Electrical Industrial Co., Ltd Motion vector detector and video coder
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
EP2109322A2 (en) * 2008-04-09 2009-10-14 Intel Corporation In-loop adaptive Wiener filter for video coding and decoding

Also Published As

Publication number Publication date
JP2013517724A (ja) 2013-05-16
CN102870410A (zh) 2013-01-09
US20120288213A1 (en) 2012-11-15
US8837850B2 (en) 2014-09-16
WO2011089047A1 (en) 2011-07-28
CN107454402B (zh) 2019-07-16
EP2360925A1 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
CN107454402B (zh) 用于减小含噪图像或图像序列的编码的噪声的方法
US8345745B2 (en) Method and apparatus for encoding and/or decoding moving pictures
US8009732B2 (en) In-loop noise reduction within an encoder framework
US20110200103A1 (en) Video encoding/decoding apparatus, de-blocking filter and filtering method based on intra-prediction directions for same, and recording media
EP2141927A1 (en) Filters for video coding
US8630356B2 (en) High performance loop filters in video compression
CN112929670A (zh) 自适应色度下采样和色彩空间转换技术
EP1997316A2 (en) Image encoding/decoding method and apparatus
KR20090077062A (ko) 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치
US8369417B2 (en) Optimal denoising for video coding
KR20050084266A (ko) 디지털 비디오 처리용 통합 규준
Cheong et al. Adaptive spatio-temporal filtering for video denoising
US20060193526A1 (en) Video encoder with low complexity noise reduction
US20120207212A1 (en) Visually masked metric for pixel block similarity
Wige et al. In-loop denoising of reference frames for lossless coding of noisy image sequences
Glantz et al. Video coding using global motion temporal filtering
US9794589B2 (en) Method and device for processing a video sequence
Yang et al. On incorporating just-noticeable-distortion profile into motion-compensated prediction for video compression
Kim et al. Efficient DCT-domain prefiltering inside a video encoder
KR100622304B1 (ko) 동영상 복호화 방법과 그 장치
Amon et al. In-loop reference frame denoising
JPH08140095A (ja) 符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant