CN107018287A - 使用视频缩影对图像进行降噪的方法和装置 - Google Patents

使用视频缩影对图像进行降噪的方法和装置 Download PDF

Info

Publication number
CN107018287A
CN107018287A CN201610880832.6A CN201610880832A CN107018287A CN 107018287 A CN107018287 A CN 107018287A CN 201610880832 A CN201610880832 A CN 201610880832A CN 107018287 A CN107018287 A CN 107018287A
Authority
CN
China
Prior art keywords
image
fragment
epitome
noise reduction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610880832.6A
Other languages
English (en)
Inventor
M.阿兰
C.吉尔莫特
D.索罗
P.吉洛特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107018287A publication Critical patent/CN107018287A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

一种使用视频缩影对图像进行降噪的方法和装置，具体地，使用基于源视频图像的视频缩影对图像进行降噪。本原理的实施例提供处理视频中的图像的方法，包括：对图像的编码版本进行解码以产生图像的解码版本；以及使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影来生成图像的降噪版本，其中从图像的源版本提取出视频图像缩影，其中所述生成包括使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片对当前碎片进行降噪。

Description

使用视频缩影对图像进行降噪的方法和装置
技术领域
本公开涉及对视频图像进行降噪的方法和装置，更具体地，涉及使用基于源视频图像的视频缩影对视频图像进行降噪的方法和装置。
背景技术
本部分旨在向读者介绍技术的各个方面，这可能与在下面描述和/或要求保护的本发明的各个方面有关。相信该讨论有助于向读者提供背景信息以便更好地理解本发明的各个方面。因此，应当理解到，这些陈述从这个角度来阅读，而不是作为对现有技术的承认。
基于碎片(patch-based)的方法已经显著地提高了降噪方法的性能。具体地，由Buades等人的标题为“A non-local algorithm for image denoising”的文章(发表于CVPR 2005会议记录)中所提出的非局部均值(Non Local Mean，NLM)以及由Dabov等人在标题为“Image denoising by sparse 3D transform-domain collaborative filtering”的文章(发表于Transaction on Image Processing，第16卷，第8号，第2080-2095页，2007年8月)中提出的块匹配3D(Block Matching 3D，BM3D)是现在的参考方法。
关于这两种方法，通过首先在有噪声的图像/视频之中找到碎片(patch)的K个最近近邻(K-NN)碎片，对该碎片进行降噪。NLM方法使用取决于K-NN与当前碎片之间的距离的权重来组合K-NN。BM3D是两步骤方法。在第一步骤中，BM3D将K-NN堆叠在3D分组中，然后对分组应用3D变换。然后，使用硬阈值处理(hard thresholding)对该分组中的碎片进行滤波，并且在逆变换之后获得经降噪的估计。对于每个像素，能够获得若干估计，所述若干估计最终被平均。在第二步骤中，在从第一步骤获得的经降噪的估计中找出新的K-NN。形成两个3D分组，分别包含来自第一经降噪估计的K-NN以及有噪声的图像/视频中的对应碎片。然后，对两个分组应用3D变换。使用维纳(Wiener)滤波器对包含有噪声的碎片的、经3D变换的分组进行滤波，其中使用包含第一经降噪估计的、经3D变换的分组作为谕示(oracle)。在逆变换之后获得最终的估计。这些方法是“盲目的(blind)”算法，因为它们应用于有噪声的图像/视频而不使用来自源信号的任何先验知识。如本文中所应用的术语“源信号”指在编码/解码操作(例如HEVC编码)之前、在传送以及由电视接收器解码之前的原始视频图像信号。
替代地，设计有基于缩影表示的基于碎片的降噪方法。图像的缩影是包含图像的纹理和结构性质的本质的紧缩表示。缩影法针对通过利用图像内的重复内容来减少图像中的冗余信息(纹理)。缩影原理最先由Hoppe等人在发表于ACM SIGGRAPH 2008会议记录的标题为“Factoring Repeated Content Within and Among Images”的文章(ACMTransaction on Graphics，第27卷，第3号，第1-10页，2008年)中公开。图1例示Hoppe的方法。从图像Y，确定纹理缩影E和变换映射Ф，使得Y的所有图像块能够从E的匹配碎片来重构。匹配碎片也称作经变换的碎片。与块相反，碎片属于像素网格。一旦在图像Y中确定自相似性，Hoppe的方法就确定冗余的纹理碎片以构造缩影图，所有缩影图的联合构成纹理缩影E。每个缩影图表示图像中的重复区域。缩影图的构造由图初始化步骤继之以若干图扩展步骤来构成。变换映射Ф是保持跟踪图像Y的每个块与纹理缩影E的纹理碎片之间的对应的分配映射。在本文献中，变换映射也称作矢量映射或者分配映射。通过纹理缩影E和变换映射Ф，能够重构图像Y’，其内容与图像Y的内容非常相似。在下文中，术语视频缩影可以指纹理缩影E和变换映射Ф，或者在适当的情况下仅仅指纹理缩影E。
当前的基于碎片的降噪方法如在Cheung等人的标题为“Video epitomes”的文章(发表于International Journal of Computer Vision，第76卷，第141-152页，2008年)中那样地对来自缩影的碎片进行平均，或者如在Aharon等人的标题为“Sparse andredundant modeling of image content using image-signature dictionary”的文章(发表于SIAM Journal on Imaging Sciences，第228-247页，2008年7月)中那样地使用稀疏表示来组合碎片。在这些方法中，缩影是直接从有噪声的图像/视频中提取出的。期望提高使用视频缩影的降噪方法的性能。
发明内容
根据本原理，描述对图像进行降噪的方法和装置，具体地，使用基于源视频图像的视频缩影对图像进行降噪的方法和装置。从图像的较高质量版本即源版本提取视频缩影得到较高质量的视频缩影，这改进降噪处理。如在本文中所使用的术语“高质量视频”或者“较高质量视频”指比已经经过编码或压缩处理的随后的或者另外的版本的视频包含更少的视频伪像和失真的视频图像。
根据本原理，提供处理视频中的图像的方法，其包括：对图像的编码版本进行解码，以产生图像的解码版本；以及使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影，来生成图像的降噪版本，其中，视频图像缩影是从图像的源版本提取出的，其中，所述生成包括：使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片，对当前碎片进行降噪。
根据本原理，提供处理视频的图像的装置，其包括：通信接口，被配置为存取图像的编码版本，并且生成图像的解码版本以及作为与图像相关联的纹理缩影的视频图像缩影，其中，视频图像缩影是从图像的源版本提取出的；处理器，耦合到通信接口，并且被配置为使用视频的解码版本和视频图像缩影来生成包括经解码的图像的降噪版本的用于显示的输出，并且其中，图像缩影和处理器被配置为通过使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片对当前碎片进行降噪，来生成经解码的图像的降噪版本。
根据本原理，提供处理视频的图像的装置，其包括：通信接口，被配置为存取图像；以及处理器，耦合到通信接口，并且被配置为生成图像的编码版本，并且在编码之前从图像的源版本提取视频缩影，并且生成包括图像的编码版本、视频缩影以及指示在比特流中存在视频缩影的标记的比特流。在实施例中，还使用与经编码的图像相同或者不同的编码方法对视频缩影进行编码。
在实施例中，缩影是纹理缩影，并且所述生成步骤包括：确定要在对经解码的图像中的当前碎片进行降噪时所使用的K个最近近邻碎片；存取位于视频缩影中对应于所确定的K个最近近邻碎片的对应碎片；以及使用位于视频缩影中的对应碎片，对当前碎片进行降噪。
在实施例中，所述降噪包括：使用视频图像缩影来执行降噪的非局部均值方法。
在实施例中，所述降噪包括：通过估计噪声级别作为图像缩影碎片与对应的有噪声的碎片之间的均方误差，来设置滤波参数，其中将滤波参数设置为所估计的噪声级别与预先定义的用户参数的乘积。
在实施例中，所述降噪包括：使用硬阈值处理步骤和维纳滤波步骤。在实施例中，硬阈值处理包括：通过对有噪声的碎片和它们的对应的图像缩影碎片的分组执行3D变换、确定经变换的碎片之间的阈值处理规则、用当前碎片替代有噪声的碎片的分组中的碎片、将阈值处理规则应用于包括当前碎片的有噪声的碎片的分组并且执行逆变换以生成当前碎片的第一降噪版本，来自适应地选取阈值。在实施例中，使用当前碎片的第一降噪版本作为维纳滤波步骤的谕示。
在实施例中，经由在通信信道上所接收的比特流来存取视频图像缩影和图像的编码版本，并且其中，对视频图像缩影进行编码，并且比特流包括指示视频图像缩影与图像的编码版本一起被包括的标记。
附图说明
通过参考结合附图进行的对示例性实施例的以下描述，本原理的上述特征和其他特征以及获得它们的方式将变得更加明显，并且将更好地理解本原理，附图中：
图1是从图像Y构造缩影以及使用包括变换映射Ф和缩影E的因子化表示(factored representation)来重构图像Y’的图示示例；
图2是根据本原理的降噪的图示示例；
图3是根据本原理的使用经适配的NLM的基于缩影的降噪的图示示例；
图4是根据本原理的使用BM3D的基于缩影的降噪的硬阈值处理的图示示例；
图5是根据本原理的使用BM3D的基于缩影的降噪的维纳滤波的图示示例；
图6是从视频的关键帧提取的缩影的图示示例；
图7是例示可缩放压缩方案中的缩影的编码的图示示例；
图8例示描绘示例性系统的框图，其中可以实现本原理的示例性实施例的各个方面；
图9例示描绘可以与一种或多种实现方式一起使用的视频处理系统的示例的框图；以及
图10例示描绘可以与一种或多种实现方式一起使用的视频处理系统的另一个示例的框图。
在本文中所阐述的描述例示实现本原理的各个方面的示例性实施例。这样的示例不应以任何方式被解释为限制权利要求的范围。
具体实施方式
本原理涉及使用视频缩影进行降噪的方法和装置。具体地，根据本原理的实施例在降噪处理期间使用从源视频图像提取的视频缩影，以提高解码器处的降噪性能。提取视频缩影能够是在编码之前对视频中的图像的预处理的一部分。源视频图像是执行任何编码或者压缩之前并且通常在例如传送给接收器设备之前的图像，因此，源视频图像通常比图像的经编码并且随后解码的版本具有更高的质量，并且因此，所提取的视频缩影也将比从先前已经被编码和解码的图像中提取的视频缩影具有更高的质量级别。根据本原理的实施例与现有技术的方法相反，在现有技术方法中，将从有噪声的经解码的图像所提取的缩影用于降噪。
在图2中示出根据本原理的降噪的图示例示。传统的编码/解码方案在下方的方框202中示出，其中视频图像X使用诸如HEVC或者VP9这样的特定编码方案进行编码206，然后经由传送信道传送到接收器。编码通常去除图像信号中的冗余，并且涉及三个主要步骤：预测、变换和编码。解码器接收经编码的信号，并且执行通常对应于编码步骤的逆的各种解码操作208，以生成输出图像Y。根据本原理的实施例如由所提出的改进所指示的那样地将降噪方案添加到传统的编码/解码方案204。根据本原理，缩影E从高质量源图像X中提取210，并且随后被编码212，以便与经编码的图像一起传送。在解码器侧，经编码的缩影E被解码214，并且应用于经解码的图像Y，以提供经降噪的图像如在所述实施例中从源图像所提取的高质量缩影的内含物可以通过比特流中的标记或者高级语法元素用信号通知，例如，使用经压缩的视频比特流的首部字段中的一比特标记。这档的信号通知向解码器通知这样的缩影可用于降噪操作。
用于从图像构造缩影的先前方法是已知的并且可以结合所述实施例使用。例如，一种适合的方法在Alain等人的“Method and Apparatus for Constructing an Epitomefrom an Image”(US 2015/0215629，公开于2015年7月30日，通过引用将其并入本文)中描述。如在本文中所描述的那样，该方法生成纹理缩影E和变换映射Ф。如果想要从缩影中重构图像，则变换映射是必要的。本原理针对使用视频缩影进行降噪，而未必定用于重构图像，因此，即使在比特流中包括变换映射，本原理也仅需要使用纹理缩影E。
在图6中示出从视频的关键帧提取缩影。这里，将关键帧定义为图片组(GOP)的第一帧。在定义关键帧时，可以使用其他准则，例如，关键帧可以由用户在配置文件中定义。该示例中的GOP包括8个帧，并且根据本原理，可以使用来自周围帧的缩影对该GOP内的任何帧进行降噪。例如，缩影Ei从GOPi的I帧生成，然后连同缩影E i+1一起被用于对GOP i的B帧进行降噪。然而，显然，从不同帧所提取的缩影的其他布置或组合可以应用于不同的帧或者帧的组合以提供降噪。
为了执行降噪，考虑N×N个重叠碎片。为了限制复杂性，并非所有的重叠碎片均被处理，但是替代地定义两个被处理的碎片之间的在行和列两者中的步进s。重叠区域中的像素属于若干碎片，并且因此在降噪处理结束时具有若干经降噪的估计。对这些估计进行平均，以便获得最终的经降噪的值。该方法包括下面的步骤：1)在与缩影碎片并置(co-locate)的有噪声的碎片之中搜索当前碎片的K-NN；2)学习有噪声的K-NN碎片与缩影中的对应高质量碎片之间的降噪规则；以及3)对当前碎片应用先前所学习到的降噪规则，以获得经降噪的碎片。下面进一步描述若干“降噪规则”。
基于缩影的NLM
现在描述使用NLM的降噪方法。假设y是将要降噪的当前碎片。将y的K-NN标注为yi，i＝1…K。来自缩影的对应高质量碎片标记为xi，i＝1…K。根据y以及它的K-NN，计算一组权重wi，i＝1…K。经降噪的估计碎片作为K个高质量碎片的线性组合而获得：
在图3中例示对当前碎片318进行降噪的方法。当前碎片318是位于有噪声的图像中并且希望进行降噪的任意碎片。在步骤320中，例如使用全搜索块匹配(block matching，BM)算法，在与缩影并置的有噪声的碎片之中找到K-NN。替代地，可以使用近似最近近邻(approximate nearest neighbors，ANN)搜索算法，诸如在Barnes等人的标题为“Thegeneralized PatchMatch correspondence algorithm”的文章(发表于Lecture Notes inComputer Science，卷6313LNCS，页29-4.，2010年)中提出的广义碎片匹配算法。这里，有噪声的图像302对应于降噪操作之前的经解码的图像。有噪声的图像302中与从中提取缩影的高质量图像306的位置相对应的位置由标号308和310指定并且对应于区域332和334。碎片312、314和316位于有噪声的图像的缩影位置308和310内，并且它们的位置对应于高质量缩影332和334的碎片336、338和340。在步骤330中，学习权重以根据有噪声的K-NN碎片322、324和326来近似当前碎片328。为了计算权重，适配NLM算法并且使用取决于y与其K-NN(即碎片322、324和326)之间的距离的指数权重。标记其中，di代表y与其NNyi之间的距离，并且N2代表碎片中的像素的数量，然后，权重计算为：
其中，σNLM是用作滤波的程度的参数。在原始的NLM算法中，σNLM取决于噪声级别σn、根据经验来设置。在本实施例中，提出自动地适配该参数的方法。噪声级别σn被估计为高质量缩影碎片与对应的有噪声的碎片之间的均方误差。然后能够设置σNLM＝α*σn，其中α是预先定义的用户参数。在步骤344中，使用等式1来组合对应的K-NN高质量碎片(336、338和340)以得出经降噪的碎片342。
基于缩影的BM3D
在另一个实施例中，提出使用基于BM3D的方法，如在原始BM3D中那样，其包括两个步骤：对经3D变换的碎片分组所执行的硬阈值处理步骤和维纳滤波步骤。然而，本原理能够一般性地应用于基于变换系数的硬阈值处理或维纳滤波的任何方法。
硬阈值处理
该步骤的一方面是选取阈值。在原始的方法中并且对于相似的算法，通常手动地和/或根据经验来设置阈值。该参数通常根据噪声级别来设置。如果阈值太大，则许多系数被去除并且太多信息可能丢失。这里提出用以选取阈值的自适应算法。
选取阈值的步骤在图4中例示。在步骤400中，对于当前碎片440，例如使用BM算法，在与高质量缩影416和424中的碎片420、422和424并置的有噪声的图像碎片之中找到K-NN碎片432、434和436。该步骤与先前的实施例的步骤320相似。在步骤402中，K-NN以及来自缩影的它们的对应的高质量碎片420、422和424堆叠在3D分组中，分别表示为Gx和在步骤404中，然后对两个分组应用3D变换THT。从两个经变换的分组，能够在步骤406中获得二元3D掩码Mτ形式的降噪规则，计算如下：
其中，ξ指3D矩阵中的索引。为了对与元素440相对应的当前碎片y进行降噪，在步骤408中，用碎片y自身替换Gy中y的最近NN，以获得3D分组，标记为Gy′。然后在步骤410中，能够将变换THT应用于Gy′，继之以阈值处理规则Mτ，并且最终在步骤412中，应用逆变换以获得经降噪的分组
其中，“·”表示元素与元素(element-by-element)的乘法。然后，在Gy′中y的相同位置处，从提取第一步骤经降噪的碎片
维纳滤波
BM3D算法的第二步骤在于3D变换分组的维纳滤波，其中，将硬阈值处理的前一步骤时所获得的第一经降噪的估计用作谕示。最佳的维纳滤波依赖于源信号的知识，因此，在原始的BM3D算法中，源信号替换为在硬阈值处理步骤之后所获得的第一经降噪的估计，并且表示为谕示。在本实施例中，提出通过使用来自缩影的高质量碎片作为维纳滤波的谕示，来适合该步骤。该步骤针对在前一步骤时所获得的经降噪的估计来执行，而不直接针对有噪帧来执行。该实施例的步骤在图5中例示。
在步骤502中，首先，例如使用BM算法，在来自两个最近的关键帧的、与缩影碎片522、524和526并置的第一估计碎片之中搜索当前碎片的K-NN碎片536、538和540。在步骤504中，K-NN碎片536、538和540以及来自缩影518和520的它们的对应的高质量碎片522、524和526堆叠在3D分组中，标记为和这些分组分别不同于前一步骤的分组和因为K-NN不同。还计算包含对应的噪声碎片的第三3D分组：
然后在步骤506中，对两个分组应用3D变换TWien。然后在步骤508中，能够计算维纳滤波器系数：
为了对与元素542相对应的当前碎片进行降噪，在步骤510中，用碎片自身替换中的最近NN，以获得3D分组，标记为在步骤512中，然后能够将变换TWien应用到继之以维纳滤波，并且最终在步骤514中，应用逆变换以获得经降噪的分组
然后，在中的相同位置处，从提取最终的经降的噪碎片
根据本原理，可以使用从高质量源图像生成的一个或多个缩影来执行降噪，其中缩影的数量和形状可以根据提取方法和图像本身而不同。另外，可以使用已知的编码方法对所提取的缩影进行编码，以便连同经编码的视频图像一起传送。编码方法可以与用于视频图像自身的编码方法相同或者不同。例如，图7示出使用可缩放压缩方案(例如，SHVC)对缩影进行编码。在图7中，原始图像的编码视为基础层，而所提取的缩影视为增强层，其中，例如，缩影Ei是从GOPi的I帧提取出的，缩影Ei+1是从GOP i+1的第一个B帧提取出的，以此类推。以此方式对源图像以及所提取的缩影进行编码允许本原理容易结合现有压缩标准中的可缩放视频扩展一起使用。
图8例示示例性系统的框图，其中可以实现本原理的示例性实施例的各个方面。系统800可以实施为包括在下面描述各个组件的设备，并且被配置为执行上面描述的处理。这样的设备的示例包括但不局限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器以及服务器。如图8中所示，并且如由本领域那些技术人员所知道的那样，系统800可以通信地耦合到其他类似的系统，并且经由通信信道耦合到显示器，以实现上面描述的示例性视频系统。
系统800可以包括：至少一个处理器810，被配置为执行加载到其中用于实现如上面所讨论的各种处理的指令。处理器810可以包括嵌入式存储器、输入输出接口以及如本领域中已知的各种其他电路。系统800还可以包括至少一个存储器820(例如，易失性存储设备、非易失性存储设备)。系统800还可以包括：存储设备840，其可以包括非易失储存器，包括但不局限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪速存储器、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备840可以包括内部存储设备、附加存储设备和/或网络可存取的存储设备。系统800还可以包括：编码器/解码器模块830，被配置为处理数据以提供经编码的视频或者经解码的视频。
编码器/解码器模块830表示可以包括在设备中以执行编码和/或解码功能的模块。如已知的那样，设备可以包括编码和解码模块中的一个或二者。另外，如本领域那些技术人员已知的那样，编码器/解码器模块830可以实现为系统800的单独元件，或者可以合并在处理器810中，作为硬件和软件的组合。编码器/解码器模块830可以例如从通信信道接收数据，或者从布置在设备800上的摄相机接收将要压缩的原始视频数据。本原理的方面(包括从高质量源图像提取缩影以及对所接收的缩影进行解码)可以作为编码器/解码器830之前或者之内的预处理操作来实现。
要加载到处理器810上以执行在上文所描述的各种处理的程序代码可以存储在存储设备840中，并且随后被加载到存储器820上以便由处理器810执行。根据本原理的示例性实施例，处理器810、存储器820、存储设备840以及编码器/解码器模块830中的一个或多个可以在上文所讨论的处理的执行期间存储各种项目中的一个或多个，包括但不局限于HDR视频、比特流、等式、公式、矩阵、变量、操作和操作逻辑。
系统800还可以包括使得能够经由通信信道860与其他设备通信的通信接口850。通信接口850可以包括但不局限于：收发器，被配置为从通信信道860传送和接收数据。通信接口可以包括但不局限于调制解调器或者网卡，并且通信信道可以以有线和/或无线介质来实现。系统800的各种组件可以使用各种适当的连接方式来连接或者通信地耦合在一起，连接方式包括但不局限于内部总线、电线以及印刷电路板。
根据本原理的示例性实施例可以由处理器810实现的计算机软件或者由硬件或者由硬件和软件的组合来执行。作为非限制性示例，根据本原理的示例性实施例可以由一个或多个集成电路来实现。存储器820可以是适合于技术环境的任何类型，并且作为非限制性示例，可以使用诸如光学存储设备、磁性存储设备、基于半导体的存储设备、固定储存器以及可移动储存器这样的任何适当的数据存储技术来实现。处理器810可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包括微处理器、通用计算机、专用计算机以及基于多核架构的处理器中的一个或多个。
参考图9，示出数据传送系统900，可以对其应用上面所描述的特征和原理。数据传送系统900可以是例如头端或者传送系统，用于使用诸如卫星、缆线、电话线或者地面广播等各种介质中的任何一种来传送信号。数据传送系统900也可以用来提供用于存储的信号。传送可以通过因特网或者某个其他网络提供。数据传送系统900能够生成并且传递例如视频内容和其他内容。
数据传送系统900从处理器901接收经处理的数据以及其他信息。在一种实现方式中，处理器901执行前向变换。处理器901还可以将指示例如视频的格式的元数据提供给900。根据本原理，处理器901还可以在编码器902之前执行预处理。预处理可以包括如在上文所讨论的视频缩影的提取。
根据各种实施例，数据传送系统或者装置900包括编码器902和传送器904，传送器904能够传送经编码的信号和视频缩影。编码器902从处理器901接收数据信息。编码器902生成经编码的信号。
编码器902可以包括子模块，包括例如用于接收各种信息片段并且将它们装配成结构化的格式以便存储或传送的装配单元。各种信息片段可以包括例如已编码或未编码的视频以及已编码和未编码的元素。如上所述，编码器902可以使用相同或者不同的编码技术对视频缩影和视频图像进行编码以用于随后的传送。替代地，视频缩影可以由处理器从视频中提取并且可以在编码器902之前被编码。在一些实现方式中，编码器902包括处理器901并且因此执行处理器901的操作。
传送器904从编码器902接收经编码的信号，并且在一个或多个输出信号中传送经编码的信号。传送器904可以例如被适配为传送具有表示经编码的图片和/或其有关信息的一个或多个比特流的程序信号。典型的传送器执行诸如例如提供误差校正编码、交错信号中的数据、使信号中的能量随机化以及使用调制器906将信号调制到一个或多个载波上中的一个或多个这样的功能。传送器904可以包括天线(未示出)，或者与天线对接。另外，传送器904的实现方式可以被限制到调制器906。
数据传送系统900也通信地耦合到存储单元908。在一种实现方式中，存储单元908耦合到编码器902，并且存储来自编码器902的、包括视频缩影、经编码的比特流。在另一种实现方式中，存储单元908耦合到传送器904，并且存储来自传送器904的比特流。来自传送器904的比特流可以包括例如已经由传送器904进一步处理的包括视频缩影的一个或多个经编码的比特流。在不同的实现方式中，存储单元908是标准DVD、蓝光盘、硬盘驱动器或者某个其他存储设备中的一个或多个。
参照图10，示出数据接收系统1000，可以对其应用上面描述的特征和原理。数据接收系统1000可以被配置为通过诸如存储设备、卫星、缆线、电话线或者地面广播这样的各种介质来接收信号。信号可以通过因特网或者某个其他网络来接收。
数据接收系统1000可以是例如蜂窝式电话、计算机、机顶盒、电视机或者接收经编码的视频并且提供例如经解码的视频信号以便显示(例如显示给用户)、用于处理或者用于存储的其他设备。因此，数据接收系统1000可以将其输出提供给例如电视机的屏幕、计算机监视器、计算机(用于存储、处理或者显示)或者某个其他存储、处理或显示设备。
数据接收系统1000能够接收并且处理数据信息。数据接收系统或者装置1000包括：接收器1002，用于接收经编码的信号，诸如例如在本申请的实现方式中所描述的信号。接收器1002可以接收例如提供比特流的信号或者从图9的数据传送系统1000输出的信号。
接收器1002可以例如被适配为接收具有表示经编码图片的包括视频缩影的多个比特流的程序信号。典型的接收器执行诸如例如接收经调制和经编码的数据信号、使用解调器1004对来自一个或多个载波的数据信号进行解调、对信号中的能量去随机化、对信号中的数据进行去交错以及对信号进行误差校正解码中的一个或多个这样的功能。接收器1002可以包括天线(未示出)，或者与天线对接。接收器1002的实现方式可以被限制到解调器1004。
数据接收系统1000包括解码器1006。接收器1002将所接收的信号提供给解码器1006。由接收器1002提供给解码器1006的信号可以包括一个或多个经编码的比特流。解码器1006输出经解码的信号，诸如例如包括视频信息的经解码的视频信号。根据本原理，解码器1006可以包括：预处理器，其分离并且处理比特流中的经编码的视频缩影和经编码的视频图像。可以使用与经编码的视频图像相同或者不同的解码处理，对经编码的视频缩影进行解码。
数据接收系统或者装置1000还通信地耦合到存储单元1007。在一种实现方式中，存储单元1007耦合到接收器1002，并且接收器1002存取来自存储单元1007的比特流。在另一种实现方式中，存储单元1007耦合到解码器1006，并且解码器1006存取来自存储单元1007的比特流。在不同的实现方式中，从存储设备1007存取的比特流包括一个或多个经编码的比特流。在不同的实现方式中，存储单元1007是标准DVD、蓝光盘、硬盘驱动器或者某个其他存储设备中的一个或多个。
在一种实现方式中，来自解码器1006的输出数据提供给处理器1008。在一种实现方式中，处理器1008是被配置用于执行后处理的处理器。后处理器可以包括例如在上文中所讨论的降噪操作。在一些实现方式中，解码器1006包括处理器1008并且因此执行处理器1008的操作。在其他实现方式中，处理器1008是诸如例如机顶盒或者电视机这样的下游设备的一部分。
在本文中所描述的实现方式可以实现为例如方法或处理、装置、软件程序、数据流或者信号。即使仅在单一形式的实现方式的背景下进行了讨论(例如，仅作为方法进行了讨论)，所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以实现为例如适当的硬件、软件和固件。例如，方法可以在诸如例如处理器这样的装置中实现，处理器一般指处理设备，包括例如计算机、微处理器、集成电路或者可编程逻辑设备。处理器也包括通信设备，诸如例如计算机、蜂窝式电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间的信息通信的其他设备。
所提及的本原理的“一个实施例”或者“实施例”或者“一种实现方式”或者“实现方式”以及它们的其他变型是指结合实施例所描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”或者“在实施例中”或者“在一种实现方式中”或者“在实现方式中”以及任何其他变型未必全部指相同的实施例。
另外，本申请或者其权利要求书可能涉及“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息或者从存储器检索信息中的一个或多个。
而且，本申请或者其权利要求书可能涉及“存取”各条信息。存取信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息中的一个或多个。
另外，本申请或者其权利要求书可能涉及“接收”各条信息。接收与“存取”一样，目的在于作为广泛的术语。接收信息可以包括例如存取信息或者检索信息(例如，从存储器)中的一个或多个。而且，“接收”通过以各种方式包含在诸如例如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息这样的操作期间。
对于本领域技术人员将显而易见的是，实现方式可以产生各种信号，信号被格式化以携带可以例如被存储或传送的信息。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一所产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这样的信号可以被格式化成例如电磁波(例如，使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及使用经编码的数据流来调制载波。信号所携带的信息可以是例如模拟或者数字信息。如已知的那样，信号可以通过各种不同的有线或者无线链路来传送。信号可以存储在处理器可读介质上。

Claims (13)

1.一种处理视频中的图像的方法，包括：
对图像的编码版本进行解码，以产生图像的解码版本；以及
使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影，来生成图像的降噪版本，其中，视频图像缩影是从图像的源版本提取出的，
其中，所述生成包括：
使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片，对当前碎片进行降噪。
2.根据权利要求1所述的方法，其中，所述降噪包括：使用视频图像缩影来执行降噪的非局部均值方法。
3.根据权利要求2所述的方法，其中，所述降噪包括：通过估计噪声级别作为图像缩影碎片与对应的有噪声的碎片之间的均方误差，来设置滤波参数，其中将滤波参数设置为所估计的噪声级别与预先定义的用户参数的乘积。
4.根据权利要求1所述的方法，其中，所述降噪包括：使用包括硬阈值处理步骤和维纳滤波步骤的方法。
5.根据权利要求4所述的方法，其中，所述硬阈值处理步骤包括：通过对有噪声的碎片和它们的对应的图像缩影碎片的分组执行3D变换、确定经变换的碎片之间的阈值处理规则、用当前碎片替代有噪声的碎片的分组中的碎片、将阈值处理规则应用于包括当前碎片的有噪声的碎片的分组并且执行逆变换以生成当前碎片的第一降噪版本，来自适应地选取阈值。
6.根据权利要求5所述的方法，其中，使用当前碎片的第一降噪版本作为维纳滤波步骤的谕示。
7.根据权利要求1所述的方法，其中，经由在通信信道上所接收的比特流来存取视频图像缩影和图像的编码版本，并且其中，对视频图像缩影进行编码，并且比特流包括指示视频图像缩影与图像的编码版本一起被包括的标记。
8.一种处理视频的图像的装置，包括：
通信接口，被配置为存取图像的编码版本，并且生成图像的解码版本以及作为与图像相关联的纹理缩影的视频图像缩影，其中，视频图像缩影是从图像的源版本提取出的；
处理器，耦合到通信接口，并且被配置为使用视频的解码版本和视频图像缩影来生成包括经解码的图像的降噪版本的用于显示的输出，并且
其中，图像缩影和处理器被配置为通过使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片对当前碎片进行降噪，来生成经解码的图像的降噪版本。
9.根据权利要求8所述的装置，其中，处理器被配置为使用视频图像缩影来执行降噪的非局部均值方法。
10.根据权利要求8所述的装置，其中，处理器被配置为通过估计噪声级别作为图像缩影碎片与对应的有噪声的碎片之间的均方误差，来设置滤波参数，其中将滤波参数设置为所估计的噪声级别与预先定义的用户参数的乘积。
11.根据权利要求10所述的装置，其中，处理器被配置为使用包括硬阈值处理步骤和维纳滤波步骤的方法来进行降噪。
12.根据权利要求11所述的装置，其中，处理器被配置为通过对有噪声的碎片和它们的对应的图像缩影碎片的分组执行3D变换、确定经变换的碎片之间的阈值处理规则、用当前碎片替代有噪声的碎片的分组中的碎片、将阈值处理规则应用于包括当前碎片的有噪声的碎片的分组并且执行逆变换以生成当前碎片的第一降噪版本，来自适应地选取阈值，由此执行硬阈值处理步骤。
13.根据权利要求12所述的装置，其中，使用当前碎片的第一降噪版本作为维纳滤波步骤的谕示。
CN201610880832.6A 2015-10-09 2016-10-09 使用视频缩影对图像进行降噪的方法和装置 Pending CN107018287A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306605.5A EP3154021A1 (en) 2015-10-09 2015-10-09 Method and apparatus for de-noising an image using video epitome
EP15306605.5 2015-10-09

Publications (1)

Publication Number Publication Date
CN107018287A true CN107018287A (zh) 2017-08-04

Family

ID=54361029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610880832.6A Pending CN107018287A (zh) 2015-10-09 2016-10-09 使用视频缩影对图像进行降噪的方法和装置

Country Status (5)

Country Link
US (1) US20170103499A1 (zh)
EP (2) EP3154021A1 (zh)
JP (1) JP2017073135A (zh)
KR (1) KR20170044028A (zh)
CN (1) CN107018287A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112311962B (zh) * 2019-07-29 2023-11-24 深圳市中兴微电子技术有限公司 一种视频去噪方法和装置、计算机可读存储介质
CN110971786B (zh) * 2019-11-21 2022-04-19 维沃移动通信有限公司 一种拍摄方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288015A1 (en) * 2010-01-22 2012-11-15 Thomson Licensing Data pruning for video compression using example-based super-resolution
US20130235939A1 (en) * 2012-03-07 2013-09-12 Mrityunjay Kumar Video representation using a sparsity-based model
CN103314584A (zh) * 2011-01-21 2013-09-18 汤姆逊许可公司 图像序列的编码方法和相应的重构方法
CN103366384A (zh) * 2013-07-08 2013-10-23 浙江工业大学 重要度驱动的面向全局冗余图像压缩方法
EP2666298A1 (en) * 2011-01-21 2013-11-27 Thomson Licensing Method of coding an image epitome
WO2015067518A1 (en) * 2013-11-08 2015-05-14 Thomson Licensing Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2903288A1 (en) 2014-01-30 2015-08-05 Thomson Licensing Method and apparatus for constructing an epitome from an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288015A1 (en) * 2010-01-22 2012-11-15 Thomson Licensing Data pruning for video compression using example-based super-resolution
CN103314584A (zh) * 2011-01-21 2013-09-18 汤姆逊许可公司 图像序列的编码方法和相应的重构方法
EP2666298A1 (en) * 2011-01-21 2013-11-27 Thomson Licensing Method of coding an image epitome
US20130235939A1 (en) * 2012-03-07 2013-09-12 Mrityunjay Kumar Video representation using a sparsity-based model
CN103366384A (zh) * 2013-07-08 2013-10-23 浙江工业大学 重要度驱动的面向全局冗余图像压缩方法
WO2015067518A1 (en) * 2013-11-08 2015-05-14 Thomson Licensing Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KOSTADIN DABOV ET AL: "Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
MICHAL AHARON ET AL: "Sparse and Redundant Modeling of Image Content Using an Image-Signature-Dictionary", 《SIAM JOURNAL ON IMAGING SCIENCES》 *
VINCENT CHEUNG ET AL: "Video epitomes", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *

Also Published As

Publication number Publication date
EP3154023A1 (en) 2017-04-12
EP3154021A1 (en) 2017-04-12
US20170103499A1 (en) 2017-04-13
JP2017073135A (ja) 2017-04-13
KR20170044028A (ko) 2017-04-24

Similar Documents

Publication Publication Date Title
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
US10609373B2 (en) Methods and apparatus for encoding and decoding digital images or video streams
CN106062816A (zh) 用于对hdr图像进行编码和解码的方法和装置
Liu et al. Compressive sampling-based image coding for resource-deficient visual communication
CN109417621A (zh) 图像处理装置及方法
Hung et al. Novel DCT-Based Image Up-Sampling Using Learning-Based Adaptive ${k} $-NN MMSE Estimation
Jalali et al. A new steganography algorithm based on video sparse representation
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
Lee et al. Omnidirectional video coding using latitude adaptive down‐sampling and pixel rearrangement
Kabir et al. Edge-based transformation and entropy coding for lossless image compression
Jia et al. Fpx-nic: An fpga-accelerated 4k ultra-high-definition neural video coding system
Zhu et al. Generative high-capacity image hiding based on residual CNN in wavelet domain
CN107018287A (zh) 使用视频缩影对图像进行降噪的方法和装置
CN115880381A (zh) 图像处理方法、图像处理装置、模型训练方法
Jin et al. Post-processing for intra coding through perceptual adversarial learning and progressive refinement
Zhou et al. Efficient image compression based on side match vector quantization and digital inpainting
Zhao et al. Candidate value‐based boundary filtering for compressed depth images
Zhuang et al. A robustness and low bit-rate image compression network for underwater acoustic communication
Hsia et al. Fast‐efficient shape error concealment technique based on block classification
Zhang et al. Global Priors with Anchored-stripe Attention and MultiScale Convolution for Remote Sensing Images Compression
CN115361556A (zh) 一种基于自适应的高效视频压缩算法及其系统
CN114418882A (zh) 处理方法、训练方法、装置、电子设备及介质
US9049432B1 (en) Motion differential set partition coding for color image sequence compression
Que et al. Residual dense U‐Net for abnormal exposure restoration from single images
Liu et al. Geometry-guided compact compression for light field image using graph convolutional networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190918

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Applicant before: Thomson Licensing Company

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170804

WD01 Invention patent application deemed withdrawn after publication