CN109328372A - 用于视频的相互噪声估计 - Google Patents

Abstract

实施方案公开了用于视频的相互噪声估计。一种方法包括：确定视频的帧中的每个帧的强度值的最优帧噪声方差，所述最优帧噪声方差是基于所述帧中的均匀块的所述强度值的空间方差与时间方差之间的确定关系；基于所述视频的所述帧的最优帧噪声方差而识别所述视频的最优视频噪声方差；为所述视频的每个帧选择所述块中具有小于所述最优视频噪声方差的空间方差的一个或多个块，所述一个或多个帧被选择为所述均匀块；以及利用所述选定的均匀块来估计所述视频的噪声信号。

Description

用于视频的相互噪声估计

技术领域

本公开涉及视频处理的领域，且确切地说，涉及用于视频的相互噪声估计。

背景技术

视频通常会受到视频采集(video acquisition)、记录、处理和传输期间所产生的噪声破坏。噪声可以表示图像中的亮度或色彩信息的随机方差，所述信息不存在于所被成像的对象中。噪声降低了视频的视觉品质，同时影响诸如视频压缩、分割、格式转换、运动估计、去噪和滤波等许多视频处理应用的有效性和性能。当可获得关于噪声信号的准确信息时，所述视频处理应用的结果可以得到提高。视频噪声估计的准确性是信号和噪声处理领域中的重要组成。

发明内容

下面是本公开的简单概要，以便提供对本公开的一些方面的基本理解。本概要并非本公开的全面综述。意图并非在于识别本公开的主要或关键元素，也并非在于描绘本公开的特定实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为稍后呈现的更详细描述的序言。

在本公开的一个方面中，一种方法包括：通过处理设备确定视频的帧中的每个帧的强度值的最优帧噪声方差，最优帧噪声方差是基于帧中的均匀块的强度值的空间方差与时间方差之间的确定的关系；基于视频的帧的最优帧噪声方差而识别视频的最优视频噪声方差；为视频的每个帧选择所述块中具有小于最优视频噪声方差的空间方差的一个或多个块，所述一个或多个选定的块被标记为均匀块；以及通过所述处理设备利用所述选定的均匀块来估计视频的噪声信号。

在一个实施方案中，所述块中的每个包括帧的N×N个像素，其中N是正数。另外，所述块中的每个可以是至少半重叠的。所述方法还可以包括使用视频的估计的噪声信号对视频进行处理，其中对视频进行处理可以包括视频压缩、分割、格式转换、运动估计、去噪或滤波中的一个或多个。

在一个实施方案中，确定每个帧的最优帧噪声方差还可以包括：计算帧中的每个块的空间方差；计算帧中的每个块的时间方差；基于空间方差与时间方差之间的确定的关系以及基于均匀块之间的噪声协方差是恒定值的这一假设而将所述帧的块的时间方差中的每个时间方差转换成经转换的时间方差；将第一函数应用于帧中的空间方差，所述第一函数用来为空间方差值小于方差值范围中的方差值‘x’的帧中的块提供空间方差的平均值；将第二函数应用于帧中的经转换的时间方差，所述第一函数用来为经转换的时间方差值小于有关方差值范围的方差值‘x’的帧中的块提供经转换的时间方差的平均值；以及基于应用的第一函数和应用的第二函数的交集而选择帧的最优帧噪声方差值。

在一些实施方案中，时间方差利用位于帧之前和之后确定数目的帧。另外，方差值的范围可以包括从零到帧的空间方差和时间方差的集合的并集上的最大方差的方差值。在一个实施方案中，交集点小于V(x)的绝对最大值，其中V(x)包括在方差值x处应用的第一函数与应用的第二函数之间的差的方差。另外，每个帧的强度值可以包括帧中的像素的数值，其中所述数值与像素的灰度级值相对应。每个帧的强度值还可以包括帧中的像素的数值，其中所述数值与像素的色彩通道值相对应。另外，最优视频噪声方差可以是视频集合的帧的最优帧噪声方差的中值。

本文公开了用于执行上述方法和本文所描述的各种实施方案的操作的计算设备。还公开了存储用于执行与上述方法和本文所描述的各种实施方案相关联的操作的指令的计算机程序产品(诸如非暂时性计算机可读存储介质，但是还包括暂时性信号，诸如通过通信网络传输的信号)。

在本公开的第二方面中，计算机程序产品(诸如非暂时性机器可读存储介质)存储指令，当所述指令被执行时致使处理设备来执行操作，所述操作包括：

计算视频的帧中的每个块的强度值的空间方差；

计算帧中的每个块的强度值的时间方差；

基于所述空间方差与所述时间方差之间的确定的关系以及基于均匀块之间的噪声协方差是恒定值的这一假设而将所述帧的块的时间方差中的每个时间方差转换成经转换的时间方差；

将第一函数应用于帧中的空间方差，所述第一函数为空间方差值小于方差值范围中的方差值‘x’的帧中的块提供空间方差的平均值；

将第二函数应用于帧中的经转换的时间方差，所述第二函数为经转换的时间方差值小于方差值范围中的方差值‘x’的帧中的块提供经转换的时间方差的平均值；以及

基于应用的第一函数和应用的第二函数的交集而选择有关帧的最优帧噪声方差值。本发明的该方面可以可选地被限定为包括处理器和存储指令的存储器的系统，或者限定为当执行指令时由处理器所实施的方法。

在本公开的第三方面中，系统包括：

存储器；以及

耦接至存储器的处理设备，其中所述处理设备将用来：识别与确定类型的视频捕获设备相对应的视频集合的每个视频的最优视频噪声方差，其中所述最优视频噪声方差是基于所述视频集合的帧中的每个帧中的均匀块的空间方差与时间方差之间的确定的关系；

基于所识别的最优视频噪声方差而生成与所述确定类型的视频捕获设备相对应的噪声模型；

存储所述确定类型的视频捕获设备的噪声模型；以及

应用所存储的噪声模型来对被指示为由确定类型的视频捕获设备所捕获的上传视频进行去噪。本发明的该方面可以可选地被限定为包括由处理设备(处理器)所实施的步骤，或者被限定为存储指令的计算机程序产品(诸如非暂时性计算机可读存储介质，或者通信信号)，当所述指令被处理器实现时致使所述处理器来实施所述方法。

术语“最优”(例如在“最优视频噪声方差”)在本文献中用来表示已经被识别的任何值，尤其是表示物理量的值。它可能被认为是用于特定目的的最优值。

附图说明

附图中的各图中通过举例而不是限制的方式对本公开进行了说明。

图1是图示其中可以实现本公开的实施方案的示例性网络架构的框图。

图2是根据本公开的实施方案的噪声估计组件的框图。

图3是说明根据实施方案的用于视频的相互噪声估计的方法的流程图。

图4是说明根据实施方案的用于视频的相互噪声估计的另一方法的流程图。

图5是说明根据实施方案的使用对视频的相互噪声估计为视频捕获设备生成噪声模型的方法的流程图。

图6是说明根据实施方案的计算机系统的一个实施方案的框图。

具体实施方式

本公开的各方面和实施方案描述了用于视频的相互噪声估计。视频通常会受到视频采集、记录、处理和传输期间所产生的噪声破坏。噪声可以表示图像中的亮度或色彩信息的随机方差，所述信息不存在于所成像的对象中。特定视频中所存在的噪声的准确估计对于诸如视频压缩、分割、格式转换、运动估计、去噪和滤波等许多视频处理应用是有用的。视频中所存在的估计的噪声级可以被用来调谐对应视频处理应用的参数。当可获得关于估计的噪声级的准确信息时，所述视频处理应用的结果可以得到提高。

一般而言，视频噪声估计系统识别视频的视频帧中的大多数强度均匀块。所识别的强度均匀块内的任何强度变化被假定成是噪声。视频帧的块可以表示视频帧的包括帧的像素的子集的部分。强度可以表示视频帧中的像素的数值。例如，在灰度阶(grayscale)图像中，强度是每个像素处的灰度级值(例如，127比220暗)。在另一示例中，在彩色图像中，强度可以基于彩色图像中的每个色彩通道(例如，红绿蓝(RGB)色彩通道)的数值而确定。如本文所使用，术语“均匀(homogeneous)”可以表示具有扁平外观(例如，在整个块中始终保持单一色彩，没有纹理)。类似地，强度均匀块(或仅“均匀块”)可以表示视频帧的在块的像素中具有很小或没有强度值变化的那些块，或者特别是符合指示块具有均匀性的均匀性标准的那些块。所述标准可以用具有指示低于阈值的均匀性的均匀性参数的块来表示。

一些传统视频噪声估计系统仅依赖于视频的时间信息来估计噪声级，而其它传统视频噪声估计系统仅依赖于空间信息。其它传统视频噪声估计系统依赖于视频的空间-时间域。然而，通常所有传统视频噪声估计系统都依赖于不准确的预定义阈值和/或关于视频中的均匀块的不准确假设中的任一个或二者。不准确预定义阈值的示例可以包括选择块中的前X％作为均匀块。不准确假设的示例可以是将前X个最均匀快的中值方差设置成用来识别均匀块的参考方差。

因此，这样的传统系统的准确性受限于基于这些预定义的阈值和/或假设而进行的均匀块选择。这可以引起对视频中的噪声高估或低估。另外，传统视频噪声估计系统还将噪声信号限制为在视频帧内具有不同强度的区域具有相同的功率。因为针对各种强度和色彩的噪声可能是不同的，所以传统视频噪声估计系统通常无法选择综合的噪声表示块集合，并且引起不准确的噪声估计。

与传统视频噪声估计系统不同，本公开的实施方案通过动态地确定视频的帧的两个噪声方差(空间和时间)而不是使用固定的阈值和预定义的噪声模型假设来识别均匀块。本公开的实施方案的视频噪声估计组件通过识别视频的每个帧中的均匀空间-时间块(均匀块)来对视频中的噪声进行估计。

视频噪声估计组件最初确定视频帧中块的强度的空间方差和时间方差。所述噪声估计组件然后确定有关所述帧的最优帧噪声方差。所述最优帧噪声方差基于当块的强度均匀时空间方差与时间方差之间所存在的确定的关系。然后可以利用该最优帧噪声方差来识别视频中的均匀块，其中当将所述识别的均匀块相互比较时强度和/或色彩可能会改变。这些均匀块可以被用来估计视频的噪声信号。

本公开的实施方案通过选择基于当块强度均匀时空间方差与时间方差之间的所存在的确定关系的最优帧噪声方差来提供超越传统视频噪声估计系统的技术优势。本公开的实施方式还通过提高噪声估计过程的效率来为视频噪声估计提供技术改进，以更精确地识别和提取视频中的噪声信号。由本公开的实施方案所提供的对噪声信号的精确识别和提取产生对视频处理应用的更准确的噪声估计，从而产生视频的更好的视觉品质。

本公开通常会以简明的方式提及视频。然而，本公开的教导通常应用于媒体项目并且可以应用于各种类型的内容或媒体项目，包括例如视频、音频、文本、图像、程序指令等。

图1说明根据本公开的一个实施方案的示例性系统架构100。系统架构100包括客户端设备110A至110Z、网络105、数据存储106、内容共享平台120和服务器130。在一个实施方案中，网络105可以包括公用网络(例如，互联网)、私用网络(例如，局域网(LAN)或广域网(WAN))、有线网络(例如，以太网)、无线网络(例如，802.11网络或Wi-Fi网络)、蜂窝网络(例如，长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机和/或它们的组合。在一个实施方案中，数据存储106可以是存储器(例如，随机存取存储器)、高速缓冲存储器、驱动器(例如，硬盘驱动器)、快闪驱动器、数据库系统或能够存储数据的另一类型的组件或设备。数据存储106还可以包括多个存储组件(例如，多个驱动器或多个数据库)，所述多个存储组件还可以跨多个计算设备(例如，多个服务器计算机)。

客户端设备110A至110Z可以各自包括诸如个人计算机(PC)、笔记本电脑、移动电话、智能电话、平板计算机、上网本计算机、联网电视等计算设备。在一些实施方案中，客户端设备110A至110Z还可以被称作“用户设备”。每个客户端设备包括媒体查看器111。在一个实施方案中，媒体查看器111可以是允许用户来查看诸如图像、视频、网页、文献等内容的应用。例如，媒体查看器111可以是web浏览器，所述web浏览器可以访问、检索、呈现和/或导航由网络服务器来提供服务的内容(例如，诸如超文本标记语言(HTML)页面等网页、数字媒体项目等)。媒体查看器111可以向用户呈递、显示和/或呈现内容(例如，网页、媒体查看器)。媒体查看器111还可以显示嵌在网页(例如，可以提供关于由在线商家所出售的产品的信息的网页)中的嵌入式媒体播放器(例如，播放器或HTML5播放器)。在另一示例中，媒体查看器111可以是允许用户来查看数字媒体项目(例如，数字视频、数字图像、电子书等)的独立应用(例如，移动应用或app)。根据本公开的方面，媒体查看器111可以是内容共享平台应用，用于利用聚合网络统计量来提高来自移动设备的实况视频流的品质和用户体验。

媒体查看器111可以被服务器130和/或内容共享平台120提供给客户端设备110A至110Z。例如，媒体查看器111可以是嵌入式媒体播放器，所述嵌入式媒体播放器嵌在由内容共享平台120所提供的网页中。在另一示例中，媒体查看器111可以是从服务器130下载的应用。

应注意，在一个实施方案中被描述成由内容共享平台120所执行的功能在其它实施方案中也可以视需要在客户端设备110A至110Z上执行。另外，归功于特定组件的功能可以由一起操作的不同或多个组件来执行。内容共享平台120也可以作为通过适当的应用编程接口提供给其它系统或设备的服务来访问，因此不限于在网站中使用。

在一个实施方案中，内容共享平台120可以是可以为用户提供对媒体项目的访问和/或将媒体项目提供给用户的一个或多个计算设备(诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、笔记本计算机、平板计算机、台式计算机等)、数据存储(例如，硬盘驱动器、存储器、数据库)、网络、软件组件和/或硬件组件。例如，内容共享平台120可以允许用户来对媒体项目进行消费、上传、搜索、点赞(“喜欢”)、取消赞和/或评论。内容共享平台120还可以包括可以被用来为用户提供对媒体项目的访问的网站(例如，网页)或应用后端软件。

在本公开的实施方案中，“用户”可以表示成单个个体。然而，本公开的其它实施方案涵盖“用户”，所述“用户”是受用户集合和/或自动化源控制的实体。例如，在社交网络中联合成社区的个人用户集合可以被认为是“用户”。在另一示例中，自动消费者可以是内容共享平台120的诸如主题频道等自动摄取流水线。

内容共享平台120可以托管诸如媒体项目121等数据内容。数据内容可以是由用户选择的数字内容，由用户提供的数字内容，由用户上传的数字内容，由内容提供商选择的数字内容，由广播商选择的数字内容等。媒体项目121的示例可以包括且并不限于数字视频、数字电影、数字照片、数字音乐、网站内容、社交媒体更新、电子书(ebook)、电子杂志、数字报纸、数字音频书、电子学术期刊、网络博客、简易信息聚合(RSS)提要、电子漫画书、软件应用等。在一些实施方案中，媒体项目121还被称作内容项目。

媒体项目121可以经由互联网和/或经由移动设备应用来消费。为了简洁和简单，在线视频(下文中也称作视频)贯穿本文献被用作媒体项目121的示例。如本文所使用，“媒体”、“媒体项目”、“在线媒体项目”、“数字媒体”、“数字媒体项目”、“内容”和“内容项目”可以包括电子文件，所述电子文件可以使用被配置来向实体呈现数字媒体项目的软件、固件或硬件来执行或加载。在一个实施方案中，内容共享平台120可以使用数据存储106来存储媒体项目121。

在一个实施方案中，服务器130可以是一个或多个计算设备(例如，机架式服务器、服务器计算机等)。在一个实施方案中，服务器130可以包括在内容共享平台120中。举例来说，客户端设备110A至110Z的用户可以各自通过网络105发送请求给服务器130，以下载和/或流式传输存储在数据存储106处的一个或多个视频。另外，客户端设备110A至110Z用户还可以通过网络105发送请求给服务器130，以将在客户端设备110A至110A处存储和/或捕获的一个或多个视频上传给服务器130。

在本公开的实施方案中，服务器130可以包括噪声估计组件140。噪声估计组件140从视频提取噪声信号，并且估计视频的噪声级。为了提取和估计视频中的噪声，噪声估计组件140可以识别视频的每个帧中的均匀空间-时间块(本文中也称作均匀块)。如上面所讨论，术语均匀可以表示具有扁平外观(例如，在整个块中始终保持单一色彩，没有纹理)。通过对有关视频的帧的空间方差和时间方差的两个噪声方程式进行求解来找出均匀块。噪声估计组件140基于配置的参数提供对视频的噪声估计，所述配置的参数提供空间噪声方差与时间噪声方差之间所存在的有关视频中的均匀块的设定关系。另外，噪声估计组件140将视频帧内具有不同的强度和色彩的块纳入考虑。

在一些实施方案中，服务器130的噪声估计组件140可以与内容共享平台120交互，以提供利用聚合网络统计量以便提高来自移动设备的实况视频流的品质和用户体验。虽然被示出和描述成单独的组件，但是噪声估计组件140可以被实现为服务器130和/或内容共享平台120处的单个组件。对噪声估计组件140及其功能的进一步描述将在下面结合图2进行详述。

虽然依据内容共享平台和有关上传到内容共享平台的视频的相互噪声估计讨论了本公开的实施方案，但是实施方案也可以大体上应用于提供用户之间的连接的任何类型的社交网络。本公开的实施方案并不限于为用户提供频道订阅的内容共享平台。

在此处讨论的系统收集关于用户的个人信息(例如，从媒体查看器111收集网络统计量，收集网络连接数据等)或利用个人信息的情况下，可以为用户提供以下机会：对内容共享平台120是否收集用户信息(例如，关于用户的社交网络、社会行为或活动、职业、用户的偏好或用户的当前位置的信息)进行控制，或者对是否和/或如何从内容共享平台120接收可以与用户更相关的内容进行控制。另外，在进行存储或使用之前可以以一个或多个方式对某些数据进行处理，以使得将个人可识别信息移除。例如，可以对用户的身份进行处理，以使得无法确定用户的个人可识别信息，或者可以在获得了位置信息(诸如城市、邮政编码或州级)的情况下将用户的地理位置概括化，以使得无法确定用户的特定位置。因此，用户可以对如何收集关于用户并由内容共享平台120使用的信息进行控制。

图2是说明根据本公开的一个实施方案的噪声估计组件140的框图。如上面所讨论，噪声估计组件140可以与单个社交网络交互，或者可以在多个社交网络中利用(例如，作为被其它第三方社交网络所利用的内容共享平台的服务提供)。

在一个实施方案中，噪声估计组件140包括帧划分器210、空间方差确定器220、时间方差确定器230、噪声协方差组件240、时间方差转换器250、平均方差确定器260、最优噪声方差确定器270、均匀块识别器280和设备类型噪声模型组件290。在不失一般性的情况下，更多或更少的组件可以包括在噪声估计组件140中。例如，模块中的两个可以组合到单个模块中，或者模块中的一个可以被划分成两个或多个模块。在一个实施方案中，模块中的一个或多个可以驻留在不同的计算设备上(例如，不同的服务器计算机，驻留在单个客户端设备上，或分布在多个客户端设备中等)。另外，模块中的一个或多个可以驻留在不同的内容共享平台、第三方社交网络和/或外部服务器上。

噪声估计组件140通信地耦接至数据存储106。例如，噪声估计组件140可以经由网络(例如，经由如图1中所示出的网络105)耦接至数据存储106。数据存储106可以是存储器(例如，随机存取存储器)、高速缓冲存储器、驱动器(例如，硬盘驱动器)、快闪驱动器、数据库系统或能够存储数据的另一类型的组件或设备。数据存储106还可以包括还可以跨越多个计算设备(例如，多个服务器计算机)的多个存储组件(例如，多个驱动器或多个数据库)。数据存储106包括媒体项目数据290、噪声估计数据291和设备类型噪声模型数据292。

如上面所讨论，噪声估计组件140可以从视频提取噪声信号，并且估计视频的噪声级。为了提取和估计视频中的噪声，噪声估计组件140可以识别视频的每个帧中的均匀空间-时间块(均匀块)。

为了识别空间-时间均匀块，噪声估计组件140首先调用帧划分器210来将视频的视频帧划分成块。假设I^t(x,y)(在本文中也称作I(x,y,t))是视频中的帧‘t’的强度图像。强度图像(强度)可以表示与图像中的位置(x,y)处的像素相对应的数值。例如，在灰度阶图像中，强度是每个像素处的灰度级值(例如，127比220暗)。在另一示例中，在彩色图像中，强度可以基于彩色图像中的每个色彩通道(例如，红绿蓝(RGB)色彩通道)的数值而确定。视频可以作为媒体项目数据290被存储在数据存储106中。噪声估计组件140执行噪声估计过程来识别帧t中含有噪声信号的扁平/均匀块。

所述块可以是半重叠的块，具有N x N个像素的大小(例如，帧的第一块中的像素的一半也是帧中的第二块的成员等)，其中N是正数。例如，对于1920x 1080视频，N可以等于32。帧‘t’处的半重叠块‘B’的示例性表示可以如下所示：

B^t(u,v,x_i,y_i)＝I^t((u*N)/2+x_i,(v*N)/2+y_i)；

其中x_i,y_i是集合中的元素：[0,…,N-1]；

u、v是指示帧‘t’内的块‘B’的相对位置的索引(例如，假设帧‘t’中存在Z个块，u、v是集合中的元素：[0,…,Z-1]。

对于帧中的每个块，空间方差确定器220计算块的空间方差。块的空间方差是块的像素的强度方差。在一个实施方案中，块的空间方差可以如下计算：

Var_spatial(B^t(u，v，x_i，y_i))＝Var(B^t(u，v，x_i，y_i))；

其中，

并且

E(.)返回集合的平均值。帧t中的每个块B的空间方差可以收集在集合S_p中。

时间方差确定器230还与空间方差分开地为帧t中的每个块B计算与时间方差。块的时间方差由时间方差确定器230使用帧t之前和之后的M个帧来计算。对于z＝1,...,M，先前的帧为I(x,y,t-z)，且对于z＝1,…,M，接下来的帧是I(x,y,t+z)。在一个实施方案中，块的时间方差可以如下计算：

其中

在一个实施方案中，运动补偿算法被应用来将先前帧和接下来的帧投影到帧I(x,y,t)中。然后针对z＝t-M,...,t+M(总计2M+1个帧)为所有运动补偿型帧I(x,y,z)上的每个像素计算时间方差。得到的帧可以被称作D(x,y)。对每个块B计算方差D(x,y)，并且添加至集合S_t。

噪声协方差组件240建立供噪声估计组件140在执行本公开的实施方案的噪声估计时遵守的条件。理论上说，以上面提及的方式计算并收集在S_p和S_t中的空间方差和时间方差建立以方程式：

s＝Var(I(x,y,t))，其中(x,y)表示帧中的块，

或者

其中s和t是空间噪声功率和时间噪声功率，其中Var(.)是方差函数，并且其中是为两个相应的不同帧中的两个对应块计算的噪声协方差。

在此，噪声协方差组件240建立以下条件：假设噪声协方差将是固定的(对于白噪声为零而对于相关噪声为非零的常数)。因此，均匀块应满足以下方程式：

换句话说，如果最大噪声功率为v，那么均匀块的空间噪声功率预期将小于v，且为均匀块计算的噪声协方差被假定成是恒定值。噪声协方差组件240可以对噪声估计组件140的参数进行配置，以使得均匀块的空间方差和时间方差预期符合上述关系。

通过经由噪声协方差组件240建立条件，可以根据下面的描述检测均匀块。作为初始事项，时间方差转换器250将噪声协方差设置为零，并且将集合S_t中的所有时间噪声方差t转换成：

(2M+1)*t/2M。

由时间方差转换器250所执行的转换基于有关上面所描述的均匀块的空间方差与时间方差之间的确定的关系。

平均方差确定器260然后限定函数P_s(x)，所述函数P_s(x)采用最大噪声功率x(其范围为0到集合S_p和S_t的并集上的最大方差)作为输入，并返回具有小于x的空间方差(在S_p中收集的)的那些块的空间方差平均值。类似地，平均方差确定器260限定函数P_t(x)，所述函数P_t(x)采用最大噪声功率x作为输入，并且返回具有小于x的时间方差(在S_t中收集的)的那些块上的经转换的时间方差的平均值。

最优噪声方差确定器270然后识别帧的最优噪声方差。基于由噪声协方差组件240建立的条件，均匀块的空间噪声方差与转换的时间噪声方差之间的差对于实际最大噪声功率应该是恒定值v。因此，两个函数P_s(x)和P_t(x)上的从0到v的每个对应点之间的距离预期是固定的。这表示(P_s(x)-P_t(x))在从0到v的点上的方差应接近零。对于y＝0至x，平均函数可以被限定成E(x)＝平均(P_s(y)-P_t(y))，且方差函数被限定成V(x)＝Var(P_s(y)-P_t(y))。在此，E(x)确定噪声功率x处的估计的噪声协方差

随后，最优噪声方差确定器270可以识别实际噪声功率(方差)v(在本文中称作最优帧噪声方差)，以使得v：

(1)小于V(x)上的绝对最大值，

(2)是P_s(x)与(P_t(x)+(x))之间的交点；并且

(3)V(v)接近零(例如，应小于绝对最大值处V(x)的阈值百分比；例如，小于绝对最大值处V(x)的5％)。

在确定视频的每个帧的最优帧噪声方差之后，最优噪声方差确定器270可以识别视频的最优最大噪声功率(在本文中也称作最优视频噪声方差)。在一个实施方案中，最优视频噪声方差是确定的视频的帧中的每个帧的所有最优帧噪声方差的中值。

使用视频的最优视频噪声方差，均匀块识别器280可以选择空间方差小于最优视频噪声方差的那些块作为均匀块。可以将所识别的均匀块用于视频的噪声信号估计。

在一个实施方案中，每个帧的最优帧噪声方差以及视频的最优视频噪声方差可以作为噪声估计数据291存储在数据存储106中。上面所描述的由噪声估计组件140执行的噪声估计过程可以被用来估计由不同的视频捕获设备所捕获的视频集合的噪声(例如，作为数据存储106的媒体项目数据290来存储)。每个类型的视频捕获设备可以具有唯一的噪声特征和/或唯一的噪声模型。所述设备类型噪声模型组件290可以对存储的噪声估计数据291进行分析，以为每个类型的视频捕获设备提取并生成噪声模型。随后，针对每个类型的视频捕获设备的设备噪声模型可用于针对由特定视频捕获设备所上传的视频而应用的视频处理应用(例如，去噪)。

图3是说明根据本公开的一些实施方案的用于视频的相互噪声估计的方法300的流程图。方法300可以由处理逻辑执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行以执行硬件模拟的指令)或它们的组合。

为了简化解释，本公开的方法被示出和描述成一系列动作。然而，根据本公开的动作可以按照各种次序和/或同时发生，且其它动作未在本文中呈现和描述。另外，并非所有示出的动作都可能需要实现根据所公开的主题的方法。另外，本领域技术人员应理解和了解，所述方法可选地可以经由状态图或事件表示为一系列相互关联的状态。另外，应了解，本说明书中所公开的方法能够存储在制品上以便于将所述方法传输和转移至计算设备。如本文所使用的术语“制品”意在涵盖从任何计算机可读设备或存储介质可访问的计算机程序。在一个实施方案中，方法300可以由噪声估计组件140来执行，如图2中所示。

方法300在框310处开始，其中基于帧中的均匀块的空间方差与时间方差之间的确定的关系而确定针对视频的每个帧的最优帧噪声方差值。然后，在框320处，基于视频的最优帧噪声方差而识别视频的最优视频噪声方差。最优帧噪声方差是如上所述在框310处确定的那些方差。在一个实施方案中，最优视频噪声方差是视频中的帧的最优帧噪声方差的中值。

随后，在框330处，为视频的每个帧选择具有小于最优视频噪声方差的空间方差的块。在一个实施方案中，这些选定的块被视为是视频的均匀块。最后，在框340处，将选定的均匀块用来估计视频的噪声信号。在一个实施方案中，估计的噪声信号在视频的处理的过程中使用。仅举几个例子来说，所述处理可以包括但不限于视频压缩、分割、格式转换、运动估计、去噪和/或滤波。

图4是说明根据本公开的实施方案的用于视频的相互噪声估计的另一方法400的流程图。方法400可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行以执行硬件模拟的指令)或它们的组合。在一个实施方案中，方法400可以由噪声估计组件140执行，如图2中所示。

方法400在框410处开始，其中将视频的帧划分成同等大小的像素块。在一个实施方案中，所述块是半重叠的块。在框420处，针对每个块计算该块的强度的空间方差。然后，在框430处，针对每个块计算该块的强度的时间方差。在一个实施方案中，在帧之前和之后确定数目的帧被用于计算块的时间方差。

随后，在框440处，针对每个帧，对所述帧的块的时间方差进行转换。在一个实施方案中，基于空间方差与时间方差之间的配置的关系以及基于帧中的均匀块存在为零的协方差值的假设而对时间方差进行转换。

在框450处，针对每个帧，应用第一函数来提供空间方差的平均值。对于从0到最大方差的方差值范围，针对具有小于方差值‘x’的空间方差的块计算空间方差的平均值。最大方差是在框420和430中计算的空间方差和时间方差的集合的并集之上。

在框460处，为每个帧应用第二函数以提供来自框440的经转换的时间方差的平均值。对于从0到最大方差的方差值范围，针对具有小于方差值‘x’的经转换的时间方差的块计算经转换的时间方差的平均值。最大方差是在框420和430中计算的空间方差和时间方差的集合的并集之上。

随后，在框470处，基于应用的第一函数和应用的第二函数的交集而识别有关每个帧的最优帧噪声方差。在一个实施方案中，交集点小于绝对最大值V(x)，其中V(x)是第一函数与第二函数之间的差的方差。最后，在框480处，有关视频的最优视频噪声方差被识别为视频的帧的所识别的最优帧噪声方差的中值(如在框470中所识别)。

在一个实施方案中，最优视频噪声方差可以被用来选择视频中的均匀块，并且估计有关视频的噪声信号，其中噪声信号在视频的处理中使用。在一个实施方案中，仅举几个例子来说，所述处理可以包括但不限于视频压缩、分割、格式转换、运动估计、去噪和/或滤波。

图5是说明根据本公开的实施方案的使用对视频的相互噪声估计为视频捕获设备生成噪声模型的方法500的流程图。方法500可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行以执行硬件模拟的指令)或它们的组合。在一个实施方案中，方法500可以由噪声估计组件140执行，如图2中所示。

方法500在框510处开始，其中为有关与确定类型的视频捕获设备相对应的视频集合中的每个视频确定了最优视频噪声方差。在一个实施方案中，所述最优视频噪声方差是基于视频的帧的最优帧噪声方差的中值。所述最优帧噪声方差基于帧中的每个的块的空间方差与时间方差之间的确定的关系。

在框520处，基于视频的所述识别的最优视频噪声方差生成了与确定类型的视频捕获设备相对应的噪声模型。随后，在框530处，存储了所述确定类型的视频捕获设备的噪声模型。最后，在框540处，应用所述存储的噪声模型来对被指示为由确定类型的视频捕获设备所捕获的上传视频去噪。

图6说明呈计算机系统600的示例性形式的机器的图解表示，可以在所述计算机系统600内执行用于致使所述机器来执行本文所讨论的方法论中的任何一个或多个的指令集合。在可选实施方案中，机器可以使用局域网(LAN)、内联网、外联网或互联网连接(例如，网络连接)至其它机器。所述机器可以在客户端-服务器网络环境中以服务器或客户端机器的能力操作，或作为对等(或分布式)网络环境中的对等机器操作。所述机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web设备、服务器、网络路由器、交换机或桥接器或者能够执行指定将由该机器所采取的动作的指令集(顺序或其它)的任何机器。

另外，虽然说明了仅单个机器，但是术语“机器”也应被认为包括单独或联合执行一个(或多个)指令集以执行本文所讨论的方法论中的任何一个或多个的机器的任何集合。在一个实施方案中，计算机系统600可以表示诸如服务器设备102等执行噪声估计组件140的服务器设备，如相对于图1和图2所描述。在另一实施方案中，计算机系统600可以表示诸如客户端设备110A至110Z等客户端设备。

示例性计算机系统600包括经由总线630相互通信的处理设备602、主存储器604(例如，只读存储器(ROM))、快闪存储器、动态随机存取存储器(DRAM)(诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)等)、静态存储器606(例如，快闪存储器、静态随机存取存储器(SRAM)等)和数据存储618。通过本文所描述的各种总线提供的信号中的任一个可以与其它信号时分复用并通过一个或多个公共总线提供。另外，电路组件或块之间的互连可以被示出为总线或单个信号线。所述总线中的每个可以可选地是一个或多个单个信号线，并且所述单个信号线中的每个可以可选地是总线。

处理设备602表示诸如微处理器、中央处理单元等的一个或多个通用处理设备。更确切地说，所述处理设备可以是复杂指令集计算(CISC)微处理器、精简指令集计算机(RISC)微处理器、超长指令字(VLIW)微处理器或实现其它指令集的处理器或实现指令集的组合的处理器。处理设备602还可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理设备602被配置来执行处理逻辑626，以便执行本文所讨论的操作和步骤。

计算机系统600还可以包括网络接口设备608。计算机系统600还可以包括视频显示单元(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入设备612(例如，键盘)、光标控制设备614(例如，鼠标)和信号生成设备616(例如，扬声器)。

数据存储618可以包括计算机可读存储介质628(也称作机器可读存储介质)，上面存储有体现为本文所描述的功能方法论中的任何一个或多个的一个或多个指令集622(例如，软件)。所述指令622在被计算机系统600的执行期间还可以完全或至少部分驻留在主存储器604内和/或处理设备602内；所述主存储器604和处理设备602还构成机器可读存储介质。所述指令622还可以经由网络接口设备608通过网络620进行传输或接收。

计算机可读存储介质628还可以被用来存储指令，以执行如本文所描述的用于视频的相互噪声估计的方法。虽然计算机可读存储介质628在示例性实施方案中被示出为单个介质，术语“机器可读存储介质”应被理解成包括存储一个或多个指令集合的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓冲存储器和服务器)。机器可读介质包括用于存储呈由机器(例如，计算机)可读的形式(例如，软件、处理应用)的信息的任何机制。机器可读介质可以包括但不限于磁性存储介质(例如，软盘)；光学存储介质(例如，CD-ROM)；磁光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；快闪存储器；或适合于存储电子指令的另一类型的介质。

前述描述阐述了诸如特定系统、组件、方法等的示例的各种特定细节，以便提供对本公开的几个实施方案的很好理解。然而，对于本领域技术人员应显而易见的是，可以在没有这些特定细节的情况下实践本公开的至少一些实施方案。在其它实例中，没有详细描述也没有以简单的框图格式来呈现公知的组件或方法，以避免不必要地模糊本公开。因此，所阐述的特定细节仅是示例性的。特定实施方案可以与这些示例性细节不同，并且仍然被认为是在本公开的范围内。

贯穿本说明书对“一个实施方案”或“实施方案”的引用表示结合该实施方案所描述的特定特性、结构或特征包括在至少一个实施方案中。因此，在本说明书各处出现的短语“在一个实施方案中”或“在实施方案中”不一定都指的是相同的实施方案。另外，术语“或者”意在表示包含性的“或”而不是排他性的“或”。

虽然以特定的顺序示出和描述了本文的方法的操作，但是可以改变每个方法的操作顺序，以使得某些操作可以以相反的顺序执行，或者以使得可以至少部分与其它操作同时执行某些操作。在另一实施方案中，不同操作的指令或子操作可以是间歇和/或交替的方式。

Claims (20)

1.一种方法，包括：

通过处理设备确定视频的帧中的每个帧的强度值的最优帧噪声方差，所述最优帧噪声方差是基于所述帧中的均匀块的所述强度值的空间方差与时间方差之间的所确定的关系；

基于所述视频的所述帧的最优帧噪声方差而识别所述视频的最优视频噪声方差；

针对所述视频的每个帧，选择所述块中具有小于所述最优视频噪声方差的空间方差的一个或多个块，一个或多个所选择的块被标记为所述均匀块；以及

通过所述处理设备，利用所选择的均匀块来估计所述视频的噪声信号。

2.根据权利要求1所述的方法，其中所述块中的每个块包括所述帧的N x N个像素，其中N是正数。

3.根据权利要求2所述的方法，其中所述块中的每个块是至少半重叠的。

4.根据权利要求1至3中任一项所述的方法，所述方法还包括：使用所述视频的所估计的噪声信号对所述视频进行处理，其中对所述视频的处理包括：视频压缩、分割、格式转换、运动估计、去噪或滤波中的一个或多个。

5.根据权利要求1所述的方法，其中确定每个帧的所述最优帧噪声方差包括：

计算所述帧中的每个块的所述空间方差；

计算所述帧中的每个块的所述时间方差；

基于所述空间方差与所述时间方差之间的所确定的关系以及基于所述均匀块之间的噪声协方差是恒定值的这一假设，将所述帧的所述块的所述时间方差中的每个时间方差转换成相应的经转换的时间方差；

将第一函数应用于所述帧中的所述空间方差，所述第一函数针对所述帧中具有小于方差值范围中的方差值‘x’的空间方差的所述块提供所述空间方差的平均值；

将第二函数应用于所述帧中的所述经转换的时间方差，所述第二函数针对所述帧中具有小于所述方差值范围中的所述方差值‘x’的经转换的时间方差的所述块提供所述经转换的时间方差的平均值；以及

基于所应用的第一函数和所应用的第二函数的交集而选择所述帧的所述最优帧噪声方差值。

6.根据权利要求5所述的方法，其中所述时间方差利用位于所述帧之前和之后的所确定数目的帧。

7.根据权利要求5或6所述的方法，其中所述方差值范围包括从零到最大方差的方差值，所述最大方差是在所述帧的所述空间方差和所述时间方差的集合的并集之上。

8.根据权利要求7所述的方法，其中所述交集小于V(x)的绝对最大值，其中V(x)表示在方差值x处所应用的第一函数与所应用的第二函数之间的差的方差。

9.根据任一前述权利要求所述的方法，其中每个帧的所述强度值包括所述帧中的像素的数值，所述数值与所述像素的灰度级值相对应。

10.根据任一前述权利要求所述的方法，其中每个帧的所述强度值包括所述帧中的像素的数值，所述数值与所述像素的色彩通道值相对应。

11.根据任一前述权利要求所述的方法，其中所述最优视频噪声方差是所述视频集合中的所述帧的最优帧噪声方差的中值。

12.一种存储指令的计算机程序产品，所述指令当被执行时致使处理设备执行操作，所述操作包括：

计算视频的帧中的每个块的强度值的空间方差；

计算所述帧中的每个块的所述强度值的时间方差；

基于所述空间方差与所述时间方差之间的所确定的关系以及基于所述视频中的均匀块之间的噪声协方差是恒定值的这一假设，将所述帧的所述块的所述时间方差中的每个时间方差转换成经转换的时间方差；

将第一函数应用于所述帧中的所述空间方差，所述第一函数针对所述帧中具有小于方差值范围中的方差值‘x’的空间方差值的所述块提供所述空间方差的平均值；

将第二函数应用于所述帧中的所述经转换的时间方差，所述第二函数针对所述帧中具有小于所述方差值范围中的方差值‘x’的经转换的时间方差值的所述块提供所述经转换的时间方差的平均值；以及

基于所应用的第一函数和所应用的第二函数的交集而选择所述帧的最优帧噪声方差值。

13.根据权利要求12所述的计算机程序产品，其中所述操作还包括：

识别所述视频的最优视频噪声方差，所述最优视频噪声方差包括所述视频的所述帧的所述最优帧噪声方差的中值；

针对所述视频的每个帧，选择所述块中具有小于所述最优视频噪声方差的空间方差的一个或多个块，一个或多个所选择的块被标记为均匀块；以及

通过所述处理设备利用所述均匀块来估计所述视频的噪声信号。

14.根据权利要求13所述的计算机程序产品，其中所述操作还包括：使用所述视频的所述估计的噪声信号对所述视频进行处理，其中对所述视频的处理包括：视频压缩、分割、格式转换、运动估计、去噪或滤波中的一个或多个。

15.根据权利要求12至14中任一项所述的计算机程序产品，其中所述时间方差利用位于所述帧的之前和之后的所确定数目的帧，并且其中使用运动补偿过程来确定所述时间方差。

16.根据权利要求12至15中任一项所述的计算机程序产品，其中所述方差值范围包括从零到最大方差的方差值，所述最大方差是在所述帧的所述空间方差和所述时间方差的集合的并集之上。

17.一种系统，包括：

存储器；以及

耦接至所述存储器的处理设备，其中所述处理设备用来：

识别与所确定类型的视频捕获设备相对应的视频集合中的每个视频的最优视频噪声方差，其中所述最优视频噪声方差是基于所述视频集合的所述帧中的每个帧中的均匀块的空间方差与时间方差之间的所确定的关系；

基于所识别的最优视频噪声方差而生成与所确定类型的视频捕获设备相对应的噪声模型；

存储所确定类型的视频捕获设备的所述噪声模型；以及

应用所存储的噪声模型，以对被指示为由所确定类型的视频捕获设备所捕获的上传视频进行去噪。

18.根据权利要求17所述的系统，其中针对所述视频集合的所述帧中的每个帧的像素的强度值计算所述方差，其中所述强度值包括所述帧中的所述像素中的每个像素的数值，所述数值与所述像素的灰度级值或所述像素的色彩通道值中的至少一个相对应。

19.根据权利要求17至18中任一项所述的系统，其中所述最优视频噪声方差是所述视频集合的所述帧的最优帧噪声方差的中值。

20.根据权利要求19所述的系统，其中所述处理设备被配置来通过以下方式识别每个帧的所述最优帧噪声方差：

计算所述帧中的每个块的所述空间方差；

计算所述帧中的每个块的所述时间方差；

基于所述均匀块的所述空间方差与所述时间方差之间的所确定的关系以及基于所述均匀块之间的噪声协方差是恒定值的这一假设，将所述帧的所述块的所述时间方差中的每个时间方差转换成经转换的时间方差；

将第一函数应用于所述帧中的所述空间方差，所述第一函数针对所述帧中具有小于方差值范围中的方差值‘x’的空间方差的所述块提供所述空间方差的平均值；

将第二函数应用于所述帧中的所述经转换的时间方差，所述第一函数针对所述帧中具有小于所述方差值范围中的方差值‘x’的经转换的时间方差的所述块提供所述经转换的时间方差的平均值；以及

基于所应用的第一函数和所应用的第二函数的交集而选择所述帧的所述最优帧噪声方差值。