CN104685538B - 用于降低视频流中的噪声的系统和方法 - Google Patents

用于降低视频流中的噪声的系统和方法 Download PDF

Info

Publication number
CN104685538B
CN104685538B CN201380048520.3A CN201380048520A CN104685538B CN 104685538 B CN104685538 B CN 104685538B CN 201380048520 A CN201380048520 A CN 201380048520A CN 104685538 B CN104685538 B CN 104685538B
Authority
CN
China
Prior art keywords
pixel
noise reduction
present frame
spatial domain
domain noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380048520.3A
Other languages
English (en)
Other versions
CN104685538A (zh
Inventor
亚伦·德巴蒂斯塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seed Hundred Million Co Ltd
Original Assignee
Seed Hundred Million Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seed Hundred Million Co Ltd filed Critical Seed Hundred Million Co Ltd
Publication of CN104685538A publication Critical patent/CN104685538A/zh
Application granted granted Critical
Publication of CN104685538B publication Critical patent/CN104685538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/908—Convertible circuits, e.g. y/c separation or noise reduction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/909—Noise responsive signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Computing Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了用于对相机的视频流进行降噪的装置和方法。视频流的当前帧和该视频流中此前经过空域降噪和时域降噪的时间上相邻的帧被获取。当前帧先经过空域降噪，同时保留在此当前帧中的边缘以为该当前帧生成多个经空域降噪的像素。其后，基于来自当前帧的具体像素所关联的经空域降噪的像素和来自时间上相邻的帧的已经空域降噪和时域降噪的多个像素的加权平均，该当前帧的具体像素被空域降噪和时域降噪。

Description

用于降低视频流中的噪声的系统和方法
技术领域
本发明一般涉及降低视频流中的噪声。更加具体地，本发明涉及降低通过手持相机(camera)获取的视频流中的噪声。
背景技术
在过去的几十年中，相机传感器的视频降噪(denoise)已经成为进行了诸多研究和开发工作的领域。噪声是很多传感器中存在的严重问题，特别是当在低照明条件下或在变化的光照条件下拍摄时。另外，其他视频处理算法的正确性能通常需要噪声降低。在视频编码中，视频降噪可能导致比特流大小的降低，这是通过编码器单元中特定模块的增加性能(例如，运动估计算法)等来实现的。图像、视频和计算机视觉算法(例如，跟踪和检测)的性能还可能依赖于信号中噪声水平。
因此，提供用于视频降噪的改进的方法和装置将是有益的。
发明内容
下面的部分呈现了本公开的简要综述以便于提供对本发明的某些实施例的基本的理解。此综述不是本公开的广泛的概述，并且其未突出本发明的关键/决定性的要素或描述出本发明的范围。其唯一目的在于作为稍后所呈现的更加详细的说明书的前序，以简要的形式介绍本文所公开的一些概念。
在一个实施例中公开了一种对相机的视频流进行降噪的方法。视频流的当前帧和该视频流中此前已经过空域降噪和时域降噪的时间上相邻的帧被获取。当前帧被进行空域降噪，同时保留此当前帧中的边缘以为该当前帧生成多个经空域降噪的像素。在当前帧经空域降噪之后，基于来自该当前帧的具体像素所关联的经空域降噪的像素和来自时间上相邻的帧的经空域降噪和时域降噪的像素的加权平均，该当前帧的该具体像素被进行空域降噪和时域降噪。
在具体的实施例中，对当前帧进行空域降噪包括：基于围绕当前帧的每个像素的区域内的多个近邻像素对这样的每个像素应用双边滤波技术。在进一步的方面，当前帧的正被降噪的每个像素和它的近邻像素包括包围此正被降噪的像素的3乘3网格的像素。在另一方面，双边滤波技术包括向每一个近邻像素提供与欧式距离和色差均成反比的权重。
在又一实施例中，来自时间上相邻的帧的多个像素包括处在对应于具体像素和近邻像素的位置的像素。在一替代方面，来自时间上相邻的帧的多个像素还包括处在接近对应于具体像素和近邻像素的位置的位置处的内插像素。在又一特征中，具体像素所关联的经空域降噪的像素的权重具有的值为1。
在另一实施例中，本发明涉及一种相机，该相机包括用于检测光和生成视频流的检测模块以及一个或多个可操作用于执行一个或多个上述方法实施例的一个或多个处理器和存储器。在另一实施例中，本发明涉及至少一个计算机可读存储介质，其中该介质具有被存储在其上的计算机程序指令，该指令被安排用于执行一个或多个上述操作。
在下面对本发明的某些实施例的说明以及附图中将更加详细地介绍本发明的这些和其他特征，其中这些说明和附图通过示例的方式示出了本发明的原理。
附图说明
图1是示出了根据一个示例实施方式对视频流进行降噪的过程的流程图；
图2示出了包括被多个黑色像素围绕的白色孤立像素的帧；
图3示出了位于黑色列的像素和白色列的像素之间的白色孤立像素；
图4示出了根据本发明的具体实施方式的可分离双边滤波处理；
图5示出了根据一个实施例通过时域降噪对图4中的双边滤波处理的扩展；
图6是通过使用常数C的不同值作为色差的函数的颜色加权系数的曲线图；
图7是适用于实现本发明的实施例的典型的相机系统的框图；
图8示出了根据另一实施例的通过使用内插像素进行的时域降噪对图4中的双边滤波处理的扩展。
具体实施方式
在下面的说明中提出了许多具体细节以便于提供对本发明的深入理解。本发明可以在不具有部分或全部这些具体细节的情况下被实施。在其他实例中，众所周知的处理操作未被详细描述以不会不必要地模糊本发明。尽管将结合具体实施例来描述本发明，应当理解的是这不意图将本发明限制于这些实施例。
降噪技术的某些实施例在本文中是就对所采集的视频流实施SIMD(单指令(single instruction)、多数据(multiple data))处理的相机来描述的。不过，诸如顺序处理、多指令/多数据(MIMD)处理、流处理(SIMD或MIMD)等等其他处理器架构也可被使用。此外，当视频流被相机采集时，降噪技术可被使用在实时视频流上，或是在视频流被上传至任何适当的处理器(例如，服务器或台式计算机)之后，该降噪技术可被应用于这种流。
低成本相机对于对所采集的视频流实时执行降噪操作通常具有有限的处理资源。一般来说，如本文进一步所描述的，本发明的某些实施例包括以最低计算要求实时从视频流有效地去除或最小化噪声的降噪技术(例如，以每秒24帧或更高的速率进行降噪)。在某些实施例中，通过基于来自当前帧和一个或多个时间相邻的帧的周围像素的子集的欧式距离和颜色距离来实施加权平均，时域滤波被被集成到空域滤波方法中。
图1是示出了根据一个示例实施方式的用于对视频流进行降噪的过程100的流程图。一般来说，通过使用时间路径中的一个或多个在前帧和/或前向帧对当前帧ft进行降噪。尽管可以使用单个在前帧，但是也可使用多个在前帧或前向帧以占用更长的时间路径。此外，来自每一帧的各个像素可被顺序处理，或来自一个或多个帧的多个像素可被并行处理。为了简单起见，单个在前帧ft-1被用于说明对当前帧ft的每个像素进行的降噪处理。
如图1所示，在操作102中获取视频流。然后，在操作104中获取来自视频流的第一帧ft。例如，实时视频流从传感器到一个或多个缓冲器的传送被发起。视频流可被缓冲，从而具体的帧很容易被得到并被用于降噪。视频流还可从存储设备被处理以便从该存储设备读取具体的帧。
其后，在操作106中可首先对当前帧ft的每个像素应用空域降噪。任何适当的空域滤波技术均可被用在当前帧的每个像素上。空域滤波技术能够被应用于任何数量的颜色空间。在一个实施例中，空域滤波被应用于BT.601全范围YCbCr视频信号。另外，空域滤波可被分别应用于每条通道，或者容易推断空域滤波可被同时应用于三条通道。
如果使用不保留边缘的空域滤波技术，则作为降噪处理的结果可能会出现模糊。图2示出了包括被多个黑色像素202围绕的白色孤立像素204的当前帧200。如果对当前帧使用简单平均技术，则白色孤立像素将被变为与黑色接近的颜色，这是由于周围像素的平均像素颜色为黑色。
尽管简单平均对于同质帧可能很有用，但是此技术对于边缘像素来说不好用。图3示出了位于黑色列的像素302和白色列的像素306之间的白色孤立像素304。如果使用平均技术，则孤立像素被降噪为不正确的肉色，这导致了沿着边缘的平滑效果。
双边滤波通过对在欧氏距离上接近的并且辐射差较低(差在范围内，例如色彩强度)的具有较高权重的像素进行平均来保留边缘。在双边方法中，图像中每个像素处的强度值由来自附近像素的强度值的加权平均值代替。通常，双边技术可能需要大量资源以确定帧中每个像素的权重并计算出每个像素的最终平均值。
在一个实施例中，双边滤波器的可分离实施方式可以有效地被用于保留边缘。图4示出了根据本发明的具体实施方式的可分离双边滤波处理。通过使用可分离方法能够获得近似结果。首先，可围绕每个待被降噪的像素来构建支持域。在所示示例中，在每个待被降噪的像素周围使用3乘3网格的像素。
尽管双边滤波器被配置成非线性的，可分离的近似法在计算上更加高效，并且提供了对于空域滤波操作的很好的近似。下面是对当前帧的局部自适应双边滤波器操作的一个示例。
可分离双边滤波器能够如下被应用。等式1可被应用于原始噪声帧以获取中间水平滤波图像。
(等式1)
然后，等式2可被应用于此操作的输出以产生最终经空域降噪的图像。
(等式2)
因此，该两阶段步骤将水平和垂直方向的卷积步骤包含在分离的卷积运算中。当然，像素可以先在垂直方向上被降噪，然后在水平方向上被降噪。需要注意的是上面等式中的角标遵循图4中的图示。
函数f(x)可以基于正被加权的像素到正被降噪的像素的欧氏距离。例如，此权重可以基于高斯分布，其中像素在欧氏距离上增大导致该像素权重降低。函数f(x)是静态的，这是因为从当前像素到每一个相邻像素(例如，顶部中心像素、底部中心像素)的距离保持不变。唯一用以控制的值是西格玛(sigma)值，例如，高斯分布的方差。此值越高，则高斯曲线越宽，这导致了存在于远离感兴趣的像素的像素具有更高的权重。在高西格玛值的情况下，还取决于内核的大小，高斯曲线收敛于框型滤波器，这可以是在实时应用中的一种可替代的解决方案。
函数g(d)可以基于正被加权的像素和正被降噪的像素之间的色差。因此，通过向相邻像素分配空间自适应权重，此函数能够导致清晰边缘和复杂纹理的保留。在一个实施例中，下面的等式3可被用于函数g(d)。
(等式3)
其中d为色差，并且其可被定义如下：
d＝|Nx，y-Nx-n，y-m| (等式4)
大色差将导致较低权重，而小色差将导致较高权重。例如，最大色差(黑对白)可导致0权重值，而最小色差(相同颜色)可导致最大权重1。
常数C可以是控制权重曲线的适应值。较低的C值导致总体较低的权重，而较高的C值导致总体较高的权重。一般来说，C可被选择，以控制求平均处理对于把与当前像素相比具有高色差的像素包括进来是如何包括的。换句话说，较高的C值将使更多的与当前像素相比具有高色差的像素被包括在求平均处理中，这是通过向它们分配较高的权重来实现的。图6示出了作为不同的C值的函数的权重值响应。
即使没有LUT(查找表)的直接支持，函数g(d)也能够被有效地实现。针对每一个正被加权的像素，对上面的等式3进行求值。对于3×3网格(不可分离的)来说，这意味着等式3将“针对每个像素被求值八次(当中心像素将明显地具有隐含值1时，该中心像素被跳过，这是由于此像素实际上将是正被降噪的像素)”。对每个像素的求值可在三个时钟周期内被完成：一个周期用于平方运算；一个周期用于求和；以及一个周期用于除法。除法运算能够通过使用1周期8比特浮点除法来执行。
返回去参考图1所示的降噪过程，其后，可以在操作108中确定当前帧是否为第一帧。此确定步骤可被用于确定是否不存在已经过空域降噪和/或时域降噪的在前帧(或前向帧)。如果当前帧为第一帧，则在操作116中，空白帧可被定义为在前帧。或者，仅空域降噪被应用于当前帧，而不实施时域降噪。例如，操作110和112被跳过。
如果当前帧不是(待被降噪的)第一帧，则可以在操作110中获取一个或多个时间上相邻的帧，这些时间上相邻的帧已经过空域降噪和时域降噪。然后，可以在操作112中，通过使用此一个或多个时间上相邻的帧(或空白帧)的经降噪的像素，对当前帧中相应的每一个像素应用时域降噪。如果使用了空白帧，则对于图像区域有效地忽略了该空白帧，这是由于该空白帧所对应的像素将与当前帧明显不同。出现这一结果是由于在某种程度上，时域滤波器遵从与空域滤波器相同的规则。
之前经空域滤波和时域滤波的一个或多个帧能够被用作参考。在具体实施方式中，基于单个在前帧的为当前帧确定最终降噪像素(DNx，y，t)的时域滤波操作为：
(等式5)
当前经空域降噪的像素Sx，y，t可被给定权重1以便于避免运动模糊并且保持帧之间的运动。在一个实施例中，来自一个或多个时间上相邻的帧的全部9个像素与当前经空域降噪的像素在一起被平均。
图5示出了根据一个实施例的利用时域降噪对图4中的双边滤波处理的扩展。如所示，当前像素与来自(一个或多个)在前帧的像素被平均。实际上，运动估计被包括在时域双边滤波器中以便于保留运动效果，这是由于更多的与时间上相邻的帧被相似着色并在物理上接近的像素被赋予更高的权重。此技术能够在不经过单独配准处理的情况下被执行，从而移动的对象与相邻帧对齐。
换句话说，由于通过使用如上所述预定义的规则沿着全部运动估计路径对像素进行加权，因而上述扩展不需要运动估计步骤。因此，仅在颜色距离上接近的像素将被加权。例如，通过此处所述的自适应时域加权技术，最接近Sx，y，t的原始位置的在前帧ft-1像素将被赋予较高的权重。因此，运动补偿步骤已被有效地集成到降噪操作中。
空域滤波能够显著降低帧间方差。在应用时域步骤之前，空域步骤能够运作以使像素平滑并且使连续帧在方差上更接近。如果在不应用空域步骤的情况下应用时域步骤，则相较于来自帧ft-1的参考像素，当前帧ft中的噪声像素将是孤立像素，这使得降噪处理无用。
图4所示的过程可被应用于视频流中所有的帧。因此，其后在操作114中可确定是否存在更多的帧。如果存在更多的帧，则对下一帧重复降噪过程(例如，操作104)。如果不存在更多要处理的帧，则降噪处理结束。
除了实际像素值或作为实际像素值的替代，插值强度值能够被用在时域滤波处理中，这将给出改进的结果。也就是说，在空域和时域滤波中所使用的值可将在正被加权的像素之间的亚像素插值包括进来。有时，N×N滤波器可能太积极(aggressive)以至于不能采集运动。因此，在双线性网格上正被降噪的像素周围的插值值可被包括在降噪处理中。
图8示出了插值处理的一个示例。图8中的黑色圆形像素示出了与图5中所示的像素相同的像素。三角形表示插值像素。在此示例中能够使用17个像素以实际参与滤波处理。图8示出了用于3×3内核的来自参考帧ft-1的常规像素和插值像素。
插值像素可以通过使用任何适当的技术来计算。例如，对角线插值像素可以被设置成等权重的四个周围像素的平均值，而垂直或水平插值像素可以从两个相对相邻的像素中被导出。
本文所描述的滤波技术的某些实施例具有许多关联优势。在场景变换时，某些算法实施例能够自动处理时间的不连续性，这是由于所有非相似时间像素将被加权等式g(d)排除。此方法去掉了对复杂的场景检测算法的需求。
某些滤波实施例能够允许手持设备以最低计算要求来实现高精度降噪。时空滤波器的有效实施方式能够以SIMD计算机架构为目标提供快速和并行的实施方式，同时最小化理论计算复杂度和存储带宽。某些滤波器实施例能够在不引入任何运动模糊的情况下处理由慢至快的运动。在实践中，本文所述的方法在能够实现改进的降噪速度和图像大小的缩放，能够针对各种图像分辨率实现实时性能。某些系统实施例能够处理在典型相机传感器上所采集的视频上发现的现实世界的噪声。此外，不需要配准和对齐。
本发明所公开的技术能够以任何适当的诸如手持相机、移动设备或通用计算机系统之类的软件和/或硬件系统的组合来实施。另外，实施本发明的各种实施例的系统可以采用诸如平板电脑或手机之类的具有相机的便携式设备的形式。本发明的装置可以是为了实时实施本发明的技术而被专门构造的，或者也可以是通过存储在其中的计算机程序和/或数据结构来配置的通用计算机。
图7是适于实施本发明的实施例的典型相机系统700的框图。系统700可包括用于检测光和生成视频流的任意数量和任意类型的检测组件或模块701。在所示示例中，系统700包括用于接收光以采集视频的一个或多个镜头702。快门和对焦模块716可被配置成为一个或多个镜头702控制对焦和快门速度。系统还可包括用于从镜头702接收光并生成一个或多个检测信号的一个或多个传感器704(例如，CCD)。模拟数字转换器(ADC)706可被安排用于接收来自传感器704的一个或多个检测信号并生成数字信号以形成视频流。
系统700可包括任意数量的处理器708(也被称为中央处理单元或CPU)，该处理器708处理由ADC 706输出的数字信号。诸如ISP(图像信号处理器)或DSP(数字信号处理器)之类的更多的专门单元可被额外使用或被替代使用。一个或多个处理器708可对在相机内采集的视频流实施SIMD(单指令，多数据)处理。然而，其他处理器架构，诸如顺序处理、多指令/多数据(MIMD)处理、流处理(SIMD或MIMD)等等也可被使用。
CPU 708可与一个或多个诸如存储器710(例如，随机存取存储器或RAM以及只读存储器或ROM)的存储设备耦合。CPU 708可能是各种类型，包括诸如可编程设备的微控制器或微处理器以及诸如门阵列ASIC或通用微处理器等不可编程设备(例如，CPLD和FPGA)。正如本领域所公知的，数据和指令可在存储器710和CPU 708之间被单向或双向传输。存储器710可包括任意适当数量和类型的诸如本文所述的那些计算机可读介质。可移除存储设备712也可被双向地耦合至CPU 708并提供附加的数据存储容量，并且可以包括本文所述的任何计算机可读介质。便携式存储设备712可被用于将视频和图像数据以任何适当的格式存储在，例如，可移除的非易失性存储卡或存储棒上。便携式存储设备712还可单向地向CPU传递数据。
CPU 708还可被耦合至接口714，接口714连接到一个或多个输入/输出设备(诸如，视频监视器或显示器、跟踪球、鼠标、键盘、麦克风、触摸感应显示器、换能器读卡器、磁带记录器或纸带记录器、平板电脑、触控笔、语音识别器或手写识别器，或其他众所周知的输入设备，诸如其他计算机)。最后，CPU 708可选择地可通过使用一般如714处所示的外部连接被耦合至诸如数据库或计算机之类的外部设备或通信网络。CPU 708还可与诸如显示器718之类的任何其他适当的外围设备相耦合。系统可包括任意数量和类型的电源或接口720。
无论系统的配置(例如，客户端或服务器)如何，它可使用一个或多个被配置成存储用于一般处理操作和/或本文所述的有创造性的技术的数据、程序指令的存储器或存储模块。例如，程序指令可控制操作系统和/或一个或多个应用的操作。一个和多个存储器还可被配置成存储用于执行所公开的方法的指令、与所公开的方法相关联的待被显示的图形用户界面或任何其他显示特征等等。
因为这种信息和程序指令可被用于实施本文所述的系统/方法，本发明涉及包括用于执行本文所述的各种操作的程序指令、状态信息等等的机器或计算机可读存储介质。机器可读存储介质的示例包括，但不限制于磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD-ROM盘；磁光介质，诸如光盘；以及被专门配置成存储和执行程序指令的硬件设备，诸如ROM和RAM。程序指令的示例包括诸如由编译器产生的机器代码以及包含更高级代码的文档，其中该更高级代码可通过使用解释器由计算机来执行。
尽管出于理解清晰的目的已经描述了前述发明的一些细节，显而易见的是在所附权利要求的范围内可做出某些变化和修改。因此，所提供的实施例将被认为是说明性的而非限制性的，并且本发明不被限制于本文所给定的细节，而可在所附权利要求的范围及所附权利要求的等同物内被修改。

Claims (20)

1.一种用于对相机的视频流进行降噪的方法，所述方法包括：
获取所述相机的所述视频流的当前帧；
获取所述视频流的时间上相邻的帧，所述时间上相邻的帧此前已经过空域降噪和时域降噪；
对所述当前帧进行空域降噪，同时在此当前帧中保留边缘以针对所述当前帧生成多个经空域降噪的像素；以及
在所述当前帧经空域降噪后，基于来自所述当前帧的具体像素所关联的经空域降噪的像素和来自所述时间上相邻的帧的经空域降噪和时域降噪的多个像素的加权平均，对所述当前帧的所述具体像素进行时域降噪。
2.根据权利要求1所述的方法，其中对所述当前帧进行空域降噪包括：基于围绕所述当前帧的每个像素的区域内的多个近邻像素，对所述当前帧的每个像素应用双边滤波技术。
3.根据权利要求2所述的方法，其中所述当前帧的正被降噪的每个像素和它的近邻像素包括包围此正被降噪的像素的3乘3网格的像素。
4.根据权利要求2或3所述的方法，其中所述双边滤波技术包括向每个近邻像素提供与欧氏距离和色差二者均成反比的权重。
5.根据权利要求4所述的方法，其中来自所述时间上相邻的帧的所述多个像素包括处于对应于所述具体像素和所述近邻像素的位置的像素。
6.根据权利要求5所述的方法，其中来自所述时间上相邻的帧的所述多个像素还包括处于不对应所述具体像素和所述近邻像素的位置上内插像素。
7.根据权利要求5或6所述的方法，其中所述具体像素所关联的经空域降噪的像素的权重具有的值为1。
8.一种相机包括：
检测模块，该检测模块被配置为检测光并生成视频流；
一个或多个处理器和存储器，所述处理器和存储器可操作用于执行以下操作：
获取所述相机的所述视频流的当前帧；
获取所述视频流的时间上相邻的帧，其中所述时间上相邻的帧此前已经过空域降噪和时域降噪；
对所述当前帧进行空域降噪，同时在此当前帧中保留边缘以针对所述当前帧生成多个经空域降噪的像素；以及
在所述当前帧经空域降噪后，基于来自所述当前帧的具体像素所关联的经空域降噪的像素和来自所述时间上相邻的帧的经空域降噪和时域降噪的多个像素的加权平均，对所述当前帧的所述具体像素进行时域降噪。
9.根据权利要求8所述的相机，其中对所述当前帧进行空域降噪包括：基于围绕所述当前帧的每个像素的区域内的多个近邻像素，对所述当前帧的每个像素应用双边滤波技术。
10.根据权利要求9所述的相机，其中所述当前帧的正被降噪的每个像素和它的近邻像素包括包围着此正被降噪的像素的3乘3网格的像素。
11.根据权利要求9或10所述的相机，其中所述双边滤波技术包括为每个近邻像素提供与欧氏距离和色差二者均成反比的权重。
12.根据权利要求11所述的相机，其中所述来自时间上相邻的帧的所述多个像素包括处于对应于所述具体像素和所述近邻像素的位置的像素。
13.根据权利要求12所述的相机，其中所述来自时间上相邻的帧的所述多个像素还包括处于不对应于所述具体像素和所述近邻像素的位置的内插像素。
14.根据权利要求12或13所述的相机，其中所述具体像素所关联的经空域降噪像素的权重具有的值为1。
15.一种用于对相机的视频流进行降噪的设备，所述设备包括：
用于获取相机的视频流的当前帧的装置；
用于获取所述视频流的时间上相邻的帧的装置，其中所述时间上相邻的帧此前已经过空域降噪和时域降噪；
用于对所述当前帧进行空域降噪，同时在此当前帧中保留边缘以生成针对所述当前帧的多个经空域降噪的像素的装置；以及
用于在所述当前帧经空域降噪后，基于来自所述当前帧的具体像素所关联的经空域降噪的像素和来自所述时间上相邻的帧的经空域降噪和时域降噪的多个像素的加权平均，对所述当前帧的所述具体像素进行时域降噪的装置。
16.根据权利要求15所述的设备，其中对所述当前帧进行空域降噪包括：基于围绕所述当前帧的每个像素的区域内的多个近邻像素，对所述当前帧的每个像素应用双边滤波技术。
17.根据权利要求16所述的设备，其中所述双边滤波技术包括为每个近邻像素提供与欧氏距离和色差均成反比的权重。
18.根据权利要求17所述的设备，其中来自所述时间上相邻的帧的所述多个像素包括处于对应于所述具体像素和所述近邻像素的位置的像素。
19.根据权利要求18所述的设备，其中来自所述时间上相邻的帧的所述多个像素还包括处于不对应于所述具体像素和所述近邻像素的位置的内插像素。
20.根据权利要求18或19所述的设备，其中所述具体像素所关联的经空域降噪的像素的权重具有的值为1。
CN201380048520.3A 2012-09-19 2013-09-18 用于降低视频流中的噪声的系统和方法 Active CN104685538B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/622,977 2012-09-19
US13/622,977 US9041834B2 (en) 2012-09-19 2012-09-19 Systems and methods for reducing noise in video streams
PCT/GB2013/052435 WO2014045026A1 (en) 2012-09-19 2013-09-18 Systems and methods for reducing noise in video streams

Publications (2)

Publication Number Publication Date
CN104685538A CN104685538A (zh) 2015-06-03
CN104685538B true CN104685538B (zh) 2018-02-09

Family

ID=49237504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048520.3A Active CN104685538B (zh) 2012-09-19 2013-09-18 用于降低视频流中的噪声的系统和方法

Country Status (5)

Country Link
US (3) US9041834B2 (zh)
EP (1) EP2898473A1 (zh)
CN (1) CN104685538B (zh)
SG (1) SG11201501554YA (zh)
WO (1) WO2014045026A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
US9041834B2 (en) 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9767554B2 (en) 2015-02-19 2017-09-19 Sony Corporation Method and system for detection of surgical gauze during anatomical surgery
US20170024860A1 (en) * 2015-07-24 2017-01-26 Le Holdings (Beijing) Co., Ltd. Method and device for adaptive spatial-domain video denoising
CN106485678A (zh) * 2016-10-11 2017-03-08 东南大学 一种基于时空滤波的景深时空一致性及精度增强的方法
CN108259707A (zh) * 2016-12-29 2018-07-06 中国移动通信集团广东有限公司 视频图像实时去噪方法及装置
EP3352454B1 (en) * 2017-01-19 2019-01-02 Axis AB Method for fixed pattern noise reduction and use of such method
US10140689B2 (en) * 2017-01-20 2018-11-27 Sony Corporation Efficient path-based method for video denoising
CN107172322B (zh) * 2017-06-16 2020-02-18 北京飞识科技有限公司 一种视频降噪方法和装置
CN107959839B (zh) * 2017-11-27 2019-07-30 努比亚技术有限公司 一种白平衡调整的方法、终端及计算机可读存储介质
CN108765312B (zh) * 2018-04-27 2021-11-02 西安科技大学 一种基于方差信息的图像去噪方法
CN108960817B (zh) * 2018-07-11 2022-01-25 深圳市银联金融网络有限公司 基于电量检测的电子支付平台
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN112740265A (zh) * 2020-04-28 2021-04-30 深圳市大疆创新科技有限公司 红外图像降噪方法、装置及设备
CN114697621B (zh) * 2020-12-14 2024-06-18 安霸国际有限合伙企业 使用反指数函数优化的边缘保留噪声降低算法
US11798135B2 (en) * 2021-02-24 2023-10-24 Gn Audio A/S Method and system for three-dimensional noise reduction and contrast enhancement of images
CN112686828B (zh) * 2021-03-16 2021-07-02 腾讯科技（深圳）有限公司 视频去噪方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014240A (zh) * 2010-12-01 2011-04-13 深圳市蓝韵实业有限公司 一种实时医学视频图像去噪方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
ATE530015T1 (de) * 2005-01-18 2011-11-15 Lg Electronics Inc Anordnung zur entfernung von rauschen aus einem videosignal
US7783125B2 (en) * 2005-07-05 2010-08-24 Hewlett-Packard Development Company, L.P. Multi-resolution processing of digital signals
KR101298642B1 (ko) * 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US8411205B2 (en) * 2007-07-11 2013-04-02 Olympus Corporation Noise reducing image processing apparatus
US8207987B2 (en) * 2007-11-16 2012-06-26 Electronics And Telecommunications Research Institute Method and apparatus for producing digital cartoons
US8149336B2 (en) 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
US8081224B2 (en) 2008-05-07 2011-12-20 Aptina Imaging Corporation Method and apparatus for image stabilization using multiple image captures
US9105081B2 (en) * 2008-09-08 2015-08-11 Ati Technologies Ulc Protection filter for image and video processing
US20100086048A1 (en) * 2008-10-03 2010-04-08 Faisal Ishtiaq System and Method for Video Image Processing
JP4893758B2 (ja) 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5143038B2 (ja) 2009-02-02 2013-02-13 オリンパス株式会社 画像処理装置及び画像処理方法
US8767127B2 (en) 2009-04-17 2014-07-01 General Instrument Corporation System for reducing noise in video processing
US8564724B2 (en) * 2010-04-04 2013-10-22 Texas Instruments Incorporated Ghosting artifact reduction in temporal noise filtering
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
US9041834B2 (en) * 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014240A (zh) * 2010-12-01 2011-04-13 深圳市蓝韵实业有限公司 一种实时医学视频图像去噪方法

Also Published As

Publication number Publication date
US9041834B2 (en) 2015-05-26
US20150256772A1 (en) 2015-09-10
SG11201501554YA (en) 2015-05-28
EP2898473A1 (en) 2015-07-29
US20170280073A1 (en) 2017-09-28
CN104685538A (zh) 2015-06-03
WO2014045026A1 (en) 2014-03-27
US20140078347A1 (en) 2014-03-20
US9615039B2 (en) 2017-04-04

Similar Documents

Publication Publication Date Title
CN104685538B (zh) 用于降低视频流中的噪声的系统和方法
WO2020192483A1 (zh) 图像显示方法和设备
CN108898567B (zh) 图像降噪方法、装置及系统
CN111402130B (zh) 数据处理方法和数据处理装置
US20210233210A1 (en) Method and system of real-time super-resolution image processing
CN111402146B (zh) 图像处理方法以及图像处理装置
CN101889452B (zh) 图像生成装置及图像生成方法
WO2020199831A1 (zh) 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
WO2015112652A1 (en) Image demosaicing
CN108419028A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2012256202A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10848746B2 (en) Apparatus including multiple cameras and image processing method
CN110852334B (zh) 用于自适应像素滤波的系统和方法
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
CN114730456A (zh) 神经网络模型的训练方法、图像处理方法及其装置
KR20220052359A (ko) 듀얼 카메라 및 듀얼 픽셀을 통한 조인트 깊이 예측
US20100061650A1 (en) Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
CN113284055A (zh) 一种图像处理的方法以及装置
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN115063301A (zh) 一种视频去噪方法、视频处理方法和装置
CN108513068A (zh) 图像的选取方法、装置、存储介质及电子设备
WO2023273515A1 (zh) 目标检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant