CN113469893A - 视频中图像的噪声估计方法、及视频降噪方法 - Google Patents

视频中图像的噪声估计方法、及视频降噪方法 Download PDF

Info

Publication number
CN113469893A
CN113469893A CN202010385400.4A CN202010385400A CN113469893A CN 113469893 A CN113469893 A CN 113469893A CN 202010385400 A CN202010385400 A CN 202010385400A CN 113469893 A CN113469893 A CN 113469893A
Authority
CN
China
Prior art keywords
image
lum
noise
video
mid1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010385400.4A
Other languages
English (en)
Other versions
CN113469893B (zh
Inventor
舒顺朋
达声蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co ltd
Original Assignee
Shanghai Qigan Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qigan Electronic Information Technology Co ltd filed Critical Shanghai Qigan Electronic Information Technology Co ltd
Priority to CN202010385400.4A priority Critical patent/CN113469893B/zh
Publication of CN113469893A publication Critical patent/CN113469893A/zh
Application granted granted Critical
Publication of CN113469893B publication Critical patent/CN113469893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

视频中图像的噪声估计方法、及视频降噪方法，所述视频中图像的噪声估计方法包括：对于视频中相邻的帧图像，舍弃掉属于运动区域的块，得到变换后的当前帧图像Icur1和变换后的差分图像Idif1；根据变换后的当前帧图像Icur1和变换后的差分图像Idif1，计算得出亮度关于噪声水平的函数关系式；对变换后的当前帧图像Icur1做自适应邻域选区，确定入选像素；对于各个块，分别计算所述对应像素在差分图像Idif中的均值，以该均值作为噪声水平。本发明对噪声模型进行了深化，将各类噪声统一归为随像素值的变化而变化的噪声和与像素值无关的噪声两种，既能够准确的表征出噪声水平，同时又避免了因多种噪声类型的讨论而使算法复杂化。

Description

视频中图像的噪声估计方法、及视频降噪方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种视频中图像的噪声估计方法、及视频降噪方法。
背景技术
在图像去噪、视频降噪等研究中，如何准确快速的对当前图像的噪声水平做出估计是一个重要课题。一个良好的噪声水平估计可以很好的为图像去噪算法提供助力。
事实上，很多图像去噪算法中就包含了噪声估计的内容。在大量的图像去噪算法研究论文中，研究者通常都以简单的“高斯噪声添加到干净图像作为噪声图像“来作为图像去噪的研究对象，并使用已知噪声强度水平作为阈值参考和去噪强度自适应的参数。这就导致了一个弊端：噪声模型(以高斯噪声为主)简单，对于噪声估计与实际严重不符。
现在已有的对视频中图像进行噪声估计的方法有以下几种：1)对单张噪声图像进行去噪来作为无噪图像，然后噪声图像和去噪图像相减，用其差值来估计噪声水平；2)有些方法利用了前后帧做噪声估计，对差分图像划分区域，来统计噪声水平；3)不同于前两种方法，而是将图像变换到其他变换域，比如小波变换或是傅里叶变换，通过数学计算和经验统计来对噪声水平加以估计；4)有些算法利用噪声水平函数的估计，建立一个过完备字典，选取光滑图像块的方差利用稀疏表示的方法来进行噪声估计；5)还有一些新技术利用多层感知机(MLP，MultiLayer Perceptron，也叫人工神经网络)和深度学习来估计噪声水平。
上述视频去噪中利用单张图像去噪后差分的方法(即第2种方法)的弊端有以下几点：第一，去噪图像一般不够干净，导致噪声估计不准确；第二假设去噪图像干净，那么再进行噪声估计意义不大。
其余有些算法也有着噪声模型简单的问题。很多噪声估计算法，把噪声视为加性高斯噪声，这与实际噪声模型相去甚远。事实上，噪声从形态上分类即可分为高斯噪声、椒盐噪声、泊松噪声、固定形态噪声等等多种噪声；从与像素的相关性分析，像泊松噪声等更是和像素的灰度值息息相关。因此，不加区分的使用加性高斯模型很明显是不够合理的。
对于一些变换域的噪声估计方法，比如先进行小波变换然后利用中值除以0.6745作为噪声水平的估计方法，实际使用上基本要配合相关统计得到的参数来使用，这就需要额外的对其他图像进行统计，实际并不合理。
此外还需要指出的一点是，很多噪声估计是针对经过多种图像处理的真彩图像。在实际工业应用中，对于未被图像处理的bayer格式的Raw数据处理是更为合理的。Raw数据最大程度上保留了噪声的真实大小和真实形态，同时没有经过各类图像处理环节导致的失真。
发明内容
本发明解决的技术问题是：在进行噪声估计时，对于多种类型的噪声混合的情形，如何更准确的表征出噪声水平，同时又不会因多种噪声类型的讨论而使算法复杂化。
为了解决上述技术问题，本发明实施例提供一种视频中图像的噪声估计方法，包括：
对于视频中相邻的帧图像，舍弃掉属于运动区域的块，得到变换后的当前帧图像Icur1和变换后的差分图像Idif1；
根据变换后的当前帧图像Icur1和变换后的差分图像Idif1，计算得出亮度关于噪声水平的函数关系式；
对变换后的当前帧图像Icur1做自适应邻域选区，确定入选像素；
对于各个块，分别计算所述对应像素在差分图像Idif中的均值，以该均值作为噪声水平。
可选的，所述对于视频中相邻的帧图像，舍弃掉属于运动区域的块包括：
采用视频中相邻的帧图像，来生成差分图像Idif；
将差分图像Idif划分为M×N个块；
根据当前帧图像Icur，来分别计算各个块的各个亮度值lumcur；
根据参考帧图像Iref，来分别计算各个块的各个亮度值lumref；
根据当前帧图像Icur，来计算阈值函数τ；
根据lumcur、lumref和τ，来分别判断各个块是否属于运动区域；
将当前帧图像Icur中属于运动区域的块置0，得到变换后的当前帧图像Icur1；
将差分图像Idif中属于运动区域的块置0，得到变换后的差分图像Idif1。
可选的，所述采用视频中相邻的帧图像，来生成差分图像Idif具体采用如下公式：
Idif＝Icur-Iref
其中，Icur表示当前帧图像，Iref表示参考帧图像，Idif表示差分图像。
可选的，所述根据当前帧图像Icur，来分别计算各个块的各个亮度值lumcur
包括：
采用卷积核Ker1，计算公式为：
Lum＝conv(Icur,Ker1)/100
其中，Lum表示当前帧图像Icur的中心像素利用卷积核计算出的亮度，Ker1是卷积核，conv()表示卷积操作。
可选的，所述根据当前帧图像Icur，来计算阈值函数τ包括：
根据当前帧图像Icur，来分别计算各个块内所有像素的均值，得到M×N个均值；
基于M×N个均值，来计算nmin和nmid；
根据nmin和nmid来计算阈值函数τ；
τ＝nmin+k×nmid
其中，k为常数，τ为阈值函数。
可选的，k为0.073或者是其它经验数。
可选的，所述根据lumcur、lumref和τ，来分别判断各个块是否属于运动区域包括：若该块的lumcur与lumref之间的差值大于τ，则该块属于运动区域。
可选的，所述根据变换后的当前帧图像Icur1和变换后的差分图像Idif1，计算得出亮度关于噪声水平的函数关系式包括：
将变换后的差分图像Idif1划分为M1×N1个块；
根据变换后的差分图像Idif1，来计算nmin1、nmid1、nmax1；
根据变换后的当前帧图像Icur1，来分别计算nmin1、nmid1、nmax1所对应的块的亮度值lummin1、lummid1、lummax1；
根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算参数b；
根据图像噪声模型和参数b得到亮度关于噪声水平的函数关系式。
可选的，所述根据变换后的差分图像Idif1，来计算nmin1、nmid1、nmax1包括：
根据变换后的差分图像Idif1，来分别计算各个非运动区域的块内所有像素的均值，并以其中最小的作为nmin1，以中值附近若干块的平均作为nmid1，以其中最大的作为nmax1。
可选的，所述根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算参数b包括：
根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算中间参数bmin1、bmid1、bmax1，公式为：
bmin1＝lummin1/nmin1；
bmid1＝lummid1/nmid1；
bmax1＝lummax1/nmax1；
根据计算中间参数bmin1、bmid1、bmax1，采用线性插值来计算参数b，公式为：
b＝interpolate(bmin1,bmid1,bmax1)。
可选的，所述图像噪声模型为：
u(i)＝b(i)g(i)+n(i)
其中，u(i)表示噪声图像，g(i)表示理论上的无噪声图像，b(i)表示随像素值的变化而变化的噪声系数，n(i)表示与像素值无关的噪声。
可选的，所述根据图像噪声模型和参数b得到亮度关于噪声水平的函数关系式具体是：
N(lum)＝b*lum+a。
为了解决上述技术问题，本发明实施例还提供一种视频降噪方法，利用视频中相邻的帧图像，采用如上所述的视频中图像的噪声估计方法，来对视频中的图像进行噪声估计。
与现有技术相比，本发明的技术方案具有以下有益效果：
本发明对现有技术中利用视频中前后帧的差分图像来做噪声估计的方案进行了改进，对噪声模型进行了深化，将各类噪声统一归为随像素值的变化而变化的噪声和与像素值无关的噪声两种，既能够准确的表征出噪声水平，同时又避免了因多种噪声类型的讨论而使算法复杂化。
进一步的，区分运动区域和静止区域，从而排除掉运动区域对噪声估计的干扰，尽可能的以静止区域来进行噪声估计。
进一步的，对纹理区的噪声也进行了估计，从而有利于去噪时对纹理和边缘进行合理保护，也有利于形成更加规则平滑的纹理，产生更令人舒服的图像效果。
进一步的，将自适应邻域的方法应用到噪声估计中，识别出可能存在椒盐噪声的像素，从而尽可能的消除椒盐噪声对噪声估计的干扰。
附图说明
图1为本发明实施例中视频中图像的噪声估计方法流程图。
具体实施方式
根据背景技术部分的分析可知，现有技术中存在多种对视频中图像进行噪声估计的方法，但都存在种种缺陷，例如所采用的噪声模型与实际严重不符等。
本发明利用视频中前后帧的差分图像来做噪声估计，对差分图像中的运动区域加以区分，避免运动内容的干扰。实践中，一般来说短时间内(相邻的两帧图像)视频内容剧烈变化的内容有限，存在着大量的静止内容，它们的差异主要来自于噪声的影响。所以差分图像可以很好的表征出噪声水平。
同时，对噪声模型进行了深化，不仅仅把噪声视为加性高斯噪声，考虑了其他形态的噪声。同时又考虑到多种形态的噪声十分复杂，本发明做噪声估计时将各类噪声统一归为随像素值的变化而变化的噪声和与像素值无关的噪声两种(可以称为乘性噪声和加性噪声)，这样就避免了不必要的多种噪声类型的讨论。
同时，对纹理区的噪声也进行了估计。对噪声估计来说，复杂的纹理区的像素剧烈变化是非常难以解决的问题。而且纹理区本身剧烈变化，噪声在这里对人类视觉感受的影响也不那么明显。但是对纹理区噪声的合理估计有利于去噪时对纹理和边缘进行合理保护，也有利于形成更加规则平滑的纹理，产生更令人舒服的图像效果。
同时，不同于采用各类算子区别纹理区和平滑区，然后找出平滑块的做法，本发明采用的基于偏微分方程(PDE)理论的自适应邻域方法更为先进合理。
为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。
实施例一
如下所述，本发明实施例提供一种视频中图像的噪声估计方法。
参照图1所示的视频中图像的噪声估计方法流程图，以下通过具体步骤进行详细说明：
本实施例采用的图像噪声模型为(公式1)：
u(i)＝b(i)g(i)+n(i)
其中，u(i)表示噪声图像，g(i)表示理论上的无噪声图像，b(i)表示随像素值的变化而变化的噪声系数，n(i)表示与像素值无关的噪声。
上述模型将各类噪声统一归为随像素值的变化而变化的噪声和与像素值无关的噪声两种(可以称为乘性噪声和加性噪声)，避免了不必要的多种噪声类型的讨论。
S101，采用视频中相邻的帧图像，来生成差分图像Idif。
所述采用视频中相邻的帧图像，来生成差分图像Idif具体采用如下公式：
Idif＝Icur-Iref
其中，Icur表示当前帧图像，Iref表示参考帧图像，Idif表示差分图像。
参考帧图像即为这2帧相邻图像帧中的前一帧。
在短时间内，相邻帧的目标环境几乎是不变的，因此，差分图像中大部分区域是静止区域，实践中，在差分图像的静止区域中仍然可以隐约的看到图像内容的轮廓，这就表明至少有部分噪声是与像素值大小相关的，因而现有技术中完全的高斯加性噪声模式是不合理的。
后续对差分图像划分区域求取相关参数，对差分图像的噪声水平做粗略估计。
S102，将差分图像Idif划分为M×N个块。
划分区域，将差分图像Idif划分为多个块，具体的，以1920×1080的图像为例，可以划分为240×135个块。
S103，根据当前帧图像Icur，来分别计算各个块的各个亮度值lumcur。
本发明中的亮度，也即像素灰度值。
具体的，采用如下卷积核Ker1(以5*5为例，具体应用时应该考虑块的大小设计)：
1 2 4 2 1
2 4 8 4 2
4 8 16 8 4
2 4 8 4 2
1 2 4 4 1
表1：亮度卷积核设计
卷积计算公式为(公式2)：
Lum＝conv(Icur,Ker1)/100
其中，Lum表示当前帧图像Icur的中心像素利用卷积核计算出的亮度，Ker1是卷积核，conv()表示卷积操作。
在另一个实施例中，上述表1所示的亮度卷积核也可简单替换为全1的设计，如下所示：
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
表2：另一种亮度卷积核设计
在此情况下，上述公式2相应的调整为：
Lum＝conv(Icur,Ker1)/25
即将原公式2中的100调整为25。
S104，根据参考帧图像Iref，来分别计算各个块的各个亮度值lumref。
S105，根据当前帧图像Icur，来计算阈值函数τ。
所述根据当前帧图像Icur，来计算阈值函数τ包括：
根据当前帧图像Icur，来分别计算各个块内所有像素的均值，得到M×N个均值；
基于M×N个均值，来计算nmin和nmid；具体的，可以对各个块求出的均值进行排序，选取最小的几个块(例如可以是3个块)求平均值，作为nmin，以此作为初始噪声水平，同时记录排序后的中值位置的几个块的均值作为nmid；
根据nmin和nmid来计算阈值函数τ；
τ＝nmin+k×nmid
其中，k为常数，τ为阈值函数。
k是一个经验数，在一些实施例中，k＝0.073，当然，k也可以是0.073以外的其它经验数，本发明对此不作限定。
S106，根据lumcur、lumref和τ，来分别判断各个块是否属于运动区域。
通过前后帧噪声图像Icur和Iref的对应像素的亮度lumcur和lumref相减来判断是否是属于运动区域。
如果块的lumcur与lumref之间的差值大于阈值τ，则判定该块属于运动区域，反之，则不属于运动区域。
S107，将当前帧图像Icur中属于运动区域的块置0，得到变换后的当前帧图像Icur1；将差分图像Idif中属于运动区域的块置0，得到变换后的差分图像Idif1。
将当前帧图像中的运动区域舍弃掉，置0，形成变换后的当前帧图像Icur1，将差分图像中的运动区域舍弃掉，形成变换后的差分图像Idif1。
后续将计算剩余像素的均值作为噪声水平。
通过以上对技术方案的描述可以看出：本实施例中，区分运动区域和静止区域，从而排除掉运动区域对噪声估计的干扰，尽可能的以静止区域来进行噪声估计。
S108，将变换后的差分图像Idif1划分为M1×N1个块。
利用舍弃掉运动区域的差分图像Idif1，重新按照先前步骤102中的分块方法，划分为M1×N1个块。
S109，根据变换后的差分图像Idif1，来计算nmin1、nmid1、nmax1。
所述根据变换后的差分图像Idif1，来计算nmin1、nmid1、nmax1包括：
根据变换后的差分图像Idif1，来分别计算各个非运动区域的块内所有像素的均值，并以其中最小的作为nmin1，以中值附近若干块的平均作为nmid1，以其中最大的作为nmax1。
在一些实施例中，如果一个块被舍弃掉的像素数超过总数量的20％，则将这个块舍弃掉。
S110，根据变换后的当前帧图像Icur1，来分别计算nmin1、nmid1、nmax1所对应的块的亮度值lummin1、lummid1、lummax1。
具体可以参考先前的步骤S103。
记录lcur对应块的亮度值lummin1、lummid1、lummax1。
S111，根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算参数b。
具体的，先根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算中间参数bmin1、bmid1、bmax1，公式为：
bmin1＝lummin1/nmin1；
bmid1＝lummid1/nmid1；
bmax1＝lummax1/nmax1；
然后根据计算中间参数bmin1、bmid1、bmax1，采用线性插值来计算参数b，公式为：
b＝interpolate(bmin1,bmid1,bmax1)。
S112，根据图像噪声模型和参数b得到亮度关于噪声水平的函数关系式。
如前所述，本实施例所采用的图像噪声模型为：
u(i)＝b(i)g(i)+n(i)
其中，u(i)表示噪声图像，g(i)表示理论上的无噪声图像，b(i)表示随像素值的变化而变化的噪声系数，n(i)表示与像素值无关的噪声。
所述根据图像噪声模型和参数b得到亮度关于噪声水平的函数关系式具体是(公式3)：
N(lum)＝b*lum+a
N(lum)是表示亮度和噪声水平关系的函数，这是一个线性函数。
S113，对变换后的当前帧图像Icur1做自适应邻域选区，确定入选像素。
自适应邻域的概念最早在1984年由R.Gordon和R.M.Rangayyan提出。1992年R.M.Rangayyan进一步提炼，将方法发表在IEEE Transsaction on Medical Imaging上。利用此方法进行噪声估计如下：
a)按照大小为N2×N2(例如32×32)，将当前帧图像Icur1划分为多个不重叠的区域，舍弃掉运动区域占比超过预定比例(例如超过20％)的块，以1080P图像为例，整幅图可以划分为60*33＝1980个块；
b)在各邻域内，以位置为(N2/2，N2/2)的像素作为中心像素Ic，根据先前步骤S103中卷积核的方式求得中心像素的亮度lumc，从而利用先前步骤S112中的公式3求出一个噪声水平nc作为阈值参考；
c)在以中心像素Ic的3*3的邻域内，以τc＝sqrt(2)*nc为阈值，凡是与中心像素Ic的差值小于阈值τc的计入，即abs(I-Ic)<τc，同时要记录录入的像素数量num1，以此为种子像素区域，求其平均值meanc；
d)以τc1＝2*nc为阈值，以满足条件abs(I-meanc)<τc的形成新的区域，同时记录满足上述条件的像素数量num2；
e)以num1<3和num2<4作为判决依据，来确定入选像素，如果满足上述条件，意味着此处可能存在着椒盐噪声，要将该像素舍弃，记录上述入选像素的位置。
通过以上对技术方案的描述可以看出：本实施例中，将自适应邻域的方法应用到噪声估计中，识别出可能存在椒盐噪声的像素，从而尽可能的消除椒盐噪声对噪声估计的干扰。
S114，根据各个块中入选像素的位置，从差分图像Idif中找到对应像素。
S115，对于各个块，分别计算所述对应像素的均值，以该均值作为噪声水平。
这个均值就是最终的噪声水平。记录所有的各个块的均值，并统计出来。根据其中心像素的亮度和最终噪声水平，可以建立相应的关系。例如，可以利用最小二乘法来建立函数关系，也可以利用分段函数予以描述等，本发明对此不作限定。
通过以上对技术方案的描述可以看出：本实施例中，对现有技术中利用视频中前后帧的差分图像来做噪声估计的方案进行了改进，对噪声模型进行了深化，将各类噪声统一归为随像素值的变化而变化的噪声和与像素值无关的噪声两种，既能够准确的表征出噪声水平，同时又避免了因多种噪声类型的讨论而使算法复杂化。
实施例二
如下所述，本发明实施例提供一种视频降噪方法。
与现有技术的不同之处在于，该视频降噪方法利用视频中相邻的帧图像，采用如本发明实施例中所提供的视频中图像的噪声估计方法，来对视频中的图像进行噪声估计。因而视频降噪方法对噪声模型进行了深化，将各类噪声统一归为随像素值的变化而变化的噪声和与像素值无关的噪声两种，既能够准确的表征出噪声水平，同时又避免了因多种噪声类型的讨论而使算法复杂化。
本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指令相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种视频中图像的噪声估计方法，其特征在于，包括：
对于视频中相邻的帧图像，舍弃掉属于运动区域的块，得到变换后的当前帧图像Icur1和变换后的差分图像Idif1；
根据变换后的当前帧图像Icur1和变换后的差分图像Idif1，计算得出亮度关于噪声水平的函数关系式；
对变换后的当前帧图像Icur1做自适应邻域选区，确定入选像素；
对于各个块，分别计算所述对应像素在差分图像Idif中的均值，以该均值作为噪声水平。
2.如权利要求1所述的视频中图像的噪声估计方法，其特征在于，所述对于视频中相邻的帧图像，舍弃掉属于运动区域的块包括：
采用视频中相邻的帧图像，来生成差分图像Idif；
将差分图像Idif划分为M×N个块；
根据当前帧图像Icur，来分别计算各个块的各个亮度值lumcur；
根据参考帧图像Iref，来分别计算各个块的各个亮度值lumref；
根据当前帧图像Icur，来计算阈值函数τ；
根据lumcur、lumref和τ，来分别判断各个块是否属于运动区域；
将当前帧图像Icur中属于运动区域的块置0，得到变换后的当前帧图像Icur1；
将差分图像Idif中属于运动区域的块置0，得到变换后的差分图像Idif1。
3.如权利要求2所述的视频中图像的噪声估计方法，其特征在于，所述采用视频中相邻的帧图像，来生成差分图像Idif具体采用如下公式：
Idif＝Icur-Iref
其中，Icur表示当前帧图像，Iref表示参考帧图像，Idif表示差分图像。
4.如权利要求2所述的视频中图像的噪声估计方法，其特征在于，所述根据当前帧图像Icur，来分别计算各个块的各个亮度值lumcur包括：
采用卷积核Ker1，计算公式为：
Lum＝conv(Icur,Ker1)/100
其中，Lum表示当前帧图像Icur的中心像素利用卷积核计算出的亮度，Ker1是卷积核，conv()表示卷积操作。
5.如权利要求2所述的视频中图像的噪声估计方法，其特征在于，所述根据当前帧图像Icur，来计算阈值函数τ包括：
根据当前帧图像Icur，来分别计算各个块内所有像素的均值，得到M×N个均值；
基于M×N个均值，来计算nmin和nmid；
根据nmin和nmid来计算阈值函数τ；
τ＝nmin+k×nmid
其中，k为常数，τ为阈值函数。
6.如权利要求5所述的视频中图像的噪声估计方法，其特征在于，k为0.073或者是其它经验数。
7.如权利要求2所述的视频中图像的噪声估计方法，其特征在于，所述根据lumcur、lumref和τ，来分别判断各个块是否属于运动区域包括：若该块的lumcur与lumref之间的差值大于τ，则该块属于运动区域。
8.如权利要求1所述的视频中图像的噪声估计方法，其特征在于，所述根据变换后的当前帧图像Icur1和变换后的差分图像Idif1，计算得出亮度关于噪声水平的函数关系式包括：
将变换后的差分图像Idif1划分为M1×N1个块；
根据变换后的差分图像Idif1，来计算nmin1、nmid1、nmax1；
根据变换后的当前帧图像Icur1，来分别计算nmin1、nmid1、nmax1所对应的块的亮度值lummin1、lummid1、lummax1；
根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算参数b；
根据图像噪声模型和参数b得到亮度关于噪声水平的函数关系式。
9.如权利要求8所述的视频中图像的噪声估计方法，其特征在于，所述根据变换后的差分图像Idif1，来计算nmin1、nmid1、nmax1包括：
根据变换后的差分图像Idif1，来分别计算各个非运动区域的块内所有像素的均值，并以其中最小的作为nmin1，以中值附近若干块的平均作为nmid1，以其中最大的作为nmax1。
10.如权利要求8所述的视频中图像的噪声估计方法，其特征在于，所述根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算参数b包括：
根据nmin1、nmid1、nmax1、lummin1、lummid1、lummax1，来计算中间参数bmin1、bmid1、bmax1，公式为：
bmin1＝lummin1/nmin1；
bmid1＝lummid1/nmid1；
bmax1＝lummax1/nmax1；
根据计算中间参数bmin1、bmid1、bmax1，采用线性插值来计算参数b，公式为：
b＝interpolate(bmin1,bmid1,bmax1)。
11.如权利要求8所述的视频中图像的噪声估计方法，其特征在于，所述图像噪声模型为：
u(i)＝b(i)g(i)+n(i)
其中，u(i)表示噪声图像，g(i)表示理论上的无噪声图像，b(i)表示随像素值的变化而变化的噪声系数，n(i)表示与像素值无关的噪声。
12.如权利要求8所述的视频中图像的噪声估计方法，其特征在于，所述根据图像噪声模型和参数b得到亮度关于噪声水平的函数关系式具体是：
N(lum)＝b*lum+a。
13.一种视频降噪方法，其特征在于，利用视频中相邻的帧图像，采用权利要求1至12中任一项所述的视频中图像的噪声估计方法，来对视频中的图像进行噪声估计。
CN202010385400.4A 2020-05-08 2020-05-08 视频中图像的噪声估计方法、及视频降噪方法 Active CN113469893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010385400.4A CN113469893B (zh) 2020-05-08 2020-05-08 视频中图像的噪声估计方法、及视频降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010385400.4A CN113469893B (zh) 2020-05-08 2020-05-08 视频中图像的噪声估计方法、及视频降噪方法

Publications (2)

Publication Number Publication Date
CN113469893A true CN113469893A (zh) 2021-10-01
CN113469893B CN113469893B (zh) 2024-03-22

Family

ID=77865914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010385400.4A Active CN113469893B (zh) 2020-05-08 2020-05-08 视频中图像的噪声估计方法、及视频降噪方法

Country Status (1)

Country Link
CN (1) CN113469893B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648469A (zh) * 2022-05-24 2022-06-21 上海齐感电子信息科技有限公司 视频图像去噪方法及其系统、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066468A1 (en) * 2002-10-07 2004-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for fast robust estimation of image noise in a video processing system
CA2413067A1 (en) * 2002-12-17 2004-06-17 Concordia University A method and apparatus for structure-adaptive noise estimation in video signals
CN102497497A (zh) * 2011-12-05 2012-06-13 四川九洲电器集团有限责任公司 一种图像去噪算法中阈值动态调整的方法
CN103179325A (zh) * 2013-03-26 2013-06-26 北京理工大学 一种固定场景下低信噪比视频的自适应3d降噪方法
CN103581507A (zh) * 2013-08-21 2014-02-12 成都云鹰科技有限公司 一种去噪算法中通过均方差来动态调整阈值的方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN107295217A (zh) * 2017-06-30 2017-10-24 中原智慧城市设计研究院有限公司 一种基于主成分分析的视频噪声估计方法
CN107330916A (zh) * 2017-06-15 2017-11-07 精伦电子股份有限公司 一种运动物体检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066468A1 (en) * 2002-10-07 2004-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for fast robust estimation of image noise in a video processing system
CA2413067A1 (en) * 2002-12-17 2004-06-17 Concordia University A method and apparatus for structure-adaptive noise estimation in video signals
CN102497497A (zh) * 2011-12-05 2012-06-13 四川九洲电器集团有限责任公司 一种图像去噪算法中阈值动态调整的方法
CN103179325A (zh) * 2013-03-26 2013-06-26 北京理工大学 一种固定场景下低信噪比视频的自适应3d降噪方法
CN103581507A (zh) * 2013-08-21 2014-02-12 成都云鹰科技有限公司 一种去噪算法中通过均方差来动态调整阈值的方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN107330916A (zh) * 2017-06-15 2017-11-07 精伦电子股份有限公司 一种运动物体检测方法及系统
CN107295217A (zh) * 2017-06-30 2017-10-24 中原智慧城市设计研究院有限公司 一种基于主成分分析的视频噪声估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648469A (zh) * 2022-05-24 2022-06-21 上海齐感电子信息科技有限公司 视频图像去噪方法及其系统、设备和存储介质

Also Published As

Publication number Publication date
CN113469893B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
Morillas et al. Fuzzy peer groups for reducing mixed Gaussian-impulse noise from color images
RU2298226C1 (ru) Способ улучшения цифровых изображений
Vijaykumar et al. Fast and efficient algorithm to remove gaussian noise in digital images
CN103413275B (zh) 基于梯度零范数最小化的Retinex夜间图像增强方法
CN102521813B (zh) 基于双平台直方图的红外图像自适应增强方法
CN111652814B (zh) 一种视频图像的去噪方法、装置、电子设备及存储介质
CN101123681A (zh) 一种数字图像降噪方法及装置
CN102368821A (zh) 一种噪声强度自适应的视频去噪方法和系统
WO2013038333A2 (en) Method and system for enhancing image quality
CN107437238B (zh) 一种图像分块自适应递归降噪方法及装置
CN108492245A (zh) 基于小波分解和双边滤波的低光度图像对融合方法
Kaur et al. Comparative analysis of image denoising techniques
CN110351453A (zh) 一种计算机视频数据处理方法
CN112529854A (zh) 一种噪声估计方法、装置、存储介质及设备
CN104835127B (zh) 一种自适应平滑滤波方法
CN113962898A (zh) 基于照度图优化和自适应伽马校正的低照度图像增强方法
US20160343113A1 (en) System for enhanced images
CN115797333B (zh) 一种个性化定制的智能视觉训练方法
CN100367770C (zh) 一种去除视频孤立噪声点的方法
CN104112253A (zh) 一种基于自适应多尺度滤波的低照度图像/视频增强方法
Bahnemiri et al. Learning-based noise component map estimation for image denoising
CN113469893B (zh) 视频中图像的噪声估计方法、及视频降噪方法
Lei et al. An investigation of retinex algorithms for image enhancement
CN111652810A (zh) 一种基于小波域奇异值差分模型的图像去噪方法
Kaur et al. An improved adaptive bilateral filter to remove gaussian noise from color images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant