CN104717402B - 一种空时域联合噪声估计系统 - Google Patents

一种空时域联合噪声估计系统 Download PDF

Info

Publication number
CN104717402B
CN104717402B CN201510151665.7A CN201510151665A CN104717402B CN 104717402 B CN104717402 B CN 104717402B CN 201510151665 A CN201510151665 A CN 201510151665A CN 104717402 B CN104717402 B CN 104717402B
Authority
CN
China
Prior art keywords
mrow
mtd
noise
time domain
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510151665.7A
Other languages
English (en)
Other versions
CN104717402A (zh
Inventor
韩睿
罗杨
汤仁君
郭若杉
颜奉丽
汤晓莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jilang Semiconductor Technology Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201510151665.7A priority Critical patent/CN104717402B/zh
Publication of CN104717402A publication Critical patent/CN104717402A/zh
Application granted granted Critical
Publication of CN104717402B publication Critical patent/CN104717402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种空时域联合的噪声估计系统，包括运动估计模块、缩放运动检测模块、全局运动检测模块、场景切换检测模块、时域噪声估计模块、空域噪声估计模块、融合模块；运动估计模块依据前一帧和当前帧计算输出运动矢量；缩放运动检测模块依据运动矢量计算输出缩放可信度；全局运动检测模块依据运动矢量计算输出全局可信度；场景切换检测模块依据运动矢量计算输出场景切换可信度；时域噪声估计模块依据前一帧和当前帧计算输出时域噪声水平；空域噪声估计模块依据当前帧计算输出空域噪声水平；融合模块依据缩放可信度、全局可信度、场景切换可信度、空域噪声水平和时域噪声水平计算输出最终的噪声水平。本发明提高了输出噪声水平的准确度。

Description

一种空时域联合噪声估计系统
技术领域
本发明涉及视频图像处理技术领域，特别涉及视频图像噪声估计技术，具体是指一种空时域联合的噪声估计系统。
背景技术
视频图像噪声估计是视频降噪处理的前提。现有噪声估计主要分为3类：空域噪声估计、时域噪声估计、简单的空时域联合噪声估计；3类噪声估计均有不足之处，造成噪声估计准确度不能满足需求，其中空域噪声估计，缺点是不能区分是真实噪声还是原图的高频信息；时域噪声估计，缺点是不能区分是真实噪声还是原图的运动信息；简单的空时域联合噪声估计，没有针对特殊运动(如缩放运动，全局运动)和场景切换的噪声估计方法。
发明内容
针对现有噪声估计准确度不足的问题，本发明提出了一种空时域联合噪声估计系统，提高了静止和运动的场景噪声水平估计的准确度。
本发明提出的一种空时域联合噪声估计系统，包括运动估计模块、缩放运动检测模块、全局运动检测模块、场景切换检测模块、时域噪声估计模块、空域噪声估计模块、融合模块；
运动估计模块依据前一帧和当前帧计算输出运动矢量；缩放运动检测模块依据运动矢量计算输出缩放可信度；全局运动检测模块依据运动矢量计算输出全局可信度；场景切换检测模块依据运动矢量计算输出场景切换可信度；
时域噪声估计模块依据前一帧和当前帧计算输出时域噪声水平；空域噪声估计模块依据当前帧计算输出空域噪声水平；
融合模块依据缩放可信度、全局可信度、场景切换可信度、空域噪声水平和时域噪声水平计算输出最终的噪声水平。
本发明能够使静止和运动的场景噪声水平估计得更准确，特别是缩放运动，全局运动，场景切换，噪声水平会估计得更准确，对后续视频图像去噪有较好的改善。
附图说明
图1是空-时域噪声估计框图；
图2是全局可信度判断曲线；
图3是缩放运动判断区域划分示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
如图1所示，本实施例的一种空时域联合噪声估计系统，包括运动估计模块、缩放运动检测模块、全局运动检测模块、场景切换检测模块、时域噪声估计模块、空域噪声估计模块、融合模块；
运动估计模块依据前一帧和当前帧计算输出运动矢量；缩放运动检测模块依据运动矢量计算输出缩放可信度；全局运动检测模块依据运动矢量计算输出全局可信度；场景切换检测模块依据运动矢量计算输出场景切换可信度；
时域噪声估计模块依据前一帧和当前帧计算输出时域噪声水平；空域噪声估计模块依据当前帧计算输出空域噪声水平；
融合模块依据缩放可信度、全局可信度、场景切换可信度、空域噪声水平和时域噪声水平计算输出最终的噪声水平。
下面对分别对本实施例各模块的设计原理进行详细说明。
1、全局运动检测
使用任何一种运动估计(如全搜索，三步搜索)得出运动矢量，运动矢量是逐像素的运动矢量。对运动矢量进行直方图统计，则全局运动矢量应该在直方图的峰值位置上，可根据直方图峰值运动矢量个数占总的运动矢量个数的百分比来确定是否是全局运动。设直方图峰值位置的运动矢量个数为Cg，总的运动矢量个数为Ctotal，则a＝Cg/Ctotal可表示全局运动的确信度，0≤a≤1；设定一条曲线将全局运动的确信度过渡带变得陡峭一些，如图2所示，预设的两个阈值T1和T2，且T2>T1，全局可信度Gw的计算如公式(1)所示。
本实施例中T2＝0.8，T1＝0.2。
2、缩放运动检测
缩放运动检测也即摄像机变焦检测。如图3所示，取当前待处理帧中的部分区域，分别为图像的中心区域，向外一圈的四个子区域，和最外圈的四个子区域。每个子区域的大小为M*N。通过分析这些子区域像素的运动矢量，进行摄像机变焦的检测。
对于中心区域C，计算区域内所有像素运动矢量水平分量绝对值的平均值meanCx和垂直分量绝对值的平均值meanCy,计算公式如公式(2)、公式(3)所示。
同样地，分别计算出out1和out2区域所有像素运动矢量水平分量绝对值的平均值，和垂直分量绝对值的平均值，计算公式如公式(4)、公式(5)、公式(6)、公式(7)所示。
缩放运动检测的结果用zf表示，其计算公式如公式(8)所示。zf＝1表示当前待处理帧处于缩放运动中。当检测到当前帧处于缩放运动时，时域噪声水平权重减小，空域噪声水平权重增加。
3、场景切换检测
产生场景切换时，当前帧的内容和前一帧是不相关的，因此，不能使用时域的噪声水平。有时场景切换存在过渡，这时空域噪声水平估计得也不准，此时应认为空域和时域的噪声水平都不可靠，令噪声水平等于预先设定的值或前一帧可靠的噪声水平，待场景切换完后再估计噪声水平。
通过计算当前帧与前面几帧的差异大小，来判断当前帧是否发生了场景切换。通过前后帧匹配误差的大小确定场景是否发生切换，匹配误差越大，发生场景切换的可能性越大。场景切换具体做法如下：
场景切换使用的帧间差异为运动估计中常用的匹配误差SAD。假设运动估计采用8×8大小的块匹配方法，即将估计帧分为8×8大小的块，为每个块估计一个运动矢量。对于块B，(i,j)为其左上角位置的像素，其SAD的计算公式如公式(9)所示。
其中dx为运动矢量的水平分量，dy为运动矢量的垂直分量。
统计整帧所有块的平均SAD水平，将当前待处理帧的平均SAD水平，记为meanSADt。将meanSADt与前面K帧的历史平均SAD水平进行比较，判断当前帧是否发生场景切换，场景切换可信度scf的计算公式如公式(10)所示。
其中Ts为预先设定的阈值，scf＝1表示当前帧发生了场景切换。
4、空域噪声估计
针对的噪声模型为高斯模型，为了避免高频信息被误认为噪声，一般的做法是筛选平坦区域进行噪声估计，具体操作如下：
将图像分为若干个块，对每个块计算标准差，找到最小的标准差，记录对应的区域，例如可以通过直方图统计的方式或者排序的方式来查找。最小的标准差可能是0，我们排除0标准差，在剩余的标准差中找，或者给定一最小标准差阈值，查找大于该阈值的最小标准差。
对原图进行高斯低通滤波，再用原图减去滤波后的结果得到高频。
统计最小标准差对应块的高频，得到最终的空域噪声水平σSNE。
对于每一个块，标准差计算公式：
第(i,j)块的均值的计算如公式(11)所示：
第(i,j)块的标准差的计算如公式(12)所示：
其中(i,j)为块坐标，W,H表示块的宽高,一般取5x5，，f为对应的像素值。
5、时域噪声估计
空域噪声估计是对平坦区域，使用滤波后的结果与原图做差，得到的差值认为是噪声，再计算标准差得到噪声水平。时域噪声估计也可以仿照这样做，选择平坦区域对前后两帧直接做差，得到的差值再计算方差，即为时域噪声水平，但这样估计出来的噪声水平稳定性不高。
本实施例采用的时域噪声估计的方法是对前后两帧平坦区做差，对差值进行直方图统计，选用直方图峰值作为时域噪声水平，这样估计出来的噪声水平稳定性较好。具体做法如下：
通过计算当前帧中每一点与其前一帧中对应点及其周围邻域(局部窗)的平均绝对差异MAE(Mean Absolute Error)来表征两点间的差异。
输入：当前帧ft和其前一帧ft-1。
输出：为两帧图像间对应像素的MAE。
计算MAE的公式如公式(13)所示：
其中H、W为局部窗的高和宽。
对两帧有噪图像，统计MAE的直方图，在统计时移除不可靠的MAE，判定方式如下：
灰度值过小或过大的MAE，或者MAE值过大，都认为不可靠。
在直方图中，通过直方图的峰值来表征当前帧的时域噪声水平σTNE。
6、融合
对静止或有较小运动的帧，时域噪声水平所占的权重大；对运动(包含缩放运动和全局运动)的帧，空域噪声水平所占的权重大；场景切换将噪声水平置为预先设定的值或等于前一帧可靠的噪声水平，认为空时域噪声都不可靠。
利用缩放运动检测、全局运动检测、场景切换检测的结果，计算当前帧最终的噪声水平σ的公式如公式(14)所示:
其中scf为场景切换可信度，SCth为场景切换可信度阈值，Ratio为空域噪声水平与时域噪声水平的加权系数，σpre为前一帧的噪声水平。
Ratio的计算如公式(15)所示
Ratio＝zf*Gw (15)
其中zf为缩放可信度，Gw为全局运动可信度
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种空时域联合噪声估计系统，其特征在于，该系统包括运动估计模块、缩放运动检测模块、全局运动检测模块、场景切换检测模块、时域噪声估计模块、空域噪声估计模块、融合模块；
运动估计模块依据前一帧和当前帧计算输出运动矢量；缩放运动检测模块依据运动矢量计算输出缩放可信度；全局运动检测模块依据运动矢量计算输出全局可信度；场景切换检测模块依据运动矢量计算输出场景切换可信度；
时域噪声估计模块依据前一帧和当前帧计算输出时域噪声水平；空域噪声估计模块依据当前帧计算输出空域噪声水平；
融合模块依据缩放可信度、全局可信度、场景切换可信度、空域噪声水平和时域噪声水平计算输出最终的噪声水平；
其中，
融合模块计算当前帧最终的噪声水平σ的公式为：
<mrow> <mi>&amp;sigma;</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> </mtd> <mtd> <mrow> <mi>s</mi> <mi>c</mi> <mi>f</mi> <mo>&gt;</mo> <mi>S</mi> <mi>C</mi> <mi>t</mi> <mi>h</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mo>*</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>S</mi> <mi>N</mi> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>R</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>T</mi> <mi>N</mi> <mi>E</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mi>c</mi> <mi>f</mi> <mo>&amp;le;</mo> <mi>S</mi> <mi>C</mi> <mi>t</mi> <mi>h</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
σpre为前一帧的噪声水平，scf为场景切换可信度，SCth为场景切换可信度的阈值，σSNE为空域噪声水平，σTNE为时域噪声水平，Ratio为空域噪声水平与时域噪声水平的加权系数Ratio＝zf*Gw，zf为缩放可信度，Gw为全局可信度。
2.如权利要求1所述的一种空时域联合噪声估计系统，其特征在于，所述全局运动检测模块输出的全局可信度Gw的公式为
<mrow> <mi>G</mi> <mi>w</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mi>a</mi> <mo>&lt;</mo> <mi>T</mi> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mi>a</mi> <mo>&gt;</mo> <mi>T</mi> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mfrac> <mrow> <mi>a</mi> <mo>-</mo> <mi>T</mi> <mn>1</mn> </mrow> <mrow> <mi>T</mi> <mn>2</mn> <mo>-</mo> <mi>T</mi> <mn>1</mn> </mrow> </mfrac> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中a为全局运动的确信度，且0≤a≤1，T1和T2为预设的两个阈值，T2>T1。
3.如权利要求2所述的一种空时域联合噪声估计系统，其特征在于，全局运动的确信度a的计算公式为a＝Cg/Ctotal，其中Cg为运动矢量进行直方图统计后直方图峰值位置的运动矢量个数，Ctotal为总的运动矢量个数。
4.如权利要求1所述的一种空时域联合噪声估计系统，其特征在于，所述的缩放运动检测模块计算缩放可信度的方法为：
将当前帧划分为中心区域C、向外一圈的四个子区域out1、最外圈的四个子区域out2，中心区域和子区域的大小均为M*N；
计算中心区域内所有像素运动矢量水平分量绝对值的平均值meanCx和垂直分量绝对值的平均值meanCy，公式为
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>C</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mo>*</mo> <mi>N</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mi>d</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>C</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mo>*</mo> <mi>N</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mi>d</mi> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
其中dx(i,j)为像素(i,j)运动矢量水平分量，dy(i,j)为像素(i,j)运动矢量垂直分量；
计算out1所有像素运动矢量水平分量绝对值的平均值meanOut1x和垂直分量绝对值的平均值meanOut1y，公式为
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>1</mn> <mi>x</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>4</mn> <mo>*</mo> <mi>M</mi> <mo>*</mo> <mi>N</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mn>1</mn> </mrow> </munder> <mo>|</mo> <mi>d</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>1</mn> <mi>y</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>4</mn> <mo>*</mo> <mi>M</mi> <mo>*</mo> <mi>N</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mn>1</mn> </mrow> </munder> <mo>|</mo> <mi>d</mi> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>;</mo> </mrow>
计算out2所有像素运动矢量水平分量绝对值的平均值meanOut2x和垂直分量绝对值的平均值meanOut2y，公式为
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>2</mn> <mi>x</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>4</mn> <mo>*</mo> <mi>M</mi> <mo>*</mo> <mi>N</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mn>2</mn> </mrow> </munder> <mo>|</mo> <mi>d</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>2</mn> <mi>y</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>4</mn> <mo>*</mo> <mi>M</mi> <mo>*</mo> <mi>N</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mn>2</mn> </mrow> </munder> <mo>|</mo> <mi>d</mi> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>;</mo> </mrow>
依据meanCx、meanCy、meanOut1x、meanOut1y、meanOut2x、meanOut2y计算缩放可信度zf，公式为
<mrow> <mi>z</mi> <mi>f</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>2</mn> <mi>x</mi> <mo>&gt;</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>1</mn> <mi>x</mi> <mo>&gt;</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>C</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mrow> <mi>a</mi> <mi>n</mi> <mi>d</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>2</mn> <mi>y</mi> <mo>&gt;</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>O</mi> <mi>u</mi> <mi>t</mi> <mn>1</mn> <mi>y</mi> <mo>&gt;</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mi>C</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> </mtable> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
5.如权利要求1所述的一种空时域联合噪声估计系统，其特征在于，所述的场景切换检测模块计算场景切换可信度的方法为：
采用块匹配方法为每个块估计一个运动矢量，并计算每个块的匹配误差SAD；
统计当前帧所有块的平均SAD水平，并与前面K帧的历史平均SAD水平进行比较，判断当前帧是否发生场景切换，如果发生了切换则场景切换可信度scf＝1，否则scf＝0。
6.如权利要求1所述的一种空时域联合噪声估计系统，其特征在于，空域噪声估计模块计算空域噪声水平的方法为：
将图像分为n块区域，对每个区域计算标准差，找到最小的标准差，记录对应的区域；
对原图进行高斯低通滤波，用原图减去滤波后的结果得到高频；
统计最小标准差对应块的高频，得到空域噪声水平。
7.如权利要求1所述的一种空时域联合噪声估计系统，其特征在于，时域噪声估计模块计算时域噪声水平的方法为：
计算当前帧中每一点与其前一帧中对应点及其周围邻域的平均绝对差异MAE；统计MAE的直方图；直方图的峰值即为时域噪声水平。
8.如权利要求7所述的一种空时域联合噪声估计系统，其特征在于，平均绝对差异MAE的计算公式为
<mrow> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>F</mi> <mrow> <mi>M</mi> <mi>A</mi> <mi>E</mi> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>f</mi> <mi>t</mi> </msup> <mo>,</mo> <msup> <mi>f</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>H</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>W</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mo>|</mo> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>p</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>q</mi> </mrow> <mi>t</mi> </msubsup> <mo>-</mo> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>p</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>q</mi> </mrow> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>|</mo> </mrow> <mrow> <mi>H</mi> <mo>&amp;times;</mo> <mi>W</mi> </mrow> </mfrac> </mrow>
其中为两帧图像间对应像素的MAE，ft为当前帧，ft-1为前一帧，H和W分别为局部窗的高和宽。
CN201510151665.7A 2015-04-01 2015-04-01 一种空时域联合噪声估计系统 Active CN104717402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510151665.7A CN104717402B (zh) 2015-04-01 2015-04-01 一种空时域联合噪声估计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510151665.7A CN104717402B (zh) 2015-04-01 2015-04-01 一种空时域联合噪声估计系统

Publications (2)

Publication Number Publication Date
CN104717402A CN104717402A (zh) 2015-06-17
CN104717402B true CN104717402B (zh) 2017-12-01

Family

ID=53416316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510151665.7A Active CN104717402B (zh) 2015-04-01 2015-04-01 一种空时域联合噪声估计系统

Country Status (1)

Country Link
CN (1) CN104717402B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251318B (zh) * 2016-09-29 2023-05-23 杭州雄迈集成电路技术股份有限公司 一种序列图像的去噪装置及方法
CN106803865B (zh) * 2016-12-23 2019-10-22 中国科学院自动化研究所 视频时域的去噪方法及系统
CN108805851B (zh) * 2017-04-26 2021-03-02 杭州海康威视数字技术股份有限公司 一种图像时域噪声的评估方法及装置
US10674045B2 (en) * 2017-05-31 2020-06-02 Google Llc Mutual noise estimation for videos
CN112805989A (zh) * 2020-05-06 2021-05-14 深圳市大疆创新科技有限公司 基于全局运动估计的时域滤波方法、装置及存储介质
CN116567196A (zh) * 2022-01-27 2023-08-08 北京字跳网络技术有限公司 视频噪声检测方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719979A (zh) * 2009-11-27 2010-06-02 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719979A (zh) * 2009-11-27 2010-06-02 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法

Also Published As

Publication number Publication date
CN104717402A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN104717402B (zh) 一种空时域联合噪声估计系统
CN106846359B (zh) 基于视频序列的运动目标快速检测方法
US8736767B2 (en) Efficient motion vector field estimation
US9936222B2 (en) Motion estimation in a video sequence
KR101861722B1 (ko) 비디오 데이터를 처리하는 방법과 이미지 처리 회로
US8121431B2 (en) Method and apparatus for detecting edge of image and computer readable medium processing method
JP5360052B2 (ja) 物体検出装置
CN103077539A (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
CN101551901B (zh) 动态遮挡图像的实时补偿和增强方法
US20110261264A1 (en) Image Processing
CN109478329B (zh) 图像处理方法和装置
CN101489031A (zh) 基于运动分类的自适应帧速率上转换方法
CN111741186B (zh) 一种视频抖动检测方法、装置以及系统
CN106384359B (zh) 运动目标跟踪方法和电视
CN104735301A (zh) 视频时域去噪装置及方法
CN102447870A (zh) 静止物体检测方法和运动补偿装置
CN103324906B (zh) 一种遗留物检测的方法和设备
Hu et al. A low illumination video enhancement algorithm based on the atmospheric physical model
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
Srilekha et al. A novel approach for detection and tracking of vehicles using Kalman filter
EP1955548B1 (en) Motion estimation using motion blur information
CN108776972A (zh) 一种对象跟踪方法及装置
CN111860161B (zh) 一种目标遮挡检测方法
CN107154052A (zh) 对象状态估计的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171211

Address after: 102412 Beijing City, Fangshan District Yan Village Yan Fu Road No. 1 No. 11 building 4 layer 402

Patentee after: Beijing Si Lang science and Technology Co.,Ltd.

Address before: 100080 Zhongguancun East Road, Beijing, No. 95, No.

Patentee before: Institute of Automation, Chinese Academy of Sciences

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220119

Address after: 519031 room 532, building 18, No. 1889, Huandao East Road, Hengqin District, Zhuhai City, Guangdong Province

Patentee after: Zhuhai Jilang Semiconductor Technology Co.,Ltd.

Address before: 102412 room 402, 4th floor, building 11, No. 1, Yanfu Road, Yancun Town, Fangshan District, Beijing

Patentee before: Beijing Si Lang science and Technology Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 701, 7th Floor, Building 56, No. 2, Jingyuan North Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing 100176 (Beijing Pilot Free Trade Zone High-end Industry Zone Yizhuang Group)

Patentee after: Beijing Jilang Semiconductor Technology Co., Ltd.

Address before: 519031 room 532, building 18, No. 1889, Huandao East Road, Hengqin District, Zhuhai City, Guangdong Province

Patentee before: Zhuhai Jilang Semiconductor Technology Co.,Ltd.