CN104917933B - 基于相位一致性和场景运动估计的微光视频去噪方法 - Google Patents
基于相位一致性和场景运动估计的微光视频去噪方法 Download PDFInfo
- Publication number
- CN104917933B CN104917933B CN201510283869.6A CN201510283869A CN104917933B CN 104917933 B CN104917933 B CN 104917933B CN 201510283869 A CN201510283869 A CN 201510283869A CN 104917933 B CN104917933 B CN 104917933B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- image
- msubsup
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明公开了一种基于相位一致性和场景运动估计的微光视频去噪方法，首先根据相位一致性方法求取待配准图像和参考图像的边缘图像，然后根据基于场景配准方法将边缘图像进行配准，再将配准后的两图像做差，求出运动目标对应像素，进而对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系，最后将两图像之间所有对应像素进行加权平均，完成后输出去噪的图像。本发明能够有效保证配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。
Description
技术领域
本发明属于微光视频图像去噪技术领域，特别是一种基于相位一致性和场景运动估计的微光视频去噪方法。
背景技术
图像去噪处理是图像处理领域中一项基本技术。对于数字图像去噪，国内外已经有了大量的研究成果，其研究热点着重于两个方面：基于空间域和基于变换域的去噪算法。其中空间域去噪是对带噪图像的像素点直接进行处理，常见的方法有均值滤波、中值滤波以及多种改进的空间域去噪方法(见文献1：张旭明，徐滨士，董世运.用于图像处理的自适应中值滤波[J].计算机辅助设计与图形学学报，2005，Vol.17，No.2.295-299)。但是由于是对带噪图像的像素点直接进行处理，考虑图像中的边缘结构特征较少，所以在降噪的同时使图像产生较为严重的模糊。而变换域滤波的基本思想是先将带噪图像从空域转换到变换域，在变换域采用恰当的滤波方法滤除噪声，然后将处理过的变换域信息经反变换得到空域的结果(见文献2：谢杰成，张大力，徐文立.小波图象去噪综述[J].中国图象图形学报，2002，Vol.7，No.3.210-216)。但基于变换域的方法往往算法复杂度较高，处理时间过长。
由于视频序列是由时间轴上的若干静态图像组成，在连续帧间具有大量的时间相关性，因此对微光视频序列进行降噪，除了要关注其单帧图像的空间相关性，还要对时域的处理给以一定的关注。现有的时域滤波一般分为带运动估计和不带运动估计两大类。不带运动估计的方法对于运动缓慢的微光视频序列有较好的效果，而对于微光视频序列中剧烈运动部分则会有过平滑的效果，容易造成运动目标模糊，边缘拖尾等现象(见文献3：唐权华.视频时空联合模型与去噪研究[D].四川：西南交通大学，2010)。而基于运动估计的自适应滤波算法则可以最大程度的解决这个问题，然而，由于噪声对时域相关性的影响，要实现快速并且准确的运动估计仍有很多问题需要解决。
因为微光视频是在极低的光照下拍摄的视频，所以微光视频图像相比常见视频图像最大的区别在于前者含有大量噪声。大量的噪声不仅会造成图像细节无法分辨，也会导致后期难以进行精确的图像配准和运动估计。因此，要实现高质量的微光视频去噪的一个关键问题就是如何对包含大量噪声的运动场景中每一个像素点进行准确的运动估计。因为错误的运动估计会直接导致滤波后目标模糊或产生拖尾现象。然而，目前传统的运动估计方法，通常需要对图像里所有像素进行运动估计运算，这样做往往需要花费很长的时间。
发明内容
本发明的目的在于提供一种基于相位一致性和场景运动估计的微光视频去噪方法，以提高微光视频去噪的速度与去噪后图像质量。
实现本发明目的的技术解决方案为：一种基于相位一致性和场景运动估计的微光视频去噪方法，步骤如下：
步骤一，读入视频第一帧图像，然后输出，并作为待配准图像Ii-1；
步骤二，读入视频第二帧图像，作为参考图像Ii；
步骤三，根据相位一致性方法求取待配准图像Ii-I和参考图像Ii的边缘图像PCi-1和PCi；
步骤四，根据基于场景配准方法将边缘图像PCi-1对PCi进行配准；
步骤五，将配准后的图像I′i-1和Ii做差，求出运动目标对应像素；
步骤六，对运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系；
步骤七，将步骤六运动估计得到的图像I″i-1与Ii之间所有对应像素进行加权平均，完成后输出去噪后的第i帧图像Ifusion；
步骤八，读入下一帧图像作为参考图像，将上一帧输出的图像Ifusion作为待配准图像，循环操作第三步到第八步，直至完成视频所有帧图像的去噪。
本发明与现有技术相比，其显著优点为：(1)利用相位一致性原理求取图像的边缘，然后根据边缘图像进行场景配准，能够避免光强变化对图像配准的影响，有效保证场景配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。(2)采用先场景配准，后运动估计的策略对微光视频图像中所有像素进行配准，在防止去噪后图像拖尾的同时，降低了运动估计的数据量，极大的提高了去噪算法的效率。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于相位一致性和场景运动估计的微光视频去噪方法的流程示意图。
图2(a)表示的是第10帧图像，图2(b)表示的是去噪后的第9帧图像。图2(c)、2(d)分别表示的是根据相位一致性求出的图2(a)和图2(b)的边缘图像，图2(e)表示的是根据场景配准原理求出的图2(c)和图2(d)的匹配程度函数图，图2(f)表示的是最终去噪后的第10帧图像。
图3(a)、图3(b)、图3(c)分别表示的是高噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图3(d)、图3(e)、图3(f)分别表示的是高噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。
图4(a)、图4(b)、图4(c)分别表示的是中等噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图4(d)、图4(e)、图4(f)分别表示的是中等噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。
图5(a)、图5(b)、图5(c)分别表示的是低噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图5(d)、图5(e)、图5(f)分别表示的是低噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。
具体实施方式
结合图1，本发明基于相位一致性和场景运动估计的微光视频去噪方法，首先根据相位一致性方法求取待配准图像和参考图像的边缘图像，然后根据基于场景配准方法将边缘图像进行配准，再将配准后的两图像做差，求出运动目标对应像素，进而对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系，最后将两图像之间所有对应像素进行加权平均，完成后输出。流程示意图如图1所示，具体实现步骤如下：
步骤一：读入视频第一帧图像，然后输出，并作为待配准图像Ii-1。
步骤二：读入视频第二帧图像，作为参考图像Ii。
步骤三：根据相位一致性方法求取待配准图像Ii-1和参考图像Ii的边缘图像PCi-1和PCi。根据相位一致性方法求取边缘图像的公式为：
FI＝fft2(Ii)
其中，Ii为第i帧输入的参考图像，FI为输入图像I的频谱，fft2(·)表示做二维快速傅立叶变换，为输入的图像I经过尺度n下的Gabor滤波器滤波后的结果的实部，Gn为尺度n下的Gabor滤波器，ifft2(·)表示做逆二维快速傅立叶变换，re[·]表示取实部，和分别表示输入的图像I经过尺度n下的Gabor滤波器和Hilbert滤波器滤波后的结果的实部和虚部，H为Hilbert滤波器，im[·]表示取虚部，An为图像I在尺度n下的幅值，EGr，EGHr和EGHi分别为图像I在不同滤波器下的局部能量，Asum为图像I在所有尺度下的幅值的总和，Esum为图像I所有局部能量的总和，PCi为第i帧根据相位一致性求取的边缘图像，W为频率传播加权系数，为一个数学运算符，当所求值为正时最终结果取自身，否则为0；T为噪声强度阈值，只有能量值超过噪声阈值T才被计入结果内(经验上T的取值范围为[1，5]，本发明中T＝2)；ε为一个很小的常量(本发明中ε＝0.0001)，以避免分母为0。
步骤四：根据基于场景配准方法对边缘图像PCi-1对PCi进行配准。基于场景配准方法的公式为：
Fi-1＝fft2(PCi-1)
Fi＝fft2(PCi)
C＝fft2(Fcor)
[RowC，ColC]＝findmax(C)
I′i-1＝TRC[Ii-1，Δx，Δy]
其中，PCi-1和PCi分别表示第i-1和i帧根据相位一致性求取的边缘图像，Fi-1和Fi分别表示边缘图像PCi-1和PCi的频谱，Fi *为频谱Fi的复共轭频谱，|·|表示取绝对值，Fcor为频谱Fi-1和Fi *的协方差，C为边缘图像PCi-1和PCi的匹配程度函数，findmax(·)表示求出矩阵中最大值对应的行数和列数，RowC和ColC分别为矩阵C中最大值对应的行数和列数，Δx和Δy分别为求出的x和y方向的偏移量，N和M分别为图像Ii在x和y方向上的像素个数，max(·)表示求矩阵的最大值，mean(·)表示求矩阵的平均值，TRC[Ii-1，Δx，Δy]表示根据偏移量Δx和Δy对图像Ii-1进行配准，I′i-1为图像Ii-1配准后的结果。
步骤五：将配准后的图像I′i-1和Ii做差，求出运动目标对应像素。
步骤六：对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系。进行运动估计的公式为：
[RowS，ColS]＝findmax(S)
I″i-1＝TRS[I′i-1，Δi，Δj]
其中，(x，y)为图像中的x和y方向上的坐标，S为图像Ii和Ii-1的运动估计函数，(i，j)为运动估计函数S中在x和y方向上的坐标，∑表示进行求和运算，RowS和ColS分别为矩阵S中最大值对应的行数和列数，Δi和Δj分别为求出的x和y方向上的运动估计量，TRS[I′i-1，Δi，Δj]表示根据运动估计量Δi和Δj对图像Ii-1进行运动估计，Ii-1为图像Ii-1运动估计后的结果。
步骤七：将步骤六运动估计得到的图像I″i-1与Ii之间所有对应像素进行加权平均，完成后输出去噪后的第i帧图像Ifusion。进行加权平均的公式为：
其中，Ifusion表示去噪后的第i帧图像，Ifusion(x，y)表示去噪后的第i帧图像中坐标(x，y)处的灰度值，Ii-1表示第i-1帧图像Ii-1经过配准和运动估计后的图像，Ii表示第i帧图像，I″i-1(x，y)和Ii(x，y)分别表示图像I″i-1和Ii中坐标(x，y)处的灰度值。
步骤八：读入下一帧(第三帧)图像作为参考图像，将上一帧输出的图像Ifusion作为待配准图像，循环操作第三步到第八步，直至完成视频所有帧图像的去噪。
通过上述步骤可以看出，本发明能够有效保证配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。此外无需对整幅图像所有像素进行运动估计，只需要对运动目标对应像素进行运动估计，在保持较好的去噪效果前提下，显著提高去噪处理速度，特别适用于微光视频中出现场景大范围运动的情况。
为了测试基于相位一致性和场景运动估计的微光视频去噪方法的去噪效果，我们分别对3段不同噪声程度下的微光视频进行了去噪实验。实验中，微光视频图像大小为576行768列，微光视频速率为30FPS。以低噪声情况下微光视频为例，取第10帧图像为当前帧时(如图2(a)所示)，去噪后的第9帧图像则为前一帧(如图2(b)所示)。根据相位一致性求出的这两幅图像的边缘图像如图2(c)和2(d)所示。根据场景配准原理求出的两幅边缘图像的匹配程度函数图如图2(e)所示，最终去噪后的第10帧图像如图2(f)所示。从图2(a)和图2(b)中可以看出，第10帧图像相对于第9帧图像向左移动了几个像素的距离。从图2(c)和图2(d)中可以看出，利用相位一致性原理可以精确的求出图像中的边缘信息。从图2(e)中可以看出，利用场景配准原理求出的匹配程度函数包含一个明显的最大值，这个最大值所在的坐标到图像中心的距离就是所要求的配准参数。相比于图2(a)，图2(f)更加清晰，图像中的目标信息更容易分辨，说明本方法能够实现很好的微光视频去噪效果。
图3(a)、图3(b)、图3(c)分别表示的是高噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图3(d)、图3(e)、图3(f)分别表示的是高噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。图4(a)、图4(b)、图4(c)分别表示的是中等噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图4(d)、图4(e)、图4(f)分别表示的是中等噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。图5(a)、图5(b)、图5(c)分别表示的是低噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图5(d)、图5(e)、图5(f)分别表示的是低噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。比较去噪前后的微光图像，明显可以看出去噪后微光图像的清晰度远高于原始的微光图像。由此可以看出本方法基于相位一致性和场景运动估计的微光视频去噪方法的优越性。
Claims (5)
1.一种基于相位一致性和场景运动估计的微光视频去噪方法，其特征在于步骤如下：
步骤一，读入视频第一帧图像，然后输出，并作为待配准图像Ii-1；
步骤二，读入视频第二帧图像，作为参考图像Ii；
步骤三，根据相位一致性方法求取待配准图像Ii-1和参考图像Ii的边缘图像PCi-1和PCi；
步骤四，根据基于场景配准方法将边缘图像PCi-1对PCi进行配准；
步骤五，将配准后的图像I′i-1和Ii做差，求出运动目标对应像素；
步骤六，对运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系；
步骤七，将步骤六运动估计得到的图像I″i-1与Ii之间所有对应像素进行加权平均，完成后输出去噪后的第i帧图像Ifusion；
步骤八，读入下一帧图像作为参考图像，将上一帧输出的图像Ifusion作为待配准图像，循环操作第三步到第八步，直至完成视频所有帧图像的去噪。
2.根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特征在于在步骤三中，根据相位一致性方法求取边缘图像的公式为：
FI＝fft2(Ii)
<mrow>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>r</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<mi>r</mi>
<mi>e</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mi>t</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>I</mi>
</msub>
<mo>&CenterDot;</mo>
<msup>
<mi>G</mi>
<mi>n</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>r</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<mi>r</mi>
<mi>e</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mi>t</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>I</mi>
</msub>
<mo>&CenterDot;</mo>
<msup>
<mi>G</mi>
<mi>n</mi>
</msup>
<mo>&CenterDot;</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>i</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<mi>i</mi>
<mi>m</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mi>t</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>I</mi>
</msub>
<mo>&CenterDot;</mo>
<msup>
<mi>G</mi>
<mi>n</mi>
</msup>
<mo>&CenterDot;</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msup>
<mi>A</mi>
<mi>n</mi>
</msup>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>r</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>r</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>i</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>G</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>r</mi>
</mrow>
<mi>n</mi>
</msubsup>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>r</mi>
</mrow>
<mi>n</mi>
</msubsup>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>i</mi>
</mrow>
<mi>n</mi>
</msubsup>
</mrow>
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mi>A</mi>
<mi>n</mi>
</msup>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>G</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>G</mi>
<mi>H</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
其中，Ii为第i帧输入的参考图像，FI为输入图像I的频谱，fft2(·)表示做二维快速傅立叶变换，为输入的图像I经过尺度n下的Gabor滤波器滤波后的结果的实部，Gn为尺度n下的Gabor滤波器，ifft2(·)表示做逆二维快速傅立叶
变换，re[·]表示取实部，和分别表示输入的图像I经过尺度n下的Gabor滤波器和Hilbert滤波器滤波后的结果的实部和虚部，H为Hilbert滤波器，im[·]表示取虚部，An为图像I在尺度n下的幅值，EGr，EGHr和EGHi分别为图像I在不同滤波器下的局部能量，Asum为图像I在所有尺度下的幅值的总和，Esum为图像I所有局部能量的总和，PCi为第i帧根据相位一致性求取的边缘图像，W为频率传播加权系数，为一个数学运算符，当所求值为正时最终结果取自身，否则为0；T为噪声强度阈值，只有能量值超过噪声阈值T才被计入结果内；ε为一个常量。
3.根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特征在于在步骤四中，基于场景配准方法的公式为：
Fi-1＝fft2(PCi-1)
Fi＝fft2(PCi)
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mo>*</mo>
</msubsup>
</mrow>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mo>*</mo>
</msubsup>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
C＝fft2(Fcor)
[RowC,ColC]＝findmax(C)
<mrow>
<mi>&Delta;</mi>
<mi>x</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>N</mi>
<mo>/</mo>
<mn>2</mn>
<mo>+</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>Col</mi>
<mi>C</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>C</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>20</mn>
<mo>&CenterDot;</mo>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>C</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>&Delta;</mi>
<mi>y</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mo>/</mo>
<mn>2</mn>
<mo>+</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>Row</mi>
<mi>C</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>C</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>20</mn>
<mo>&CenterDot;</mo>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>C</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
I′i-1＝TRC[Ii-1,Δx,Δy]
其中，PCi-1和PCi分别表示第i-1和i帧根据相位一致性求取的边缘图像，Fi-1和Fi分别表示边缘图像PCi-1和PCi的频谱，Fi *为频谱Fi的复共轭频谱，|·|表示取绝对值，Fcor为频谱Fi-1和Fi *的协方差，C为边缘图像PCi-1和PCi的匹配程度函数，findmax(·)表示求出矩阵中最大值对应的行数和列数，RowC和ColC分别为矩阵C中最大值对应的行数和列数，Δx和Δy分别为求出的x和y方向的偏移量，N和M分别为图像Ii在x和y方向上的像素个数，max(·)表示求矩阵的最大值，mean(·)表示求矩阵的平均值，TRC[Ii-1,Δx,Δy]表示根据偏移量Δx和Δy对图像Ii-1进行配准，I′i-1为图像Ii-1配准后的结果。
4.根据权利要求3所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特征在于在步骤六中，对运动目标对应像素进行运动估计的公式为：
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
[RowS,ColS]＝findmax(S)
<mrow>
<mi>&Delta;</mi>
<mi>i</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>N</mi>
<mo>/</mo>
<mn>2</mn>
<mo>+</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>Col</mi>
<mi>S</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>S</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>20</mn>
<mo>&CenterDot;</mo>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>S</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>&Delta;</mi>
<mi>j</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mo>/</mo>
<mn>2</mn>
<mo>+</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>Row</mi>
<mi>S</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>S</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>20</mn>
<mo>&CenterDot;</mo>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>S</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
I″i-1＝TRS[I′i-1,Δi,Δj]
其中，(x,y)为图像中的x和y方向上的坐标，S为图像Ii和I′i-1的运动估计函数，(i,j)为运动估计函数S中在x和y方向上的坐标，∑表示进行求和运算，RowS和ColS分别为矩阵S中最大值对应的行数和列数，Δi和Δj分别为求出的x和y方向上的运动估计量，TRS[I′i-1,Δi,Δj]表示根据运动估计量Δi和Δj对图像I′i-1进行运动估计，I″i-1为图像I′i-1运动估计后的结果。
5.根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特征在于在步骤七中，进行加权平均的公式为：
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>f</mi>
<mi>u</mi>
<mi>s</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mrow>
<mn>2</mn>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mrow>
<mn>2</mn>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，Ifusion表示去噪后的第i帧图像，Ifusion(x,y)表示去噪后的第i帧图像中坐标(x,y)处的灰度值，I″i-1表示第i-1帧图像Ii-1经过配准和运动估计后的图像，Ii表示第i帧图像，I″i-1(x,y)和Ii(x,y)分别表示图像I″i-1和Ii中坐标(x,y)处的灰度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510283869.6A CN104917933B (zh) | 2015-05-28 | 2015-05-28 | 基于相位一致性和场景运动估计的微光视频去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510283869.6A CN104917933B (zh) | 2015-05-28 | 2015-05-28 | 基于相位一致性和场景运动估计的微光视频去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104917933A CN104917933A (zh) | 2015-09-16 |
| CN104917933B true CN104917933B (zh) | 2018-01-05 |
Family
ID=54086607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510283869.6A Active CN104917933B (zh) | 2015-05-28 | 2015-05-28 | 基于相位一致性和场景运动估计的微光视频去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104917933B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105338220B (zh) * | 2015-10-30 | 2018-11-13 | 南京理工大学 | 一种自适应对运动的电子倍增ccd视频图像去噪的方法 |
| CN107610072B (zh) * | 2017-10-10 | 2020-08-11 | 北京理工大学 | 一种基于梯度引导滤波的微光视频图像自适应降噪方法 |
| CN107886487B (zh) * | 2017-12-03 | 2021-04-27 | 南京理工大学 | 基于fpga的微光视频帧间累加降噪算法的实时实现方法 |
| CN109116279B (zh) * | 2018-08-21 | 2020-11-10 | 上海交通大学 | 一种基于核磁共振谱洛伦兹曲线数学性质的小波去噪方法 |
| CN113315884A (zh) * | 2020-02-26 | 2021-08-27 | 华为技术有限公司 | 一种实时视频降噪方法、装置、终端及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609550A (zh) * | 2009-07-10 | 2009-12-23 | 南方医科大学 | 基于流形子空间的图像配准方法 |
| CN102693528A (zh) * | 2011-03-01 | 2012-09-26 | 微软公司 | 低光度图像中的噪声抑制 |
| CN103501401A (zh) * | 2013-10-01 | 2014-01-08 | 中国人民解放军国防科学技术大学 | 面向超大噪声基于预滤波的实时视频去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8149336B2 (en) * | 2008-05-07 | 2012-04-03 | Honeywell International Inc. | Method for digital noise reduction in low light video |
-
2015
- 2015-05-28 CN CN201510283869.6A patent/CN104917933B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609550A (zh) * | 2009-07-10 | 2009-12-23 | 南方医科大学 | 基于流形子空间的图像配准方法 |
| CN102693528A (zh) * | 2011-03-01 | 2012-09-26 | 微软公司 | 低光度图像中的噪声抑制 |
| CN103501401A (zh) * | 2013-10-01 | 2014-01-08 | 中国人民解放军国防科学技术大学 | 面向超大噪声基于预滤波的实时视频去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于小波变换的夜视图像去噪和融合方法;张爱民;《电子测量技术》;20150131;第38卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104917933A (zh) | 2015-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104917933B (zh) | 基于相位一致性和场景运动估计的微光视频去噪方法 | |
| CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
| CN101551901B (zh) | 动态遮挡图像的实时补偿和增强方法 | |
| Zhang et al. | Simultaneous enhancement and noise reduction of a single low‐light image | |
| CN103873743A (zh) | 一种基于结构张量和卡尔曼滤波的视频去噪方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN105046664A (zh) | 一种基于自适应epll算法的图像去噪方法 | |
| CN102968770A (zh) | 噪声消除方法及装置 | |
| CN110796616A (zh) | 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
| CN106530244A (zh) | 一种图像增强方法 | |
| CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
| Sandoub et al. | A low‐light image enhancement method based on bright channel prior and maximum colour channel | |
| CN102789634B (zh) | 一种获取光照均一化图像的方法 | |
| Zhu et al. | Semi-supervised wide-angle portraits correction by multi-scale transformer | |
| CN102222327A (zh) | 基于Treelet变换和最小均方误差估计的图像去噪方法 | |
| CN112465725B (zh) | 一种基于PWC-Net的红外图像帧率上转换方法 | |
| CN104616259A (zh) | 一种噪声强度自适应的非局部均值图像去噪方法 | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| CN111899200B (zh) | 一种基于3d滤波的红外图像增强方法 | |
| CN103218792B (zh) | 一种基于配准的红外图像噪声时域滤波方法 | |
| Sun et al. | Partial Differential Equations‐Based Iterative Denoising Algorithm for Movie Images | |
| Wang et al. | An effective algorithm for single image fog removal | |
| CN103903239A (zh) | 一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其系统 | |
| CN103020923A (zh) | 模糊增强的光电搜索跟踪系统图像预处理方法 | |
| Sun et al. | Color image denoising based on guided filter and adaptive wavelet threshold |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200812 Address after: 4 / F, unit 2, building B4, science and technology complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province, 210019 Patentee after: Nanjing University of technology intelligent computing Imaging Research Institute Co.,Ltd. Address before: 210094 No. 200, Xiaolingwei, Jiangsu, Nanjing Patentee before: NANJING University OF SCIENCE AND TECHNOLOGY |