CN100361503C - 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 - Google Patents

Abstract

一种图像处理技术领域的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，包括霉斑检测和霉斑填补两部分，所述的霉斑检测分为运动范围估计、运动检测和噪声判断，首先待修复序列通过运动范围估计判断当前帧的运动检测处理模式，运动检测采用双向匹配度算法进行，运动检测后，利用韦伯比和噪声特性判定当前帧的噪声点，并产生噪声标志图和背景色图；所述的霉斑填补，利用膨胀算法处理噪声标志图，克服噪声标定时的噪声边缘问题，然后根据膨胀后噪声标志图和背景色图对当前帧进行修复。本发现大大减少计算量，便于硬件实现，霉斑标定结果准确，修复效果平滑自然，在普通电视屏幕上霉斑噪声基本完全得到修复，人眼不再感觉到有霉斑噪声的存在。

Description

用自适应平滑修复模型修复电影胶片中霉斑噪声的方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种用自适应平滑修复模型修复电影胶片中霉斑噪声的方法。

背景技术

随着数字技术的不断深入，“数字电影”的概念响遍了大江南北，大有完全替代传统胶片电影的趋势。但是由于数字电影的前期投资很大，所以很多制片公司，特别是国内的制片公司，在现阶段还是在使用胶片进行前期拍摄，使用数字技术进行后期处理。因此在现代电影制作中，胶片电影转化成为数字电影是一个常用的处理流程。另一方面，一些珍贵的老胶片电影更有数字化的迫切需求。上个世纪，许多珍贵的历史、文化和艺术发展的记录都保存在一叠一叠的电影胶片中。随着时间的流逝，这些胶片发黄，发霉甚至烧毁，而那些保存其中的历史见证也因此而变得岌岌可危。为了更好的保存这些历史资料，同时也为了这些珍贵的资料能更好的被人们所利用，将其数字化以便长期保存更是势在必行。但是由于感光颗粒的自身特征、电影播放机机械原理等的种种原因，电影胶片上有很多不同类型的噪声形式。主要的噪声类型有闪烁噪声(Flicker)，划痕噪声(Scratch)，霉斑噪声(Blotch)，颗粒噪声(grain noise)和白噪声。在电影胶片的数字化中，需要将这些噪声用数字处理的方式加以修复。

经对现有技术的文献检索，至今尚未发现与本发明主题相同或者类似的文献报道。

发明内容

本发明的目的在于弥补现有技术的不足，提供一种用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，使其利用数字处理技术克服电影胶片中的霉斑噪声，便于硬件实现。本发明可以通过FPGA等方式实现，嵌入到电影录制或播放的硬件中，在电影前期处理或用户播放电影时进行实时的霉斑噪声修复处理。

本发明是通过以下技术方案实现的：本发明待处理视频序列首先进行霉斑检测，然后根据霉斑检测的结果生成噪声标志图和背景色图，并以此为依据对待处理视频序列进行霉斑填补处理。所述的霉斑检测分为运动范围估计、运动检测和噪声判断三个步骤，首先待处理视频序列通过运动范围估计判断当前帧的运动检测处理模式，根据前几帧的运动范围判断当前帧进行相应的大范围或小范围运动检测，运动检测采用双向匹配度算法进行，运动检测后，利用韦伯比和噪声特性判定当前帧的噪声点，并产生噪声标志图和背景色图。所述的霉斑填补处理由两步完成：首先利用膨胀算法处理噪声标志图，克服噪声标定时的噪声边缘问题，然后根据膨胀后噪声标志图和背景色图对当前帧进行修复。

以下对本发明作进一步的描述：

1.霉斑检测

视频序列被霉斑污染的过程可以表示为，

g(x，y，n)＝[1-d(x，y，n)]f(x，y，n)+d(x，y，n)N(x，y，n)   (1)

其中g(x，y，n)为被霉斑噪声污染后的视频序列中，位于第n帧(x，y)点的象素值；d(x，y，n)为第n帧中(x，y)点的噪声标志，d(x，y，n)＝0表示(x，y)点没有被污染，d(x，y，n)＝1表示被污染了；f(x，y，n)为没有被噪声污染的原始象素值；N(x，y，n)为霉斑象素值，N(x，y，n)≠f(x，y，n)。霉斑的检测就是检测出d(x，y，n)＝1的点。

霉斑修复中直接运用普通的运动估计方式则需要三步搜索，计算量大并且需要复杂的逻辑判断。为了解决这个问题，本发明设计了专门运用于霉斑检测的“双向匹配度算法”。这种算法只需一步运动检测，不加任何逻辑判断就能自适应的根据噪声污染情况得到合适的运动矢量，大大的减少了运动估计的计算量，适合成为实时处理视频序列的硬件实现算法。

具体的，霉斑检测分为运动范围估计、运动检测和噪声判断三个步骤：

(1)运动范围估计：对待处理视频序列首先进行运动范围估计处理。对于大部分象素的运动矢量较小的情况，先对其进行小范围运动估计，再对没有找到匹配点的象素进行大范围的运动估计；而对大部分象素的运动矢量都较大的情况，直接让该待处理视频序列进入大范围运动估计。采用运动范围判断模块来完成这个判断控制功能，模块功能的实现由控制量C_n和r决定。C_n表示第n帧中高速运动象素的预测比例；r表示连续直接进行三步搜索的次数。模型中还有一个内部参数，C’_n，表示第n帧中高速运动象素的实际比例。模型执行遵循如下准则：

I.C₀＝0，r＝0；C_n＝αC_n-1+(1-α)C’_n-1；

II.当C_n＜β或者r＞N′时，判断第n帧需要进行小范围的运动估计；否则，第n帧直接进入大范围搜索。

III.当模块判定进入小范围搜索时，r＝0；当模块进入大范围搜索时C’_n＝0，r＝r+1；

C₀＝0，r＝0表示控制量C₀，r的初始值为0，模块默认图像序列需要进行小范围运动估计；C_n的递推式表明：用于控制的预测比例，由前一帧中高速运动象素的实际比例和前一个预测比例两个数据决定。C_n＜β：预测有大部分象素在小范围运动时，系统才判定本帧需要经过双向搜索；r＞N′表示为至少每隔N′帧，进入小范围搜索，检测是否需要进行小范围搜索。

(2)运动检测：在运动检测时，算法采用双向运动估计方式，其核心算法是双向匹配度算法。结合运动范围估计的结果，运动检测分为了大范围运动估计和小范围运动估计两种模式。大范围运动估计由三步法双向运动估计模块实现，采用三步搜索结合双向匹配度算法搜索高速运动矢量；小范围运动估计由双向运动估计模块实现，采用双向匹配度算法结合全面搜索方式进行小范围运动估计。

所述的双向匹配度算法，定义在(k，l)方向的双向匹配度Ω(k，l)为：

Ω(k，l)＝1[R₁(k，l)]+1[R₂(k，l)]+1[μ×R₃(k，l)]    (2)

其中1(g)为块匹配度函数1(x)＝[1-exp(-x/η)]，R₁(k，l)，R₂(k，l)，R₃(k，l)为块匹配准则，如平均绝对差值、均方误差等。

双向匹配度算法目标为：在搜索范围内，使Ω(k，l)最小。令Ω(k，l)最小的(k，l)为最佳运动矢量(K，L)。

(3)噪声判断：利用人眼的对亮度变化敏感程度不同的特性，用韦伯比定义噪声判定门限，提高噪声检测对所有可视噪声点的侦察灵敏性。同时利用霉斑噪声的成片特性，将检测到的孤立噪声点定义为误判点，提高噪声检测的准确性。本发明用较低的门限来提高算法的灵敏度，追加辅助判定准则来降低误判率。

噪声判断具体实现如下：

I.由运动估计得到了被污染序列中，象素g(x，y，n)的运动矢量(K，L)、匹配点g(x-K，y-L，n-1)和g(x+K，y+L，n+1)。设定象素的空间亮度梯度为：

d₁＝|g|g(x，y，n)-g(x+K，y+L，n+1)|

d₂＝|g(x，y，n)-g(x-K，y-L，n-1)|    (3)

d₃＝|[g(x+K，y+K，n+1)-g(x-K，y-L，n-1)]/2|

II.以三个象素值中空间梯度值最小的两象素的亮度平均值做为背景色Back(x，y，n)。以|d₁|＝min[d₁，d₂，d₃]为例，则背景颜色Back(x，y，n)为：

Back(x，y，n)＝[g(x+K，y+L，n+1)+g(x，y，n)]/2    (4)

匹配门限T(x，y，n)＝θ×Back(x，y，n)。

III.令

Δg₁＝|g(x-K，y-L，n-1)-Back(x，y，n)|

Δg₂＝|g(x，y，n)-Back(x，y，n)|                  (5)

Δg₃＝|g(x+K，y+L，n+1)-Back(x，y，n)|

Δg₂表示当前象素与背景色的差值。如果Δg₂＜T(x，y，n)，则认为象素g(x，y，n)为正常象素，令d(x，y，n)＝0；

如果Δg₂＞T，且Δg₁＜T， Δg₃＜T则认为g(x，y，n)为差值噪声象素；如果两个条件都不满足的点认为是可疑象素。

IV.对于差值噪声象素点g(x，y，n)，判断其8个邻域中是否还有差值噪声象素，如果有则确定其为噪声象素，反之则认为不是。

2.霉斑填补

由于霉斑噪声区域存在1～3(pix)宽度的模糊边界，边界上点的噪声象素与真实象素比较接近。将这些边缘点纳入标定区域，最直接的想法就是提高噪声判断准则的灵敏度，使其能侦察到细小的亮度变化。但事实证明这种方式大大增大了标定的误判率。因此本发明采用图像处理中的形态学膨胀算法。用(2N+1)×(2N+1)的结构元素对噪声区域扩大，这样噪声周围距离小于N的象素都被纳入标定点，从而解决了噪声边缘问题。之后再利用霉斑检测时产生的背景色Back(x，y，n)直接对经过膨胀后的噪声标定点进行填补。

本发现的最大优点是减少运动估计的计算量。在15×15的运动估计范围内运动估计：对于低速运动测试序列，运动范围估计算法可以降低13％～34％的计算量。对于普通的电影，可降低5％～14％的计算量。而运动检测中使用的双向匹配度算法在噪声点上的运算量，理论上可以降到普通算法的50％，两种算法结合，大大降低了霉斑修复处理的计算量，便于硬件进行实时处理。其次，本发明霉斑标定结果准确，修复效果平滑自然，在普通电视屏幕上霉斑噪声基本完全得到修复，人眼不再感觉到有霉斑噪声的存在。

附图说明

图1为本发明中的自适应平滑修复模型原理框架。

具体实施方式

如图1所示，本发明方法中，待处理视频序列首先进行霉斑检测，然后根据霉斑检测的结果生成噪声标志图和背景色图，并以此为依据对视频序列进行霉斑填补处理。霉斑检测分为运动范围估计、运动检测和噪声判断三个主要步骤。首先待修复序列通过运动范围估计判断当前帧的运动检测处理模式。这个功能由运动范围估计模块实现，算法根据前几帧的运动范围判断当前帧进行相应的大范围或小范围运动检测。运动检测的核心算法为双向匹配度算法，主要由双向运动估计、三步法双向运动估计模块配合形成。运动检测后，利用韦伯比和噪声特性判定当前帧的噪声点，并产生噪声标志图和背景色图，由自适应噪声检测模块实现。霉斑填补处理由两步完成，首先利用噪声区域膨胀模块用膨胀算法处理噪声标志图，克服噪声标定时的噪声边缘问题，然后根据膨胀后噪声标志图和背景色图对当前帧进行修复。这部分由噪声区域膨胀和霉斑填补两个模块实现。修复过程如下：

(1).被污染的视频序列进入修复模型。

(2).运动范围判断模块判定对当前帧是否进行小范围搜索；如果是，则进入步骤(3)，否则进入步骤(5)；

(3).双向运动估计模块进行5×5范围内的搜索，得到运动矢量(K，L)，进入步骤(4)；

(4).自适应噪声检测模块根据运动矢量和被污染序列判定象素点类型，产生噪声标志图d(x，y，n)；进入步骤(6)；

(5).自适应噪声检测模块标定所有点为可疑点，进入步骤(6)；

(6).三步双向运动估计模块对标志为噪声点和可疑噪声点的象素进行大范围的运动检测；得到噪声点和可疑点的运动矢量，进入步骤(7)；

(7).自适应噪声检测模块根据噪声点和可疑点的运动矢量和被污染序列判定象素点类型，更新二值噪声标志图d(x，y，n)，将结果输入噪声区域膨胀模块，产生背景色图Back(x，y，n)输入霉斑填补模块，进入步骤(8)；

(8).噪声区域膨胀模块对步骤(7)产生的噪声标志图进行二值形态学膨胀，得到将噪声边缘纳入的新噪声标志图D_n(x，y，n)；

(9).噪声填补模块根据D_n(x，y，n)，对经过膨胀后的噪声标定点使用霉斑检测时使用的背景色Back(x，y，n)直接填补，得到修复后的输出序列。

以下对本发明的优选实施例进行说明，具体实施内容如下：

(一).对双向匹配度Ω(k，l)＝1[R₁(k，l)]+1[R₂(k，l)]+1[μ×R₃(k，l)]的参数确定。为了方便硬件实现，本发明将双向匹配度函数中的块匹配准则：R₁(k，l)，R₂(k，l)，R₃(k，l)取为平均绝对差，定义为：

$R_1(k,l)=\frac{1}{{(2H+1)}^2}\underset{x^{\′},y^{\′}=\±H}{\mathrm{\Σ}}|g(x+x^{\′},y+y^{\′},n)-g(x+k+x^{\′},y+l+y^{\′},n+1)|$

$R_2(k,l)=\frac{1}{{(2H+1)}^2}\underset{x^{\′},y^{\′}=\±H}{\mathrm{\Σ}}|g(x+x^{\′},y+y^{\′},n)-g(x-k+x^{\′},y-l+y^{\′},n-1)|$

$R_3(k,l)=\frac{1}{{(2H+1)}^2}\frac{\underset{x^{\′},y^{\′}=\±H}{\mathrm{\Σ}}|g(x-k+x^{\′},y-l+y^{\′},n-1)-g(x+k+x^{\′},y+l+y^{\′},n+1)|}{2}$

(6)

其中H为块匹配中块的宽度，本实施例中取H为1，即，采用3×3的块进行匹配计算。根据匹配块的平均绝对差的经验值推出：η＝3.11，μ＝1.25～1.3。

(二).运动范围判定模块中，判断参数的设定。

模块中设定C_n＝αC_n-1+(1-α)C’_n-1；C_n＜β或者r＞N′时判断第n帧需要进行小范围的运动估计。设定α＝0.4，β＝50％，N′＝10。

(三).自适应噪声检测模块中，匹配门限T(x，y，n)＝θ×Back(x，y，n)的设定。根据韦伯比设定较低的门限，θ＝0.045～0.056，可以侦测出所有可视噪声点。

(四).膨胀算法中，用(2N+1)×(2N+1)的结构元素对噪声区域扩大。由T(x，y，n)＝0.05×Back(x，y，n)的门限检测时，噪声边缘又1～3象素宽的象素点很难纳入标定点，所以设定N＝2的5×5的结构元素，进行直接扩大。

实施效果：本发明专门针对噪声特性设计了双向匹配度算法。该算法能不加任何逻辑判断，自适应的根据噪声的污染情况找到需要的运动矢量，适合硬件实现。通过双向匹配度算法、大小范围运动估计结合的方式，本发明大大降低了运动估计在霉斑检测中的计算量；同时通过韦伯比提高可见噪声检测精度。在霉斑修复时运用膨胀算法克服了霉斑检测中的边缘问题使得修复的视频图像更加平滑细腻。

Claims (8)

1.一种用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征在于，待处理视频序列首先进行霉斑检测，然后根据霉斑检测的结果生成噪声标志图和背景色图，并以此为依据对待处理视频序列进行霉斑填补处理，所述的霉斑检测分为运动范围估计、运动检测和噪声判断三个步骤：首先待处理视频序列通过运动范围估计判断当前帧的运动检测处理模式，根据前几帧的运动范围判断当前帧进行相应的大范围或小范围运动检测，运动检测采用双向匹配度算法进行，运动检测后，利用韦伯比和噪声特性判定当前帧的噪声点，并产生噪声标志图和背景色图；所述的霉斑填补处理由两步完成：首先利用膨胀算法处理噪声标志图，克服噪声标定时的噪声边缘问题，然后根据膨胀后噪声标志图和背景色图对当前帧进行修复。

2.根据权利要求1所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的运动范围估计，具体为：对待处理视频序列首先进行运动范围估计处理，对于大部分象素的运动矢量较小的情况，先对其进行小范围运动估计，再对没有找到匹配点的象素进行大范围的运动估计；而对大部分象素的运动矢量都较大的情况，直接让该待处理视频序列进入大范围运动估计。

3.根据权利要求1或者2所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的运动范围估计，采用运动范围判断模块来完成判断控制功能，模块功能的实现由控制量C_n和r决定，C_n表示第n帧中高速运动象素的预测比例，r表示连续直接进行三步搜索的次数，模型中还有一个内部参数C’_n，表示第n帧中高速运动象素的实际比例，模型执行遵循如下准则：

I.C₀＝0，r＝0；C_n＝αC_n-1+(1-α)C’_n-1；

II.当C_n＜β或者r＞N′时，判断第n帧需要进行小范围的运动估计，否则，第n帧直接进入大范围搜索；

III.当模块判定进入小范围搜索时，r＝0；当模块进入大范围搜索时C’_n＝0，r＝r+1；

C₀＝0，r＝0表示控制量C₀，r的初始值为0，模块默认图像序列需要进行小范围运动估计；C_n的递推式表明：当前帧的高速运动象素预测比例，由前一帧中高速运动象素的实际比例和前一帧中高速运动象素的预测比例两个数据决定；其中参数α为C_n递推式的权重控制因子；

C_n＜β表示预测当前帧中有大部分象素在小范围运动；r＞N′表示当前帧之前，已连续N′帧为大范围搜索，当两个判决式有一个满足时，系统判定本帧需要经过小范围搜索；其中参数β为高速运动象素的比例控制因子，参数N′为大范围搜索的最大连续帧数。

4.根据权利要求1所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的运动检测，是指：在运动检测时，采用双向匹配度算法，结合运动范围估计的结果，运动检测分为大范围运动估计和小范围运动估计两种模式，大范围运动估计由三步法双向运动估计模块实现，采用三步搜索结合双向匹配度算法搜索高速运动矢量；小范围运动估计由双向运动估计模块实现，采用双向匹配度算法结合全面搜索方式进行小范围运动估计。

5.根据权利要求1或者4所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的双向匹配度算法，具体为：

在(k，l)方向的双向匹配度Ω(k，l)定义为：

Ω(k，l)＝1[R₁(k，l)]+1[R₂(k，l)]+1[μ×R₃(k，l)]

其中R₁(k，l)，R₂(k，l)，R₃(k，l)为块匹配准则，R₁(k，l)进行当前帧与前向参考帧之间的匹配，R₂(k，l)进行当前帧与后向参考帧之间的匹配，R₃(k，l)进行前向参考帧与后向参考帧之间的匹配，μ为R₃(k，l)的权重控制因子，1(g)为块匹配度函数1(x)＝[1-exp(-x/η)]，其中η为1(g)函数的斜率控制因子，双向匹配度算法目标为：在搜索范围内，使Ω(k，l)最小，令Ω(k，l)最小的(k，l)为最佳运动矢量(K，L)。

6.根据权利要求1所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的噪声判断，利用人眼的对亮度变化敏感程度的特性，用韦伯比定义噪声判定门限，提高噪声检测对所有可视噪声点的侦察灵敏性，同时利用霉斑噪声的成片特性，将检测到的孤立噪声点定义为误判点，提高噪声检测的准确性。

7.根据权利要求1或者6所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的噪声判断，具体实现如下：

I.由运动估计得到了被污染序列中，象素g(x，y，n)的运动矢量(K，L)、匹配点g(x-K，y-L，n-l)和g(x+K，y+L，n+1)，设定象素的空间亮度梯度为：

d₁＝|g(x，y，n)-g(x+K，y+L，n+1)|

d₂＝|g(x，y，n)-g(x-K，y-L，n-1)|

d₃＝|[g(x+K，y+K，n1)-g(x-K，y-L，n-1)]/2|

其中g(x，y，n)表示位于第n帧中，横坐标为x纵坐标为y的象素值；

II.以三个象素值中空间梯度值最小的两象素的亮度平均值做为背景色Back(x，y，n)，并设定匹配门限T(x，y，n)＝θ×Back(x，y，n)；其中θ为根据韦伯比设定的门限控制参数；

III.令Δg₁＝|g(x-K，y-L，n-1)-Back(x，y，n)|

Δg₂＝|g(x，y，n)-Back(x，y，n)|

Δg₃＝|g(x+K，y+L，n+1)-Back(x，y，n)|

Δg₂表示当前象素与背景色的差值，如果Δg₂＜(x，y，n)，则认为象素g(x，y，n)为正常象素，令噪声判断标志d(x，y，n)＝0，表示位于第n帧中，横坐标为x纵坐标为y的象素为正常象素；如果Δg₂＞T，且Δg₁＜T，Δg₃＜T则认为g(x，y，n)为差值噪声象素，如果两个条件都不满足的点，认为是可疑象素；

IV.对于差值噪声象素点g(x，y，n)，判断其8个邻域中是否还有差值噪声象素，如果有则确定其为噪声象素。

8.根据权利要求1所述的用自适应平滑修复模型修复电影胶片中霉斑噪声的方法，其特征是，所述的霉斑填补，具体为：采用图像处理中的形态学膨胀算法，用(2N+1)×(2N+1)的结构元素对噪声区域扩大，这样噪声周围距离小于N的象素都被纳入标定点，从而解决了噪声边缘问题，其中N为膨胀结构元素形状控制参数，之后再利用霉斑检测时产生的背景色Back(x，y，n)直接对经过膨胀后的噪声标定点(x，y，n)进行填补，其中(x，y，n)表示位于第n帧中，横坐标为x纵坐标为y的点。

Images