CN101674397A - 视频序列中划痕的修复方法 - Google Patents

Abstract

本发明公开了视频序列中划痕的修复方法，它包括步骤：(1)读入视频序列和每一帧划痕检测掩模；(2)梯度按垂直和水平方向离散化，利用整体变分修复模型沿垂直或水平方向修复划痕；(3)梯度按斜向离散化，利用整体变分修复模型沿斜向修复划痕；(4)通过权值令步骤(2)、(3)结合起来，既沿水平或垂直方向又沿斜向方修复划痕；(5)利用阈值或迭代次数判断迭代修复是否结束；(6)输出保存修复后的视频序列。该方法省略划痕两端相关性弱的像素点的计算，避免了错误信息的传递，并且使用了两种梯度离散化方法，实现既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息使修复结果更加准确。

Description

视频序列中划痕的修复方法

技术领域

本发明属于数字视频图像处理领域，具体地说是涉及一种应用于电影电视的胶片和磁带的数字化视频序列中划痕的修复方法。

背景技术

划痕是视频序列中最常见的一种损伤，产生的主要原因是胶片在播放、拷贝以及倒卷过程中被坚硬颗粒引起的刮擦，主要为垂直和水平划痕两种，表现为黑色和白色，宽度通常为3～10个像素。视频序列中的划痕通常在相同位置附近持续出现若干帧。划痕的形状细长，两端的相关性比较弱，甚至有些划痕在垂直或者水平方向贯穿整帧画面，两端可利用的信息有限，增加了划痕的修复难度。

由于垂直划痕在连续帧上持续出现在相同位置，从视频序列前后帧中可获得的有用信息非常有限，时域的修复方法并不适合，常采用空间插值的方法修复]，如Lee C.H.Restoringspline interp-olation of CT images[J].IEEE Transactions on Medical Imaging，September 1983，2(3)：142-149.和Li S.Z.，Chan K.L.，Wang H.Bayesian image restorationand segmentation by constrained optimization[C].CVPR’96，Int.Conf.on ComputerVision and Pattern Recognition，Jun 1996，{18}：1-6还有Philippe Thevenaz，Thieny Blu，Michael Unser.Interpolation Revisited[J].IEEE Trans on MedicalImaging，Jul.2000，19(7)：739-758，利用邻近像素点灰度值的加权平均来计算未知像素点的灰度值，这种方法修复速度比较快，但不能保持画面的结构特征，视觉效果上会有一定的模糊和平滑效应。另外还有利用小波域对垂直划痕修复，如T.Bretschneider，O.Kao，P.J.Bonws.Removal of Verti-cal Scratches in Digitised Historical Film Sequences Using WaveletDecomposition[C].New Zealand：Proceedings of the Image and Vision Computing，2000，：38-43，这种方法利用三次样条插值修复垂直方向的小波系数，有效的保留了图像的高频分量，但在局部图像上仍能看出轻微的划痕痕迹，实际上就是频域的插值方法。而后出现图像修补技术，Chan等人提出的基于整体变分(Total Variation，TV)模型的图像修补方法，T.Chan，J.Shen.Mathematical Models for Local Non-texture Inpaintings[J].SIAM.Applied Mathematics，2002，62(3)：1019-1043和Rudin L.I.，Osher S.TotalVariation Based Image Restoration with Free Local Constraints[C].Austin：IEEEInternational Conference on Image Proc，1994，{1}：31-35还有Rudin L.I.，Osher S，FatemiE.Nonlinear Total Variation Based Noise Removal Algorithms[J].Physical，1992，60(4)：259-268，具有抑制图像噪声的同时保持图像的边缘结构的优点，主要思想是最小化整体变分，将待修补区域周围的信息各向异性的传播到修补区域中，对小块损伤区域修复效果良好，但由于划痕两端相关性较弱，可利用的信息比较有限，继续利用八邻域的像素点会产生错误积累。而且，需要主观标出划痕的损伤区域，对于数据量庞大的视频序列工作量比较大。

通过对上海文广音像资料馆提供的带有划痕损伤的视频资料进行修复的分析，划痕的修复有以下不足：

1、由于垂直和水平划痕在连续帧上持续出现在相同位置，从视频序列前后帧中可获得的有用信息非常有限，时域的修复方法并不适合。

2、现有的其它方法对划痕的修复是利用划痕的邻域一周的像素点进行修复，由于垂直和水平划痕的形状特点，垂直划痕的上端和下端以及水平划痕的左端和右端的距离比较远，相关性比较弱，甚至有些划痕在垂直或水平方向贯穿整帧画面，划痕的两端没有可利用的信息，用现有的方法修复垂直和水平划痕会产生错误信息的传递，也影响了修复的速度。

3、现有的整体变分修复模型的梯度离散化方法是按水平和垂直方向进行分解的，计算修复像素点水平和垂直方向邻域像素点的梯度分量，利用梯度分量和邻域像素点向修复区域扩散信息。这种分解方法对修复水平和垂直方向的边缘结构效果较好，但没考虑斜向信息的传递，对含有斜向边缘结构的修复区域会产生错误修复。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种视频序列中划痕的修复方法，该方法利用视频画面的空间信息修复划痕，根据划痕形状选取相关性强的修复点邻域的像素点来修复划痕，不仅能向修复区域扩散、传递包含水平和垂直方向的结构信息，还能传递斜向的结构信息，进而提高划痕的修复效果。

为达到上述目的，本发明采用以下技术解决方案实现，上述视频序列中划痕的修复方法，其具体步骤如下：

(1)，读入视频序列和每一帧划痕检测掩模；

(2)，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)。

(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息；

(2-2)，视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息；

(3)，对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，沿斜向修复划痕，向划痕传递斜向梯度分量和斜向邻域像素点的信息。

(4)，对步骤(2-1)或(2-2)设置一个权值为q₁，对步骤(3)设置一个权值为q₂，通过各自的权值令步骤(2)和步骤(3)结合起来，对视频画面中的划痕进行修复。

(5)，分别以设定的阈值θ或设定修复迭代次数控制迭代修复是否结束。

(6)，输出保存修复后的视频序列。

本发明的视频序列中划痕的修复方法与现有技术相比具体有的优点在于：

1、该方法把步骤(2)和步骤(3)结合起来对划痕进行修复，使用了两种梯度离散化方法，步骤(2)梯度按水平和垂直方向离散化与步骤(3)按对角线方向离散化，实现既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息使修复结果更加准确。

2、该方法的步骤(2)，对垂直划痕的修复只沿水平方向进行，对水平划痕的修复只沿垂直方向进行，计算量减少了一半，并且计算梯度分量时省略修复点八邻域中相关性弱的像素点参与计算，避免不断传递相关性弱的像素点产生错误积累，提高了修复的效果和速度。

3、该方法的步骤(3)，提出了梯度按对角线方向进行离散化，对划痕的修复沿斜向方向进行，能传递斜向的信息，对含有斜向结构信息的视频画面修复效果较好。并且修复点八邻域的四个顶点不是相关性弱的点，不会产生错误信息的传递。

附图说明

图1是本发明的视频序列中划痕的修复方法的流程图；

图2是整体变分修复模型半点格式求解梯度的示意图；

图3是整体变分修复模型梯度按斜向离散化所得的半点格式求解梯度的示意图；

图4-1是含有三条黑色垂直划痕的实际视频画面图；

图4-2是图4-1的掩模图；

图4-3是图4-2的修复效果图；

图5-1是含有一条白色垂直划痕的实际视频画面图；

图5-2是图5-1的掩模图；

图5-3是图5-2的修复效果图；

图6-1是含有一条黑色垂直划痕的实际视频画面图；

图6-2是图6-1的掩模图；

图6-3是图6-2的修复的效果图；

图7-1是含有两条黑色水平划痕的实际视频画面图；

图7-2是图7-1的掩模图；

图7-3是图7-2的修复效果图；

图8-1是含有多条黑色水平划痕的实际视频画面图；

图8-2是图8-1的掩模图，；

图8-3是在图8-2的修复效果图；

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。

下面对本发明的实施例作详细说明：本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。

上述视频序列中划痕的修复方法，如图1所示，其具体步骤如下：

(1)，读入视频序列和每一帧的划痕检测掩模

读入的视频序列可以是灰度或者彩色视频图像，视频序列首先解压缩为bmp格式，对彩色图像分解为R、G、B三幅图像，每幅图像都看做是灰度图像处理。

划痕检测掩模是对视频序列的一帧进行划痕检测得到的一幅二值图像，像素值为0和1，分别显示为黑色和白色。像素值为1的点即为划痕所在的点。

(2)，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)。

(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息，其具体过程如下：

采用整体变分图像修复模型^[8](TV)能量代价函数为：

$J\left(u\right)=\underset{E\∪D}{\∫}\left(\right|\▿u\left|\right)\mathrm{dxdy}---\left(1\right)$

其中，D为图像的修复区域，E是其邻域，u为像素点，式(1)取得最小化整体变分图像修复模型(TV)的约束条件为：

$\▿\·\left(\frac{\▿u}{|\▿u|}\right)=0---\left(2\right)$

整体变分图像修复模型(TV)的图像修复算法就是满足约束条件式(2)的限制下，令能量代价函数(1)最小化的过程。

采用半点格式求解梯度，梯度按水平和垂直方向进行分解，如图2所示，i、j是像素点的横纵坐标，I(i，j)为修复像素点，L、R、U、D分别是I(i，j-1)、I(i，j+1)、I(i-1，j)、I(i+1，j)到，I(i，j)的中点，即半点，半点实际是不存在的，引入的目的是为了数值计算的稳定和减少误差。

记 $v=(v^1,v^2)=\frac{\▿u}{|\▿u|},---\left(3\right)$

其中，v¹，v²分别代表在

修复区域水平方向和垂直方向的分量。

由于垂直划痕的上端和下端的距离比较远，相关性比较弱，甚至有些垂直划痕在垂直方向贯穿整帧画面，两端可利用的信息有限，所以对垂直划痕的修复不予以考虑垂直方向的信息v²，只需要沿水平方向传递有用信息。

则式(3)的散度近似为：

$\▿u\≈\frac{\∂v^1}{\∂x}=\frac{v_R^1-v_L^1}{h}---\left(4\right)$

这里R，L分别代表修复点的左右两侧，h为步长，x代表修复区域的水平方向，式(4)中的v_R ¹和v_L ¹的计算如下：

$v_R^1=\frac{1}{|\▿u_R|}{\left[\frac{\∂u}{\∂x}\right]}_R=\frac{1}{|\▿u_R|}\frac{I(i,j+1)-I(i,j)}{h}---\left(5\right)$

$v_L^1=\frac{1}{|\▿u_L|}{\left[\frac{\∂u}{\∂x}\right]}_L=\frac{1}{|\▿u_L|}\frac{I(i,j)-I(i,j-1)}{h}---\left(6\right)$

现有的TV半点格式求解梯度利用了修复点邻域一周的八个像素点，如果直接利用它修复垂直划痕就会使垂直划痕上下两端相关性弱的像素点不断传递，产生错误积累，影响修复的效果和速度。针对垂直划痕修复，对TV半点格式求解梯度进行改进，省略相关性弱的邻域像素点参与计算，如图2所示，不再利用垂直划痕修复点的八邻域中正上方和正下方两个相关性弱的像素点，即(i-1，j)和(i+1，j)两点。

如上分析，只利用修复点邻域的六点，计算垂直划痕修复区域像素点的右侧和左侧R、L的梯度分量分别

为：

$|\▿u_R|=\frac{1}{h}\sqrt{{(I(i,j+1)-I(i,j))}^2+{[(I(i-1,j+1)-I(i+1,j+1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(7\right)$

$|\▿u_L|=\frac{1}{h}\sqrt{{(I(i,j-1)-I(i,j))}^2+{[(I(i+1,j-1)-I(i-1,j-1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(8\right)$

其中h为步长，设定为1，ε设定为0.0001，ε取值越大修复速度越快，细节特征延续的越差，反之，速度慢细节保持的好。

为了表达式书写清晰，令

$w_L=\frac{1}{|\▿u_L|},w_R=\frac{1}{|\▿u_R|}---\left(9\right)$

将式(3)～(9)代入式(2)，整理后得：

$I(i,j)=\frac{1}{w_R+w_L}\·(w_R\·I(i,j+1)+w_L\·I(i,j-1))---\left(10\right)$

式(10)实现沿水平方向向垂直划痕的修复点传递信息，传递的信息包括水平梯度分量和水平方向邻域像素值，用来修复视频序列中的垂直划痕。

(2-2)，视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息，其具体过程如下：

由于水平划痕的左端和右端的距离比较远，相关性比较弱，甚至有些水平划痕在水平方向贯穿整帧画面，两端可利用的信息有限，所以对水平划痕的修复不予以考虑水平方向的信息v¹，只需要沿垂直方向传递有用信息。

采用半点格式求解梯度，梯度按水平和垂直方向进行分解，

记 $v=(v^1,v^2)=\frac{\▿u}{|\▿u|},---\left(3\right)$

针对水平划痕的修复不予以考虑水平方向的信息v¹，只沿垂直方向传递有用信息，则式(3)散度近似为

$\▿v\≈\frac{\∂v^2}{\∂y}=\frac{v_U^2-v_D^2}{h}---\left(11\right)$

其中U和D分别代表修复点的上下两侧，y代表垂直方向。式(11)中的v_U ²和v_L ¹的计算如下：

$v_U^2=\frac{1}{|\▿u_U|}{\left[\frac{\∂u}{\∂y}\right]}_U=\frac{1}{|\▿u_U|}\frac{I(i,j)-I(i-1,j)}{h}---\left(12\right)$

$v_D^2=\frac{1}{|\▿u_D|}{\left[\frac{\∂u}{\∂y}\right]}_D=\frac{1}{|\▿u_D|}\frac{I(i+1,j)-I(i,j)}{h}---\left(13\right)$

针对水平划痕修复，对TV半点格式求解梯度进行改进，省略相关性弱的邻域像素点参与计算，如图2所示，不再利用垂直划痕修复点的八邻域中左和右两个相关性弱的像素点，即(i，j-1)和(i，j+1)两点。

如上分析，只利用修复点邻域的六点，计算水平划痕修复区域像素点的上和下的U、D的梯度分量

分别为：

$|\▿u_U|=\frac{1}{h}\sqrt{{(I(i-1,j)-I(i,j))}^2+{[(I(i-1,j-1)-I(i-1,j+1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(14\right)$

$|\▿u_D|=\frac{1}{h}\sqrt{{(I(i+1,j)-I(i,j))}^2+{[(I(i+1,j+1)-I(i+1,j-1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(15\right)$

其中h和ε的值与式(7)和式(8)相同。

为了表达式书写清晰，令

$w_U=\frac{1}{|\▿u_U|},w_D=\frac{1}{|\▿u_D|}---\left(16\right)$

将式(11)～(16)代入式(2)，整理后得：

$I(i,j)=\frac{1}{w_U+w_D}\·(w_U\·I(i-1,j)+w_D\·I(i+1,j))---\left(17\right)$

式(17)实现沿垂直方向向水平划痕的修复点传递信息，传递的信息包括垂直梯度分量和垂直方向邻域像素值，可用来修复视频序列中的水平划痕。

(3)对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，向划痕传递斜向梯度分量和斜向邻域像素点的信息。

对TV半点格式梯度离散化的模型，把x、y轴逆时针旋转了45度，按正方形对角线方向对梯度离散化，如图3所示，新的x′y′是旋转后的坐标轴，修复点的八邻域围成了一个正方形，在正方形对角线上选取四个半点，四个半点是四个对角线顶点到修复点的中点，如图3所示，四个半点是a，b，c，d。

垂直与水平划痕修复过程完全相同，其具体求解过程如下：

在x′y′坐标轴上，半点之间的距离为则式(2)的散度近似为：

$\▿v=\frac{\∂v^1}{\∂x^{\′}}+\frac{\∂v^2}{\∂y^{\′}}\≈\frac{v_d^1-v_b^1}{\sqrt{2}h}+\frac{v_a^2-v_c^2}{\sqrt{2}h}---\left(18\right)$

利用修复点八邻域计算四个斜向的梯度分量，a，b，c，d四个对角线方向的半点的梯度分量分别为：

$|\▿u_a|=\sqrt{{\left(\frac{I(i-1,j-1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i-1,j)-I(i,j-1)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(19\right)$

$|\▿u_b|=\sqrt{{\left(\frac{I(i-1,j+1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i-1,j)-I(i,j+1)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(20\right)$

$|\▿u_c|=\sqrt{{\left(\frac{I(i+1,j+1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i,j+1)-I(i+1,j)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(21\right)$

$|\▿u_d|=\sqrt{{\left(\frac{I(i+1,j-1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i+1,j)-I(i,j-1)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(22\right)$

为了表达式书写清晰，

令 $w_a=\frac{1}{|\▿u_a|},$ $w_b=\frac{1}{|\▿u_b|},$ $w_c=\frac{1}{|\▿u_c|},$ $w_d=\frac{1}{|\▿u_d|}---\left(23\right)$

将式(11)～(16)带入式(2)，得：

$I(i,j)=\frac{w_a\×I(i-1,j-1)+w_b\×I(i-1,j+1)+w_c\×I(i+1,j+1)+w_d\×I(i+1,j-1)}{w_a+w_b+w_c+w_d}---\left(24\right)$

式(24)实现沿斜向向划痕的修复点传递信息，传递的信息包括斜向梯度分量和斜向邻域像素值，用来修复视频序列中的垂直和水平划痕。

(4)，对步骤(2-1)或(2-2)设置一个权值为q₁，对步骤(3)设置一个权值为q₂，通过各自的权值令步骤(2)和步骤(3)相结合起来，对视频画面中的划痕进行修复。

(4-1)q₁和q₂设定的原则，具体如下：

q₁和q₂取值范围是0和自然数，若视频画面划痕修复区域包含水平和垂直方向的结构信息比较多，则设定q₁和q₂的数值要满足q₁＞q₂，如q₁和q₂分别取2、1。

若视频画面修复区域的斜向的结果信息比较多，设定q₁和q₂的数值要满足q₁＜q₁，如q₁和q₂分别取3、5。

若画面水平和垂直的结构信息差不多，则令q₁＝q₂，如q₁和q₂分别取1、1。

(4-2)，利用步骤(2)权值q₁和步骤(3)权值q₂，步骤(2)和步骤(3)相结合，对视频画面中的划痕进行修复，具体如下：

对于垂直划痕的修复，q₁乘以式(10)与q₂乘以式(24)，等式两端分别相加，整理得：

$I{(i,j)}^{\left(n\right)}=[\frac{q_1}{w_R+w_L}\·(w_R\·I{(i,j+1)}^{(n-1)}+w_L\·I{(i,j-1)}^{(n-1)})$

$+\frac{q_2}{w_a+w_b+w_c+w_d}\·(w_a\×I{(i-1,j-1)}^{(n-1)}+w_b\×I{(i-1,j+1)}^{(n-1)}$

$+w_c\×I{(i+1,j+1)}^{(n-1)}+w_d\×I{(i+1,j-1)}^{(n-1)}\left)\right]\·\frac{1}{q_1+q_2}---\left(25\right)$

对于水平划痕的修复，q₁乘以式(17)与q₂乘以式(24)，等式两端分别相加，整理得：

$I{(i,j)}^{\left(n\right)}=[\frac{q_1}{w_U+w_D}\·(w_U\·I{(i-1,j)}^{(n-1)}+w_D\·I{(i+1,j)}^{(n-1)})$

$+\frac{q_2}{w_a+w_b+w_c+w_d}\·(w_a\×I{(i-1,j-1)}^{(n-1)}+w_b\×I{(i-1,j+1)}^{(n-1)}$

$+w_c\×I{(i+1,j+1)}^{(n-1)}+w_d\×I{(i+1,j-1)}^{(n-1)}\left)\right]\·\frac{1}{q_1+q_2}---\left(26\right)$

式(25)和式(26)分别用来修复视频序列中的垂直和水平划痕，既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息。其中，n代表当前修复的次数，n-1是当前修复的前一次修复次数。

对垂直或者水平划痕分别按式(25)或(26)进行修复，已设定的q₁和q₂的值满足q₁＞q₂，则向修复区域主要传递水平或者垂直方向的信息，斜向信息的传递为辅。若q₁＜q₂，则向修复区域主要传递斜向方向的信息，水平或者垂直方向的信息为辅。若q₁＝q₂，就是按等比例向修复点传递水平或者垂直信息和斜方向的信息的。

(5)，以设定的阈值θ或设定修复迭代次数判断迭代修复是否结束。

(5-1)，设定一个阈值θ，阈值θ可设为10＜θ＜0，当前修复画面的修复区域内所有像素点的平均像素值与前一次修复画面的修复区域内所有像素点的平均像素值相减的绝对值与阈值比较，具体判断式如下：

其中，I(i，j)⁽ⁿ⁾代表前修复画面，I(i，j)^(n-1)代表前一次修复画面，判断式(27)是否成立，若不成立，重复步骤(2)至(4)，若成立则转步骤(6)。

(5-2)，设定修复迭代次数，当前修复次数小于设定迭代次数，则重复步骤(2)至(4)，若达到设定的迭代次数则转步骤(6)。

(6)，输出保存修复后的视频序列。

本发明的视频序列中划痕的修复方法用Matlab7.0进行算法仿真，并且在Visual C++6.0下对多种视频序列进行应用，分别对视频序列中黑色和白色的垂直和水平划痕做了实验。

图4-1是画面存在三条宽度不同的黑色垂直划痕的情况，图像大小为720*576*24b的彩色图像。图4-2是图4-1的检测垂直划痕掩模图像，提供划痕的修复区域，包含三条划痕，从左向右得到的划痕宽度分别为3、5、10个像素宽。图4-3是该方法对图4-1的垂直划痕的修复效果图，可以看到该方法很好的保持了修复区域的边缘结构。

图5-1是视频序列中存在一条白色垂直划痕的情况，图像大小为720*576*24b的彩色视频图像，垂直划痕的长度都几乎与视频图像高度相同。图5-2掩模图像中垂直划痕的平均宽度为12个像素宽。图5-3是该方法对图5-1的垂直划痕的修复效果图，可以看到该方法对存在噪声等污染的实际视频画面中的白色垂直划痕的修复是有效的。

图6-1是视频序列中存在一条黑色垂直划痕的情况，图像大小为720*576*24b的彩色视频图像，垂直划痕的长度都几乎与视频图像高度相同。图6-2掩模图像中垂直划痕的平均宽度为6个像素宽。图6-3是该方法对图6-1中白色垂直划痕的修复效果图。可以看到该法对细的黑色划痕有很好的修复效果，保持了结构信息，并且无人工修复的痕迹。

图7-1是视频序列中存在两条宽度不等的黑色水平划痕的情况，图像大小为720*576*24b的彩色视频图像。图7-2是图7-1的划痕修复区域的掩图，两条水平划痕的厚度分别为3、5个像素宽。图7-3是对图7-1的修复结果图。可以看到该方法很好的保持了修复区域的边缘结构。

图8-1是视频序列中存在多条黑色水平划痕的情况，图像大小为720*576*24b的彩色视频图像。图8-2包含多条水平划痕的掩图，多条水平划痕的平均厚度为7个像素宽。图8-3是对图8-1的修复结果图。可以看到该方法对存在噪声等污染的实际视频画面中的多条黑色水平划痕的修复也是有效的。

通过以上实验，证明了该方法对视频序列中包含一条和多条白色和黑色水平和垂直划痕的修复效果良好，可以很好的保持修复区域的结构信息，达到无人工修复的痕迹。但划痕的宽度不能太宽，否则修复区域会有拉长的效果，修复后的视频序列连续播放时可能会在修复区域有抖动的现象，可以增加后处理来改善，对修复后的视频序列对修复区域做时序中值滤波，抖动可以改善。

Claims (8)

1、一种视频序列中划痕的修复方法，其特征在于包括如下步骤：

(1)，读入视频序列和每一帧划痕检测掩模；

(2)，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)；

(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息；

(2-2)，视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息；

(3)，对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，沿斜向修复划痕，向划痕传递斜向梯度分量和斜向邻域像素点的信息；

(4)，对步骤(2-1)或(2-2)设置一个权值为q₁，对步骤(3)设置一个权值为q₂，通过各自的权值令步骤(2)和步骤(3)结合起来，对视频画面中的划痕进行修复；

(5)，分别以设定的阈值θ或设定修复迭代次数控制迭代修复是否结束；

(6)，输出保存修复后的视频序列。

2、根据权利要求1所述的视频序列中划痕的修复方法，其特征在于，上述步骤(2)中步骤(2-1)所述的视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息，其具体过程如下：

采用整体变分图像修复模型^[8](TV)能量代价函数为：

$J\left(u\right)=\underset{E\∪D}{\∫}\left(\right|\▿u\left|\right)\mathrm{dcdy}---\left(1\right)$

其中，D为图像的修复区域，E是其邻域，u为像素点，式(1)取得最小化整体变分图像修复模型(TV)的约束条件为：

$\▿\·\left(\frac{\▿u}{|\▿u|}\right)=0---\left(2\right)$

采用半点格式求解梯度，梯度按水平和垂直方向进行分解，记 $v=(v^1,v^2)=\frac{\▿u}{|\▿u|},---\left(3\right)$

其中，v¹，v²分别代表在

修复区域水平方向和垂直方向的分量；

针对垂直划痕的修复不予以考虑垂直方向的信息v²，只沿水平方向传递有用信息，则式(3)的散度近似为：

$\▿v\≈\frac{{\∂v}^1}{\∂x}=\frac{v_R^1-v_L^1}{h}---\left(4\right)$

这里R，L分别代表修复点的左右两侧，h为步长，x代表水平方向，式(4)中的v_R ¹和v_L ¹的计算如下：

$v_R^1=\frac{1}{\left|{\▿u}_R\right|}{\left[\frac{\∂u}{\∂x}\right]}_R=\frac{1}{\left|{\▿u}_R\right|}\frac{I(i,j+1)-I(i,j)}{h}---\left(5\right)$

$v_L^1=\frac{1}{\left|{\▿u}_L\right|}{\left[\frac{\∂u}{\∂x}\right]}_L=\frac{1}{\left|{\▿u}_L\right|}\frac{I(i,j)-I(i,j-1)}{h}---\left(6\right)$

针对垂直划痕，对TV半点格式求解梯度进行改进，省略垂直划痕修复点的八邻域中正上方和正下方两个相关性弱的像素点，利用修复点邻域的六点，计算垂直划痕修复区域像素点的右侧和左侧R、L的梯度分量分别

为：

$\left|{\▿u}_R\right|=\frac{1}{h}\sqrt{(I{(i,j+1)-I(i,j))}^2+{[(I(i-1,j+1)-I(i+1,j+1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(7\right)$

$\left|{\▿u}_L\right|=\frac{1}{h}\sqrt{(I{(i,j-1)-I(i,j))}^2+{[(I(i+1,j-1)-I(i-1,j-1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(8\right)$

其中h为步长，设定为1，ε设定为0.0001，

令 $w_L=\frac{1}{\left|{\▿u}_L\right|},$ $w_R=\frac{1}{\left|{\▿u}_R\right|}---\left(9\right)$

将式(3)～(9)代入式(2)，整理后得：

$I(i,j)=\frac{1}{w_R+w_L}\·(w_R\·I(i,j+1)+w_L\·I(i,j-1))---\left(10\right)$

式(10)实现沿水平方向向垂直划痕的修复点传递信息。

3、根据权利要求2所述的视频序列中划痕的修复方法，其特征在于，上述步骤(2)中步骤(2-2)所述的视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息，其具体过程如下：

采用半点格式求解梯度，梯度按水平和垂直方向进行分解，

记 $v=(v^1,v^2)=\frac{\▿u}{|\▿u|},---\left(3\right)$

针对水平划痕的修复不予以考虑水平方向的信息v¹，只沿垂直方向传递有用信息，则式(3)散度近似为：

$\▿v\≈\frac{{\∂v}^2}{\∂y}=\frac{v_U^2-v_D^2}{h}---\left(11\right)$

其中U和D分别代表修复点的上下两侧，y代表垂直方向，式(11)中的v_U ²和v_L ¹的计算如下：

$v_U^2=\frac{1}{\left|{\▿u}_U\right|}{\left[\frac{\∂u}{\∂y}\right]}_U=\frac{1}{\left|{\▿u}_U\right|}\frac{I(i,j)-I(i-1,j)}{h}---\left(12\right)$

$v_D^2=\frac{1}{\left|{\▿u}_D\right|}{\left[\frac{\∂u}{\∂y}\right]}_D=\frac{1}{\left|{\▿u}_D\right|}\frac{I(i+1,j)-I(i,j)}{h}---\left(13\right)$

针对水平划痕，对TV半点格式求解梯度进行改进，省略修复点的八邻域中左和右两个相关性弱的像素点，利用修复点邻域的六点，计算水平划痕修复区域像素点的上和下的U、D的梯度分量

分别为：

$\left|{\▿u}_U\right|=\frac{1}{h}\sqrt{{(I(i-1,j)-I(i,j))}^2+{[(I(i-1,j-1)-I(i-1,j+1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(14\right)$

$\left|{\▿u}_D\right|=\frac{1}{h}\sqrt{{(I(i+1,j)-I(i,j))}^2+{[(I(i+1,j+1)-I(i+1,j-1))/2]}^2+{\mathrm{\ϵ}}^2}---\left(15\right)$

其中h和ε的值与式(7)和式(8)相同，

令 $w_U=\frac{1}{\left|{\▿u}_U\right|},$ $w_D=\frac{1}{\left|{\▿u}_D\right|}---\left(16\right)$

将式(11)～(16)代入式(2)，整理后得：

$I(i,j)=\frac{1}{w_U+w_D}\·(w_U\·I(i-1,j)+w_D\·I(i+1,j))$ 量(17)

式(17)实现沿垂直方向向水平划痕的修复点传递信息。

4、根据权利要求3所述的视频序列中划痕的修复方法，其特征在于，上述步骤(3)中所述的沿着斜向修复划痕，其具体求解如下：

对TV半点格式梯度离散化的模型，把x、y轴逆时针旋转45度，按正方形对角线方向对梯度离散化，新的坐标轴记为x′ y′，在正方形对角线上选取四个半点，半点之间的距离为

则式(2)的散度近似为：

$\▿v=\frac{{\∂v}^1}{{\∂x}^{\′}}+\frac{{\∂v}^2}{{\∂y}^{\′}}\≈\frac{v_d^1-v_b^1}{\sqrt{2}h}+\frac{v_a^2-v_c^2}{\sqrt{2}h}---\left(18\right)$

利用修复点八邻域计算四个斜向的梯度分量，a，b，c，d四个对角线方向的半点的梯度分量分别为：

$\left|{\▿u}_a\right|=\sqrt{{\left(\frac{I(i-1,j-1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i-1,j)-I(i,j-1)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(19\right)$

$\left|{\▿u}_b\right|=\sqrt{{\left(\frac{I(i-1,j+1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i-1,j)-I(i,j+1)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(20\right)$

$\left|{\▿u}_c\right|=\sqrt{{\left(\frac{I(i+1,j+1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i,j+1)-I(i+1,j)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(21\right)$

$\left|{\▿u}_d\right|=\sqrt{{\left(\frac{I(i+1,j-1)-I(i,j)}{\sqrt{2}h}\right)}^2+{\left(\frac{I(i+1,j)-I(i,j-1)}{\sqrt{2}h}\right)}^2+{\mathrm{\ϵ}}^2}---\left(22\right)$

令 $w_a=\frac{1}{\left|{\▿u}_a\right|},$ $w_b=\frac{1}{\left|{\▿u}_b\right|},$ $w_c=\frac{1}{\left|{\▿u}_c\right|},$ $w_d=\frac{1}{\left|{\▿u}_d\right|}---\left(23\right)$

将式(11)～(16)代入式(2)，

$I(i,j)=\frac{w_a\×I(i-1,j-1)+w_b\×I(i-1,j+1)+w_c\×I(i+1,j+1)+w_d\×I(i+1,j-1)}{w_a+w_b+w_c+w_d}---\left(24\right)$

式(24)实现沿斜向向划痕的修复点传递信息。

5、根据权利要求4所述的视频序列中划痕的修复方法，其特征在于，上述步骤(4)中步骤(4-1)所述的权值q₁和q₂设定的原则，具体如下：

权值q₁和q₂的取值范围是0和自然数，若视频画面划痕修复区域包含水平和垂直方向的结构信息比较多，则设定q₁和q₂的数值要满足q₁＞q₂；若视频画面修复区域的斜向的结果信息比较多，设定q₁和q₂的数值要满足q₁＜q₂；若画面水平和垂直的结构信息差不多，则令q₁＝q₂，

6、根据权利要求5所述的视频序列中划痕的修复方法，其特征在于，上述步骤(4)中步骤(4-2)所述的利用步骤(2)权值q₁和步骤(3)权值q₂，通过各自的权值令步骤(2)和步骤(3)相结合，对视频画面中的划痕进行修复，具体如下：

对于垂直划痕的修复，q₁乘以式(10)与q₂乘以式(24)，等式两端分别相加，整理得：

$I{(i,j)}^{\left(n\right)}=[\frac{q_1}{w_R+w_L}\·(w_R\·I{(i,j+1)}^{(n-1)}+w_L\·I{(i,j-1)}^{(n-1)})$

$+\frac{q_2}{w_a+w_b+w_c+w_d}\·(w_a\×I{(i-1,j-1)}^{(n-1)}+w_b\×I{(i-1,j+1)}^{(n-1)}$

$+w_c\×I{(i+1,j+1)}^{(n-1)}+w_d\×I{(i+1,j-1)}^{(n-1)}\left)\right]\·\frac{1}{q_1+q_2}---\left(25\right)$

对于水平划痕的修复，q₁乘以式(17)与q₂乘以式(24)，等式两端分别相加，整理得：

$I{(i,j)}^{\left(n\right)}=[\frac{q_1}{w_U+w_D}\·(w_U\·I{(i-1,j)}^{(n-1)}+w_D\·I{(i+1,j)}^{(n-1)})$

$+\frac{q_2}{w_a+w_b+w_c+w_d}\·(w_a\×I{(i-1,j-1)}^{(n-1)}+w_b\×I{(i-1,j+1)}^{(n-1)}$

$+w_c\×I{(i+1,j+1)}^{(n-1)}+w_d\×I{(i+1,j-1)}^{(n-1)}\left)\right]\·\frac{1}{q_1+q_2}---\left(26\right)$

式(25)和式(26)分别用来修复视频修列中的垂直和水平划痕，其中，n代表当前修复的次数，n-1是当前修复的前一次修复次数。

7、根据权利要求6所述的视频序列中垂直和水平划痕的修复方法，其特征在于，上述步骤(5)中步骤(5-1)所述的设定一个阈值θ，阈值θ设为10＜θ＜0，当前修复画面的修复区域内所有像素点的平均像素值与前一次修复画面的修复区域内所有像素点的平均像素值相减的绝对值与阈值比较，具体判断式如下：

其中，I(i，j)⁽ⁿ⁾代表前修复画面，I(i，j)^(n-1)代表前一次修复画面，判断式(27)是否成立，若不成立，重复步骤(2)至(4)，若成立则转步骤(6)。

8、根据权利要求6所述的视频序列中垂直和水平划痕的修复方法，其特征在于，上述步骤(5)中步骤(5-2)所述的设定修复迭代次数，若当前修复次数小于设定迭代次数，则重复步骤(2)至(4)，若当前修复次数大于等于设定的迭代次数则转步骤(6)。

Images