CN102231790A - 视频序列中条带损伤的修复方法 - Google Patents

视频序列中条带损伤的修复方法 Download PDF

Info

Publication number
CN102231790A
CN102231790A CN2011101695663A CN201110169566A CN102231790A CN 102231790 A CN102231790 A CN 102231790A CN 2011101695663 A CN2011101695663 A CN 2011101695663A CN 201110169566 A CN201110169566 A CN 201110169566A CN 102231790 A CN102231790 A CN 102231790A
Authority
CN
China
Prior art keywords
damage
pixel
vertical
horizontal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101695663A
Other languages
English (en)
Inventor
张阳
韩军
邹雪妹
朱国军
马行汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN2011101695663A priority Critical patent/CN102231790A/zh
Publication of CN102231790A publication Critical patent/CN102231790A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种视频序列中条带损伤的修复方法，它包括步骤：(1)读入待修复的视频序列和二值掩膜图像序列；(2)由二值掩膜图像得到条带损伤的长度值和宽度值，根据条带损伤的长和宽之比确定条带损伤是垂直条带损伤还是水平条带损伤；(3)计算垂直条带损伤周围像素点的梯度值，对垂直条带损伤位于平坦区域的和位于边缘区域的进行插值修复；(4)计算水平条带损伤周围像素点的梯度值，对水平条带损伤位于平坦区域的和位于边缘区域的，进行插值修复；(5)输出保存修复后的视频序列。该方法对位于平坦区域和边缘区域的条带采用不同插值算法，运算量小于数字图像填充法和小波域插值修复法，且能取得较好的修复效果，适合在工程中使用。

Description

视频序列中条带损伤的修复方法
技术领域
本发明属于数字视频修复领域，具体地说是涉及一种视频序列中条带损伤的修复方法，该方法用于对老胶片和旧磁带中的视频画面进行数字修复。
 
背景技术
条带损伤是视频序列中一种常见的损伤，条带损伤是出现在视频画面中或明或暗的线条干扰。条带损伤主要分为垂直条带损伤和水平条带损伤，条带损伤的宽为3-10个像素宽，条带损伤在垂直或水平方向上贯穿整个画面，严重影响观看效果。条带损伤成为视频修复领域里最难解决的问题之一，其原因在以下几点：条带损伤通常在视频序列的相同位置连续出现，修复时没有可利用的时间域信息；条带损伤往往不是标准的直线段，个别情况下是有夹角的条带；条带损伤划过的面积较大，修复后的人工痕迹比较明显。
最早用来修复条带的方法是空间域插值法，如L. Maddalena. Efficient Methods for Scratch Removal in Image Sequences[C], Proceedings of 11th International Conference on Image Analysis and Processing,2001和Kyung-tai Kim, Eun yi Kim. Automatic Film Line Scratch Removal System based on Spatial Information[C]. IEEE International Symposium on Consumer Electronics, 2007。该修复方法利用条带损伤两侧的像素点做线性插值或多项式插值修复条带损伤，运算速度比较快，但由于插值模型过于简单，修复后的视频序列在视觉效果上会有模糊和平滑效应，当视频序列的背景比较复杂时，这种模糊和平滑的效应更加明显。
还有一些学者利用小波域进行插值，如T. Bretschneider, O. Kao , P.J. Bones. Removal of Vertical Scratches in Digitised Historical Film Sequences Using Wavelet Decomposition[C]. Proceedings of Image and Vision Computing, New Zealand,2000,pp:38-43。该修复算法在小波域分解图像，然后对小波系数做线性插值，最后通过小波反变换得到修复后的视频序列。该修复算法与空间域插值法相比能有效的保留图像的高频分量，减少因插值修复而带来的图像模糊和平滑效应，但算法的运算量过于庞大，而且进行小波分解时，其阈值的设置难以把握，阈值大小的设置对修复结果影响大，此修复方法没能在实际工程中得到应用。
进入2000年后，数字图像填充技术(image inpainting，又称图像修补技术)受到重视并应用到图像修复领域，如M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester. Image inpainting[C]. Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques,2000和Zhang Hongying, Wu Yadong, Kuang Zhonglin. An Efficient Scratches Detection and Inpainting Algorithm for Old Film Restoration[C]. International Conference on Information Technology and Computer Science, 2009。数字图像填充技术的主要思想是利用物理学中的热扩散方程，将待修补区域从区域边界各向异性地向修补区域内扩散。该修复方法由于具有良好的修复效果在视频修复领域得到广泛的应用，但是，该数字图像填充技术适合于对有块状损伤的图像进行修复，块状损伤有更多可利用的梯度信息。如将数字图像填充技术应用于对带状损伤的修复会使错误信息呈带状积累造成修复痕迹明显。此外，数字图像填充技术是通过迭代实现的，运算量非常大，不适合对图像序列进行连续修复。
 
发明内容
鉴于现有的技术存在的问题和不足，本发明的目的在于提供一种视频序列中条带损伤的修复方法，该方法不仅运算量小，能自适应地修复不同宽度的条带损伤，而且能提高插值修复后视频序列的播放质量。
为达到上述目的，本发明采用以下技术解决方案实现，上述一种视频序列中条带损伤的修复方法，其具体步骤如下：
(1)、读入待修复的视频序列和标记条带损伤位置的二值掩膜图像序列；
(2)、由二值掩膜图像得到条带损伤的长度值和宽度值，根据条带损伤的长和宽之比确定条带损伤是垂直条带损伤还是水平条带损伤：若视频序列中存在的是垂直条带损伤，则转步骤(3)进行插值修复，若视频序列中存在的是水平条带损伤，则转步骤(4)进行插值修复； 
(3)、计算垂直条带损伤周围像素点的梯度值，根据得到的梯度值将垂直条带损伤分为位于平坦区域的垂直条带损伤和位于边缘区域的垂直条带损伤，对垂直条带损伤位于平坦区域的，用条带损伤左、右的像素点插值修复，对垂直条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复；
(4)、计算水平条带损伤周围像素点的梯度值，根据得到的梯度值将水平条带损伤分为位于平坦区域的水平条带损伤和位于边缘区域的水平条带损伤，对水平条带损伤位于平坦区域的，用条带损伤上、下的像素点插值修复，对水平条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复；
(5)、输出保存修复后的视频序列。
本发明的一种视频序列中条带损伤的修复方法与现有的条带损伤修复技术相比较，具有如下显而易见的突出特点：该方法对位于平坦区域和边缘区域的条带采用不同的插值算法，运算量小于数字图像填充法和小波域插值修复法等方法，且能取得很好的修复效果，适合在实际工程中使用。
 
附图说明
图1是本发明的一种视频序列中条带的修复方法的流程图；
图2是视频序列中黑色垂直条带损伤的画面；
图3是视频序列中白色垂直条带损伤的画面；
图4是视频序列中黑色水平条带损伤的画面；
图5是视频序列中白色水平条带损伤的画面；
图6是图2的二值掩膜图像；
图7是图3的二值掩膜图像；
图8是图4的二值掩膜图像；
图9是图5的二值掩膜图像；
图10是根据二值掩膜图像判断条带类型的示意图；
图11是步骤(3)中插值修复垂直条带的流程图；
图12是步骤(3)中修复垂直条带所使用的像素块示意图；
图13是步骤(3)中对视频序列中黑色垂直条带损伤进行插值修复后的画面；
图14是步骤(3)中对视频序列中白色垂直条带损伤进行插值修复后的画面；
图15是步骤(4)中插值修复水平条带的流程图；
图16是步骤(4)中修复水平条带所使用的像素块示意图；
图17是步骤(4)中对黑色水平条带损伤进行插值修复后的画面；
图18是步骤(4)中对白色水平条带损伤进行插值修复后的画面。
 
具体实施方式
以下结合附图对本发明的实施例作进一步的详细说明。
上述一种视频序列中条带损伤的修复方法，如图1所示，其具体步骤为：
(1)、读入待修复的视频序列和标记条带损伤位置的二值掩膜图像序列；
读入的待修复的视频序列是由胶片或磁带经过模数转换和解缩后的bmp格式的图像序列，条带的二值掩膜图像序列是对待修复的视频序列进行检测得到的二值图像序列，条带的二值掩膜图像序列标记待修复的序列中条带损伤的位置，在二值掩膜图像序列中，设定像素值为255的区域是存在条带损伤的区域，该二值掩膜图像序列显示为白色；设定像素值为0的区域是不存在条带损伤的区域，该二值掩膜图像序列显示为黑色，图2、图3、图4、图5中的画面分别是视频序列中黑色垂直条带损伤的画面、白色垂直条带损伤的画面、黑色水平条带损伤的画面、白色水平条带损伤的画面；图6、图7、图8、图9中的画面则分别是上述图2、图3、图4、图5中的画面对应的二值条带掩膜图像的画面，从图6、图7、图8、图9中看到，条带的二值掩膜图像序列中标记出待修复序列中条带损伤的位置。
(2)、由二值掩膜图像得到条带损伤的长度和宽度值，根据条带损伤的长和宽之比确定条带损伤是垂直条带损伤还是水平条带损伤，若视频序列中存在的是垂直条带损伤，则转步骤(3)进行插值修复，若视频序列中存在的是水平条带损伤，则转步骤(4)进行插值修复，其具体步骤如下：
(2-1)、对条带损伤的二值掩膜图像从左到右进行逐行扫描，对条带损伤区域的左上点，记为                                                ，对条带损伤的右下点，记为
Figure 67656DEST_PATH_IMAGE002
，如图10所示，
Figure 2011101695663100002DEST_PATH_IMAGE003
是二值掩膜图像内像素点的横纵坐标，则分别得到条带损伤的长度值和宽度值，其表达式如下：
            
Figure 58746DEST_PATH_IMAGE004
                                (1)
            
Figure 2011101695663100002DEST_PATH_IMAGE005
                                (2) 
其中，
Figure 2011101695663100002DEST_PATH_IMAGE007
和
Figure 85477DEST_PATH_IMAGE008
分别表示条带损伤的长度值和宽度值，和分别是条带损伤左上点的横纵坐标值，
Figure 2011101695663100002DEST_PATH_IMAGE011
和
Figure 481747DEST_PATH_IMAGE012
分别是条带损伤右上角的横纵坐标值；
(2-2)、判断条带损伤的宽度值
Figure 276527DEST_PATH_IMAGE008
是否为奇数值，若条带损伤的宽度值
Figure 970814DEST_PATH_IMAGE008
不是奇数值，则将条带损伤的宽度值
Figure 809326DEST_PATH_IMAGE008
增加1个像素宽，将条带损伤的宽度值扩展为奇数值，则转步骤(2-3)，若条带损伤的宽度
Figure 187535DEST_PATH_IMAGE008
是奇数值，则转步骤(2-3)；
(2-3)、定义条带的长度和宽度比，记为
Figure 2011101695663100002DEST_PATH_IMAGE013
，其表达式为：
Figure 736328DEST_PATH_IMAGE014
                                 (3)
其中，
Figure 512785DEST_PATH_IMAGE007
表示条带损伤的长度值， 
Figure 779818DEST_PATH_IMAGE008
表示条带损伤的宽度值，
Figure 650822DEST_PATH_IMAGE013
表示条带损伤的长与宽之比；
(2-4)、判断条带损伤的长与宽比是大于1还是小于1：若条带损伤的长与宽比
Figure 765595DEST_PATH_IMAGE013
大于1，则该条带损伤为垂直条带损伤，则转步骤(3)进行插值修复；若条带损伤的长与宽比
Figure 192028DEST_PATH_IMAGE013
小于1，则该条带损伤为水平条带损伤，则转步骤(4)进行插值修复；
 (3)、计算垂直条带损伤周围像素点的梯度值，根据得到的梯度值将垂直条带损伤分为位于平坦区域的垂直条带损伤和位于边缘区域的垂直条带损伤，对垂直条带损伤位于平坦区域的，用条带损伤左、右的像素点插值修复，对垂直条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复，如图11所示，插值修复垂直条带损伤的具体步骤如下：
(3-1)、计算垂直条带损伤周围像素块的梯度值，根据垂直条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，其具体步骤如下：
(3-1-1)、定义第
Figure 2011101695663100002DEST_PATH_IMAGE015
行的垂直条带损伤区域
如图12所示，图中，
Figure 880105DEST_PATH_IMAGE003
是像素点的横纵坐标，定义第
Figure 403490DEST_PATH_IMAGE015
行的垂直条带损伤区域的表达式为：          
 
Figure 505438DEST_PATH_IMAGE016
                      (4)
其中， 表示垂直条带损伤区域，表示原受损图像，
Figure 474717DEST_PATH_IMAGE008
表示垂直条带的宽度，表示垂直条带损伤左边界像素点的横坐标值；
(3-1-2)、定义左像素块W、右像素块E、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小，其具体方法如下：
选取第行垂直条带损伤周围的六个像素块：左像素块W、右像素块E、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE，左像素块W、右像素块E、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小的定义如下：      
Figure 391038DEST_PATH_IMAGE020
    
 
Figure 2011101695663100002DEST_PATH_IMAGE021
            (5a)
其中， 
Figure 542795DEST_PATH_IMAGE018
表示原受损图像，
Figure 824872DEST_PATH_IMAGE022
表示左像素块，
Figure 322850DEST_PATH_IMAGE008
表示垂直条带的宽度，是像素点的横纵坐标，
Figure 232086DEST_PATH_IMAGE019
是垂直条带左边界的横坐标值，      
Figure 2011101695663100002DEST_PATH_IMAGE023
         (5b)
其中，
Figure 737760DEST_PATH_IMAGE018
表示原受损图像，
Figure 90244DEST_PATH_IMAGE024
表示右像素块，
Figure 704896DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 142831DEST_PATH_IMAGE003
是像素点的横纵坐标，
Figure 15978DEST_PATH_IMAGE019
是垂直条带左边界的横坐标值，
 
Figure 2011101695663100002DEST_PATH_IMAGE025
   (5c)
其中，
Figure 222968DEST_PATH_IMAGE018
表示原受损图像， 
Figure 274101DEST_PATH_IMAGE026
表示左上的像素块，表示垂直条带的宽度，
Figure 112055DEST_PATH_IMAGE003
是像素点的横纵坐标，是垂直条带左边界的横坐标值，
Figure 2011101695663100002DEST_PATH_IMAGE027
  (5d)
其中，
Figure 848116DEST_PATH_IMAGE018
表示原受损图像，
Figure 995063DEST_PATH_IMAGE028
表示右上的像素块，
Figure 960745DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 142328DEST_PATH_IMAGE003
是像素点的横纵坐标，是垂直条带左边界的横坐标值，
Figure 2011101695663100002DEST_PATH_IMAGE029
    (5e)
其中，表示原受损图像，
Figure 710120DEST_PATH_IMAGE030
表示左下的像素块，
Figure 933160DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 559313DEST_PATH_IMAGE003
是像素点的横纵坐标，
Figure 618536DEST_PATH_IMAGE019
是垂直条带左边界的横坐标值，
Figure 2011101695663100002DEST_PATH_IMAGE031
  (5f)
其中，
Figure 676753DEST_PATH_IMAGE018
表示原受损图像，
Figure 832928DEST_PATH_IMAGE032
表示右下的像素块，表示垂直条带的宽度，
Figure 176501DEST_PATH_IMAGE003
是像素点的横纵坐标，
Figure 271365DEST_PATH_IMAGE019
是垂直条带左边界的横坐标值；
(3-1-3)、分别计算第
Figure 219730DEST_PATH_IMAGE015
行待修复的垂直条带损伤周围的六个像素块形成的水平方向、45°方向、135°方向上的梯度值 
第
Figure 187686DEST_PATH_IMAGE015
行待修复的垂直条带损伤周围的六大像素块形成三个方向：水平方向、45°方向、135°方向，分别计算水平方向、45°方向、135°方向上的梯度值，其计算式依次为：
                   (6a)
其中，
Figure 969303DEST_PATH_IMAGE034
表示水平方向的梯度值，
Figure 2011101695663100002DEST_PATH_IMAGE035
表示求左像素块
Figure 618591DEST_PATH_IMAGE022
内所有像素点的像素值的平均值，
Figure 936308DEST_PATH_IMAGE036
表示求右像素块
Figure 75166DEST_PATH_IMAGE024
内所有像素点的像素值的平均值，
Figure 2011101695663100002DEST_PATH_IMAGE037
               (6b)
其中，
Figure 330698DEST_PATH_IMAGE038
表示45°方向的梯度值，
Figure DEST_PATH_IMAGE039
表示求左上像素块
Figure 534408DEST_PATH_IMAGE026
内所有像素点的像素值的平均值，
Figure 457365DEST_PATH_IMAGE040
表示求右下像素块
Figure 767123DEST_PATH_IMAGE032
内所有像素点的像素值的平均值，
Figure DEST_PATH_IMAGE041
              (6c)
其中，
Figure 759219DEST_PATH_IMAGE042
表示135°方向的梯度值，
Figure DEST_PATH_IMAGE043
表示求右上像素块
Figure 750309DEST_PATH_IMAGE028
内所有像素点的像素值的平均值，
Figure 275575DEST_PATH_IMAGE044
表示求右下像素块
Figure 756235DEST_PATH_IMAGE030
内所有像素点的像素值的平均值；
(3-1-4)、分别依次计算第
Figure 251938DEST_PATH_IMAGE015
行待修复垂直条带损伤周围的六大像素块形成的水平方向、45°方向、135°方向的梯度值中的最大值
Figure DEST_PATH_IMAGE045
和
Figure 30407DEST_PATH_IMAGE046
最小值，其表达式为：
Figure DEST_PATH_IMAGE047
        (7a)
其中，
Figure 616371DEST_PATH_IMAGE045
为水平方向 、45°方向 、135°方向的梯度值中的最大值，
Figure 205616DEST_PATH_IMAGE048
表示求三个梯度值中的最大值，
Figure DEST_PATH_IMAGE049
       (7b)
其中，
Figure 172303DEST_PATH_IMAGE046
为水平方向 、45°方向 、135°方向的梯度值中的最小值，表示求三个梯度值中的最小值，
(3-1-5)、根据垂直条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，阈值的表达式为：
                             (8)
其中，和
Figure 827516DEST_PATH_IMAGE046
分别表示三个梯度中的最大值和最小值；
(3-2)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中的阈值比较，按比较的大小分别对垂直条带损伤进行插值修复，其具体如下：
(3-2-1)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中的阈值比较，如果比较结果满足如下不等式：
Figure 94550DEST_PATH_IMAGE052
         (9)
则该垂直条带损伤区域为边缘区域，用45°方向上的像素点进行插值修复，其表达式为：       
Figure DEST_PATH_IMAGE053
         (10)
其中：，表示为第
Figure 86962DEST_PATH_IMAGE015
行的垂直条带损伤插值修复后的像素值，
Figure 18009DEST_PATH_IMAGE056
为垂直条带损伤插值像素点，且
Figure DEST_PATH_IMAGE057
，
Figure 460754DEST_PATH_IMAGE058
，分别是垂直条带损伤的水平、垂直方向上的距离权值；
(3-2-2)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中阈值比较，如果比较结果满足如下不等式：
        (11)
则该垂直条带损伤区域为边缘区域，用135°方向上的像素点进行插值修复，其表达式为：
Figure 924414DEST_PATH_IMAGE053
          (12)
其中：，
Figure 517255DEST_PATH_IMAGE055
表示为第
Figure 57958DEST_PATH_IMAGE015
行的垂直条带损伤插值修复后的像素值，
Figure 373532DEST_PATH_IMAGE056
为垂直条带损伤插值像素点，且
Figure DEST_PATH_IMAGE061
，
Figure 659764DEST_PATH_IMAGE062
，
Figure 123106DEST_PATH_IMAGE059
分别是垂直条带损伤的水平、垂直方向上的距离权值；
 (3-2-3)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中阈值比较，如果比较结果既不满足不等式(9)，又不满足不等式(11)，则该垂直条带损伤区域为平坦区域，用水平方向上的像素点对垂直条带区域
Figure 467500DEST_PATH_IMAGE017
进行插值修复，其表达式为：
Figure 637581DEST_PATH_IMAGE053
         (13)
其中：
Figure 409228DEST_PATH_IMAGE054
，表示为第
Figure 429323DEST_PATH_IMAGE015
行的垂直条带损伤插值修复后的像素值，
Figure 719490DEST_PATH_IMAGE056
为垂直条带损伤插值像素点，且
Figure DEST_PATH_IMAGE063
，
Figure 662038DEST_PATH_IMAGE064
，分别是垂直条带损伤的水平、垂直方向上的距离权值， 
如图13所示，图中是对黑色垂直条带损伤进行插值修复后的画面；如图14所示，图中是对白色垂直条带损伤进行插值修复后的画面； 
(4)、计算水平条带损伤周围像素点的梯度值，根据得到的梯度值将水平条带损伤分为位于平坦区域的水平条带损伤和位于边缘区域的水平条带损伤，对水平条带损伤位于平坦区域的，用条带损伤左、右的像素点插值修复，对水平条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复，如图15所示，插值修复水平条带损伤，其具体步骤如下：
(4-1)、计算水平条带损伤周围像素块的梯度值，根据水平条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，其具体步骤如下：
(4-1-1)、定义第列的水平条带损伤区域
如图16所示，图中，
Figure 619258DEST_PATH_IMAGE003
是像素点的横纵坐标，定义第
Figure 732707DEST_PATH_IMAGE019
列的垂直条带损伤区域的表达式为：
Figure DEST_PATH_IMAGE065
                    (14)
其中，
Figure 844889DEST_PATH_IMAGE017
表示水平条带损伤区域，表示原受损图像，
Figure 333956DEST_PATH_IMAGE008
表示水平条带的宽度，
Figure 352728DEST_PATH_IMAGE015
表示水平条带损伤下边界像素点的纵坐标值；
(4-1-2)、定义上像素块N、下像素块S、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小，其具体方法如下：
选取第
Figure 450740DEST_PATH_IMAGE019
列水平条带损伤周围的六个像素块：上像素块N、下像素块S、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE，上像素块N、下像素块S、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小的定义如下：
Figure 478739DEST_PATH_IMAGE066
            (15a)
其中， 
Figure 598005DEST_PATH_IMAGE018
表示原受损图像，
Figure DEST_PATH_IMAGE067
表示上像素块，
Figure 53257DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 874451DEST_PATH_IMAGE003
是像素点的横纵坐标，是水平条带下边界的纵坐标值，
Figure 679913DEST_PATH_IMAGE068
                 (15b)
其中， 
Figure 306067DEST_PATH_IMAGE018
表示原受损图像，表示下像素块，
Figure 116022DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 423506DEST_PATH_IMAGE003
是像素点的横纵坐标，
Figure 579681DEST_PATH_IMAGE015
是水平条带下边界的纵坐标值，
Figure 376736DEST_PATH_IMAGE070
      (15c)
其中，
Figure 172523DEST_PATH_IMAGE018
表示原受损图像， 
Figure 80436DEST_PATH_IMAGE026
表示左上的像素块，
Figure 28800DEST_PATH_IMAGE008
表示垂直条带的宽度，是像素点的横纵坐标，
Figure 778374DEST_PATH_IMAGE015
是水平条带下边界的纵坐标值，
Figure DEST_PATH_IMAGE071
   (15d)
其中，
Figure 489978DEST_PATH_IMAGE018
表示原受损图像，
Figure 292849DEST_PATH_IMAGE028
表示右上的像素块，
Figure 431706DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 202085DEST_PATH_IMAGE003
是像素点的横纵坐标，
Figure 717380DEST_PATH_IMAGE015
是水平条带下边界的纵坐标值，
    (15e)
其中，
Figure 372932DEST_PATH_IMAGE018
表示原受损图像，
Figure 443656DEST_PATH_IMAGE030
表示左下的像素块，表示垂直条带的宽度，是像素点的横纵坐标，
Figure 755185DEST_PATH_IMAGE015
是水平条带下边界的纵坐标值，
Figure 500156DEST_PATH_IMAGE072
    (15f)
其中，
Figure 91675DEST_PATH_IMAGE018
表示原受损图像，表示右下的像素块，
Figure 640785DEST_PATH_IMAGE008
表示垂直条带的宽度，
Figure 420522DEST_PATH_IMAGE003
是像素点的横纵坐标，
Figure 501217DEST_PATH_IMAGE015
是水平条带下边界的纵坐标值；
 (4-1-3)、分别计算第
Figure 315589DEST_PATH_IMAGE019
列待修复的水平条带损伤周围的六个像素块形成的垂直方向、45°方向、135°方向上的梯度值 
第列待修复的水平条带损伤周围的六大像素块形成三个方向：垂直方向、45°方向、135°方向，分别计算垂直方向、45°方向、135°方向上的梯度值，其计算式依次为：
Figure DEST_PATH_IMAGE073
                    (16a)
其中，
Figure 529719DEST_PATH_IMAGE074
表示垂直方向的梯度值，
Figure DEST_PATH_IMAGE075
表示求上像素块内所有像素点的像素值的平均值，
Figure 335181DEST_PATH_IMAGE076
表示求下像素块内所有像素点的像素值的平均值，
Figure 771290DEST_PATH_IMAGE037
                (16b)
其中，表示45°方向的梯度值，表示求左上像素块内所有像素点的像素值的平均值，
Figure 640840DEST_PATH_IMAGE040
表示求右下像素块内所有像素点的像素值的平均值，
Figure 746385DEST_PATH_IMAGE041
               (16c)
其中，
Figure 19234DEST_PATH_IMAGE042
表示135°方向的梯度值，
Figure 748156DEST_PATH_IMAGE043
表示求右上像素块
Figure 348394DEST_PATH_IMAGE028
内所有像素点的像素值的平均值，
Figure 846371DEST_PATH_IMAGE044
表示求右下像素块
Figure 618018DEST_PATH_IMAGE030
内所有像素点的像素值的平均值；        
(4-1-4)、分别依次计算第
Figure 506340DEST_PATH_IMAGE019
列待修复水平条带损伤周围的六大像素块形成的垂直方向、45°方向、135°方向的梯度值中的最大值
Figure 575796DEST_PATH_IMAGE045
和
Figure 865963DEST_PATH_IMAGE046
最小值，其表达式为：
        (17a)
其中，
Figure 808511DEST_PATH_IMAGE045
为垂直方向 、45°方向 、135°方向的梯度值中的最大值，表示求三个梯度值中的最大值，
Figure 355478DEST_PATH_IMAGE078
       (17b)
其中，
Figure 765731DEST_PATH_IMAGE046
为垂直方向 、45°方向 、135°方向的梯度值中的最小值，
Figure 879180DEST_PATH_IMAGE050
表示求三个梯度值中的最小值，
(4-1-5)、根据水平条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，阈值的表达式为：
Figure 991362DEST_PATH_IMAGE051
                       (18)
其中，
Figure 215670DEST_PATH_IMAGE045
和
Figure 277167DEST_PATH_IMAGE046
分别表示三个梯度中的最大值和最小值；
(4-2)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中的阈值比较，按比较的大小分别对水平条带损伤进行插值修复，其具体如下：
(4-2-1)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中的阈值比较，如果比较结果满足如下不等式：
Figure DEST_PATH_IMAGE079
      (19)
则该水平条带损伤区域为边缘区域，用45°方向上的像素点进行插值修复，其表达式为：       
Figure 499200DEST_PATH_IMAGE080
       (20)
其中：
Figure DEST_PATH_IMAGE081
，表示为第
Figure 562895DEST_PATH_IMAGE019
列的水平条带损伤插值修复后的像素值，
Figure 744478DEST_PATH_IMAGE056
为水平条带损伤插值像素点，且，
Figure 958607DEST_PATH_IMAGE058
，
Figure 524718DEST_PATH_IMAGE059
分别是水平条带损伤的水平、垂直方向上的距离权值；
(4-2-2)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中阈值比较，如果比较结果满足如下不等式：
Figure DEST_PATH_IMAGE083
     (21)
则该水平条带损伤区域为边缘区域，用135°方向上的像素点进行插值修复，其表达式为：
Figure 514802DEST_PATH_IMAGE080
     (22)
其中：
Figure 875376DEST_PATH_IMAGE081
，
Figure 200178DEST_PATH_IMAGE082
表示为第
Figure 569979DEST_PATH_IMAGE019
列的水平条带损伤插值修复后的像素值，
Figure 647526DEST_PATH_IMAGE056
为水平条带损伤插值像素点，且
Figure 444580DEST_PATH_IMAGE061
，
Figure 991099DEST_PATH_IMAGE062
，
Figure 164592DEST_PATH_IMAGE059
分别是水平条带损伤的水平、垂直方向上的距离权值；
 (4-2-3)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中阈值比较，如果比较结果既不满足不等式(19)，又不满足不等式(21)，则该水平条带损伤区域为平坦区域，用垂直方向上的像素点对水平条带区域
Figure 175273DEST_PATH_IMAGE017
进行插值修复，其表达式为：
Figure 828715DEST_PATH_IMAGE080
         (23)
其中：
Figure 924847DEST_PATH_IMAGE081
，
Figure 574134DEST_PATH_IMAGE082
表示为第
Figure 439322DEST_PATH_IMAGE019
列的水平条带损伤插值修复后的像素值，
Figure 578179DEST_PATH_IMAGE056
为水平条带损伤插值像素点，且
Figure 348558DEST_PATH_IMAGE084
，
Figure DEST_PATH_IMAGE085
，
Figure 535957DEST_PATH_IMAGE059
分别是水平条带损伤的水平、垂直方向上的距离权值，
如图17所示，图中是对黑色水平条带损伤进行插值修复后的画面，如图18所示，图中是对白色水平条带损伤进行插值修复后的画面；
(5)、输出保存修复后的视频序列。

Claims (4)

1.一种视频序列中条带损伤的修复方法，其具体步骤如下：
(1)、读入待修复的视频序列和标记条带损伤位置的二值掩膜图像序列；
(2)、由二值掩膜图像得到条带损伤的长度值和宽度值，根据条带损伤的长和宽之比确定条带损伤是垂直条带损伤还是水平条带损伤：若视频序列中存在的是垂直条带损伤，则转步骤(3)进行插值修复，若视频序列中存在的是水平条带损伤，则转步骤(4)进行插值修复； 
(3)、计算垂直条带损伤周围像素点的梯度值，根据得到的梯度值将垂直条带损伤分为位于平坦区域的垂直条带损伤和位于边缘区域的垂直条带损伤，对垂直条带损伤位于平坦区域的，用条带损伤左、右的像素点插值修复，对垂直条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复；
(4)、计算水平条带损伤周围像素点的梯度值，根据得到的梯度值将水平条带损伤分为位于平坦区域的水平条带损伤和位于边缘区域的水平条带损伤，对水平条带损伤位于平坦区域的，用条带损伤上、下的像素点插值修复，对水平条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复；
 (5)、输出保存修复后的视频序列。
2.根据权利要求1中所述的一种视频序列中条带损伤的修复方法，其特征在于，上述步骤(2)中所述的由二值掩膜图像得到条带损伤的长度和宽度值，根据条带损伤的长和宽之比确定条带损伤是垂直条带损伤还是水平条带损伤，若视频序列中存在的是垂直条带损伤，则转步骤(3)进行插值修复，若视频序列中存在的是水平条带损伤，则转步骤(4)进行插值修复，其具体步骤如下：
(2-1)、对条带损伤的二值掩膜图像从左到右进行逐行扫描，对条带损伤区域的左上点，记为                                                ，对条带损伤的右下点，记为
Figure 743712DEST_PATH_IMAGE002
，分别得到条带损伤的长度值和宽度值，其表达式如下：
         
Figure 959930DEST_PATH_IMAGE003
                                (1)
          
Figure 29386DEST_PATH_IMAGE004
                               (2)
其中，
Figure 7969DEST_PATH_IMAGE005
和
Figure 684938DEST_PATH_IMAGE006
分别表示条带损伤的长度值和宽度值，和
Figure 746752DEST_PATH_IMAGE008
分别是条带损伤左上点的横纵坐标值，
Figure 953742DEST_PATH_IMAGE009
和
Figure 254142DEST_PATH_IMAGE010
分别是条带损伤右上角的横纵坐标值； 
(2-2)、判断条带损伤的宽度值
Figure 179373DEST_PATH_IMAGE006
是否为奇数值，若条带损伤的宽度值
Figure 403681DEST_PATH_IMAGE006
不是奇数值，则将条带损伤的宽度值
Figure 668440DEST_PATH_IMAGE006
增加1个像素宽，将条带损伤的宽度值
Figure 952791DEST_PATH_IMAGE006
扩展为奇数值，则转步骤(2-3)，若条带损伤的宽度
Figure 785224DEST_PATH_IMAGE006
是奇数值，则转步骤(2-3)； 
(2-3)、定义条带的长度和宽度比，记为
Figure 813223DEST_PATH_IMAGE011
，其表达式为：
             
Figure 932489DEST_PATH_IMAGE012
                                 (3)
其中，
Figure 387741DEST_PATH_IMAGE005
表示条带损伤的长度值， 表示条带损伤的宽度值，
Figure 40625DEST_PATH_IMAGE011
表示条带损伤的长与宽之比， 
(2-4)、判断条带损伤的长与宽比
Figure 14397DEST_PATH_IMAGE011
是大于1还是小于1：若条带损伤的长与宽比
Figure 640551DEST_PATH_IMAGE011
大于1，则该条带损伤为垂直条带损伤，则转步骤(3)进行插值修复；若条带损伤的长与宽比
Figure 450506DEST_PATH_IMAGE011
小于1，则该条带损伤为水平条带损伤，则转步骤(4)进行插值修复。
3.根据权利要求1中所述的一种视频序列中条带损伤的修复方法，其特征在于，上述步骤(3)中所述的计算垂直条带损伤周围像素点的梯度值，根据得到的梯度值将垂直条带损伤分为位于平坦区域的垂直条带损伤和位于边缘区域的垂直条带损伤，对垂直条带损伤位于平坦区域的，用条带损伤左、右的像素点插值修复，对垂直条带损伤位于边缘区域的，用沿边缘方向的像素点进行插值修复，其具体步骤如下：
(3-1)、计算垂直条带损伤周围像素块的梯度值，根据垂直条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，其具体步骤如下：
(3-1-1)、定义第
Figure 820307DEST_PATH_IMAGE013
行的垂直条带损伤区域：定义第行的垂直条带损伤区域的表达式为：
    
Figure 711220DEST_PATH_IMAGE014
                         (4)
其中， 
Figure 320056DEST_PATH_IMAGE015
表示垂直条带损伤区域，
Figure 414920DEST_PATH_IMAGE016
表示原受损图像，
Figure 425601DEST_PATH_IMAGE006
表示垂直条带的宽度，表示垂直条带损伤左边界像素点的横坐标值； 
(3-1-2)、定义左像素块W、右像素块E、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小，其具体方法如下：
选取第
Figure 427372DEST_PATH_IMAGE013
行垂直条带损伤周围的六个像素块：左像素块W、右像素块E、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE，左像素块W、右像素块E、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小的定义如下：
Figure 138976DEST_PATH_IMAGE018
   
Figure 955229DEST_PATH_IMAGE019
                (5a)
其中， 表示原受损图像，
Figure 349618DEST_PATH_IMAGE020
表示左像素块，
Figure 864913DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 37138DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 346896DEST_PATH_IMAGE017
是垂直条带左边界的横坐标值，
Figure 152041DEST_PATH_IMAGE022
                   (5b)
其中，
Figure 143131DEST_PATH_IMAGE016
表示原受损图像，
Figure 982911DEST_PATH_IMAGE023
表示右像素块，
Figure 151986DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 710007DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 301525DEST_PATH_IMAGE017
是垂直条带左边界的横坐标值，
Figure 199074DEST_PATH_IMAGE024
       (5c)
其中，
Figure 850635DEST_PATH_IMAGE016
表示原受损图像， 
Figure 817323DEST_PATH_IMAGE025
表示左上的像素块，
Figure 212532DEST_PATH_IMAGE006
表示垂直条带的宽度，是像素点的横纵坐标，
Figure 787050DEST_PATH_IMAGE017
是垂直条带左边界的横坐标值，
          (5d)
其中，表示原受损图像，表示右上的像素块，
Figure 624149DEST_PATH_IMAGE006
表示垂直条带的宽度，是像素点的横纵坐标，
Figure 318753DEST_PATH_IMAGE017
是垂直条带左边界的横坐标值，
  
Figure 29089DEST_PATH_IMAGE028
        (5e)
其中，
Figure 193354DEST_PATH_IMAGE016
表示原受损图像，
Figure 434979DEST_PATH_IMAGE029
表示左下的像素块，
Figure 913365DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 291257DEST_PATH_IMAGE021
是像素点的横纵坐标，是垂直条带左边界的横坐标值，
 
Figure 43761DEST_PATH_IMAGE030
      (5f)
其中，
Figure 388154DEST_PATH_IMAGE016
表示原受损图像，
Figure 558236DEST_PATH_IMAGE031
表示右下的像素块，
Figure 329883DEST_PATH_IMAGE006
表示垂直条带的宽度，是像素点的横纵坐标，
Figure 349977DEST_PATH_IMAGE017
是垂直条带左边界的横坐标值；
 (3-1-3)、分别计算第
Figure 702461DEST_PATH_IMAGE013
行待修复的垂直条带损伤周围的六个像素块形成的水平方向、45°方向、135°方向上的梯度值 
第
Figure 582692DEST_PATH_IMAGE013
行待修复的垂直条带损伤周围的六大像素块形成三个方向：水平方向、45°方向、135°方向，分别计算水平方向、45°方向、135°方向上的梯度值，其计算式依次为：
Figure 20627DEST_PATH_IMAGE032
                    (6a)
其中，
Figure 392309DEST_PATH_IMAGE033
表示水平方向的梯度值，
Figure 599299DEST_PATH_IMAGE034
表示求左像素块
Figure 712749DEST_PATH_IMAGE020
内所有像素点的像素值的平均值，
Figure 575663DEST_PATH_IMAGE035
表示求右像素块
Figure 799971DEST_PATH_IMAGE023
内所有像素点的像素值的平均值，
Figure 127047DEST_PATH_IMAGE036
                (6b)
其中，
Figure 332769DEST_PATH_IMAGE037
表示45°方向的梯度值，
Figure 745296DEST_PATH_IMAGE038
表示求左上像素块
Figure 710978DEST_PATH_IMAGE025
内所有像素点的像素值的平均值，表示求右下像素块
Figure 347813DEST_PATH_IMAGE031
内所有像素点的像素值的平均值，
               (6c)
其中，表示135°方向的梯度值，
Figure 475934DEST_PATH_IMAGE042
表示求右上像素块
Figure 102087DEST_PATH_IMAGE027
内所有像素点的像素值的平均值，表示求右下像素块
Figure 780379DEST_PATH_IMAGE029
内所有像素点的像素值的平均值； 
(3-1-4)、分别依次计算第行待修复垂直条带损伤周围的六大像素块形成的水平方向、45°方向、135°方向的梯度值中的最大值
Figure 671292DEST_PATH_IMAGE044
和
Figure 280128DEST_PATH_IMAGE045
最小值，其表达式为：
Figure 188041DEST_PATH_IMAGE046
        (7a)
其中，
Figure 884208DEST_PATH_IMAGE044
为水平方向 、45°方向 、135°方向的梯度值中的最大值，
Figure 852164DEST_PATH_IMAGE047
表示求三个梯度值中的最大值，
Figure 885979DEST_PATH_IMAGE048
       (7b)
其中，
Figure 597583DEST_PATH_IMAGE045
为水平方向 、45°方向 、135°方向的梯度值中的最小值，
Figure 462771DEST_PATH_IMAGE049
表示求三个梯度值中的最小值；
(3-1-5)、根据垂直条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，阈值的表达式为：
    
Figure 788579DEST_PATH_IMAGE050
                          (8)
其中，和
Figure 887302DEST_PATH_IMAGE045
分别表示三个梯度中的最大值和最小值； 
(3-2)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中的阈值比较，按比较的大小分别对垂直条带损伤进行插值修复，其具体如下：
(3-2-1)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中的阈值比较，如果比较结果满足如下不等式：
  
Figure 544679DEST_PATH_IMAGE051
         (9)
则该垂直条带损伤区域为边缘区域，用45°方向上的像素点进行插值修复，其表达式为：       
          (10)
其中：
Figure 613578DEST_PATH_IMAGE053
，表示为第行的垂直条带损伤插值修复后的像素值，
Figure 925107DEST_PATH_IMAGE055
为垂直条带损伤插值像素点，且
Figure 670078DEST_PATH_IMAGE056
，
Figure 261597DEST_PATH_IMAGE057
，
Figure 893566DEST_PATH_IMAGE058
分别是垂直条带损伤的水平、垂直方向上的距离权值； 
(3-2-2)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中阈值比较，如果比较结果满足如下不等式：
          (11)
则该垂直条带损伤区域为边缘区域，用135°方向上的像素点进行插值修复，其表达式为：
         (12)
其中：
Figure 671139DEST_PATH_IMAGE053
，
Figure 423194DEST_PATH_IMAGE054
表示为第
Figure 245657DEST_PATH_IMAGE013
行的垂直条带损伤插值修复后的像素值，
Figure 512690DEST_PATH_IMAGE055
为垂直条带损伤插值像素点，且，
Figure 567420DEST_PATH_IMAGE061
，
Figure 498467DEST_PATH_IMAGE058
分别是垂直条带损伤的水平、垂直方向上的距离权值； 
 (3-2-3)、将垂直条带损伤周围像素块的水平方向、45°方向、135°方向的梯度值分别与公式(8)中阈值比较，如果比较结果既不满足不等式(9)，又不满足不等式(11)，则该垂直条带损伤区域为平坦区域，用水平方向上的像素点对垂直条带区域
Figure 252796DEST_PATH_IMAGE015
进行插值修复，其表达式为：
Figure 989808DEST_PATH_IMAGE052
         (13)
其中：
Figure 201609DEST_PATH_IMAGE053
，
Figure 631453DEST_PATH_IMAGE054
表示为第
Figure 810762DEST_PATH_IMAGE013
行的垂直条带损伤插值修复后的像素值，
Figure 85885DEST_PATH_IMAGE055
为垂直条带损伤插值像素点，且
Figure 729356DEST_PATH_IMAGE062
，
Figure 251473DEST_PATH_IMAGE063
，
Figure 980395DEST_PATH_IMAGE058
分别是垂直条带损伤的水平、垂直方向上的距离权值。
4.根据权利要求1中所述的一种视频序列中条带损伤的修复方法，其特征在于，上述步骤(4)中所述的计算水平条带损伤周围像素点的梯度值，根据得到的梯度值将水平条带损伤分为位于平坦区域的水平条带损伤和位于边缘区域的水平条带损伤，对水平条带损伤位于平坦区域的，用条带损伤左、右的像素点插值修复，对水平条带损伤位于边缘区域的，使用沿边缘方向的像素点进行插值修复，其具体步骤如下：
(4-1)、计算水平条带损伤周围像素块的梯度值，根据水平条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，其具体步骤如下：
(4-1-1)、定义第
Figure 996892DEST_PATH_IMAGE017
列的水平条带损伤区域
定义第
Figure 180355DEST_PATH_IMAGE017
列的垂直条带损伤区域的表达式为：
    
Figure 889686DEST_PATH_IMAGE064
                       (14)
其中，
Figure 840324DEST_PATH_IMAGE015
表示水平条带损伤区域，表示原受损图像，
Figure 262264DEST_PATH_IMAGE006
表示水平条带的宽度，
Figure 204812DEST_PATH_IMAGE013
表示水平条带损伤下边界像素点的纵坐标值； 
(4-1-2)、定义上像素块N、下像素块S、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小，其具体方法如下：
选取第
Figure 580430DEST_PATH_IMAGE017
列水平条带损伤周围的六个像素块：上像素块N、下像素块S、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE，上像素块N、下像素块S、左上像素块NW、右上像素块NE、左下像素块SW、右下像素块SE的位置和大小的定义如下：
Figure 1047DEST_PATH_IMAGE065
            (15a)
其中， 表示原受损图像，表示上像素块，
Figure 138395DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 362703DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 611151DEST_PATH_IMAGE013
是水平条带下边界的纵坐标值，
Figure 895502DEST_PATH_IMAGE067
                 (15b)
其中， 表示原受损图像，表示下像素块，表示垂直条带的宽度，
Figure 330452DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 167958DEST_PATH_IMAGE013
是水平条带下边界的纵坐标值，
Figure 734068DEST_PATH_IMAGE069
      (15c)
其中，
Figure 222687DEST_PATH_IMAGE016
表示原受损图像， 
Figure 583262DEST_PATH_IMAGE025
表示左上的像素块，
Figure 908064DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 277865DEST_PATH_IMAGE021
是像素点的横纵坐标，是水平条带下边界的纵坐标值，
Figure 653931DEST_PATH_IMAGE070
     (15d)
其中，
Figure 200450DEST_PATH_IMAGE016
表示原受损图像，
Figure 373942DEST_PATH_IMAGE027
表示右上的像素块，
Figure 571574DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 539530DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 573345DEST_PATH_IMAGE013
是水平条带下边界的纵坐标值，
Figure 970435DEST_PATH_IMAGE028
    (15e)
其中，
Figure 835623DEST_PATH_IMAGE016
表示原受损图像，
Figure 912164DEST_PATH_IMAGE029
表示左下的像素块，
Figure 495592DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 932258DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 917532DEST_PATH_IMAGE013
是水平条带下边界的纵坐标值，
Figure 164973DEST_PATH_IMAGE071
       (15f)
其中，
Figure 235698DEST_PATH_IMAGE016
表示原受损图像，表示右下的像素块，
Figure 817300DEST_PATH_IMAGE006
表示垂直条带的宽度，
Figure 235643DEST_PATH_IMAGE021
是像素点的横纵坐标，
Figure 528084DEST_PATH_IMAGE013
是水平条带下边界的纵坐标值； 
 (4-1-3)、分别计算第
Figure 572132DEST_PATH_IMAGE017
列待修复的水平条带损伤周围的六个像素块形成的垂直方向、45°方向、135°方向上的梯度值 
第
Figure 266419DEST_PATH_IMAGE017
列待修复的水平条带损伤周围的六大像素块形成三个方向：垂直方向、45°方向、135°方向，分别计算垂直方向、45°方向、135°方向上的梯度值，其计算式依次为：
     
Figure 855663DEST_PATH_IMAGE072
                       (16a)
其中，
Figure 900979DEST_PATH_IMAGE073
表示垂直方向的梯度值，
Figure 981674DEST_PATH_IMAGE074
表示求上像素块
Figure 530467DEST_PATH_IMAGE066
内所有像素点的像素值的平均值，
Figure 556192DEST_PATH_IMAGE075
表示求下像素块
Figure 823226DEST_PATH_IMAGE068
内所有像素点的像素值的平均值，
     
Figure 22126DEST_PATH_IMAGE036
                  (16b)
其中，
Figure 612376DEST_PATH_IMAGE037
表示45°方向的梯度值，
Figure 871319DEST_PATH_IMAGE038
表示求左上像素块
Figure 563331DEST_PATH_IMAGE025
内所有像素点的像素值的平均值，
Figure 300343DEST_PATH_IMAGE039
表示求右下像素块
Figure 512144DEST_PATH_IMAGE031
内所有像素点的像素值的平均值，
        
Figure 941988DEST_PATH_IMAGE040
                  (16c)
其中，
Figure 855718DEST_PATH_IMAGE041
表示135°方向的梯度值，
Figure 396420DEST_PATH_IMAGE042
表示求右上像素块
Figure 226842DEST_PATH_IMAGE027
内所有像素点的像素值的平均值，
Figure 562009DEST_PATH_IMAGE043
表示求右下像素块
Figure 228613DEST_PATH_IMAGE029
内所有像素点的像素值的平均值；        
(4-1-4)、分别依次计算第列待修复水平条带损伤周围的六大像素块形成的垂直方向、45°方向、135°方向的梯度值中的最大值
Figure 514328DEST_PATH_IMAGE044
和最小值，其表达式为：
    
Figure 236614DEST_PATH_IMAGE076
           (17a)
其中，
Figure 56802DEST_PATH_IMAGE044
为垂直方向 、45°方向 、135°方向的梯度值中的最大值，
Figure 409286DEST_PATH_IMAGE047
表示求三个梯度值中的最大值， 
    
Figure 538785DEST_PATH_IMAGE077
            (17b)
其中，
Figure 976720DEST_PATH_IMAGE045
为垂直方向 、45°方向 、135°方向的梯度值中的最小值，表示求三个梯度值中的最小值； 
(4-1-5)、根据水平条带损伤周围像素块的最大梯度值和最小梯度值确定阈值，阈值的表达式为： 
         
Figure 807589DEST_PATH_IMAGE050
                          (18)
其中，
Figure 343875DEST_PATH_IMAGE044
和
Figure 269106DEST_PATH_IMAGE045
分别表示三个梯度中的最大值和最小值； 
(4-2)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中的阈值比较，按比较的大小分别对水平条带损伤进行插值修复，其具体如下：
(4-2-1)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中的阈值比较，如果比较结果满足如下不等式：
          
Figure 431097DEST_PATH_IMAGE078
      (19)
则该水平条带损伤区域为边缘区域，用45°方向上的像素点进行插值修复，其表达式为：       
      
Figure 758173DEST_PATH_IMAGE079
        (20)
其中：
Figure 229475DEST_PATH_IMAGE080
，表示为第
Figure 342104DEST_PATH_IMAGE017
列的水平条带损伤插值修复后的像素值，为水平条带损伤插值像素点，且
Figure 664425DEST_PATH_IMAGE056
，
Figure 564248DEST_PATH_IMAGE057
，
Figure 68041DEST_PATH_IMAGE058
分别是水平条带损伤的水平、垂直方向上的距离权值； 
(4-2-2)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中阈值比较，如果比较结果满足如下不等式：
         
Figure 104130DEST_PATH_IMAGE082
           (21)
则该水平条带损伤区域为边缘区域，用135°方向上的像素点进行插值修复，其表达式为：
    
Figure 730284DEST_PATH_IMAGE079
            (22)
其中：
Figure 304354DEST_PATH_IMAGE080
，
Figure 408576DEST_PATH_IMAGE081
表示为第
Figure 502434DEST_PATH_IMAGE017
列的水平条带损伤插值修复后的像素值，
Figure 299488DEST_PATH_IMAGE055
为水平条带损伤插值像素点，且
Figure 596740DEST_PATH_IMAGE060
，
Figure 770232DEST_PATH_IMAGE061
，
Figure 780914DEST_PATH_IMAGE058
分别是水平条带损伤的水平、垂直方向上的距离权值； 
 (4-2-3)、将水平条带损伤周围像素块的垂直方向、45°方向、135°方向的梯度值分别与公式(18)中阈值比较，如果比较结果既不满足不等式(19)，又不满足不等式(21)，则该水平条带损伤区域为平坦区域，用垂直方向上的像素点对水平条带区域
Figure 686553DEST_PATH_IMAGE015
进行插值修复，其表达式为：
     
Figure 782685DEST_PATH_IMAGE079
         (23)
其中：，
Figure 546427DEST_PATH_IMAGE081
表示为第
Figure 622968DEST_PATH_IMAGE017
列的水平条带损伤插值修复后的像素值，
Figure 206396DEST_PATH_IMAGE055
为水平条带损伤插值像素点，且
Figure 141597DEST_PATH_IMAGE083
，
Figure 126871DEST_PATH_IMAGE084
，
Figure 374313DEST_PATH_IMAGE058
分别是水平条带损伤的水平、垂直方向上的距离权值。
CN2011101695663A 2011-06-23 2011-06-23 视频序列中条带损伤的修复方法 Pending CN102231790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101695663A CN102231790A (zh) 2011-06-23 2011-06-23 视频序列中条带损伤的修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101695663A CN102231790A (zh) 2011-06-23 2011-06-23 视频序列中条带损伤的修复方法

Publications (1)

Publication Number Publication Date
CN102231790A true CN102231790A (zh) 2011-11-02

Family

ID=44844319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101695663A Pending CN102231790A (zh) 2011-06-23 2011-06-23 视频序列中条带损伤的修复方法

Country Status (1)

Country Link
CN (1) CN102231790A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867794B2 (en) 2012-10-23 2014-10-21 Cyberlink Corp. Systems and methods for performing image inpainting based on texture analysis
CN110378860A (zh) * 2019-07-30 2019-10-25 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质
CN111383193A (zh) * 2020-02-21 2020-07-07 泰康保险集团股份有限公司 图像修复方法和装置
CN112463424A (zh) * 2020-11-13 2021-03-09 扬州大学 一种基于图的端到端程序修复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228056A1 (en) * 2002-06-10 2003-12-11 Pulsent Corporation Scene change detection by segmentation analysis
CN101571950A (zh) * 2009-03-25 2009-11-04 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN101674397A (zh) * 2009-09-27 2010-03-17 上海大学 视频序列中划痕的修复方法
CN101692691A (zh) * 2009-09-27 2010-04-07 上海大学 视频图像中条带的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228056A1 (en) * 2002-06-10 2003-12-11 Pulsent Corporation Scene change detection by segmentation analysis
CN101571950A (zh) * 2009-03-25 2009-11-04 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN101674397A (zh) * 2009-09-27 2010-03-17 上海大学 视频序列中划痕的修复方法
CN101692691A (zh) * 2009-09-27 2010-04-07 上海大学 视频图像中条带的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谷伊，等: "视频序列中垂直和水平划痕的修复", 《电视技术》 *
韩军，等: "视频图像修复算法的研究", 《电视技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867794B2 (en) 2012-10-23 2014-10-21 Cyberlink Corp. Systems and methods for performing image inpainting based on texture analysis
CN110378860A (zh) * 2019-07-30 2019-10-25 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质
CN110378860B (zh) * 2019-07-30 2023-08-18 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质
CN111383193A (zh) * 2020-02-21 2020-07-07 泰康保险集团股份有限公司 图像修复方法和装置
CN112463424A (zh) * 2020-11-13 2021-03-09 扬州大学 一种基于图的端到端程序修复方法
CN112463424B (zh) * 2020-11-13 2023-06-02 扬州大学 一种基于图的端到端程序修复方法

Similar Documents

Publication Publication Date Title
CN102231792B (zh) 基于特征匹配的电子稳像方法
CN105913396B (zh) 一种噪声估计的图像边缘保持混合去噪方法
CN107578392B (zh) 一种基于残余插值的卷积神经网络去马赛克方法
CN102883175B (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
US7548659B2 (en) Video enhancement
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
CN101742122B (zh) 一种去除视频抖动的方法和系统
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
CN106169173B (zh) 一种图像插值方法
CN102509294B (zh) 一种基于单幅图像的全局深度估计方法
US20110142368A1 (en) Method and apparatus for block-based image denoising
CN107301674B (zh) 一种基于窗口插值的三维重建纹理恢复方法
WO2016189901A1 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
CN105447828B (zh) 沿运动模糊路径进行一维反卷积的单视点图像去模糊方法
CN102231790A (zh) 视频序列中条带损伤的修复方法
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
CN101674397A (zh) 视频序列中划痕的修复方法
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
CN105701770B (zh) 一种基于上下文线性模型的人脸超分辨率处理方法及系统
CN103729828A (zh) 视频去雨方法
WO2007145654A1 (en) Automatic compositing of 3d objects in a still frame or series of frames and detection and manipulation of shadows in an image or series of images
CN105279742B (zh) 一种快速的基于分块噪声能量估计的图像去噪方法
CN110163212B (zh) 一种碑帖图像中的文字切割方法
JP2003143401A (ja) オリジナル画像の自動的なリアルタイムの修復方法
CN110827209A (zh) 一种联合颜色与深度信息的自适应深度图像修复方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111102