CN102436641A - 基于波原子变换和非参数模型的电影自动修复方法 - Google Patents
基于波原子变换和非参数模型的电影自动修复方法 Download PDFInfo
- Publication number
- CN102436641A CN102436641A CN2011103046554A CN201110304655A CN102436641A CN 102436641 A CN102436641 A CN 102436641A CN 2011103046554 A CN2011103046554 A CN 2011103046554A CN 201110304655 A CN201110304655 A CN 201110304655A CN 102436641 A CN102436641 A CN 102436641A
- Authority
- CN
- China
- Prior art keywords
- conversion
- nonparametric model
- method based
- image
- atom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种基于波原子变换和非参数模型的电影自动修复方法,根据电影中划痕方向集中在垂直方向上的特性,使用波原子变换可以有效地描述划痕的特性,将检测和修复过程结合起来,取得了在修复的效果和实时性上取得了良好的结果;另外,通过对系数增加新的约束,该方法对于噪声的抑制也具有效果,可以将电影去噪和划痕修复有机结合;根据斑块在空间域和时域上都不具有连续性的特点,结合了帧间和帧内信息提高了斑块的检测准确性,并采用非参数模型对斑块部分进行修复,最终实现了电影的噪声、划痕和斑块的自动化修复。由于划痕在之前的处理中得到修复,使用非参数模型只需修复斑块部分,使得系统的修复时间节约了70%。
Description
技术领域
本发明涉及的是一种图像和视频处理技术领域的系统,具体是一种基于波原子变换和非参数模型的电影自动修复方法。
背景技术
电影艺术是人类文化的重要体现和人类文明的宝贵财富。我们有义务尽力去保护并传承优秀的电影作品。电影的数字化就是其中最主要的保护方式。传统电影以胶片的形式保存,对保存环境的要求较苛刻。随着环境的温度和湿度变化,胶片上的化学涂层会出现氧化现象,导致亮度和色彩失真,严重的还会出现霉斑。此外,胶片电影会随着播放次数的增长出现划痕,色彩退化的现象。相比传统的电影胶片,数字化的电影作品,具有便于携带,便于网络传播,存储方式对环境变化不明感,可大量反复播放等优点,极大地延长了电影的寿命。但是对于年代久远的电影作品,其胶片上已经出现了上述退化现象。所以在数字化之后,还要对其进行进一步修复,去除其中的噪声、划痕以及斑块。
经过对现有技术的文献检索发现,现有的方法是对噪声、划痕以及斑块分别进行处理。相互之间并没有建立应有的联系。例如A. Buades等人在《International Journal of Computer Vision》(计算机视觉国际期刊)第76卷第2期的第123页至第139页发表的“Nonlocal image and movie denoising”就只对电影中的噪声进行了其中分析和去除,并没有涉及到划痕和斑块的修复。另一方面,在对划痕和斑块的修复上,现有的方法都依据采用先检查在修复的策略。例如M. J. Nadenau等人在《Proceedings of the 5th International Workshop onTime-Varying Image Processing and Moving Object Recognition》(第五届国际时变信号处理和运动目标识别研讨会论文集)第27页至第35页发表的“Blotch and scratch detection in image sequences based on rank ordered differences”就是这种策略的代表。事实证明,对于划痕和斑块的检测现有技术并不能达到很好的准确率,从而造成修复的结果不尽人意。要达到良好的检测效果,必须人工设定适合的参数,导致系统的自动化程度低,效率低。不仅如此,对于采用非参数模型进行信号估计的电影修复方法,其运算复杂度为O(Nr
2
)。r 为修补使用的块的大小,N为被检测为划痕和斑块的所以像素点的个数。如果能采用新的方法去除划痕,那么N的大小将明显减少,有利于提高系统效率。L. Demanet在他的博士毕业论文“Curvelets, wave atoms, and wave equations”(曲小波、波原子以及波动方程)中提出了一种同时具有良好的方向描述和尺度描述的新的变换方法,即波原子变换。该方法克服了传统小波对于高维信号方向性描述能力弱的问题,结合FFT(快速傅里叶变换)和多尺度分析技术实现了信号频谱的多尺度多方向划分。对于震荡信号,波原子变换可以得到更稀疏的系数,对于具有明显方向性的信号,波原子变换得到的系数将集中在可预测的系数域中。这促使我们去设计一种新的电影修复系统,以在提高系统的自动化程度并改进修复的效果。
发明内容
本发明针对现有技术存在的上述不足,提供一种基于波原子变换和非参数模型的电影自动修复方法,可用于自动修复电影中的噪声,划痕和斑块问题。
本发明根据电影中划痕方向集中在垂直方向上的特性,使用波原子变换可以有效地描述划痕的特性,将检测和修复过程结合起来,取得了在修复的效果和实时性上取得了良好的结果。另外,通过对系数增加新的约束,该方法对于噪声的抑制也具有效果,可以将电影去噪和划痕修复有机结合。由于抑制了噪声,使得斑块的检测准确率得以提高。更重要的是由于划痕在之前的处理中得到修复,使用非参数模型只需修复斑块部分,使得系统的修复时间节约了70%。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第五步、采用非参数模型对检测出的斑块位置进行填补。
本发明的原理是,考虑到老电影的播放机制导致划痕按垂直方向分布,具有明显的方向性,故将其与斑块分离,进行分开处理。采用波原子变换技术实现了划痕检测,修复和去噪的联合处理,减少了基于非参数模型的填补方法的工作量,提高了系统的实时性。最后,根据斑块在空间域和时域上都不具有连续性的特点,结合了帧间和帧内信息提高了斑块的检测准确性,最终实现了快速良好的电影自动修复系统。
与现有技术相比,本发明对于不同性质的干扰进行处理,在修复效果上有了明显的改进。同时,在系统的实时性上有明显的提高。在各种实验条件下,该方法的处理速度比原有的方法提高约70%。更重要的是,系统的参数不需要人工调节,使得系统实现了电影的自动化修复。
附图说明
图1是本发明实施例求残差图像的流程图;
图2是本发明实施例做预处理的流程图;
图3是本发明实施例得到的M矩阵示意图;其中:图a为原始图像,图b为M矩阵;
图4是本发明实施例去除划痕和噪声的流程图;
图5是本发明实施例去划痕和去噪的示意图;其中:图a为原始图像,图b为去划痕去噪结果图;
图6是本发明实施例进行斑块检测的流程图;
图7是本发明实施例斑块检测结果的示意图;其中:图a为去划痕去噪结果图,图b为斑块检测结果图;
图8是本发明实施例的系统流程图;
图9是本发明实施例与原有方法修复结果的比较图;其中:图a为原始的连续三帧图像序列,图b为原方法修复结果图,图c为本发明实施例修复结果图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例:
所述的阈值T采用自适应的方式选取,使得取1的像素点的个数不大于全体个数的10%。预处理流程见图2。M矩阵示意图见图3。
所述的波原子变换是指:一种结合了小波变换和快速傅立叶变换(FFT)的新的分析工具。它同时具有多尺度和方向性描述的特点。通过对信号的频域进行不同尺度上的方向性划分,得到方向描述性更强的系数域。
反变换的计算过程为正变换的逆过程:
在实施例中T
1
=10。
中取搜索窗口W。若W中没有像素值与I(x,y)的差值的绝对值在[0,T
2
]以内,则认为I(x,y)为斑块。本实施例中T
2
=3,窗口W的尺寸为11×11。
中认为是斑块的像素点为零。检测流程见图6,输入及输出示意图见图7。
第五步、采用非参数模型对检测出的斑块位置进行填补。将每个待填补的像素的实际值用若干像素的加权平均值来估计。以每个待填补的像素为中心取像素块。计算其与一个采样窗口中的每一个块的欧式距离,作为每一个块的中心像素对应的权重。最终的估计值就由每一个块的中心像素的加权平均值确定。
所述的非参数模型是指:根据图像块与块之间的相似性估计待填补的像素值。以待填补像素I(x,y)为中心取8×8的像素块,其向量表示为X。则I(x,y)的估计值可以用下式表示
X
j
为采样窗口中与X相同大小的块的向量表示;x
j
为X
j
的中心。
所述的采样窗口是指:以待填补像素为中心,半径10的正方形窗口。
系统流程图见图8。
实施效果
依据上述步骤,对中国电影档案馆的6部电影,24个片段序列进行修复实验。所有实验均在PC计算机上实现,该PC计算机的主要参数为:中央处理器
2 Duo CPU E6600 2.40GHz, 内存3GB。软件平台:MATLAB。
采用纯非参数模型对划痕和斑块进行修复方法,可得修复结果为:
平均修复用时264.6秒每帧。
修复结果如图9第2行(图b)所示。
本实施例获得的识别结果为:
平均修复用时60秒每帧。
其中,用于残差计算和噪声估计的用时为6.3秒每帧;
用于划痕和噪声修复的时间为8.2秒每帧;
用于斑块检测的时间为13.1秒每帧;
用于斑块修复的时间为32.1秒每帧。
修复结果如图9第3行(图c)所示。
与现有技术相比,本发明对于不同性质的干扰进行处理,在修复效果上有了明显的改进。同时,因为波原子变换的过程是基于FFT的,所以它的运算复杂度为O(NlogN)。对划痕进行修复时的实际复杂度为O(I
max
NlogN),远小于非参数模型修复方法的复杂度。在系统的实时性上有明显的提高。在各种实验条件下,该方法的处理速度比原有的方法提高约70%。更重要的是,系统的参数不需要人工调节,使得系统实现了电影的自动化修复。
Claims (9)
1.一种基于波原子变换和非参数模型的电影自动修复方法,其特征在于包括以下步骤:
第二步、对第t帧图像It进行预处理,包括先使用高斯平滑模块对图像进行低通滤波,再使用横向的Sobel算子对垂直的边缘和划痕区域进行粗略的标记,最后使用数学形态学的膨胀算子对标记位置进行扩大,得到矩阵M用于对图像的平滑区域进行保护;
第三步、根据估计的噪声方差、第t帧图像It和M采用基于波原子变换的循环嵌套的方法修复划痕并去除噪声;
第四步、根据帧间和帧内信息对第t帧图像It中的斑块进行检测;
第五步、采用非参数模型对检测出的斑块位置进行填补。
4.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法,其特征是,第三步中:所述的波原子变换,其中波原子为满足一下条件的函数
其中j为尺度缩放因子;x=(x1,x2)为空间坐标;ω=(ω1,ω2)为变换后的频域坐标;n=(n1,n2)为波原子对应的空间域位移向量;m=(m1,m2)表示波原子在频域的位置; 表示ψ的傅里叶变换结果;εm=(-1)m; 函数g为支撑集长度2π的无穷可微的实值函数;
所述的波原子变换包括正变换和反变换,正变换的计算过程为:
iii)在2j尺度下做快速傅里叶逆变换IFFT得到变换系数cm,n,j,如下式所述:
将上述正变换记作f(·)
反变换的计算过程为正变换的逆过程:
iii)将ii)中的结果在频域累加,再做IFFT得到It;
反变换记作f-1(·)。
5.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法,其特征是,所述的循环嵌套算法具体包括以下步骤:
3.1)初始化,输入待处理图像It=X0,区域保护矩阵M,噪声方差σ2,最大迭代次数Imax,初始量化步距T;
3.3)通过下式求得Xi,
其中e表示矩阵对应元素相乘,量化函数ST(·)如下式所示,
ST(x)=T×round(x/T)
其中round(·)表示四舍五入;
3.4)T=T/i,i=i+1,若i<Imax,从3.2步重复执行,否则It=f-1(Thresσ/60(f(Xi))),其中函数Thres(·)如下式所示,
7.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法,其特征是,所述的帧内信息是指:若M1(x,y)=0,则以I(x,y)为中心,在It中取搜索窗口W,若W中没有像素值与I(x,y)的差值的绝对值在[0,T2]以内,则认为I(x,y)为斑块;
所述的斑块检测是指:通过帧间信息和帧内信息,标记It中认为是斑块的像素点为零。
9.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法,其特征是,所述的采样窗口是指:以待填补像素为中心,半径10的正方形窗口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110304655 CN102436641B (zh) | 2011-10-10 | 2011-10-10 | 基于波原子变换和非参数模型的电影自动修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110304655 CN102436641B (zh) | 2011-10-10 | 2011-10-10 | 基于波原子变换和非参数模型的电影自动修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102436641A true CN102436641A (zh) | 2012-05-02 |
CN102436641B CN102436641B (zh) | 2013-09-25 |
Family
ID=45984686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110304655 Active CN102436641B (zh) | 2011-10-10 | 2011-10-10 | 基于波原子变换和非参数模型的电影自动修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102436641B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106842321A (zh) * | 2015-12-04 | 2017-06-13 | 中国石油天然气股份有限公司 | 地震数据重建方法和装置 |
CN113436100A (zh) * | 2021-06-28 | 2021-09-24 | 北京百度网讯科技有限公司 | 用于修复视频的方法、装置、设备、介质和产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794785A (zh) * | 2005-11-03 | 2006-06-28 | 上海交通大学 | 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 |
CN102129670A (zh) * | 2011-02-25 | 2011-07-20 | 上海交通大学 | 电影划痕损伤的检测修复方法 |
-
2011
- 2011-10-10 CN CN 201110304655 patent/CN102436641B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794785A (zh) * | 2005-11-03 | 2006-06-28 | 上海交通大学 | 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 |
CN102129670A (zh) * | 2011-02-25 | 2011-07-20 | 上海交通大学 | 电影划痕损伤的检测修复方法 |
Non-Patent Citations (5)
Title |
---|
ANTONI BUADES ET AL: "Nonlocal Image and Movie Denoising", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
宋宜美,宋国乡: "结合波原子和Cycle Spinning的图像去噪", 《西安电子科技大学学报(自然科学版)》 * |
张然然: "面向影像资料的视频修复技术的研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
徐进 等: "一种改进的基于MRF模型的斑块检测算法", 《中国图象图形学报》 * |
徐进: "电影胶片数字修复关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106842321A (zh) * | 2015-12-04 | 2017-06-13 | 中国石油天然气股份有限公司 | 地震数据重建方法和装置 |
CN106842321B (zh) * | 2015-12-04 | 2019-02-15 | 中国石油天然气股份有限公司 | 地震数据重建方法和装置 |
CN113436100A (zh) * | 2021-06-28 | 2021-09-24 | 北京百度网讯科技有限公司 | 用于修复视频的方法、装置、设备、介质和产品 |
WO2023273342A1 (zh) * | 2021-06-28 | 2023-01-05 | 北京百度网讯科技有限公司 | 用于修复视频的方法、装置、设备、介质和产品 |
CN113436100B (zh) * | 2021-06-28 | 2023-11-28 | 北京百度网讯科技有限公司 | 用于修复视频的方法、装置、设备、介质和产品 |
Also Published As
Publication number | Publication date |
---|---|
CN102436641B (zh) | 2013-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8755628B2 (en) | Image de-hazing by solving transmission value | |
Lv et al. | Image restoration with a high-order total variation minimization method | |
CN104103050B (zh) | 一种基于局部策略的真实视频复原方法 | |
Bijalwan et al. | Wavelet transform based image denoise using threshold approaches | |
CN104156918B (zh) | 基于联合稀疏表示与残差融合的sar图像噪声抑制方法 | |
Sun et al. | A novel image denoising algorithm using linear Bayesian MAP estimation based on sparse representation | |
Park | 2D discrete Fourier transform on sliding windows | |
CN103559684B (zh) | 基于平滑校正的图像恢复方法 | |
Li et al. | Research on wavelet-based contourlet transform algorithm for adaptive optics image denoising | |
Kumari et al. | Real time visibility enhancement for single image haze removal | |
CN108428221A (zh) | 一种基于shearlet变换的邻域双变量阈值去噪方法 | |
CN102436641B (zh) | 基于波原子变换和非参数模型的电影自动修复方法 | |
CN103489201B (zh) | 基于运动模糊信息的目标跟踪方法 | |
CN105279742A (zh) | 一种快速的基于分块噪声能量估计的图像去噪方法 | |
CN103839237B (zh) | 基于svd字典和线性最小均方误差估计的sar图像去斑方法 | |
Lee et al. | Image deblurring based on the estimation of PSF parameters and the post-processing | |
Zhang et al. | Image denoising based on iterative generalized cross-validation and fast translation invariant | |
Fan et al. | Fast and robust deblurring method with multi-frame images based on PSF estimation and total variation optimization | |
Binh et al. | Ultrasound images denoising based context awareness in bandelet domain | |
Huo et al. | An automatic video scratch removal based on Thiele type continued fraction | |
CN103077503A (zh) | 基于dct字典同步稀疏表示的sar图像降斑方法 | |
CN107230189A (zh) | 湍流图像去噪方法 | |
Li et al. | Research on motion blurred image restoration | |
Ono et al. | Total variation-wavelet-curvelet regularized optimization for image restoration | |
Gomathi et al. | An efficient GEM model for image inpainting using a new directional sparse representation: Discrete Shearlet Transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |