CN107798666B - 基于稀疏颜色特征的老电影褪色闪烁修复方法 - Google Patents
基于稀疏颜色特征的老电影褪色闪烁修复方法 Download PDFInfo
- Publication number
- CN107798666B CN107798666B CN201711143060.9A CN201711143060A CN107798666B CN 107798666 B CN107798666 B CN 107798666B CN 201711143060 A CN201711143060 A CN 201711143060A CN 107798666 B CN107798666 B CN 107798666B
- Authority
- CN
- China
- Prior art keywords
- matrix
- color
- sequence
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005562 fading Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 95
- 238000012937 correction Methods 0.000 claims abstract description 56
- 230000008439 repair process Effects 0.000 claims abstract description 51
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 241000764238 Isis Species 0.000 claims description 3
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法。通过联合待修复序列的多帧图像建立了简单的色彩修复模型,包括四个关键步骤,首先,将待修复的图像序列进行分镜,并为每一个子序列选择参考帧;其次,提取子序列的相关颜色区域,构建稀疏颜色特征矩阵;然后,使用低秩矩阵分解方法,估计未知修复参数;最后,采用两步修复策略,先利用修复参数对普通帧进行颜色一致性校正,再通过参考帧的修复参数进行颜色恢复性校正,最终得到修复后序列。本发明方法流程清晰、结构完成,联合多帧的修复模式考虑了序列前后帧的连续性,对褪色闪烁的修复效果良好。
Description
技术领域
本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法,属于计算机图像修复技术领域。
背景技术
1905年,中国第一部无声黑白电影《定军山》诞生,时至今日中国电影已经走过悠悠百年岁月。不管是剧情类影片还是历史文献纪录影片,都是当时社会热切关注的题材,见证并记录了我国的发展与进步、苦难与辉煌,凝聚了电影工作者对历史文化的理解和艺术思想,是极其重要的影视资料,也是非常珍贵的艺术文化遗产。然而,由于早期电影的存储与播放依赖于胶片,而胶片上的化学物质会随着时间产生退化现象,再加上以前保存技术比较落后,影片无法得到良好的保护,或损坏或丢失或老化。据粗略统计,从1905年到1949年我国共摄制了1625部电影,但中国电影资料馆仅保存下来252部电影,抚去老电影历史积淀的尘埃,让其重放光彩,使中国人的电影记忆再度鲜明,是一件非常艰巨又意义非凡的事情。
随着近年来计算机技术的快速发展与图像视频处理技术的日趋完善,利用数字化的手段修复受损老电影是一大趋势。在胶片电影数字化后划分的几大修复类型中,闪烁是一种比较常见又较难处理的一类问题。大部分研究人员认为,闪烁是图像序列的亮度在时间与空间上发生了不自然的随机变化,播放时会造成强烈的亮度突变,极易造成观看者视觉的疲劳,需要对连续帧序列的亮度做统一的校正来实现损伤的去除。
目前,大多数的修复方法都需要对图像序列中的闪烁进行建模,然后估计该模型的闪烁参数。周磊等设计了一种基于块的局部区域参数估计和补偿方法,通过对图像序列进行基于块的闪烁模型参数估计和当前帧补偿模型的设计,实现了参照模型下的受损图像亮度修复。谌安军等通过对图像序列中的局部闪烁进行基于余弦基的建模和逐次超松弛迭代的方法,实现了对严重局部亮度闪烁电影的修复。李志永等使用简单的乘性因子和加性因子构造了全局闪烁模型,在避免了复杂计算的同时对全局闪烁损伤有较好的修复效果。赵培栋等提出了一种基于多帧参考的分块视频闪烁消除法,在有效去除闪烁现象的同时修正了附带的运动模糊现象。Julie Delon基于尺度空间理论,使用尺度时间均衡的方法实现了全局亮度闪烁的修复。Bhattacharya等基于视频分解的方法,提出了一种新的检测与去除闪烁的方案。
然而上述方法仅注重解决电影亮度突变引起的闪烁问题,但在实际的老电影档案中,诸多彩色老电影也存在着闪烁问题。这类闪烁是由于附着在胶片上的物质产生化学变化而引起画面颜色偏移,受损影片的色彩呈现连续不自然的褪色现象。对于此类问题,Croci等借鉴了单张图像颜色传递的方法,提出手动调整单帧图像色彩,再使用颜色传递的方法修复整个图像序列以达到色彩一致。虽然对修复有一定效果,但该方法没有考虑视频序列前后帧之间的关联性,有一定的局限性。
发明内容
本发明的目的在于解决褪色闪烁,提供了一种基于稀疏颜色特征的老电影褪色闪烁修复方法。该发明通过提取图像序列的相关颜色特征,构建稀疏矩阵模型,再利用矩阵分解方法估计得到修复参数,最后经过参数的两次校正进行损毁序列的修复。
为达到上述目的,本发明的构思如下:
本方法联合多帧图像建立了简单的颜色校正模型,根据特征相关点提取图像序列中对应的颜色相关区域,并用这些稀疏的颜色特征建立校正矩阵,通过分解矩阵得到模型参数,最后将参数划分为参考帧参数与普通阵参数,分阶段进行闪烁修复。
根据上述构思,本发明采用如下技术方案:
一种基于稀疏颜色特征的老电影褪色闪烁修复方法,包括如下步骤:
步骤1),预处理:将待修复序列进行分镜处理,并为分镜后的每一组子序列选择一帧参考帧;
步骤2),构建修复矩阵:对子序列图像进行特征点提取,并将特征点进行匹配重组排列,通过特征点的描述符提取图像序列中对应的相关颜色区域,计算其颜色特征,构建稀疏修复矩阵;
步骤3),获取修复参数:使用稀疏矩阵分解的方法,预估修复模型中的未知校正参数;
步骤4),闪烁修复:待修复序列中的图像分为参考帧与普通帧,采用两步修复的策略,利用普通帧的校正参数进行颜色一致性校正,再通过参考帧的校正参数进行颜色恢复性校正,最终得到修复后序列。
上述步骤1)预处理中需要分镜处理,是因为在构建修复模型之前需要提取并匹配图像之间的特征点,为了匹配误差最小化,若待修复序列中包含多个场景镜头,分镜是必须的;同时,修复老电影的褪色闪烁需要指定图像的参考颜色风格,因此每一组待修复子序列均需从原序列选择一帧颜色参考帧。
若原序列损坏严重,无法筛选合格的参考帧,则对序列的第一帧图像进行颜色校正处理,并将其视为参考帧,具体步骤为:
其中,αin、βin表示图像从RGB颜色空间转换到lαβ颜色空间后对应的α与β通道值,αout、βout表示期望获得的通道值,mα、mβ分别对应αin、βin通道的平均值;在得到期望的通道值后,再将图像转回RGB颜色空间,即得到效果较好的校正参考帧。
上述步骤2)中的构建修复矩阵,需要提取序列中每一帧的特征点并进行前后帧两两匹配,再联合序列中所有图像对匹配后的特征点进行筛选、重组,最后根据重组后的特征点提取相应图像中的图像块,计算其颜色特征后,组成修复矩阵。
采用SURF算法提取特征点,又由于图像序列的连续性,在进行前后帧匹配时,存在大量冗余特征点,为提高计算效率,序列中每一帧提取出的特征点仅随机保留一半。再结合多帧图像两两匹配后的结果,筛选出在整个序列中出现次数大于等于3的特征点,并根据特征点的描述符提取出对应图像中的图像块,称其为颜色相关区域,该区域的大小为30×30像素,其中心点为特征点。
对于提取出的颜色相关区域求取平均值,称为颜色特征,记为a′,并按照特定的规律排列,构建修复矩阵:
其中M代表整个修复矩阵,m表示待修复序列筛选出的特征相关点总数,n表示序列的总帧数;在矩阵M中,第i行第j列的颜色特征表示为a′ij,并且a′j=(cjai)γj,其中,(cjai)γj是校正修复模型,ai表示第i个特征点对应的未受损时的颜色特征,cj是第j张图的乘性调整因子,类比于白平衡参数,而γj代表第j张图的指数调整因子,类比于伽马校正参数;同时,在矩阵M中,每一行代表相同特征点在不同图像中的校正模型,所以其对应的颜色特征是相同的;而每一列代表了同一帧图像上所有相关点的校正模型,假设闪烁是一种全局性的问题,故同一帧图像的c和γ也是相同的;另外,对于同一个特征点可能不会出现在序列中的所有图像中,则在修复矩阵的对应位置将该点的颜色特征值设为0,故修复矩阵M是稀疏的;根据修复模型,只需求取每一帧图对应的c和γ参数值,再对校正修复模型进行逆序计算,即能够修复受损序列。
上述步骤3)中的校正参数获取,需要对构建的修复矩阵进行分解;根据稀疏矩阵分解法,需要对原始矩阵做变形处理,并引入两个满足一定条件的辅助矩阵,通过辅助矩阵的迭代来近似估计矩阵的最优解,从而获取校正参数。
上述的变形处理,将公式(2)修复矩阵两边同时取对数形式,得到通用公式:
log(Mij)=γjlog(cj)+γjlog(ai) ⑶
为方便叙述,以下所述的矩阵M均指公式(3)中对数形式的矩阵;记引入的两个辅助矩阵为U和V,经过迭代后,最终的辅助矩阵需要满足M=UVT,故是一个m×2的矩阵,其中1是一个m×1全部数据都为1的矩阵;是一个n×2的矩阵,其中⊙表示元素级乘法。
上述的辅助矩阵需要经过迭代才能近似得到满足条件M=UVT的最终矩阵;假设在第k次迭代时得到了矩阵(Uk,Vk),那么最终目标(U,V)分解为:
(U,V)=(Uk,Vk)+(ΔU,ΔV) ⑷
其中,(ΔU,ΔV)是未知增量;采用RMF-MM,即优化最小化鲁棒矩阵分解法迭代更新辅助矩阵,设置两个矩阵的初始值为U=[A′,1],其中ai′为颜色特征值;V=[1,0];特别地,在最初设置矩阵U时,其第二行初始值定为常量1,因此在每次迭代更新后,还应该重置矩阵第二行为1;通过最终的辅助矩阵,得到图像序列的两组修复参数和
上述步骤4)中的闪烁修复,需分两步进行;对于估计得到的两组校正参数,标记参考帧为Ir′,其对应的修复参数为cr和γr;首先针对普通帧,使用其对应的修复参数,进行第一步的颜色一致性校正:
其中Ij′表示受损图像,Ij表示修复后的图像,且Ij′≠Ir′,即,参考帧不做任何处理;由于参数的估计结合了序列全部帧的情况,充分考虑了前后帧的连续性,在色调一致性上保持了较高的水准,又因c和γ代表白平衡和非线性伽玛映射参数,常被用来调节单幅图像颜色,假设选用参数cr和γr对参考帧应用式(5)进行计算,能够得到与修复序列中其他图像色调一致的结果;反之,使用cr和γr对序列执行逆运算,实现待修复序列中各帧相对于参考帧的颜色调节,达到老电影“修旧如旧”的目的,故采用如下公式进行第二步颜色恢复性校正:
此处,Sj是最终修复后的图像,至此,整个序列修复完毕。
本发明与已有技术相比具有如下特点:
(1)本发明方法实现算法流程清晰、结构完整,实现完成度高;
(2)本发明方法结合了待修复序列前后帧信息,修复结果更加可靠;
(3)本发明方法采用了色彩校正的方案,在没有参考帧的情况下仍然可以进行修复,扩宽了可修复范围。
附图说明
图1是基于稀疏颜色特征的老电影褪色闪烁修复流程图。
图2是老电影序列《金钱梦》的实验结果:(a)原始损毁序列,(b)修复后序列。
图3是老电影序列《金钱梦》的实验统计结果:(a)原始损毁序列RGB均值统计,(b)修复后序列RGB均值统计。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
参见图1,一种基于稀疏颜色特征的老电影褪色闪烁修复方法,具体操作步骤如下:
步骤1),预处理:将待修复序列进行分镜处理,并为分镜后的每一组子序列选择一帧参考帧;
步骤2),构建修复矩阵:对子序列图像进行特征点提取,并将特征点进行匹配重组排列,通过特征点的描述符提取图像序列中对应的相关颜色区域,计算其颜色特征,构建稀疏修复矩阵;
步骤3),获取修复参数:使用稀疏矩阵分解的方法,预估修复模型中的未知校正参数;
步骤4),闪烁修复:待修复序列中的图像分为参考帧与普通帧,采用两步修复的策略,利用普通帧的校正参数进行颜色一致性校正,再通过参考帧的校正参数进行颜色恢复性校正,最终得到修复后序列。
本实施例序列均选自同一组镜头,故不需要进行分镜处理,但是该序列损毁严重,无法筛选合适的参考帧,选择本序列的第一帧进行颜色校正后作为参考帧,其实施方法如下:
其中,αin、βin表示图像从RGB颜色空间转换到lαβ颜色空间后对应的α与β通道值,αout、βout表示期望获得的通道值,mα、mβ分别对应αin、βin通道的平均值。在得到期望的通道值后,再将图像转回RGB颜色空间,即可得到效果较好的校正参考帧。
上述步骤2)中的构建修复矩阵,需要提取序列中每一帧的特征点并进行前后帧两两匹配,再联合序列中所有图像对匹配后的特征点进行筛选、重组,最后根据重组后的特征点提取相应图像中的图像块,计算其颜色特征后,组成修复矩阵。
上述的特征提取,采用了SURF算法,又因为处理的连续的图像序列,前后帧差异小,在进行两两匹配时,存在大量冗余特征点,为提高计算效率,序列中每一帧提取出的特征点仅随机保留一半。再结合多帧图像两两匹配后的结果,筛选出在整个序列中出现次数大于等于3的特征点,并根据特征点的描述符提取出对应图像中的图像块,我们称其为颜色相关区域。该区域的大小为30×30像素,其中心点为特征点。
针对上述的颜色相关区域求取平均值,我们称其为颜色特征,记为a′,并按照特定的规律排列,构建修复矩阵:
其中M代表整个修复矩阵,m表示待修复序列筛选出的特征相关点总数,n表示序列的总帧数。在矩阵M中,第i行第j列的颜色特征表示为a′ij,并且其中,是校正修复模型,ai表示第i个特征点对应的未受损时的颜色特征,cj是第j张图的乘性调整因子(类比于白平衡参数),而γj代表第j张图的指数调整因子(类比于伽马校正参数)。同时,在矩阵M中,每一行代表相同特征点在不同图像中的校正模型,所以其对应的颜色特征是相同的;而每一列代表了同一帧图像上所有相关点的校正模型,我们假设了闪烁是一种全局性的问题,故同一帧图像的c和γ也是相同的。另外,对于同一个特征点可能不会出现在序列中的所有图像中,则在修复矩阵的对应位置将该点的颜色特征值设为0,故修复矩阵M是稀疏的。根据修复模型,只需求取每一帧图对应的c和γ参数值,再对校正修复模型进行逆序计算,即可修复受损序列。
上述步骤3)中的校正参数获取,需要对构建的修复矩阵进行分解。根据稀疏矩阵分解法,需要对原始矩阵做变形处理,并引入两个满足一定条件的辅助矩阵,通过辅助矩阵的迭代来近似估计矩阵的最优解,从而获取校正参数。
上述的变形处理,主要是对修复矩阵两边同时取对数形式,得到通用公式:
log(Mij)=γjlog(cj)+γjlog(ai) ⑶
为方便叙述,以下所述的矩阵M均指公式(3)中对数形式的矩阵。记引入的两个辅助矩阵为U和V,经过迭代后,最终的辅助矩阵需要满足M=UVT,故是一个m×2的矩阵,其中1是一个m×1全部数据都为1的矩阵;是一个n×2的矩阵,其中⊙表示元素级乘法。
上述的辅助矩阵需要经过多次迭代才能满足条件,得到最终想要的结果。假设在第k次迭代时我们得到了矩阵(Uk,Vk),那么最终目标(U,V)即可分解为:
(U,V)=(Uk,Vk)+(ΔU,ΔV) ⑷
其中,(ΔU,ΔV)是未知增量。采用RMF-MM(优化最小化鲁棒矩阵分解法)迭代更新辅助矩阵,设置两个矩阵的初始值为U=[A′,1],其中ai′为上述的颜色特征值;V=[1,0]。特别地,在最初设置矩阵U时,其第二行初始值定为常量1,因此在每次迭代更新后,还应该重置矩阵第二行为1。通过最终的辅助矩阵,我们得到了图像序列的两组修复参数和
上述步骤4)中的闪烁修复,需分两步进行。对于估计得到的两组校正参数,标记参考帧为Ir′,其对应的修复参数为cr和γr。首先针对普通帧,使用其对应的修复参数,进行第一步的颜色一致性校正:
其中Ij′表示受损图像,Ij表示修复后的图像,且Ij′≠Ir′,即,参考帧不做任何处理。由于参数的估计结合了序列全部帧的情况,充分考虑了前后帧的连续性,在色调一致性上保持了较高的水准,又因c和γ代表白平衡和非线性伽玛映射参数,常被用来调节单幅图像颜色,假设选用参数cr和γr对参考帧应用式(5)进行计算,能够得到与修复序列中其他图像色调一致的结果;反之,使用cr和γr对序列执行逆运算,便可实现待修复序列中各帧相对于参考帧的颜色调节,达到老电影“修旧如旧”的目的,故采用如下公式进行第二步颜色恢复性校正:
此处,Sj是最终修复后的图像。至此,整个序列修复完毕。
下面结合具体的实例说明本发明方法的可行性,详述如下:
本实施例测试了老电影《金钱梦》共计40帧图像序列,如图2所示,在影片的原始序列中,存在着比较强烈的红色褪色闪烁,从展示的6帧连续画面中,明显看出影片颜色从正常到偏红再到正常的一个过程,而修复后的序列颜色稳定,红色偏色现象明显消失。在图3的RGB均值统计中,未修复的序列曲线波动明显,以红色通道为例,波动差值接近9,而在修复后的统计图中,RGB曲线明显平稳,波动差值控制在了3以内,客观说明本发明方法对褪色闪烁的有效性。
本领域技术人员可以理解附图只是一个优选实施例的示意图,尽管以上对本发明说明性的具体实施方式进行了描述,以便于本技术领的技术人员理解本发明,但应该清楚,所述仅为本发明的较佳实施例,并不用以限制本发明。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于稀疏颜色特征的老电影褪色闪烁修复方法,其特征在于,包括如下步骤:
步骤1),预处理:将待修复序列进行分镜处理,并为分镜后的每一组子序列选择一帧参考帧;
步骤2),构建修复矩阵:对子序列图像进行特征点提取,并将特征点进行匹配重组排列,通过特征点的描述符提取图像序列中对应的相关颜色区域,计算其颜色特征,构建稀疏修复矩阵;
步骤3),获取修复参数:使用稀疏矩阵分解的方法,预估修复模型中的未知校正参数;
步骤4),闪烁修复:待修复序列中的图像分为参考帧与普通帧,采用两步修复的策略,利用普通帧的校正参数进行颜色一致性校正,再通过参考帧的校正参数进行颜色恢复性校正,最终得到修复后序列;
所述步骤4)中的闪烁修复,需分两步进行;对于估计得到的两组校正参数,标记参考帧为I'r,其对应的修复参数为cr和γr;首先针对普通帧,使用其对应的修复参数,进行第一步的颜色一致性校正:
其中I'j表示受损图像,Ij表示修复后的图像,且I'j≠I'r,即,参考帧不做任何处理;由于参数的估计结合了序列全部帧的情况,充分考虑了前后帧的连续性,在色调一致性上保持了高水准,又因c和γ代表白平衡和非线性伽玛映射参数,常被用来调节单幅图像颜色,假设选用参数cr和γr对参考帧应用式(5)进行计算,能够得到与修复序列中其他图像色调一致的结果;反之,使用cr和γr对序列执行逆运算,实现待修复序列中各帧相对于参考帧的颜色调节,达到老电影“修旧如旧”的目的,故采用如下公式进行第二步颜色恢复性校正:
此处,Sj是最终修复后的图像,至此,整个序列修复完毕;cj是第j张图的乘性调整因子,类比于白平衡参数,而γj代表第j张图的指数调整因子,类比于伽马校正参数。
2.根据权利要求1所述的基于稀疏颜色特征的老电影褪色闪烁修复方法,其特征在于,所述步骤1)预处理中需要分镜处理,是因为在构建修复模型之前需要提取并匹配图像之间的特征点,为了匹配误差最小化,若待修复序列中包含多个场景镜头,分镜是必须的;同时,修复老电影的褪色闪烁需要指定图像的参考颜色风格,因此每一组待修复子序列均需从原序列选择一帧颜色参考帧。
4.根据权利要求1所述的基于稀疏颜色特征的老电影褪色闪烁修复方法,其特征在于,所述步骤2)中的构建修复矩阵,需要提取序列中每一帧的特征点并进行前后帧两两匹配,再联合序列中所有图像对匹配后的特征点进行筛选、重组,最后根据重组后的特征点提取相应图像中的图像块,计算其颜色特征后,组成修复矩阵。
5.根据权利要求4所述的基于稀疏颜色特征的老电影褪色闪烁修复方法,其特征在于,采用SURF算法提取特征点,又由于图像序列的连续性,在进行前后帧匹配时,存在大量冗余特征点,为提高计算效率,序列中每一帧提取出的特征点仅随机保留一半;再结合多帧图像两两匹配后的结果,筛选出在整个序列中出现次数大于等于3的特征点,并根据特征点的描述符提取出对应图像中的图像块,称其为颜色相关区域,该区域的大小为30×30像素,其中心点为特征点。
6.根据权利要求4或5所述的基于稀疏颜色特征的老电影褪色闪烁修复方法,其特征在于,对于提取出的颜色相关区域求取平均值,称为颜色特征,记为a',并按照特定的规律排列,构建修复矩阵:
其中M代表整个修复矩阵,m表示待修复序列筛选出的特征相关点总数,n表示序列的总帧数;在矩阵M中,第i行第j列的颜色特征表示为a'ij,并且其中,是校正修复模型,ai表示第i个特征点对应的未受损时的颜色特征,cj是第j张图的乘性调整因子,类比于白平衡参数,而γj代表第j张图的指数调整因子,类比于伽马校正参数;同时,在矩阵M中,每一行代表相同特征点在不同图像中的校正模型,所以其对应的颜色特征是相同的;而每一列代表了同一帧图像上所有相关点的校正模型,假设闪烁是一种全局性的问题,故同一帧图像的c和γ也是相同的;另外,对于同一个特征点可能不会出现在序列中的所有图像中,则在修复矩阵的对应位置将该点的颜色特征值设为0,故修复矩阵M是稀疏的;根据修复模型,只需求取每一帧图对应的c和γ参数值,再对校正修复模型进行逆序计算,即能够修复受损序列。
7.根据权利要求1所述的基于稀疏颜色特征的老电影褪色闪烁修复方法,其特征在于,所述步骤3)中的校正参数获取,需要对构建的修复矩阵进行分解;根据稀疏矩阵分解法,需要对原始矩阵做变形处理,并引入两个满足一定条件的辅助矩阵,通过辅助矩阵的迭代来近似估计矩阵的最优解,从而获取校正参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711143060.9A CN107798666B (zh) | 2017-11-17 | 2017-11-17 | 基于稀疏颜色特征的老电影褪色闪烁修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711143060.9A CN107798666B (zh) | 2017-11-17 | 2017-11-17 | 基于稀疏颜色特征的老电影褪色闪烁修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107798666A CN107798666A (zh) | 2018-03-13 |
CN107798666B true CN107798666B (zh) | 2021-08-10 |
Family
ID=61536215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711143060.9A Active CN107798666B (zh) | 2017-11-17 | 2017-11-17 | 基于稀疏颜色特征的老电影褪色闪烁修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107798666B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5796874A (en) * | 1996-04-30 | 1998-08-18 | Eastman Kodak Company | Restoration of faded images |
CN1604615A (zh) * | 2003-09-30 | 2005-04-06 | 明基电通股份有限公司 | 修复褪色的照片及底片的方法 |
CN104092943A (zh) * | 2014-07-18 | 2014-10-08 | 小米科技有限责任公司 | 图像处理的方法及装置 |
CN104616286A (zh) * | 2014-12-17 | 2015-05-13 | 浙江大学 | 快速的半自动多视图深度修复方法 |
CN105303527A (zh) * | 2015-09-19 | 2016-02-03 | 杭州电子科技大学 | 一种光致褪色喷绘艺术品的图像复原方法 |
CN105809639A (zh) * | 2016-03-03 | 2016-07-27 | 上海大学 | 一种老电影褪色闪烁的修复方法 |
CN105913388A (zh) * | 2016-04-05 | 2016-08-31 | 杭州电子科技大学 | 优先权约束的彩色图像稀疏表示修复方法 |
US9508125B2 (en) * | 2014-05-06 | 2016-11-29 | Astral Images Corporation | Restoration of photographic film having a color matrix using digital photographic film processing techniques |
JP2017068764A (ja) * | 2015-10-01 | 2017-04-06 | 日本放送協会 | 照明情報取得装置、照明復元装置、およびこれらのプログラム |
-
2017
- 2017-11-17 CN CN201711143060.9A patent/CN107798666B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5796874A (en) * | 1996-04-30 | 1998-08-18 | Eastman Kodak Company | Restoration of faded images |
CN1604615A (zh) * | 2003-09-30 | 2005-04-06 | 明基电通股份有限公司 | 修复褪色的照片及底片的方法 |
US9508125B2 (en) * | 2014-05-06 | 2016-11-29 | Astral Images Corporation | Restoration of photographic film having a color matrix using digital photographic film processing techniques |
CN104092943A (zh) * | 2014-07-18 | 2014-10-08 | 小米科技有限责任公司 | 图像处理的方法及装置 |
CN104616286A (zh) * | 2014-12-17 | 2015-05-13 | 浙江大学 | 快速的半自动多视图深度修复方法 |
CN105303527A (zh) * | 2015-09-19 | 2016-02-03 | 杭州电子科技大学 | 一种光致褪色喷绘艺术品的图像复原方法 |
JP2017068764A (ja) * | 2015-10-01 | 2017-04-06 | 日本放送協会 | 照明情報取得装置、照明復元装置、およびこれらのプログラム |
CN105809639A (zh) * | 2016-03-03 | 2016-07-27 | 上海大学 | 一种老电影褪色闪烁的修复方法 |
CN105913388A (zh) * | 2016-04-05 | 2016-08-31 | 杭州电子科技大学 | 优先权约束的彩色图像稀疏表示修复方法 |
Non-Patent Citations (5)
Title |
---|
Approach to Automate Digital Restoration of Faded Color Films;Chambah Majed et al;《Conference on colour in Graphics,Images and Vision》;20021231;613-618 * |
Effcient and Robust Color Consistency for Community Photo Collections;Jaesik Park et al;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161212;全文 * |
基于彩色Bayer型相机的LED显示屏色度测量;罗昌虎;《中国优秀硕士学位论文全文数据库信息科技辑》;20150215;第2015年卷(第2期);I136-72 * |
电影胶片修复及噪声处理关键技术的研究;周磊;《中国博士论文全文数据库信息科技辑》;20080615;第2008年卷(第6期);I138-35 * |
老电影全局闪烁修复系统的设计与实现;黄曦等;《电视技术》;20161231;125-129 * |
Also Published As
Publication number | Publication date |
---|---|
CN107798666A (zh) | 2018-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111489372B (zh) | 基于级联卷积神经网络的视频前背景分离方法 | |
US11080331B2 (en) | Systems and methods for addressing a media database using distance associative hashing | |
CN108961186B (zh) | 一种基于深度学习的老旧影片修复重制方法 | |
Zhang et al. | Rethinking noise synthesis and modeling in raw denoising | |
US8472717B2 (en) | Foreground image separation method | |
CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
WO2019225692A1 (ja) | 映像処理装置、映像処理方法、および映像処理プログラム | |
CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
CN110211077B (zh) | 一种基于高阶奇异值分解的多曝光图像融合方法 | |
Baig et al. | Multiple hypothesis colorization and its application to image compression | |
US20130287299A1 (en) | Image processing apparatus | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
Miyata et al. | Novel inverse colorization for image compression | |
CN107798666B (zh) | 基于稀疏颜色特征的老电影褪色闪烁修复方法 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN110443754B (zh) | 一种数字图像分辨率提升的方法 | |
CN115841523A (zh) | 一种基于Raw域的双支路HDR视频重建算法 | |
CN112016456B (zh) | 基于自适应反向投影深度学习的视频超分辨率方法及系统 | |
CN111614964B (zh) | 增强jpeg图像块边界连续性的非加性隐写方法 | |
Tigora et al. | Image Color Reduction Using Iterative Refinement | |
Nguyen et al. | Optimized tone mapping of HDR images via HVS model-based 2D histogram equalization | |
Fu et al. | Raw Image Based Over-Exposure Correction Using Channel-Guidance Strategy | |
Long et al. | PHC-GAN: Physical Constraint Generative Adversarial Network for Single Image Dehazing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |