CN114862705B - 影像色彩修复的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种黑白电影影像色彩修复的图像质量评价方法，输入电影的镜头片段，将镜头片段切割成图像帧作为上色的输入数据。首先使用清晰度算法过滤输入数据，将剩余的高清晰度灰度图像使用deoldify方法上色，在上色过程中，使用饱和度算法为该镜头图像的上色自动选择较好的渲染因子值，上色完成以后，计算每张上色后图像与原图之间的均方误差指标(MSE)并将图像按该值升序排序，选取MSE的值排在3/4位置处的图像，作为影像色彩修复的质量最好的图像，即整个镜头上色最终的参考图像。本方法避免了分别对图像帧进行上色然后合成视频这种上色方法所造成的伪影问题及前后不连贯问题，可以使得电影片段的上色效果更加连贯和真实。

Description

影像色彩修复的图像质量评价方法

技术领域

本发明属于人工智能技术领域，涉及对黑白电影进行AI自动上色，特别涉及一种影像色彩修复的图像质量评价方法。

背景技术

随着时代的发展，多年前拍摄的黑白电影，由于其色彩上的单一，有很多经典之作逐渐被世人忽略。为了促使更多的人回顾经典，传承经典，因此，对黑白电影进行上色和修复的技术应运而生。

目前普遍的视频上色方法有两种：第一种是分别对图像帧进行上色然后合成视频以达到给视频上色的目的，但是该方法会产生图像帧前后上色不连贯和视频中存在伪影的问题。第二种是考虑相邻图像帧的关联性对视频进行上色，2019年，Fully AutomaticVideo Colorization With Self-Regularization and Diversity一文中，作者提出了一种具有自正则性和多样性的全自动视频彩色化方法。该模型包含一个用于视频帧彩色化的彩色化网络和一个用于时空颜色精化的精化网络。在没有任何标记数据的情况下，两个神经网络都可以在双边和时间空间上进行自规则损失训练。双边损失强制双边空间中相邻像素之间的颜色一致性，时间损失是对相邻两帧中相应像素之间的颜色一致性施加约束。2021年，VCGAN:Video Colorization with Hybrid Generative Adversarial Network一文中，作者提出了一种基于混合生成对抗网络(vcgan)的混合递归视频彩色化方法，该方法改进了基于端到端学习的视频彩色化方法。为了提高图像的着色质量和时空一致性，vcgan中的主流生成器分别使用了两种额外的网络，即全局特征提取器和占位特征提取器。全局特征提取器对灰度输入的全局语义进行编码以提高彩色化质量，而占位符特征提取器作为反馈连接对以前彩色帧的语义进行编码以保持时空一致性。为了提高帧间的一致性，论文中还提出了一种密集长期损失算法，该算法平滑每两帧远端帧间的时间差。综上所知，第二种方法虽然保证了连贯性问题但是模型的建立较为复杂。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种影像色彩修复的图像质量评价方法，使该方法在电影上色过程中，可以使用简单的方法对图像帧进行上色，既不需要考虑上色过程中帧与帧之间的联系，也不用担心在上色完成的电影中产生伪影。

为了实现上述目的，本发明采用的技术方案是：

一种影像色彩修复的图像质量评价方法，按下列步骤实施：

步骤1，将待上色片段逐帧切割，并过滤得到满足清晰度要求的较清晰的灰度图像；

步骤2，将步骤1中过滤得到的满足清晰度要求的较清晰的灰度图像进行上色，根据饱和度算法自动选择渲染因子值，不同镜头的图像之间渲染因子的值不固定；

步骤3，计算步骤1中过滤得到的灰度图像与步骤2得到的上色图像之间的均方误差，并按照升序排列，选取均方误差值排在3/4位置处的图像，得到AI上色过程中图像质量最好的一张图像，作为整个镜头的上色参考图像。

与现有技术相比，本发明的有益效果是：

基于影像色彩修复的图像质量评价方法，清晰度评价算法筛选出来的图像边缘清晰，更有利于图像的上色，同时，因为过滤了清晰度差的图像，所以该方法减小了清晰度差的图像上色效果不佳对后续选择最终参考图像的影响；饱和度算法自动选择渲染因子，可以整体提升镜头下上色图像的质量，对最终参考图像的选择具有重大意义；MSE算法是想比较同一张图像在上色前和上色后的差别，所以考虑两者之间的MSE越大，则说明上色效果越好。但是由于上色过程中会有不确定的颜色影响MSE的值，因此最终选取了MSE按照升序排在3/4位置的图像作为参考图像，该位置很大程度的防止了选择到上色不明显的图像和被过度上色的图像。

本发明提供了在上色前对灰度图像的评价、在上色过程中对同一张图像不同的上色效果的评价和在上色后对上色图像的评价，通过三者的结合使用，最终选出上色质量较好的图像作为视频上色参考图像。

附图说明

图1为AI上色过程中的图像质量评价方法的整体流程结构。

图2为某一镜头片段在清晰度评价算法中边缘强度和灰度差两个指标的折线图。

图3为本发明实施例中保留的第一张灰度图像。

图4为本发明实施例中选取的位于中位数的图像。

图5为本发明实施例中选取的整个镜头上色参考图像。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

术语说明：

deoldify：一种给灰度图像上色的方法。

渲染因子：渲染因子的值决定了上色过程中输入灰度图像大小，假设A的值为16乘以渲染因子的值，Apx代表像素值为A，则Apx*Apx为上色中输入灰的度图像的像素大小。

MSE：均方误差。

本实施例给出一种影像色彩修复的图像质量评价方法，包含以下步骤：

步骤1，将待上色片段逐帧切割，使用清晰度评价算法对灰度图像进行过滤；

清晰度评价算法中包括边缘强度和灰度差两个评价指标，边缘强度的计算为：在x方向和y方向上使用Sobel滤波器，在此之上求出边缘梯度f_x和f_y，边缘强度可以按照下式求得：

灰度差的计算为不用滤波器，直接求出x方向和y方向的灰度梯度l_x和l_y，灰度差可以按照下式求得：

difference_absolute＝|l_x|+|l_y|

选取一个镜头的灰度图像作为输入数据输入到评价算法中，得出两个评价指标的值，将两者结果分别进行归一化，则该镜头中图像所对应的清晰度如图2所示，图2中可以明显地看出图像之间清晰度的差别。为了后续更好的上色，减小清晰度差的图像上色效果不佳对后续选择最终参考图像的影响，因此保留两者的值同时在[0.95,1.00]区间的图像。

步骤2，将步骤1中过滤得到的灰度图像使用deoldify方法进行上色，根据饱和度算法自动选择出上色较好的渲染因子值，不同镜头的图像之间渲染因子的值不固定；

步骤1中，选取一个镜头的灰度图像作为输入数据输入到评价算法中，然后保留了符合条件的部分灰度图像。在步骤2中，为了更好的选择合适的渲染因子，利用该镜头中保留的第一张灰度图像，即图3，对该图像以步长为2，区间在[22，36]的渲染因子值分别进行上色，得到了8张上色效果不同的图像，如图5所示，从左到右、从上到下所用的上色的渲染因子值分别为22、24、26、28、30、32、34、36，然后计算图像的平均饱和度，公式如下：

其中h为饱和度非零值的数组，h[i]为第i个饱和度非零的像素点的值，len(h)为数组的长度。将计算出的平均饱和度的值按照升序排序，选取位于中位数的图像，本例中即为图4框圈住的那张图像，由上述图4的排序所知，该图像上色所用的渲染因子值为32，此值做为该镜头通过步骤一筛选后剩余灰度图像上色的渲染因子值，然后对该镜头剩余的所有图像进行上色操作。由图4可以看出，利用饱和度排序的中位数选择出的图像色彩清晰，没有其他混乱颜色的干扰。

步骤3，使用全参考的图像质量评价方法中的MSE方法，计算步骤1中过滤得到的所有灰度图像与步骤2得到的所有上色图像之间的MSE值，并按照升序排列，选取MSE的值排在3/4位置处的图像，得到AI上色过程中图像质量最好的一张图像，如图5所示，作为整个镜头上色参考图像。

由于上色前后图像像素点的值发生了改变，所以利用全参考的图像质量评价方法中的MSE方法，该方法通过计算灰度图像和上色后图像像素点之间的MSE来进行参考图像的选择，计算公式如下所示:

其中的M*N为图像大小，f_ij、f_ij′分别为上色图像和原始图像在像素点(i,j)的像素值。将经过筛选的灰度图像和其对应的上色图像输入到该算法中，得到原始图像和上色图像的MSE，并将其按照升序排列。本发明最终选取了MSE按照升序排在3/4位置的上色图像作为参考图像，该位置很大程度的防止了选择到上色不明显的图像和被过度上色的图像。

本例中，最终选取的上色参考图像如图5所示，可以看出本发明选出的上色参考图像饱和度适中，色彩丰富，不仅可以提高后续电影片段整体的上色质量，还实现了对黑白电影更加简单、有效、连贯的上色。

Claims (3)

1.一种影像色彩修复的图像质量评价方法，其特征在于，包括如下步骤：

步骤1，将待上色片段逐帧切割，并过滤得到满足清晰度要求的灰度图像；

步骤2，将步骤1中过滤得到的灰度图像进行上色，根据饱和度算法自动选择渲染因子值，不同镜头的图像之间渲染因子的值不固定；

步骤3，计算步骤1中过滤得到的灰度图像与步骤2得到的上色图像之间的均方误差，并按照升序排列，选取均方误差值排在3/4位置处的图像，得到AI上色过程中图像质量最好的一张图像，作为整个镜头的上色参考图像；

其中所述步骤2，使用deoldify方法进行上色，所述根据饱和度算法自动选择渲染因子值的方法是：

(1)在所述灰度图像中，选择镜头中的第一张图像作为测试不同渲染因子值上色效果的实验图像；

(2)对该实验图像以步长为2，区间在[22，36]的渲染因子值分别进行上色，得到8张不同上色效果的图像，然后计算图像的平均饱和度，公式如下：

其中h为饱和度非零值的数组，h[i]为第i个饱和度非零的像素点的值，len(h)为数组的长度，将计算出的平均饱和度的值按照升序排序，选取位于中位数的图像，该图像上色所用的渲染因子值，即该镜头通过步骤一筛选后剩余灰度图像上色的渲染因子值。

2.根据权利要求1所述影像色彩修复的图像质量评价方法，其特征在于，所述步骤1，使用清晰度评价算法过滤得到满足清晰度要求的灰度图像。

3.根据权利要求2所述影像色彩修复的图像质量评价方法，其特征在于，所述清晰度评价算法如下：

(1)将边缘强度和灰度差的值作为图像清晰度评价的指标，边缘强度的计算为：在x方向和y方向上使用Sobel滤波器，求出边缘梯度f_x和f_y，边缘强度按照下式求得：

灰度差的计算为：直接求出x方向和y方向的灰度梯度l_x和l_y，灰度差按照下式求得：

difference_absolute＝|l_x|+|l_y|

(2)计算所有的灰度图像的边缘强度和灰度差，将得出的值进行归一化，选取两个指标都符合[0.95,1.00]区间的图像，即所述灰度图像。

Images