CN116823973B - 一种黑白视频上色方法、装置及计算机可读介质 - Google Patents

Abstract

本申请公开一种黑白视频上色方法、装置及计算机可读介质，其中方法包括：确定待处理的黑白视频中黑白视频帧图像对应的彩色参考帧图像；基于对应的彩色参考帧图像，对黑白视频中的黑白视频帧图像进行上色处理，得到预上色帧序列；确定黑白视频的帧序列对应的光流特征；根据所述光流特征，对预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到黑白视频对应的特征优化后的彩色上色帧序列。本申请可实现对黑白视频的自动化上色处理，有效避免了人工上色方式的低效、繁琐和长耗时；且本申请使用基于彩色参考帧图像的预上色和基于光流特征的联合上色方式，可以有效降低视频帧间色彩抖动，保持视频的帧间连续性和空间一致性。

Description

一种黑白视频上色方法、装置及计算机可读介质

技术领域

本申请属于人工智能和图像/视频修复领域，尤其涉及一种黑白视频上色方法、装置及计算机可读介质。

背景技术

图像/视频上色，是指对黑白图像/视频添加色彩，使其变成彩色图像/视频。随着摄影技术的演进，彩色图像/视频已经非常普及，但仍然有大量历史黑白图像/视频遗留。图像/视频上色可以对这些宝贵的旧时代遗产进行修复，令其重获新生。

已知技术中的黑白视频上色方式，主要有基于人工上色和基于人工智能上色两种，其中，人工上色方式需要专业的技术人员，存在上色效率低和耗时长等问题。随着深度学习的发展，卷积神经网络在图像处理领域有了广泛的应用，出现了一系列基于深度学习的上色方法，即人工智能上色方式，此方式取得了不错的上色效果，并且大大节省了人力和时间，但是很容易存在视频播放时有视觉上的闪烁问题。

发明内容

有鉴于此，本申请提供一种黑白视频上色方法、装置及计算机可读介质，用于解决已知技术的黑白视频上色方式存在的至少部分技术问题。

具体方案如下：

一种黑白视频上色方法，包括：

获取待处理的黑白视频；

确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像；

基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列；

确定所述黑白视频的帧序列对应的光流特征；

根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列。

可选的，所述确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像，包括：

将所述黑白视频按场景切分，得到对应于相应场景的至少一个场景视频；

确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

可选的，所述确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像，包括：

提取每个场景视频中的第一帧图像；

从预设数据源搜索与每个场景视频的第一帧图像满足所述相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

可选的，所述基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，包括：

确定每个场景视频所对应彩色参考帧图像的色彩特征；

确定每个场景视频中黑白视频帧图像的黑白信息特征；

根据每个场景视频所对应彩色参考帧图像的色彩特征和所包含黑白视频帧图像的黑白信息特征，对每个场景视频所包含的黑白视频帧图像进行色彩特征构建，以对所包含的黑白视频帧图像进行上色。

可选的，所述根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列，包括：

将所述黑白视频的帧序列对应的光流特征和所述预上色帧序列中各帧图像的色彩特征进行特征对齐；

基于对齐后的特征，对所述预上色帧序列中各帧图像进行色彩特征重建，得到所述黑白视频对应的所述彩色上色帧序列。

可选的，所述上色处理的处理过程通过预先构建的第一上色网络执行，所述光流特征的确定和所述特征优化处理的处理过程通过预先构建的第二上色网络执行；

所述第一上色网络和所述第二上色网络为基于深度学习的模型网络。

可选的，所述第一上色网络的构建过程包括：

将彩色视频集中的各个彩色图像转化为灰度图像，得到训练样本集；

获取为所述训练样本集中的灰度图像选定的彩色参考帧图像；

将所述训练样本集中的灰度图像和对应的彩色参考帧图像输入至第一待训练网络，得到所述第一待训练网络输出的预上色图像；

根据所述预上色图像与所述预上色图像的训练样本对应的彩色图像之间的损失，更新所述第一待训练网络的模型参数，直至满足第一结束条件，得到所述第一上色网络。

可选的，所述第二上色网络的构建过程包括：

获取黑白视频帧序列作为训练样本，并获取为所述黑白视频帧序列中的黑白视频帧图像选定的彩色参考帧图像；

利用已构建的所述第一上色网络对所述黑白视频帧序列中的黑白视频帧图像和对应彩色参考帧图像进行处理，得到对应的预上色帧序列；

将得到的预上色帧序列和所述黑白视频帧序列输入至第二待训练网络，得到所述第二待训练网络输出的彩色上色帧序列；

根据所述彩色上色帧序列与所述黑白视频帧序列对应的真实彩色帧序列之间的损失，更新所述第二待训练网络的模型参数，直至满足第二结束条件，得到所述第二上色网络。

一种黑白视频上色装置，包括：

获取模块，用于获取待处理的黑白视频；

第一确定模块，用于确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像；

预上色模块，用于基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列；

第二确定模块，用于确定所述黑白视频的帧序列对应的光流特征；

特征优化模块，用于根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列。

一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文任一项所述的黑白视频上色方法的程序代码。

综上所述，本申请提供一种黑白视频上色方法、装置及计算机可读介质，其中方法包括：获取待处理的黑白视频；确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像；基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列；确定所述黑白视频的帧序列对应的光流特征；根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列。

相比于已知技术中的人工上色方式，本申请可实现对黑白视频的自动化上色处理，有效避免了人工上色方式的低效、繁琐和长耗时；相比于已知技术的人工智能上色方式，本申请使用基于彩色参考帧图像的预上色和基于光流特征的联合上色方式，可以有效降低视频帧间色彩抖动，保持视频的帧间连续性和空间一致性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请提供的黑白视频上色方法的流程示意图；

图2是本申请提供的获取彩色参考帧图像的一示例性流程图；

图3是本申请提供的基于第一上色网络的预上色流程图；

图4是本申请提供的基于第二上色网络的光流提取与特征优化流程图；

图5是本申请提供的第一上色网络（基于参考的视频帧上色网络）的训练策略示意图；

图6是本申请提供的第二上色网络（基于预上色的视频上色网络）的训练策略示意图；

图7是本申请提供的黑白视频上色装置的组成结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

已知技术中，人工上色方式需要专业的技术人员，存在上色效率低和耗时长等问题。随着深度学习的发展，卷积神经网络在图像处理领域有了广泛的应用，出现了一系列基于深度学习的上色方法，即人工智能上色方式，此方式取得了不错的上色效果，并且大大节省了人力和时间，然而，申请人发现，上色是一个多解问题，即一个黑白视频帧会对应多种彩色图，而基于人工智能的上色技术，是对视频中的每一帧图像进行单独上色，这会破坏视频本身的连续性，很容易由于帧与帧之间的上色差异而导致视频播放时有视觉上的闪烁问题。

为解决已知技术的黑白视频上色方式存在的至少部分技术问题，本申请实施例公开一种黑白视频上色方法、装置及计算机可读介质，主要基于人工智能技术，提出一种基于彩色参考帧图像的从图像到视频的上色方案。

参见图1所示的黑白视频上色方法流程图，本申请提供的黑白视频上色方法包括以下处理流程：

步骤101、获取待处理的黑白视频。

具体可获得具备上色需求的黑白视频作为待处理的黑白视频。

图像/视频上色，是指对图像/视频添加色彩，使其变成彩色的图像/视频。常见的彩色图像通常是三通道（红-绿-蓝）图像，而黑白图像只有一个灰度通道，因此，图像/视频上色旨在利用单一灰度通道恢复图像/视频中图像的各个彩色通道。

步骤102、确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像。

本申请实施例首先使用基于彩色参考帧图像的图像预上色方式对黑白视频帧图像进行上色（本实施例将这里的上色称为预上色），以尽可能降低色彩还原时的求解空间，改善视频帧之间的色彩一致性问题。

可选的，本实施例以场景为粒度，确定黑白视频中的黑白视频帧图像对应的彩色参考帧图像。在获得待处理的黑白视频后，具体将所述黑白视频按场景切分，得到所述黑白视频包含的对应于相应场景的至少一个场景视频，并确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

在确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像时，具体可以但不限于提取每个场景视频中的第一帧图像，并从预设数据源搜索与每个场景视频的第一帧图像满足相似条件的彩色图像，作为每个场景视频的的彩色参考帧图像。

所述相似条件，可以是但不限于图像信息相似度达到设定的相似度阈值，或图像信息距离低于设定的距离阈值。

参见图2，给出了本申请中确定并获取彩色参考帧图像的一示例性流程图。其中，首先对黑白视频进行场景切换检测，场景切换检测方法可选择直方图方法或者相似度计算方法，优选的，本申请实施例使用基于结构相似性的方法进行场景切换检测。在完成场景切换检测后，提取出每个场景视频的第一帧，可以但不限于基于opencv完成场景视频第一帧图像的提取，之后以每个场景视频的第一帧图像为搜索依据，通过图片相似性搜索，得到每个场景对应的彩色参考帧图像。

优选的，一个场景视频只需要一个彩色参考帧图像，以尽可能保证上色的高效性。

步骤103、基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列。

本步骤中的上色处理，也可称为基于彩色参考帧图像的图像预上色处理，具体可确定每个场景视频所对应彩色参考帧图像的色彩特征，并确定每个场景视频中黑白视频帧图像的黑白信息特征，之后根据每个场景视频所对应彩色参考帧图像的色彩特征和所包含黑白视频帧图像的黑白信息特征，对每个场景视频所包含的黑白视频帧图像进行色彩特征构建，从而实现对每个场景视频所包含的黑白视频帧图像进行上色。

可选的，本申请实施例使用预先构建的第一上色网络，执行本步骤的上色处理（预上色处理）的处理过程。第一上色网络为基于彩色参考帧图像的视频帧上色网络，且为基于深度学习的模型网络。

第一上色网络包括：用于图像色彩特征提取的色彩特征提取模块、用于图像色彩特征编码的色彩特征编码模块、用于图像黑白信息特征提取的黑白特征提取模块，和用于根据黑白信息特征和色彩特征进行色彩特征重建的色彩特征重建模块。

以下提供该网络的一示例性上色处理（预上色处理）过程：

参见图3提供的基于第一上色网络的预上色流程，对已选定的彩色参考帧图像和对应场景视频的黑白视频帧，将彩色参考帧图像和黑白视频帧经过该网络，即可完成黑白视频帧图像的初步上色，即预上色。可选的，具体可将一定尺寸如尺寸为的彩色参考帧图像输入色彩特征提取模块，其中C代表图像通道数，H代表图像高度，W代表图像宽度。色彩特征提取模块是一个已经预训练好的网络，该预训练网络可选择的是残差网络(ResNet)、视觉几何组网络(VGG)或纯卷积网络(ConvNext)等中的任一种，本申请实施例采用纯卷积网络(ConvNext)，由该模块输出相应尺寸如/>的色彩特征，然后将色彩特征输入到色彩特征编码模块，色彩特征编码模块可选择多层感知机或者线性变换层，本申请实施例采用多层感知机，得到色彩特征编码模块输出的对应大小如的色彩编码特征。对于场景视频的黑白视频帧，将对应尺寸如尺寸为的黑白视频帧输入黑白特征提取模块，该模块包括多个特征提取子模块（由卷积层和激活层组成），如包括5个特征提取子模块，5个特征提取子模块依次输出大小的黑白信息特征，然后分别输入到色彩特征重建模块，同时向色彩特征重建模块输入的色彩编码特征，由色彩特征重建模块根据输入的黑白信息特征和色彩编码特征通过色彩特征重建输出最终的彩色特征图像，实现对黑白视频帧的预上色。

其中，色彩特征重建模块由多个卷积层和激活层模块组成，为了将色彩编码特征和黑白信息特征融合，色彩特征重建模块还引入了注意力机制模块。

步骤104、确定所述黑白视频的帧序列对应的光流特征。

可选的，可预先构建光流计算模块，并将所述黑白视频的帧序列中的黑白视频帧输入光流计算模块，得到该模块输出的黑白视频帧的光流特征。

光流计算模块可以但不限于是基于空间金字塔光流网络(SpyNet)或递归光流网络(RAFT)构建的能用于对视频帧进行光流特征计算的模块。本申请实施例使用空间金字塔光流网络(SpyNet)实现该模块的功能。

步骤105、根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列。

本步骤可将所述黑白视频的帧序列对应的光流特征和所述预上色帧序列中各帧图像的色彩特征进行特征对齐，并基于对齐后的特征，对所述预上色帧序列中各帧图像进行色彩特征重建，得到所述黑白视频对应的彩色上色帧序列，从而实现基于黑白视频帧的光流特征对预上色帧序列中图像的色彩特征进行优化，提高上色后视频的时序一致性，降低色彩抖动，完成对黑白视频的最终上色。

可选的，本申请实施例通过预先构建的第二上色网络，执行步骤104-105的光流特征确定和特征优化处理的处理过程。第二上色网络为基于预上色的黑白视频上色网络，且同样为基于深度学习的模型网络。

第二上色网络包括：用于对预上色帧序列进行色彩特征提取的色彩特征提取模块，用于进行光流特征计算的光流计算模块，用于将光流特征和色彩特征进行特征对齐的特征对齐模块，和用于基于对齐后的特征进行色彩特征重建的色彩特征重建模块。

以下提供该网络的一示例性处理过程：

参见图4提供的基于第二上色网络的光流提取与特征优化流程，对于预上色帧序列中已预上色的视频帧和对应的黑白视频中的原始黑白视频帧，将其同时输入到基于预上色的黑白视频上色网络，即输入到第二上色网络。已预上色的视频帧输入到该网络的包含多个（如3个）残差组的色彩特征提取模块，由该模块输出预上色视频帧的色彩特征。原始黑白视频的黑白视频帧输入到光流计算模块，该模块可以是空间金字塔光流网络(SpyNet)或递归光流网络(RAFT)，本申请实施例使用空间金字塔光流网络(SpyNet)，通过该模块输出原始黑白视频帧序列中黑白视频帧对应的光流特征。然后将光流特征和彩色特征输入到特征对齐模块，该模块由可变形卷积和残差组构成，输出对齐后的特征，之后继续将对齐后的特征输入到色彩特征重建模块，色彩特征重建模块由多个（如20个）残差组构成，最终由色彩特征重建模块根据对齐后的特征输出重建好的色彩上色序列，从而得到对黑白视频的最终上色视频。

综上所述，本申请实施例提供的黑白视频上色方法，相比于已知技术中的人工上色方式，本申请可实现对黑白视频的自动化上色处理，有效避免了人工上色方式的低效、繁琐和长耗时；相比于已知技术的人工智能上色方式，本申请使用基于彩色参考帧图像的预上色和基于光流特征的联合上色方式，可以有效降低视频帧间色彩抖动，保持视频的帧间连续性和空间一致性。

在一可选实施例中，进一步提供第一上色网络和第二上色网络的构建过程。

其中，第一上色网络的构建过程包括：将彩色视频集中的各个彩色图像转化为灰度图像，得到训练样本集；获取为所述训练样本集中的灰度图像选定的彩色参考帧图像；将所述训练样本集中的灰度图像和对应的彩色参考帧图像输入至第一待训练网络，得到所述第一待训练网络输出的预上色图像；根据所述预上色图像与所述预上色图像的训练样本对应的彩色图像之间的损失，更新所述第一待训练网络的模型参数，直至满足第一结束条件，得到所述第一上色网络。

第一结束条件可以是但不限于以下任意一种：第一上色网络的网络模型损失低于预设损失，训练迭代次数达到预设次数，训练时长达到预定时长。

对于第一上色网络的构建，可以但不限于基于大规模视觉识别数据集(ImageNet)来获得彩色视频，将其包含的彩色图像转换为黑白图像即灰度图像，以构建用于模型网络训练的训练样本集。示例性的，本申请实施例收集了2000个1080p分辨率的彩色视频，每个视频包含300帧。然后将彩色视频转换为黑白视频，并构建视频上色数据对（视频的彩色图像与黑白/灰度图像数据对）。

结合参见图5所示的第一上色网络（对应于图中基于参考的视频帧上色网络，具体指基于彩色参考帧图像的视频帧上色网络）的训练策略示意图，其中，对于给定的大规模视觉识别数据集(ImageNet)，可首先使用色彩转换函数将其视频中的彩色图像转换为灰度图像，可选的，色彩转换函数使用opencv的色彩转灰度图的函数(RGB2GRAY)。然后将转换得到的灰度图像和为其选定的彩色参考图像输入到待训练网络，即待训练的基于参考的视频帧上色网络，由该网络输出预测的预上色图像，在此基础上，将输出的预上色图像和真实彩色图像通过损失函数进行模型参数更新。可选的，损失函数使用感知损失和最小绝对值误差函数。

第二上色网络的构建过程包括：获取黑白视频帧序列作为训练样本，并获取为所述黑白视频帧序列中的黑白视频帧图像选定的彩色参考帧图像；利用已构建的所述第一上色网络对所述黑白视频帧序列中的黑白视频帧图像和对应彩色参考帧图像进行处理，得到对应的预上色帧序列；将得到的预上色帧序列和所述黑白视频帧序列输入至第二待训练网络，得到所述第二待训练网络输出的彩色上色帧序列；根据所述彩色上色帧序列与所述黑白视频帧序列对应的真实彩色帧序列之间的损失，更新所述第二待训练网络的模型参数，直至满足第二结束条件，得到所述第二上色网络。

第二结束条件可以是但不限于以下任意一种：第二上色网络的网络模型损失低于预设损失，训练迭代次数达到预设次数，训练时长达到预定时长。

结合参见图6所示的第二上色网络（基于预上色的视频上色网络）的训练策略示意图，对于输入的黑白视频帧序列，首先将黑白视频帧序列和对应的彩色参考帧图像输入到已训练好的基于参考的视频帧上色网络，得到该网络输出的预上色帧序列，该阶段基于参考的视频帧上色网络的权重固定不更新。然后将预上色帧序列和黑白视频帧序列共同输入到基于预上色的视频上色网络（待训练的第二上色网络），得到该网络输出的最终上色序列，然后将最终上色序列和真实彩色序列通过损失函数对该网络的模型参数进行更新。可选的，损失函数使用感知损失函数和最小绝对值误差函数。

本申请实施例基于人工智能技术，提出了一种基于参考帧的从图像到视频的上色方案。使用参考帧的上色，可以降低色彩还原时的求解空间，尽可能保证视频帧之间色彩的一致性，降低由于上色的不稳定带来的视频闪烁感。同时借助人工智能技术，从视频帧序列的光流特征角度，优化基于参考帧的上色结果，进一步消除由于上色的不稳定带来的视频闪烁感，借助人工智能技术还能极大的提高视频上色的效率，仅需选择少量的参考帧即可快速、高效的完成视频上色工作。

对应于上述的黑白视频上色方法，本申请还提供一种黑白视频上色装置，该装置的组成结构如图7所示，包括：

获取模块701，用于获取待处理的黑白视频；

第一确定模块702，用于确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像；

预上色模块703，用于基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列；

第二确定模块704，用于确定所述黑白视频的帧序列对应的光流特征；

特征优化模块705，用于根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列。

在一实施方式中，第一确定模块702，具体用于：

将所述黑白视频按场景切分，得到对应于相应场景的至少一个场景视频；

确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

在一实施方式中，第一确定模块702，在确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像时，具体用于：

提取每个场景视频中的第一帧图像；

从预设数据源搜索与每个场景视频的第一帧图像满足所述相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

在一实施方式中，预上色模块703，具体用于：

确定每个场景视频所对应彩色参考帧图像的色彩特征；

确定每个场景视频中黑白视频帧图像的黑白信息特征；

根据每个场景视频所对应彩色参考帧图像的色彩特征和所包含黑白视频帧图像的黑白信息特征，对每个场景视频所包含的黑白视频帧图像进行色彩特征构建，以对所包含的黑白视频帧图像进行上色。

在一实施方式中，特征优化模块705，具体用于：

将所述黑白视频的帧序列对应的光流特征和所述预上色帧序列中各帧图像的色彩特征进行特征对齐；

基于对齐后的特征，对所述预上色帧序列中各帧图像进行色彩特征重建，得到所述黑白视频对应的所述彩色上色帧序列。

在一实施方式中，所述上色处理的处理过程通过预先构建的第一上色网络执行，所述光流特征的确定和所述特征优化处理的处理过程通过预先构建的第二上色网络执行；

所述第一上色网络和所述第二上色网络为基于深度学习的模型网络。

在一实施方式中，所述装置还包括网络构建模块，用于构建所述第一上色网络，构建过程包括：

将彩色视频集中的各个彩色图像转化为灰度图像，得到训练样本集；

获取为所述训练样本集中的灰度图像选定的彩色参考帧图像；

将所述训练样本集中的灰度图像和对应的彩色参考帧图像输入至第一待训练网络，得到所述第一待训练网络输出的预上色图像；

根据所述预上色图像与所述预上色图像的训练样本对应的彩色图像之间的损失，更新所述第一待训练网络的模型参数，直至满足第一结束条件，得到所述第一上色网络。

在一实施方式中，所述网络构建模块还用于构建所述第二上色网络，构建过程包括：

获取黑白视频帧序列作为训练样本，并获取为所述黑白视频帧序列中的黑白视频帧图像选定的彩色参考帧图像；

利用已构建的所述第一上色网络对所述黑白视频帧序列中的黑白视频帧图像和对应彩色参考帧图像进行处理，得到对应的预上色帧序列；

将得到的预上色帧序列和所述黑白视频帧序列输入至第二待训练网络，得到所述第二待训练网络输出的彩色上色帧序列；

根据所述彩色上色帧序列与所述黑白视频帧序列对应的真实彩色帧序列之间的损失，更新所述第二待训练网络的模型参数，直至满足第二结束条件，得到所述第二上色网络。

对于本申请实施例提供的黑白视频上色装置而言，由于其与上文方法实施例提供的黑白视频上色方法相对应，所以描述的比较简单，相关相似之处请参见上文方法实施例的说明即可，此处不再详述。

本申请还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文方法实施例提供的黑白视频上色方法的程序代码。

在本申请的上下文中，计算机可读介质（机器可读介质）可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。

综上所述，本申请实施例提供的黑白视频上色方法、装置及计算机可读介质，至少具备以下技术优势：

1）相比于基于人工采用图像软件的上色方式，本申请仅需选择部分参考图像或者手动上色部分参考图像，然后送到训练好的网络，即可完成视频上色工作，有效的避免了人工对视频上色的繁琐、低效和耗时；

2）相比于基于人工智能的图像的上色方式处理视频，本申请使用基于图像的预上色和基于视频序列的联合上色方式，可以有效降低基于图像上色的视频帧间色彩抖动，保持视频的帧间连续性和空间一致性；

3）相比其他的基于人工智能的视频上色方式，本申请借助少量参考图像，大大降低了色彩还原时的求解空间，尽可能保证帧间的连续性，并通过使用黑白视频帧序列的光流特征，对基于参考帧的黑白视频帧上色结果进行优化，进一步降低了基于图像上色的视频帧间色彩抖动，保持了视频的帧间连续性和空间一致性。同时可以根据不同的参考图，得到不同风格的上色后的视频。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种黑白视频上色方法，其特征在于，包括：

获取待处理的黑白视频；

确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像；

基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列；

确定所述黑白视频的帧序列对应的光流特征；

根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列；

其中，所述上色处理的处理过程通过预先构建的第一上色网络执行，所述光流特征的确定和所述特征优化处理的处理过程通过预先构建的第二上色网络执行；

所述第一上色网络和所述第二上色网络为基于深度学习的模型网络；

所述第一上色网络的构建过程包括：

将彩色视频集中的各个彩色图像转化为灰度图像，得到训练样本集；

获取为所述训练样本集中的灰度图像选定的彩色参考帧图像；

将所述训练样本集中的灰度图像和对应的彩色参考帧图像输入至第一待训练网络，得到所述第一待训练网络输出的预上色图像；

根据所述预上色图像与所述预上色图像的训练样本对应的彩色图像之间的损失，更新所述第一待训练网络的模型参数，直至满足第一结束条件，得到所述第一上色网络；

所述第二上色网络的构建过程包括：

获取黑白视频帧序列作为训练样本，并获取为所述黑白视频帧序列中的黑白视频帧图像选定的彩色参考帧图像；

利用已构建的所述第一上色网络对所述黑白视频帧序列中的黑白视频帧图像和对应彩色参考帧图像进行处理，得到对应的预上色帧序列；

将得到的预上色帧序列和所述黑白视频帧序列输入至第二待训练网络，得到所述第二待训练网络输出的彩色上色帧序列；

根据所述彩色上色帧序列与所述黑白视频帧序列对应的真实彩色帧序列之间的损失，更新所述第二待训练网络的模型参数，直至满足第二结束条件，得到所述第二上色网络。

2.根据权利要求1所述的方法，其特征在于，所述确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像，包括：

将所述黑白视频按场景切分，得到对应于相应场景的至少一个场景视频；

确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

3.根据权利要求2所述的方法，其特征在于，所述确定与每个场景视频中的黑白视频帧图像满足相似条件的彩色图像，作为每个场景视频的彩色参考帧图像，包括：

提取每个场景视频中的第一帧图像；

从预设数据源搜索与每个场景视频的第一帧图像满足所述相似条件的彩色图像，作为每个场景视频的彩色参考帧图像。

4.根据权利要求2所述的方法，其特征在于，所述基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，包括：

确定每个场景视频所对应彩色参考帧图像的色彩特征；

确定每个场景视频中黑白视频帧图像的黑白信息特征；

根据每个场景视频所对应彩色参考帧图像的色彩特征和所包含黑白视频帧图像的黑白信息特征，对每个场景视频所包含的黑白视频帧图像进行色彩特征构建，以对所包含的黑白视频帧图像进行上色。

5.根据权利要求1所述的方法，其特征在于，所述根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列，包括：

将所述黑白视频的帧序列对应的光流特征和所述预上色帧序列中各帧图像的色彩特征进行特征对齐；

基于对齐后的特征，对所述预上色帧序列中各帧图像进行色彩特征重建，得到所述黑白视频对应的所述彩色上色帧序列。

6.一种黑白视频上色装置，其特征在于，包括：

获取模块，用于获取待处理的黑白视频；

第一确定模块，用于确定所述黑白视频中的黑白视频帧图像对应的彩色参考帧图像；

预上色模块，用于基于对应的彩色参考帧图像，对所述黑白视频中的黑白视频帧图像进行上色处理，得到由各个黑白视频帧图像的上色结果帧形成的预上色帧序列；

第二确定模块，用于确定所述黑白视频的帧序列对应的光流特征；

特征优化模块，用于根据所述光流特征，对所述预上色帧序列中各帧图像的色彩特征进行特征优化处理，得到所述黑白视频对应的特征优化后的彩色上色帧序列；

其中，所述上色处理的处理过程通过预先构建的第一上色网络执行，所述光流特征的确定和所述特征优化处理的处理过程通过预先构建的第二上色网络执行；

所述第一上色网络和所述第二上色网络为基于深度学习的模型网络；

所述第一上色网络的构建过程包括：

将彩色视频集中的各个彩色图像转化为灰度图像，得到训练样本集；

获取为所述训练样本集中的灰度图像选定的彩色参考帧图像；

将所述训练样本集中的灰度图像和对应的彩色参考帧图像输入至第一待训练网络，得到所述第一待训练网络输出的预上色图像；

根据所述预上色图像与所述预上色图像的训练样本对应的彩色图像之间的损失，更新所述第一待训练网络的模型参数，直至满足第一结束条件，得到所述第一上色网络；

所述第二上色网络的构建过程包括：

获取黑白视频帧序列作为训练样本，并获取为所述黑白视频帧序列中的黑白视频帧图像选定的彩色参考帧图像；

利用已构建的所述第一上色网络对所述黑白视频帧序列中的黑白视频帧图像和对应彩色参考帧图像进行处理，得到对应的预上色帧序列；

将得到的预上色帧序列和所述黑白视频帧序列输入至第二待训练网络，得到所述第二待训练网络输出的彩色上色帧序列；

根据所述彩色上色帧序列与所述黑白视频帧序列对应的真实彩色帧序列之间的损失，更新所述第二待训练网络的模型参数，直至满足第二结束条件，得到所述第二上色网络。

7.一种计算机可读介质，其特征在于，其上存储有计算机程序，所述计算机程序包含用于执行如权利要求1-5任一项所述的黑白视频上色方法的程序代码。