CN113421312A - 一种对黑白视频的着色方法、装置、存储介质及终端 - Google Patents
一种对黑白视频的着色方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN113421312A CN113421312A CN202110514576.XA CN202110514576A CN113421312A CN 113421312 A CN113421312 A CN 113421312A CN 202110514576 A CN202110514576 A CN 202110514576A CN 113421312 A CN113421312 A CN 113421312A
- Authority
- CN
- China
- Prior art keywords
- picture
- color
- black
- white
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种对黑白视频的着色方法、装置、存储介质及终端，该方法包括：将原始黑白视频拆分为黑白图片集；构建第一彩色样例图；将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；合并彩色图片集，生成彩色视频；其中，第一彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。因此，采用本申请实施例，由于通过计算样例图和黑白图像的颜色传递矩阵对黑白影片进行快速上色，从而提升了黑白视频上色效率。
Description
技术领域
本发明涉及深度学习技术领域，特别涉及一种对黑白视频的着色方法、装置、存储介质及终端。
背景技术
一些早期拍摄的经典影片，比如《大独裁者》，受技术条件限制，影片一般呈现黑白色。目前，专业的影视工作人员采用手工的方式，通过使用专业的媒体制作工具(比如PhotoShop)对视频逐帧进行着色。这种方式具有以下两点缺陷：非常依赖专业人员的专业技能，技术难度比较大；一部时长约为两小时的电影需要对数十万帧进行手工着色，效率低下，成本非常高。
随着深度学习的兴起，出现了一系列基于卷积神经网络、生成式对抗网络的图像自动着色方法。这类方法主要原理是通过收集大量彩色图像，把这些彩色图像灰度化后作为训练数据，通过训练神经网络建立从灰度到彩色的映射，以达到对灰度图着色的目的。这种方式存在的缺点如下：着色效果非常依赖训练用的数据，如果训练数据不够大，或者部分目标数目较少，可能会导致着色结果难尽人意；自动着色的结果是依据概率模型进行预测，非常依赖训练数据的分布，并且着色结果可能会和预期的着色颜色有很大差异；在视频着色时，对视频抽帧后，对单帧进行着色，帧与帧之间的差异很大，视觉上感到闪烁、不连贯。比如同一件衣服，上一帧恢复为深蓝色，下一帧可能恢复成深灰色，视觉体验难以让人满意；
另外一种方案：利用完整的某一帧的颜色信息来顺序恢复其他灰度帧颜色。具体地，可通过基于灰度值的像素点匹配来恢复目标灰度帧的颜色，或通过计算运动向量来复制源彩色帧的颜色到其他灰度帧，但是由于运动向量的计算会有误差而且不是所有像素点都能被计算出运动向量，因此这些方法的效果都有瑕疵，或通过一种帧间块匹配的方法，在匹配源彩色帧和目标灰度帧后替换对应块的颜色从而对整个序列着色，但是直接将块的对应颜色替换结果常会有瑕疵，而且块匹配也会发生匹配错误的情况，对视频图像着色不准确，最终导致颜色的错误传播。
综上，如何提升黑白视频着色效率以及着色准确度是亟需解决的一个问题。
发明内容
本申请实施例提供了一种对黑白视频的着色方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种对黑白视频的着色方法，该方法包括：
将原始黑白视频拆分为黑白图片集；
构建第一彩色样例图；
将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
合并彩色图片集，生成彩色视频。
可选的，构建第一彩色样例图，包括：
从黑白图片集中获取第一张黑白图片；
接收针对第一张黑白图片的着色指令，基于着色指令将第一张黑白图片着色为彩色图片；
将彩色图片确定为第一彩色样例图；
或者，
获取与黑白图片集中任一黑白图片的内容相似度大于预设值的彩色图片；
将彩色图片确定为第一彩色样例图。
可选的，预先训练的图片着色模型包括编码器网络、解码器网络以及样例图颜色传递网络；
将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片，包括：
将第一张黑白图片的L通道与第一彩色样例图的L通道输入样例图颜色传递网络中，输出颜色传递矩阵；
将第一张黑白图片与颜色传递矩阵输入编码器网络中进行卷积运算，输出编码特征图片；
将编码特征图片输入解码器网络中，输出第一彩色图片。
可选的，将第一张黑白图片的L通道与第一彩色样例图的L通道输入样例图颜色传递网络中，输出颜色传递矩阵，包括：
颜色传递网络针对第一张黑白图片与第一彩色样例图进行卷积运算，生成第一张黑白图片与第一彩色样例图的特征编码；
颜色传递网络计算第一张黑白图片与第一彩色样例图的特征编码的余弦相似度，生成相似度矩阵；
颜色传递网络将第一彩色样例图的ab通道与相似度矩阵作积后生成颜色传递矩阵。
可选的，第一彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。
可选的，按照以下步骤生成预先训练的图片着色模型，包括：
采用卷积神经网络创建编码器网络、解码器网络以及样例图颜色传递网络；
将编码器网络、解码器网络以及样例图颜色传递网络进行连接，生成第一图片着色模型；
采集多个彩色图片；
将多个彩色图片中每个彩色图片转换为黑白图片，生成多个黑白图片；
将多个黑白图片与多个彩色图片输入第一图片着色模型中进行训练；
当训练的迭代次数到达预设次数时，生成第二图片着色模型；
从多个黑白图片中选取任一黑白图片，并将选取的任一黑白图片输入第二图片着色模型，输出目标彩色图片；
计算选取的任一黑白图片对应的彩色图片与目标彩色图片之间的光流信息的差异百分比；
根据光流信息的差异百分比生成预先训练的图片着色模型。
可选的，根据光流信息的差异百分比生成预先训练的图片着色模型，包括：
当所述光流信息的差异百分比大于预设值时，调整第一图片着色模型的参数；
继续执行将多个黑白图片与多个彩色图片输入第一图片着色模型进行训练的步骤，直到所述光流信息的差异百分比小于预设值时，停止训练；
生成预先训练的图片着色模型。
第二方面，本申请实施例提供了一种对黑白视频的着色装置，该装置包括：
视频拆分模块，用于将原始黑白视频拆分为黑白图片集；
样例图构建模块，用于构建第一彩色样例图；
模式转换模块，用于将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
图片输出模块，用于将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
彩色图片集构建模块，用于对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
彩色视频生成模块，用于合并彩色图片集，生成彩色视频。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，对黑白视频的着色装置首先将原始黑白视频拆分为黑白图片集，然后构建第一彩色样例图，再将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式，并将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片，其次对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集，最后合并彩色图片集，生成彩色视频；其中，第一彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。由于通过计算样例图和黑白图像的颜色传递矩阵对黑白影片进行快速上色，从而提升了黑白视频上色效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种对黑白视频的着色方法的流程示意图；
图2是本申请实施例提供的一种图片着色模型训练方法的流程示意图；
图3是本申请实施例提供的一种图片着色模型处理过程的过程示意框图；
图4是本申请实施例提供的一种图片着色模型中的颜色传递网络处理过程的过程示意图；
图5是本申请实施例提供的一种对黑白视频的着色过程的过程示意框图；
图6是本申请实施例提供的一种对黑白视频的着色装置的装置示意图；
图7是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的技术方案中，由于本申请实施例通过计算样例图和黑白图像的颜色传递矩阵对黑白影片进行快速上色，从而提升了黑白视频上色效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图5，对本申请实施例提供的对黑白视频的着色方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的对黑白视频的着色装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的对黑白视频的着色装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理（personal digital assistant，PDA）、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种对黑白视频的着色方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，将原始黑白视频拆分为黑白图片集；
其中，原始黑白视频为待着色的黑白视频，待着色的黑白视频中包括成千上万张的连续黑白图片帧，黑白图片是一种256阶的灰度图像。
通常，原始黑白视频可以为用户终端保存的黑白电影，也可以是从云端下载的黑白电影。
在本申请实施例中，当需要针对原始黑白视频进行着色时，首先确定出待着色的原始黑白视频后，再在本地电脑磁盘中创建文件夹，利用python的OpenCV模块按照时间的先后顺序读取原始黑白视频中的每一张黑白图片，然后以图片格式写入电脑磁盘的文件夹中。
例如，当用户针对本地保存的黑白视频《大独裁者》进行着色时，首先在本地磁盘创建文件夹，然后利用python的OpenCV模块按照时间的先后顺序读取《大独裁者》中的每一帧黑白图像，最后将读取到的《大独裁者》中的每一帧黑白图像保存至本地磁盘文件夹中。
S102，构建第一彩色样例图；
其中，彩色样例图为一张彩色图像。
在一种可能的实现方式中，在构建彩色样例图时，首先从黑白图片集中获取第一张黑白图片，然后接收针对第一张黑白图片的着色指令，基于着色指令将第一张黑白图片着色为彩色图片，最后将彩色图片确定为第一彩色样例图。
在另一种可能的实现方式中，首先获取与黑白图片集中任一黑白图片的内容相似度大于预设值的彩色图片，然后将彩色图片确定为第一彩色样例图。
在本申请实施例中，用户使用专业软件（例如本申请中使用的PhotoShop）对黑白视频的某个帧进行手工着色作为图片着色模型输入的样例图，或者从网络图库中挑选和着色视频内容类似以及符合着色预期的彩色图像。
S103，将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
其中，Lab模式为工业界的一种颜色标准。
通常，原始黑白图像的颜色标准为RGB色彩模式，本申请中首选需要将原始黑白图像的RGB色彩模式转换为Lab色彩模式。
在一种可能的实现方式中，在将RGB转换为Lab色彩模式时，首先将第一黑白图片与第一彩色样例图划分为若干的块，分别计算每个块中的R通道、G通道、B通道平均值，最后根据每个块中的R通道、G通道、B通道平均值计算每个块的Lab值。
S104，将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
其中，预先训练的图片着色模型是可以对黑白图片进行着色的数学模型，预先训练的图片着色模型包括编码器网络、解码器网络以及样例图颜色传递网络。
通常，生成预先训练的图片着色模型时的流程图例如图2所示，首先采用卷积神经网络创建编码器网络、解码器网络以及样例图颜色传递网络，然后将编码器网络、解码器网络以及样例图颜色传递网络进行连接，生成第一图片着色模型，再采集多个彩色图片，并将多个彩色图片中每个彩色图片转换为黑白图片，生成多个黑白图片，其次将多个黑白图片与多个彩色图片输入第一图片着色模型中进行训练，再当训练的迭代次数到达预设次数时，生成第二图片着色模型，再从多个黑白图片中选取任一黑白图片，并将选取的任一黑白图片输入第二图片着色模型，输出目标彩色图片，并计算选取的任一黑白图片对应的彩色图片与目标彩色图片之间的光流信息的差异百分比，最后根据光流信息的差异百分比生成预先训练的图片着色模型。
具体的，在根据光流信息的差异百分比生成预先训练的图片着色模型时，当光流信息的差异百分比大于预设值时，调整第一图片着色模型的参数，并继续执行将多个黑白图片与多个彩色图片输入第一图片着色模型进行训练的步骤，直到光流信息的差异百分比小于预设值时，停止训练，最后生成预先训练的图片着色模型。
优选地，在将多个黑白图片与多个彩色图片输入第一图片着色模型中的颜色传递网络之前，还需要调整多个黑白图片与多个彩色图片的尺寸大小，使得尺寸符合当前模型适应的尺寸大小。
在一种可能的实现方式中，例如图3所示，图3是本申请提供的一种预先训练的着色模型进行处理的过程示意图，在将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中进行处理时，首先将第一张黑白图片的L通道与第一彩色样例图的L通道输入样例图颜色传递网络中，输出颜色传递矩阵，然后将第一张黑白图片与颜色传递矩阵输入编码器网络中进行卷积运算，输出编码特征图片，最后将编码特征图片输入解码器网络中，输出第一彩色图片。
进一步地，例如图4所示，图4为本申请提供的一种预先训练的着色模型中的颜色传递网络处理流程示意图，首先颜色传递网络针对第一张黑白图片与第一彩色样例图进行卷积运算，生成第一张黑白图片与第一彩色样例图的特征编码，然后颜色传递网络计算第一张黑白图片与第一彩色样例图的特征编码的余弦相似度，生成相似度矩阵，最后颜色传递网络将第一彩色样例图的ab通道与相似度矩阵作积后生成颜色传递矩阵。
S105，对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
通常，通过步骤S101至步骤S104可以得到一帧黑白图像的着色图片。
在本申请实施例中，每个黑白视频中包括成千上万张黑白图片，因此需要循环将每个黑白图片全部进行步骤S103至步骤S104的处理过程，使得每一张黑白图片对应的彩色图片，最后构成彩色图片集。
S106，合并彩色图片集，生成彩色视频。
其中，彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。
在一种可能的实现方式中，在得到彩色图片集后，利用Python的OpenCV模块读取着色后图像，并合并为彩色视频。
本发明利用了样例图的颜色信息，通过将样例图的颜色传递到黑白视频图像上，提高着色的准确率，并利用光流损失约束视频的帧间一致性，减少了视频帧间跳色的情况，极大的减少了人工成本、提高了着色的效率和效果。
例如图5所示，图5是本申请黑白视频着色过程的过程示意图，首先把原始黑白视频拆分为图片，得到黑白图片集，用户再构建彩色样例图，然后从黑白图片集中获取一张黑白图片，再将样例图与黑白图片转换到Lab色彩空间，其次调用着色模型，计算颜色传递矩阵，对选取的黑白图片着色，再从黑白图片集中遍历从获取处理后生成彩色图片集，最后合成彩色视频。
在本申请实施例中，对黑白视频的着色装置首先将原始黑白视频拆分为黑白图片集，然后构建第一彩色样例图，再将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式，并将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片，其次对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集，最后合并彩色图片集，生成彩色视频；其中，第一彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。由于通过计算样例图和黑白图像的颜色传递矩阵对黑白影片进行快速上色，从而提升了黑白视频上色效率。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的对黑白视频的着色装置的结构示意图。该对黑白视频的着色装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括视频拆分模块10、样例图构建模块20、模式转换模块30、图片输出模块40、彩色图片集构建模块50、彩色视频生成模块60。
视频拆分模块10，用于将原始黑白视频拆分为黑白图片集；
样例图构建模块20，用于构建第一彩色样例图；
模式转换模块30，用于将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
图片输出模块40，用于将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
彩色图片集构建模块50，用于对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
彩色视频生成模块60，用于合并彩色图片集，生成彩色视频。
需要说明的是，上述实施例提供的对黑白视频的着色装置在执行对黑白视频的着色方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的对黑白视频的着色装置与对黑白视频的着色方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，对黑白视频的着色装置首先将原始黑白视频拆分为黑白图片集，然后构建第一彩色样例图，再将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式，并将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片，其次对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集，最后合并彩色图片集，生成彩色视频；其中，第一彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。由于通过计算样例图和黑白图像的颜色传递矩阵对黑白影片进行快速上色，从而提升了黑白视频上色效率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的对黑白视频的着色方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的对黑白视频的着色方法。
请参见图7，为本申请实施例提供了一种终端的结构示意图。如图7所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图片处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图片播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及对黑白视频的着色应用程序。
在图7所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的对黑白视频的着色应用程序，并具体执行以下操作：
将原始黑白视频拆分为黑白图片集；
构建第一彩色样例图；
将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
合并彩色图片集，生成彩色视频。
在一个实施例中，处理器1001在执行构建第一彩色样例图时，具体执行以下操作：
从黑白图片集中获取第一张黑白图片；
接收针对第一张黑白图片的着色指令，基于着色指令将第一张黑白图片着色为彩色图片；
将彩色图片确定为第一彩色样例图；
或者，
获取与黑白图片集中任一黑白图片的内容相似度大于预设值的彩色图片；
将彩色图片确定为第一彩色样例图。
在一个实施例中，处理器1001在执行将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片时，具体执行以下操作：
将第一张黑白图片的L通道与第一彩色样例图的L通道输入样例图颜色传递网络中，输出颜色传递矩阵；
将第一张黑白图片与颜色传递矩阵输入编码器网络中进行卷积运算，输出编码特征图片；
将编码特征图片输入解码器网络中，输出第一彩色图片。
在一个实施例中，处理器1001在执行将第一张黑白图片的L通道与第一彩色样例图的L通道输入样例图颜色传递网络中，输出颜色传递矩阵时，具体执行以下操作：
颜色传递网络针对第一张黑白图片与第一彩色样例图进行卷积运算，生成第一张黑白图片与第一彩色样例图的特征编码；
颜色传递网络计算第一张黑白图片与第一彩色样例图的特征编码的余弦相似度，生成相似度矩阵；
颜色传递网络将第一彩色样例图的ab通道与相似度矩阵作积后生成颜色传递矩阵。
在本申请实施例中，对黑白视频的着色装置首先将原始黑白视频拆分为黑白图片集，然后构建第一彩色样例图，再将黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式，并将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片，其次对于黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集，最后合并彩色图片集，生成彩色视频；其中，第一彩色图片是通过计算第一张黑白图片与第一彩色样例图之间的颜色传递矩阵进行着色。由于通过计算样例图和黑白图像的颜色传递矩阵对黑白影片进行快速上色，从而提升了黑白视频上色效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，对黑白视频的着色的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种对黑白视频的着色方法，其特征在于，所述方法包括：
将原始黑白视频拆分为黑白图片集；
构建第一彩色样例图；
将所述黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
对于所述黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
合并所述彩色图片集，生成彩色视频。
2.根据权利要求1所述的方法，其特征在于，所述构建第一彩色样例图，包括：
从所述黑白图片集中获取第一张黑白图片；
接收针对所述第一张黑白图片的着色指令，基于所述着色指令将所述第一张黑白图片着色为彩色图片；
将所述彩色图片确定为第一彩色样例图；
或者，
获取与所述黑白图片集中任一黑白图片的内容相似度大于预设值的彩色图片；
将所述彩色图片确定为第一彩色样例图。
3.根据权利要求2所述的方法，其特征在于，所述预先训练的图片着色模型包括编码器网络、解码器网络以及样例图颜色传递网络；
所述将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片，包括：
将所述第一张黑白图片的L通道与所述第一彩色样例图的L通道输入所述样例图颜色传递网络中，输出颜色传递矩阵；
将所述第一张黑白图片与所述颜色传递矩阵输入所述编码器网络中进行卷积运算，输出编码特征图片；
将所述编码特征图片输入所述解码器网络中，输出第一彩色图片。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一张黑白图片的L通道与所述第一彩色样例图的L通道输入所述样例图颜色传递网络中，输出颜色传递矩阵，包括：
颜色传递网络针对所述第一张黑白图片与所述第一彩色样例图进行卷积运算，生成第一张黑白图片与第一彩色样例图的特征编码；
颜色传递网络计算所述第一张黑白图片与第一彩色样例图的特征编码的余弦相似度，生成相似度矩阵；
颜色传递网络将所述第一彩色样例图的ab通道与所述相似度矩阵作积后生成颜色传递矩阵。
5.根据权利要求1所述的方法，其特征在于，所述第一彩色图片是通过计算所述第一张黑白图片与所述第一彩色样例图之间的颜色传递矩阵进行着色。
6.根据权利要求1所述的方法，其特征在于，按照以下步骤生成预先训练的图片着色模型，包括：
采用卷积神经网络创建编码器网络、解码器网络以及样例图颜色传递网络；
将所述编码器网络、解码器网络以及样例图颜色传递网络进行连接，生成第一图片着色模型；
采集多个彩色图片；
将所述多个彩色图片中每个彩色图片转换为黑白图片，生成多个黑白图片；
将所述多个黑白图片与所述多个彩色图片输入所述第一图片着色模型中进行训练；
当所述训练的迭代次数到达预设次数时，生成第二图片着色模型；
从所述多个黑白图片中选取任一黑白图片，并将所述选取的任一黑白图片输入所述第二图片着色模型，输出目标彩色图片；
计算所述选取的任一黑白图片对应的彩色图片与所述目标彩色图片之间的光流信息的差异百分比；
根据所述光流信息的差异百分比生成预先训练的图片着色模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述光流信息的差异百分比生成预先训练的图片着色模型，包括：
当所述光流信息的差异百分比大于预设值时，调整所述第一图片着色模型的参数；
继续执行所述将所述多个黑白图片与所述多个彩色图片输入所述第一图片着色模型进行训练的步骤，直到所述光流信息的差异百分比小于预设值时，停止训练；
生成预先训练的图片着色模型。
8.一种对黑白视频的着色装置，其特征在于，所述装置包括：
视频拆分模块，用于将原始黑白视频拆分为黑白图片集；
样例图构建模块，用于构建第一彩色样例图；
模式转换模块，用于将所述黑白图片集中的第一张黑白图片和第一彩色样例图转换为Lab模式；
图片输出模块，用于将转换后的第一张黑白图片和第一彩色样例图输入预先训练的图片着色模型中，输出第一彩色图片；
彩色图片集构建模块，用于对于所述黑白图片集中的每一张黑白图片，重复上述过程，得到每一张黑白图片对应的彩色图片，构成彩色图片集；
彩色视频生成模块，用于合并所述彩色图片集，生成彩色视频。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514576.XA CN113421312B (zh) | 2021-05-12 | 2021-05-12 | 一种对黑白视频的着色方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514576.XA CN113421312B (zh) | 2021-05-12 | 2021-05-12 | 一种对黑白视频的着色方法、装置、存储介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421312A true CN113421312A (zh) | 2021-09-21 |
| CN113421312B CN113421312B (zh) | 2024-08-02 |
Family
ID=77712292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110514576.XA Active CN113421312B (zh) | 2021-05-12 | 2021-05-12 | 一种对黑白视频的着色方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421312B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299193A (zh) * | 2021-12-30 | 2022-04-08 | 山东大学 | 一种基于神经网络的黑白视频上色方法、系统、设备及存储介质 |
| CN115131447A (zh) * | 2022-01-14 | 2022-09-30 | 长城汽车股份有限公司 | 图像着色方法、装置、设备及存储介质 |
| CN115460386A (zh) * | 2022-08-31 | 2022-12-09 | 武汉精立电子技术有限公司 | 一种利用黑白相机获取彩色图像的方法及系统 |
| CN115811639A (zh) * | 2022-11-15 | 2023-03-17 | 百度国际科技（深圳）有限公司 | 漫画视频生成方法、装置、电子设备和存储介质 |
| CN116823973A (zh) * | 2023-08-25 | 2023-09-29 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种黑白视频上色方法、装置及计算机可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717953A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 |
| KR20200052438A (ko) * | 2018-10-29 | 2020-05-15 | 전자부품연구원 | 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션 |
| CN112073596A (zh) * | 2020-09-18 | 2020-12-11 | 青岛大学 | 特定黑白视频信号的仿真彩色处理方法及系统 |
-
2021
- 2021-05-12 CN CN202110514576.XA patent/CN113421312B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200052438A (ko) * | 2018-10-29 | 2020-05-15 | 전자부품연구원 | 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션 |
| CN110717953A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 |
| CN112073596A (zh) * | 2020-09-18 | 2020-12-11 | 青岛大学 | 特定黑白视频信号的仿真彩色处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| BO ZHANG等: "Deep Exemplar-based Video Colorization", 《IEEE》, pages 8052 - 8061 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299193A (zh) * | 2021-12-30 | 2022-04-08 | 山东大学 | 一种基于神经网络的黑白视频上色方法、系统、设备及存储介质 |
| CN114299193B (zh) * | 2021-12-30 | 2024-05-03 | 山东大学 | 一种基于神经网络的黑白视频上色方法、系统、设备及存储介质 |
| CN115131447A (zh) * | 2022-01-14 | 2022-09-30 | 长城汽车股份有限公司 | 图像着色方法、装置、设备及存储介质 |
| CN115460386A (zh) * | 2022-08-31 | 2022-12-09 | 武汉精立电子技术有限公司 | 一种利用黑白相机获取彩色图像的方法及系统 |
| CN115460386B (zh) * | 2022-08-31 | 2024-05-17 | 武汉精立电子技术有限公司 | 一种利用黑白相机获取彩色图像的方法及系统 |
| CN115811639A (zh) * | 2022-11-15 | 2023-03-17 | 百度国际科技（深圳）有限公司 | 漫画视频生成方法、装置、电子设备和存储介质 |
| CN116823973A (zh) * | 2023-08-25 | 2023-09-29 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种黑白视频上色方法、装置及计算机可读介质 |
| CN116823973B (zh) * | 2023-08-25 | 2023-11-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种黑白视频上色方法、装置及计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421312B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113421312A (zh) | 一种对黑白视频的着色方法、装置、存储介质及终端 | |
| CN112241714B (zh) | 图像中指定区域的识别方法、装置、可读介质和电子设备 | |
| CN110335330B (zh) | 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 | |
| CN110069974B (zh) | 高光图像处理方法、装置和电子设备 | |
| CN113642673B (zh) | 图像生成方法、装置、设备及存储介质 | |
| CN112991497B (zh) | 一种对黑白动漫视频的着色方法、装置、存储介质及终端 | |
| CN110070495B (zh) | 图像的处理方法、装置和电子设备 | |
| CN116188808B (zh) | 图像特征提取方法和系统、存储介质及电子设备 | |
| CN114004905B (zh) | 人物风格形象图的生成方法、装置、设备及存储介质 | |
| CN111068314B (zh) | 一种基于Unity的NGUI资源渲染处理方法及装置 | |
| US11893770B2 (en) | Method for converting a picture into a video, device, and storage medium | |
| CN111223169B (zh) | 三维动画后期制作方法、装置、终端设备及云渲染平台 | |
| CN114040246A (zh) | 图形处理器的图像格式转换方法、装置、设备及存储介质 | |
| CN113742025A (zh) | 页面生成方法、装置、设备和存储介质 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN112200817A (zh) | 基于图像的天空区域分割和特效处理方法、装置及设备 | |
| CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
| CN104639834A (zh) | 一种摄像头图像数据传输的方法及系统 | |
| CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
| CN115272667B (zh) | 农田图像分割模型训练方法、装置、电子设备和介质 | |
| CN115953597B (zh) | 图像处理方法、装置、设备及介质 | |
| CN116824004A (zh) | 图标生成方法及装置、存储介质、电子设备 | |
| WO2023035973A1 (zh) | 视频处理方法、装置、设备及介质 | |
| CN112634444B (zh) | 一种基于三维信息的人体姿态迁移方法、装置、存储介质及终端 | |
| CN115239739A (zh) | 图像处理方法及装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |