CN111080746A - 图像处理方法、装置、电子设备和存储介质 - Google Patents
图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111080746A CN111080746A CN201911257463.5A CN201911257463A CN111080746A CN 111080746 A CN111080746 A CN 111080746A CN 201911257463 A CN201911257463 A CN 201911257463A CN 111080746 A CN111080746 A CN 111080746A
- Authority
- CN
- China
- Prior art keywords
- image
- coloring
- target
- line
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 140
- 238000003672 processing method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000004040 coloring Methods 0.000 claims abstract description 459
- 238000000034 method Methods 0.000 claims abstract description 47
- 239000000523 sample Substances 0.000 claims description 127
- 238000012549 training Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 19
- 239000013074 reference sample Substances 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000009877 rendering Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 235000002864 food coloring agent Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
Abstract
本发明实施例公开了一种图像处理方法、装置、电子设备和存储介质；本发明实施例可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；根据用户线描图像提取用户着色图像的着色信息；基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色，再根据用户着色图像来进一步调整着色，最终得到与用户着色图像着色风格相同的目标着色图像。由此，该方案可以提升图像处理方法的效率。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
在计算机视觉中，图像着色(Image Colorization)技术是一种对黑白图像进行上色处理，从而生成彩色图像的技术。比如，对于灰度图而言，每个像素仅具有1个值(灰度值，也称亮度)，目前的图像着色技术是根据图像中某一像素的亮度，来推断该像素RGB值(Red，Green，Blue)中的3个值。
然而，通过图像着色来进行图像处理时，很难对线描图像进行着色，目前常常采用人工着色的方法来针对线描图像进行人工上色，因此，目前用于图像着色的图像处理方法效率低下。
发明内容
本发明实施例提供一种图像处理方法、装置、电子设备和存储介质，可以提升图像处理方法的效率。
本发明实施例提供一种图像处理方法，包括：
获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
根据所述用户线描图像提取所述用户着色图像的着色信息；
基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
本发明实施例还提供一种图像处理装置，包括：
获取单元，用于获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
着色单元，用于基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
提取单元，用于根据所述用户线描图像提取所述用户着色图像的着色信息；
调整单元，用于基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
在一些实施例中，所述获取单元，包括：
获取子单元，用于获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像；
分类子单元，用于对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组；
确定子单元，用于在图像组中确定目标图像，以及参考图像，其中，目标图像和参考图像均属于同一分镜镜头类型；
线描化子单元，用于对目标图像、参考图像进行线描化处理，得到目标图像对应的待上色的目标线描图像，以及参考图像对应的参考线描图像。
在一些实施例中，所述分类子单元用于：
获取预设的分类阈值；
对图像序列中的图像进行颜色统计处理，得到图像的颜色统计信息；
基于图像的颜色统计信息，计算图像序列中图像两两之间的颜色差值；
当颜色差值低于分类阈值时，将图像归为同一分镜镜头类型。
在一些实施例中，所述着色单元，包括：
提取子单元，用于分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征；
相似度子单元，用于根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度；
着色子单元，用于基于参考图像和图像相似度，对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
在一些实施例中，所述图像特征可以包括高维图像特征和低维图像特征，所述提取子单元用于：
分别提取参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征。
在一些实施例中，所述相似度子单元用于：
对参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到目标线描图像的图像着色特征；
根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定参考线描图像和目标线描图像之间的图像相似度。
在一些实施例中，所述提取单元用于：
采用着色卷积核对用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
在一些实施例中，所述调整单元，包括：
下采样子单元，用于对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像；
调整子单元，用于采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像；
上采样子单元，用于对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像；
在一些实施例中，所述上采样子单元具体用于：
对融合后的低分辨率目标着色图像进行上采样处理，得到多个高分辨率目标着色图像；
将低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
在一些实施例中，所述下采样子单元具体用于：
对目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像。
在一些实施例中，所述图像处理装置，还包括：
模型单元，用于获取图像处理模型，图像处理模型包括着色网络、着色信息提取网络、着色调整网络，图像处理模型由训练样本训练而成；
模型图像处理单元，用于采用图像处理模型基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据用户线描图像提取用户着色图像的着色信息，以及基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
其中，在一些实施例中，所述模型单元，包括：
训练子单元，用于获取预设模型和训练样本，预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、预设判别网络，训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本；
着色处理子单元，用于采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本；
着色信息子单元，用于采用预设着色信息提取网络提取网络根据用户线描样本提取初始的用户着色样本的着色信息；
调整子单元，用于采用预设着色调整网络基于着色信息对预设的目标着色样本进行着色调整处理，得到最终的目标着色样本；
判别子单元，用于采用预设判别网络判别最终的目标着色样本的图像类型，以及最终的目标着色样本与目标样本之间的图像相似度；
收敛子单元，用于基于图像类型、标识相似度对预设模型进行模型收敛处理，得到图像处理模型。
在一些实施例中，所述预设模型包括初始着色网络，所述着色处理子单元还用于：
采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本；
计算初始的初始着色样本和目标样本之间的损失值；
基于损失值对初始着色网络进行收敛，得到预设着色网络。
本发明实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
本发明实施例可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；根据用户线描图像提取用户着色图像的着色信息。
在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色，再根据用户着色图像来进一步调整着色，最终得到与用户着色图像着色风格相同的目标着色图像。由此，本方案可以提升图像处理方法的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像处理方法的场景示意图；
图1b是本发明实施例提供的图像处理方法的流程示意图；
图2a是本发明实施例提供的图像处理方法的目标图像示意图；
图2b是本发明实施例提供的图像处理方法的目标描线图像示意图；
图2c是本发明实施例提供的图像处理方法的目标着色图像示意图；
图2d是本发明实施例提供的图像处理方法的图像处理模型的结构示意图；
图2e是本发明实施例提供的图像处理方法的着色网络的结构示意图；
图2f是本发明实施例提供的图像处理方法的着色预测子网络的结构示意图；
图2g是本发明实施例提供的图像处理方法的着色调整网络、着色信息提取网络、预设判别网络的结构示意图；
图2h是本发明实施例提供的图像处理方法的预设的图像处理模型的结构示意图；
图3a是本发明实施例提供的图像处理装置的第一种结构示意图；
图3b是本发明实施例提供的图像处理装置的第二种结构示意图；
图3c是本发明实施例提供的图像处理装置的第三种结构示意图；
图3d是本发明实施例提供的图像处理装置的第四种结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置、电子设备和存储介质。
其中，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。
参考图1a，该电子设备可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
最后根据用户线描图像来提取用户着色图像的着色信息；
基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
人工智能(Artificial Intelligence，AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术，该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
其中，计算机视觉(Computer Vision，CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建等技术，比如，图像着色、图像描边提取等图像处理技术。
在本实施例中，提供了一种基于计算机视觉的图像处理方法，如图1b所示，该图像处理方法的具体流程可以如下：
101、获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像。
与普通的彩色图像不同，线描图像是指内容中包含有线条勾画的物体的图像，线描图像又可以称为线稿(Line art)，而普通的彩色图像的内容中不仅包含有线条勾画的物体，该物体还以大块色块的形式表现。故线描图像可以从普通的彩色图像中提取。
着色图像与彩色图像不同，着色图像是指经过上色后的线描图像，该上色方式可以是人工上色、机器上色，等等。
比如，参考图2a，图2a可以为某动画形象的彩色设计图(该彩色设计图在图2a中以灰值图的形式展示)，该图2a对应的线描图像可以参考图2b，当图2b所示的线描图像重新被人工上色后，可以生成人工着色的着色图像，比如，人工着色的着色图像可以参考图2c，由此可知，线描图像的人工着色图像和线描图像原来的彩色图像的着色风格、色彩分布等都可以不同。
其中，用户着色图像是指用户指定的着色图像，用户线描图像是指该用户着色图像对应的线描图像。用户着色图像可以用于指导初始的目标着色图像进行着色调整，将初始的目标着色图像调整为用户着色图像所对应的着色风格。
其中，待上色的目标线描图像是本实施例中将要进行着色的目标线描图像，该目标线描图像可以由目标图像(即目标线描图像原来对应的彩色图像)转换得到。
需要注意的是，用户指定的用户线描图像、用户着色图像以及待上色的目标线描图像均可以由用户指定；待上色的目标线描图像可由用户任意选择，而用户线描图像和用户着色图像之间存在对应关系，即，用户着色图像是上色后的用户线描图像，故用户需指定一对对应的用户线描图像和用户着色图像。
其中，参考图像是指参考线描图像原来的彩色图像。参考图像可以作为待上色的目标线描图像的着色参考对象，用于生成待上色的目标线描图像对应的初始目标着色图像。
需要注意的是，在一些实施例中，当处于影像处理情景时，参考图像和目标图像具有相同分镜镜头类型。其中，分镜镜头(Storyboard)是指表现一个场景构成、人物构图、摄影角度的画面技巧。具体地，在一个影像中，可以包括多个采用了不同分镜镜头的连续画面。
其中，分镜镜头类型可以指用户定义的具体类型，比如，渐远分镜类型、渐近分镜类型、人物特写分镜类型，等等。
由于不同的分镜可以具有不同的画面风格、配色，等等，故在一些实施例中，目标线描图像、参考图像、参考线描图像均可以为同一种分镜镜头类型，即，目标线描图像对应的着色图像和参考图像，均为同一分镜镜头中的图像帧。
比如，在动漫中具有3个分镜，分别为动漫角色A的脸部特写分镜、动漫角色A的手部特写分镜、动漫场景分镜，则可以将动漫角色A的脸部特写分镜中所有帧图像均归类为一类，将动漫角色A的手部特写分镜中所有帧图像均归类为一类，以及，将动漫场景分镜中所有帧图像均归类为一类。
获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像的方式具有多种，比如，从本地内存中读取、由技术人员导入获取、通过网络从数据库中获取，等等。
在一些实施例中，可以应用在影像场景中，故步骤：获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图，包括以下具体步骤：
(1)获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像。
视频可以由多帧图像组成，这些图像可以以播放时间顺序进行排序，即，视频的本质为图像序列。
用户线描图像和用户着色图像可以由用户指定，用于指导图像着色，从而控制使得图像着色的着色风格可以由用户控制，由此，本方案实施例具有普适性，可以应用于不同风格的图像着色场景中。
(2)对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组。
比如，在动漫中具有3个分镜，分别为动漫角色A的脸部特写分镜、动漫角色A的手部特写分镜、动漫场景分镜。在对图像序列中的图像进行分镜镜头分类处理后，可以将动漫角色A的脸部特写分镜中所有帧图像均归类为一组，将动漫角色A的手部特写分镜中所有帧图像均归类为一组，以及，将动漫场景分镜中所有帧图像均归类为一组。
具体地，在一些实施例中，步骤：对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组，具体可以包括如下步骤：
获取预设的分类阈值；
对图像序列中的图像进行颜色统计处理，得到图像的颜色统计信息；
基于图像的颜色统计信息，计算图像序列中图像两两之间的颜色差值；
当颜色差值低于分类阈值时，将图像归为同一分镜镜头类型。
其中，颜色统计处理指统计一帧图像中的颜色信息以及颜色分布信息，比如，通过颜色统计处理得到的得到图像的颜色统计信息可以指计算一帧图像在RGB颜色空间中的颜色直方图。
颜色差值是指两个图像的颜色统计信息之差，其差值越大，则这两个图像属于同一分镜镜头类型的概率越小。
例如，在一些实施例中，可以计算目标视频中每一帧图像在RGB颜色空间中的颜色直方图，通过对比目标视频的相邻两帧的颜色直方图差值，来确定这两帧图像是否属于同一分镜镜头类型。当预设的分类阈值为300时，则该颜色直方图差值小于300时，将这两帧图像确定为同一分镜镜头类型。
由此，本发明实施例可以提高同一镜头下线描图像着色的准确度，从而保证在同一镜头下，图像着色的效果、风格一致。
(3)在图像组中确定目标图像，以及参考图像，其中，目标图像和参考图像均属于同一分镜镜头类型。
其中，在图像组中确定目标图像，以及参考图像的方式具有多种，比如，由用户在图像组中确定目标图像，以及参考图像；比如，根据历史日志等记录历史时刻图像处理过程的信息，可以自动地根据这些历史信息在图像组中确定当前时刻的目标图像，以及参考图像，等等。
(4)对目标图像、参考图像进行线描化处理，得到目标图像对应的待上色的目标线描图像，以及参考图像对应的参考线描图像。
线描化处理是指对彩色图像进行线描，得到该彩色图像对应的线描图像。
具体线描方式可以通过人工手工线描，也可以采用图像处理软件直接对彩色图像进行线描处理，等等。
比如，在一些实施例中，可以将目标图像、参考图像导入图像处理软件，进行一系列图像处理后，可以得到目标图像、参考图像对应的初始线描图像，然后，再采用线描简化模型对目标图像、参考图像对应的初始线描图像，最终可以得到类似人类画家绘制的线描图像。
102、基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
在本实施例中，通过机器学习，计算机可以根据参考图像、参考线描图像之间的关系，自动地推导出目标线描图像对应的着色图像，即初始的目标着色图像。
具体地，着色处理的步骤如下：
(1)分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征。
图像特征可以包括图高维图像特征和低维图像特征。其中，高维图像特征是指图像在高维空间中的特征和低维图像特征是指图像在低维空间中的特征。
故在一些实施例中，步骤：分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征，可以是分别提取参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征。
具体提取图像特征的方式可以包括：
采用卷积核对图像进行卷积处理、采用残差网络(ResNet)对图像进行卷积处理，等等。
例如，在一些实施例中，参考图2d，图像处理模型中可以包括着色网络、着色调整网络、着色信息提取网络，采用着色网络来分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征。
着色网络可以为各种深度神经网络(Deep Neural Network，DNN)，比如，U-Net(一种深度学习分割网络)、全卷积神经网络(Fully Convolutional Networks for SemanticSegmentation，FCN)，SegNet(一种深度学习分割网络)，等等。
具体地，参考图2e，在一些实施例中，该着色网络是一种深度卷积神经网络。该着色网络采用U-Net网络结构，包括从左至右11个卷积层。
其中，前5个卷积层可以由向下卷积的残差块(ResNet Block，Res)组成，用于降低输入图像的分辨率。
在一些实施例中，为了帮助保存图像的空间信息，减少图像着色过程中的信息顺着，可以将第3～5个卷积层中得到的图像特征与第7～8个卷积层中得到的图像特征通过快捷通道(Short-cut)拼接在一起。
在一些实施例中，第6个卷积层为着色预测子网络，该着色预测子网络可以不改变图像分辨率的大小，该着色预测子网络可以用于根据参考线描图像和目标线描图像之间的特征相似性，以及参考图像的颜色分布特征，来预测目标线描图像的着色图像。
其中，第7～11个卷积层为向上的残差卷积层，其中卷积操作不改变图像分辨率的大小，在第7～11个卷积层可以通过对图像特征进行上采样来提高图像的分辨率。(2)根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度。
在一些实施例中，根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度，包括：
对参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到目标线描图像的图像着色特征；
根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定参考线描图像和目标线描图像之间的图像相似度。
该着色网络同时具有局部感知能力和全局感知能力，且可以将感受到的局部信息和全局信息结合，由此得到包括了全局和局部上的图像相似度，该相似度相比于其它网络模型输出的相似度更加准确，从而进一步提升了着色的准确度。
(3)基于参考图像和图像相似度，对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
具体地，参考图2f，图2f为着色预测子网络的网络结构示意图，其中，X1为目标线描图像，X2为参考线描图像，Y2为参考图像；F(x)可以提取X1的图像特征，G(x)可以提取X2的图像特征，H(x)可以提取Y2的颜色分布特征。
通过矩阵运算后，可以得到X1和X2的相似度。
根据X1和X2的相似度，以及Y2颜色分布特征，进行矩阵运算后，可以得到X1的颜色分布特征Y1。
其中，F(x)和G(x)可以将特征通道的数量缩减至1/2，从而减少计算特征X1和X2的计算量，由此，本实施例可以进一步地提升图像处理方法的效率。
具体地，参考表1，着色网络的具体结构如下：
表1
其中，其中Layer代表着色网络中的卷积层的序号，Resolution代表该卷积层相对于输入图像分辨率的大小，Channel代表该卷积层的通道个数(其中，第一个卷积层分别有3个输入，其通道数分别为1/1/3)，Kernel代表卷积核的大小，Stride代表卷积核步长，Padding代表边缘填充的大小，Shortcut表示层与层之间的互连。
此外，需要注意的是，表中未标注出池化层、归一化层、激活函数等网络结构。
103、根据用户线描图像提取用户着色图像的着色信息。
在本实施例中，用户着色图像的着色信息可以用于调整目标线描图像的着色，比如，用户着色图像为冷色调着色风格时，可以将目标线描图像的着色调整为偏冷色调风格。
其中，着色信息可以包括颜色信息、颜色种类信息、颜色分布信息，等等。
在一些实施例中，步骤103可以为：
在着色信息提取网络中根据用户线描图像提取用户着色图像的着色信息。
具体地，参考图2g的着色信息提取网络部分，步骤：在着色信息提取网络中根据用户线描图像提取用户着色图像的着色信息，可以包括如下步骤：
采用着色卷积核对用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
其中，着色卷积核是指着色信息提取网络中的卷积核，着色信息提取网络中从左至右可以包括4个着色卷积核，以及2个全连接层。
在本实施例中，可以在全连接层对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
其中，通过不同步长、填充大小的着色卷积核即可降低图像的分辨率，故本实施例可以降低计算量，从而进一步地提升图像处理方法的效率。
104、基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
在本实施例中，可以根据步骤103中得到的着色信息来对步骤102中得到的初始的目标着色图像进行进一步地着色调整处理，使得最终的目标着色图像的着色风格与用户着色图像的着色风格类似，从而使得本方案的着色风格可控。
着色调整处理的方法具有多种，比如，可以根据该着色信息对初始的目标着色图像进行RGB值的更改、替换，等等。
比如，在一些实施例中，基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像，包括：
(1)对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像。
在一些实施例中，步骤：对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像，具体可以为：对目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像。
其中，通过不同步长、填充大小的着色卷积核即可降低图像的分辨率，故本实施例可以降低计算量，从而进一步地提升图像处理方法的效率。
(2)采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像。
采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像可以高效地实现自动地图像上色，无需人工操作。
(3)对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像。
在一些实施例中，步骤：对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像，可以包括：
对融合后的低分辨率目标着色图像进行多级上采样处理，得到多个高分辨率目标着色图像；
将低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
具体地，参考图2g的着色调整网络部分，其中，着色调整网络可以为U-Net结构。着色调整网络中可以包括9个卷积层，前1～4层为向下的全卷积神经网络，第5层包含4个残差卷积核，前两个残差卷积核可以对每个样例以及每个通道都独立计算均值、方差，即前两个残差卷积核可以采用实例正则化(Instance normalization，IN)算法进行归一化；后两个残差卷积核可以采用自适应的实例正则化(Adaptive Instance normalization，AdaIN)算法进行归一化。
着色调整网络的第6～9个卷积层可以与第2～4个卷积层输出的图像特征拼接在一起，同时通过多次上采样来放大图像的分辨率。
其中，IN算法公式如下：
其中，γ、β为网络参数，μ(x)为每个样例以及每个通道都独立计算得出的均值，σ(x)为每个样例以及每个通道都独立计算得出的方差
AdaIN定义如下：
其中，x为目标线描图像，y为用户着色图像。
在一些实施例中，为了进一步提高着色的准确度，以及，自动、高效地进行着色，可以采用图像处理模型来进行本方案的图像处理，从而实现自动化地的图像着色，故图像处理方法还可以包括如下步骤：
获取图像处理模型，图像处理模型包括着色网络、着色信息提取网络、着色调整网络，图像处理模型由训练样本训练而成。
采用图像处理模型基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据用户线描图像提取用户着色图像的着色信息，以及基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
获取图像处理模型的方式具有多种，比如，通过网络从数据库中获得、由技术人员导入获得、从本地内存中调用获得、通过模型训练获得，等等。
比如，在一些实施例中，为了提高着色的准确度，图像处理模型可以由训练样本训练得到，故步骤：获取图像处理模型，可以包括如下步骤：
(1)获取预设模型和训练样本，预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本。
其中，获得预设模型和训练样本具有多种，比如，通过网络从数据库中获得、由技术人员导入获得、从本地内存中调用获得、通过模型训练获得，等等。
参考图2h，预设模型中还可以包括预设着色调整网络，用于指导着色。
其中，该预设模型的网络参数可以是预先在大数据集上通过元学习阶段训练得到的，故在本方案中，只需要对该预设模型进行少量样本的训练，就可以得到准确、合适的图像处理模型。
故本方案得到的图像处理模型可以对图像进行更准确地着色，且由于只需要少量的训练样本就可以训练出图像处理模型，故本方案的训练过程更加快速、高效，进而进一步地提升了图像处理方法的效率。
(2)采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本。
在一些实施例中，预设模型可以包括初始着色网络，采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本之前，还可以包括：
采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本；
计算初始的初始着色样本和目标样本之间的损失值；
基于损失值对初始着色网络进行收敛，得到预设着色网络。
其中，预设着色网络类似于着色网络，损失值可以反应初始的初始着色样本和目标样本之间的区别差异。
具体地，收敛方式如下：
θ′＝argminΓ(F(X1,X2,Y2,θ))
其中，其中Γ代表损失函数，F代表着色网络，θ’代表当前时刻着色网络的参数，θ代表上一时刻着色网络的参数。X1代表目标线描图像，X2代表参考线描图像，Y2代表参考图像。
在一些实施例中，初始着色网络可以包括着色预测子网络，采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本，还包括：
采用着色预测子网络基于参考样本、参考线描样本预测目标线描样本的初始预测着色样本；
基于损失值对初始着色网络进行收敛，得到预设着色网络，包括：
基于损失值以及初始预测着色样本对初始着色网络进行收敛，得到预设着色网络。
其中，该着色预测子网络可以类似着色网络中的第6～9个卷积层，却并未使用自适应的实例正则化算法，而是使用实例正则化算法，该着色预测子网络的输出可以用于提高模型训练过程中的稳定性从而解决梯度消失问题，提高着色的准确性。
在一些实施例中，着色网络中的每层残差块可以由多个卷积核构成，且每个残差块中包括由实例正则化(Instance Normalization)以及激活函数(Rectified LinearUnit，ReLU)构成的Conv-Batchnorm-ReLU组合，从而加速模型训练的稳定性，使得收敛过程更加快速。
在一些实施例中，着色网络中可以包括最大池化层(Max Pooling)，用于降低图像的分辨率。
(3)采用预设着色信息提取网络提取网络根据用户线描样本提取初始的用户着色样本的着色信息。
其中，预设着色信息提取网络可以类似于着色信息提取网络。
具体过程可以参考步骤103，在此不做赘述。
(4)采用预设着色调整网络基于着色信息对预设的目标着色样本进行着色调整处理，得到最终的目标着色样本。
其中，预设着色调整网络可以类似于着色调整网络。
具体过程可以参考步骤104，在此不做赘述。
(5)采用预设判别网络判别最终的目标着色样本的图像类型，以及最终的目标着色样本与目标样本之间的图像相似度。
参考图2e，图2e所示的预设判别网络，其作用类似于损失函数，可以便于训练模型直至图像处理模型收敛，从而使得着色的准确度，以及着色的风格的准确度进一步提升。
预设判别网络可以根据目标线描样本的标注，以及预设着色调整网络输出的目标着色样本来判断该目标着色样本是否与目标线描样本相同，即，该预设判别网络可以输出图像相似度。
比如，若该目标着色样本与目标线描样本相同，则输出1，否则，输出0。
此外，在一些实施例中，预设判别网络可以根据目标线描样本的标注，以及预设着色调整网络输出的目标着色样本来确定该目标着色样本所属的分镜镜头类型。
(6)基于图像类型、标识相似度对预设模型进行模型收敛处理，得到图像处理模型。
由上可知，本发明实施例可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；根据用户线描图像提取用户着色图像的着色信息；基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色，再根据用户着色图像来进一步调整着色，最终得到与用户着色图像着色风格相同的目标着色图像。本方案可以高效、自动地进行图像着色，且无需人工控制，由此，本方案可以提升图像处理方法的效率。
为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。
比如，在本实施例中，将以图像处理装置具体集成在终端中为例，对本发明实施例的方法进行详细说明。
例如，如图3a所示，该图像处理装置可以包括获取单元301、着色单元302、提取单元303以及调整单元304，如下：
(一)获取单元301。
获取单元301可以获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像。
参考图3b在一些实施例中，获取单元301可以包括获取子单元3011、分类子单元3012、确定子单元3013以及线描化子单元3014，如下：
(1)获取子单元3011。
获取子单元3011可以用于获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像。
(2)分类子单元3012。
分类子单元3012可以用于对图像序列中的图像进行分镜镜头分类处理，得到目标视频中多个分镜镜头类型对应的图像组。
在一些实施例中，分类子单元3012可以用于：
获取预设的分类阈值；
对图像序列中的图像进行颜色统计处理，得到图像的颜色统计信息；
基于图像的颜色统计信息，计算图像序列中图像两两之间的颜色差值；
当颜色差值低于分类阈值时，将图像归为同一分镜镜头类型。
(3)确定子单元3013。
确定子单元3013可以用于在图像组中确定目标图像，以及参考图像，其中，目标图像和参考图像均属于同一分镜镜头类型。
(4)线描化子单元3014。
线描化子单元3014可以用于对目标图像、参考图像进行线描化处理，得到目标图像对应的待上色的目标线描图像，以及参考图像对应的参考线描图像。
(二)着色单元302。
着色单元302可以用于基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
参考图3c，在一些实施例中，着色单元302可以包括提取子单元3021、相似度子单元3022以及着色子单元3023，如下：
(1)提取子单元3021。
提取子单元3021可以用于分别提取参考图像、参考线描图像以及待上色的目标线描图像的图像特征。
在一些实施例中，图像特征可以包括高维图像特征和低维图像特征，提取子单元3021可以用于：
分别提取参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征；
(2)相似度子单元3022。
相似度子单元3022可以用于根据参考线描图像以及目标线描图像的图像特征确定参考线描图像和目标线描图像之间的图像相似度。
在一些实施例中，相似度子单元3022可以用于：
对参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到目标线描图像的图像着色特征；
根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定参考线描图像和目标线描图像之间的图像相似度。
(3)着色子单元3023。
着色子单元3023可以用于基于参考图像和图像相似度，对待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
(三)提取单元303，用于根据用户线描图像提取用户着色图像的着色信息。
在一些实施例中，提取单元303可以用于：
采用着色卷积核对用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
对低分辨率用户着色图像进行降维处理，得到用户着色图像的着色信息。
(四)调整单元304，用于基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
参考图3d，在一些实施例中，调整单元304可以包括下采样子单元3041、调整子单元3042以及上采样子单元3043，如下：
(1)下采样子单元3041。
下采样子单元3041可以用于对目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像。
在一些实施例中，下采样子单元3041具体可以用于：
对目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像；
(2)调整子单元3042。
调整子单元3042可以用于采用正则残差块对着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像。
(3)上采样子单元3043。
上采样子单元3043可以用于对融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像。
在一些实施例中，上采样子单元3043具体可以用于：
对融合后的低分辨率目标着色图像进行上采样处理，得到多个高分辨率目标着色图像；
将低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
在一些实施例中，图像处理方法可以还包括模型单元和模型图像处理单元，如下：
模型单元可以用于获取图像处理模型，图像处理模型包括着色网络、着色信息提取网络、着色调整网络，图像处理模型由训练样本训练而成。
模型图像处理单元可以用于采用图像处理模型基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据用户线描图像提取用户着色图像的着色信息，以及基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
在一些实施例中，模型单元可以包括训练子单元、着色处理子单元、着色信息子单元、调整子单元、判别子单元以及收敛子单元，如下：
(1)训练子单元。
训练子单元可以用于获取预设模型和训练样本，预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、预设判别网络，训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本。
(2)着色处理子单元。
着色处理子单元可以用于采用预设着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的预设着色样本。
在一些实施例中，预设模型可以包括初始着色网络，着色处理子单元还可以用于：
采用初始着色网络基于参考样本、参考线描样本对目标线描样本进行着色处理，得到初始的初始着色样本；
计算初始的初始着色样本和目标样本之间的损失值；
基于损失值对初始着色网络进行收敛，得到预设着色网络。
(3)着色信息子单元。
着色信息子单元可以用于采用预设着色信息提取网络提取网络根据用户线描样本提取初始的用户着色样本的着色信息。
(4)调整子单元。
调整子单元可以用于采用预设着色调整网络基于着色信息对预设的目标着色样本进行着色调整处理，得到最终的目标着色样本。
(5)判别子单元。
判别子单元可以用于采用预设判别网络判别最终的目标着色样本的图像类型，以及最终的目标着色样本与目标样本之间的图像相似度。
(6)收敛子单元。
收敛子单元可以用于基于图像类型、标识相似度对预设模型进行模型收敛处理，得到图像处理模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本方案可以由获取单元获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；由着色单元基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；由提取单元根据用户线描图像提取用户着色图像的着色信息；由调整单元基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。，由此，本方案可以提升图像处理方法的效率。
本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。
在本实施例中，将以本实施例的电子设备是终端为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的终端的结构示意图，具体来讲：
该终端可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
终端还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该终端还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该终端还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，终端可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出，终端还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
根据用户线描图像提取用户着色图像的着色信息；
基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本方案可以提升图像处理方法的效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
根据用户线描图像提取用户着色图像的着色信息；
基于着色信息对初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种图像处理方法，其特征在于，包括：
获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
根据所述用户线描图像提取所述用户着色图像的着色信息；
基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图，包括：
获取目标视频的图像序列、用户指定的用户线描图像和用户着色图像；
对所述图像序列中的图像进行分镜镜头分类处理，得到所述目标视频中多个分镜镜头类型对应的图像组；
在所述图像组中确定目标图像，以及参考图像，其中，所述目标图像和参考图像均属于同一分镜镜头类型；
对所述目标图像、参考图像进行线描化处理，得到所述目标图像对应的待上色的目标线描图像，以及所述参考图像对应的参考线描图像。
3.如权利要求2所述的图像处理方法，其特征在于，对所述图像序列中的图像进行分镜镜头分类处理，得到所述目标视频中多个分镜镜头类型对应的图像组，包括：
获取预设的分类阈值；
对所述图像序列中的图像进行颜色统计处理，得到所述图像的颜色统计信息；
基于所述图像的颜色统计信息，计算所述图像序列中图像两两之间的颜色差值；
当所述颜色差值低于所述分类阈值时，将所述图像归为同一分镜镜头类型。
4.如权利要求1所述的图像处理方法，其特征在于，基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像，包括：
分别提取所述参考图像、参考线描图像以及待上色的目标线描图像的图像特征；
根据所述参考线描图像以及目标线描图像的图像特征确定所述参考线描图像和目标线描图像之间的图像相似度；
基于所述参考图像和图像相似度，对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像。
5.如权利要求4所述的图像处理方法，其特征在于，所述图像特征包括高维图像特征和低维图像特征，分别提取所述参考图像、参考线描图像以及待上色的目标线描图像的图像特征，包括：
分别提取所述参考图像、参考线描图像以及待上色的目标线描图像的高维图像特征和低维图像特征；
根据所述参考线描图像以及目标线描图像的图像特征确定所述参考线描图像和目标线描图像之间的图像相似度，包括：
对所述参考线描图像以及目标线描图像的高维图像特征进行特征匹配分析，得到所述目标线描图像的图像着色特征；
根据高维图像特征和低维图像特征，以及目标线描图像的图像着色特征确定所述参考线描图像和目标线描图像之间的图像相似度。
6.如权利要求1所述的图像处理方法，其特征在于，基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像，包括：
对所述目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像；
采用正则残差块对所述着色信息、低分辨率目标线描图像、低分辨率目标着色图像进行着色调整处理，得到融合后的低分辨率目标着色图像；
对所述融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像。
7.如权利要求6所述的图像处理方法，其特征在于，对所述目标线描图像以及初始的目标着色图像进行下采样处理，得到低分辨率目标线描图像以及低分辨率目标着色图像，包括：
对所述目标线描图像以及初始的目标着色图像进行多级下采样处理，得到多个低分辨率目标线描图像，以及多个低分辨率目标着色图像；
所述对所述融合后的低分辨率目标着色图像进行上采样处理，得到最终的目标着色图像，包括：
对所述融合后的低分辨率目标着色图像进行上采样处理，得到多个高分辨率目标着色图像；
将所述低分辨率目标着色图像和高分辨率目标着色图像进行两两图像融合，得到最终的目标着色图像。
8.如权利要求1所述的图像处理方法，其特征在于，根据所述用户线描图像提取所述用户着色图像的着色信息，包括：
采用着色卷积核对所述用户线描图像以及用户着色图像进行下采样处理，得到低分辨率用户着色图像；
对所述低分辨率用户着色图像进行降维处理，得到所述用户着色图像的着色信息。
9.如权利要求1所述的图像处理方法，其特征在于，如权利要求1所述的图像处理方法，其特征在于，还包括：
获取图像处理模型，所述图像处理模型包括着色网络、着色信息提取网络、着色调整网络，所述图像处理模型由训练样本训练而成；
采用所述图像处理模型基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像，并根据所述用户线描图像提取所述用户着色图像的着色信息，以及基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
10.如权利要求9所述的图像处理方法，其特征在于，所述获取图像处理模型，包括：
获取预设模型和训练样本，所述预设模型包括预设着色网络、预设着色信息提取网络、预设着色调整网络、预设判别网络，所述训练样本包括目标样本、目标线描样本、参考样本、参考线描样本、用户着色样本、用户线描样本；
采用预设着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的预设着色样本；
采用预设着色信息提取网络提取网络根据所述用户线描样本提取所述初始的用户着色样本的着色信息；
采用预设着色调整网络基于所述着色信息对所述预设的目标着色样本进行着色调整处理，得到最终的目标着色样本；
采用预设判别网络判别所述最终的目标着色样本的图像类型，以及所述最终的目标着色样本与目标样本之间的图像相似度；
基于所述图像类型、标识相似度对所述预设模型进行模型收敛处理，得到图像处理模型。
11.如权利要求10所述的图像处理方法，其特征在于，所述预设模型包括初始着色网络，采用预设着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的预设着色样本之前，还包括：
采用所述初始着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的初始着色样本；
计算所述初始的初始着色样本和目标样本之间的损失值；
基于所述损失值对所述初始着色网络进行收敛，得到预设着色网络。
12.如权利要求11所述的图像处理方法，其特征在于，所述初始着色网络包括着色预测子网络，所述采用所述初始着色网络基于所述参考样本、参考线描样本对所述目标线描样本进行着色处理，得到初始的初始着色样本，还包括：
采用所述着色预测子网络基于所述参考样本、参考线描样本预测所述目标线描样本的初始预测着色样本；
所述基于所述损失值对所述初始着色网络进行收敛，得到预设着色网络，包括：
基于所述损失值以及初始预测着色样本对所述初始着色网络进行收敛，得到预设着色网络。
13.一种图像处理装置，其特征在于，包括：
获取单元，用于获取用户指定的用户线描图像、用户着色图像，以及，获取待上色的目标线描图像、参考图像、参考线描图像；
着色单元，用于基于所述参考图像、参考线描图像对所述待上色的目标线描图像进行着色处理，得到初始的目标着色图像；
提取单元，用于根据所述用户线描图像提取所述用户着色图像的着色信息；
调整单元，用于基于所述着色信息对所述初始的目标着色图像进行着色调整处理，得到最终的目标着色图像。
14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～12任一项所述的图像处理方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～12任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911257463.5A CN111080746B (zh) | 2019-12-10 | 图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911257463.5A CN111080746B (zh) | 2019-12-10 | 图像处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111080746A true CN111080746A (zh) | 2020-04-28 |
| CN111080746B CN111080746B (zh) | 2024-04-26 |
Family
ID=
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738186A (zh) * | 2020-06-28 | 2020-10-02 | 香港中文大学（深圳） | 目标定位方法、装置、电子设备及可读存储介质 |
| CN111862250A (zh) * | 2020-06-12 | 2020-10-30 | 北京百度网讯科技有限公司 | 视频的色彩转换方法、装置、电子设备及存储介质 |
| CN113411550A (zh) * | 2020-10-29 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频上色方法、装置、设备及存储介质 |
| CN115937356A (zh) * | 2022-04-25 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1604142A (zh) * | 2003-07-14 | 2005-04-06 | 三星电子株式会社 | 基于图像的着色和编辑方法及装置 |
| CN101814190A (zh) * | 2010-04-28 | 2010-08-25 | 邹玉杰 | 一种动画制作系统和方法 |
| CN104424652A (zh) * | 2013-09-06 | 2015-03-18 | 英特尔公司 | 用于缩减对于检索纹理图像的存取的技术 |
| CN104504734A (zh) * | 2014-09-16 | 2015-04-08 | 浙江工业大学 | 一种基于语义的图像颜色传输方法 |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN108492348A (zh) * | 2018-03-30 | 2018-09-04 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN108615252A (zh) * | 2018-05-03 | 2018-10-02 | 苏州大学 | 基于参考图像的线稿上色模型的训练方法以及装置 |
| CN108830913A (zh) * | 2018-05-25 | 2018-11-16 | 大连理工大学 | 基于用户颜色引导的语义级别线稿上色方法 |
| CN109147003A (zh) * | 2018-08-01 | 2019-01-04 | 北京东方畅享科技有限公司 | 对线稿图像进行上色的方法、设备以及存储介质 |
| CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技（深圳）有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
| US20190272645A1 (en) * | 2018-03-01 | 2019-09-05 | Honda Motor Co., Ltd. | Systems and methods for performing instance segmentation |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1604142A (zh) * | 2003-07-14 | 2005-04-06 | 三星电子株式会社 | 基于图像的着色和编辑方法及装置 |
| CN101814190A (zh) * | 2010-04-28 | 2010-08-25 | 邹玉杰 | 一种动画制作系统和方法 |
| CN104424652A (zh) * | 2013-09-06 | 2015-03-18 | 英特尔公司 | 用于缩减对于检索纹理图像的存取的技术 |
| CN104504734A (zh) * | 2014-09-16 | 2015-04-08 | 浙江工业大学 | 一种基于语义的图像颜色传输方法 |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| US20190272645A1 (en) * | 2018-03-01 | 2019-09-05 | Honda Motor Co., Ltd. | Systems and methods for performing instance segmentation |
| CN108492348A (zh) * | 2018-03-30 | 2018-09-04 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN108615252A (zh) * | 2018-05-03 | 2018-10-02 | 苏州大学 | 基于参考图像的线稿上色模型的训练方法以及装置 |
| CN108830913A (zh) * | 2018-05-25 | 2018-11-16 | 大连理工大学 | 基于用户颜色引导的语义级别线稿上色方法 |
| CN109147003A (zh) * | 2018-08-01 | 2019-01-04 | 北京东方畅享科技有限公司 | 对线稿图像进行上色的方法、设备以及存储介质 |
| CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技（深圳）有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862250A (zh) * | 2020-06-12 | 2020-10-30 | 北京百度网讯科技有限公司 | 视频的色彩转换方法、装置、电子设备及存储介质 |
| CN111862250B (zh) * | 2020-06-12 | 2023-07-21 | 北京百度网讯科技有限公司 | 视频的色彩转换方法、装置、电子设备及存储介质 |
| CN111738186A (zh) * | 2020-06-28 | 2020-10-02 | 香港中文大学（深圳） | 目标定位方法、装置、电子设备及可读存储介质 |
| CN111738186B (zh) * | 2020-06-28 | 2024-02-02 | 香港中文大学（深圳） | 目标定位方法、装置、电子设备及可读存储介质 |
| CN113411550A (zh) * | 2020-10-29 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频上色方法、装置、设备及存储介质 |
| CN115937356A (zh) * | 2022-04-25 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
| WO2023207779A1 (zh) * | 2022-04-25 | 2023-11-02 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11798132B2 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| US20210350504A1 (en) | Aesthetics-guided image enhancement | |
| CN107025457B (zh) | 一种图像处理方法和装置 | |
| CN111354079A (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| CN111738243B (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| CN111709497B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| KR20210074360A (ko) | 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체 | |
| CN110555896B (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN112132197A (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
| CN108463823A (zh) | 一种用户头发模型的重建方法、装置及终端 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN114821404B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| WO2023151529A1 (zh) | 人脸图像的处理方法及相关设备 | |
| CN108492301A (zh) | 一种场景分割方法、终端及存储介质 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
| CN114783022B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN114973349A (zh) | 面部图像处理方法和面部图像处理模型的训练方法 | |
| EP4345771A1 (en) | Information processing method and apparatus, and computer device and storage medium | |
| CN110163049A (zh) | 一种人脸属性预测方法、装置及存储介质 | |
| CN111080746B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN113128277A (zh) | 一种人脸关键点检测模型的生成方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |