CN111179361A - 一种基于深度学习的黑白影像自动着色方法 - Google Patents

一种基于深度学习的黑白影像自动着色方法 Download PDF

Info

Publication number
CN111179361A
CN111179361A CN201910234202.5A CN201910234202A CN111179361A CN 111179361 A CN111179361 A CN 111179361A CN 201910234202 A CN201910234202 A CN 201910234202A CN 111179361 A CN111179361 A CN 111179361A
Authority
CN
China
Prior art keywords
image
training
neural network
color
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910234202.5A
Other languages
English (en)
Other versions
CN111179361B (zh
Inventor
黄昊明
全英汇
李郁青
陈少宏
周文浩
吕烜威
史孟鑫
袁铭泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910234202.5A priority Critical patent/CN111179361B/zh
Publication of CN111179361A publication Critical patent/CN111179361A/zh
Application granted granted Critical
Publication of CN111179361B publication Critical patent/CN111179361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的黑白影像自动着色方法，包括建立图片训练集、建立卷积神经网络训练网、卷积神经网络处理图像和着色结果修正。本发明的有益效果是：该基于深度学习的黑白影像自动着色方法通过对损失函数进行优化，增强了损失函数的鲁棒性，使得着色图片更加饱和，进一步增强图片着色后的对比度和清晰度，并且本发明借助自制的中国彩色电影数据集，我们有效地解决了在ImageNet数据集上训练时所遇到的泛红等问题，最终呈现出较好的效果。

Description

一种基于深度学习的黑白影像自动着色方法
技术领域
本发明涉及深度学习影像技术领域，具体为一种基于深度学习的黑白影像自动着色方法。
背景技术
随着科学技术的发展及时代的进步，目前较为流行的基于深度学习的着色方法，主要有两种：用户引导着色、数据驱动的自动着色，最初的用户引导着色技术是由Levin等人在2004年开创的，用户通过彩色画笔在灰度图像中进行引导性着色，随后优化算法会生成符合用户逻辑的着色结果，而数据驱动的自动着色研究重点为灰度图的自动着色，利用数据驱动对图像进行着色。
现有的用户引导着色方法在着色过程中仍然需要进行人机交互，无法完全实现智能化，并且存在效率低下等诸多弊端，并且现有的数据驱动的自动着色方法用的ImageNet数据集在训练过程中，数据集内大多为室外场景的图像，对于室内场景进行着色时，效果较差，容易出现整张图片泛红的情况、数据集过于庞大，其中一些数据，例如猫狗的照片对于训练网络并没有帮助，且训练起来对硬件和时间成本要求较高及数据集中图片分辨率不统一，对于提高网络的泛化能力有一定帮助，但对于专注于某一类别图像的神经网络来说，作用并不明显，并且容易增大学习误差，同时，损失函数对于着色问题的固有的模糊性还有多模态性不是很鲁棒，存在不足。
发明内容
本发明的目的在于提供一种基于深度学习的黑白影像自动着色方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的黑白影像自动着色方法，包括建立图片训练集、建立卷积神经网络训练网、卷积神经网络处理图像和着色结果修正。
优选的，所述建立图片训练集：用于将训练图原图转换到HSV空间，并使图中S的通道值保持不变，通过修改图中H与V的通道值，依次产生和该训练图相对应的不同配色、不同明度的生成图，再将原图与生成图集中成一组图像训练数据，并将其分辨率统一为640*480。
优选的，所述建立卷积神经网络训练网：将导入图像从RGB空间转换到LAB空间，在此基础上，使L通道里的信息保持不变，而AB两个通道的内容进行如下的特殊变换：
将AB通道的输出空间以10为步长量化为Q＝310的类，对于给定的输入K，学习一个颜色概率分布
Figure BDA0002007640250000021
的映射
Figure BDA0002007640250000022
之后，使用多分类交叉熵作为损失函数。
优选的，所述卷积神经网络处理图像:将导入图像与目标图像进行抽取色卡的操作，并对导入图像与目标图像上的点进行随机采样。然后，将导入图像、导入图像的采样、导入图像的色卡作为卷积神经网络的输入，将生成的结果通过一个卷积层产生新的L通道和AB通道里的信息，并将生成图像的通道合并制成新图像，把新图像与目标图像的色卡、目标图像的采样进行对比，计算误差，再将其放入回馈网络进行训练，直至误差足够小时停止。
优选的，所述着色结果修正：在指定区域，指定其灰度图上一个点，在调色板上对该点及其周围颜色进行更换，神经网络依据颜色更换提示再次对图像变色，重复以上步骤，直至满意时停止。
与现有技术相比，具备以下有益效果：通过对损失函数进行优化，增强了损失函数的鲁棒性，使得着色图片更加饱和，进一步增强图片着色后的对比度和清晰度，并且本发明借助自制的中国彩色电影数据集，我们有效地解决了在ImageNet数据集上训练时所遇到的泛红等问题，最终呈现出较好的效果，同时，本发明除了传统的卷积层，我们在其中添加了Inception-ResNet-V2架构，且该架构由Inception模块和残差网共同组成，有效的提高了网络对图像特征提取的效率。
附图说明
图1为本发明一种基于深度学习的黑白影像自动着色方法的卷积神经网络结构示意图；
图2为本发明一种基于深度学习的黑白影像自动着色方法的处理流程示意图；
图3为本发明一种基于深度学习的黑白影像自动着色方法的着色效果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种基于深度学习的黑白影像自动着色方法，包括建立图片训练集、建立卷积神经网络训练网、卷积神经网络处理图像和着色结果修正。
实施例
建立图片训练集：用于将训练图原图转换到HSV空间，并使图中S的通道值保持不变，通过修改图中H与V的通道值，依次产生和该训练图相对应的不同配色、不同明度的生成图，再将原图与生成图集中成一组图像训练数据。通过上述操作，得到由一张图生成的不同类型的训练集，并将其分辨率统一为640*480，具体步骤：对于任何一张训练图，该部分会生成多张不同配色、不同明度的目标图，每一张目标图和与其对应的训练图形成一对训练数据。为了使着色结果更加自然，该部分将图像从RGB空间转换到HSV空间，由于H表达了图像的色调，通过修改H的值，得到不同色相较为自然的配色；V表达了图像的明度，通过修改V的值，得到明度不同的较为自然的图像，建立卷积神经网络训练网：将导入图像从RGB空间转换到LAB空间，在此基础上，使L通道里的信息保持不变，而AB两个通道的内容进行如下的特殊变换：
将AB通道的输出空间以10为步长量化为Q＝310的类，对于给定的输入K，学习一个颜色概率分布
Figure BDA0002007640250000041
的映射
Figure BDA0002007640250000042
之后，使用多分类交叉熵作为损失函数，卷积神经网络处理图像:在上述处理完毕后，将导入图像与目标图像进行抽取色卡的操作，并对导入图像与目标图像上的点进行随机采样。然后，将导入图像、导入图像的采样、导入图像的色卡作为卷积神经网络的输入，将生成的结果通过一个卷积层产生新的L通道和AB通道里的信息，并将生成图像的通道合并制成新图像。把新图像与目标图像的色卡、目标图像的采样进行对比，计算误差，再将其放入回馈网络进行训练，直至误差足够小时停止，着色结果修正：在指定区域，指定其灰度图上一个点，在调色板上对该点及其周围颜色进行更换，神经网络依据颜色更换提示再次对图像变色。重复以上步骤，直至满意时停止。
本实施例的工作原理：该基于深度学习的黑白影像自动着色方法，首先通过工作人员将训练图原图转换到HSV空间，并使图中S的通道值保持不变，通过修改图中H与V的通道值，依次产生和该训练图相对应的不同配色、不同明度的生成图，再将原图与生成图集中成一组图像训练数据，并将其分辨率统一为640*480，随后，将导入的训练图像从RGB空间转换到LAB空间，然后使L通道里的信息保持不变，然后，将导入图像与目标图像进行抽取色卡的操作，并对导入图像与目标图像上的点进行随机采样，再将导入图像、导入图像的采样、导入图像的色卡作为卷积神经网络的输入，将生成的结果通过一个卷积层产生新的L通道和AB通道里的信息，并将生成图像的通道合并制成新图像。把新图像与目标图像的色卡、目标图像的采样进行对比，计算误差，再将其放入回馈网络进行训练，训练过程中将反复对训练集中的训练图像进行多次训练，直至生成的着色图像与真实的着色图像之间误差足够小时停止，最后，在指定区域内，指定其灰度图上一个点，在调色板上对该点及其周围颜色进行更正，神经网络依据颜色更正提示再次对图像变色，重复以上步骤，直至满意时停止。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本明的保护范围之内。

Claims (5)

1.一种基于深度学习的黑白影像自动着色方法，其特征在于，包括建立图片训练集、建立卷积神经网络训练网、卷积神经网络处理图像和着色结果修正。
2.根据权利要求1所述的一种基于深度学习的黑白影像自动着色方法，其特征在于：所述建立图片训练集：用于将训练图原图转换到HSV空间，并使图中S的通道值保持不变，通过修改图中H与V的通道值，依次产生和该训练图相对应的不同配色、不同明度的生成图，再将原图与生成图集中成一组图像训练数据，并将其分辨率统一为640*480。
3.根据权利要求1所述的一种基于深度学习的黑白影像自动着色方法，其特征在于：所述建立卷积神经网络训练网：将导入图像从RGB空间转换到LAB空间，在此基础上，使L通道里的信息保持不变，而AB两个通道的内容进行如下的特殊变换：
将AB通道的输出空间以10为步长量化为Q＝310的类，对于给定的输入K，学习一个颜色概率分布
Figure FDA0002007640240000011
的映射
Figure FDA0002007640240000012
之后，使用多分类交叉熵作为损失函数。
4.根据权利要求1所述的一种基于深度学习的黑白影像自动着色方法，其特征在于：所述卷积神经网络处理图像:将导入图像与目标图像进行抽取色卡的操作，并对导入图像与目标图像上的点进行随机采样。然后，将导入图像、导入图像的采样、导入图像的色卡作为卷积神经网络的输入，将生成的结果通过一个卷积层产生新的L通道和AB通道里的信息，并将生成图像的通道合并制成新图像，把新图像与目标图像的色卡、目标图像的采样进行对比，计算误差，再将其放入回馈网络进行训练，直至误差足够小时停止。
5.根据权利要求1所述的一种基于深度学习的黑白影像自动着色方法，其特征在于：所述着色结果修正：在指定区域，指定其灰度图上一个点，在调色板上对该点及其周围颜色进行更换，神经网络依据颜色更换提示再次对图像变色，重复以上步骤，直至满意时停止。
CN201910234202.5A 2019-03-26 2019-03-26 一种基于深度学习的黑白影像自动着色方法 Active CN111179361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910234202.5A CN111179361B (zh) 2019-03-26 2019-03-26 一种基于深度学习的黑白影像自动着色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910234202.5A CN111179361B (zh) 2019-03-26 2019-03-26 一种基于深度学习的黑白影像自动着色方法

Publications (2)

Publication Number Publication Date
CN111179361A true CN111179361A (zh) 2020-05-19
CN111179361B CN111179361B (zh) 2023-05-12

Family

ID=70651867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910234202.5A Active CN111179361B (zh) 2019-03-26 2019-03-26 一种基于深度学习的黑白影像自动着色方法

Country Status (1)

Country Link
CN (1) CN111179361B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822951A (zh) * 2021-06-25 2021-12-21 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855996A (zh) * 2016-12-13 2017-06-16 中山大学 一种基于卷积神经网络的灰阶图像着色方法及其装置
AU2018101313A4 (en) * 2018-09-07 2018-10-11 Gao, Jiafan Mr Image recognition of dangerous tools based on deep learning
CN108830912A (zh) * 2018-05-04 2018-11-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855996A (zh) * 2016-12-13 2017-06-16 中山大学 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN108830912A (zh) * 2018-05-04 2018-11-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
AU2018101313A4 (en) * 2018-09-07 2018-10-11 Gao, Jiafan Mr Image recognition of dangerous tools based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娜;秦品乐;曾建潮;李启;: "基于密集神经网络的灰度图像着色算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822951A (zh) * 2021-06-25 2021-12-21 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN113822951B (zh) * 2021-06-25 2023-05-30 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111179361B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110223359B (zh) 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
CN110232661B (zh) 基于Retinex和卷积神经网络的低光照彩色图像增强方法
CN106778995B (zh) 一种与图像融合的艺术化二维码生成方法及装置
CN103593830B (zh) 一种低照度视频图像增强方法
CN107016415B (zh) 一种基于全卷积网络的彩色图像色彩语义分类方法
CN108921932B (zh) 基于卷积神经网络的黑白人物图片生成多种合理着色方法
CN112991493B (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
US10417772B2 (en) Process to isolate object of interest in image
US20210334578A1 (en) Image processing device and operation method therefor
CN111164563B (zh) 一种智能终端的图像色彩调节系统及色彩调节方法
CN109389607A (zh) 基于全卷积神经网络的舰船目标分割方法、系统及介质
CN115311555A (zh) 一种基于批风格混合的遥感影像建筑物提取模型泛化方法
JP2021189527A5 (zh)
CN111179361A (zh) 一种基于深度学习的黑白影像自动着色方法
CN113052768A (zh) 一种处理图像的方法、终端及计算机可读存储介质
CN109102457B (zh) 一种基于卷积神经网络的智能化变色系统及方法
JP2003198861A (ja) カラー文書画像を二値化する方法及び装置
CN112215781A (zh) 一种改进的局部二值化方法
CN107221019B (zh) 图表转换方法及装置
CN116091918A (zh) 一种基于数据增强的土地利用分类方法及系统
CN114820822A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN115937427A (zh) 从照片生成3d模型过程中皮肤色度的自动优化方法
CN106682717B (zh) 一种半色调二维码的生成方法和系统
TW202023262A (zh) 攝像模組之檢測方法
KR20220097255A (ko) 이미지 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant