CN109754444A - 图像着色方法和装置 - Google Patents

图像着色方法和装置 Download PDF

Info

Publication number
CN109754444A
CN109754444A CN201810123237.7A CN201810123237A CN109754444A CN 109754444 A CN109754444 A CN 109754444A CN 201810123237 A CN201810123237 A CN 201810123237A CN 109754444 A CN109754444 A CN 109754444A
Authority
CN
China
Prior art keywords
image
gray level
facial
character
level image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810123237.7A
Other languages
English (en)
Other versions
CN109754444B (zh
Inventor
杜康宁
邹祥祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810123237.7A priority Critical patent/CN109754444B/zh
Priority to US16/339,592 priority patent/US11334973B2/en
Priority to PCT/CN2018/105438 priority patent/WO2019153741A1/zh
Priority to EP18859977.3A priority patent/EP3751505A4/en
Publication of CN109754444A publication Critical patent/CN109754444A/zh
Application granted granted Critical
Publication of CN109754444B publication Critical patent/CN109754444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

本发明公开了一种图像着色方法及装置，属于图像处理技术领域。所述图像着色方法包括：获取待着色的灰度图像；对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；将所述灰度图像和所述色彩信息合成为彩色图像。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，着色得到的彩色图像更贴近真实图像，效果好。

Description

图像着色方法和装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像着色方法和装置。
背景技术
随着移动互联网的发展，人们对图像视觉效果的要求也越来越高。例如，日常生活中用户要求照片更加清晰，色彩更加真实。然而由于技术原因，年代较为久远的照片大多为黑白照片，黑白照片的视觉效果很难与彩色照片相比，所以需要将黑白照片转换为彩色照片。
随着深度学习技术的发展，采用神经网络模型进行黑白照片的着色，成为将黑白照片转换为彩色照片的有效手段。然而，目前采用神经网络模型进行着色得到的彩色照片的效果与真实照片相差较大，效果比较差，同时处理速度较慢。
发明内容
为了解决现有技术中采用神经网络模型进行黑白照片的着色，得到的彩色照片的效果与真实照片相差较大，效果比较差的问题，本发明实施例提供了一种图像着色方法和装置。所述技术方案如下：
第一方面，本发明实施例提供了一种图像着色方法，所述图像着色方法包括：
获取待着色的灰度图像；
对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；
将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；
将所述灰度图像和所述色彩信息合成为彩色图像。
在本发明实施例的一种实现方式中，所述对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像，包括：
检测所述灰度图像中人脸的数量和大小；
当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；
当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
在本发明实施例的另一种实现方式中，所述将所述灰度图像和所述色彩信息合成为彩色图像，包括：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
在本发明实施例的另一种实现方式中，所述图像着色方法还包括：
通过深度学习技术训练所述人脸图像着色模型和所述人物图像着色模型。
在本发明实施例的另一种实现方式中，所述通过深度学习技术训练所述人脸图像着色模型，包括：
获取人脸图像样本；
将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
在本发明实施例的另一种实现方式中，所述通过深度学习技术训练所述人脸图像着色模型，还包括：
在将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
在本发明实施例的另一种实现方式中，所述对所述人脸图像样本中的每一张人脸图像进行标准化，包括：
对所述人脸图像中的人脸进行关键点定位；
按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
在本发明实施例的另一种实现方式中，所述人脸图像样本中的人脸图像为同一人种的人脸图像。
在本发明实施例的另一种实现方式中，所述通过深度学习技术训练所述人物图像着色模型，包括：
获取人物图像样本；
将所述人物图像样本中的每一张人物图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；
选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；
采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
第二方面，本发明实施例还提供了一种图像着色装置，所述图像着色装置包括：
获取模块，用于获取待着色的灰度图像；
分类模块，用于对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；
处理模块，用于将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；
合成模块，用于将所述灰度图像和所述色彩信息合成为彩色图像。
在本发明实施例的一种实现方式中，所述分类模块，用于：
检测所述灰度图像中人脸的数量和大小；
当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；
当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
在本发明实施例的另一种实现方式中，所述合成模块，用于：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
在本发明实施例的另一种实现方式中，所述图像着色装置还包括：
训练模块，用于训练所述人脸图像着色模型和所述人物图像着色模型。
在本发明实施例的另一种实现方式中，所述训练模块，用于：
将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
在本发明实施例的另一种实现方式中，所述训练模块，还用于：
在将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
在本发明实施例的另一种实现方式中，所述训练模块，用于：
对所述人脸图像中的人脸进行关键点定位；
按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
在本发明实施例的另一种实现方式中，所述人脸图像样本中的人脸图像为同一人种的人脸图像。
在本发明实施例的另一种实现方式中，所述训练模块，用于：
获取人物图像样本；
将所述人物图像样本中的每一张人物图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；
选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；
采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
在本发明实施例的另一种实现方式中，所述设定值的取值范围为1-5。
本发明实施例提供的技术方案带来的有益效果是：
在本发明实施例中，通过将待着色的灰度图像分类，然后分别输入到不同的着色模型，得到对应的色彩信息，将灰度图像和色彩信息合成为彩色图像，完成人物图像着色。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，各个着色模型只需要采用对应分类的样本进行训练，降低了模型的复杂度，使得模型准确度高，从而加快了模型的训练速度以及后续灰度图像的着色速度，另外，着色得到的彩色图像更贴近真实图像，效果好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像着色方法的流程图；
图2是本发明实施例提供的另一种图像着色方法的流程图；
图3是本发明实施例提供的人脸图像着色模型训练方法流程图；
图4是本发明实施例提供的人物图像着色模型训练方法流程图；
图5是本发明实施例提供的一种图像着色装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种图像着色方法的流程图，参见图1，所述图像着色方法包括：
步骤101：获取待着色的灰度图像。
本发明实施例中的灰度图像可以是黑白照片对应的图像，也可以是其他方式生成的灰度图像，对此不做限制。
步骤102：对所述灰度图像进行分类，确定所述灰度图像的类型。
具体地，可以根据灰度图像中的主体进行分类，例如图像中主体为人脸，则可以分类为人脸图像，图像中主体为人，则可以分类为人物图像，图像中主体为建筑，则可以分类为建筑图像等。由于黑白照片中多为人脸图像和人物图像，且用户对于人脸图像和人物图像的着色需求最大，故本申请的灰度图像着色方案针对人脸图像和人物图像。
步骤103：将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息。
当所述灰度图像为人脸图像时，将所述灰度图像输入到基于神经网络的人脸图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人物图像时，将所述灰度图像输入到基于神经网络的人物图像着色模型中，得到所述灰度图像中各个像素的色彩信息。
通过对灰度图像进行分类，使得不同类型的灰度图像可以采用不同的基于神经网络的图像着色模型进行处理，从而使得在进行模型训练时，每个模型只需要针对一个类型的图像样本进行训练，模型准确度更高，复杂度更低，在进行着色时，处理速度更快。
步骤104：将所述灰度图像和所述色彩信息合成为彩色图像。
本申请中采用的模型可以根据输入的灰度图像生成图像中每个像素对应的色彩信息，在获得这些彩色信息后，只需要将灰度图像的每个像素的灰度值与色彩信息合成即可得到彩色图像，过程简单。
在本发明实施例中，通过将待着色的灰度图像分类，然后分别输入到不同的着色模型，得到对应的色彩信息，将灰度图像和色彩信息合成为彩色图像，完成人物图像着色。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，各个着色模型只需要采用对应分类的样本进行训练，降低了模型的复杂度，使得模型准确度高，从而加快了模型的训练速度以及后续灰度图像的着色速度，另外，着色得到的彩色图像更贴近真实图像，效果好。
图2是本发明实施例提供的另一种图像着色方法的流程图，参见图2，所述图像着色方法包括：
步骤200：通过深度学习技术训练所述人脸图像着色模型和所述人物图像着色模型。
采用深度学习技术事先训练人脸图像着色模型和人物图像着色模型，为后续灰度图像着色提供模型。
本申请中所采用的深度学习技术可以为深度卷积生成对抗网络(DeepConvolutional Generative Adversarial Networks，DCGAN)，在进行训练前需要事先定义模型，也即定义神经网络的输入、输出以及网络结构，本申请中模型的输入为灰度图像，输出为色彩信息。
图3是本发明实施例提供的人脸图像着色模型训练方法流程图，参见图3，所述通过深度学习技术训练所述人脸图像着色模型，可以包括：
步骤211、获取人脸图像样本；步骤212、将所述人脸图像样本中的每一张人脸图像由红(Red，R)绿(Green，G)蓝(Blue，B)颜色模型图像转换为LAB颜色模型图像；步骤213、采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
其中，人脸图像是指人脸的数量为1，且人脸的大小(具体为所占的比例)超过设定值(例如50％)的图像，除人脸图像外的其他包含人脸的图像则定义为人物图像。
在上述训练过程中，首先将人脸图像由RGB颜色模型图像转换为LAB颜色模型图像，在LAB颜色模型图像中L通道与灰度图像的单通道一致，而AB通道表示图像的色彩信息。故灰度图像着色的问题可以转化为由L通道作为输入得到AB通道作为输出的问题。采用深度卷积生成对抗网络对LAB颜色模型图像进行训练，可以得到由L通道的数据生成AB通道的数据的模型，即人脸图像着色模型。使用常用的深度卷积生成对抗网络训练即可获得效果较好的模型，此模型在色彩的丰富程度上较低，且仅适用于人脸图像的着色。
其中，L表示亮度(Luminosity)，与灰度图像中的灰度相同，A表示从洋红色至绿色的范围，B表示从黄色至蓝色的范围。
可选地，所述通过深度学习技术训练所述人脸图像着色模型，还包括：
在将所述人脸图像样本中的每一张人脸图像由RGB颜色模型图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
由于人脸图像着色模型是采用深度卷积生成对抗网络训练得到的，而深度卷积生成对抗网络对数据十分敏感。为了简化模型的训练过程，加快训练收敛的速度，可以对人脸图像进行标准化处理，保证相同特征在相同的位置，同时仅仅截取包含人脸的较小图像区域。
进一步地，所述对所述人脸图像样本中的每一张人脸图像进行标准化，包括：对所述人脸图像中的人脸进行关键点定位；按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
通过该标准化过程，保证不同样本中相同特征在相同的位置，同时仅仅截取包含人脸的较小图像区域，保证样本图像复杂度较低，人脸图像的训练过程较为简单，从而保证训练得到的模型的精确度。
其中，人脸图像中的关键点可以包括双眼、鼻尖、嘴角等，定位时，例如可以将鼻尖的设定位置定义在图像的正中心的一个区域内，同时保证其他关键点位于设定的对应区域。然后，对所述人脸图像进行尺寸标准化，使得人脸图像样本中的每一张人脸图像的尺寸相同。
其中，所述人脸图像样本中的人脸图像为同一人种的人脸图像。每个人种分别训练一个着色模型，然后在后续人脸图像着色过程中对不同人种的黑白照片使用不同的模型，着色精度更高。具体在后续着色时，可以获取用户输入指令，根据用户输入指令选取对应人种的着色模型，进行灰度图像的着色。
图4是本发明实施例提供的人物图像着色模型训练方法流程图，参见图4，所述通过深度学习技术训练所述人物图像着色模型，包括：
步骤221、获取人物图像样本；步骤222、将所述人物图像样本中的每一张人物图像由RGB颜色模型图像转换为LAB颜色模型图像；步骤223、采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；步骤224、选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；步骤225、采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
首先将人物图像由RGB颜色模型图像转换为LAB颜色模型图像，在LAB颜色模型图像中L通道与灰度图像的单通道一致，而AB通道表示图像的色彩信息。故灰度图像着色的问题可以转化为由L通道作为输入得到AB通道作为输出的问题。采用深度卷积生成对抗网络对LAB颜色模型图像进行训练，可以得到由L通道的数据生成AB通道的数据的模型，即初次训练模型，由于训练样本是在非受控环境下采集的，复杂度较高，模型训练时间较长且收敛较慢，训练后的模型合成的彩色特征由训练样本决定，因而通常得到的是色彩十分丰富的模型。然而采用这种模型着色的图像在视觉上和真实图像存在较大的差异，即颜色过于丰富。在此基础上，为了得到接近与真实的彩色图像，本发明采用控制训练样本特征的方法，例如减少样本中的颜色类型，重新筛选样本，将保留的图像作为新的训练样本继续对模型进行训练，也即从训练样本中筛选出一部分颜色相对统一且符合需要的图像继续训练模型，由于训练样本由颜色复杂的样本变为颜色统一的样本，模型更容易收敛。
进一步地，在上述训练过程中，还可以选取具有相同特征的图像进行训练，例如选取相同性别、相同年龄段、相同服饰类型的人物图像进行训练，简化样本的复杂度。
进一步地，在本发明实施例中，在训练人物着色模型时，也可以先对每张人物图像进行标准化处理，即，所述通过深度学习技术训练所述人物图像着色模型，还包括：在将所述人物图像样本中的每一张人物图像由RGB颜色模型图像转换为LAB颜色模型图像之前，对所述人物图像样本中的每一张人物图像进行标准化。具体处理过程与人脸图像的标准化类似，不同的是关键点的选取、设定位置以及图像尺寸的设置。使得人物图像能够保留更多的区域，例如上半身的衣物，背景场景等。
其中，所述人物图像样本中的人物图像为同一人种的人物图像。每个人种分别训练一个着色模型，然后在后续人物图像着色过程中对不同人种的黑白照片使用不同的模型，着色精度更高。
在本发明实施例中，在获取人脸图像样本和人物图像样本时，可以采用人脸检测技术从样本库中选取具有人脸的图像，然后采用步骤202的方式进行分类，形成人脸图像样本和人物图像样本。其中，人脸检测方法可以采用OPEN CV自带的人脸检测工具完成。
步骤201：获取待着色的灰度图像。
也即获取要着色的灰度图像，该灰度图像可以是黑白照片对应的图像，也可以是其他方式生成的灰度图像，对此不做限制。
步骤202：对所述灰度图像进行分类，确定所述灰度图像的类型。
由于黑白照片中多为人脸图像和人物图像，且用户对于人脸图像和人物图像的着色需求最大，故本申请的灰度图像着色方案针对人脸图像和人物图像。
在本发明实施例中，步骤202可以包括：根据所述灰度图像中的人脸的数量和大小，判断所述灰度图像为人脸图像或者人物图像。
其中，所述根据所述灰度图像中的人脸的数量和大小，判断所述灰度图像为人脸图像或者人物图像，包括：检测所述灰度图像中人脸的数量和大小；当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
由于人脸图像中通常仅包含一张人脸，且要求人脸占比超过一定的比例，所以通过检测图像中人脸的数量和大小，即可确定待着色的灰度图像是人脸图像，还是人物图像。
步骤203：将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息。
当所述灰度图像为人脸图像时，将所述灰度图像输入到基于神经网络的人脸图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人物图像时，将所述灰度图像输入到基于神经网络的人物图像着色模型中，得到所述灰度图像中各个像素的色彩信息。
在步骤202和步骤203中，将灰度图像分为人脸图像和人物图像进行处理，人脸图像和人物图像是较为常见的黑白照片的图像，着色需求大；同时，由于人脸图像和人物图像中人脸占比不同，导致整体颜色以及轮廓差别很大，所以采用两种着色模型进行着色，降低了模型的复杂度，使得着色得到的彩色图像更贴近真实图像。
步骤204：将所述灰度图像和所述色彩信息合成为彩色图像。
在本发明实施例中，步骤204可以包括：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
将所述LAB颜色模型图像转换为RGB颜色模型图像。
采用AB通道数据作为着色模型输出的色彩信息，再将该色彩信息和灰度图像合成为LAB颜色模型图像，再将LAB颜色模型图像转换为RGB颜色模型图像，从而方便合成的彩色图像的显示和存储等。
具体地，色彩信息包括灰度图像中每个像素的A通道和B通道数值，将灰度图像的各个像素的灰度值与各个像素的A通道和B通道数值合成，从而得到LAB颜色模型图像。
图5是本发明实施例提供的一种图像着色装置的结构示意图，该装置用于执行图1-图4所示的图像着色方法，参见图5，所述图像着色装置包括：获取模块301、分类模块302、处理模块303和合成模块304。
其中，获取模块301，用于获取待着色的灰度图像；分类模块302，用于对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；处理模块303，用于将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；合成模块304，用于将所述灰度图像和所述色彩信息合成为彩色图像。
在本发明实施例中，通过将待着色的灰度图像分类，然后分别输入到不同的着色模型，得到对应的色彩信息，将灰度图像和色彩信息合成为彩色图像，完成人物图像着色。由于不同类型的灰度图像的整体颜色以及轮廓差别很大，所以采用不同的着色模型进行着色，各个着色模型只需要采用对应分类的样本进行训练，降低了模型的复杂度，使得模型准确度高，从而加快了模型的训练速度以及后续灰度图像的着色速度，另外，着色得到的彩色图像更贴近真实图像，效果好。
在本发明实施例中，所述分类模块302，用于根据所述灰度图像中的人脸的数量和大小，判断所述灰度图像为人脸图像或者人物图像；
相应地，所述处理模块303，用于当所述灰度图像为人脸图像时，将所述灰度图像输入到人脸图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人物图像时，将所述灰度图像输入到人物图像着色模型中，得到所述灰度图像中各个像素的色彩信息。
在上述过程中，所述分类模块302，用于检测所述灰度图像中人脸的数量和大小；当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
在本发明实施例中，所述合成模块304，用于将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；将所述LAB颜色模型图像转换为RGB颜色模型图像。
可选地，所述图像着色装置还可以包括：训练模块305，用于训练所述人脸图像着色模型和所述人物图像着色模型。
在训练人脸图像着色模型时，所述训练模块305，用于将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像；采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
进一步地，所述训练模块305，还用于在将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
具体地，所述训练模块305，用于对所述人脸图像中的人脸进行关键点定位；
按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
其中，所述人脸图像样本中的人脸图像可以为同一人种的人脸图像。
在训练人物图像着色模型时，所述训练模块305，用于获取人物图像样本；将所述人物图像样本中的每一张人物图像转换为LAB颜色模型图像；采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
需要说明的是：上述实施例提供的图像着色装置在图像着色时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像着色装置与图像着色方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种图像着色方法，其特征在于，所述图像着色方法包括：
获取待着色的灰度图像；
对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；
将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；
将所述灰度图像和所述色彩信息合成为彩色图像。
2.根据权利要求1所述的图像着色方法，其特征在于，所述对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像，包括：
检测所述灰度图像中人脸的数量和大小；
当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；
当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
3.根据权利要求1或2所述的图像着色方法，其特征在于，所述将所述灰度图像和所述色彩信息合成为彩色图像，包括：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
4.根据权利要求1或2所述的图像着色方法，其特征在于，所述图像着色方法还包括：
通过深度学习技术训练所述人脸图像着色模型和所述人物图像着色模型。
5.根据权利要求4所述的图像着色方法，其特征在于，所述通过深度学习技术训练所述人脸图像着色模型，包括：
获取人脸图像样本；
将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
6.根据权利要求5所述的图像着色方法，其特征在于，所述通过深度学习技术训练所述人脸图像着色模型，还包括：
在将所述人脸图像样本中的每一张人脸图像由红绿蓝颜色模型图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
7.根据权利要求6所述的图像着色方法，其特征在于，所述对所述人脸图像样本中的每一张人脸图像进行标准化，包括：
对所述人脸图像中的人脸进行关键点定位；
按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
8.根据权利要求5所述的图像着色方法，其特征在于，所述人脸图像样本中的人脸图像为同一人种的人脸图像。
9.根据权利要求4所述的图像着色方法，其特征在于，所述通过深度学习技术训练所述人物图像着色模型，包括：
获取人物图像样本；
将所述人物图像样本中的每一张人物图像由红绿蓝颜色模型图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；
选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；
采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
10.一种图像着色装置，其特征在于，所述图像着色装置包括：
获取模块，用于获取待着色的灰度图像；
分类模块，用于对所述灰度图像进行分类，确定所述灰度图像的类型为人脸图像或者人物图像；
处理模块，用于将所述灰度图像输入到与所述灰度图像的类型对应的基于神经网络的图像着色模型中，得到所述灰度图像中各个像素的色彩信息；当所述灰度图像为人脸图像时，所述图像着色模型为人脸图像着色模型，当所述灰度图像为人物图像时，所述图像着色模型为人物图像着色模型；
合成模块，用于将所述灰度图像和所述色彩信息合成为彩色图像。
11.根据权利要求10所述的图像着色装置，其特征在于，所述分类模块，用于：
检测所述灰度图像中人脸的数量和大小；
当所述灰度图像中仅存在一个人脸且所述人脸在所述灰度图像中所占比例的大小超过设定值时，判断所述灰度图像为人脸图像；
当所述灰度图像中存在至少两个人脸，或者所述人脸在所述灰度图像中所占比例的大小未超过设定值时，判断所述灰度图像为人物图像。
12.根据权利要求10或11所述的图像着色装置，其特征在于，所述合成模块，用于：
将所述灰度图像和所述色彩信息合成为LAB颜色模型图像；
将所述LAB颜色模型图像转换为红绿蓝颜色模型图像。
13.根据权利要求10或11所述的图像着色装置，其特征在于，所述图像着色装置还包括：
训练模块，用于训练所述人脸图像着色模型和所述人物图像着色模型。
14.根据权利要求13所述的图像着色装置，其特征在于，所述训练模块，用于：
将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到所述人脸图像着色模型。
15.根据权利要求14所述的图像着色装置，其特征在于，所述训练模块，还用于：
在将所述人脸图像样本中的每一张人脸图像转换为LAB颜色模型图像之前，对所述人脸图像样本中的每一张人脸图像进行标准化。
16.根据权利要求15所述的图像着色装置，其特征在于，所述训练模块，用于：
对所述人脸图像中的人脸进行关键点定位；
按照所述关键点的位置对所述人脸图像进行尺寸标准化，使得在标准化后的所述人脸图像中所述关键点位于设定位置。
17.根据权利要求14所述的图像着色装置，其特征在于，所述人脸图像样本中的人脸图像为同一人种的人脸图像。
18.根据权利要求13所述的图像着色装置，其特征在于，所述训练模块，用于：
获取人物图像样本；
将所述人物图像样本中的每一张人物图像转换为LAB颜色模型图像；
采用转换得到的所有的LAB颜色模型图像对深度卷积生成对抗网络进行训练，得到初次训练模型；
选择所述人物图像样本中的第一人物图像，组成再次训练样本，所述第一人物图像中第一像素的比例处于第一范围内，所述第一像素为设定颜色分量的值处于第二范围内的像素；
采用所述再次训练样本，对所述初次训练模型再次训练，得到所述人物图像着色模型。
CN201810123237.7A 2018-02-07 2018-02-07 图像着色方法和装置 Active CN109754444B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810123237.7A CN109754444B (zh) 2018-02-07 2018-02-07 图像着色方法和装置
US16/339,592 US11334973B2 (en) 2018-02-07 2018-09-13 Image colorizing method and device
PCT/CN2018/105438 WO2019153741A1 (zh) 2018-02-07 2018-09-13 图像着色方法和装置
EP18859977.3A EP3751505A4 (en) 2018-02-07 2018-09-13 METHOD AND DEVICE FOR COLORING IMAGES

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810123237.7A CN109754444B (zh) 2018-02-07 2018-02-07 图像着色方法和装置

Publications (2)

Publication Number Publication Date
CN109754444A true CN109754444A (zh) 2019-05-14
CN109754444B CN109754444B (zh) 2021-10-26

Family

ID=66402325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810123237.7A Active CN109754444B (zh) 2018-02-07 2018-02-07 图像着色方法和装置

Country Status (4)

Country Link
US (1) US11334973B2 (zh)
EP (1) EP3751505A4 (zh)
CN (1) CN109754444B (zh)
WO (1) WO2019153741A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335324A (zh) * 2019-05-22 2019-10-15 湖南大学 一种基于rgb三通道多路合成的灰度图像着色方法及系统
CN110533740A (zh) * 2019-07-31 2019-12-03 成都旷视金智科技有限公司 一种图像着色方法、装置、系统及存储介质
CN111654721A (zh) * 2020-04-17 2020-09-11 北京奇艺世纪科技有限公司 视频处理方法、系统、电子设备及存储介质
CN112330790A (zh) * 2020-11-20 2021-02-05 东北大学 基于对抗学习与自适应色度修正的ct图像自动着色方法
WO2023138441A1 (zh) * 2022-01-19 2023-07-27 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433508B (zh) * 2023-03-16 2023-10-27 湖北大学 一种基于Swin-Unet的灰度图像着色校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667299A (zh) * 2009-09-27 2010-03-10 汲业 一种数字图像染色方法
US20100245928A1 (en) * 2009-03-31 2010-09-30 Xerox Corporation Methods of watermarking documents
CN102547063A (zh) * 2012-02-08 2012-07-04 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
CN106339680A (zh) * 2016-08-25 2017-01-18 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106980873A (zh) * 2017-03-09 2017-07-25 南京理工大学 基于深度学习的锦鲤筛选方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611622B1 (en) 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN103489161A (zh) 2013-09-12 2014-01-01 南京邮电大学 一种灰度图像彩色化方法及装置
CN103839079B (zh) 2014-03-18 2017-03-01 浙江师范大学 一种基于分类学习的相似图像彩色化处理方法
TW201702937A (zh) 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置
CN106855996B (zh) 2016-12-13 2020-01-03 中山大学 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN107437081A (zh) 2017-08-07 2017-12-05 北京中星微电子有限公司 基于深度卷神经网络的人脸识别方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245928A1 (en) * 2009-03-31 2010-09-30 Xerox Corporation Methods of watermarking documents
CN101667299A (zh) * 2009-09-27 2010-03-10 汲业 一种数字图像染色方法
CN102547063A (zh) * 2012-02-08 2012-07-04 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
CN106339680A (zh) * 2016-08-25 2017-01-18 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106980873A (zh) * 2017-03-09 2017-07-25 南京理工大学 基于深度学习的锦鲤筛选方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG, WEN-ZHUN等: "A Novel Face Recognition Algorithm based on the Deep Convolution Neural Network and Key Points Detection Jointed Local Binary Pattern Methodology", 《JOURNAL OF ELECTRICAL ENGINEERING & TECHNOLOGY》 *
罗育宏: "基于相似图像的颜色复原", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335324A (zh) * 2019-05-22 2019-10-15 湖南大学 一种基于rgb三通道多路合成的灰度图像着色方法及系统
CN110533740A (zh) * 2019-07-31 2019-12-03 成都旷视金智科技有限公司 一种图像着色方法、装置、系统及存储介质
CN111654721A (zh) * 2020-04-17 2020-09-11 北京奇艺世纪科技有限公司 视频处理方法、系统、电子设备及存储介质
CN112330790A (zh) * 2020-11-20 2021-02-05 东北大学 基于对抗学习与自适应色度修正的ct图像自动着色方法
CN112330790B (zh) * 2020-11-20 2024-02-02 东北大学 基于对抗学习与自适应色度修正的ct图像自动着色方法
WO2023138441A1 (zh) * 2022-01-19 2023-07-27 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2019153741A1 (zh) 2019-08-15
EP3751505A1 (en) 2020-12-16
CN109754444B (zh) 2021-10-26
US20210366087A1 (en) 2021-11-25
US11334973B2 (en) 2022-05-17
EP3751505A4 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
CN109754444A (zh) 图像着色方法和装置
CN106469302B (zh) 一种基于人工神经网络的人脸肤质检测方法
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
KR102195922B1 (ko) 인터넷에 기반하는 얼굴 미화 시스템
CN105741328B (zh) 基于视觉感知的拍摄图像质量评价方法
CN106101561A (zh) 摄像头对焦检测方法及装置
CN107330455A (zh) 图像评价方法
CN103093437B (zh) 生成铅笔画风格图像的方法及装置
CN109584153A (zh) 修饰眼部的方法、装置和系统
WO2021098486A1 (zh) 衣物颜色识别的处理方法、装置、设备及存储介质
CN105869580A (zh) 色温调节方法及装置、背光源、显示设备
CN109920012A (zh) 基于卷积神经网络的图像着色系统及方法
CN101425179A (zh) 一种人脸图像重光照的方法及装置
CN108564526A (zh) 一种图像处理方法、装置、电子设备及介质
CN106780635A (zh) 一种智能终端的图片适配方法及系统
CN109242775A (zh) 一种属性信息迁移方法、装置、设备以及可读存储介质
CN110363720A (zh) 一种图像的色彩增强方法、装置、设备和存储介质
CN108921932A (zh) 一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法
CN110177287A (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN109919030A (zh) 黑眼圈类型识别方法、装置、计算机设备和存储介质
EP1849375A2 (en) Make-up color image classification system and make-up color image map
CN106599185B (zh) 基于hsv的图像相似度识别方法
CN109064431A (zh) 一种图片亮度调节方法、设备及其存储介质
CN108540722A (zh) 控制摄像头拍摄的方法、装置及计算机可读存储介质
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant