CN111354058A - 一种图像着色方法、装置、图像采集设备及可读存储介质 - Google Patents
一种图像着色方法、装置、图像采集设备及可读存储介质 Download PDFInfo
- Publication number
- CN111354058A CN111354058A CN202010080048.3A CN202010080048A CN111354058A CN 111354058 A CN111354058 A CN 111354058A CN 202010080048 A CN202010080048 A CN 202010080048A CN 111354058 A CN111354058 A CN 111354058A
- Authority
- CN
- China
- Prior art keywords
- coloring
- image
- result
- color
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 365
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000009877 rendering Methods 0.000 claims description 55
- 238000005457 optimization Methods 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 230000007306 turnover Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 238000004042 decolorization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像着色方法、装置、图像采集设备及可读存储介质。该方法应用于具有包括黑白相机和彩色相机的多摄像头相机系统的目标图像采集设备，该方法包括：获取黑白相机拍摄得到的黑白图像和彩色相机拍摄得到的彩色图像；将黑白图像和彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对黑白图像进行着色得到的目标图像；其中，着色模型是基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的。与现有技术相比，应用本发明实施例提供的方案，能够实现对具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄得到的黑白图像进行着色。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像着色方法、装置、图像采集设备及可读存储介质。
背景技术
当前，包括黑白相机和彩色相机的多摄像头相机系统被越来越广泛地应用于各类图像采集设备中，例如，手机、平板电脑等。
其中，在一次拍摄过程中，黑白相机和彩色相机同时对图像采集设备镜头所捕捉的同一拍摄对象进行拍摄，分别得到关于该同一拍摄对象的黑白图像和彩色图像。并且，由于黑白相机和彩色相机是固定安装在上述各类图像采集设备中的预设位置处的，因此，黑白相机和彩色相机之间存在预设角度关系，这样，在上述拍摄过程中，所得到的黑白图像和彩色图像也就是黑白相机和采集相机按照该预设角度关系拍摄的。也就是说，在一次拍摄过程中可以得到包括黑白图像和彩色图像的一对图像，并且，该黑白图像和彩色图像是按照预设角度关系，同时对同一拍摄对象进行拍摄得到的。
通常，在上述多摄像头相机系统中，黑白相机和彩色相机为不同的光学设备，而由于黑白相机所拍摄得到的黑白图像的纹理信息更清晰，因此，黑白相机具有更好的成像质量，即黑白相机所拍摄得到的黑白图像的图像质量好于彩色相机所拍摄得到的彩色图像。
基于此，为了提高上述多摄像头相机系统的成像质量，在相关技术中，可以对黑白相机所拍摄得到的黑白图像进行着色，以得到在黑白图像清晰的纹理信息的基础上所生成的更高质量的彩色图像。
其中，相关技术中对上述黑白图像进行着色的方法为：利用简笔画彩色图像作为参考图像来对输入的黑白图像进行着色，即以简笔画彩色图像为指导，将各种颜色传播到整个黑白图像中。
然而，在上述相关技术中，简笔画彩色图像是由用户提供的，而在具有上述多摄像头相机系统的各类图像采集设备中，是不存在用户所提供的简笔画彩色图像的，因此，当前亟需一种能够对具有上述多摄像头相机系统的各类图像采集设备拍摄得到的黑白图像进行着色的方法。
发明内容
本发明实施例的目的在于提供一种图像着色方法、装置、图像采集设备和计算机可读存储介质，以实现对具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄得到的黑白图像进行着色。
具体技术方案如下：
第一方面，本发明实施例提供了一种图像着色方法，应用于具有多摄像头相机系统的目标图像采集设备，所述多摄像头相机系统包括黑白相机和彩色相机；所述方法包括：
获取所述黑白相机拍摄得到的黑白图像和所述彩色相机拍摄得到的彩色图像；其中，所述黑白图像和所述彩色图像是：所述黑白相机和所述彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
将所述黑白图像和所述彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对所述黑白图像进行着色得到的目标图像；
其中，所述着色模型是：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有所述多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，所述第二次着色结果为：所述初始着色模型基于水平翻转后的所述第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，所述第一次着色结果为：所述初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，所述去色结果为：对所述彩色样本图像进行去色得到的结果。
可选的，一种具体实现方式中，所述着色模型的训练方式包括：
获取多对样本图像；
将每对样本图像输入到所述初始着色模型中，得到所述初始着色模型基于该对样本图像中的彩色样本图像对该对样本图像中的黑白样本图像进行着色得到的结果，作为该对样本图像的第一次着色结果；
对每对样本图像中的彩色样本图像进行去色，得到该彩色样本图像的去色结果，作为该对样本图像的去色结果；
对每对样本图像的第一次着色结果和去色结果进行水平翻转，并将水平翻转后的第一次着色结果和水平翻转后的去色结果输入到所述初始着色模型中，得到所述初始着色模型基于该水平翻转后的第一次着色结果对该水平翻转后的去色结果进行着色得到的结果，作为该对样本图像的第二次着色结果，对该第二次着色结果进行水平翻转，得到该对样本图像的水平翻转后的第二次着色结果；
基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果，对所述初始着色模型进行训练，当满足预设完成条件时，停止训练，得到训练完成的着色模型。
可选的，一种具体实现方式中，所述预设完成条件为：所述初始着色模型的预设损失函数的损失值小于预设损失值。
可选的，一种具体实现方式中，所述预设损失函数为：
L＝λ1Lstructure+λ2Lcycle+λ3Lsmooth
其中，L为所述损失函数，λ1、λ2和λ3分别为Lstructure、Lcycle和Lsmooth的预设权重，Lcycle为循环一致性损失，用于表征每对样本图像中，彩色样本图像与该对样本图像的第二次着色结果的颜色相似性；Lstructure为结构相似性损失，用于表征每对样本图像中，黑白样本图像和该对样本图像的第一次着色结果的结构相似性；Lsmooth为空间平滑损失，用于表征每对样本图像的第二次着色结果中像素点颜色平滑程度。
可选的，一种具体实现方式中，每对样本图像的彩色样本图像的色彩空间为YcbCr色彩空间；其中，Y为亮度、Cb为蓝色色度、Cr为红色色度；所述预设损失函数中的Lstructure、Lcycle和Lsmooth分别如下所示：
其中，SSIM为结构相似性指标；
为每对样本图像的彩色样本图像的Cb分量值；
为该对样本图像的水平翻转后的第二次着色结果的Cb分量值，
为每对样本图像中的彩色样本图像的Cr分量值，
为该对样本图像的水平翻转后的第二次着色结果的Cr分量值；
其中，μ表征计算平均值；DSSM为图像结构相似性：
为每对样本图像的黑白样本图像的Y分量值；
为该对样本图像的第一次着色结果的Y分量值；
其中，N为归一化因子，
(j,i,k)为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j,i,k)的像素点；(j',i',k')为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j',i',k')的像素点；Ω(j,i,k)为三维空间中像素点(j,i,k)的6个相邻像素点的集合；Wj,i,k为像素点(j,i,k)的权重；Wj',i',k'为像素点(j',i',k')的权重；(j',i',k')∈Ω(j,i,k)表征像素点(j',i',k')属于集合Ω(j,i,k)。
可选的，一种具体实现方式中，所述初始着色模型由多个深度残差网络构成，每个深度残差网络具有多个卷积层；其中，所述多个深度残差网络中，除最后一层卷积层外之外的其他卷积层具有相同的网络结构。
可选的，一种具体实现方式中，所述方法还包括：
将所述色彩图像和所述目标图像输入到预设的色彩优化模型中，得到所述色彩优化模型的输出结果，作为对所述黑白图像进行着色得到的最终图像；
其中，所述色彩优化模型是：基于每对样本图像中的黑白样本图像的Y分量值，以及该对样本图像的第一次着色结果的Cb分量值和Cr分量值对预设的初始优化模型训练得到的。
第二方面，本发明实施例提供了一种图像着色装置，应用于具有多摄像头相机系统的目标图像采集设备，所述多摄像头相机系统包括黑白相机和彩色相机；所述装置包括：
图像获取模块，用于获取所述黑白相机拍摄得到的黑白图像和所述彩色相机拍摄得到的彩色图像；其中，所述黑白图像和所述彩色图像是：所述黑白相机和所述彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
图像获得模块，用于将所述黑白图像和所述彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对所述黑白图像进行着色得到的目标图像；
其中，所述着色模型是：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有所述多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，所述第二次着色结果为：所述初始着色模型基于水平翻转后的所述第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，所述第一次着色结果为：所述初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，所述去色结果为：对所述彩色样本图像进行去色得到的结果。
可选的，一种具体实现方式中，所述装置还包括用于训练所述着色模型的模型训练模块，所述模型训练模块包括：
图像获取子模块，用于获取多对样本图像；
第一着色子模块，用于将每对样本图像输入到所述初始着色模型中，得到所述初始着色模型基于该对样本图像中的彩色样本图像对该对样本图像中的黑白样本图像进行着色得到的结果，作为该对样本图像的第一次着色结果；
去色子模块，用于对每对样本图像中的彩色样本图像进行去色，得到该彩色样本图像的去色结果，作为该对样本图像的去色结果；
第二着色子模块，用于对每对样本图像的第一次着色结果和去色结果进行水平翻转，并将水平翻转后的第一次着色结果和水平翻转后的去色结果输入到所述初始着色模型中，得到所述初始着色模型基于该水平翻转后的第一次着色结果对该水平翻转后的去色结果进行着色得到的结果，作为该对样本图像的第二次着色结果，对该第二次着色结果进行水平翻转，得到该对样本图像的水平翻转后的第二次着色结果；
模型训练子模块，用于基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果，对所述初始着色模型进行训练，当满足预设完成条件时，停止训练，得到训练完成的着色模型。
可选的，一种具体实现方式中，所述预设完成条件为：所述初始着色模型的预设损失函数的损失值小于预设损失值。
可选的，一种具体实现方式中，所述预设损失函数为：
L＝λ1Lstructure+λ2Lcycle+λ3Lsmooth
其中，L为所述损失函数，λ1、λ2和λ3分别为Lstructure、Lcycle和Lsmooth的预设权重，Lcycle为循环一致性损失，用于表征每对样本图像中，彩色样本图像与该对样本图像的第二次着色结果的颜色相似性；Lstructure为结构相似性损失，用于表征每对样本图像中，黑白样本图像和该对样本图像的第一次着色结果的结构相似性；Lsmooth为空间平滑损失，用于表征每对样本图像的第二次着色结果中像素点颜色平滑程度。
可选的，一种具体实现方式中，每对样本图像的彩色样本图像的色彩空间为YcbCr色彩空间；其中，Y为亮度、Cb为蓝色色度、Cr为红色色度；所述预设损失函数中的Lstructure、Lcycle和Lsmooth分别如下所示：
其中，SSIM为结构相似性指标；
为每对样本图像的彩色样本图像的Cb分量值；
为该对样本图像的水平翻转后的第二次着色结果的Cb分量值，
为每对样本图像中的彩色样本图像的Cr分量值，
为该对样本图像的水平翻转后的第二次着色结果的Cr分量值；
其中，μ表征计算平均值；DSSM为图像结构相似性：
为每对样本图像的黑白样本图像的Y分量值；
为该对样本图像的第一次着色结果的Y分量值；
其中，N为归一化因子，
(j,i,k)为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j,i,k)的像素点；(j',i',k')为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j',i',k')的像素点；Ω(j,i,k)为三维空间中像素点(j,i,k)的6个相邻像素点的集合；Wj,i,k为像素点(j,i,k)的权重；Wj',i',k'为像素点(j',i',k')的权重；(j',i',k')∈Ω(j,i,k)表征像素点(j',i',k')属于集合Ω(j,i,k)。
可选的，一种具体实现方式中，所述初始着色模型由多个深度残差网络构成，每个深度残差网络具有多个卷积层；其中，所述多个深度残差网络中，除最后一层卷积层之外的其他卷积层具有相同的网络结构。
可选的，一种具体实现方式中，所述装置还包括：
色彩优化模块，用于将所述色彩图像和所述目标图像输入到预设的色彩优化模型中，得到所述色彩优化模型的输出结果，作为对所述黑白图像进行着色得到的最终图像；
其中，所述色彩优化模型是：基于每对样本图像中的黑白样本图像的Y分量值，以及该对样本图像的第一次着色结果的Cb分量值和Cr分量值对预设的初始优化模型训练得到的。
第三方面，本发明实施例提供了一种图像采集设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一种图像着色方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一种图像着色方法的步骤。
第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的任一种图像着色方法的步骤。
本发明实施例有益效果：
应用本发明实施例提供的方案，在对具有包括黑白相机和彩色相机的多摄像头相机系统拍摄得到的黑白图像进行着色时，可以直接将同时对同一对象拍摄得到的黑白图像和彩色图像输入到预设的着色模型中。这样，所得到的该着色模型的输出结果即为对该黑白图像进行着色得到的目标图像。显然，该目标图像即为：在上述黑白图像清晰的纹理信息的基础上所生成的相较于上述彩色图像质量更高的新的彩色图像。
其中，由于上述着色模型是基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的二次着色结果对预设的初始着色模型进行训练得到的，且每对样本图像包括：具有包括黑白相机和彩色相机的多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像；而二次着色结果是初始着色模型基于水平翻转后的第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，并且，第一次着色结果是初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，去色结果是对彩色样本图像进行去色得到的结果。也就是说，该着色模型是通过二次着色的方式，利用每对样本图像的黑白样本图像和彩色样本图像训练得到的，即针对每对样本图像，利用该对样本图像的彩色样本图像可以对该对样本图像的黑白样本图像进行着色，并得到更高质量的彩色图像。相应的，在本发明实施例提供的方案中，上述目标图像是该着色模型基于所输入的彩色图像，对所输入的黑白图像进行着色得到的相较于所输入的彩色图像质量更高的新的彩色图像。
显然，在本发明实施例提供的方案中，在对上述黑白图像进行着色时，不需要利用用户输入的简笔画彩色图像，而可以直接利用与该黑白图像同时拍摄得到的彩色图像实现对该黑白图像的着色，从而，实现对具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄得到的黑白图像进行着色。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像着色方法的流程示意图；
图2为本发明实施例提供的一种着色模型的训练方式的流程示意图；
图3为本发明实施例提供的一种图2中S202-S204的一种具体实施例的示意图；
图4为本发明实施例提供的一种循环一致性损失的示意图；
图5为本发明实施例提供的一种结构相似性损失的示意图；
图6为本发明实施例提供的另一种基于初始着色模型的图像着色方法的流程示意图；
图7为本发明实施例提供的一种色彩优化模型的训练示意图；
图8为本发明实施例提供的一种图像着色装置的结构示意图；
图9为本发明实施例提供的一种图像采集设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在相关技术中，对具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄得到的黑白图像进行着色的方法为：利用简笔画彩色图像作为参考图像来对输入的黑白图像进行着色，即以简笔画彩色图像为指导，将各种颜色传播到整个黑白图像中。然而，在上述相关技术中，简笔画彩色图像是由用户提供的，而在具有上述多摄像头相机系统的各类图像采集设备中，是不存在用户所提供的简笔画彩色图像的，因此，当前亟需一种能够对具有上述多摄像头相机系统的各类图像采集设备拍摄得到的黑白图像进行着色的方法。
为了解决上述技术问题，本发明实施例提供了一种图像着色方法。其中，该图像着色方法可以包括：
获取所述黑白相机拍摄得到的黑白图像和所述彩色相机拍摄得到的彩色图像；其中，所述黑白图像和所述彩色图像是：所述黑白相机和所述彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
将所述黑白图像和所述彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对所述黑白图像进行着色得到的目标图像；
其中，所述着色模型是：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有所述多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，所述第二次着色结果为：所述初始着色模型基于水平翻转后的所述第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，所述第一次着色结果为：所述初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，所述去色结果为：对所述彩色样本图像进行去色得到的结果。
需要说明的是，上述图像着色方法可以应用于具有多摄像头相机系统的目标图像采集设备，而该多摄像头相机系统包括黑白相机和彩色相机。也就是说，该目标图像采集设备可以为设置有包括黑白相机和彩色相机的多摄像头相机系统的任一类型的设备，例如，手机、平板电脑等。对此，本发明实施例不做具体限定，以下简称目标图像采集设备。
以上可见，应用本发明实施例提供的方案，在对具有包括黑白相机和彩色相机的多摄像头相机系统拍摄得到的黑白图像进行着色时，可以直接将同时对同一对象拍摄得到的黑白图像和彩色图像输入到预设的着色模型中。这样，所得到的该着色模型的输出结果即为对该黑白图像进行着色得到的目标图像。显然，该目标图像即为：在上述黑白图像清晰的纹理信息的基础上所生成的相较于上述彩色图像质量更高的新的彩色图像。
其中，由于上述着色模型是基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，且每对样本图像包括：具有包括黑白相机和彩色相机的多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像；而二次着色结果是初始着色模型基于水平翻转后的第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，并且，第一次着色结果是初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，去色结果是对彩色样本图像进行去色得到的结果。也就是说，该着色模型是通过二次着色的方式，利用每对样本图像的黑白样本图像和彩色样本图像训练得到的，即针对每对样本图像，利用该对样本图像的彩色样本图像可以对该对样本图像的黑白样本图像进行着色，并得到更高质量的彩色图像。相应的，在本发明实施例提供的方案中，上述目标图像是该着色模型基于所输入的彩色图像，对所输入的黑白图像进行着色得到的相较于所输入的彩色图像质量更高的新的彩色图像。
显然，在本发明实施例提供的方案中，在对上述黑白图像进行着色时，不需要利用用户输入的简笔画彩色图像，而可以直接利用与该黑白图像同时拍摄得到的彩色图像实现对该黑白图像的着色，从而，实现对具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄得到的黑白图像进行着色。
下面，对本发明实施例提供的一种图像着色方法进行具体说明。
图1为本发明实施例提供的一种基于初始着色模型的图像着色方法的流程示意图。如图1所示，该方法可以包括如下步骤：
S101：获取黑白相机拍摄得到的黑白图像和彩色相机拍摄得到的彩色图像；
其中，黑白图像和彩色图像是：黑白相机和彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
对于目标图像采集设备而言，在一次拍摄过程中，该目标图像采集设备所具有的多摄像头相机系统中的黑白相机和彩色相机可以同时对图像采集设备镜头所捕捉的同一拍摄对象进行拍摄，从而，分别得到关于该同一拍摄对象的黑白图像和彩色图像。并且，由于黑白相机和彩色相机是固定安装在目标图像采集设备中的预设位置处的，因此，上述黑白相机和彩色相机之间存在第一预设角度关系。这样，在上述拍摄过程中，所得到的黑白图像和彩色图像也就是黑白相机和采集相机按照该第一预设角度关系拍摄的。也就是说，在目标图像采集设备的一次拍摄过程中，可以得到黑白图像和彩色图像，且该黑白图像和彩色图像是按照该第一预设角度关系，同时对同一拍摄对象进行拍摄得到的。
基于此，在上述步骤S101中所获取的黑白图像和彩色图像，可以是：目标图像采集设备在当前时刻拍摄得到的；也可以是：目标图像采集设备在当前时刻之间拍摄并对应存储到本地或其他存储空间中的，进而，在执行上述步骤S101时，目标图像采集设备便可以从本地或其他存储空间中获取黑白图像和彩色图像；还可以是：其他具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄的，进而，在执行上述步骤S101时，目标图像采集设备便可以获取上述其他图像采集设备所拍摄的黑白图像和彩色图像。这都是合理的。
S102：将黑白图像和彩色图像输入到预设的着色模型中，得到着色模型的输出结果，作为对黑白图像进行着色得到的目标图像；
其中，着色模型是：基于每对样本图像的的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，第二次着色结果为：初始着色模型基于水平翻转后的第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，第一次着色结果为：初始着色模型基于彩色样本图像对黑白样本图像进行着色得到的结果，去色结果为：对彩色样本图像进行去色得到的结果。
这样，在获取到上述黑白图像和彩色图像之后，目标图像采集设备便可以将该黑白图像和彩色图像输入到预设的着色模型中，从而，该着色模型便可以基于该彩色图像对该黑白图像进行着色，并在着色完成后，输出着色结果，即目标图像采集设备便可以得到该着色模型的输出结果，并将该输出结果作为对上述黑白图像进行着色得到的目标图像。也就是说，该目标图像即为在上述黑白图像清晰的纹理信息的基础上所生成的相较于上述彩色图像质量更高的新的彩色图像。
其中，上述预设的着色模型可以是在目标图像采集设备本地训练得到的，也可以是在其他电子设备上训练完成后，目标图像采集设备从该其他电子设备处获得的。这都合理的，为了行文清晰，以下可以将用于训练该着色模型的电子设备统称为第一模型训练设备。
进一步的，在训练上述步骤S102中的着色模型时，所使用的每对样本图像中的黑白样本图像和彩色样本图像可以是：样本图像采集设备中的黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白图像和彩色图像；也可以是：在上述样本图像采集设备拍摄得到的黑白图像和彩色图像中，截取得到的黑白子图像和彩色子图像。其中，上述黑白子图像和彩色子图像的大小相同，且上述黑白子图像在上述样本图像采集设备拍摄得到的黑白图像中的位置坐标，与上述彩色子图像在上述样本图像采集设备拍摄得到的彩色图像中的位置坐标相同。也就是说，上述每对样本图像中的黑白样本图像和彩色样本图像的图像内容是相似的。
可选的，一种实施例中，样本图像采集设备中的黑白相机和彩色相机可以为型号为MVCAM-SU1000C相机的黑白版本和彩色版本。
这样，在训练上述步骤S102中的着色模型时，在得到多对样本图像后，针对每对样本图像，第一模型训练设备便可以得到该对样本图像的第一次着色结果和去色结果，从而，在将该第一次着色结果和去色结果翻转后，便可以再次利用翻转后的第一次着色结果和去色结果，得到该对样本图像的第二次着色结果。从而，对该第二次着色结果进行再次水平翻转，便可以利用每对样本图像的彩色样本图像、第一次作色结果水平翻转后的第二次着色结果对预设的初始着色模型进行训练，从而，在训练完成后，得到上述预设的着色模型。
可选的，一种具体实现方式中，如图2所示，上述着色模型的训练方式可以包括如下步骤：
S201：获取多对样本图像；
根据对上述步骤S102的说明，每对样本图像是基于具有多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，并且，每对样本图像中的黑白样本图像和彩色样本图像的图像内容是相似的。
S202：将每对样本图像输入到初始着色模型中，得到初始着色模型基于该对样本图像中的彩色样本图像对该对样本图像中的黑白样本图像进行着色得到的结果，作为该对样本图像的第一次着色结果；
S203：对每对样本图像中的彩色样本图像进行去色，得到该彩色样本图像的去色结果，作为该对样本图像的去色结果；
S204：对每对样本图像的第一次着色结果和去色结果进行水平翻转，并将水平翻转后的第一次着色结果和水平翻转后的去色结果输入到初始着色模型中，得到初始着色模型基于该水平翻转后的第一次着色结果对该水平翻转后的去色结果进行着色得到的结果，作为该对样本图像的第二次着色结果，对第二次着色结果进行水平翻转，得到该对样本图像的水平翻转后的第二次着色结果；
在获取到多对样本图像后，目标图像采集设备便可以针对每对样本图像，执行上述步骤S202-S204，具体的：
目标图像采集设备首先将该对样本图像中的黑白样本图像和彩色样本图像输入到初始着色模型中，进而，该初始着色模型便可以基于该彩色样本图像对该黑白样本图像进行着色，从而，得到该对样本图像的第一次着色结果。
然后，目标图像采集设备便可以对上述彩色样本图像进行去色，得到该彩色样本图像的去色结果，作为该对样本图像的去色结果；可以理解的，所谓对彩色样本图像进行去色是指将彩色样本图像转换为黑白图像，因此，该对样本图像的去色结果即为：将彩色样本图像进行黑白颜色转换所得到的黑白图像。
接着，目标图像采集设备便可以对该对样本图像的第一次着色结果和去色结果进行水平翻转，从而，得到水平翻转后的第一次着色结果和水平翻转后的去色结果。这样，目标图像采集设备便可以再次将水平翻转后的第一次着色结果和水平翻转后的去色结果输入到初始着色模型中，进而，初始着色模型便可以基于该水平翻转后的第一次着色结果对该水平翻转后的去色结果进行着色，从而，便可以得到该对样本图像的第二次着色结果。
显然，该第二次着色结果是利用第一次着色结果对原彩色样本图像的去色结果进行着色的结果。
其中，为了便于理解上述步骤S202-S204的过程，通过图3所示的一个具体实施例进行说明。如图3所示，黑白图像IG和彩色图像RC为一对样本图像中的黑白样本图像和彩色样本图像，着色模型M为训练过程的初始着色模型。
首先，将黑白图像IG和彩色图像RC输入到着色模型M中，从而，着色模型M利用彩色图像RC对黑白图像IG进行着色，得到该对样本图像的第一次着色结果IC。
接着，对第一次着色结果IC进行水平翻转，得到水平翻转后的第一次着色结果
；对彩色图像RC进行去色，并对去色结果进行水平翻转，得到水平翻转后的去色结果
。
然后，将水平翻转后的第一次着色结果
和水平翻转后的去色结果
再次输入到着色模型M中，从而，着色模型M利用水平翻转后的第一次着色结果
对水平翻转后的去色结果
进行着色，得到该对样本图像的第二次着色结果
。进而，对第二次着色结果
进行再次水平翻转，从而，得到水平翻转后的第二次着色结果R'C。
S205：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果，对初始着色模型进行训练，当满足预设完成条件时，停止训练，得到训练完成的着色模型。
在对每对样本图像执行上述步骤S202-S204后，便可以得到每对样本图像的第二次着色结果。进而，目标图像采集设备便可以基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果，对初始着色模型进行训练。
在训练过程中，初始着色模型便可以基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对自身的模型参数进行学习，从而，在检测到满足预设完成条件时，便可以停止训练，从而，得到训练完成的着色模型。
其中，可选的，一种具体实现方式中，上述预设完成条件可以是：训练过程的迭代次数达到预设次数。
可选的，另一种具体实现方式中，上述预设完成条件可以是：初始着色模型的预设损失函数的损失值小于预设损失值。
可选的，一种具体实现方式中，用于训练上述着色模型的初始着色模型由多个深度残差网络构成，每个深度残差网络具有多个卷积层；并且，在该多个深度残差网络中，除最后一层卷积层之外的其他卷积层具有相同的网络结构。
可选的，一种实施例中，用于训练上述着色模型的初始着色模型可以由6个深度残差网络构成，并且，每个残差网络具有18个卷积层。其中，在该6个深度残差网络中，每个深度残差网络的第1-17层卷积层具有相同的网络结构。
例如，对于深度残差网络1而言，第1卷积层的残差模块的卷积核的大小可以为5*5；第2至第17卷积层构成8个相同的残差模块，具体的，每个残差模块由相邻的两个卷积核大小为3*3的卷积层和一个残差连接组成，并且，在每个卷积层之后添加有BatchNrom层和ReLu层；第1至第18卷积层中的滤波器数量为16。
进而，可选的，一种具体实现方式中，上述预设损失函数可以为：
L＝λ1Lstructure+λ2Lcycle+λ3Lsmooth
其中，L为损失函数，λ1、λ2和λ3分别为Lstructure、Lcycle和Lsmooth的预设权重，Lcycle为循环一致性损失，用于表征每对样本图像中，彩色样本图像与该对样本图像的第二次着色结果的颜色相似性；Lstructure为结构相似性损失，用于表征每对样本图像中，黑白样本图像和该对样本图像的第一次着色结果的结构相似性；Lsmooth为空间平滑损失，用于表征每对样本图像的第二次着色结果中像素点颜色平滑程度。
其中，在本具体实现方式中，λ1、λ2和λ3代表了Lstructure、Lcycle和Lsmooth的预相对重要性，进而，λ1、λ2和λ3的具体数值可以根据实际应用的需求进行设定。
例如，可以设置λ1、λ2和λ3的数值分别为：1、1和0.1。
基于此，在本具体实现方式中，上述图2所示的着色模型训练方式中的步骤S205，基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果，对初始着色模型进行训练可以为：通过彩色样本图像和第一次着色结果之间的结构相似性损失、彩色样本图像和水平翻转后的第二次着色结果之间的循环一致性损失以及水平翻转后的第二次着色结果的空间平滑损失对初始着色模型进行训练。
进一步的，可选的，一种实施例中，每对样本图像的彩色样本图像的色彩空间为YcbCr色彩空间；其中，Y为亮度、Cb为蓝色色度、Cr为红色色度；具体的：Y的英文全拼为：luminance；Cb的英文全拼为：blue-difference chroma component，Cr的英文全拼为：red-difference chroma component。
则在本实施例中，上述具体实现方式中的预设损失函数中的Lstructure、Lcycle和Lsmooth分别如下所示：
其中，SSIM为结构相似性指标，用于衡量两幅图像之间的相似度，全拼为：Structural Similarity Index；
为每对样本图像的彩色样本图像的Cb分量值；
为该对样本图像的水平翻转后的第二次着色结果的Cb分量值，
为每对样本图像中的彩色样本图像的Cr分量值，
为该对样本图像的水平翻转后的第二次着色结果的Cr分量值；
具体的：循环一致性损失的目标是促进彩色样本图像与水平翻转后的第二次着色结果之间的相似性。其中，如图4所示，使用SSIM作为度量，测量彩色样本图像与水平翻转后的第二次着色结果的Cb分量值和Cr分量值的相似性。
其中，μ表征计算平均值；DSSM为图像结构相似性，用于衡量两幅图像之间的结构相似性，通常可以通过图像结构相似性估计网络进行估计，全拼为：Deep StructuredSemantic Model；
为每对样本图像的黑白样本图像的Y分量值；
为该对样本图像的第一次着色结果的Y分量值；
具体的：结构相似性损失的目标是促进第一次着色结果的Y分量值和黑白样本图像的Y分量值的结构相似性。其中，如图5所示，基于SSIM，利用深度残差网络5和深度残差网络4分别提取第一次着色结果的Y分量值和黑白样本图像的Y分量值，进而，基于基于SSIM，提取第一次着色结果的Y分量值和黑白样本图像的Y分量值之间的亮度相似性l、对比度相似性c和结构相似性s作为特征，从而，将上述五个特征连接，并输入到深度残差网络6中对结构相似性进行估计。
其中，N为归一化因子，
(j,i,k)为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j,i,k)的像素点；(j',i',k')为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j',i',k')的像素点；Ω(j,i,k)为三维空间中像素点(j,i,k)的6个相邻像素点的集合；Wj,i,k为像素点(j,i,k)的权重；Wj',i',k'为像素点(j',i',k')的权重；(j',i',k')∈Ω(j,i,k)表征像素点(j',i',k')属于集合Ω(j,i,k)。
进一步的，可以理解的，在训练上述着色模型的过程中，针对每对样本图像，所得到的第一次着色结果是初始着色模型基于彩色样本图像对黑白样本图像进行着色得到的结果。而由于样本图像采集设备中，黑白相机和彩色相机的安装位置之间是存在预设角度的，因此，即使黑白样本图像和彩色样本图像是黑白相机和彩色相机同时对同一拍摄对象拍摄得到的，但是，黑白样本图像和彩色样本图像的图像内容存在角度差异，从而，可能是不完全相同的。
例如，如图3所示的着色模型训练实例图中，黑白图像IG和彩色图像RC为一对样本图像中的黑白样本图像和彩色样本图像，显然，黑白图像IG和彩色图像RC的图像内容之间存在角度差异，从而，黑白图像IG和彩色图像RC的图像内容是相似的，并且存在一定的差异。
基于此，也就是说，针对每对样本图像，所得到的第一次着色结果可能存在着色错误，例如，黑白样本图像中的某些区域在彩色样本图像中被遮挡，而无法在彩色样本图像中显示，从而，可能不能获取到该区域的颜色。
这样，为了进一步提高最终所得到的对黑白图像进行着色得到的新的彩色图像的质量，可以进一步利用色彩优化模型，对上述步骤S102中，所得到的目标图像进行色彩优化。
基于此，可选的，一种具体实现方式中，如图6所示，本发明实施例提供的一种图像着色方法还可以包括如下步骤：
S103：将色彩图像和目标图像输入到预设的色彩优化模型中，得到色彩优化模型的输出结果，作为对黑白图像进行着色得到的最终图像；
其中，色彩优化模型是：基于每对样本图像中的黑白样本图像的Y分量值，以及该对样本图像的第一次着色结果的Cb分量值和Cr分量值对预设的初始优化模型训练得到的。
在得到对黑白图像进行着色得到的目标图像后，便可以将彩色图像和该目标图像输入到预设的色彩优化模型中，从而，该色彩优化模型便可以基于该彩色图像对该目标图像进行优化，并在优化完成后，输出优化结果，即目标图像采集设备便可以得到该色彩优化模型的输出结果，并将该输出结果作为对黑白图像进行着色得到的最终图像。也就是说，该最终图像即为对黑白图像着色后得到的新的彩色图像进行优化后的彩色图像。显然，利用色彩优化模型，该最终图像的图像质量将再次得到提高。
其中，上述预设的色彩优化模型可以是在目标图像采集设备本地训练得到的，也可以是在其他电子设备上训练完成后，目标图像采集设备从该其他电子设备处获得的。这都合理的，为了行文清晰，以下可以将用于训练该色彩优化模型的电子设备统称为第二模型训练设备。其中，该第二模型训练设备与上述用于训练着色模型的第一模型训练设备可以是相同的设备，也可以是不同的设备，这都是合理的。
进一步的，上述色彩优化模型是：基于每对样本图像中的黑白样本图像的Y分量值，以及该对样本图像的第一次着色结果的Cb分量值和Cr分量值对预设的初始优化模型训练得到的。也就是说，上述色彩优化模型可以利用每对样本图像中的黑白样本图像的Y分量值优化该对样本图像的第一次着色结果的Cb分量值和Cr分量值。
可选的，如图7所示，上述预设的初始优化模型可以由深度残差网络2和深度残差网络3构成。从而，可以将黑白样本图像的Y分量值
输入到深度残差网络2中提取特征，并将所提取到的特征和第一次着色结果的Cb分量值以及Cr分量值连接起来，输入到深度残差网络3中，从而，得到色彩残差图。然后，便可以通过再次添加第一次着色结果的Cb分量值以及Cr分量值和所得到的色彩残差图，得到优化后的第一次着色结果。其中，优化后的第一次着色结果的Cb分量值以及Cr颜色分量值表示为
其中，第一次着色结果的Cb分量值以及Cr分量值可以通过
表示。
其中，可选的，一种实施例中，图7中的深度残差网络2和深度残差网络3均具有18层卷积层，而第18层卷积层的滤波器数量设置为1，且不具有BatchNrom层和ReLu层。
此外，根据上述对着色模型的训练过程的介绍，在上述步骤S102中，所得到的目标图像可以理解为：黑白图像的水平翻转后的第二次着色结果。因此，根据上述对色彩优化模型的训练过程，在本具体实现方式中的上述步骤S103中，利用彩色图像的Y分量值作为引导图，彩色图像作为真值对目标图像进行优化。
基于此，对于色彩优化模型而言，其损失函数如下所示：
其中，S为色彩优化模型的损失值，
为每对样本图像中的彩色样本图像的Cb分量值，
为优化后的第一次着色结果的Cb分量值，
为每对样本图像中的彩色样本图像的Cr分量值，
为优化后的第一次着色结果的Cr分量值。
相应于上述本发明实施例提供的一种基于初始着色模型的图像着色方法，本发明实施例还提供了一种基于初始着色模型的图像着色装置。其中，该图像着色装置应用于具有多摄像头相机系统的目标图像采集设备，所述多摄像头相机系统包括黑白相机和彩色相机。
图8为本发明实施例提供的一种基于初始着色模型的图像着色装置的结构示意图，如图8所示，该图像着色装置可以包括如下模块：
图像获取模块810，用于获取所述黑白相机拍摄得到的黑白图像和所述彩色相机拍摄得到的彩色图像；其中，所述黑白图像和所述彩色图像是：所述黑白相机和所述彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
图像获得模块820，用于将所述黑白图像和所述彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对所述黑白图像进行着色得到的目标图像；
其中，所述着色模型是：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有所述多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，所述二次着色结果为：所述初始着色模型基于水平翻转后的所述第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，所述第一次着色结果为：所述初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，所述去色结果为：对所述彩色样本图像进行去色得到的结果。
可选的，一种具体实现方式中，所述装置还包括用于训练所述着色模型的模型训练模块，所述模型训练模块包括：
图像获取子模块，用于获取多对样本图像；
第一着色子模块，用于将每对样本图像输入到所述初始着色模型中，得到所述初始着色模型基于该对样本图像中的彩色样本图像对该对样本图像中的黑白样本图像进行着色得到的结果，作为该对样本图像的第一次着色结果；
去色子模块，用于对每对样本图像中的彩色样本图像进行去色，得到该彩色样本图像的去色结果，作为该对样本图像的去色结果；
第二着色子模块，用于对每对样本图像的第一次着色结果和去色结果进行水平翻转，并将水平翻转后的第一次着色结果和水平翻转后的去色结果输入到所述初始着色模型中，得到所述初始着色模型基于该水平翻转后的第一次着色结果对该水平翻转后的去色结果进行着色得到的结果，作为该对样本图像的二次着色结果，对该二次着色结果进行水平翻转，得到该对样本图像的水平翻转后的二次着色结果；
模型训练子模块，用于基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的二次着色结果，对所述初始着色模型进行训练，当满足预设完成条件时，停止训练，得到训练完成的着色模型。
可选的，一种具体实现方式中，所述预设完成条件为：所述初始着色模型的预设损失函数的损失值小于预设损失值。
可选的，一种具体实现方式中，所述预设损失函数为：
L＝λ1Lstructure+λ2Lcycle+λ3Lsmooth
其中，L为所述损失函数，λ1、λ2和λ3分别为Lstructure、Lcycle和Lsmooth的预设权重，Lcycle为循环一致性损失，用于表征每对样本图像中，彩色样本图像与该对样本图像的二次着色结果的颜色相似性；Lstructure为结构相似性损失，用于表征每对样本图像中，黑白样本图像和该对样本图像的第一次着色结果的结构相似性；Lsmooth为空间平滑损失，用于表征每对样本图像的二次着色结果中像素点颜色平滑程度。
可选的，一种具体实现方式中，每对样本图像的彩色样本图像的色彩空间为YcbCr色彩空间；其中，Y为亮度、Cb为蓝色色度、Cr为红色色度；所述预设损失函数中的Lstructure、Lcycle和Lsmooth分别如下所示：
其中，SSIM为结构相似性指标；
为每对样本图像的彩色样本图像的Cb分量值；
为该对样本图像的水平翻转后的二次着色结果的Cb分量值，
为每对样本图像中的彩色样本图像的Cr分量值，
为该对样本图像的水平翻转后的二次着色结果的Cr分量值；
其中，μ表征计算平均值；DSSM为图像结构相似性：
为每对样本图像的黑白样本图像的Y分量值；
为该对样本图像的第一次着色结果的Y分量值；
其中，N为归一化因子，
(j,i,k)为每对样本图像的水平翻转后的二次着色结果中三维坐标为(j,i,k)的像素点；(j',i',k')为每对样本图像的水平翻转后的二次着色结果中三维坐标为(j',i',k')的像素点；Ω(j,i,k)为三维空间中像素点(j,i,k)的6个相邻像素点的集合；Wj,i,k为像素点(j,i,k)的权重；Wj',i',k'为像素点(j',i',k')的权重；(j',i',k')∈Ω(j,i,k)表征像素点(j',i',k')属于集合Ω(j,i,k)。
可选的，一种具体实现方式中，所述初始着色模型由多个深度残差网络构成，每个深度残差网络具有多个卷积层；其中，所述多个深度残差网络中，除最后一层卷积层之外的其他卷积层具有相同的网络结构。
可选的，一种具体实现方式中，所述装置还包括：
色彩优化模块，用于将所述色彩图像和所述目标图像输入到预设的色彩优化模型中，得到所述色彩优化模型的输出结果，作为对所述黑白图像进行着色得到的最终图像；
其中，所述色彩优化模型是：基于每对样本图像中的黑白样本图像的Y分量值，以及该对样本图像的第一次着色结果的Cb分量值和Cr分量值对预设的初始优化模型训练得到的。
相应于上述本发明实施例提供的一种基于初始着色模型的图像着色方法，本发明实施例还提供了一种图像采集设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述本发明实施例提供的任一图像着色方法。
上述图像采集设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述图像采集设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像着色方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像着色方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、图像采集设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种图像着色方法，其特征在于，应用于具有多摄像头相机系统的目标图像采集设备，所述多摄像头相机系统包括黑白相机和彩色相机；所述方法包括：
获取所述黑白相机拍摄得到的黑白图像和所述彩色相机拍摄得到的彩色图像；其中，所述黑白图像和所述彩色图像是：所述黑白相机和所述彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
将所述黑白图像和所述彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对所述黑白图像进行着色得到的目标图像；
其中，所述着色模型是：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有所述多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，所述第二次着色结果为：所述初始着色模型基于水平翻转后的所述第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，所述第一次着色结果为：所述初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，所述去色结果为：对所述彩色样本图像进行去色得到的结果。
2.根据权利要求1所述的方法，其特征在于，所述着色模型的训练方式包括：
获取多对样本图像；
将每对样本图像输入到所述初始着色模型中，得到所述初始着色模型基于该对样本图像中的彩色样本图像对该对样本图像中的黑白样本图像进行着色得到的结果，作为该对样本图像的第一次着色结果；
对每对样本图像中的彩色样本图像进行去色，得到该彩色样本图像的去色结果，作为该对样本图像的去色结果；
对每对样本图像的第一次着色结果和去色结果进行水平翻转，并将水平翻转后的第一次着色结果和水平翻转后的去色结果输入到所述初始着色模型中，得到所述初始着色模型基于该水平翻转后的第一次着色结果对该水平翻转后的去色结果进行着色得到的结果，作为该对样本图像的第二次着色结果，对该第二次着色结果进行水平翻转，得到该对样本图像的水平翻转后的第二次着色结果；
基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果，对所述初始着色模型进行训练，当满足预设完成条件时，停止训练，得到训练完成的着色模型。
3.根据权利要求2所述的方法，其特征在于，所述预设完成条件为：所述初始着色模型的预设损失函数的损失值小于预设损失值。
4.根据权利要求3所述的方法，其特征在于，所述预设损失函数为：
L＝λ1Lstructure+λ2Lcycle+λ3Lsmooth
其中，L为所述损失函数，λ1、λ2和λ3分别为Lstructure、Lcycle和Lsmooth的预设权重，Lcycle为循环一致性损失，用于表征每对样本图像中，彩色样本图像与该对样本图像的第二次着色结果的颜色相似性；Lstructure为结构相似性损失，用于表征每对样本图像中，黑白样本图像和该对样本图像的第一次着色结果的结构相似性；Lsmooth为空间平滑损失，用于表征每对样本图像的第二次着色结果中像素点颜色平滑程度。
5.根据权利要求4所述的方法，其特征在于，每对样本图像的彩色样本图像的色彩空间为YcbCr色彩空间；其中，Y为亮度、Cb为蓝色色度、Cr为红色色度；所述预设损失函数中的Lstructure、Lcycle和Lsmooth分别如下所示：
其中，SSIM为结构相似性指标；
为每对样本图像的彩色样本图像的Cb分量值；
为该对样本图像的水平翻转后的第二次着色结果的Cb分量值，
为每对样本图像中的彩色样本图像的Cr分量值，
为该对样本图像的水平翻转后的第二次着色结果的Cr分量值；
其中，μ表征计算平均值；DSSM为图像结构相似性：
为每对样本图像的黑白样本图像的Y分量值；
为该对样本图像的第一次着色结果的Y分量值；
其中，N为归一化因子，
(j,i,k)为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j,i,k)的像素点；(j',i',k')为每对样本图像的水平翻转后的第二次着色结果中三维坐标为(j',i',k')的像素点；Ω(j,i,k)为三维空间中像素点(j,i,k)的6个相邻像素点的集合；Wj,i,k为像素点(j,i,k)的权重；Wj',i',k'为像素点(j',i',k')的权重；(j',i',k')∈Ω(j,i,k)表征像素点(j',i',k')属于集合Ω(j,i,k)。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述初始着色模型由多个深度残差网络构成，每个深度残差网络具有多个卷积层；其中，所述多个深度残差网络中，除最后一层卷积层之外的其他卷积层具有相同的网络结构。
7.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：
将所述色彩图像和所述目标图像输入到预设的色彩优化模型中，得到所述色彩优化模型的输出结果，作为对所述黑白图像进行着色得到的最终图像；
其中，所述色彩优化模型是：基于每对样本图像中的黑白样本图像的Y分量值，以及该对样本图像的第一次着色结果的Cb分量值和Cr分量值对预设的初始优化模型训练得到的。
8.一种图像着色装置，其特征在于，应用于具有多摄像头相机系统的目标图像采集设备，所述多摄像头相机系统包括黑白相机和彩色相机；所述装置包括：
图像获取模块，用于获取所述黑白相机拍摄得到的黑白图像和所述彩色相机拍摄得到的彩色图像；其中，所述黑白图像和所述彩色图像是：所述黑白相机和所述彩色相机按照第一预设角度关系，同时对同一拍摄对象进行拍摄得到的；
图像获得模块，用于将所述黑白图像和所述彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对所述黑白图像进行着色得到的目标图像；
其中，所述着色模型是：基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的，每对样本图像包括：基于具有所述多摄像头相机系统的样本图像采集设备中黑白相机和彩色相机按照第二预设角度关系，同时对同一拍摄对象进行拍摄得到的黑白样本图像和彩色样本图像，所述第二次着色结果为：所述初始着色模型基于水平翻转后的所述第一次着色结果对水平翻转后的去色结果进行着色所得到的着色结果，所述第一次着色结果为：所述初始着色模型基于所述彩色样本图像对所述黑白样本图像进行着色得到的结果，所述去色结果为：对所述彩色样本图像进行去色得到的结果。
9.一种图像采集设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010080048.3A CN111354058B (zh) | 2020-02-04 | 2020-02-04 | 一种图像着色方法、装置、图像采集设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010080048.3A CN111354058B (zh) | 2020-02-04 | 2020-02-04 | 一种图像着色方法、装置、图像采集设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111354058A true CN111354058A (zh) | 2020-06-30 |
| CN111354058B CN111354058B (zh) | 2022-03-04 |
Family
ID=71196963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010080048.3A Expired - Fee Related CN111354058B (zh) | 2020-02-04 | 2020-02-04 | 一种图像着色方法、装置、图像采集设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111354058B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129400A (zh) * | 2021-03-17 | 2021-07-16 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481183A (zh) * | 2017-07-14 | 2017-12-15 | 南京理工大学 | 一种基于多维数据关联规则的微光图像彩色化方法 |
| WO2019111956A1 (ja) * | 2017-12-08 | 2019-06-13 | アジア航測株式会社 | 地物地盤高別色付画像生成装置及び地物高別色付画像生成プログラム |
| CN110648375A (zh) * | 2018-06-26 | 2020-01-03 | 微软技术许可有限责任公司 | 基于参考信息的图像彩色化 |
| CN110717953A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 |
-
2020
- 2020-02-04 CN CN202010080048.3A patent/CN111354058B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481183A (zh) * | 2017-07-14 | 2017-12-15 | 南京理工大学 | 一种基于多维数据关联规则的微光图像彩色化方法 |
| WO2019111956A1 (ja) * | 2017-12-08 | 2019-06-13 | アジア航測株式会社 | 地物地盤高別色付画像生成装置及び地物高別色付画像生成プログラム |
| CN110648375A (zh) * | 2018-06-26 | 2020-01-03 | 微软技术许可有限责任公司 | 基于参考信息的图像彩色化 |
| CN110717953A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| LIGENG ZHU 等: "Colorizing Color Images", 《INTERNATIONAL SYMPOSIUM ON ELECTRONIC IMAGING 2018》 * |
| 张娜 等: "基于密集神经网络的灰度图像着色算法", 《计算机应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129400A (zh) * | 2021-03-17 | 2021-07-16 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN113129400B (zh) * | 2021-03-17 | 2023-02-24 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111354058B (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020246861A1 (en) | Method and apparatus for training neural network model for enhancing image detail | |
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| WO2021004180A1 (zh) | 一种纹理特征提取方法、纹理特征提取装置及终端设备 | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| WO2017107700A1 (zh) | 一种实现图像配准的方法及终端 | |
| US20150215590A1 (en) | Image demosaicing | |
| CN110825900A (zh) | 特征重构层的训练方法、图像特征的重构方法及相关装置 | |
| CN112241933A (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
| US11270415B2 (en) | Image inpainting with geometric and photometric transformations | |
| CN108961183B (zh) | 图像处理方法、终端设备及计算机可读存储介质 | |
| WO2021180131A1 (zh) | 一种图像处理方法及电子设备 | |
| CN111353956B (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| WO2019029573A1 (zh) | 图像虚化方法、计算机可读存储介质和计算机设备 | |
| CN111192226A (zh) | 一种图像融合去噪方法及装置、系统 | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| WO2019210707A1 (zh) | 一种图像清晰度评测方法、装置及电子设备 | |
| CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
| CN114615480A (zh) | 投影画面调整方法、装置、设备、存储介质和程序产品 | |
| CN111354058B (zh) | 一种图像着色方法、装置、图像采集设备及可读存储介质 | |
| CN110047126B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| WO2023151210A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN111161204B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN110766153A (zh) | 神经网络模型训练方法、装置及终端设备 | |
| CN113344832A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106402717A (zh) | 一种ar播放控制方法及智能台灯 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220304 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |