CN113191970A - 一种正交色彩传递网络及方法 - Google Patents

一种正交色彩传递网络及方法 Download PDF

Info

Publication number
CN113191970A
CN113191970A CN202110444839.4A CN202110444839A CN113191970A CN 113191970 A CN113191970 A CN 113191970A CN 202110444839 A CN202110444839 A CN 202110444839A CN 113191970 A CN113191970 A CN 113191970A
Authority
CN
China
Prior art keywords
color
layer
network
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110444839.4A
Other languages
English (en)
Other versions
CN113191970B (zh
Inventor
王岭雪
丁可
蔡毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110444839.4A priority Critical patent/CN113191970B/zh
Publication of CN113191970A publication Critical patent/CN113191970A/zh
Application granted granted Critical
Publication of CN113191970B publication Critical patent/CN113191970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种正交色彩传递网络及方法，该网络由预训练的前端网络和可训练的后端网络组成，前端网络根据EMCCD图像的纹理和语义将像素点分散到不同的特征通道上，后端网络根据各特征图内像素点的编码统计特征进行色彩传递。本发明经大量图像验证具有一定普适性，在不同场景和照度下均取得较自然的色彩效果。

Description

一种正交色彩传递网络及方法
技术领域
本发明涉及图像处理领域，尤其是一种正交色彩传递网络及方法。
背景技术
电子倍增电荷耦合器件(EMCCD)是具有电子倍增放大特性的高灵敏度固态成像器件，响应波段涵盖可见光和近红外(NIR)波段。真彩色图像能有效提高观察人员对场景的感知能力、降低目标识别的错误率。EMCCD一方面采用红(R)、绿(G)、蓝(B)滤光获得彩色，另一方面通过R、G、B滤光通道在近红外波段具有高透过率(即R+NIR、G+NIR、B+NIR)获得低照度下的高灵敏度。然而，近红外成分的引入会导致彩色图像产生颜色失真，由此涌现了众多的颜色失真校正方法。
色彩传递最初用于校正彩色图像由于光照、天气原因引起的偏色，根据颜色鲜艳、亮度高的参考图像的色彩统计量调整偏色源图像的色彩统计量，使之获得与参考图像类似的色貌。色彩传递由Erik Reinhard等人提出，主要分为三个步骤：
(1)颜色空间变换，将参考图像和源图像均从RGB空间变换到Ruderman等人提出的lαβ正交空间，l、α、β分量的相关性弱，调整其中一个分量时不影响其它两个分量；
(2)对源图像和参考图像像素点在lαβ空间进行分簇，匹配统计距离最接近的源图像和参考图像像素簇；
(3)将源图像像素簇的色彩统计量(均值和方差)调整为匹配的参考图像像素簇的色彩统计量。
Alexander Toet首次将色彩传递用于夜视图像，提出了基于色彩传递的可见光(400～700nm)、近红外(700～900nm)和中波红外(3～5μm)图像彩色融合方法，并利用主成分分析对多通道图像降维、空间金字塔技术对亮度通道进行细节增强。后续的研究大都围绕色彩传递的三个步骤进行改进：聚簇方面，Gupta等人提出超像素分割方法；像素簇匹配方面，Pierre等人提出耦合全变分模型；色彩统计量调整方面，Dong Wang等人提出L0范数约束，但是赋色效果的提升是以耗时的循环迭代计算为代价。近年来，得益于并行计算的发展，具有高效特征提取能力的深度学习和卷积神经网络为色彩传递注入了新的活力。Mingming He等人利用预训练的VGG网络提取源图像和参考图像的金字塔特征，在不同的特征层次对源图像与参考图像的特征按块进行最近邻匹配，得到粗估计的赋色引导图，再进行局部色彩传递将引导图的色彩传递到源图像上，最终得到了接近真实的彩色效果。
然而，EMCCD彩色滤光片引入近红外成分依旧会导致的颜色失真和颜色分布压缩问题。为了解决上述问题，以及抽象出更为普适的针对两种颜色空间转换关系建立的参数化模型，有必要对方法进行优化。
发明内容
本发明针对EMCCD彩色滤光片引入近红外成分导致的颜色失真和颜色分布压缩问题，以及更为广泛的颜色空间转换的问题，提出一种正交色彩传递网络及其构建方法。
本发明通过约束已配准的源图像和参考图像在标准正交颜色空间中具有相同的坐标表示，推导了广义的色彩传递模型；通过卷积神经网络引入特征维度，改善因偏色和颜色分布压缩导致的一对多颜色映射问题。在广义色彩传递模型的指导下，利用全连接网络融合深度特征编码信息，设计出一种端到端的色彩传递网络，该网络在训练阶段需要与源图像配准的参考图像，测试时不需要参考图像。
本发明的技术方案具体如下：
一种正交色彩传递网络，所述网络将源图像和参考图像均转换到标准正交颜色空间内进行色彩传递；
所述网络包括预训练的前端网络和可训练的后端网络，所述前端网络根据图像的纹理和语义将像素点分散到不同的特征通道上，所述后端网络根据各特征图内像素点的编码统计特征进行色彩传递。
进一步地，使用预训练的深度学习网络作为前端网络提取深度特征。
进一步地，提取不同层次的深度特征，并在各特征层次对深度特征进行编码和解码，构建各特征层次的传递矩阵，估计各特征层次的参考图像统计均值，再通过后端的全连接网络从深层至浅层的顺序，将深层的分辨率较低的特征图进行上采样和插值后，与浅层特征图进行融合，最终得到正交色彩传递结果。
进一步地，从深度模型的第l层提取特征，该层输出形状为c×h×w的特征图，其中c为输出通道数，h、w分别为该层特征图的高和宽，则该层h×w个空间位置的像素色彩被同一规则编码为c维向量；由于用于特征提取的前端网络参数固定，由3维输入到在第l层c维特征向量v的编码矩阵E(l)是固定的，将维度写在脚标，即
Figure BDA0003036444120000031
构建解码矩阵D(l)将c维特征向量降至3维，W可近似为
Figure BDA0003036444120000032
对于第l层特征输出，首先计算特征通道的统计均值：
Figure BDA0003036444120000033
式(c)中，h、w分别代表特征图的高和宽，i、j代表在高、宽方向上的空间位置，l代表当前特征层次，n为未被抑制的像素总数；若当前层为最深层，则可以构造均值解码矩阵F近似估计μref，即
Figure BDA0003036444120000034
在获得最底层μref后，由式(e)获得颜色在第l层的粗略估计
Figure BDA0003036444120000035
将深层的粗略估计作为浅层均值的近似，即
Figure BDA0003036444120000036
按照特征层次由深向浅，不断重复式(d)、(e)，直至预测结果恢复原始图像的大小，得出颜色的最终估计值。
进一步地，选取预训练深度学习网络的多层特征进行多阶段的深度特征融合。
进一步地，选取第2、7、12、19层特征输出，特征图形状采用pytorch的C×H×W记法，分别对应通道数、高、宽，参数形状采用pytorch的Cin×Kh×Kw×Cout，分别对应输入通道数、卷积核高、卷积核宽、输出通道数，前端网络参数如下表VGG16 Encoders列所示，对色彩传递矩阵的建模参数如下表Color Decoders列所示
表1网络结构参数
Figure BDA0003036444120000041
本发明还涉及的一种正交色彩传递网络的构建方法，按以下进行：
通过约束已配准的源图像和参考图像在标准正交颜色空间中具有相同的坐标表示，推导广义的色彩传递模型；
通过卷积神经网络引入特征维度。
进一步地，包括如下步骤：
步骤(1)、对正交色彩传递过程建立参数化模型
推导正交色彩传递模型，如下式所示：
Figure BDA0003036444120000042
其中：μsrc和μref、Qsrc和Qref、Λsrc和Λref分别表示源颜色空间Ssrc、参考颜色空间Sref相对于标准正交颜色空间的平移、旋转、缩放，x为源颜色空间的颜色值，
Figure BDA0003036444120000043
为色彩传递后的估计值。对色彩传递矩阵
Figure BDA0003036444120000044
以及偏置向量b＝μref建立参数化模型
步骤(2)、基于深度特征融合构建正交色彩传递网络
基于多幅空间已配准的源-参考图像对训练前端网络，提取不同层次的深度特征，并在各特征层次对深度特征进行编码和解码，构建各特征层次的传递矩阵，计算各特征层次的参考图像统计均值，再通过后端的全连接网络从深层至浅层的顺序，将深层的分辨率较低的特征图进行上采样和插值后，与浅层特征图进行融合，最终得到正交色彩传递结果。
进一步地，步骤(2)中：
从深度模型的第l层提取特征，该层输出形状为c×h×w的特征图，其中c为输出通道数，h、w分别为该层特征图的高和宽，则该层h×w个空间位置的像素色彩被同一规则编码为c维向量；由3维输入到在第l层c维特征向量v的编码矩阵E(l)也是固定的，将维度写在脚标，即
Figure BDA0003036444120000051
构建解码矩阵D(l)将c维特征向量降至3维，W可近似为：
Figure BDA0003036444120000052
对于第l层特征输出，首先计算特征通道的统计均值：
Figure BDA0003036444120000053
式(c)中，h、w分别代表特征图的高和宽，i、j代表在高、宽方向上的空间位置，l代表当前特征层次，n为未被抑制的像素总数；
若当前层为最深层，则可以构造均值解码矩阵F近似估计μref，即
Figure BDA0003036444120000054
在获得最底层μref后，由式(e)获得颜色在第l层的粗略估计：
Figure BDA0003036444120000055
将深层的粗略估计作为浅层均值的近似，即：
Figure BDA0003036444120000056
按照特征层次由深向浅，不断重复式(d)、(e)，直至预测结果恢复原始图像的大小，得出颜色的最终估计值。
本发明还涉及的一种正交色彩传递方法，其特征在于：基于上述的网络或者上述的构建方法进行；
测试时，不需要参考图像，源图像输入后提取深度特征，调用各特征层次的传递矩阵和参考图像统计均值向量，再使用后端的全连接网络完成特征融合后得到正交色彩传递结果。
与现有技术相比，本发明的技术方案具体如下：
本发明针对近红外高透的EMCCD彩色图像存在的偏色和颜色分布压缩问题，提出在标准正交颜色空间进行色彩传递，推导了正交色彩传递模型；同时，使用能够提取不同层次深度特征的卷积神经网络改善偏色和颜色分布压缩导致的一对多颜色映射问题，建立了轻量化、端到端、具有一定普适性的深度特征融合的色彩传递网络，该网络依据图像的纹理信息将像素分簇，依据分簇后像素的色彩统计特征进行赋色，经测试照度不小于10-2lux的EMCCD图像获得了接近真实的色彩效果，相对于真实彩色图像，本文结果与颜色失真图像相比，PSNR平均提高了75.78％，SSIM相对提高了103.74％，色差相对降低了67.48％。
本发明还可拓展应用于多波段图像融合、可见光偏色图像色彩校正等诸多领域，具有一定的研究价值。
附图说明
图1为标准正交颜色空间里的正交色彩传递示意图(以2维空间为例)；
图2为颜色数值上不可分的像素簇在深度特征空间被分开；
图3为本发明的深度特征融合的正交色彩传递网络基本流程图；
图4为使用预训练的VGG16网络作为前端网络提取深度特征；
图5为本发明的用于色彩传递的深度特征融合的全连接网络基本框架；
图6为本发明的实验器材；(a)为滤光片的光谱透射图；(b)为滤光轮；(c)为EMCCD相机的归一化光谱灵敏度曲线；
图7为本发明的网络结构图；
图8为采用16对源-参考图像对进行测试的结果，其中：src为源图像，pred1为模型预测结果，pred2为使用由源图像估计的l通道和pred1图像经rgb向lαβ颜色空间变换后的αβ通道合成图像，ref为参考图像；
图9为模型的预测结果对比，其中：src为源图像，pred1为原始模型预测结果，pred2为使用由源图像估计的l通道和原始模型预测结果的ab通道合成结果，pred3为残差模型预测结果，ref为参考图像
图10为照度0.1～1lux拍摄的EMCCD源图像的色彩传递结果，其中：src为源图像，pred2为预测结果；
图11为正交颜色空间消融实验loss曲线。
具体实施方式
下面将结合本发明实施例，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是对本发明一部分实例，而不是全部的实例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例的正交色彩传递网络及其构建方法。该方法包括如下步骤：
第一步：构建正交色彩传递模型
考虑忽略大气影响时相机拍摄自然场景的彩色成像过程，令λ表示波长，L(λ)为光源的相对光谱功率分布，R(λ)为物体的光谱反射率，τL(λ)和τF(λ)分别为镜头和滤光片的光谱透过率，S(λ)为成像器件的归一化光谱灵敏度，并令h1、h2、h3分别表示彩色成像的三个颜色通道。
反射光谱为R(λ)的物体在L(λ)照明下经过τL(λ)和τF(λ)滤光后，相机输出的h1、h2、h3通道的信号I由
Figure BDA0003036444120000071
表示，式中，λ1、λ2分别为相机成像器件光谱响应的上限和下限波长。
EMCCD相机使用近红外高透的彩色滤光片拍摄时，式(1)中的h1＝R+NIR，h2＝G+NIR，h3＝B+NIR，信号I经过电子倍增、量化编码后输出的颜色值为x，x＝(x1,x2,x3)，其中x1、x2、x3为三通道的分量。
本实施例中，将EMCCD相机采集的图像称为源图像，其颜色值构成源颜色空间Ssrc，x∈Ssrc。同理，使用普通彩色相机拍摄时，式(1)中的h1＝R，h2＝G，h3＝B，信号I在经过量化编码后输出的颜色值为y，y＝(y1,y2,y3)，其中y1、y2、y3为三通道的分量。本实施例将普通彩色相机采集的图像称为参考图像，其颜色值构成参考颜色空间Sref，y∈Sref。
EMCCD相机具有自动倍增增益、抗光晕等功能，可以全天时工作。通常地，照度不小于10-1lux时，EMCCD源图像噪声小，与普通彩色相机拍摄的参考图像有良好的空间对应关系，而照度在10-2lux及以下时，图像噪声较大，而且普通彩色相机无法正常工作。
因此，本实施例在照度大于10-1lux条件下同时使用EMCCD和普通彩色相机拍摄空间配准的源-参考图像对，一是对比二者在色彩上的差异，二是作为色彩传递的训练样本。
源-参考图像对在色彩上的差异主要表现为两方面：
(1)源图像中物体的偏色程度与其反射近红外的能力有关，比如绿色植被对近红外的反射率高，所以在三个颜色通道都表现出较高的强度，而其它对近红外成分反射率不同的物体，其颜色在颜色空间中存在不同程度的偏色，颜色分布的主轴方向不同。这种偏色是光谱从可见光拓宽至近红外引起的，与光源色温变化导致的偏色不同，白平衡校正难以取得良好的效果。
(2)由于近红外通道的引入以及量化编码过程的差异，EMCCD采集到的图像(源图像)与普通彩色相机采集到的图像相比(参考图像)整体偏红，且源图像色彩丰富程度明显少于参考图像，亦即源图像的颜色分布被压缩。
本实施例中，所有源图像数值各异的色彩总数为428400个，而在参考图像中为1998691个。
通过仿射变换估计不偏色源图像的三通道分量是进行颜色校正的一种简单直接的办法，即：
Figure BDA0003036444120000081
式中，
Figure BDA0003036444120000082
是源图像颜色值x在参考颜色空间Sref中的估计值，W为3×3的矩阵，b为1×3的向量。
在选定优化目标(如预测值
Figure BDA0003036444120000083
与参考图像颜色值y的均方差)后，可以采用最小二乘法或梯度下降等数值优化算法解出W和b。
RafalProtasiuk使用式(2)和梯度下降法，以均方差作为目标函数，改进了正则项及训练方法，用来修正水下图像的偏色，然而水下成像通常使用绿色激光器照明，光源光谱范围窄，远没有本文的光谱范围宽(涵盖可见光至近红外)，所以该方法不完全适用于EMCCD真彩色成像。
本实施例将空间配准的源-参考图像对分别视为像素簇Ci(i＝1,…,N)的集合，像素簇内的像素点具有相似的纹理和语义，使用卷积神经网络在不同特征层次上分别将源-参考图像对进行像素分簇，假设像素分簇足够精细，簇内像素应具有相似的色彩，那么将参考图像像素簇内的色彩传递给相应的源图像像素簇，就能达到精确的颜色校正。
然而，与参考图像相比，源图像存在颜色失真和颜色分布压缩的问题，直接进行色彩传递效果不佳，因此，本实施例提出将源图像和参考图像均转换到标准正交颜色空间内进行色彩传递，称为正交色彩传递。
假设像素簇Ci内像素点的颜色分布为pi，且分布的调控只与均值μi和方差Σi有关，因此，像素簇内像素点的颜色z可近似描述为：
Figure BDA0003036444120000091
式中，(2π)3/2|Σi|1/2是规范系数，与分布形式无关。
协方差矩阵Σi是实对称矩阵，对其对角化分解(为了简洁这里省略下标)，只考察指数项时为：
Figure BDA0003036444120000092
式中，Λ是对角矩阵，Q是上三角矩阵。式(4)表明，在协方差矩阵可逆的前提下，存在函数：
f(z)＝Λ-1/2Q(z-μ)， (5)
将z变换到三个颜色分量标准正交的颜色空间内(变换后协方差矩阵为单位矩阵)。考虑到对角化的实际含义，式(5)中的μ对应平移变换，Q对应旋转变换，Λ对应特征方向上的缩放变换。
对于源-参考图像对精细分簇后，相应像素簇内的像素点应具有相似的色彩，变换至标准正交颜色空间后，源颜色空间(记为脚标src)和参考颜色空间(记为脚标ref)相对应的像素簇在标准正交颜色空间内的应具有相同的坐标表示，即：
Figure BDA0003036444120000093
式(6)为正交色彩传递的约束条件，整理后得理想的源图像色彩估计值
Figure BDA0003036444120000094
对比式(7)和式(2)，可以发现二者具有相似的形式，本实施例中，把式(7)称为正交色彩传递模型、把W和b分别称为传递矩阵和偏置向量，即：
Figure BDA0003036444120000095
式中，μsrc可以由x直接估计得出。Qref、Λref、μref与参考图像的颜色统计特征有关，Λsrc、Qsrc与源图像的颜色统计特征有关。
为直观地解释式(7)各参数的物理含义，绘制了标准正交颜色空间里的正交色彩传递示意图，如图1所示，Csrc、Cref分别表示源-参考图像中的某对像素簇，其附近的椭圆区域表示由簇内像素点颜色的统计特征决定的颜色分布；Coth椭圆区域表示标准正交颜色空间。从图1(a)中可看出，Csrc颜色分布的面积更小，而且主轴方向与Cref的相比有较大差异。为使Csrc与Cref的颜色分布具有相同的主轴方向和分布面积，需要进行平移、旋转和缩放变换，分别对应式(7)中μ、Q和Λ相关部分，具体为：μsrc和μref、Qsrc和Qref、Λsrc和Λref分别表示源颜色空间Ssrc、参考颜色空间Sref相对于标准正交颜色空间的平移、旋转、缩放。图1中step1～6分别表示：
1.源图像簇颜色分布的中心位置位移到原点；2.主轴方向旋转至与标准正交颜色空间坐标轴平行；3.主轴归一化；4.主轴长度缩放至与参考图像簇颜色分布的主轴长度一致；5.主轴方向旋转至与参考图像簇颜色分布的主轴方向一致；6.中心位置移动到参考图像簇颜色分布的中心位置，最终使得源图像簇的颜色分布与参考图像簇的重合。每个step的操作构成了(a)到(g)的变化。
第二步：构建深度特征融合的正交色彩传递网络
EMCCD源图像整体偏红，且颜色分布被压缩，即使场景内容相差甚远，比如山林和城镇场景，源图像像素簇的颜色分布也可能会出现重叠，如图2(a)中C1,src和C2,src重叠在一起形成面积较大的椭圆状的颜色分布，与C1,src和C2,src对应的参考图像像素簇C1,ref和C2,ref在颜色空间中也会形成面积更大的椭圆状颜色分布。如果不引入新的维度将C1,src和C2,src加以区别，颜色值上不可分辨的C1,src和C2,src整体中一部分的优化目标是C1,ref，另一部分的优化目标是C2,ref，进而产生了一对多映射的问题，最终导致错误的参数(如中心位置、主轴方向等)估计。
因此，本实施例通过卷积神经网络引入特征维度，在特征空间里将这些颜色值不可分的像素簇分离，如图2(b)中将C1,src和C2,src分离为两个面积较小的椭圆状颜色分布，二者的主轴方向有明显的不同。
提取不同层次特征的深度卷积神经网络与正交色彩传递综合起来，构成深度特征融合的正交色彩传递网络，网络的基本流程图如图3所示，本实施例的正交色彩传递属于多参考图像色彩传递(Multi-reference Color Transfer)的范畴，但又不同于多参考图像色彩传递，不需要根据源图像自动匹配参考图像的过程，而是使用多幅空间已配准的源-参考图像对训练前端网络，提取不同层次的深度特征，并在各特征层次对深度特征进行编码和解码，构建各特征层次l的传递矩阵W(l)，估计各特征层次的参考图像统计均值μ(l) ref，再通过后端的全连接网络从深层至浅层的顺序，将深层的分辨率较低的特征图进行上采样和插值后，与浅层特征图进行融合，最终得到正交色彩传递结果。在测试时不需要参考图像，源图像输入后提取深度特征，调用各特征层次的传递矩阵W(l)和参考图像统计均值向量μ(l) ref，再使用后端的全连接网络完成特征融合后得到正交色彩传递结果。
以下对本实施例提出的深度特征融合的正交色彩传递网络进行深入分析。使用预训练的VGG16网络作为前端网络提取深度特征，图4显示了使用VGG16网络在第5、17、31层提取的三个层次的深度特征。可以看出，深度特征首先满足了像素分簇的要求，由于ReLU函数的抑制作用，每张特征图中只有少量语义上高度相关的成分得以保留。其次，从通道的角度看，源图像的3维颜色信息分别在三个特征层次被编码为64、256、512维的向量，编码维度的增加极大地丰富了其所能承载的信息量，使得构建一种更为普适的色彩传递网络成为可能。
假设从深度模型的第l层提取特征，该层输出形状为c×h×w的特征图，其中c为输出通道数，h、w分别为该层特征图的高和宽，则该层h×w个空间位置的像素色彩被同一规则编码为c维向量。若深度学习模型参数固定，则由3维输入到在第l层c维特征向量v的编码矩阵E(l)也是固定的，将维度写在脚标，即：
Figure BDA0003036444120000111
式(8)中的传递矩阵W是3×3矩阵，需要构建解码矩阵D(l)将c维特征向量降至3维，W可近似为：
Figure BDA0003036444120000112
对于预训练深度学习模型的各层输出特征而言，浅层次(即越靠近输入层)特征更关注纹理信息而深层次(即越靠近输出层)特征更关注语义信息，μref的预测与语义信息密切相关，可以通过最深层输出特征的统计均值组成的编码向量估计μref。对于第l层特征输出，首先计算特征通道的统计均值：
Figure BDA0003036444120000113
式(11)中，h、w分别代表特征图的高和宽，i、j代表在高、宽方向上的空间位置，l代表当前特征层次，n为未被抑制(即非零)的像素总数，这与深度学习领域流行的任何一种归一化层均不同。若当前层为最深层，则可以构造均值解码矩阵F近似估计μref，即：
Figure BDA0003036444120000121
实践中，矩阵D和F都可以通过单个1×1卷积层简单地实现。在获得最底层μref后，由式(13)获得颜色在第l层的粗略估计：
Figure BDA0003036444120000122
由于深层特征图分辨率较低，需要将其插值到更高分辨率才能和浅层特征图融合，将深层的粗略估计作为浅层均值的近似，即：
Figure BDA0003036444120000123
按照特征层次由深向浅，不断重复式(13)、(14)，直至预测结果恢复原始图像的大小，得出颜色的最终估计值。
以式(9)至(14)为基础，提出的用于色彩传递的深度特征融合的全连接网络基本框架如图5所示。
作为本实施例的一种具体实施方式，具体按以下进行：
1、数据准备
使用安装有R+NIR、G+NIR、B+NIR滤光片(图6(a))的滤光轮(图6(b))配合EMCCD相机拍摄静止场景作为源图像，同时使用普通彩色相机拍摄参考图像。EMCCD相机的归一化光谱灵敏度曲线如图6(c)所示。对源图像和参考图像进行空间配准，并将图像分辨率均处理为720×512。采用100对源-参考图像对作为训练、验证样本，16对源-参考图像对作为测试样本，包含了公路、道路、建筑等场景。
2、网络结构参数及训练细节
网络结构图如图7所示，结构参数如表1所示，名称分别对应图5中相应的各个部分，本实施例选取VGG16中第2、7、12、19层的特征输出，总共4个特征层次，特征图形状采用pytorch的C×H×W记法，分别对应通道数、高、宽，参数形状采用pytorch的Cin×Kh×Kw×Cout，分别对应输入通道数、卷积核高、卷积核宽、输出通道数。
表1网络结构参数
Figure BDA0003036444120000131
由于1×1卷积只涉及点对点运算，当输入一张720×512的假彩色图像时，解码网络对这368640个稀疏编码的像素点独立运算，而模型整体只有4416个可训练参数。考虑到图片中的场景可能高度相关导致梯度下降时的方向不平衡，在训练和验证时将输入图像随机裁剪为64×64的图像块并设置更大的批数以缓解这一问题。在测试时，图像的原始大小保持不变。
考虑到D矩阵的实际含义，在训练时对其参数使用L1正则化以期获得相对稀疏的解，对F矩阵仍使用高斯先验下常用的L2正则。
3、实验结果
网络在训练时可以快速地收敛，使用均方误差损失函数、Adam优化器，设置学习率0.0003，训练600轮后的测试结果如图8Pred1所示，为了定量地对比正交色彩传递效果与参考图像的颜色差异，此时是采用16对源-参考图像对进行测试。
从图8中可以看出，模型预测结果的色彩表现十分接近参考图像，但与源图像相比存在一定的模糊。特征提取网络VGG16大量应用的3×3卷积核在作用到图像上时会引起纹理错位以及块效应，这些不良影响在双线性插值后进一步扩大，在进行多尺度特征融合时相互叠加，最终导致输出图像变得模糊。
针对这种模糊效应有两种解决办法。其一，通过在解码网络中大量使用3×3卷积加以改善，但3×3卷积的使用会极大地膨胀参数量。将解码网络中的1×1卷积替换为3×3卷积的残差块，在更多的不保证严格对齐的数据上训练，最终测试结果对比如图5pred3所示。
可以看出，在广泛使用3×3卷积替代1×1卷积后，预测结果的清晰度有了很大的提升，但参数量的极度膨胀使得模型的有效性难以检验。其二，以牺牲l通道预测准确性为代价可以尽最大可能地保留图像细节，采取式(15)来估计l通道，其中x1,x2,x3分别为源图像R+NIR、G+NIR、B+NIR通道灰度值，并结合模型预测pred1的在rgb向lαβ颜色空间变换后的αβ通道合成图像，结果如图8和图10的pred2所示。
Figure BDA0003036444120000141
本实施例统计了色彩传递前后的图像相对于真实色彩图像的PSNR，SSIM，色差变化作为定量评价标准，如表2所示。
正交色彩传递结果相对于源图像PSNR平均提高了75.78％，SSIM平均提高了103.74％，色差平均降低了67.48％。
表2正交色彩传递结果评价
Figure BDA0003036444120000142
Figure BDA0003036444120000151
另外，使用12幅照度0.1～1lux时拍摄的没有相应参考图像的源图像进行测试，用式(15)估计l通道的pred2预测结果效果较好，如图10所示。
测试结果表明，照度不小于10-2lux数量级的EMCCD图像直接输入网络，可以获得视觉效果良好的真彩色。
为了更好展示本方法使用正交颜色空间及深度特征提取的有效性，进行两个对比实验：
一、未使用的正交颜色空间
使用删除x-μsrc相关结构前后的模型在相同的实验条件下训练，为了直观显示训练过程，绘制了前400轮的损失函数曲线，如图11所示，可以看出引入正交颜色空间之后的训练过程更稳定也loss下降也更迅速。
二、未使用VGG16网络提取深度特征
对未使用深度特征的网络进行充分训练，将其训练2000轮的测试结果与训练600轮的使用深度特征的网络的测试结果进行对比，未引入深度特征的网络的预测结果仍有较为明显的偏色且整体颜色饱和度不高。
本实施例针对近红外高透的EMCCD彩色图像即源图像存在的颜色失真和颜色分布压缩问题，提出了正交的色彩传递模型，将源颜色空间和参考颜色空间相对应的像素簇在标准正交颜色空间内具有相同的坐标表示作为约束条件，推导了正交色彩传递模型，并直观地解释了正交色彩传递模型中各参数的物理含义，相当于将源颜色分布进行平移、旋转和缩放变换，使之获得与参考颜色分布相同的主轴方向和分布面。
EMCCD源图像颜色分布被压缩会导致即使场景内容相差甚远、像素簇的颜色分布也可能出现重叠，从而引起源图像与参考图像的一对多颜色映射问题，并导致错误的参数(如中心位置、主轴方向等)估计。
本实施例通过卷积神经网络引入特征维度，提取不同层次的深度特征，在特征空间里将这些颜色值不可分的像素簇分离，并在各特征层次对深度特征进行编码和解码，构建各特征层次的传递矩阵，估计各特征层次的参考图像统计均值，再通过后端的全连接网络从深层至浅层的顺序，将深层的分辨率较低的特征图进行上采样和插值后，与浅层特征图进行融合，获得色彩效果较好的色彩传递结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种正交色彩传递网络，其特征在于：所述网络将源图像和参考图像均转换到标准正交颜色空间内进行色彩传递；
所述网络包括预训练的前端网络和可训练的后端网络，所述前端网络根据图像的纹理和语义将像素点分散到不同的特征通道上，所述后端网络根据各特征图内像素点的编码统计特征进行色彩传递。
2.根据权利要求1所述的正交色彩传递网络，其特征在于：使用预训练的深度学习网络作为前端网络提取深度特征。
3.根据权利要求2所述的正交色彩传递网络，其特征在于：提取不同层次的深度特征，并在各特征层次对深度特征进行编码和解码，构建各特征层次的传递矩阵，估计各特征层次的参考图像统计均值，再通过后端的全连接网络从深层至浅层的顺序，将深层的分辨率较低的特征图进行上采样和插值后，与浅层特征图进行融合，最终得到正交色彩传递结果。
4.根据权利要求2所述的正交色彩传递网络，其特征在于：从深度模型的第l层提取特征，该层输出形状为c×h×w的特征图，其中c为输出通道数，h、w分别为该层特征图的高和宽，则该层h×w个空间位置的像素色彩被同一规则编码为c维向量；由3维输入到在第l层c维特征向量v的编码矩阵E(l)是固定的，将维度写在脚标，即
Figure FDA0003036444110000011
构建解码矩阵D(l)将c维特征向量降至3维，W可近似为
Figure FDA0003036444110000012
对于第l层特征输出，首先计算特征通道的统计均值：
Figure FDA0003036444110000013
式(c)中，h、w分别代表特征图的高和宽，i、j代表在高、宽方向上的空间位置，l代表当前特征层次，n为未被抑制的像素总数；若当前层为最深层，则可以构造均值解码矩阵F近似估计μref，即
Figure FDA0003036444110000014
在获得最底层μref后，由式(e)获得颜色在第l层的粗略估计
Figure FDA0003036444110000021
将深层的粗略估计作为浅层均值的近似，即
Figure FDA0003036444110000022
按照特征层次由深向浅，不断重复式(d)、(e)，直至预测结果恢复原始图像的大小，得出颜色的最终估计值。
5.根据权利要求2所述的正交色彩传递网络，其特征在于：选取预训练深度学习网络的多层特征进行多阶段的深度特征融合。
6.根据权利要求5所述的正交色彩传递网络，其特征在于：选取第2、7、12、19层特征输出，特征图形状采用pytorch的C×H×W记法，分别对应通道数、高、宽，参数形状采用pytorch的Cin×Kh×Kw×Cout，分别对应输入通道数、卷积核高、卷积核宽、输出通道数，前端网络参数如下表VGG16Encoders列所示，对色彩传递矩阵的建模参数如下表ColorDecoders列所示
表1网络结构参数
Figure FDA0003036444110000023
7.一种正交色彩传递网络的构建方法，其特征在于：按以下进行：
通过约束已配准的源图像和参考图像在标准正交颜色空间中具有相同的坐标表示，推导广义的色彩传递模型；
通过卷积神经网络引入特征维度。
8.根据权利要求7所述的构建方法，其特征在于：包括如下步骤：
步骤(1)、对正交色彩传递过程建立参数化模型
推导正交色彩传递模型，如下式所示：
Figure FDA0003036444110000031
其中：μsrc和μref、Qsrc和Qref、Λsrc和Λref分别表示源颜色空间Ssrc、参考颜色空间Sref相对于标准正交颜色空间的平移、旋转、缩放，x为源颜色空间的颜色值，
Figure FDA0003036444110000032
为色彩传递后的估计值。对色彩传递矩阵
Figure FDA0003036444110000033
以及偏置向量b＝μref建立参数化模型
步骤(2)、基于深度特征融合构建正交色彩传递网络
基于多幅空间已配准的源-参考图像对训练前端网络，提取不同层次的深度特征，并在各特征层次对深度特征进行编码和解码，构建各特征层次的传递矩阵，计算各特征层次的参考图像统计均值，再通过后端的全连接网络从深层至浅层的顺序，将深层的分辨率较低的特征图进行上采样和插值后，与浅层特征图进行融合，最终得到正交色彩传递结果。
9.根据权利要求8所述的构建方法，其特征在于：步骤(2)中：
从深度模型的第l层提取特征，该层输出形状为c×h×w的特征图，其中c为输出通道数，h、w分别为该层特征图的高和宽，则该层h×w个空间位置的像素色彩被同一规则编码为c维向量；由3维输入到在第l层c维特征向量v的编码矩阵E(l)也是固定的，将维度写在脚标，即
Figure FDA0003036444110000034
构建解码矩阵D(l)将c维特征向量降至3维，W可近似为：
Figure FDA0003036444110000035
对于第l层特征输出，首先计算特征通道的统计均值：
Figure FDA0003036444110000036
式(c)中，h、w分别代表特征图的高和宽，i、j代表在高、宽方向上的空间位置，l代表当前特征层次，n为未被抑制的像素总数；
若当前层为最深层，则可以构造均值解码矩阵F近似估计μref，即
Figure FDA0003036444110000037
在获得最底层μref后，由式(e)获得颜色在第l层的粗略估计：
Figure FDA0003036444110000041
将深层的粗略估计作为浅层均值的近似，即：
Figure FDA0003036444110000042
按照特征层次由深向浅，不断重复式(d)、(e)，直至预测结果恢复原始图像的大小，得出颜色的最终估计值。
10.一种正交色彩传递方法，其特征在于：基于权利要求1-6之一所述的网络或者权利要求7-9之一的构建方法进行；
测试时，不需要参考图像，源图像输入后提取深度特征，调用各特征层次的传递矩阵和参考图像统计均值向量，再使用后端的全连接网络完成特征融合后得到正交色彩传递结果。
CN202110444839.4A 2021-04-24 2021-04-24 一种正交色彩传递网络及方法 Active CN113191970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110444839.4A CN113191970B (zh) 2021-04-24 2021-04-24 一种正交色彩传递网络及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110444839.4A CN113191970B (zh) 2021-04-24 2021-04-24 一种正交色彩传递网络及方法

Publications (2)

Publication Number Publication Date
CN113191970A true CN113191970A (zh) 2021-07-30
CN113191970B CN113191970B (zh) 2022-10-21

Family

ID=76978424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110444839.4A Active CN113191970B (zh) 2021-04-24 2021-04-24 一种正交色彩传递网络及方法

Country Status (1)

Country Link
CN (1) CN113191970B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806036A (zh) * 2024-03-01 2024-04-02 中国科学院光电技术研究所 一种基于压缩感知的单片衍射透镜系统消色差方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统
WO2021050055A1 (en) * 2019-09-11 2021-03-18 Google Llc Image colorization using machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
WO2021050055A1 (en) * 2019-09-11 2021-03-18 Google Llc Image colorization using machine learning
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜尚尚等: "基于CNN回归网络的遥感图像颜色自动校正", 《计算机与现代化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806036A (zh) * 2024-03-01 2024-04-02 中国科学院光电技术研究所 一种基于压缩感知的单片衍射透镜系统消色差方法
CN117806036B (zh) * 2024-03-01 2024-05-17 中国科学院光电技术研究所 一种基于压缩感知的单片衍射透镜系统消色差方法

Also Published As

Publication number Publication date
CN113191970B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
Tian et al. Deep learning on image denoising: An overview
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
Starovoytov et al. Comparative analysis of the SSIM index and the pearson coefficient as a criterion for image similarity
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN112819737B (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
CN114119378A (zh) 图像融合方法、图像融合模型的训练方法和装置
CN106447632B (zh) 一种基于稀疏表示的raw图像去噪方法
CN103914815A (zh) 图像融合方法和设备
CN113762277B (zh) 一种基于Cascade-GAN的多波段红外图像融合方法
CN112446835A (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN111932452B (zh) 基于可见光图像增强的红外图像卷积神经网络超分辨方法
CN113838088A (zh) 一种基于深度张量的高光谱视频目标跟踪方法
CN113191970B (zh) 一种正交色彩传递网络及方法
CN116503292A (zh) 一种基于SwinIR的高光谱遥感图像去噪方法
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN116258653B (zh) 一种基于深度学习的微光图像增强方法和系统
CN112950653B (zh) 一种注意力图像分割方法、装置及介质
CN114677313A (zh) 一种生成多对抗网络结构的遥感图像空谱融合方法与系统
CN113670440A (zh) 一种基于自适应字典的压缩光谱成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant