CN113129390A

CN113129390A - 一种基于联合显著性的色盲图像重新着色方法及系统

Info

Publication number: CN113129390A
Application number: CN202010026576.0A
Authority: CN
Inventors: 李晋江; 冯晓美; 范辉
Original assignee: Shandong Technology and Business University
Current assignee: Shandong Technology and Business University
Priority date: 2020-01-10
Filing date: 2020-01-10
Publication date: 2021-07-16
Anticipated expiration: 2040-01-10
Also published as: CN113129390B

Abstract

本发明公开了一种基于联合显著性的色盲图像重新着色方法，该方法包括以下步骤：根据图像检索技术，检索到大量内容相似度的图像；对检索到的图像进行色盲模拟；使用联合显著性检测对色盲模拟图像与原始图像进行显著性检测；分析检测结果，挑选最佳参考图像；使用基于参考图像的图像着色技术对灰度图进行重新着色。本发明实现了基于联合显著性的色盲图像重新着色，既达到了显著性校正的目的，也到要的颜色校正的要求。

Description

一种基于联合显著性的色盲图像重新着色方法及系统

技术领域

本发明涉及图像处理技术领域，具体是一种基于联合显著性的色盲图像重新着色方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在标准视觉下，人们能够正确感知物体表面反射光的频率。然而，对于色觉缺陷患者，由于遗传因素或者是后天的破坏导致他们失去了部分色觉感知能力，从而无法观察到色彩缤纷的世界。不幸的是，目前仍然没有能够治愈色盲的有效方法。经常使用的石原(Ishihara板)测试检测色觉缺陷，色觉缺陷主要分为三大类：红绿色色盲，蓝黄色色盲与完全色盲。由于色觉缺陷通常不会成为致命的疾病，患病人数也相对较少，因此并没有引起人们的关注。但是色觉缺陷给患者的日常生活带来了严重的影响，使他们的工作以及生活都受限制。例如，色盲患者不能考取驾照，工程以及医学等相关领域的许多职业也对色彩感知能力具有一定的要求。无法区分颜色并不会影响人们的学习与认知，但从事与颜色相关的行业，对色盲患者来说却是一个挑战。在大多数设备的屏幕显示上，并没有充分考虑到色盲患者。

人类色觉基于三种光敏细胞，他们以三维的状态存在。视网膜上的三类视锥细胞(L-cones,M-cones,S-cones)决定了三色性的正确性，当其中任何一种视锥细胞损坏或者是失去功能时候，人们就只能感受到部分光谱，而无法感受所有的光谱信息。其中，红色盲患者缺少L-锥细胞，导致无法区分红色与绿色。绿色盲患者缺少M-锥细胞，无法区分淡红色与淡绿色。蓝色盲缺少S-锥细胞，无法区分淡黄色和淡蓝色。世界上大约有 8％的人正在遭受色觉缺陷的痛苦，因此，如何帮助色盲患者更好感知颜色是一个亟待解决的问题。

为了使得色盲患者更好的感知图像颜色信息，一种方法是对图像进行重新着色，另一种是通过辅助设备工具提高颜色对比度，从而达到区分的目的。但是辅助工具需要量身定制，并不是每一个患者都能够拥有这种机会。而从图像角度出发，通过对图像进行重新着色，适用性较为广泛。Wakita开发了一种重新上色系统，通过增强色彩对比度来增强色彩的区分度。将图像中相同颜色的区域划分到一起，构建抽象的图像模型，使用遗传算法解决变色问题，但是计算成本较高。Huang通过色盲图像与标准图像的最佳映射关系，提出一种快速重着色的方法。Chen提出的色盲板(CBP)概念，证明了色盲患者对于红色与绿色感知能力的不足。Poret等人开发了一种基于Ishihara测试的滤镜来进行色盲图像颜色校正。

大多数的颜色校正算法是在标准图像上进行的，校正后图像的颜色重新排列，使得色盲患者能够区分不同的颜色。但是这种颜色校正存在这一个问题，校正后图像的颜色分布看起来很不自然，比如会出现蓝色的苹果，蓝色的樱桃等情况。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于联合显著性的色盲图像重新着色方法及系统。该方法通过对原始图像与色盲模拟图像进行联合显著性检测，挑选显著性区域不变的图像作为参考图像，使用参考图像将显著性改变的图像进行重新着色。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于联合显著性的色盲图像重新着色方法，包括以下步骤：

1)使用图像检索技术收集图像集合；

2)对集合中的图像进行色盲模拟；

3)使用联合显著性检测方法对原始图像与色盲模拟图像进行显著性检测；

4)分析检测结果，挑选显著性不变的图像作为参考图像；

5)使用基于参考图像的图像着色技术对灰度图进行重新着色。

一个或多个实施例提供了一种基于联合显著性的色盲图像重新着色系统，包括：

1)图像检索模块，使用图像检索技术收集图像集合；

2)色盲模拟模块，对集合中的图像进行色盲模拟；

3)联合显著性检测模块，使用联合显著性检测方法对原始图像与色盲模拟图像进行显著性检测；

4)结果分析模块，分析检测结果，挑选显著性不变的图像作为参考图像；

5)重着色模块，使用基于参考图像的图像着色技术对灰度图进行重新着色。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的色盲图像重新着色方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的色盲图像重新着色方法。

以上一个或多个技术方案存在以下有益效果：

本发明参考色盲模拟过程中显著性不变图像的配色方案，将显著性改变的图像进行重新着色，实现基于显著性的色盲图像重着色；由于参考图像的显著区域基本不变，说明将该图像转化为色盲图像的过程中颜色损失较少，因此色盲患者对该图像的感知更加接近正常人，该方法既实现了颜色区分，又实现了色盲图像显著性的校正。

附图说明

图1为本发明一个或多个实施例基于联合显著性的色盲图像重新着色方法的流程示意图；

图2为本发明一个或多个实施例图像检索示意图；

图3为原始图像显著性检测结果的示意图，图3(a)-3(d)为原始图像，图3(e)-3(h)是原始图像的显著性检测结果；

图4为色盲图像显著性检测结果的示意图，图4(a)-4(d)为色盲图像,图4(e)-4(h)是色盲图像显著性检测结果；

图5是本发明检测的显著图与直接进行色盲模拟图像的显著图在RMS值上的对比；；

图6是本发明检测的显著图与直接进行色盲模拟图像显著图在MAE值上的对比；

图7是本发明检测的显著图与直接进行色盲模拟图像显著图在F-measure值上的对比；

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和 /或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

将正常图像进行色盲模拟后，图像的颜色分布发生改变，显著区域也可能发生变化。使用图像检索的方法，找到大量相似图像，从而构成一个集合。对集合中的图像进行色盲模拟，将色盲图像进行联合显著性检测，将检测结果与图像的真实显著图进行对比，挑选显著区域不变的图像作为参考图像。将显著区域改变的图像灰度化，使用参考图像对灰度图进行重新着色，使得图像的颜色分布与参考图像相似。由于参考图像的显著区域基本不变，说明将该图像转化为色盲图像的过程中颜色损失较少，因此色盲患者对该图像的感知更加接近正常人。

实施例一

本实施例公开了一种基于联合显著性的色盲图像重新着色方法，包括以下步骤：

1)根据图像检索技术，检索到大量内容相似度的图像；

2)对检索到的图像进行色盲模拟；

3)使用联合显著性检测对色盲模拟图像与原始图像进行显著性检测；

4)分析检测结果，挑选最佳参考图像；

5)使用基于参考图像的图像着色技术对灰度图进行重新着色；

所述步骤1)中，图像检索可以分为以下几个步骤：

1-1)人类视觉系统对颜色，方向和强度信息更加敏感。在HSV空间量化特征，将 H,S和V颜色通道统一量化为6、3和3个bin，共有6×3×3＝54中色彩组合，使用 M_C(x,y)＝w,w∈{0,1…N_C-1}表示色彩组合，其中N_C＝54；

1-2)用V表示强度信息，经过量化后，强度信息表示为M_I(x,y)＝s,s∈{0,1…N_l-1}，其中N_l＝16；

1-3)使用强度信息检测边缘图像O(x,y)以及Sobel算子检测图像的边缘信息 g(x,y)。均匀量化后，得到图像的边缘方向图M_O(x,y)＝θ,s∈{0,1…N_O-1},其中N_O＝60；

1-4)在HSV空间内定义颜色体积用来描述显著性特征。由于HSV空间的形状可以模拟为圆柱坐标系，对于随机某一点(h,s,v)的颜色体积，可以根据圆柱的体积定义公式如下：

其中，s(x,y)∈[0,1]，v(x,y)∈[0,1]，h(x,y)∈[0,360]。

1-5)为进一步有效表示特征，将三维坐标转换到二维坐标系下，对(h,s,v)点的颜色体积定义如下：

cv₂(x，y)＝s(x，y)×cos(h(x，y))×s(x，y)×sin(h(x，y))×v(x，y) (2)

1-6)将三维坐标与二维坐标信息相结合，定义cv＝{cv₁,cv₂}。使用高斯金字塔信息表示模拟中心-周围感受野(Center-surround receptive fields),如下公式：

F(c，s，cv)＝|g(c)Θg(s)| (4)

其中，c,s代表两种不同的尺度，Θ表示一种减法运算。

1-7)经过中心环绕后得到特征图,使用二维Gabor函数进行建模，对模型使用Gabor 能量，挑选合适的方向检测显著结构并描述图像特征；

1-8)将检索到图像的特征与目标图像进行对比，筛选与目标图像相似的图像。

所述步骤2)中，色盲模拟可以分为以下几个步骤：

2-1)将RGB颜色空间转换到LMS空间，公式如下：

2-2)将LMS空间转换到λ，Y-B，R-G空间，公式如下：

2-3)在λ，Y-B，R-G空间对颜色进行调整，实现色盲图像模拟。

所述步骤3)中，联合显著性检测又可以分为以下几个步骤：

3-1)使用BING的方法在图像中提取256个对象建议窗口

3-2)为了更加广泛的考虑信息,使用K-means对

进行分类

其中每一类C^k的中心为

根据如下公式计算图像间的一致性：

其中Ed(·)表示欧几里得距离。

3-3)为了找到显著性特征，通过打分的形式对提取到的特征进行筛选。采用贝叶斯框架对图内对比度与组内对比度一致性来计算联合显著性得分。x_m,p的显著性定义如下:

其中，使用

表示当前图像组中Im的对象建议窗口。

代表图像内部的对比度。Pr(x_m,p|y_m,p＝1)代表图像之间的一致性。

3-4)为了得到清晰的边界，需要将对象建议窗口的联合显著分数转化为像素级别的显著图。根据前景区域协议(FRA),分别应用于图像内与图像间两个阶段。对于图内FRA，将图像进行超像素化，将图像I_m表示为

其中sp_i为单个像素，N_m是图像中超像素的个数。使用图像分类的池化方法，单个像素sp_i的co-saliency分数等于计算对象建议窗口内所有像素的联合显著性得分的总和。

其中Cosal^rgh(sp_i)代表单个像素sp_i的像素值，Area(·)代表某个区域。

3-5)对于I_m中图间FRA的像素sp_i，计算与之相邻像素特征的欧几里得距离，从而得到最为相似的像素

计算如下：

其中，

表示与sp_i相似的超像素集合。exp(-φ(sp_i))表示超像素之间的相似性。

3-6)根据图像间超像素的一致性，将图像间与图像内的显著性结点相结合，得到图像组内的显著性图。

所述步骤4)中，对检测结果的分析又可以分为以下几个步骤：

4-1)均方误差根(RMS)，预测值与真实值的误差平方根的均值，计算公式如下：

其中，y_i是测试所得的显著图。

是真实显著图。

4-2)平均绝对误差(MAE)，计算模型输出的显著图与真实显著图之间的平均绝对误差，计算公式如下；

其中，y_ij是测试所得的显著图。

是真实显著图。

4-3)由于PR曲线的查准率(Precision)跟查全率(Recall)不能全面的评估显著性图片。因此，使用查全率和查准率在非负权重β下的加权调和平均值F度量值(F-measure)进行评估，计算公式如下：

其中，β＝0.5。

所述步骤5)中，使用基于参考图像的图像着色技术对灰度图进行重新着色又可以分为以下几个步骤：

5-1)由于目标图像与参考图像在亮度信息上存在一些差异，直接进行区域匹配并不能得到令人满意的结果,因此对像素点进行分类。首先对参考图像进行亮度重映射，使得其与目标图像的亮度值尽可能相似，然后再进行区域匹配。亮度重映射公式如(16)：

其中，

Y_S分别为重映射后和重映射前的参考图像像素亮度值。μ_T,μ_S分别为目标图像与参考图像的亮度均值。σ_T,σ_S分别为标准差。

5-2)为使得匹配更加准确，在亮度特征相似的两个图像子区域中，利用局部纹理(LBP)完成整个匹配过程。LBP算子是一种对图像中局部邻域纹理的描述。在图像中某个邻域内的任意像素点g(x_c,y_c)，g_c为图像局部邻域中心点的灰度值，图像局部纹理 T_c，表示为T_c＝(g_c,g₀,…g_p-1),c∈Ω。g_p表示邻域上均匀分布的像素点p的灰度值，如公式(17)。

5-3)根据g_p,g_c得到以g_c为中心的局部区域的LBP值，如公式(18):

其中，P＝8，R＝1。

5-4)根据参考图像以及目标图像的亮度特征R_L,T_L以及LBP纹理特征，从而得到彩色参考图像R与目标灰度图像T之间的相似度

5-5)得到图像之间的相似度之后，根据目标图像与参考图像之间的相似性对目标灰度图像进行着色。

5-6)当目标图像与参考图像之间不存在相似关系的时，使用端对端的网络，对灰度图像进行着色。对于色度分支，将T_L,

T'_ab作为网络的输入，输出着色后的结果

其中T'_ab(p)＝T_ab(φ_R→T(φ_T→R(P)))。

5-7)对网络输出的结果

与地面真实色度值T_ab进行L₁损失计算，使得着色后图像效果更加真实。

其中，p表示图像某一像素点。

5-8)对于在参考图像中找不到相似区域的部分，采用感知损失函数(Perceptualloss)进行训练，如公式(20)。

L_perc(p_ab)＝∑_p||F_P(p)-F_T(p)||² (20)

其中，F_P(P)表示原始图像P_Lab中的特征，F_T(P)表示目标图像的T_Lab。

基于上述色盲图像重着色方法，本发明的另一实施例还提供了一种基于联合显著性的色盲图像重新着色系统，包括：

图像检索模块，使用图像检索技术收集图像集合；

色盲模拟模块，对集合中的图像进行色盲模拟；

联合显著性检测模块，使用联合显著性检测方法对原始图像与色盲模拟图像进行显著性检测；

结果分析模块，分析检测结果，挑选显著性不变的图像作为参考图像；

重着色模块，使用基于参考图像的图像着色技术对灰度图进行重新着色。

基于联合显著性的色盲图像重新着色方法，本发明的另一实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：

使用图像检索技术收集图像集合；

对集合中的图像进行色盲模拟；

使用联合显著性检测方法对原始图像与色盲模拟图像进行显著性检测；

分析检测结果，挑选显著性不变的图像作为参考图像；

使用基于参考图像的图像着色技术对灰度图进行重新着色。

基于联合显著性的色盲图像重新着色方法，本发明的另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

使用图像检索技术收集图像集合；

对集合中的图像进行色盲模拟；

分析检测结果，挑选显著性不变的图像作为参考图像；

使用基于参考图像的图像着色技术对灰度图进行重新着色。

以上基于联合显著性的色盲图像重新着色系统、电子设备和计算机可读介质中涉及的各步骤与方法相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

实验结果

在实验中，原始图像与色盲图像的显著性检测结果如图3，图4所示，将实验中的图像自左向右编号为a-d。从图中可以看出，将正常图像转换为色盲图像后，部分图像的显著性区域减少，甚至有的图像显著性区域发生了改变。这是由于标准图像转换为色盲图像后，图像的颜色分布发生了巨大的改变，从而显著性也是极有可能发生变化的。但是也有少部分图像的显著性并没有发生改变，而是得到了极好的保留。这说明该图像的配色方案在进行色盲模拟的过程中，颜色信息损失较少，较大程度上保留了图像的原始状态。这种图像是适合色盲观看的，因为色盲患者对该图像的感知较大程度的接近正常视觉。

对色盲图像与正常图像的显著性检测结果进行分析。通过RMS,MAE,F-measure值对检测结果进行评价。其中RMS,MAE值越低，说明检测到的显著性区域越准确。与之前两个评价标准不同，F-measure值越高，则说明检测出的显著性区域与地面真实值越接近。实验中图像的分析结果如表1所示。在表1中，对RMS,MAE,F-measure进行综合考虑，选取namelabel c作为参考图像。

表1对色盲模拟图像的显著性检测结果进行定量分析

对实验结果中的图像进行定性分析后，为了更加精确的分析实验结果，对实验结果中的数据进行定量分析。将原始图像转换为色盲图像后的检测结果，与进行颜色校正后图像的显著性检测结果进行对比。如图6是将两者的RMS值进行对比。从图中可以看出，进行颜色校正后图像的RMS值均低于未校正图像的RMS值，从而证明本发明的有效性。

除了分析RMS值之外，还对校正图像与未校正图像的MAE值进行对比。对比结果如图7。从图中可以看出，校正后图像的MAE曲线被未校正图像的曲线包裹。校正后图像的MAE值大幅降低，检测结果更加准确。

为了更加全面的分析实验结果，将颜色校正后图像与未校正图像的F-measure值进行对比，如图8所示的柱状图。从图中可以看出，校正后图像的F-measure值均高于未校正图像。图像经过校正后，图像的显著性检测结果更加准确，从而到达色盲图像显著性校正的目标。

为了使色觉缺陷患者关注到与正常人相同的显著性区域，本发明提出基于联合显著性的色盲图像重新着色方法。首先使用基于内容的图像检索方法，寻找大量的图像，从而构成一个图像集合。对集合中的图像进行色盲模拟，对初始图像与色盲模拟图像进行联合显著性检测，对比二者的显著图。挑选显著区域几乎不变的图像作为参考图像，使用参考图像对对显著区域改变的图像进行着色，使得着色后图像的颜色分布与参考图像相似。由于重新着色后图像的配色方案对色盲患者影响较少，因此色盲患者对图像的感知与正常人更加接近。既达到了显著性校正的目的，也到要的颜色校正的要求。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于联合显著性的色盲图像重新着色方法，其特征在于，包括以下步骤：

根据图像检索技术，检索到大量内容相似度的图像；

对检索到的图像进行色盲模拟；

使用联合显著性检测对色盲模拟图像与原始图像进行显著性检测；

分析检测结果，挑选最佳参考图像；

使用基于参考图像的图像着色技术对灰度图进行重新着色。

2.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述图像检索技术包括：

人类视觉系统对颜色，方向和强度信息更加敏感,在HSV空间量化特征，将H,S和V颜色通道统一量化为6、3和3个bin；

用V表示强度信息，经过量化后，表示强度信息；

使用强度信息检测边缘图像以及Sobel 算子检测图像的边缘信息,均匀量化后，得到图像的边缘方向图；

由于HSV空间的形状可以模拟为圆柱坐标系，在HSV空间内定义颜色体积用来描述显著性特征；

为进一步有效表示特征，将三维坐标转换到二维坐标系下，定义某点的颜色体积；

将三维坐标与二维坐标信息相结合，使用高斯金字塔信息表示模拟中心-周围感受野；

经过中心环绕后得到特征图,使用二维Gabor函数进行建模，对模型使用Gabor能量，挑选合适的方向检测显著结构并描述图像特征；

将检索到图像的特征与目标图像进行对比，筛选与目标图像相似的图像。

3.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述色盲图像模拟包括：

将RGB颜色空间转换到LMS空间；

将LMS空间转换到λ，Y-B，R-G空间；

在λ，Y-B，R-G空间对颜色进行调整，实现色盲图像模拟。

4.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述联合显著性检测包括：

使用BING的方法在图像中提取256个对象建议窗口；

为了更加广泛的考虑信息,使用K-means对对象建议窗口进行分类,根据公式计算图像间的一致性；

通过打分的形式对提取到的特征进行筛选，采用贝叶斯框架对图内对比度与组内对比度一致性来计算联合显著性得分；

为得到清晰的边界，将对象建议窗口的联合显著分数转化为像素级别的显著图，根据前景区域协议(FRA),分别应用于图像内与图像间两个阶段,对于图内FRA,将图像进行超像素化，使用图像分类的池化方法，单个像素的联合显著性分数等于计算对象建议窗口内所有像素的联合显著性得分和；

对于中图间 FRA的像素，计算与之相邻像素特征的欧几里得距离，从而得到最为相似的像素；

根据图像间超像素的一致性，将图像间与图像内的显著性结点相结合，得到图像组内的显著性图。

5.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述分析检测结果包括：

均方误差根（RMSE），预测值与真实值的误差平方根的均值；

平均绝对误差（MAE），计算模型输出的显著图与真实显著图之间的平均绝对误差；

由于PR曲线的查准率（Precision）跟查全率（Recall）不能全面的评估显著性图片,使用查全率和查准率在非负权重下的加权调和平均值F度量值(F-measure)进行评估。

6.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述灰度图像着色包括：

对参考图像进行亮度重映射，使得其与目标图像的亮度值尽可能相似，然后再进行区域匹配；

为使得匹配更加准确，在亮度特征相似的两个图像子区域中，利用局部纹理(LBP)完成整个匹配过程;

根据参考图像以及目标图像的亮度特征以及LBP纹理特征，从而得到彩色参考图像R与目标灰度图像T之间的相似度；

得到图像之间的相似度之后，根据目标图像与参考图像之间的相似性对目标灰度图像进行着色；

当目标图像与参考图像之间不存在相似关系的时，使用端对端的网络，对灰度图像进行着色,对于色度分支，将相似关系作为网络的输入，输出着色后的结果；

对网络输出的结果与地面真实色度值进行损失计算，使得着色后图像效果更加真实；

对于在参考图像中找不到相似区域的部分，采用感知损失函数(Perceptual loss)进行训练。

7.一种基于联合显著性的色盲图像重新着色系统，其特征在于，包括：

图像检索模块，使用图像检索技术收集图像集合；

色盲模拟模块，对集合中的图像进行色盲模拟；

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的色盲图像重新着色方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的色盲图像重新着色方法。